濃縮還元オレンジニュース

米Yahoo!「Hadoop with Security」「Oozie」オープンソースで公開

2010年6月30日、米Yahoo! は2つのHadoop関連プロダクトをオープンソースとして公開しました。一つめは「Hadoop with Security」で、その名前のとおりHadoopにセキュリティ機構を組み込んだものです。もう一つは「Oozie」という名前で、Hadoop上で動くワークフローエンジンです。

Hadoop with Securityは、今まで外部からのデータアクセスなどセキュリティにおいて弱い面があったHadoopに対し、ケルベロス認証によるセキュリティ機構を組み込んで権限が与えられていないユーザからのアクセスからデータを保護したり、Audit(監査)ロギングのしくみを設けたりしているものです。

Oozieは、図1に示すようなMapReduceやPig、Hadoop Streaming、HDFS上の操作などから構成する複雑な処理をワークフローとしてXMLファイルに定義し、実行順序を制御できるシステムです。Oozieをインストールするにあたり、サーブレットコンテナとしてTomcat、データストアとしてMySQLまたはHSQLDBを必要とし、またWeb Consoleの利用にExtJSが必要となります。ちなみにOozieという単語は、ミャンマーでの象使いを表す言葉だそうです。

どちらもgithub上でソースを公開していますが、Yahoo! Developer NetworkにてHadoop withSecurityを含むVMWareの仮想マシンイメージを公開しています。また、Clouderaにて配布しているディストリビューション(Cloudera’s Distribution forHadoop)の最新バージョンであるCDH3b2ではOozieをサポートしており、今後Hadoop with Securityもサポートする予定です。

図1
図1

URLhttp://yahoo.github.com/hadoop-common/

URLhttp://yahoo.github.com/oozie/

おすすめ記事

記事・ニュース一覧