濃縮還元オレンジニュース

米Yahoo!「Hadoop with Security」「Oozie」をオープンソースで公開

この記事を読むのに必要な時間:およそ 0.5 分

2010年6月30日,米Yahoo! は2つのHadoop関連プロダクトをオープンソースとして公開しました。一つめは「Hadoop with Security」で,その名前のとおりHadoopにセキュリティ機構を組み込んだものです。もう一つは「Oozie」という名前で,Hadoop上で動くワークフローエンジンです。

Hadoop with Securityは,今まで外部からのデータアクセスなどセキュリティにおいて弱い面があったHadoopに対し,ケルベロス認証によるセキュリティ機構を組み込んで権限が与えられていないユーザからのアクセスからデータを保護したり,Audit(監査)ロギングのしくみを設けたりしているものです。

Oozieは,図1に示すようなMapReduceやPig,Hadoop Streaming,HDFS上の操作などから構成する複雑な処理をワークフローとしてXMLファイルに定義し,実行順序を制御できるシステムです。Oozieをインストールするにあたり,サーブレットコンテナとしてTomcat,データストアとしてMySQLまたはHSQLDBを必要とし,またWeb Consoleの利用にExtJSが必要となります。ちなみにOozieという単語は,ミャンマーでの象使いを表す言葉だそうです。

どちらもgithub上でソースを公開していますが,Yahoo! Developer NetworkにてHadoop withSecurityを含むVMWareの仮想マシンイメージを公開しています。また,Clouderaにて配布しているディストリビューション(Cloudera⁠s Distribution forHadoop)の最新バージョンであるCDH3b2ではOozieをサポートしており,今後Hadoop with Securityもサポートする予定です。

図1

図1

URLhttp://yahoo.github.com/hadoop-common/

URLhttp://yahoo.github.com/oozie/

著者プロフィール

角田直行(かくだなおゆき)

普段はお仕事でPHPやJavaを使ってWeb開発をしています。一部でセレブエンジニアとか言われてますが,全然セレブじゃありません。

コメント

コメントの記入