濃縮還元オレンジニュース
米Yahoo!「Hadoop with Security」「Oozie」をオープンソースで公開
2010年6月30日,米Yahoo! は2つのHadoop関連プロダクトをオープンソースとして公開しました。一つめは「Hadoop with Security」で,その名前のとおりHadoopにセキュリティ機構を組み込んだものです。もう一つは「Oozie」という名前で,Hadoop上で動くワークフローエンジンです。
Hadoop with Securityは,今まで外部からのデータアクセスなどセキュリティにおいて弱い面があったHadoopに対し,ケルベロス認証によるセキュリティ機構を組み込んで権限が与えられていないユーザからのアクセスからデータを保護したり,Audit(監査)ロギングのしくみを設けたりしているものです。
Oozieは,(図1)に示すようなMapReduceやPig,Hadoop Streaming,HDFS上の操作などから構成する複雑な処理をワークフローとしてXMLファイルに定義し,実行順序を制御できるシステムです。Oozieをインストールするにあたり,サーブレットコンテナとしてTomcat,データストアとしてMySQLまたはHSQLDBを必要とし,またWeb Consoleの利用にExtJSが必要となります。ちなみにOozieという単語は,ミャンマーでの象使いを表す言葉だそうです。
どちらもgithub上でソースを公開していますが,Yahoo! Developer NetworkにてHadoop withSecurityを含むVMWareの仮想マシンイメージを公開しています。また,Clouderaにて配布しているディストリビューション(Cloudera’s Distribution forHadoop)の最新バージョンであるCDH3b2ではOozieをサポートしており,今後Hadoop with Securityもサポートする予定です。
濃縮還元オレンジニュース
- 自身の直感をあまり信用しない
- 「明日昼までにエヴァカメラと同等のiPhoneアプリを開発できる方を探してます」
- C++の話(本当にあった怖い話)
- プログラミング未経験から発表まで「漫画で読む未踏ユース」
- Zed Shaw氏の考える「プログラミングの入門書はどうあるべきか」
- DSLの使用
- PHPで大規模ブラウザゲームを開発してわかったこと
- Scala 2.8.0リリース
- 米Yahoo!「Hadoop with Security」「Oozie」をオープンソースで公開

