濃縮還元オレンジニュース

米Yahoo!,リアルタイムなMapReduceフレームワーク「S4」公開

この記事を読むのに必要な時間:およそ 0.5 分

2010年11月4日,米Yahoo! はリアルタイムにMapReduceを処理する「S4」をオープンソースとして公開しました。米Yahoo! ではMapReduceを行うフレームワークとして「Hadoop」を利用および開発していることで有名です。しかし,Hadoopはバッチのようないわゆるオフライン処理に向いており,リアルタイムに処理するような目的には適していません。S4はリアルタイムにMapReduceを処理する目的で開発され,すでに検索広告のパーソナライゼーションなど実際のサービスで利用されているようです。

S4はJavaで書かれており,Hadoopとはコードベースでは関係ありません。コードベースでは大きくCommunication LayerとCore Classesに分かれています。クラスタ管理にはZooKeeper,シリアライゼーションにはAvroまたはKryoを利用しています。

またサンプルアプリケーションも公開しており,現在Twitterで何が話題になっているかをS4を使って調べるコードがチュートリアルとともに紹介されています。

URLhttp://s4.io/

著者プロフィール

角田直行(かくだなおゆき)

普段はお仕事でPHPやJavaを使ってWeb開発をしています。一部でセレブエンジニアとか言われてますが,全然セレブじゃありません。

コメント

コメントの記入