関西のPerlユーザグループKansai.pmでの勉強会にて，はてなの伊藤直也氏が発表したセッション資料です。資料には，Googleの根幹技術であるMapReduceの解説やPerlでのMapReduce実装，さらにJavaオープンソースプロダクトのHadoopを使ってMapReduceを行う方法について書かれています。MapReduceは，関数型言語に由来するmap関数とreduce関数を定義して大規模なデータを多数のサーバで処理するシステムです。

伊藤氏は，MapReduceの計算モデルをPerlモジュール化した自作のMapReduce::Liteを使って，Apacheのログ解析を題材にコード例を示しています。しかし，ただ計算モデルだけを実装してもGoogleのように大規模なデータ処理は行えません。分散ファイルシステムを利用し複数マシンにデータを分割してそれぞれ処理することで，大きなデータを扱うことができます。

そこでMapReduceと分散ファイルシステムを備えたHadoopの登場です。HadoopはJavaで実装されているので通常MapperとReducerはJavaで書く必要がありますが，Hadoop Streamingを使えば標準入出力を扱えるものであれば何でもMapper，Reducerにすることができます。資料ではPerlスクリプトを使った例を挙げています。また，Hadoop StreamingをPerlで扱いやすくするための自作フレームワークも紹介しています。ちなみに，発表資料には書かれていませんがHadoop Pipesを使えばC++で高速に実装することもできます。

このように，Hadoopを使えば誰でもGoogleのようにMapReduce処理を行うことができます。実際FacebookやMySpace，Last.fmといったサービスは，Hadoopで数十台～数百台のマシンを使って、数十Tバイト～数Pバイトものデータを処理しています。

URL：http://d.hatena.ne.jp/naoya/20080531/1212245982