濃縮還元オレンジニュース

Amazon,ウィザードだけで使えるHadoopサービス「Amazon Elastic MapReduce」開始

この記事を読むのに必要な時間:およそ 0.5 分

米Amazonの子会社であるAmazon Web Services(AWS)は,2009年4月2日にHadoopを使って分散処理を行う環境「Amazon Elastic MapReduce」のβサービスを開始しました図1)。AWSが提供している仮想サーバ環境のAmazon EC2やストレージサービスのAmazon S3を組み合わせて,HadoopによるMapReduce処理を行えるようになっています。

図1 Amazon Elastic MapReduce

図1 Amazon Elastic MapReduce

これまで,ログ解析などの大量なデータを処理したり,科学計算などの時間がかかる処理を行ったりするには,大容量のストレージや高性能のサーバが必要でした。しかし,頻繁に利用するのでなければ,マシンの購入費や維持費などを考えるとコストパフォーマンスが良くありません。このような課題に対して,Amazon EC2とAmazon S3を組み合わせてHadoopを自前でインストールする事例がありましたが,今回のAmazon Elastic MapReduceの登場により,もっと手軽に構築し実行できるようになりました。また,HadoopStreamingの利用を想定して科学計算処理ライブラリ「SciPy」やHTMLパーサ「BeautifulSoup」などのPythonライブラリがあらかじめインストールされているところもうれしい点です。

実際に使用してみたブログ記事では,「100台を1時間使用しても1,000円程度の値段で済んでしまうのは凄い」とコストパフォーマンスを称賛する一方「ジョブが失敗したときに何が悪かったのかがまったく表示されない」とデバッグ面での不満も挙げています。

URLhttp://aws.amazon.com/elasticmapreduce/

著者プロフィール

角田直行(かくだなおゆき)

普段はお仕事でPHPやJavaを使ってWeb開発をしています。一部でセレブエンジニアとか言われてますが,全然セレブじゃありません。

コメント

コメントの記入