連載
Amazon Elastic MapReduceの使い方─Hadoopより手軽にはじめる大規模計算
大規模データを扱うバッチ処理などにHadoopを使う事例が注目されていますが，Hadoopをセットアップして使うのは大変です。Amazon Elastic MapReduce（EMR）は，Amazon Web Serviceの基盤を利用してこうしたセットアップを行うことなく，Hadoopの本質であるMapReduce機能を使うことができます。この連載ではEMRの使い方を紹介します。
- 第8回 Amazon Elastic MapReduceのパフォーマンスをモニタリングする
- bootstrapでGangliaを設定して監視する
- Proxyを使って確認するには
- SSHトンネルを利用して確認するには
2011年5月12日
- 第7回 Amazon Elastic MapReduceのパフォーマンスを引き出すためのHadoopの基礎知識
- HDFSではサイズが大きいファイルを扱うほうが効率的
- Map数とReduce数はどのように決まるのか
- splitの単位を指定する場合
- EMRでMap数を増やすには
2011年3月31日
- 第6回 bootstrapを設定するには
- Webコンソールでbootstrapを設定するには
- Amazon Elastic MapReduce Ruby Clientでbootstrapを設定するには
- Java SDKでbootstrapを設定するには
- その他のbootstrap
- shutdown actionsで終了時にも処理できる
2011年2月17日
- 第5回 デバッグモードを使いこなす
- Web Consoleでデバッグモードを使用するには
- Amazon Elastic MapReduce Ruby Clientでデバッグするには
- Java SDKでデバッグするには
2011年2月10日
- 第4回 Java SDKでEMRを起動する
- Java SDKを使う準備をする
- Amazon Elastic MapReduce Clientのコンストラクタにプロパティファイルを渡す
- ステップを定義する
- デバッグモードで起動するには
- Jobを実行させるリクエストを定義する
- Jobを実行させる
- Jobが完了したか確認する
- EMRを終了させる
2011年2月3日
- 第3回 Amazon Elastic MapReduce Ruby ClientでEMRを起動する
- Web ConsoleとAPIはどこが違うのか
- EMRではどのようなAPIを使用できるか
- 認証関係の設定をする
- elastic-mapreduceコマンドでEMRを起動する
- 複数のJobを起動してターミネートさせる
2011年1月27日
- 第2回 Web ConsoleからElastice MapReduceを起動させる
- Web Consoleに接続する
- 新しいJob Flowを作成する
- Jobのタイプを指定する
- 起動したいインスタンスの数を設定する
- bootstrapを指定する
- 設定を確認してJobを起動する
2011年1月20日
- 第1回 Amazon Elastic MapReduceを使う準備をする
- Amazon Elastic MapReduceとは
- 利用申請をする
- S3にデータを転送する
- EMRを操作する
2011年1月13日
小林隆（こばやしりゅう）
クラウド，Hadoopを使ったMapReduce，NoSQL（主にCassandra）を使った開発を行っている。CassndraのGUIをオープンソースで公開。