はじめに
こんにちは,
ビッグデータという言葉が浸透して,
ビッグなデータを処理するには相応の計算パワーが必要です。分散処理システムを使って対処するのは一般的な方法ですが,
Hadoop MapReduceにおいては,
しかしながら,
何台ものサーバをセットアップし,
そもそも,
我々
「実例で学ぶAWS」
- Javaで実装する
- CloudFrontのログを解析する
- EMRクラスタとEC2インスタンスとが通信する
第3回は,
CloudFront & EMR
今回はAWSが提供するContents Delivery Network
CloudFrontとEMRは相性がよく,
CloudFrontは静的コンテンツの配信だけではなく,
すなわち,
cosmiでも,
EMRを使う,その前に
HadoopはMapReduceのJava実装ですので,
ソースコードをコンパイルするにはJavaのコンパイラとHadoop Commonのライブラリが必要です。ダウンロードして,
執筆時点
ローカル環境だけでの簡単な動作確認なら,
もし自前の分散実行環境を用意するのであれば,
MapReduceとは
Hadoop MapReduceのプログラムを書く前に,
MapReduceは分散コンピューティングのための計算モデルです。入力となるキーと値のペアを,
Map処理とReduce処理はそれぞれキーの種類ぶん複数回実施されます。それぞれの処理は入力に応じた出力さえ算出すればいいので,
なお,