第8回　Amazon Elastic MapReduceのパフォーマンスをモニタリングする

前回はAmazon Elastic MapReduceから少し離れて、Hadoopの基礎の視点からパフォーマンスについて説明しました。今回からEMRに特化してパフォーマンスの説明をしていきます。

bootstrapでGangliaを設定して監視する

パフォーマンスを出すためにまず重要なのが、パフォーマンスを計測することです。

EC2と同様に、EMRもインスタンスのタイプが選べるので、CPUやメモリなどのスペックが足りていないかどうかを判断することができます。逆に「ノード数20で起動していたが、10ノードで済む」などとわかり、高スペックなものを改善すればコストも削減できます。

EMRのパフォーマンスの監視には、オープンソースの監視ツールであるGangliaを使います。Gangliaは、数千ノードまで対応できるように設計されています。詳しくはGangliaのページを参照してみてください。

EMRは、第6回で紹介したbootstrapでGangliaを設定することができます。WebコンソールでもAPIでも、以下のパスをbootstrapに設定するようにしてください。

s3://elasticmapreduce/bootstrap-actions/install-ganglia

GangliaのUIを確認するには2つの方法があります。どちらもいくつか設定が必要です。1つめの方法はProxyを使ってアクセスする方法です。

本連載の初回でも「AWSはFirefoxを推奨している」と書きましたが、Gangliaの監視ではFirefoxのアドオン「FoxyProxy」)を使います。AWSでもFoxyProxyを推奨しているようです。

インストールが完了したら、以下のようにたどってオプション画面を起動してください。

Firefoxのメニュー⇒ツール⇒FoxyProxy Standard⇒ 「⁠オプション」を選択

起動できたら「新しくプロキシを追加」を押下してください。

設定画面が起動したら、「⁠プロキシ詳細」タブを選択してください。そして「手動プロキシ設定」で以下のように設定してください。

次に「URL Patterns」タブを選択し、「⁠新規パターン」を追加を押下します。

画面が起動したら下記のように設定してください。

パターン名

⇒適当なパターン名を入力

URLパターン

⇒ 以下の2つを入力

URLの包含と排除

⇒「ホワイトリスト」を選択

パターン内容

⇒「ワイルドカード」を選択

上記のURLパターンをそれぞれ登録すると、以下のように2種類のパターンがリストに追加されます。

設定が完了したら「OK」を押下して設定を反映させてください。

最後にもう一度、ツールメニューから、先ほど設定したプロキシを選択してください。なお、プロキシへのアクセスが終了したら元に戻してください。他のサイトへ接続できなくなっています。

ssh -i keyfile -ND 8157 hadoop@MasterDNSName

ポイントは以下の3点です。

マスタの確認方法は以下のとおりです。

Webコンソールでログイン

ほかにも、Rubyクライアントの以下のコマンドで確認する方法もあります。

elastic-mapreduce --list --all

なお、今回はリモートでコマンドを実行しないので、Nオプションでコマンドを実行しないようにしてあります。あとはhttp://publicMasterDNSName/ganglia/ からGangliaのWeb UIへアクセスするだけです。

2つめの方法は、単純にSSHトンネルを使用するだけです。

ssh -i keyfile -ND 80 hadoop@MasterDNSName

Proxyと違うのは、ただのポートフォワードなのでlocalhostを使用することです。

http://localhost/ganglia/

単純にGangliaだけを確認するのであればポートフォワードのみでも大丈夫です。しかし、HadoopのWeb UIでJobTrackerとHDFSの状態を確認したいのであれば、Proxy設定をしておいてください。確認が1回で済むので楽です。

なお、EMRのWeb UIポートは以下のようにHadoopのデフォルトポートと異なっているので注意してください。

	JobTracker	NameNode
Hadoopデフォルトポート	50030	50070
EMRポート	9100	9101

EMRに限らず、性能を限界まで引き出すためには、どこがネックになっているのかを把握することと、「⁠実はまだまだ余裕があった」ということがないように、空きリソースをうまく使い切ることがかなり重要です。

パフォーマンスの評価は、性能を測る上でも初期に行うものです。ぜひ試してみてください。