前回はAmazon Elastic MapReduceから少し離れて、
bootstrapでGangliaを設定して監視する
パフォーマンスを出すためにまず重要なのが、
EC2と同様に、
EMRのパフォーマンスの監視には、
EMRは、
s3://elasticmapreduce/bootstrap-actions/install-ganglia
Proxyを使って確認するには
GangliaのUIを確認するには2つの方法があります。どちらもいくつか設定が必要です。1つめの方法はProxyを使ってアクセスする方法です。
FoxyProxyをインストール/設定する
本連載の初回でも「AWSはFirefoxを推奨している」と書きましたが、Gangliaの監視ではFirefoxのアドオン「FoxyProxy」)を使います。AWSでもFoxyProxyを推奨しているようです。
インストールが完了したら、
Firefoxのメニュー⇒ツール⇒FoxyProxy Standard⇒ 「オプション」
起動できたら

設定画面が起動したら、
- Host or IP Address ⇒ localhost
- ポート ⇒ 8157
(AWSで推奨しているようです) - 「SOCKSプロキシ」
をチェック - 「SOCKS v5」
を選択

次に

画面が起動したら下記のように設定してください。
- パターン名
- ⇒適当なパターン名を入力
- URLパターン
- ⇒ 以下の2つを入力
- *ec2*.amazonaws.
com* (AWSのDNSパブリック) - *ec2.
internal* (AWSのDNSプライベート)
- *ec2*.amazonaws.
- URLの包含と排除
- ⇒「ホワイトリスト」
を選択 - パターン内容
- ⇒「ワイルドカード」
を選択

上記のURLパターンをそれぞれ登録すると、

設定が完了したら
最後にもう一度、
SSHトンネルでEMRのマスタに接続する
FoxyProxyの設定が終わったら、以下のようにSSHトンネルを使ってEMRのマスタに接続します。ssh -i keyfile -ND 8157 hadoop@MasterDNSName
ポイントは以下の3点です。
- キーファイル
- ⇒ EMR起動時に指定したキーファイルを設定する
- ポート
- ⇒ 8157を設定する
(8157にFoxyProxyに設定したため) - MasterDNSName
- ⇒ 接続先のEMRのマスタを指定する
マスタの確認方法は以下のとおりです。
- Webコンソールでログイン
-
- ⇒EC2タブからインスタンスを選択
- ⇒セキュリティグループが
「ElasticMapReduce-master」 となっているものを見つける
ほかにも、
elastic-mapreduce --list --all
なお、
SSHトンネルを利用して確認するには
2つめの方法は、
ssh -i keyfile -ND 80 hadoop@MasterDNSName
Proxyと違うのは、
http://localhost/ganglia/
単純にGangliaだけを確認するのであればポートフォワードのみでも大丈夫です。しかし、
なお、
JobTracker | NameNode | |
---|---|---|
Hadoopデフォルトポート | 50030 | 50070 |
EMRポート | 9100 | 9101 |
EMRに限らず、
パフォーマンスの評価は、