2013年10月にHadoop 2.
そしてHadoopのクラスタリソース管理を行うミドルウェアとして,
データ分析基盤の分離とスケーラビリティ確保のために
前述したようにYARNとは,
- 計算機クラスタ内におけるリソース管理
- YARNアプリケーションの実行履歴の表示
- YARN上で動作中のサービスの場所を知るためのしくみ
(サービスレジストリ)
YARNが登場してきた背景には,
こうしたデータ分析基盤を使い分けたいというニーズに対し,
ではYARNは設計方針としてどちらの手法をとっているのでしょうか。小沢氏は
もともと,
YARNを支える3つの機能,今とこれから
YARNのリソース管理
YARNではマスタとしてResourceManagerがクラスタ全体のリソースを管理し,
小沢氏はここで,
バージョン2で変わる! 履歴管理
YARNの2つめの機能である履歴管理として,
- YARNアプリケーションすべてに共通な情報 … 割り当てられたコンテナ数,
キューの名前など - 各YARNアプリケーション固有の情報 … MapReduceならMapper/
Reducerのカウンタ数やシャッフル量など
の2種類がありますが,
現在のTimeline Serverは
なお,
サービスレジストリ
3つめの機能であるサービスレジストリですが,