2016年10月26,
Hadoop 3. 0のハイライト
まずは小沢PMCが紹介したHadoop 3.
コンパイル可能なソースコードはJDK 8 (Java 8) 以上に
Hadoop 2.
ライブラリマネジメントの改善
小沢PMCの説明によれば
- Jersey: 1.
9 → 1. 19 - grizzly-http-servlet: 2.
1.2 → 2. 2.21 - Guice: 3.
0 → 4. 0 - cglib: 2.
2 → 3. 2.0 - asm: 3.
2 → 5. 0.4
といったライブラリのアップグレードが行われるとのこと。また,
「Azure Data Lake Store」 のサポート
ストレージ関連のアップデートで注目されるのは,
シェルスクリプトのリライト
Hadoop 3.
デーモンログをKafkaに出力するプラグインの追加
ストリーミングデータをリアルタイムに処理するバックエンドとしてデファクトになりつつあるApache Kafkaとの連携をさらに強化するために,
ネームノードのマルチスタンバイ構成
Hadoopでは2.