あけましておめでとうございます。
今年も大規模データ向けの分散処理フレームワークの展望についてご紹介します。例年Apache HadoopとApache Sparkを中心にお届けしておりましたが,
今年は,
Hadoop
Hadoopは2018年に入っても活発に開発が進められています。主に大規模ユーザ向けの改修が目立っており,
本稿では上述のHadoopの開発動向そのものよりも,
Hadoop 3系リリースとエコシステムとの互換性問題
2017年12月にHadoop 3.
Hadoop 2系のHDFSでは,
ここで問題となったのが,
もともと8020番はエフェメラルポートの範囲外で本質的には変更不要であったことから,
ポリシー上,
昨年以前の本記事でも,
Hadoopに対する攻撃
2018年には,
これらはセキュアでない設定のHadoopクラスタを標的にするもので,
また,
Hadoopディストリビュータの合併
今年Hadoop界隈を大きく騒がせたニュースが,
2018年にはHadoop 3をベースとして,
Hadoop 開発者の目線で見たときに,
とはいえ,
また,
2019年のHadoop
Hadoop 3.