あけましておめでとうございます。
例年,
今年は NTTデータに所属する 岩崎正剛
Hadoop 3. 0リリース
昨年の新春特別企画では,
2016年にリリースされた3.
3.
動作環境の変化に着目すると,
Java自体もそのリリースサイクルを変更し,
Hadoopに見る大規模OSSプロジェクトの運営
バージョン3のリリースに時間を要したのは,
開発者側の視点でみると,
規模が大きなソフトウェアにとって,
Hadoop 3.
Sparkの動向
Sparkについては,
これまでのルールベースの最適化エンジンでは,
Structured Streamingは先述のとおりアルファ版を卒業してAPIが安定してきましたが,
この処理エンジンは,
Kubernetesの成功とHadoop/ Spark
実行基盤としてのDockerが急速に普及し,
昨年の記事でも,
アプリケーションを実行する基盤という観点では,
Sparkにおいても,