「大きな変化を迎えているHadoopのいまを皆さんに正しくお伝えしたいと思い,
基調講演に先立ち,
Hadoopが"オワコン"扱いされる大きな理由として濱野氏は,
「Hadoopは終わった」
クラウドサービス,コンテナ技術の普及がHadoopに変化を促す
基調講演のトップバッターを務めたのは現役のHadoop PMCメンバー
プレゼンの冒頭で,
- クラウドサービスでの利用が増加
- データ量/計算量の増加
- 機械学習/ディープラーニングの流行
- コンテナ技術の流行
中でもクラウドサービスの利用増はHadoopの世界にも大きな変化をもたらしました。とくにHDFSと大きく関係するのは
また,
- 複数のクラスタを束ねてマスタの負荷を軽減するフェデレーション機能
「HDFS/ YARN Router-based Federation」 - S3のようなオブジェクトストレージ機能をHadoopで実現する
「Ozone」 - ディスクの物理容量を大幅に節約する
「HDF Erasure Coding」
といった機能を実装してきたことを鯵坂氏は挙げています。とくに鯵坂氏も大きく開発に貢献したイレージャコーディングはストレージのディスクスペースを大幅に節約しながら信頼性も担保することから, 3つ目のAIに関してもちょうど3年ほど前からHadoop上での連携が進んでおり, 鯵坂氏が挙げた4つのトレンドのうち, 並列分散処理技術として, を挙げています。Hadoop 3. 「並列分散処理を取り巻く状況の変化に追従しながら,