レポート

10周年を迎えたHadoop,データ分析の主戦場はクラウドとデータセンターの連携に ―「Hadoop Summit 2016 San Jose」レポート

この記事を読むのに必要な時間:およそ 3.5 分

Hadoopイノベーションの担い手となったMicrosoft

今回のHadoop Summitでは昨年までにはなかった「イノベーションスポンサー」という枠が設けられ,そこに名前があった企業はMicrosoftでした。つい数年前まで「Dryad」という独自の並列分散処理基盤を開発し,Hadoopを敵視していたMicrosoftが,オープンソースの巨大プロジェクトであるHadoopの名を冠したカンファレンスに特別枠のスポンサーとして参加する―Hadoop誕生の10年前には誰も想像できなかったことだと思います。サティア・ナデラ氏がCEOに就任して以来,怒涛の勢いで変革を続けるMicrosoftですが,オープンソースへの傾倒,そしてHadoopへのコミットが,日に日に強く/深くなっていることを強烈に印象づけていました。本カンファレンスでのMicrosoftの存在感はきわめて強く,Microsoftブースや主催セッションにはつねに多くの人々を集めていました。

Microsoftブースに置かれていたTuxペンギンたちが隔世の感を醸し出す

Microsoftブースに置かれていたTuxペンギンたちが隔世の感を醸し出す

初日のオープニングキーノートにはビアデンCEOに続いてMicrosoftでデータグループ部門のバイスプレジデントを努めるジョセフ・シロシュ(Joseph Sirosh)氏が登壇し,Microsoftがデータビジネス,とくにAzure上でのデータ分析において実現してきたいくつかの大きな成果を強調しています。

  • マシンラーニングによってインドの子供たちが貧困から学校をドロップアウトする状況を予測,回避策を取ることで低減へ
  • 3.11の福島の原発事故による放射能汚染に関するデータをAzure上のHadoopサービスである「Microsoft Azure HDInsight」に集約し,ヒートマップを作成
  • 世界中の女性の健康リスクを減らすための施策について,Cortanaを使ってアイデアを出しあうオープンコンペティション「Women's Health Risk Assesment」

シロシュ氏はこれらのイノベーションを「Unreasonable 3.0」と表現しており,現代のACID(Algorithm/Cloud/IoT/Data)によって既存の常識では考えられなかったことが次々と現実化していると語っています。

HDInsightでデータを集約し分析した福島の放射能汚染ヒートマップ

HDInsightでデータを集約し分析した福島の放射能汚染ヒートマップ

Unreasonable 30 - データの力により「いままでできなかったことができるようになってきている」と強調するMicrosoftのシロシュ氏

Unreasonable 30 - データの力により「いままでできなかったことができるようになってきている」と強調するMicrosoftのシロシュ氏

なお,MicrosoftのHadoopソリューションであるHDInsightはHortonworks Data Platformをベースに構築されており,今回のカンファレンスでは両者が今後,クラウド上のHadoop関連ビジネスにおけるパートナーシップを強化していくことが発表されています。こうした提携からも,"Elephant in the Cloud"へと向かうトレンドがうかがえます。

10 Years of Apache Hadoop!

オープニングキーノートには引き続き,Hortonworks創業者のひとりであり,Hadoop界のレジェンド的存在としても知られるアルン・マーシー(Arun Murthy)氏が登壇し,Apache Hadoopが10歳の誕生日を迎え,晴れて"ティーンエージャー"になったことを喜ぶとともに,これからのHadoopの課題として「モダンアプリケーションはすべてデータ・アプリケーションとなる。だからこそ,Hadoopは現在の100倍使いやすく,デプロイしやすく,セキュアで,管理しやすい存在にならなければならない」と語っています。マーシー氏はとくに増え続けるオンライン詐欺や企業への大規模攻撃を取り上げ,これらの悪意に対抗するにはHadoop上でマシンラーニングなどを駆使したリアルタイム分析がますます重要になってくるとしています。

Hortonworks共同設立者 アルン・マーシー氏のセッション

Hortonworks共同設立者 アルン・マーシー氏のセッション

オープニングキーノートの終わりには,世界中から集ったHadoopコミッタが壇上に上がり,Hadoopの10周年ケーキとともににぎやかにお祝いが行われました。日本からもコミッターとして小沢健史PMC(NTT)⁠鯵坂明PMC(NTTデータ)の2人が参加しています。世界中の開発者がそれぞれの現場での課題感を持ち寄りながら,英語で議論を重ね,交流し,Hadoopを進化させながら自分自身の腕も磨いていく,そうしたコミュニティの力,オープンソースの力がHadoopをここまで成長させてきたことをあらためて強く感じさせるセレブレーションでした。

コミッタが登壇してHadoopの10歳をケーキでお祝い。小沢PMCと鯵坂PMCも登壇

コミッタが登壇してHadoopの10歳をケーキでお祝い。小沢PMCと鯵坂PMCも登壇

Hadoopコミッタは会場のどこでも声をかけられすぐにディスカッション。日本から参加の小沢PMC,鯵坂PMCも各国の参加者から大人気でした。

Hadoopコミッタは会場のどこでも声をかけられすぐにディスカッション。日本から参加の小沢PMC,鯵坂PMCも各国の参加者から大人気でした。


昨年のHadoop Summitのテーマが「リアルタイム」「エコシステム」であったなら,今回のテーマは明らかに「クラウド」⁠そして「Connected」であったように思えます。リアルタイムとエコシステムをさらに一歩進め,どんなデータがどこにあっても,どんな処理がなされていても,スピーディにセキュア実行すること,それがイノベーションを加速する - ビアデンCEOは「データはいまやプロダクトであり,どんな企業にとっても欠かせないアセット(資産)だ」とキーノートで語っていましたが,裏を返せばデータをプロダクトとみなせず,適切に扱えない企業は市場に入ることすらできない時代になっているのかもしれません。そしてデータの必要性と重要性が高まるほどに,Hadoopの存在価値も高まっていきます。

もうひとつ,今回のカンファレンスで強く印象に残ったのは,参加者の多様化でした。Hadoop開発者にはもともとインド系や中国系の人々が多いのですが,今回は女性の参加者も目立って増えています。とくにSparkやマシンラーニング系のセッションでは女性が半数近くいることも少なくありませんでした。主催者のHortonworksやYahoo!に女性が多いということも影響しているのかもしれませんが,データが多様化するならそれを扱う人材も多様化するのは当然の流れであり,シリコンバレーを中心に新しい変化が起こりつつあることを実感しました。

この10年,HadoopはビジネスとITの変化とともに,自分自身をダイナミックに進化させてきました。ティーンエージャーになったHadoopがこれからどう成長していくのかに,引き続き注目していく必要がありそうです。

著者プロフィール

五味明子(ごみあきこ)

IT系の出版社で編集者としてキャリアを積んだ後,2011年からフリーランスライターに。フィールドワークはオープンソースやクラウドコンピューティング,データアナリティクスなどエンタープライズITが中心。海外カンファレンス取材多め。Twitter(@g3akk)やFacebookで日々IT情報を発信中。

北海道札幌市出身/東京都立大学経済学部卒。

コメント

コメントの記入