レポート

Hadoopが変えるデータとヒトへのアプローチ ―「Hadoop Summit 2016 Tokyo」レポート

この記事を読むのに必要な時間:およそ 4 分

日本国内でも進むHadoop利用の大規模化

Hadoop Summitでは,グローバルでのトレンドに加え,各リージョンの代表的なHortonworksの顧客によるHadoopユースケースが紹介されるのですが,今回はリクルートテクノロジーズ,コカ・コーライーストジャパン,三菱ふそうトラック・バス,LIXIL,Yahoo! Japanなどの導入事例がキーノートで紹介されました。

リクルートグループのHadoopクラスタ構築事例は,2011年の公開当初から世界でもトップクラスのユースケースとして有名ですが,初日のキーノートに登壇したリクルートテクノロジーズ ビッグデータ部 グループマネージャの石川信行氏は「リクルートグループ自身のビジネスが多様化したことにより,数年前とはまったく異なるタイプのデータが毎日大量に生成されている」と語り,データの変容にあわせ,Hadoopクラスタの構成も組織の体制も変化していると明かしています。

リクルートテクノロジーズ 石川信行氏

リクルートテクノロジーズ 石川信行氏

とくに2014年から2015年にかけての変化は大きく,⁠2014年は本番98台/開発24台,データ量は543テラバイトだったのが,2015年には本番165台/開発24台,データ量は1.3ペタバイトに跳ね上がった。エコシステムもHiveやHBaseにとどまらず,SparkやMashoutの活用も増えている」と,Hadoopクラスタの数もデータ量も,活用範囲も劇的に拡大する傾向にあるそうです。なお現在は本番機は174台,開発機は41台,データ量は1.9ペタバイトとのこと。⁠採用などにおけるマッチングシステムの最適化やコンテンツのパーソナライゼーション,検索ロジックの最適化などにHadoopをフル活用している」⁠石川氏)というリクルートテクノロジーズですが,最近はGoogleクラウドなどパブリッククラウドでのHadoopクラスタ稼働も行っており,来年以降も"世界最先端のHadoop活用企業"であることは変わらないようです。

リクルートテクノロジーズにおけるHadoopエコシステムの移り変わり

リクルートテクノロジーズにおけるHadoopエコシステムの移り変わり

一方,リクルートグループとはまったく異なるステージですが,グループ企業のデータ統合基盤としてHadoop活用にビジネスの可能性を見出そうとしているのがLIXILグループです。LIXILグループはトステムやINAX,サンウエーブといった複数の企業が合併して誕生した企業で,建築材料や住宅設備機器業界においては国内最大手です。しかし統合してからまだ日が浅く,企業文化も商材もまったく異なる企業がひとつになったため,"LIXIL"という名前よりも,トステムやINAXなど旧ブランド名のほうが有名という状況にあり,各社がもつデータも,当然ながらサイロ化した状態でした。今後のグローバル展開も含め,迅速な経営判断を行い,いち企業グループとして新たに出発していくためにはデータ基盤の統合は欠かせないと決断,⁠誰が見ても同じ値のKPIが得られるように」⁠LIXIL Information. Excellence部 ディレクター 菖蒲 真希氏)と,Hadoopによるデータレイク構築に取り掛かり,2018年1月のカットオーバーを目指しています。

2日目のパネルディスカッションで紹介されたLIXILグループのシステム図,パネルのメンバーは右からLIXIL菖蒲氏,Yahoo! Japan Data Platform Division VP 日比野哲也氏,モデレータを務めたホートンワークスジャパン株式会社 マーケティングディレクター 北瀬公彦氏

2日目のパネルディスカッションで紹介されたLIXILグループのシステム図,パネルのメンバーは右からLIXIL菖蒲氏,Yahoo! Japan Data Platform Division VP 日比野哲也氏,モデレータを務めたホートンワークスジャパン株式会社 マーケティングディレクター 北瀬公彦氏

LIXILではインメモリデータベースのSAP HANAも併用しており,⁠基本的にデータはなんでもHadoopに突っ込むようにしているが,定型レポートなどではHANAを利用している」と説明しています。カットオーバー後にはどんなHadoopデータ基盤ができあがっているのか,非常に興味深いです

そろそろ日本でも「米国型カンファレンス」

2日間のHadoop Summit 2016 Tokyoに参加してもっとも印象に残ったのは,個々のブレイクアウトセッションの質が非常に高く,サンノゼのそれと比べても決して劣っていないという点でした。もちろんデータ分析で世界最先端を行くシリコンバレーの事例ほどの先進性はありませんが,コミュニティメンバーやHortonworksによるHadoopの最新技術情報,ユーザ企業によるビジネスにおける変化,今後の課題などの紹介,AWSやMicrosoftといったパートナー企業によるHadoop関連サービスなど,非常にバランスが取れた,かつ日本のユーザに適したプログラムが組まれており,技術者にとってもビジネスユーザにとっても満足度が高かったのではないでしょうか。他のHadoop Summitと同じ運営会社が担当していることもあり,規模は大きく異なるものの,サンノゼのカンファレンスに似た解放的な雰囲気を強く感じました。音の問題も若干取り沙汰されていましたが,参加者にキーノートやセッションでの写真撮影や録音を許可し,ソーシャルでの共有を好きにさせたことも,これまでの日本のカンファレンスではあまり見られなかった光景です。有料で開催したことも含め,カンファレンスの運営スタイルをグローバル標準に近づけたことは,個人的には非常に高く評価できると思っています。

Hadoopの普及は多くの業界に拡大しており,サンノゼのカンファレンスでは,Google,Facebook,Uber,Airbnbといったデータ分析の最先端企業のほか,金融,エネルギー,ヘルスケアといったクラシックな分野での大規模事例も数多く公開されています。今回の東京開催においてもユニークな国内事例をいくつか知ることができましたが,次の開催時には新旧問わず,より多くの企業による先進的なHadoop事例が聞けることを願っています。

なお,2017年からHadoop Summitは「Data Works Summit」に名称が変更され,4月にドイツ・ミュンヘンで最初の開催が予定されています。データの総合イベントとしてどう進化していくのか,こちらも期待しています。

著者プロフィール

五味明子(ごみあきこ)

IT系の出版社で編集者としてキャリアを積んだ後,2011年からフリーランスライターに。フィールドワークはオープンソースやクラウドコンピューティング,データアナリティクスなどエンタープライズITが中心。海外カンファレンス取材多め。Twitter(@g3akk)やFacebookで日々IT情報を発信中。

北海道札幌市出身/東京都立大学経済学部卒。

バックナンバー

2016年

バックナンバー一覧

コメント

コメントの記入