レポート

Hadoopの導入がリクルートの体制を変えた─Hadoop Conference Japan 2013 Winterレポート(4)

この記事を読むのに必要な時間:およそ 3 分

1月21日に東京ビッグサイトで1,000名を超える参加者を集めて開催されたHadoop Conference Japan 2013 Winter。基調講演のほか3トラック21講演が行われ,いちオープンソースのユーザカンファレンスのレベルを超えたイベントとなり,成功裏に幕を閉じました。

今回のイベントの成功に大きく貢献した企業がリクルートテクノロジーズです。東京ビッグサイトという大きな会場の提供をはじめ,ノベルティグッズの配布,6種類のメニューから選べる無料ランチの提供など,運営にあたってさまざまな支援を行いました。実行委員としても同社から2名が名前を連ねています。

なぜリクルートテクノロジーズはここまでの支援を行ったのでしょうか。それは同社およびリクルートグループが世界でもトップクラスの規模でHadoopを導入した企業であり,Hadoopによってビジネスを大きく向上させることができたからにほかなりません。

基調講演で短い挨拶を行ったリクルートテクノロジーズ 執行役員 CTO 米谷修氏は「4年前にHadoopと出会い,現在ではリクルートのすべての事業で日常的にHadoopを利用している。これまでの経験から,我々自身がHadoopの可能性を強く信じるようになった。そして我々が得た知見を会社の枠を超えて共有し,世の中を良くしていくことにつなげていきたい」と述べています。ベンダではなく,オープンソースのユーザ企業がそのオープンソースのイベントを支援するという,非常に理想的な関係が日本のHadoopエコシステムに組み込まれているといえます。

基調講演で挨拶を行うリクルートテクノロジーズCTO 米谷修氏

基調講演で挨拶を行うリクルートテクノロジーズCTO 米谷修氏

Hadoopとの関わりが深いリクルートですが,同社は現在,どのようにHadoopをビジネスに活かしているのでしょうか。ここではリクルートテクノロジーズ ITソリューション部 石川信行氏による「リクルート式Hadoopの使い方 2ndEdition」の概要をレポートします。

「ボトムアップの文化」が後押ししたHadoop活用

リクルートグループは現在,リクルートホールディングスの下,7つの事業会社と3つの機能会社が存在しており,リクルートテクノロジーズは各事業会社が提供するサービスの価値を最大化させるため,ITテクノロジでこれを支援するという役割を担っています。

前述の米谷CTOのコメントにある通り,リクルートでは4年に渡ってHadoopを運用してきた実績があり,2011年のHadoop Conference JapanにおいてもHadoop導入のストーリーやエコシステムの利用状況などの紹介を行いました。その後,リクルートでのHadoop活用は石川氏の講演のタイトルにもあるように"2nd Edition",第2世代に突入したといいます。2年弱の期間で,同社のHadoopシステムはどう変わったのか,そしてどこへ向かおうとしているのでしょうか。

リクルートテクノロジーズ ITソリューション部 石川信行氏

リクルートテクノロジーズ ITソリューション部 石川信行氏

リクルートでは2011年9月から「ビッグデータグループ」が創設されています。同グループではコンサル型データアナリストとエンジニア型データアナリストという,ビッグデータに対峙する2つのタイプのアナリストが存在します。ビッグデータグループが作られるまでは,これらのアナリストは別々の部署に存在しており,⁠予算の取り合いや,企画の重複などがあり,非生産的な状況が続いていた」⁠石川氏)とのこと。

そうした状況を改善するため,現場に近いところで提案を行うコンサル型データアナリストと,MapReduceやデータマイニングにすぐれたエンジニア型データアナリストが,事業マーケターと協働できる体制が作られました。タイプの違うアナリストが一緒に動くことでこれまでにないシナジーを起こし,より多くのビジネス案件を回していくという方針に切り替えたのです。

ちなみに石川氏はエンジニア型で,⁠リクナビ」「カーセンサー」などの事業マーケターからコンサル型(分析者)のもとに上がってきた要件定義に対し,事業担当者と直接のやり取りを行いながら実装や分析を行い,技術提案や,場合によっては案件提案も行うという,最前線の部隊に属しているそうです。

このように見ていくと,リクルートでは至極スムースにデータ分析のための活動が行われているように思えますが,多くの企業が陥る情報活用の失敗に,リクルートもまた苦しんできたと石川氏は言います。⁠分析をしただけで,何のビジネス効果も得られないということも正直あった。効果がなければ予算を獲得できなくなるし,そもそもデータを信用しなくなるという風土になりやすい。だがリクルートが(情報活用で失敗した)他社と違ったのは,ボトムアップの文化があったという点。事業担当者もエンジニアも分析者も,上から降ってきた案件ではなく,泥臭く要件を出して実装を繰り返し,効果を出すことにつなげてきた。この泥臭さがHadoopの社内での普及につながった」と石川氏。

予算がないから,実績がないから,と上層部にダメ出しされてもあきらめることなく,Hadoopの良さを信じて"泥臭く"現場から提案を続けたことが,いまのリクルートグループにおけるHadoop活用につながっているのです。

もともとリクルートはビッグデータという言葉がバズワードとなる前から,データ分析に取り組む環境を段階的に整えて来ましたが,ここ1,2年でとくに大きく変わったのはやはり扱うデータ量が膨大になったことだと石川氏は言います。現在の同社におけるHadoopシステム構成は"第2世代",MapRおよびGreenplumMRが稼働する40台のHadoopクラスタをプライベートクラウドと完全に統合し,3ノードから利用リソースに応じて増設できるしくみになっています。Apache HadoopとCDHで構成されていた第1世代のHadoopシステムは120台でプライベートクラウドとの統合も部分的だったことを考えると,統合を進めたことでより効率的なリソース活用が実現できていることがわかります。

Hadoopをプライベートクラウドに完全統合し稼働台数の削減に成功

Hadoopをプライベートクラウドに完全統合し稼働台数の削減に成功

またリクルートではHiveやmahout,sqoop,HBaseといったHadoopエコシステムも積極的に活用しています。とくにSQLライクな操作が可能なHiveはエンジニアだけでなく,分析を担当するコンサルタントにも利用しやすいため,社内で広く普及しているそうです。

著者プロフィール

五味明子(ごみあきこ)

IT系の出版社で編集者としてキャリアを積んだ後,2011年からフリーランスライターに。フィールドワークはオープンソースやクラウドコンピューティング,データアナリティクスなどエンタープライズITが中心。海外カンファレンス取材多め。Twitter(@g3akk)やFacebookで日々IT情報を発信中。

北海道札幌市出身/東京都立大学経済学部卒。

バックナンバー

2013年

バックナンバー一覧

コメント

コメントの記入