未来のサービスを作る基礎技術

第7回 リクルート式Hadoopの使い方

この記事を読むのに必要な時間:およそ 1.5 分

前回は,リクルートグループでのHadoopを利用したサービス活用事例を紹介しました。今回は,Hadoop Conference Japan 2013 Winterで弊社の石川信行が講演した「リクルート式Hadoopの使い方 2nd Edition」の紹介をします。

図1 Hadoop Conference Japan 2013 Winterでの講演の様子

図1 Hadoop Conference Japan 2013 Winterでの講演の様子

ビックデータを扱う体制と環境の進化

リクルートで,ビックデータに挑むアナリストは2種類います。

コンサル型データアナリスト

コンサル型データアナリストは,事業の抱える課題解決に向けた仮説を立て,具体的な解決案の提案を行います。分析力,論理的思考力,統計などの数学的知識が必要とされます。

エンジニア型データアナリスト

エンジニア型データアナリストは,データマイニングやマシンラーニング(機械学習)などを行い,その結果を元に一定の規則性を見つけ出し,品質向上につなげます。主にHadoopとその周辺のツールの知識が必要とされます。

図2 アナリストの定義

図2 アナリストの定義

リクルートテクノロジーズでは,2種類のアナリストが協働してサービス担当者にこれまで以上のサービスを提供することができるよう,ビッグデータグループが創設されました。

図3 ビックデータグループの体制

図3 ビックデータグループの体制

ビッグデータグループの役割

ビッグデータグループは事業担当者(マーケッター)と直接要件のやりとりを行い,実装や分析を通じてお互いの価値を見出していく部署です。8割の会社が情報活用に失敗するという調査報告がありますが,リクルートグループでも失敗が繰り返されていました。

分析しっぱなし

とりあえずやるだけ,やっているだけ。活用がうまくできてない。

予算が取れない

効果がわからないので予算の確保が難しい。

しかしリクルートグループでは,現場担当者が実装,効果把握,報告を繰り返し行ったことで,社内の認知度が徐々に高まり,現在ではほぼすべての事業部でHadoopなどを利用したデータ分析が行われる状態になりました。

図4 ビックデータグループの役割

図4 ビックデータグループの役割

リクルート式Hadoopの使い方 2nd Editionで発表したHadoopの活用パターンは,大きく2つに分けられます。

図5 2012年度リクルートグループで進めてきた案件パターン

図5 2012年度リクルートグループで進めてきた案件パターン

1.大量集計

集計対象期間を増やすことで,今までExcelなどでは分析しきれなかった新たな発見をしたり,機能追加開発の際の説得資料などに役立てる。

図6 オファー施策の改善

図6 オファー施策の改善

転職サイトのスカウトメールが,どのようなステータスのカスタマー(ユーザ)に送信されているか,オファーを受信するタイミングなどにより,返信率がどのように変化していくかを長期間の時間軸で分析することで,価値のあるアウトプットを生み出すことができるようになりました。

RDBMSでは,約37時間かかるような処理が,Hadoopを利用することで,30分ほどで返ってくるようになり,より説得力のあるデータを短時間で作成することができるようになりました。

著者プロフィール

高林貴仁(たかばやしたかひと)

2011年9月入社。リクルートでは,Hadoop関連の業務に携わる。2012年4月より,ATL(アドバンスドテクノロジーラボ)配属。脳波を利用したアプリケーションの開発や,Node.jsなどを利用したアプリケーション開発に携わる。

2012年10月から,リクルートテクノロジーズ)として,R&Dの業務に携わる。

Twitter:https://twitter.com/tatakaba

Facebook:https://facebook.com/tatakaba

注)リクルート MIT Unitedは,2012年10月1日の分社化に伴い,リクルートテクノロジーズという機能会社に生まれ変わりました。詳しくはコチラをご覧ください。

コメント

コメントの記入