前回は，リクルートグループでのHadoopを利用したサービス活用事例を紹介しました。今回は，Hadoop Conference Japan 2013 Winterで弊社の石川信行が講演した「リクルート式Hadoopの使い方 2nd Edition」の紹介をします。

ビックデータを扱う体制と環境の進化

リクルートで，ビックデータに挑むアナリストは2種類います。

コンサル型データアナリスト

コンサル型データアナリストは，事業の抱える課題解決に向けた仮説を立て，具体的な解決案の提案を行います。分析力，論理的思考力，統計などの数学的知識が必要とされます。

エンジニア型データアナリスト

エンジニア型データアナリストは，データマイニングやマシンラーニング（機械学習）などを行い，その結果を元に一定の規則性を見つけ出し，品質向上につなげます。主にHadoopとその周辺のツールの知識が必要とされます。

リクルートテクノロジーズでは，2種類のアナリストが協働してサービス担当者にこれまで以上のサービスを提供することができるよう，ビッグデータグループが創設されました。

ビッグデータグループの役割

ビッグデータグループは事業担当者（マーケッター）と直接要件のやりとりを行い，実装や分析を通じてお互いの価値を見出していく部署です。8割の会社が情報活用に失敗するという調査報告がありますが，リクルートグループでも失敗が繰り返されていました。

分析しっぱなし

とりあえずやるだけ，やっているだけ。活用がうまくできてない。

予算が取れない

効果がわからないので予算の確保が難しい。

しかしリクルートグループでは，現場担当者が実装，効果把握，報告を繰り返し行ったことで，社内の認知度が徐々に高まり，現在ではほぼすべての事業部でHadoopなどを利用したデータ分析が行われる状態になりました。

リクルート式Hadoopの使い方 2nd Editionで発表したHadoopの活用パターンは，大きく2つに分けられます。

1．大量集計

集計対象期間を増やすことで，今までExcelなどでは分析しきれなかった新たな発見をしたり，機能追加開発の際の説得資料などに役立てる。

転職サイトのスカウトメールが，どのようなステータスのカスタマー（ユーザ）に送信されているか，オファーを受信するタイミングなどにより，返信率がどのように変化していくかを長期間の時間軸で分析することで，価値のあるアウトプットを生み出すことができるようになりました。

RDBMSでは，約37時間かかるような処理が，Hadoopを利用することで，30分ほどで返ってくるようになり，より説得力のあるデータを短時間で作成することができるようになりました。