検索とレコメンドとビッグデータの関係

今回は検索とレコメンドとビッグデータについて考えてみます。

先日ゼロスタートとトレジャーデータで「ビッグデータは実用化の時代へ～クラウド化による検索・レコメンドロジックの進化とは！～」というタイトルで共催のセミナーを開催しました。ビッグデータ自体，クラウド同様バズワードになりすぎて何が何だかわからないような状態になっていますが，原点に立ち返ってみると「膨大なデータを活用すること」というだけです。

これまでビッグデータが活用されていなかったために，これだけ注目を集めているのだと思います。

前回の連載でも述べたようにゼロスタートでは元々検索よりも先にレコメンドを手がけていたために，各種の行動履歴を活用するということはごく自然に行っていました。

ところが，検索やレコメンドを導入した企業でもそれまでは「ログは捨てていた」というケースが少なからずありました。これは大変もったいないことです。

ですのでビッグデータというワードがなぜそれだけ流行るのか，わかる面もあるし，わからない面もある（なぜいまさらという意味で）というのが正直なところでした。

ビッグデータの2つのパート～貯めると活用する

ビッグデータは，貯める（収集，保管）パートと，活用する（検索，解析）パートがあります。トレジャーデータはビッグデータを貯めるソリューション，ゼロスタートは貯めたビッグデータを活用するソリューション，という良いシナジーが今後広がっていくと考えています。

そもそもログを収集して保管していないと，検索やレコメンドへの活用もなにもありません。まず貯めるところからという場合は，トレジャーデータのソリューションを検討してみてはいかがでしょうか。

ビッグデータを活用するには「検索」から

さて，ビッグデータを貯めるところまではできたとして，これを活用しないことには意味がありません。

まず必要なのは貯めたデータの検索です。これはECにおける商品検索ではなく，ビッグデータ自体から有用な部分を抽出するということです。

ゼロスタートではECサイトの商品検索エンジンとして「ZERO-ZONE Search」を提供していますが，今年の夏からビッグデータ検索エンジンとして「ZERO-ZONE Discover」という製品も提供しています。何百億何千億という膨大な量のデータから，まずは活用するべきデータを抽出しないことには始まりません。

抽出にも，◯◯という商品の購買データ，◯月◯日の商品の閲覧データ，東京に住んでいる女性のオーガニック検索から流入した土日のアクセスデータなどさまざまです。複雑なパラメータを組み合わせて膨大な量のデータから必要なものを高速に抽出するという意味ではECサイトのドリルダウンによる商品検索とテクノロジー的には似ています。

このため「ZERO-ZONE Discover」というビッグデータ検索エンジンを，比較的容易にリリースすることができました。

次は抽出したデータの「解析」

次に，抽出したデータを解析します。これには実にさまざまな手法があります。

データアナリストという職種が最近注目されていますが，造詣の深いアナリストが分析するのもその手法の1つです。ゼロスタートではどちらかというと，仮説検証というアプローチを推奨しています。

アナリストが分析する場合，高度にトレーニングされたアナリストが膨大な時間をかけて分析を行うため，ビッグデータの活用自体が労働集約型になってしまうという特徴があります。しかも単純作業の労働集約ではなく専門性の高い労働集約なので，そこがボトルネックになってしまう可能性が大です。このために，データアナリストをどう育成するかというのが，ここ最近のホットトピックのようです。

これに対して仮説検証のアプローチは，ある程度の考察を元に仮設をたて，それをフィードバックして結果を観察，検証することによって，ビッグデータの活用を行います。精度が上がるまでに複数回のフィードバックを経るため，データアナリストによる分析よりも立ち上がりは悪いケースもありますが，労働集約にならないという特徴から大量の仮設を短期間で検証することが可能で，結果としてはむしろ早い期間に高度なビッグデータの活用が出来るようになるケースが多いと思います。

今後ECのトランザクションは増加する一方でしょうから，労働集約よりは設備集約のほうがより高速かつ効率的にビジネスのサイクルを回していけることでしょう。

こうして収集，保管，解析したデータの適用の仕方の1つが，検索やレコメンドのロジックです。まだまだ世の中の大抵のレコメンドは，単なる協調フィルタリングだけであるケースがほとんどです。しかし，今後はよりリアルの店舗に近いようなレコメンドが必要になっていくと筆者は思います。

そのためには，まずはそのレコメンドの元となる膨大な情報がなければ始まりません。これまでは購買データだけを活用して，協調フィルタリングによってシンプルなレコメンドをしていたのが，今後はより多様で複雑なデータ，つまりビッグデータを活かしたレコメンドが求められていきます。

AさんとBさんに違うレコメンドをするのはもちろん，Aさんでも今日と明日では違うレコメンドをしていくことになるでしょう。Xというアイテムを買ったユーザーにYというアイテムをレコメンドをするだけではなく，Xを買ったのが発売直後なのか，そのXが話題になってからなのかによって，YをレコメンドしたりZをレコメンドしたりするようにもなっていくでしょう。もちろん，ソーシャルグラフの活用も非常に有望です。

検索に至っては，単なる条件にマッチする商品だけを結果として表示しているケースがまだまだほとんどです。条件に従えば0件なのであれば「0件です」と出すようなECサイトは，今後見直しを迫られることはいうまでもありません。

この連載でもたびたび触れているように，検索というのは今後ECサイトのコンシエルジュになることを求められているのです。

今回はビッグデータと検索，レコメンドについて触れてみました。

次回はパーソナライズについて考えてみたいと思います。