新刊ピックアップ

今を知りたい! ビッグデータの基礎知識

この記事を読むのに必要な時間:およそ 2 分

はじめに

データを用いたシステム開発が増えてきています。最近であれば人工知能技術の盛り上がりなどもあり,慣れないデータ処理に苦心している人も多いのではないでしょうか。

ここ数年の技術の発展により,データ処理の環境は大きく変わりつつあります。本記事では「ビッグデータの今」をテーマに,前半は使われている場面を具体的に知るためにビッグデータの活用事例を紹介します。後半では,ビッグデータ技術の旬の話題として「データ処理の自動化」に注目し,⁠ワークフロー」「データフロー」を中心に関係する技術をピックアップします。

ビッグデータの活用例―キャンペーンの効果測定

ビジネスにおける目的の一つが売上アップです。そのためにマーケティングの施策を打つとしましょう。例えば,ネットに広告を出したり,あるいは期間限定のキャンペーンを実施したりします。その結果,どれだけ効果があったのか知りたいと思うでしょう。

ここでは例として,あるキャンペーンのためにWebサイトを立ち上げたとします。そのWebサイトを経由した売上がキャンペーンの効果となります。このような効果測定のためには,Webサイトのアクセスログからユーザの動きを追跡します。例えば,WebページにJavaScriptのタグを埋め込んで,クッキーを使って個々のユーザを識別します。

Webサイトのアクセス解析だけなら既存の製品が多数あるので,自分でデータを分析する必要はありません。しかし,やりたいことが増えるにつれて,既存の製品だけでは十分な情報が得られず,より高度な仕組みが必要となってきます。

DMP―アクセスログとユーザ情報を結び付ける

マーケティングのデータを分析するために,顧客の性別や年齢といった属性データがよく用いられます。クッキーだけではそのような情報は得られないため,自社が持つ顧客データベースや,あるいは第三者サービスから提供されるユーザ情報を,アクセスログと組み合わせて分析します。このようにユーザに関する複数のデータを結び付ける仕組みを「DMP」⁠Data Management Platform)と呼びます図1⁠。

図1 DMP

<strong>図1</strong> DMP

DMPの情報を使ってユーザをセグメントに分け,そこから更に次の施策を打ちます。例えば,⁠Webサイトを訪問したが,購買には至らなかった,30代,女性」などといった条件に当てはまるユーザを絞り込み,そのセグメントに対してネット広告を配信するなどです。

デジタルマーケティングの世界では,既にこうしたデータ処理の自動化が進んでおり,実際の広告配信やメール配信に活用されています。

機械学習―モデルを作って将来を予測する

デジタルマーケティングに限らず,これと同じようなデータ処理は,どのような分野にでも応用が考えられます。例えば,センサー機器から集めたデータに対して,⁠ここ一週間で,温度が上昇している,ビニールハウス」などといったセグメントを作り,異常がないか担当者にチェックしてもらうこともできるでしょう。

このとき問題となるのは,⁠どのようにセグメントを作ればよいか」が定かではないことです。温度の上昇がただちに異常を意味するとは限りません。何が異常かを決めるには,過去の経験に基づく判断が必要です。

ここでは「機械学習」を活用して,セグメントの作成を自動化することを考えましょう。例えば,実際に何か異常が発生したときに,その前後で起きていたことはデータを見ればわかります。⁠データ」「異常」との関係性を一つの「モデル」として定義することさえできれば,次にまた同じようなデータが送られてきたときに,異常の発生を予測できるかもしれません。

どのデータが「異常」に繋がっているかは簡単にはわからないので,可能性のあるデータは全て列挙します。例えば,温度の絶対値が重要かもしれないし,あるいは急激な温度変化が関係しているかもしれません。そのような学習に必要なデータ(多くは数値データ)を集めて整理するところでも,ビッグデータの技術は用いられます。

著者プロフィール

西田圭介(にしだけいすけ)

1976年兵庫生まれ。トレジャーデータ(株)に所属。著書に「Googleを支える技術 ……巨大システムの内側の世界」(技術評論社、2008)がある。