はじめに

データを用いたシステム開発が増えてきています。最近であれば人工知能技術の盛り上がりなどもあり，慣れないデータ処理に苦心している人も多いのではないでしょうか。

ここ数年の技術の発展により，データ処理の環境は大きく変わりつつあります。本記事では「ビッグデータの今」をテーマに，前半は使われている場面を具体的に知るためにビッグデータの活用事例を紹介します。後半では，ビッグデータ技術の旬の話題として「データ処理の自動化」に注目し，「⁠ワークフロー」と「データフロー」を中心に関係する技術をピックアップします。

ビッグデータの活用例―キャンペーンの効果測定

ビジネスにおける目的の一つが売上アップです。そのためにマーケティングの施策を打つとしましょう。例えば，ネットに広告を出したり，あるいは期間限定のキャンペーンを実施したりします。その結果，どれだけ効果があったのか知りたいと思うでしょう。

ここでは例として，あるキャンペーンのためにWebサイトを立ち上げたとします。そのWebサイトを経由した売上がキャンペーンの効果となります。このような効果測定のためには，Webサイトのアクセスログからユーザの動きを追跡します。例えば，WebページにJavaScriptのタグを埋め込んで，クッキーを使って個々のユーザを識別します。

Webサイトのアクセス解析だけなら既存の製品が多数あるので，自分でデータを分析する必要はありません。しかし，やりたいことが増えるにつれて，既存の製品だけでは十分な情報が得られず，より高度な仕組みが必要となってきます。

DMP―アクセスログとユーザ情報を結び付ける

マーケティングのデータを分析するために，顧客の性別や年齢といった属性データがよく用いられます。クッキーだけではそのような情報は得られないため，自社が持つ顧客データベースや，あるいは第三者サービスから提供されるユーザ情報を，アクセスログと組み合わせて分析します。このようにユーザに関する複数のデータを結び付ける仕組みを「DMP」（⁠Data Management Platform）と呼びます（図1⁠）⁠。

DMPの情報を使ってユーザをセグメントに分け，そこから更に次の施策を打ちます。例えば，「⁠Webサイトを訪問したが，購買には至らなかった，30代，女性」などといった条件に当てはまるユーザを絞り込み，そのセグメントに対してネット広告を配信するなどです。

デジタルマーケティングの世界では，既にこうしたデータ処理の自動化が進んでおり，実際の広告配信やメール配信に活用されています。

機械学習―モデルを作って将来を予測する

デジタルマーケティングに限らず，これと同じようなデータ処理は，どのような分野にでも応用が考えられます。例えば，センサー機器から集めたデータに対して，「⁠ここ一週間で，温度が上昇している，ビニールハウス」などといったセグメントを作り，異常がないか担当者にチェックしてもらうこともできるでしょう。

このとき問題となるのは，「⁠どのようにセグメントを作ればよいか」が定かではないことです。温度の上昇がただちに異常を意味するとは限りません。何が異常かを決めるには，過去の経験に基づく判断が必要です。

ここでは「機械学習」を活用して，セグメントの作成を自動化することを考えましょう。例えば，実際に何か異常が発生したときに，その前後で起きていたことはデータを見ればわかります。「⁠データ」と「異常」との関係性を一つの「モデル」として定義することさえできれば，次にまた同じようなデータが送られてきたときに，異常の発生を予測できるかもしれません。

どのデータが「異常」に繋がっているかは簡単にはわからないので，可能性のあるデータは全て列挙します。例えば，温度の絶対値が重要かもしれないし，あるいは急激な温度変化が関係しているかもしれません。そのような学習に必要なデータ（多くは数値データ）を集めて整理するところでも，ビッグデータの技術は用いられます。