増え続ける非構造化データをいかに活用するか ─Hadoopの祭典「Cloudera World Tokyo 2014」レポート

11月6日(木⁠⁠、ウェスティンホテル東京にて、HadoopをはじめとするClouderaの技術を一堂に紹介するイベント「Cloudera World Tokyo 2014」が開催されました。

ClouderaはHadoop生みの親Doug Cuttting氏がチーフアーキテクトとして在籍し、エンタープライズ向けHadoopディストリビューションを提供するなど、その普及を最も推し進めている企業のひとつです。今年が3回目の開催となるCloudera World Tokyoの模様を基調講演を中心にレポートします。

「データの量」が問題ではない

基調講演の最初に登壇したのは米Cloudera Inc.の日本法人であるCloudera株式会社 代表取締役社長のジョー・シニョレリ氏。同氏はこれまでの同社、そしてビッグデータ市場の拡大について触れ、この成長は構造化された(RDBやBIツールで扱えるような)データではなく非構造化データの増大によってもたらされたと言います。

Cloudera株式会社 代表取締役社長 ジョー・シニョレリ氏
Cloudera株式会社 代表取締役社長 ジョー・シニョレリ氏

「ビッグデータについて誰もが語るようになったが、問題はデータの量ではなくそのデータを⁠どう活用するか⁠だ」と語るシニョレリ氏は、製造業、金融業などあらゆる業種でHadoopの利用が拡大しているが、まだ完全にビッグデータ、そしてHadoopの価値は理解されていないと指摘します。

それを正すために重要なのは教育です。ClouderaではHadoopのトレーニングにとくに力を入れており、同社の調査によると、ワールドワイドで今年の1~6月の間に行われたHadoopトレーニングの84%がClaudera開催のクラスだったとのこと。同社の教育プログラムのうち60%は日本語でも行われているそうです。

そのほか、ユーザを支援する多くのユースケースやOSSへの貢献等、⁠Hadoopエコシステム」を主導していくことで、ビッグデータ、Hadoopをどのように使うのかについて常に考え続けていきたいと話を結びました。

ビッグデータに新しいものは何もない、新しいのはツールだけ

次のスピーカーは米Cloudera Inc. COOのカーク・ダン氏。⁠ビッグデータはこれまでのデータ活用の取り組みにおいて新しいものは何もない」という同氏は、たとえば保険会社が事故がどのように起こるのか予測したい、サプライチェーンはどのように品物を揃えれば売れ残りが出ないか、あるいは自動車メーカにしても生産の無駄をなくしたいといった、どれも長く言われてきた課題ばかりと言います。

Cloudera Inc. COO カーク・ダン氏
Cloudera Inc. COO カーク・ダン氏

「違うのがツール。Clouderaが作ったエンタープライズHadoopによってすでにあるデータを使って新しいことができるようになった」とダン氏は続け、同社のツールに投資することで、企業がずっとやりたくてもできなかったことを実現していると説きました。このあと、農業で土壌を分析して収穫を予測する、病院での未熟児の24時間監視システムなどの例をいくつか紹介しました。

そして今後の新しいアプローチとして、Hadoopを使って何をするかを考えたとき、増え続けるエンドユーザの要望と、バリエーションと量がともに増加するデータの間で操作する手段も増える中、⁠包括的なビューが必要となる」と言います。これを担うのが同社の提唱する「エンタープライズデータハブ」です。

エンタープライズデータハブの概念
エンタープライズデータハブの概念

これによってデータ、ユーザ、操作方法のすべてに1ヵ所からアプローチできるとのこと。ダン氏は「我々は新しいアイデアを発明しているのではない。ただ新しいツールがあるから、これからの展開が楽しみだ」と再び冒頭のことばを強調しました。

データ増大は「ムーアの法則」を超えた

続いて、米Cloudera Inc. Chief Technologistのイーライ・コリンズ氏が登壇、最近話題となったClouderaとIntelの提携がどのような意味をもつのかについて講演しました。

Cloudera Inc. Chief Technologist イーライ・コリンズ氏
Cloudera Inc. Chief Technologist イーライ・コリンズ氏

コリンズ氏はさまざまなデバイスからのデータを統合して分析する「パーベイシブ分析」における問題点として、現状のデータとテクノロジだけでは必要な分析が行えず、新しいツールを使う必要があること、そしてデータの増大はムーアの法則を超えて伸びているため、シリコンのパワーだけでも追いつかないと語りました。Intelとの提携にはこの背景があります。

プロセッサ能力の進化を上回るデータ量の増大
プロセッサ能力の進化を上回るデータ量の増大

この提携により、ハードウェアをソフトウェアのロードマップに活用することができるようになったと語るコリンズ氏。たとえばチップ内の数値演算ライブラリの設計などで協力することで、ハード、ソフトにより正しい役割を実装することができると言います。このような分担がチップ内でのセキュリティ(暗号化)やデータセンターのサーバラック内構造にも反映されていると語りました。

また両社の協業によって双方で200名以上がOSSコミュニティ活動に従事することになり、協力して統合Hadoopディストリビューションを開発できると言います。これによりディストリビューションのコストパフォーマンスが上がる効果も期待できるとのこと。

さらにこの後インテル株式会社 常務執行役員の平野浩介氏が壇上に上がり、コリンズ氏の話をさらに詳しく説明しました。平野氏はIoTにおけるビッグデータの活用例を上げながら、各業種でこれらをより効率的に運用することでエネルギー需要を1%削減すれば、15年で数兆円のコストをセーブできると説きます。実際にIntelの工場で採用して大きな成果が上がっている例も紹介され、これを事業化していきたいとのことです。

そしてIntelがこの10月にIoT向けプラットフォームの第1弾として発表したコンピュータモジュール「Edison」を紹介しました。切手大のチップにAtomベースのプロセッサ、WiFi、Blurtoothの通信機能をはじめとした各種I/Oが統合され、これを使ったボードや小型デバイスの開発も進んでいます。

Edisonモジュールを使った小型ボードを手に説明するインテル株式会社 平野浩介氏
Edisonモジュールを使った小型ボードを手に説明するインテル株式会社 平野浩介氏

Hadoopコミュニティも参加

この他Cloudera World TokyoにはClouderaのパートナー企業等が協賛し、当日午後には最新のHadoopに関連する技術セッションも多数行われました。またパートナー企業による展示コーナーも設けられたほか、日本Hadoopユーザー会も参加し、独自セッション行ったり展示コーナーにLTセッションブースを設け、Hadoopの最新トピックや事例などさまざまなテーマのトークを展開していました。

日本Hadoopユーザー会の濱野賢一朗氏による「40分でわかるHadoop徹底入門」のセッション。非常にわかりやすいたとえでHadoopのエッセンスを紹介していました
日本Hadoopユーザー会の濱野賢一朗氏による「40分でわかるHadoop徹底入門」のセッション。非常にわかりやすいたとえでHadoopのエッセンスを紹介していました

おすすめ記事

記事・ニュース一覧