コンサルからサポートまで一貫して対応!ビッグデータに積極的な日立製作所の取り組み

この記事を読むのに必要な時間:およそ 3 分

エンタープライズ×Hadoop

分散処理技術を活用することにより,大容量データを効率的かつ低コストで処理できるといったメリットから,Hadoopはエンタープライズ用途においても注目を集めています。またHadoopの導入支援やシステム構築など,多くのベンダーがHadoopを組み合わせたソリューションの提供を行い始めています。

日立製作所はこのHadoopも含めてビッグデータに取り組むベンダーの一つです。ハードウェアや要素技術が進化したことで,処理時間やコストなどの問題により今までは諦めていたデータから,新たな知見を得てビジネス活用できる機会が広がっています。そのため,データ量が膨大になっても安定した処理を実現するために,分散処理技術などを利用したソリューションの構築を進めています。

具体的には,インメモリ処理や差分計算処理などの技術を組み込んだ「ストリームデータ処理」⁠そしてバッチ処理の並列化によって時間短縮を実現する「並列分散処理」⁠あるいは東京大学と共同で開発を進めている「超高速データベースエンジン」などが挙げられます。こうした取り組みの一つとして,Hadoopを活用したサービス開発や自社ソリューションとの連携が進められているわけです。

アセスメントサービスでHadoopもサポート

日立製作所では「大量データ活用ソリューション」として,Hadoopやミドルウェアの紹介,課題ヒアリング,適用提案などを行っているほか,分析計画の策定やコンサルティング,分析方式検証支援などを提供するアセスメントサービスを実施しています。Hadoop MapReduce 環境のサポートもこのサービス内に含まれます。

アセスメントサービス

この中で特に注目したいのがアセスメントサービスです。いわゆるビッグデータをビジネスに活用したいと考えても,その分散処理基盤の構築や分析モデルの設計は容易ではありません。もちろん開発や既存環境からの移行,あるいは性能評価などへの対応も求められるほか,当然分析処理のノウハウも蓄積する必要があります。Hadoopの導入を検討している企業にとっては,力強い助っ人だと言えるのではないでしょうか表1)⁠

表1 大量データ分散処理アセスメントサービス

アセスメントサービス概要
分析計画策定コンサルティング✔ 大量データ分散処理システムの計画立案を支援
✔ 日立の豊富なノウハウを用いて分析モデルを提案
技術研修✔ Hadoopや日立オープンミドルウェアによる大量データ分析処理技術を習得
✔ 2日間の座学・マシン演習(月1回開催)
分析方法検証支援✔ 日立の分析処理ノウハウを提供
✔ 適切な基盤や処理方式を決定
基盤導入検証支援✔ 開発・移行・性能評価などの技術支援
✔ 効率良く検証を推進

環境構築済みのクラウド環境により,すぐに検証に着手できる

統合運用環境

日立製作所の既存ソリューションとの連携としては,JP1によるHadoopの統合運用管理が挙げられます。JP1は統合型のシステム運用管理ツールであり,ユーザ管理やジョブ管理,あるいはイベントの収集と管理など,さまざまな管理機能を統合的に提供しています。日立製作所では,このJP1をHadoopの運用に適用することを可能にしました。

BIツール

さらに,BI(Business Intelligence)プラットフォームのQlikViewとHadoopを連携させることも可能です。QlikViewはクリックテック・ジャパン⁠株⁠が提供するインメモリ型BIプラットフォームであり,日立INSソフトウェア⁠株⁠が国内の販売代理店です。

BIツール※1を利用した分析において,課題となるのは処理時間です。データを素早く集計できれば,BIツールを活用した,さまざまな視点での分析情報を社内のエンドユーザに提供できます。

QlikViewであれば,すべての処理をメモリ上で行うため,ボトルネックとなりがちなディスクへのアクセスを排し,高速なレスポンスを実現します。

ただし分析するデータをメモリ上に展開するため,データ量に合わせてメインメモリを搭載する必要がありますが,サーバに搭載できるメモリ量には限りがあります。非構造データなどの,より高解像度で多様なデータを取得する機会が増えている現状において,メモリに乗り切らないビッグデータを分析する場合も増えており,そのようなケースでは,複数のサーバへのデータ分散や階層化させて使うといった工夫が必要となります。

しかしHadoopを組み合わせれば,事前に不要データの排除や非構造データの構造化,分析データとして意味あるデータへの集計処理を実行しておくことでデータサイズを最適化し,限られたメモリの中でもQlikViewを使って解析できます。

※1)
データベースに関する知識がなくても担当者が簡単にデータを分析できるようにするもの。

PaaSの提供

もう一つ注目したいのが,大量データ分散処理プラットフォーム提供サービスです。これはHadoop対応の関連製品や同社の大量データ分散処理に必要な各種ソフトウェアをPaaS(Platform as a Service)として提供するというもの。

いくらHadoopがオープンソースとして公開されているといっても,実際に環境を整えるには相応のコスト負担が必要になります。しかしPaaSとして提供されているこの大量データ分散処理プラットフォーム提供サービスを利用すれば,自前で環境を構築するよりもはるかに安価にHadoop環境を利用できるというわけです。

サーバの提供

同社のブレードサーバである「HA8000-bd/BD10」に対し,Hadoop環境のインストールや設定作業を代行する「HA8000-bd/BD10 ユーザ環境設定サービス」も用意されています。Hadoopにより複数台のサーバを使って分散処理を行う場合,それぞれのサーバごとに環境を構築する必要がありますが,その負担はけっして小さくありません。しかしこのサービスを利用すれば,Hadoop環境構築の手間を大幅に省くことが可能になるでしょう。

Hadoop CommonとHadoop MapReduce,そしてHDFS(Hadoop Distributed File System)についてのサポートサービスも用意されており,こちらは対象ソフトウェアの機能や使い方についてのQ&Aを提供するほか,問題発生時の回避策の調査や確認といったサービスを提供しています。

著者プロフィール

川添貴生(かわぞえたかお)

株式会社インサイトイメージ代表取締役。企業サイトの構築及び運用支援のほか、エンタープライズ領域を中心に執筆活動を展開している。

メール:mail@insightimage.jp

バックナンバー

データベース

コメント

コメントの記入