Hadoop/Sparkからブロックチェーンまで ―NTTデータがカバーする"デジタルトランスフォーメーション"を支える技術

ここ数年、ITの世界でよく耳にするキーワードのひとつに「デジタルトランスフォーメーション」があります。その名前のとおり、最新のデジタル技術、たとえばクラウドやデータアナリティクス、モバイル、AI、IoT、VR/ARなどを駆使してまったく新しい価値を創出し、既存のビジネスのあり方を大きく変えてしまうことを指す言葉で、極端な場合はUberのように既存の業界そのものを破壊してしまう可能性すら持ち合わせています。

いま、日本に限らず世界中の企業が市場での優位を獲得するため、デジタルトランスフォーメーションの実現に取り組んでいます。しかし、デジタルトランスフォーメーションに必要な技術は何なのか、また、それらをどう使いこなせばよいのか、その選択に迷う企業も少なくありません。日本企業はいま、デジタルトランスフォーメーションにどう向き合うべきなのか ―本稿では10月30日に東京・品川で行われた「NTTデータ テクノロジーカンファレンス 2017」の基調講演の内容をもとに、2017年におけるデジタルトランスフォーメーションのいまを探ってみたいと思います。

トラディショナルとデジタルの両面からデジタルトランスフォーメーションを支援する ―NTTデータ 冨安氏

基調講演の最初では、主催者であるNTTデータのシステム技術本部長 冨安寛氏が同社におけるデジタルトランスフォーメーションの取り組みを紹介しています。デジタルトランスフォーメーションは2014年ごろから生まれてきた流れですが、冨安氏は「デジタルトランスフォーメーションを支える技術は、トラディショナル領域(SI、アプリケーション開発、パッケージングなど)とデジタル領域(アナリティクス、モバイル、クラウド、ソーシャルメディアなど)の2つに分類される」と指摘、2014年の時点ではトラディショナルが90%を占めており、デジタルトランスフォーメーションといっても生産性向上の促進が中心でしたが、現在ではトラディショナルとデジタルとの融合が徐々に進んでおり、⁠2025年にはトラディショナルが40%、デジタルが60%と比率が逆転し、それに伴う新規ビジネスの創出がよりいっそう進むことになる」⁠冨安氏)と予測しています。

NTTデータ 冨安寛氏
NTTデータ 冨安寛氏

NTTデータはこの3つのストリーム ―トラディショナル(さらなる生産性の向上⁠⁠、トラディショナル×デジタル(デジタル融合⁠⁠、デジタル(新規ビジネス創出)というそれぞれに応じたソリューションをこれまで提供してきていますが、今後注目されるのはやはり3つめのストリームである"デジタルによる新規ビジネス創出"です。冨安氏は同社が力を入れているデジタル事業として以下のような分野を挙げています。

PoCセンター

IoTやコネクティッドカー、ブロックチェーンなど高難度なデジタルテクノロジの実証を行うPoC(Proof of Concept)センターの設立

ブロックチェーン

ブロックチェーンのビジネスへの適用検討を支えるプラットフォーム(ブロックチェーンCoE)の整備

コネクティッドカー

サイバートラストと協業、クラウドやAIを活用して大量データをセキュアに処理可能な新サービスを開発中

製造トレーサビリティソリューション

リコールなどの不具合調査やその影響特定業務の効率化、リコール対応費用の削減を可能にするためのソリューションとしてHadoopを基盤とした製造トレーサビリティ検索基盤を提供

大企業×ベンチャー

エンタープライズを中心とする顧客企業と先進技術による開発を得意とするベンチャー企業のマッチングをNTTデータが行い、三者にメリットがある"Win-Win-Win"となる新しいビジネスを創出

ハッカソン

学生を対象に毎年テーマを掲げてハッカソンを実施、学生の柔軟な発想をもとにITで可能となる新しい未来を共創(2017年のテーマは「Life Style Hackathon - 5年後の世界をハック⁠⁠)

これらの分野を中心に、現状においてはトラディショナルとデジタルの両面からのアプローチを中心に進めつつ、顧客のデジタルトランスフォーメーションが時代に則して変化できるよう、デジタル事業の幅を拡大させながら「NTTデータとして組織的に支援していく体制を取る」としています。

NTTデータは国内外のグループ企業を含めた全社態勢でブロックチェーンの推進に取り組んでおり、多くの実証実験に参加している。今回のイベントではブロックチェーンだけで1トラックを設け、すべて満席となった
NTTデータは国内外のグループ企業を含めた全社態勢でブロックチェーンの推進に取り組んでおり、多くの実証実験に参加している。今回のイベントではブロックチェーンだけで1トラックを設け、すべて満席となった

フェイルファーストとスモールスタートが成功のカギ ―IDC Japan 中村氏

デジタルトランスフォーメーションとはいままでできなかったことをできるようにする変化であり、ケタが違う効果を生み出すもの。したがって既存の常識とは異なる発想で事にあたる"Think out of Box"がデジタルトランスフォーメーションの原則である - つづいて基調講演に登壇したIDC Japan リサーチバイスプレジデント 中村智明氏はデジタルトランスフォーメーションについてこう表現しています。

IDC Japan 中村智明氏
IDC Japan 中村智明氏

中村氏はデジタルトランスフォーメーションを実践している国内企業の例として、三菱東京UFJ銀行やみずほ銀行、パナソニックなどを挙げており、金融や製造業において急速にデジタルトランスフォーメーションが進んでいると説明しています。⁠金融における各社の危機感は非常に大きく、ブロックチェーンへの積極的な投資などはそのあらわれ。またパナソニックのケースはこれまでデータが大きすぎてRDBでは不可能だったユーザの家電ログの収集/分析を、NTTデータのHadoop/Spark基盤で実現した先進的なIoT事例」⁠中村氏)

金融や製造といったクラシックな分野の企業がなぜデジタルエクスペリエンスに必死で取り組んでいるのか、中村氏はその理由として「事業経営におけるITの位置づけは以前とは大きく変化しており、今後はどんな企業にとってもITサービスがビジネスそのものになる。つまり今後の事業成長はデジタルトランスフォーメーションからしか生まれない」としています。デジタルトランスフォーメーションをキャッチアップできない企業はグローバルの競争から遅れることとなり、やがて淘汰される運命にあるからこそ、多くの企業がデジタルトランスフォーメーションへの取り組みを加速させているのです。

IDCの調査によれば2020年までに全企業の1/3のリーダーが淘汰されるとのこと。すべての新しい事業がデジタルからしか生まれない時代だからこそ、生き残るためにはデジタルトランスフォーメーションへの取り組みが欠かせないという
IDCの調査によれば2020年までに全企業の1/3のリーダーが淘汰されるとのこと。すべての新しい事業がデジタルからしか生まれない時代だからこそ、生き残るためにはデジタルトランスフォーメーションへの取り組みが欠かせないという

ではデジタルトランスフォーメーションの実現にはどんなアプローチが求められるのでしょうか。中村氏は以下の5つの変革を挙げています。

  • リーダーシップ変革 … 自社のデジタルエクスペリエンスビジョンを策定し、パートナー、顧客、従業員に対してあらたな価値を提供する
  • オムニエクスペリエンス変革 … 製品/サービスに対する顧客体験を持続的に展開できるエコシステムを構築する
  • 情報変革 … 製品/サービスにひもづく情報(顧客、マーケット、取引内容など)の価値と活用を発展させるアプローチを示す
  • 運用モデル変革 … デジタルに接続された製品やユーザ、サービス、パートナー企業を活用してビジネスオペレーションを効率的に実現する
  • ワークソース変革 … 正社員などの内部人材と契約社員やフリーランスなどの外部人材をバランスよく配置/調達し、事業目的を達成する手法を進化させる

そしてこれら5つの変革を達成するため、中村氏は「IDCの提言」として

  • 事業とITの両方に精通したCDO(Chief Digital Officer)を設置し、デジタルトランスフォーメーションのビジョンを決める体制を構築する
  • 事業/業務/ITに精通し、グローバルの動向やテクノロジトレンドを把握しているベンダをパートナーにして、デジタルプラットフォームを選択/構築する
  • 共創による新規ビジネスモデルを創出するために、コワーキングスペースをもつベンダとアイデアワークショップを実施し、オープンなかたちでのPoCを始める
  • イノベーションは大企業の既存事業とは文化が異なる。したがって大企業内のイノベーション事業部ではなく、スモールスタートで事業の意思決定や予算の迅速な遂行を図る

といったアドバイスを示しています。とくに重要なのは、まずはスモールスタートで早く始めるという点です、シリコンバレーで成功するイノベーション企業はこのスモールスタートに長けており、"Fail Fast(失敗は早い段階に)"の精神で果敢に新しいチャレンジに臨みます。シリコンバレーは失敗が許容されやすい文化が醸成されているという背景もありますが、日本であってもデジタルネイティブの体制をまずは少人数から構築することは比較的容易にできるのではないでしょうか。"Think out of Box"にもとづき、これまでの常識や組織に阻まれない体制を構築し、まずはデジタルトランスフォーメーションを始めてみることが企業には求められ、そして企業のデジタルトランスフォーメーションを支援する良きパートナーとなることがNTTデータのようなソリューションベンダに求められる時代になったといえます。

世界中のどこにもない医療データ基盤をHadoopで ―京都大学 黒田氏

「まだ運用のテスト中で、たくさんの人に使ってもらえる状態ではない。だが今日(10/30⁠⁠、やっとこの場で発表できるところまでデータ基盤が整った。より多くの人々に使ってもらえる医療データの研究基盤として成長していくと自信をもっている⁠⁠ ―基調講演の3つめは、いままさに進行中のデジタルトランスフォーメーション、それも国家プロジェクトとしてのユースケース「次世代NDBデータ研究基盤」の紹介です。京都大学医学部附属病院 医療情報企画部 黒田知宏氏が発表を行いました。

京都大学 黒田知宏氏
京都大学 黒田知宏氏

NDBとは「レセプト情報/特定検診等情報データベース(National Database of Health Insuarance Claims and Specific Health Checkups of Japan⁠⁠」の略で、その名の通り、膨大な診療記録データが詰まったデータベースです。NDBは2008年に施行された高齢者の医療の確保に関する法律のもとに設置され、2016年までに130億件のデータが収集されています。2011年から第三者提供が開始されていますが、当然ながら医療データという性質上、すべてのデータは匿名化された状態でデータベース化されています。

全国民の医療情報という膨大なビッグデータを高齢者医療の施策といった政策決定だけでなく、大学や民間の研究活動にも活用してもらう目的でNDBの第三者提供を開始したものの、

  • セキュリティ要件を満たした施設の準備が困難
  • 膨大なデータを取り込む機器の準備が困難
  • データベース構築に専門知識が必要

といったハードルが重なり、データ利用の申請から実際にデータが提供されるまで6ヵ月以上も要するという状態にありました。

この状況を少しでも緩和するため、研究者がNDBデータを利用できる「NDBオンサイトリサーチセンター」が2014年から設置されていますが、研究者がわざわざセンターまで出向かなければならないなどの運用設計上の問題に加え、⁠現行のNDB自身、そして現行のNDBシステムの構成上に、それぞれ技術的な課題が存在していた」と黒田氏はその問題点を以下のように挙げています。

現行NDB自身の課題
  • ID問題 … 同一患者のIDが途中で切れてしまう
  • 整理問題 … 同一入院のデータがバラバラのレコードに分散されてしまう
  • 知識問題 … テーブルがばらついていて、どこに何があるかわからない
現行NDBシステムの構成上の課題
  • 可用性問題 … ⁠データをダウンロード」して「非力な端末で分析」するという前提なので時間がかかりすぎる

この中でもややこしいのがID問題で、結婚/離婚/退職などのライフイベントにより年に1割の人が保険者番号を変更、また医療機関での氏名の誤記が非常に多いため、保険者番号から作る「ID1」と氏名から作る「ID2」をつないで1つのIDを作成することは「絶望的に難しいが、ないよりはかなり効率的」⁠黒田氏)という状況にあります。

また、システムの可用性も大きなボトルネックとなっており、⁠たとえばある高血圧関連病名の医科レセプトを取得しようとすると、現行データベース(Oracle)の6年分のデータから14.9億行×7列のテーブルを作成しなければならず、3時間以上を要する。さらにそのデータをダウンロードて手元で分析をしようとすると、オンサイトリサーチセンターの端末のメモリ上限である16GBを簡単に超えてしまい、すぐに分析が続行不可能になる。またサーバ側でで分析するにも機能不足が否めず、利用できるのは特殊なR(Oracle R)のみ」⁠黒田氏)といったつらい課題を抱えていました。

「いまのままではNDBは運用に乗らない。研究者が分析環境を用意することなく、小さなデータセットで分析を試せる環境が必要」と判断した黒田氏らは、新たに次世代NDBデータ研究基盤を構築するプロジェクトを開始しました。構築にあたって厚生労働省からは

  • スケーラブルなしくみを考える
  • ベンダロックインを避ける

の2点を申し渡されたといいます。そしてデータ分析のための基盤環境として採用したのがHadoopで、その構築作業を担当したのがNTTデータでした。その理由について黒田氏は「スケーラビリティの担保とベンダロックインの回避を考えるとHadoop以外の選択肢はなかった。そしてHadoopの導入に関してはNTTデータがもっとも信頼が置けるベンダということは知っていた」と、Hadoop/SparkやPostgreSQLなどオープンソースのミドルウェア基盤の構築で多くの知見と経験を積み重ねてきたNTTデータを高く評価しています。

次世代NDB基盤の構成。NDBからの生データを格納するデータレイクをHadoopでNTTデータが構築した
次世代NDB基盤の構成。NDBからの生データを格納するデータレイクをHadoopでNTTデータが構築した
Hadoop基盤の詳細。オープンソースがベースなので「どこにでもインプリメンテーションできるのが最大の魅力」と黒田氏
Hadoop基盤の詳細。オープンソースがベースなので「どこにでもインプリメンテーションできるのが最大の魅力」と黒田氏

また、次世代NDBデータ研究基盤では、Hadoopと連携するスモールデータの分析用サーバにPostgreSQLベースのデータマートを構築しており、ID問題を解決するための「名寄せアルゴリズム」などを活用して分析環境を整えています。

分析用データマートはPostgreSQLベースで構築し、名寄せアルゴリズムを走らせている。⁠IDを単につなげるのではなく、エピソード単位でまとめるのがポイント。データマートとデータマートをつなげるアルゴリズム」⁠黒田氏)
分析用データマートはPostgreSQLベースで構築し、名寄せアルゴリズムを走らせている。「IDを単につなげるのではなく、エピソード単位でまとめるのがポイント。データマートとデータマートをつなげるアルゴリズム」(黒田氏)

発表の最後、黒田氏は稼働したばかりの次世代NDBデータ研究基盤に期待される効果として

  • 学習環境による知識の普及
  • 分析用データマートの整備
  • Hadoop計算基盤の整備

を挙げています。まだ課題は多いものの、トライ&エラーを繰り返し、誰もが使いやすいNDBへと成長させていくことで、データドリブンなヘルスサイエンスの普及/発展につなげることができるはずです。デジタルトランスフォーメーションの世界では、日本は他の先進国に遅れがちであると指摘されることも多いですが、⁠こんな医療データをもっている国は世界中のどこにもない」という黒田氏の言葉にあるように、こうした貴重なデータ資産を国家レベルで活かすことができれば、民間のデジタルトランスフォーメーションに波及する効果は決して小さくないように思えます。

ビットコインだけではなく、よりブロックチェーンらしい活用をめざして ―GLOCOM 高木氏

基調講演の最後は、AIやIoTと並んでいまもっとも注目されている技術であるブロックチェーンの概要について、国際大学グローバル・コミュニケーション・センター(GLOCOM⁠⁠ 准教授/主幹研究員 研究部長 高木聡一郎氏がプレゼンを行いました。

GLOCOM 高木聡一郎氏
GLOCOM 高木聡一郎氏

ブロックチェーンはNTTデータも金融における実証実験など非常に力を入れている分野であり、今回のカンファレンスにおいてもブロックチェーンのみのトラックを設けています。

世間から高い関心をあつめるブロックチェーンですが、高木氏によれば「正確な定義はまだ定まっていない状態」とのこと。ただし現在では以下のような3つの要素が含まれることがブロックチェーンの前提であると説明しています。

データの連結

過去から現在までのデータ(ブロック)をハッシュ関数で数珠つなぎ(チェーン)にすることで改竄を困難にし、不整合が起こらないようにする

情報資産とエンティティ(主体)の紐づけ

公開鍵暗号などその情報資産が誰のものなのか所有者を明らかにし、情報の流通や用途をトラッキングする

P2Pでのデータ管理/合意形成

中央管理者(リーダー)のいないピアツーピアのネットワークなので一部のノードに障害が発生しても信頼性に影響がない、ノード間の合意形成はアルゴリズムによって行う

ブロックチェーンの3つの要素は「データの連結」⁠エンティティ」⁠P2P」
ブロックチェーンの3つの要素は「データの連結」「エンティティ」「P2P」

「インターネットという情報のネットワーク上に構築された、リーダーも仲介業者も必要としない、価値(資産)交換のための分散型インフラ技術、それがブロックチェーンのもたらしたもの」⁠高木氏)

では実際にブロックチェーンはどういった分野で使われているのでしょうか。現在、ブロックチェーンの実装技術としてもっとも有名なのはビットコインですが、高木氏はブロックチェーンのユースケース展開先として以下の3つを挙げています。

スマートコントラクト

条件が整えばあるブロックチェーンの各ノードに配置されたコードが自動的に起動する。⁠住宅ローンを完済したら抵当権をはずす」など契約の自動化を促進する

台帳

各ノードがもつ台帳(取引データ、トランザクションデータ)間で合意を形成しながら正当性を確認する。サプライチェーンや著作権管理など

暗号通貨

ビットコインを中心とする貨幣以外による価値の提供。ICO、社会保障、クラウドファンディングなど

このうち現状でもっとも進んでいるのは、やはりビットコインを含む暗号通貨の分野です。高木氏は一例として、英国の労働年金省が実証実験として行っているマンチェスター市の暗号通貨による社会保障給付「Govcoin」を挙げていますが、これは生活保護受給者にポンドと固定レートで交換できるGovcoinを支給することで、生活保護費で購入できる対象を限定するものです。たとえばギャンブルなどにはGovcoinを使うことはできないので、生活保護という制度の目的に合致しない支出を抑制できます。なお、Govcoinはビットコインをベースにした「カラードコイン」という技術で実装されています。

英マンチェスター市で実証実験中の生活保護支給における仮想通貨システム「Govcoin」
英マンチェスター市で実証実験中の生活保護支給における仮想通貨システム「Govcoin」

一方で暗号通貨以外の取り組みも徐々にグローバルで拡がりつつあります。高木氏は、食品偽装をトレースする台帳管理などのように「従来のしくみではできなかったシステムをブロックチェーンで実現しようとする動きが強まってきている」と強調、スウェーデンのスマートコントラクトによる不動産登記/売買のシステムや、東京大学が取り組む電力のユーザ間取引(デジタルグリッド)など、大規模なブロックチェーンプロジェクトが検討されている状況にあるとしています。暗号通貨よりも「よりブロックチェーンらしい使いかた」⁠高木氏)に今後は注目していく必要がありそうです。

スウェーデンで検討されているスマートコントラクトによる土地売買および登記システムの概要
スウェーデンで検討されているスマートコントラクトによる土地売買および登記システムの概要

新しい技術であるブロックチェーンはこのように期待も大きいのですが、一方で、プラットフォームとしてはまだ未成熟な技術であり、スケールと処理性能が比例しない、オープンな運用ゆえに分裂しやすい、などいくつもの課題を抱えています。革新性とリスクの両方を合わせもつブロックチェーンに対し、日本企業はとどう向き合うべきなのでしょうか。高木氏は以下の4つを挙げています。

  • 相互運用性が必要なプラットフォームサービスを構築する
  • 顧客の位置づけを変える(消費者から運営の担い手に)
  • マネタイズはICOよりもエコシステムの派遣とデータから得る
  • 社内のRDBシステム代わりに使うメリットがあるかは検証が必要

今後、ブロックチェーンがデジタルトランスフォーメーションに関わってくる機会はさらに増えると見られています。少なくとも現状のトレンドを把握し、企業としてブロックチェーンとどう関わっていくのか、その方針を決めておいても遅くはない時期に入っているといえます。


約650名が参加した今回のカンファレンスは、昨年までHadoop/Sparkエンタープライズソリューションセミナーとして行われてきたイベントを一新したものです。NTTデータが得意とするHadoop/Sparkといったオープンソースプロダクトがメインのコンテンツであることには変わりありませんが、今年はより幅広いレンジに立ち、"デジタルトランスフォーメーションを支える技術"としての見せ方にこだわっているように思えました。単にHadoopやSpark、Kafkaの導入事例や技術的ポイントを解説するだけではなく、それらの技術がビジネスの現場で具体的にどう貢献しているのか、さらにその導入が別のデジタルトランスフォーメーションにつながるユースケースとなっているのか、そういった新しいフェーズに入っていることをうかがわせます。

本カンファレンス終了後、NTTデータ システム技術本部 OSSプロフェッショナルサービス 課長 下垣徹氏は「イベントタイトルも一新して、かなり幅出しを試みたことは主催者としてもチャレンジだったが、ブロックチェーンで1トラックを割いたり、事例セッションとは別に「Technology Deep Dive」という"濃いエンジニアによる濃い話"をするトラックをあえて設けたことは、結果的に当社のケイパビリティをあらためて理解してもらうことにつながり、大成功だったと思っている。また、トヨタ、パナソニック、博報堂、ChatWorkなど顧客企業の方々に登壇していただき、IoT、マーケティング、Web、リコール問題などデジタルトランスフォーメーションの事例の豊富さをお伝えできたことに本当に感謝したい。実弾があることを強みにして、これからも情報の発信を続けていきたいと考えている」とコメントしています。

ユーザ企業、とくに今回登壇したようなエンタープライズ企業がみずからの言葉でデジタルトランスフォーメーションの事例を語ることは、その他の多くの企業をデジタル化へと誘う要因となるはずです。ようやく本格化し始めたデータドリブンな流れを国内企業の間に定着させていくためにも、これからのインテグレータには技術力だけではなく、デジタルトランスフォーメーション実現のパートナーとして、積極的な情報公開/共有を図っていく姿勢が求められるように思えます。

カンファレンス参加者にノベルティとして配られたNTTデータのロゴ入りハンドスピナー「皆様の精神安定にお使いください」⁠下垣氏)
カンファレンス参加者にノベルティとして配られたNTTデータのロゴ入りハンドスピナー「皆様の精神安定にお使いください」(下垣氏)

おすすめ記事

記事・ニュース一覧