インタビュー

「Hadoop生みの親」の新たな挑戦 ─ダグ・カッティング氏インタビュー

この記事を読むのに必要な時間:およそ 3 分

「Hadoop生みの親」として知られ,現在はHadoopを中心としたビッグデータ処理に関するエコシステムを提供するClouderaのチーフ・アーキテクトを務めるダグ・カッティング(Doug Cutting)氏。Hadoopをはじめ全文検索システムLucene等,著名なオープンソースソフトウェア(OSS)の開発を手がけ,それらオープンソース開発に対する姿勢も多くの開発者に影響を与えています。

そのカッティング氏が,11月10日に開催された「Cloudera World Tokyo」参加のため来日しました。同イベントの基調講演の壇上に立ったカッティング氏は「成功への鍵のひとつは環境の変化にどう対応するか? HadoopもMapReduceから新しい環境に変化しています」と来場者に語りかけました。そう語ったカッティング氏ご自身にも変化があったようです。いったいどのような「変化」があったのか? そしてその変化の先に何を見ているのか,基調講演後のカッティング氏にお話を伺いました。

ダグ・カッティング氏

ダグ・カッティング氏

アイデアを具現化するのはコードだけではない

─⁠─2014年の「Hadoop Conference Japan」で来日された際にも,gihyo.jpでインタビューさせていただきました。そのとき携わってるお仕事は,「Hadoopアンバサダー」としてHadoopのビジョンの啓蒙役,Apache Software Foundation(ASF)のボードディレクター,そしてプログラマとしてコードを書く,の3つということでしたが,それは変わっていませんか?

カッティング氏(以下C)⁠実は半年前からコードを書くことはやめました。もう30年も毎日コードを書いてきたのですが,コードを書くためには集中が必要です。今日のように,Hadoopエコシステムを説明するために人と会う仕事が増えて,集中する時間が取れなくなりました。

もうひとつ,コードを書く以外に,私が世の中に影響を与えることができるようになったという点があります。企業戦略を考えるという,新しい挑戦をすることになったのです。いまClouderaの共同創業者の一人,Chief Strategy Officerのマイク・オルソン(Mike Olson)氏と2人で会社の市場戦略や技術的な戦略を立てています。

─⁠─それは予想外なお話ですね。これまでのダグさんの経歴を見ると,生涯プログラマを続けられるとばかり思っていました。

C:私は,自分がいつかエンジニアをやめる時が来ると思っていました。むしろこれほど長く続けてこれたことに驚いています。続けていく中で,いくつかラッキーなことがありました。Luceneを開発できたこと,Hadoopが生まれたこともそうです。そして今回もそのようなチャンスだと思っています。Clouderaが何か新しいことにチャレンジできているかどうか,正しい道は何かを示していけたらと思います。

Hadoopはまさに「テクニカルイノベーション」と言えるソフトウェアでしたが,そのアイデアはGoogleの作ったものです。アイデアをコードで具現化したものがHadoopでした。企業戦略も,戦略のアイデアを具現化していく仕事です。その意味ではソフトウェア開発に通じるものがあります。OSSでは,ソーシャルエンジニアリングを行うことでユーザのモチベーションを理解して開発を行っていきますが,⁠カンパニーエンジニアリング」もある意味同じです。世の中に大きな影響を与えるためにはClouderaはどうあるべきかを考えるのです。その方法論(メソドロジー)を使って世界中の人々がソフトウェアを書くことで,さらに大きなインパクトを世の中に与えることができると考えています。

「オープンであること」こそがテクノロジーの「ハート」

─⁠─技術的戦略といえば,やはりHadoopが中心になると思います。ダグさんはかつて「Hadoop Conference Japan」で,「Hadoopであらゆることができるようになる」と言われましたが,今はHadoopが比較的不得意とする分野,たとえば商用RDBMS等のソフトウェアがもつ機能もゆくゆくはHadoopに置き換えられていくと思いますか?

C:たとえばOLTPなどの機能はHadoopがある程度「吸収」して発展させていくと思います。ただ,ある目的に特化されたシステムをすべて置き換えるかというと,それはありません。しかし多くのユーザが「これくらいできれば十分」と言えるレベルの性能や機能は,これからどんどんHadoopで実現されるでしょう。HadoopクラウドはClouderaを中心に,HDFS,YARNとリプレースしながら変わっていくのが特徴です。データウェアハウスでできるようなこと,サーチエンジンやグラフ分析,機械学習といったさらに大きなものも,将来はHadoopに吸収されていくでしょう。

昔は,そのテクノロジーがなければその会社と言えないような,代表的なテクノロジーを持つことが強みでした。しかし今ではそういう会社は自社のテクノロジーを進化させるのに苦労しています。我々はHadoopというテクノロジーが無くても構わないと思っています。テクノロジーの「ハート」⁠つまりスタイルを「オープンであること」に置いているのです。それが長期的には成功をもたらすと思います。

─⁠─一方で,最近はAWSなどのクラウドベンダがそのマネージドサービスのひとつとしてHadoopを提供するようになっていますが,今後Hadoopの利用は,ユーザが直接Hadoopをインストールするのではなく,こうしたサービスとしての利用が増えていくのではないでしょうか?

C:はい,その通りだと思いますし,その流れはある程度進んでいます。ただし,その流れで行くと技術がどこか1つのクラウドベンダだけにロックインされる可能性があります。そうならないよう,Hadoopの技術がAWSでも,Microsoft,あるいはGoogleでも,多数のクラウドサービス上で同じように機能するように,オープンなテクノロジーを守り複数のベンダに提供することで,クラウドにおいてもClouderaはその役割を果たせると思います。

またHadoopの(プロプライエタリな)コピーが現れ,普及する可能性もあります。しかし,オープンソースの魅力は,テクノロジを変更することなく多くのベンダに対応できることです。それを我々は守っていきます。オープンであるおかげで周りが変わっても,ユーザは単一の体験を得られるのです。

「Cloudera World Tokyo 2015」基調講演でのカッティング氏。⁠Hadoopはスマートフォンのように,さまざまな用途に,大部分の人には十分な機能を提供する。これに対して従来のDWHソフトなどはデジタル一眼レフカメラのようにすばらしい性能を持つが,ある単一の用途(写真)以外には使えない」とわかりやすいたとえ話でClouderaの技術を紹介しました。

「Cloudera World Tokyo 2015」基調講演でのカッティング氏。「Hadoopはスマートフォンのように,さまざまな用途に,大部分の人には十分な機能を提供する。これに対して従来のDWHソフトなどはデジタル一眼レフカメラのようにすばらしい性能を持つが,ある単一の用途(写真)以外には使えない」とわかりやすいたとえ話でClouderaの技術を紹介しました。

著者プロフィール

小坂浩史

gihyo.jp編集部 所属。最近では電子書籍の制作にも関わる。

バックナンバー

2015年

コメント

コメントの記入