インタビュー

Hadoop成功のカギはオープンソースにあり ─“Hadoop生みの親”ダグ・カッティング氏インタビュー

この記事を読むのに必要な時間:およそ 4 分

“Hadoopを次の段階に進化させる”ためにClouderaへ

─⁠─Hadoopの普及に伴い,ダグさん個人の去就にも注目が集まるようになりました。一部ではYahoo!を離れたらGoogleに行くのでは?という噂もあったと聞きます。なのでClouderaという新しい会社を次のキャリアに選ばれたことにはかなり驚きました。

C:Yahoo!には3年勤務していましたが,Hadoopの開発に注力できる環境だったのは幸いでした。当時,Hadoopはその潜在的能力を発揮させていくためにはYahoo!のようなビッグカンパニーの投資を必要としていたので,Yahoo!の協力には非常に感謝しています。3年を経て,並列分散処理のスタンダードとしてある程度のステータスを獲得できましたから。だからこそ,現状に満足することなくHadoopを次の段階にもっていくことが必要だと感じていました。

先ほども言いましたが,ソフトウェアはより多くの人に使ってもらわなければ進化が止まってしまいます。私の役目はHadoopを次の段階に押し上げること,それはより多くの人,たとえばオイルカンパニーやロジスティクス,テレコミュニケーションといったさまざまな業種業界の人々にHadoopを使ってもらうことです。こうした企業は単なるオープンソースをオペレーションに使うことはしません。ベンダによる品質の保証とサポートがなければ使ってもらえないのです。ならば,Hadoopを企業レベルで提供できるようにすることが自分の責務だと思いました。エンタープライズレベルのHadoopディストリビューションを提供するClouderaを選んだのはそういう理由からです。

─⁠─現在,Clouderaでは「チーフアーキテクト」をされているということですが,実際にはどんなお仕事をなさっているのでしょうか。

C:チーフアーキテクトという肩書はあまり正確に私の業務を表しているとは言えないですね(笑⁠⁠。私のClouderaの仕事は大きく3つあります。ひとつは"Hadoopアンバサダー"としてHadoopのビジョンを顧客やユーザ,そしてあなたのようなプレス関係者やアナリストに対して説明を行い,普及/啓蒙を促進することです。今回のようなカンファレンスへの参加もこれにあたります。

2つ目はApache Software Foundation(ASF)のボードディレクターとしての仕事です。HadoopはASFのトップレベルプロジェクトであり,ASFの存在があるからこそ,Hadoopはより多くの人に使われるようになりました。したがってASFでのプロジェクトが円滑に回るように調整する仕事はClouderaにとっても重要なことなのです。そして3つ目はいちソフトウェアプログラマとしての業務です。ソフトウェアをデザインし,コードを書き,テストを行うという,プログラミングの一連の作業を淡々とこなしていますよ。

なぜJavaなのか?

─⁠─いちプログラマとして,と言われましたが,ダグさんはプログラミング言語としてJavaを選ぶことが多いそうですね。HadoopもLuceneもJavaで書かれていますが,あえてJavaを選んだ理由をお聞かせいただけますか。

C:私がJavaを好きな最大の理由はその再利用性です。世の中に存在するJavaライブラリの数の多さを見ればそれは自明でしょう。Hadoopでは,どうしても高パフォーマンスが必要な部分はC++で書くケースもありますが,基本的にはJavaでコーディングしています。

─⁠─いま言われたように,Javaに関してはパフォーマンスに疑問をもつ人も少なくありません。「Javaが普及したことで並列分散処理の歴史は10年遅れた」Javaへの嫌悪感を隠さない専門家もいます。こうした意見についてはどう思われるでしょうか。

C:私はJavaのことを「ほどよい妥協点を実現した言語」だと思っています。たしかにJavaのパフォーマンスについてあれこれいう人はたくさんいます。Hadoopのパフォーマンスの問題も,50%ほどはJavaに原因があるかもしれません。しかしHadoopはJavaで書いたからこそ多様性や拡張性を備え,数多くのエコシステムを生み出すことに成功しました。

パフォーマンスに関しても「ベストではないがグッドではある」と私は思っています。もちろん今後の改善は必要です。しかし,ハードウェアが1年で2倍のスピードを達成している現状を考えれば,Javaのパフォーマンスをそれほどセンシティブに捉える必要はないと思います。ハードウェアはすぐに倍の性能になりますが,ソフトウェアはそういうわけにいきませんから。

オープンソースは宗教でも道徳でもない

─⁠─では,Javaで書かれていることがパフォーマンス遅延の理由だとしてHDFSをCで書き換えた,MapRのようなプロダクトに対してはどのように見ていらっしゃいますか。

C:うーん,私がMapRに言えることはただひとつ,⁠グッドラック!」ですかね。たしかにMapRはApache Hadoopとは違うアプローチを取っています。これは私見ですが,MapRのようなプロプライエタリはコンポーネントを対応させるのがすごく大変なのではないでしょうか。また,Cで書き換えたからといって誰の目にも明らかなほどパフォーマンスが向上しているようには思えません。

ですが,それが彼らのアプローチであるなら別にかまわないとも思います。我々(Cloudera)はオープンソースを選択していますが,オープンソースは宗教でも道徳でもありません。プロプライエタリが良いと思うなら堂々とその道を行けばいいのではないでしょうか。そういう意味でMapRには「グッドラック」と言いたいですね。ソフトウェアの世界は誰もが同じ選択をする必要はなく,違っていてあたりまえなのですから。

─⁠─ダグさんは,Hadoopはオープンソースだからより多くの人々に使ってもらえるようになったと言われましたが,同じオープンソースでも失敗してしまうプロダクトも数多くあります。コミュニティを10年近く維持してきたダグさんから見て,オープンソースプロジェクトを成功に導く秘訣があれば教えてください。

C:オープンな組織運営を心がけることです。新しい参加者がいたら,リスペクトをもって積極的にコミュニティに受け入れてください。コミュニティの成長は新しいメンバーをどれだけ取り込むことができるかにかかっています。既存のメンバーは新しくコミュニティに入ろうとする人に対して,対等な立場で接することが非常に重要です。

すべてのオープンソース開発者,ユーザへのリスペクトがある

─⁠─最後にもうひとつ質問させてください。Hadoopの生みの親として,またオープンソースのエバンジェリストとして,世界中の開発者から深く尊敬されるダグさんですが,そのダグさんが尊敬する開発者がいたら教えてください。

C:個別の名前を挙げるなら,オープンソースという概念を最初に浸透させたリーナス・トーバルズ(Linus Torvalds)やApache開発者でASF創設にも尽力したブライアン・ベーレンドーフ(Brian Behlendorf)などは素晴らしい開発者だと思います。Javaを世に送り出したジェームス・ゴスリング(James Gosling)も以前から親しくしています。現在,Hadoopの開発者の中には,ジェームスと一緒にJavaに関わってきた人たちがたくさんいます。

見上げるような長身のカッティング氏。
身長をお聞きすると2メートル3センチ!
とのこと。

見上げるような長身のカッティング氏。身長をお聞きすると2メートル3センチ!とのこと。

ですが,そういったスーパーな開発者だけでなく,私はオープンソースに関わるすべての人々を同じように深く尊敬しています。開発する人も使ってくれる人も,誰もがなくてはならない存在であり,私自身,オープンソースの活動を通してさまざまな恩恵を受けてきました。良い仕事ができたことはすべてそういった人々のおかげであり,本当に深く感謝しています。

何度も言いますが,私のゴールはひとりでも多くの方に自分が関わったソフトウェアを使ってもらうことです。みなさんに言いたいことがあるとするなら「どうか気軽にHadoopを,そしてオープンソースを使ってみてください」ですね。これからもつねにそう願いながら,開発を続けていきたいと思います。

著者プロフィール

五味明子(ごみあきこ)

IT系の出版社で編集者としてキャリアを積んだ後,2011年からフリーランスライターに。フィールドワークはオープンソースやクラウドコンピューティング,データアナリティクスなどエンタープライズITが中心。海外カンファレンス取材多め。Blog 「G3 Enterprise」やTwitter(@g3akk),Facebookで日々IT情報を発信中。

北海道札幌市出身/東京都立大学経済学部卒。

バックナンバー

2014年

  • Hadoop成功のカギはオープンソースにあり ─“Hadoop生みの親”ダグ・カッティング氏インタビュー