インタビュー

オープンソースであることこそがわれわれの矜持 ―Hortonworks共同創業者に訊くHadoopの魅力

この記事を読むのに必要な時間:およそ 4.5 分

誕生から10年が過ぎ,並列分散処理システムのデファクトスタンダートとしての地位を確立したApache Hadoop。世界中から3,000名を超えるボランティアがHadoopの開発に参加していますが,その中でも貢献コード数や解決済みイシュー数,コミッタ(主要開発者)数などでダントツのトップを誇る企業がHortonworksです。米サンタクララに本社を構える同社は,2011年にYahoo!からスピンアウトした8名のメンバーによって創立され,2014年にはNASDAQ上場を果たしており,現在はワールドワイドで社員数900名を超える企業規模となりました。Hadoopディストリビュータとして,そしてオープンソースカンパニーとして,今後さらなる成長が期待されています。

スレシュ・スリニバス(Suresh Srinivas)

スレシュ・スリニバス(Suresh Srinivas)氏

筆者は今回,サンタクララのHortonworks本社において創業メンバーのひとりであり,現在はエグゼクティブバイスプレジデントとして開発の指揮を執るスレシュ・スリニバス(Suresh Srinivas)氏にインタビューする機会を得ました。同氏はまたApache Hadoopコミュニティの中心メンバーであるPMC(Project Management Committee)でもあり,HDFS(Hadoop Distributed File System)のスペシャリストとしても知られています。プロジェクトの初期からHadoopにかかわってきたエキスパートから見たHadoopの魅力について語っていただきました。

Hadoopに「エンジニア魂を掻きたてられた」

――スレシュさんはHortonworks創業メンバーのひとりとうかがっています。Yahoo!でソフトウェアアーキテクトとして活躍していたのに,なぜHortonworks創業にかかわることになったのでしょうか。

スリニバス氏:ご存知のようにHadoopはYahoo!で生まれました。当時,Hadoop開発の中心人物だったダグ・カッティング(Doug Cutting)とも一緒に働いていましたが,ひとことで言えば「エンジニア魂を掻きたてられるファシネイティング(魅力的)なソフトウェア」だったという表現に尽きます。Yahoo!でHadoopの開発を続けるにしたがい,どんどんHadoopの魅力と可能性にハマっていき,同じように感じていた仲間たちとHadoopの会社をローンチすると決めました。残念ながらダグはすでにYahoo!を離れていましたが,彼とともにHadoop開発の初期から関わってこれたのはラッキーでした。

――Hadoopのどういった点が"エンジニア魂を掻きたてる"ほど魅力的だったのでしょう?

スリニバス氏:まずはスケーリングのパワーです。Yahoo!はインターネットカンパニーとしてつねに世界のトップレベルに位置し続けてきた企業ですが,すでに2000年ごろから扱うデータ量の急激な増大に悩まされていました。そこにHadoopがさっそうと登場したわけです。データプロセッシングをこれほど効率的にスケールできるアーキテクチャを私はほかに知らず,⁠これはエンジニアとしてチャレンジのしがいがある技術だ」と直感しました。Googleの論文(Google File System / Google MapReduce)にももちろん目を通しましたが,これらの技術をもとにコンポーネントを実装していく作業は実にエキサイティングでした。

Hadoopの魅力の2つめはオープンソースであるという点です。これはHadoopのその後の発展にとっても非常に大きなことだったと思います。オープンソースプロダクトだったからこそ,Hadoop自身の機能強化が図られるにとどまらず,HiveやSparkなど多くのエコシステムが誕生し,コミュニティが拡大しました。

3つめはコモディティハードウェアで使える技術だったことです。Hadoopが登場するまで,大量のデータを収集/保管し,分析するためにはスペシャルなハードウェアが必要でした。IBMやTeradata,HPなどのビッグベンダによるプロプライエタリで巨大なマシンは誰もが簡単に手に入れられるものではありませんが,ほかに選択肢はなかった。しかしHadoopはコモディティなマシンでのデータプロセッシングを可能にしました。世の中に存在するデータ量が増大するにしたがい,コモディティなマシンでデータを扱えるという特徴は非常に大きなアドバンテージにつながったと思っています。

これほど魅力ある技術であれば,間違いなくビジネスとしても成功するはずという結論にメンバーたちとも至り,2011年にYahoo!をスピンアウトし,Hortonworksを起業したのです。

サンタクララのHortonworks本社

サンタクララのHortonworks本社

Hadoopがオープンソースであり続けるために労力を惜しまない

――HortonworksはHadoop誕生にかかわったメンバーが立ち上げた企業という点が大きく評価されて,ローンチ当時から多額の資金調達を果たし,IPOも実現するなど,とても順調に成長しているように見えます。一方で,HortonworksのほかにもClouderaやMapRなどHadoopディストリビューション企業が存在しますが,こうした競合と比較してHortonworksが優位に立っている部分を教えてください。

スリニバス氏:先ほども言いましたが,Hadoopはオープンソースだからこそ成長/普及すると我々は信じてきましたし,実際,そのとおりになっています。したがってHadoopの初期から関わってきたHortonworksにとって最も重要なのは,Hadoopがオープンソースであり続けることに労力を惜しまないことです。たとえば我々は「Hadoop Data Platform(HDP)⁠というディストリビューションを顧客に向けて提供しており,これはApache Hadoopと完全互換のコア部分(Core HDP)と拡張機能(Extended HDP)で構成されています。拡張機能に関してはHiveやHBase,Strom,SparkといったHadoopエコシステムをユーザが使いやすいように統合していますが,Hortonworksが独自に開発した機能 ―たとえばClouderaのImpalaやKuduのようなエンジンは付加していません。ユーザのコアプラットフォームになんの変更も必要としない,これはHDPだけでなく「Hortonworks DataFlow」等,当社のほかの製品にもあてはまる特徴です。

――それはつまりImpalaやKuduは純粋なオープンソースとは言えないということでしょうか。

スリニバス氏:他社の製品開発コンセプトを評価する立場に私はありませんので,その質問には答えられません。ただ彼らとは製品開発の戦略が異なるというだけです。

――ではMapRに対してはどのように思われますか。コメントできる範囲でけっこうです。

スリニバス氏:MapRはApache Hadoopの開発にほとんど貢献していません。コードの行数にしても,イシューの解決数についても,その数は非常に少ないです。対照的にHortonworksはどちらも他社に圧倒的な差をつけて1位の座にありますが,この結果は我々にとってごく自然なことであり,オープンソースとしてのHadoopにコミットし続ける以上,果たすべき責任だと思っています。現在100名近くいるHadoopコミッターのうちHorotonworksに所属するのは30名です。そのほかのApacheプロジェクトに関わるコミッターの数を合わせると,200名近いHortonworksのエンジニアが参加しています。これはApacheプロジェクトの中でも最も多い数です。でもMapRはそういう戦略,つまりオープンソースコミュニティに貢献するという活動に重きを置いていないのでしょう。それも我々とは方向性が違うというだけですので,批判すべきとは思いません。

――総合すると,オープンソースであるApache Hadoopへの圧倒的な貢献度の高さがHortonworksの最大の特徴であり強みということになりますか。

スリニバス氏:そうです。Hortonworksは年に2回,HDPのアップデートを行っていますが,そこで顧客から得られたフィードバックをApache Hadoopのへと反映させています。そして次のHDPでは,新たに強化されたHadoopをベースにした環境を顧客に届けることができる。100%のオープンソースであること,そしてコミュニティに貢献することを徹底しているからこそ可能になるビジネスアプローチなのです。

著者プロフィール

五味明子(ごみあきこ)

IT系の出版社で編集者としてキャリアを積んだ後,2011年からフリーランスライターに。フィールドワークはオープンソースやクラウドコンピューティング,データアナリティクスなどエンタープライズITが中心。海外カンファレンス取材多め。Twitter(@g3akk)やFacebookで日々IT情報を発信中。

北海道札幌市出身/東京都立大学経済学部卒。

バックナンバー

2016年

コメント

コメントの記入