インタビュー

設計,運用,日々改善~Open Compute Projectに見るFacebook流アプローチ~

この記事を読むのに必要な時間:およそ 4 分

Facebookを中心として始まった「Open Compute Project」⁠これは高効率なデータセンターを構築するために設立したプロジェクトです。今回,Open Compute Projectに関して,Facebook社Group Program Manager,John Kenevey氏と,Hardware EngineeringのシニアマネージャMatt Corddry氏にインタビューしたのでその模様をお届けします。


Open Compute Project(以後OCP)は,2011年4月にFacebookが提唱して始まった,高効率なデータセンターを構築するために必要な建物や機器の設計を公開し,共有するプロジェクトです。その目的はオープンソース・ソフトウェアの手法にのっとって公開された設計をより優れたものに磨いていくことにあります。

OCPはもともとFacebookの中で始まったプロジェクトであり,今でもFacebookは主要なメンバーです。OCPサイトのタイトルに謳われているフレーズ「Hacking Conventional Computing Infrastructure」からもFacebookと共通のHack精神写真1が感じられますね。2013年1月にはオープンコンピュートプロジェクトジャパン(OCPJ)が発足しています。

取材は2013年4月,Menlo ParkにあるFacebook本社にて行われました写真2)⁠応えてくれたのはGroup Program ManagerのJohn Kenevey氏と,Hardware Engineeringのシニアマネージャ,Matt Corddry氏です。

2人はとてもざっくばらんに,なんでも話す人たちでした。彼らのざっくばらんな話しかたを再現するために,以下の訳文も口語的なままにしておきます。なお今回の取材は,ビットアイル総合研究所の伊藤正宏さんに協力いただきました。いつもありがとうございます。

写真1 キャンパス内風景。The Hacker's Companyと掲げられています。ここは元Sun Microsystemsのキャンパスでビルは同じながら渡り廊下とその構造を大胆に赤く塗ることでぐっとモダンな印象になっている。

写真1 キャンパス内風景。The Hacker's Companyと掲げられています。ここは元Sun Microsystemsのキャンパスでビルは同じながら渡り廊下とその構造を大胆に赤く塗ることでぐっとモダンな印象になっている。

写真2 本社(Menlo Park キャンパス)入り口前。右手に良いねサインのタイトルが見える。偶然かあたりまえか,目の前はTesla S。ガレージには電気自動車がいっぱい。

写真2 本社(Menlo Park キャンパス)入り口前。右手に良いねサインのタイトルが見える。偶然かあたりまえか,目の前はTesla S。ガレージには電気自動車がいっぱい。

業界を変える

まずJohnに,2年に及ぶOCPの活動について聞きました。

写真3 John Kenevey氏。

写真3 John Kenevey氏。

  • John Kenevey(以後J)⁠そう,4月7日はOCP 2周年の日でした(本取材はその翌週に行われました)⁠

    2年前,CEOマーク・ザッカーバーグと我々のラボは我々にとって最初の専用データセンター,Prinevilleデータセンターをオープンソースで設計しようと決めたのです。4月から6月にかけてじっくり検討してみると,⁠おい,こりゃちょっと馬鹿っぽいぞ,俺たちは業界をもっと良いところにシフトできるぜ注1)⁠となりました。コストは1/10,電力消費も下げられると。

    結果,CAPEX(長期修繕更新費用)は25%程度に,電力消費は24%にまで下がりました。我々はこれを公開して,業界のメトリクス(数的指標)をこのレベルにシフトしようとしたわけです。これがまず成功した部分だね。実際,できあがったPrinevilleのPUEは1.07で,当時トップレベルでした。

いま,OCP/FacebokやGoogleなどがサーバをメーカから買わず自己調達することでPCハードウェア業界に変化が起きています。

Johnはしかし PC 業界だけでなく,設備や建設業界の変革についても取り組んでいる,と言います。

  • J:建設産業は成熟した業界で,米国では少数の大企業によるエコシステムがある。彼らはビルディングを作る。レンガと水(の世界)で,⁠我々とは)マインドセットが違う。しかし物事はデジタルになりつつあり,彼らはデジタル・マインドセットを組み入れなければならない。Prinevilleでは,建設チーム,メカ,電気のエンジニアが一緒に働いた。まったく違うエンジニアたちがいっしょに仕事をしてエネルギー消費やコストについて解決したんだ。

たしかに大型のコンテナ型データセンターなどは,従来的な建物に較べて建築物の重要性やその価値がとても低くなっています。しかし,建物の重要性は下がっても,そこにあるのはただの箱ではなく,温度や電力についてとても洗練された管理システムをもち,サプライチェインと密接につながっているものです。Johnは建設業界の誰もがこうしたエリア,つまり洗練された管理システムが重要な意味をもつ施設に今後はフォーカスすべきだ,というわけです。

注1)
実際のJohnのセリフは「Hey this is something nerd, we can shift the industry to the better」でした。面白いですね。

データセンターはコンピュータだ

続いてMattに技術的なことを質問しました。

2011年末に,やはりFacebookのOCPチームの1人であるVeerendra Mulay氏がデータセンター内でのサーバ電源部の結露に関するレポートを出しています。筆者はこれを示しながら,どのようにこうした複雑で,予期しない問題を解決するのか尋ねました。

写真4 Matt Corddry氏。

写真4 Matt Corddry氏。

  • Matt Corddry(以後M)⁠Veerendraはこのとき一体何が起きているのだろうと調べあげて,最終的に電源内部に耐水性のコーティングを施すことにしたんです(内側にですか?)⁠ええ,これは実際よく行われていることなのです。たとえば車載用コンピュータなんかだと。⁠ああ!)⁠ これで電源における結露のリスクを減らしたうえで,運用効率をさらに改善することになった。

  • J:我々はデータセンター設計のチーム,建設のチームと密に連携して仕事をしてる。Veerendraはビルディングの温度管理の問題をラックの中のサーバで見たわけだ。そこで彼はビルのオペレーションモードや空調機を調整して調べていた。彼は「データセンターはコンピュータだ」といって,全体から機器の細部まで見る注2んだ。

  • M:まったくそうだね。

    だから彼はビル全体の管理システムのチューンもやる。建設チームがビルのオペレーティングモード,ファン,ダンパー,ミストシステム注3を変えて,これが二度と起きないようにしたんだ。

写真5 Open Compute Projectのタイトルイメージが廊下の壁に描かれていた。

写真5 Open Compute Projectのタイトルイメージが廊下の壁に描かれていた。

注2)
元の表現は「broad view to unit view」です。
注3)
Prineville の噴霧式冷却装置のこと。

直しながら進む

  • M:とても重要なことがある。例外的なリスクを除いて,我々はとても早く設計をやるんだ。ある種の受け入れがたいリスクについては,設計に必要なレッスンを受ける時間が無いので我々は設計変更ができないけれど,それ以外のものについてはアグレッシブな設計をやるんだ。そうでなければコストや,効率を設計によって半分(あるいは倍)にするなんてことは不可能だ。だからある程度のリスクはとる。その業界では普段やらないようなね。

    我々が作ったデータセンターはその例だ。とても低コストで,とても効率が良い。しかしある状況では問題が生じるリスクはある。もしそれに直面したら,我々はそれを直して,学んで,次に行くんだ注4)⁠

  • 筆者:Prinevilleデータセンターは全体で1ホールなのですか?

  • M:いえ,9MW容量の部屋が,ビル1つに4つあると思います。キャンパスには2つのビルがある。

  • 筆者:ダンパーやファンといった機構については,部屋ごとに独立しているんですよね?

  • M:ええ。ただペントハウスは2つの部屋で共有していたんじゃないかな。

  • 筆者:とにかく複数の部屋が独立して(隔離されて)いるのなら,そのうち1つを使ってよりアグレッシブなセットアップを試せるんじゃないですか?

  • M:そのとおり。できるし,また我々はときどきやってる。新しい制御アルゴリズムや新しいデザインアプローチを部屋1つ分,あるいはビル1つ分に対して試す。他にも我々はいつも新しい設計を試してるし,改善しようとしてる。

    たとえば,PrinevilleではRO(逆浸透膜濾過)のプラントを作ってミストシステムのノズルが詰まらない純水を作っていたけれど,ノースカロライナ(彼らの2番目のデータセンター)では水を落とすパネルを試してる。そこには噴霧ノズルがないから(コストのかかる)RO設備も必要ないんだ。

注4)
元の表現は「fix, learn and moving」です。いいですね。

サーバの設計

  • 筆者:サーバを設計するといっても,Intelのプロセッサは世代ごとに「いいところ」が変わってしまうでしょう。ある世代ではピークパフォーマンスが優先され,ある世代では電力効率に力が入っている。どうやってデザインを決めるんですか?

  • M:我々はIntelととても近いところでやっていて,プロセッサがリリースされるより前からテストしています注5)⁠あるTCO(Total Cost of Ownership)でどのくらい働くものができるかを見てますね。Intelや他のプロセッサベンダの可能性のある異なるソリューションをすべて比較して選んでいます。

    その一方で,我々はどんなプロセッサを必要としているか,といった情報をたくさんIntelに提供しています。我々のような顧客は将来のIntelのCPUデザインにも影響を与えていると思います。つまり,プロセッサでどんなワークロードがかかってるか知ることで,将来の彼らのプロセッサのスピード,キャッシュ(の量)⁠フロントサイドバス,メモリコントローラの能力などが需要にミートすることを確実にできますからね。

  • J:Intelから見れば,Facebookはマーケットにおける先行指標(leading indicator)と考えることができる。我々が今後どこへ向かうか,といったことを見れば,すべてのシリコンメーカにとって5年先のモデルになるから。

  • 筆者:うーん。ハードとソフトの設計について考えてしまいます。たしかにあなた方はとてもよくソフトとハードが結び付いたユーザでしょうね。ほとんどのソフトウェア会社はサーバを設計しないし,ほとんどのサーバ業者はソフトウェアを書かないから。

  • M:それはとてもいいポイントだ。聞かれるんだよ。なぜ我々がHPより良いサーバを作れるんだ?と。たしかに,HPはとても良い設計チームを持ってる。我々のチームよりよほど大規模なね。

    しかし我々は(扱うべき)問題を知ってるし,⁠動作する)環境を知ってる。そして,我々はソフトウェアチームとも,データセンターチームとも毎日一緒に仕事をしてる。我々のデザインプロセスでは「良いサーバ」を作ってるんじゃない。そのサーバは「我々にとって良い」ものなんだ。

写真6 OCP Ver.3サーバ

写真6 OCP Ver.3サーバ

注5)
記事執筆の直前に,IntelがFacebookなどに特別なCPUを提供していることが明らかにされました。米インテル,米フェイスブックや米イーベイにカスタムCPUを提供

著者プロフィール

安田豊(やすだゆたか)

京都産業大学コンピュータ理工学部所属。KOF(関西オープンフォーラム)やiPhoneプログラミング勉強会などのコミュニティ活動にも参加。京都の紫野で育ち,いまは岩倉在住。せっかく復帰させたCBX 400Fに乗る機会がなく残念な日々を過ごしている。

バックナンバー

2013年

  • 設計,運用,日々改善~Open Compute Projectに見るFacebook流アプローチ~

コメント

コメントの記入