サイバーエージェントを支える技術者たち

第49回プライベートクラウド構築プロジェクトの裏側[後編]

サーバ管理の効率化に向け、サイバーエージェントでは独自に構築したプライベートクラウド上で各種サービスを提供する環境が整えられました。この新たなインフラにおいて中核的な存在となっているのが、自社開発のクラウド基盤ソフトウェアである「Clover」です。今回は第47回に引き続き、Cloverの開発を担当する坂本氏と長谷部氏にお話を伺っていきます。

仮想サーバと物理サーバを同様に扱えるしくみを備えるClover

一般的なパブリッククラウドサービスと同様、Webブラウザを使って設定画面にアクセスし、ハードウェアのスペックやインストールするOSなどを選択するだけでサーバを構築することができるクラウド基盤ソフトウェアとして、サイバーエージェントでは独自に「Clover」を開発、自社のプライベートクラウド環境で利用しています。もともと同社ではOpenStackも使われていたということですが、なぜ独自開発に切り替えたのでしょうか。

「一番大きな理由は、物理サーバも一緒に管理したかったということです。OpenStackを使っていた頃は、仮想環境とは別のツールを使って物理サーバも管理していたのですが、同じユーザインターフェースで管理したいという考えがありました。たとえば物理サーバでFusion-ioを使いたいといった場合、CloverであればFusion-ioを組み込んだ物理サーバを仮想サーバと同様に構築して管理することができます。これによって、管理負荷を軽減できることに加え、同じツールで仮想サーバも物理サーバも構築できるため、実際にサーバを利用するエンジニアにとってもメリットがあると考えています(坂本氏⁠⁠」

プライベートクラウドを構築しても、現状の物理サーバをすべて仮想化するのは困難なケースが多いでしょう。こうした状況では、物理サーバと仮想サーバのそれぞれを管理することになり、管理者の負担がさらに増大することにもつながりかねません。この課題を解決するため、サイバーエージェントでは仮想サーバと同様に物理サーバを構築できるしくみをCloverとして実現したというわけです。それでは、Cloverでの物理サーバ構築はどのように進められるのでしょうか。

「流れとしては、サーバをラッキングして電源を入れると、IPv6のRA(Router Advertisement)によってIPMIにIPv6アドレスが割り当てられます。さらにDHCPを使ってIPv4アドレスを割り当ててネットワークブートし、サーバの情報をCloverにプッシュします。Cloverでこの情報を受け取ると、管理画面に物理サーバの情報が表示され、その物理サーバが使える状態になるという流れです。これによって、物理サーバはCloverからIPMIを操作することで電源管理が行えます。あとは、管理画面からOSを選択したり、あるいはSnippet[1]として登録しているミドルウェアを追加したりすれば、自動的にインストールが始まります(坂本氏⁠

図1 OSなどと同様、Snippetとして登録されているソフトウェアをこの画面で選択すれば、自動的にサーバにインストールが行われる
図1 OSなどと同様、Snippetとして登録されているソフトウェアをこの画面で選択すれば、自動的にサーバにインストールが行われる

ラック単位の冗長化でコスト削減を実現

さらにサイバーエージェントでは、さまざまな方法で運用管理の負担を軽減しています。

「今回新たに構築したサーバインフラ環境では、サーバのラッキングから初期設定までを外部に委託しています。さらにCloverによってOSのインストールなどの作業を自動化しているため、わざわざデータセンターに出向いてセッティングしなくてもサーバを使い始められます(長谷部氏⁠⁠」

さらに、コスト削減のためにさまざまな工夫も行っていると長谷部氏は続けます。

「今回のインフラ環境では、HDDだけは一応RAIDを組んでいますが、それ以外の電源やNICといったところは冗長化せず、ある意味、壊れることを許容するような構成にしています。その一方で、ラックをまたいでサーバ自体を冗長化し、ラックごとダウンしてももう一方のラックにあるサーバでサービスを継続できる構成にすることでコストダウンを図るというわけです。これを実現するためには、同一機能を担う仮想サーバは、ラックを分けて作成することが必要になります。そこでCloverでは、仮想サーバごとにグループを構成し、仮想サーバを作成する際にそのグループを選択することでラックを分けることができる『アイソレーショングループ』という機能を盛り込みました。本機能は、OpenStackでいうスケジューラとして実現されています(長谷部氏⁠⁠」

ITインフラの運用負荷の軽減、そしてコスト削減は、どの企業にとっても課題となるものではないでしょうか。こうした問題に正面から取り組み、課題を解決するためのしくみをツールとともに作り込んだサイバーエージェントの取り組みは、注目すべき事例でしょう。

写真1 ⁠左から)坂本氏、長谷部氏
写真1 (左から)坂本氏、長谷部氏

おすすめ記事

記事・ニュース一覧