サイバーエージェントを支える技術者たち

第50回サイバーエージェントのネットワークインフラを探る[前編]

この春、サイバーエージェントではプライベートクラウド環境などを盛り込んだ新たなサービス提供基盤を構築しました。そこで使われているネットワーク環境や現状の課題、今後の展望などについて、篠原雅和氏と高橋哲平氏、村越俊克氏にお話を伺いました。

IPv6に完全対応したネットワークインフラを構築

インターネット上のアドレス資源を管理する「IANA(Internet Assigned Number Authority⁠⁠、そして「APNIC(Asia Pacific Network Information Centre⁠⁠」のIPv4アドレスが2011年に相次いで枯渇し、さらに最近ではIPv4アドレスの不足を理由に、ある通信事業者がグローバルIPアドレスの割り当てを有料オプションとするなど、IPv4アドレスの枯渇は現実的な問題となっています。その根本的な解決策として期待されているIPv6ですが、現状では普及しているとは言いにくい状況です。

ただ、サービス提供者の視点で考えた場合、いつ本格的にIPv6が使われるようになっても問題が起きないよう、事前に準備を整えておきたいところでしょう。実際、サイバーエージェントでは東京都内のデータセンターに構築した新たなサービス提供基盤において、IPv6への完全対応を図りました。

「今回の新しいデータセンターのネットワークは、IPv6への完全対応を大きなコンセプトとして構築しました。どうしてもIPv4を使う必要がある一部のアプリケーションではIPv4とIPv6のデュアルスタックにしていますが、それ以外のものについては基本的にIPv6アドレスのみで運用しています。実は1年ぐらい前から、既存のデータセンターの中でIPv6ネットワークを構築して検証しており、そこで経験を積むことができていたので、今回のIPv6ネットワークの構築に抵抗はなかったですね(篠原氏⁠⁠」

写真1 篠原雅和氏
写真1 篠原雅和氏

インフラでIPv6対応を図る際、悩ましいのはIPv4とIPv6の両方のアドレスを割り当てるデュアルスタックにするのか、それともIPv6だけを割り当てるかの判断でしょう。これに対してサイバーエージェントでは、IPv4でしか通信できないソフトウェアを利用しているノードを除き、基本的にはIPv6しか割り当てない方針にしています。その理由を篠原氏は次のように説明しました。

「いくつか理由はありますが、その1つにIPv4アドレスを割り当てるとその管理が必要になり、IPv6のメリットを充分に活かせないのではないかと考えたことがあります。IPv4アドレスも管理することになると、どうしてもその部分がコストになってしまいます。やむを得ずIPv4アドレスを割り当てているサーバもあるため、完全にIPv4アドレスの管理コストを削減できたというわけではありませんが、基本的にはIPv6アドレスのみを割り当てて運用することを前提として今回のネットワークを構築しました(篠原氏⁠⁠」

IPv6ネットワーク構築における意外な盲点

ただ、IPv6でのネットワーク構築には、思わぬ障壁もあったようです。

「ルータの冗長化のためにVRRP(Virtual Router Redundancy Protocol)を使っているのですが、それとIPv6のRA(Router Advertisement)の兼ね合いでトラブルが発生するということがありました。具体的には、障害時に本番系から待機系に切り替わり、本番系に切り戻ったときに、その下にあるノードが本番系と待機系の両方のルータからRAを受け取ってしまい、すでに本番系に切り戻っているのに待機系のルータにパケットを送ってしまうということがありました。結局、VRRPのタイマーの調整などで対応していますが、こうしたトラブルが起こり得るというのはテストをするまでわかりませんでした(篠原氏⁠⁠」

その他の盲点として、意外なところがIPv6非対応だったことを挙げるのは村越氏です。

写真2 村越俊克氏
写真2 村越俊克氏

「IPv4の縛りがネットワーク機器にあり、Syslogの送信先や設定データのエクスポート先としてIPv4しか設定できないというケースがありました。ネットワーク機器自体はIPv6に対応しているので、トラフィックの転送といった機能では問題ないのですが、管理機能のところでIPv6対応になっていなかったというものです。これは意外な盲点でしたね(村越氏⁠⁠」

なお現状では、外部からの接続はIPv6アドレスで直接サーバにつなげる形にはなっていないとのこと。哲平氏は「いつでもAAAAレコードを出せるようにしていますが、クライアント側の対応などもあるので現在は様子見の状態です」と、今後の状況次第であると語ります。

このように新しいインフラではIPv6完全対応が実現されていますが、既存のインフラへのIPv6対応はどのように考えているのでしょうか。その点について訪ねたところ、哲平氏は次のように答えました。

写真3 高橋哲平氏
写真3 高橋哲平氏

「既存のインフラは、現状ではIPv6に対応していませんし、その必要もないと考えています。もし既存のインフラをIPv6対応にする必要が生じれば、そのときは新しくインフラを構築すればよいというのが今のところの判断です。無理に既存のシステムをIPv6に対応させようとすると、想定していなかった不具合が生じるといったことも考えられるので、それならば必要なときに新しいインフラを作るべきではないかというわけです(哲平氏⁠⁠」

なお今回のIPv6ネットワーク構築について、⁠根本的な部分で動かない、といったトラブルはいっさいなかった(篠原氏⁠⁠」とのこと。ISPの対応などの面で不透明な部分はまだ残っていますが、もはやIPv6は普通に使える技術と言えるでしょう。

図1 サイバーエージェントの新たなネットワークは、通常のサービスを収容する「ローカルエリア」と、機密性の高いデータを扱う「セキュリティエリア」の2つに切り分けられている
写真3 サイバーエージェントの新たなネットワークは、通常のサービスを収容する「ローカルエリア」と、機密性の高いデータを扱う「セキュリティエリア」の2つに切り分けられている

後編ではサイバーエージェントが考える、今後のネットワーク環境について伺っていきます。

おすすめ記事

記事・ニュース一覧