1,000人超の大規模開発者イベント「YAPC::Asia Tokyo 2013」を支えたネットワークインフラ構築の舞台裏~プロフェッショナルのボランタリーが生み出したチカラ

この記事を読むのに必要な時間:およそ 11 分

運用中の注意事項について

YAPCのネットワークでは,さくらのクラウド上でなくてはならないサービスを動かしていたため,ネットワークの死活・疎通確認がとても重要でした。また,1,000人規模のイベントでどれくらいのトラフィックが発生するか想定できないため,トラフィックの監視もしなければいけませんでした。インターネット側からのトラフィックはピーク時には80~90Mbps以上ありましたが,ルータのインターフェースがFastEthernet(100Mbps)のため,ほぼ限界のラインに達していました。そのときはトンネルが落ちないかどうかとても心配でした。

運用時のネットワーク監視図

運用時のネットワーク監視図

トンネルがダウンするとアドレスの払い出しや名前の解決ができなくなる障害になります。ホットステージでの余裕がなかったためQoSなどの設定をしておらず,とても後悔しました。今回はトラブルには至りませんでしたが,このような構成を組むときは,それぞれの通信のToS値の確認やQoSの設定等をしたいところです。また,NATテーブルは別のページで述べたように,埋まってしまうとユーザが新しい通信を開始できなくなってしまうため,確認する必要があります。

無線APの監視はZabbix,Cactiで行いました。ポイントはトラフィックとアソシエーション数(端末接続数)です。負荷が偏り,問題が起こりそうであれば前述の方法で他の無線APへ移動させます。また,グラフ上で近くの無線APがすべて高負荷になってしまっている状態(たとえば想定以上の立ち見で満員電車状態であるなど)が観測されたときには,現地に行って状況を調査します。

遠隔からの確認でも,たとえば無線APへログインしDHCPスヌーピングを確認し,アドレスが正しく振られてきていない端末が出てきている状況ですと,そろそろ限界かといった感触です。高負荷な状況が継続しそうな場合,無線APの増設を検討します。今回はイベントホールの用途が想定より多様であったこともあり,1台増設を行いました。

無線APごとのアソシエーション数を変調レートでグラフにしたもの(802.11a/g合算)から抜粋して掲載いたします。縦軸がアソシエーション数と変調速度,横軸が時間です。

メインホール(AP07)のアソシエーション数グラフ

メインホール(AP07)のアソシエーション数グラフ

アソシエーションが多くても,トラフィックが少なければ問題になりにくい傾向にあります。ライトニングトーク時のアソシエーション数がもっとも多くなりましたが,トラフィックは相対的に少なく感じました。楽しいLTが矢継ぎ早に繰り出されると,もう皆さんインターネットどころじゃなくなってしまうのでは?

ホワイエ(ロビー)⁠AP09)のアソシエーション数グラフ

ホワイエ(ロビー)(AP09)のアソシエーション数グラフ

各セッションが終了すると参加者がホールから出て行きます。アソシエーション数のグラフを監視していると,各セッションが終わった直後ホールの無線APがみるみる空き,ホワイエ(ロビー)に設置した無線APのアソシエーションが急上昇します。これも,10分から15分ほどで落ち着きます。お昼休みはもう少し長く賑わってますね。このホワイエに設置した無線APは,カバレッジを広くとるために遅いレートの接続も許可しています。

多目的会場(AP17)のアソシエーション数グラフ

多目的会場(AP17)のアソシエーション数グラフ

ライトニングトークが終了し懇親会が始まりますと,懇親会会場のアソシエーションが急上昇しました。懇親会は人口密度が高く,接続が不安定になりがちです。

同じ会場の中でも無線APごとの偏りがあり,トラフィックのグラフも割愛させていただいた関係で,各会場の状況を必ずしも正確に反映していないかもしれません。しかし,人の流れを予測してAP配置を設計することの大切さがおわかりいただけるかと思います。

運用結果

接続された端末について

YAPCでは,DHCPサーバから2,310個のIPアドレスを払い出し,1,098個のMACアドレスを観測しました。MACアドレスの上位24bitには製造元を表すコードが入っています。持ち込まれる機材の傾向がわかると面白いかと思い,データを集計してみました。

 上位10件

Apple805
Intel Corporate85
HTC Corporation22
ASUSTek COMPUTER INC.22
Murata Manufactuaring Co.,Ltd.21
Sony Mobile Communications AB11
Hon Hai Precision Ind. Co.,Ltd.11
SAMSUNG ELECTRO-MECHANICS9
SHARP Corporation9
Liteon Technology Corporation8

アクセス端末の割合

アクセス端末の割合

全体の約73%がAppleと偏っており,エンジニアの中でのApple人気の高さが伺えますね。会場を見渡したとき,確かにAppleのノートパソコンがよく見られましたが,これほどとは思いませんでした。

今回の会場ネットワークではIPv6もひっそりと提供していました。いまどきの端末であれば多くはIPv6を意識することなく使えるようになっているので,それと知らずに使っていた方がほとんどではないかと思います。

とはいってもトラフィックの大半はIPv4だろうと予想していましたがトラフィックデータをとってみたところIPv6もそこそこ使われていることに驚きました。図の赤線が総トラフィックで青い部分がIPv6です。

IPv6の割合

IPv6の割合

また,DNSのクエリ数トップ5は以下の通りでした。akamaiが多かったのはiOS7が発表された直後だったからかもしれません。端末の偏りがこちらでも如実に表れる結果となりました。

DNSクエリログ集計

DNSクエリログ集計

 DNSのクエリ数

akamai574648
google278638
twitter266413
その他PTR211235
1.0.0.127.in-addr.arpa.130614
facebook81874
apple81361
local64802
dropbox38886
hatena36475
ubuntu31889
amazon27034
flets-east19732

また,前述したとおり,会場ネットワークのトラフィックは,収容ルータ上限の100Mbpsにかなり近い値となってしまいました。JANOGやLLNOCでも最大60Mbps程度だったため,GigabitEthernetを搭載したルータは不要だと判断してしまいました。

しかし,よく考えてみるとJANOGやLLカンファレンスの来場者は300~500人で最大60Mbpsでしたから,その倍の人数が来るということを考慮すると,GigabitEthernetを搭載したルータは必要だったかもしれません。

会場のネットワークトラフィック図

会場のネットワークトラフィック図

まとめ

IT系のイベントやコミュニティは多くありますがそれぞれのコミュニティ同士の交流特に言語や開発系(YAPCやLL)とインフラおよびネットワーク系のコミュニティ(JANOG等)の交流は限られている印象です。実際今回のYAPCネットワークチームのメンバーの大半はYAPCに参加したことがありませんでした。

もっとエンジニア同士で交流していこうよとYAPCの事務局さんより声をかけていただき,JANOG+LLコミュニティ横断のネットワークチームが結成され,今回の会場ネットワーク提供が実現しました。我々ネットワークチームのメンバーにはあまり馴染みのないコミュニティであるYAPCに飛び込むことで不安もありましたが,YAPCの熱気が感じられて大変有意義な機会でした。コミュニティの枠にとらわれるのはもったいないと思います。YAPCにご参加いただいた皆さまも,ぜひJANOGやLLに参加してみてください。

会場ネットワークを構築するにあたり,必要となるネットワーク機材はチームメンバーの持ち込みに加え,アラクサラネットワークス株式会社様,さくらインターネット株式会社様にご協力いただきました。またYAPCスタッフの皆さま,会場スタッフの皆さまや慶應義塾大学の加藤朗先生にも多大なるご協力をいただきました。この場を借りてすべての関係者の皆様に感謝を申し上げます。

著者プロフィール

YAPCネットワークチーム

YAPC会場ネットワーク設営,運用のために集められたプロフェッショナル集団。

@yapcnwteam

東松裕道(とうまつひろみち)

アラクサラネットワークス株式会社 製品開発本部

高田美紀(たかたみき)

NTTコミュニケーションズ株式会社 先端IPアーキテクチャセンタ

高橋祐也(たかはしゆうや)

国内電気通信事業者

津山訓司(つやまさとし)

NECビッグローブ株式会社

森久和昭(もりひさかずあき)

セキュリティベンダ

熊谷暁(くまがいあきら)

個人

田島弘隆(たじまひろたか)

Genie Networks

バックナンバー

ネットワーク

  • 1,000人超の大規模開発者イベント「YAPC::Asia Tokyo 2013」を支えたネットワークインフラ構築の舞台裏~プロフェッショナルのボランタリーが生み出したチカラ