前編ではHotChipsのSeattleの発表にFreedom Fabricが含まれていなかったところからはじめて,
GaryにはFreedom Fabricの技術そのものについても聞いてみました。ただし技術的詳細ではなく,
つまりFreedom Fabricの3次元トーラス構造やワームホールルーティングはスパコン
HPCの経験
まずGaryにHPCとのつながりについて聞いてみました。
G:オーケー。私の主たるHPC経験はDARPAのHPCSプロジェクト
(注1) のシステムアーキテクトだったことだ。 そのとき私はSunにいて,
自分たちで提案したコンセプトのアーキテクトだった。我々はとても低遅延なバイセクションバンド幅 (注2) のインターコネクトとして, 近接無線による IO (proximity IO) つまり複数プロセッサのシリコンダイをその四隅で重ね合わせて通信する (注3) 機構を提案し, 実現したんだ。 Y:どういうアーキテクチャだったのですか?
(構造がさっぱり浮かばなかった) G:ああ,
とてもラディカル (急進的) なものだった。12インチのウェハーの上に, 四隅が少し重なり合うようにシリコンダイを並べて, そのダイの角 (かど) ごとに1万の10Gbpsリンクがある (注4)。 ウェファー外周のダイには総計3万2,000本の10Gbpsの光リンクがあってね。
さすがに荒唐無稽というか,
12インチの薄いシリコン円盤の上に2,500個ものプロセッサ・
プロセッサ・
この図2のピンク色のプロセッサ・
土台とスペーサーがシリコンなので,
上側
ちょっとものすごいですね。
Y:またクレイジーな……
G:まったくだ。このアーキテクチャはTable Toyと呼ばれるNSAのベンチマークに集中している。
Table Toyは全プロセッサが,
全メモリ空間に対してランダムアクセスするもので, NSAはとくに何に使うと言わずただこのベンチマークだけがあった。このマシンは各プロセッサが個別に1FLOPS あたり1回のメモリ参照が可能だった。
そしてダイそれぞれの電力消費が 100W と聞いてまた衝撃を受けます。
Y:2,500ダイとなると……
(計算できなかったわけではありません。あまりの熱量とその小ささに戸惑ったのです)。 G:そう。2,500ダイだと250KWだ。
Y:ダイの大きさは全体で12インチでしたよね? その熱は……。
G:そう,
NSAが最初に見たときの質問も冷却だったが, 私は自動車のことを考えてくれ, と答えた。 自動車は200~500KWくらいで,
熱効率は30%程度だ。 つまり100年前の水冷技術では,
とても小さなラジエータと僅かな量の水で250KWより大きな熱を冷やしている。 Y:ええまあ,
それにしてもずいぶんと普通じゃない (unusual) コンピュータですね。 G:確かにとても普通じゃないコンピュータだった。超高帯域で,
低遅延で, とても小さくて。どのダイにいくのも2hopsでいける。 Y:
(説明はなかったがそれしかあり得ない構成と性能なので) メモリはダイに組み込まれてるんですよね? G:そうだ。我々はメモリをスタックした。それが理由で我々はコンペに勝ったんだ。アグレッシブな冷却,
シリコンマシニング, ダイスタッキングと超先端技術を集めたとても複雑なマシンだったね。 Y:ところで下はほぼシリコンですが上が炭素材と,
つまり上下で材料が違うのですが熱膨張は問題にはならないんですか? G:それについても分析したよ。論文があると思う。
Y:それにしてもこのダイスタッキングとオーバラッピングはすごいですね。驚異だ。
G:いやあ,
楽しいマシンだったよ。実際に作ったしね。 ただとても高い。DARPAのマネージャはたぶんB-1爆撃機くらいのお金を用意しないといけなかったろうね。2,
30億ドル程度かな。 Y:12インチのB-1爆撃機ですか!
G:この種のものを作るにはお金がかかるんだよ。
(苦笑いしながら) 我々はしかし (賞金として) 5億ドルしか得られなかったがね。
- 注1)
- High Productivity Computing Systems,
2002-2010 年に実施された国防および産業用のスパコン開発プロジェクト。 - 注2)
- クラスタ内の任意の半数のノードが同時に残り半分のノードにデータを送信してもネットワーク内での競合が発生しないネットワーク構成。http://
understeer. 等に説明がある。hatenablog. com/ entry/ 2012/ 03/ 06/ 121726 - 注3)
- 当時の報告がInternet Archive にある。"Proximity Communication",
Robert J. Drost, Sun Microsystems Research Laboratories, 2004 - 注4)
- このとき,
筆者は数がおかしい, そんなに多いはずがない, と思って何度も確認してしまった。