AIXX 百科 › 技術コンセプト › NVLink インターコネクト
NVLink は NVIDIA 独自の GPU 直結インターコネクトバスで、複数の GPU 間を PCIe をはるかに超える帯域で直接通信できる。第5世代のカードあたり帯域は 1.8TB/s。
これに対応する NVSwitch は複数の GPU をフルメッシュで接続する。「NVL8 / NVL72」の NV はここに由来する。All-to-All フルインターコネクト構成だ。
| 項目 | 数値 / 基準 |
|---|---|
| 世代 | 第5世代 NVLink |
| シングルカード実測帯域幅 | 1.8TB/s |
| 代表的な形態 | NVL8(8 枚基板)· NVL72(72 枚ラック全体) |
| 外部ネットワークの組み合わせ | ConnectX-8 + Quantum-800 / Spectrum-X(800G) |
大規模モデルのテンソル並列では、1 つのモデルを複数の GPU に分割して載せるため、GPU 間の通信量が非常に大きくなる。NVLink により 8 枚の GPU を 1 枚のように協調動作させられる。
8 枚構成のシステムには 800G の外部ネットワークが必要だ。ネットワークが適切でなければ、8 枚の GPU は 8 つの孤島にすぎない。