GPUDirect は NVIDIA の GPU 直接通信技術ファミリーです。データが CPU やシステムメモリを経由せず、GPU と外部デバイスの間に直接の経路を確立します。GPUDirect RDMA は NIC が GPU メモリを直接読み書きできるようにし(CPU 経由のコピーを不要に)、GPUDirect Storage はストレージデータを GPU メモリへ直接届け(CPU の中継を省略)、NVLink は GPU 同士の直接接続です。
AI の学習・推論のどちらも GPUDirect の恩恵を受けます。学習時は AllReduce による勾配同期が GPUDirect RDMA 経由で行われ、推論時は KV キャッシュがストレージから GPU メモリへ直接転送され(GPUDirect Storage)、複数サーバー・複数 GPU のファブリックは GPUDirect+RDMA で処理されます。データ経路全体に CPU 中継のボトルネックが存在しません。
| 項目 | 数値 / 基準 |
|---|---|
| GPUDirect RDMA | NIC↔GPU メモリの直接経路 |
| GPUDirect Storage | NVMe/ストレージ→GPU メモリの直接経路 |
| 対応ハードウェア | ConnectX NIC + P2P 対応の PCIe トポロジー |
| ソフトウェアスタック | CUDA + NCCL + GPUDirect Storage SDK |
B300 は全モデルで GPUDirect に対応しています。GB200/GB300 NVL72 のサーバー間ファブリック(ConnectX-8)もラック内 NVLink ドメインも GPUDirect 経路を利用します。インターコネクト部品(NIC/スイッチ/ケーブル)の調達時は、GPUDirect 互換性リストの項目ごとの確認が検収の必須事項です。サードパーティ製モジュールは物理的には装着できても GPUDirect が動作しない場合があります。