2026-11-13 · 出典:MarkTechPost

Google CloudがC++ライブラリ「TPU Sync」をオープンソース化。TPUのHBM、ホストメモリ、データセンターネットワークを統一メモリ階層として扱いKVキャッシュを転送、公式テストでは転送オーバーヘッドが90%超低減したとしている。
Google CloudはC++ライブラリ「TPU Sync」をオープンソース化した(Apache 2.0ライセンス、PyTorchおよびJAX向けのPython wheelを同梱)。解決するのは、大規模モデル推論において状態の転送が計算よりも難しいというボトルネックだ。TPUのHBM、ホストDRAM、共有ストレージ、データセンターネットワークを一つの統一メモリ階層として扱い、KVキャッシュとモデル重みの転送を担当する。その上位にはグローバルKVストア(プレフィックス検索)、転送コントローラ、KVキャッシュマネージャーを備え、強化学習に対応するためサンプラーへの学習済み重みのブロードキャストを実験的にサポートする。
設計上の重要な選択は4つある。第一に、レイアウトを保持した直接DMA。JAX PJRTバッファやPyTorchテンソルをインプレースで読み書きし、TPUネイティブのtileレイアウトを維持するため、シリアライズや中間バッファが不要。第二に、転送と計算のオーバーラップ。PJRTバッファのエイリアシングを活用してコピーを計算中に実行し、DMAスロットリングで大きなコピーがカーネル起動をブロックするのを防ぐ。第三に、データパスは一切XLAコンパイルを経由しない。転送やリシャーディングはすべてXLAグラフの外側のネイティブC++で処理される。第四に、高帯域チャネル。Ironwoodホスト1台のPCIe実測は最大223GB/s(PCIe Gen5の理論上限256GB/sに接近)、データセンターネットワークはNIC単体で約192Gbps、2枚で約350Gbps。
典型的なユースケースは分離型プレフィル・デコード(P/D)推論だ。プレフィルノードがKVブロックをピン留めされたホストメモリへ非同期DMAし、コントローラがホスト単位でデコードノードへストリーミング。到着したブロックはデコードと並行してデコードノードのHBMに書き込まれる。さらに64Kコンテキストのプレフィックスキャッシュに対応し、MoEの重みがHBMを占有する場合でも、実効キャッシュ容量を一桁(10倍)向上できる。
公式の自己申告データ(2026年7月の内部テスト、TPU v7x 2x2x1トポロジー、235B〜480BのMoEモデル)では、KV転送オーバーヘッドが90%超低減。Qwen3 235BのKV転送レイテンシ中央値は秒単位から約230ミリ秒に短縮された。低同時実行時の最初のトークンまでのレイテンシ(TTFT)は235Bで平均60%、480Bで90%低下。トラフィックのピーク時には235Bの出力スループットが30〜70%向上。プレフィックスキャッシュにより、64KコンテキストのTTFTは最大90%低減、スループットは50%超向上、P99のトークン間レイテンシは30%低減した。
エコシステムにおける位置づけとして、TPU SyncはすでにvLLM-TorchTPUのKVコネクタであり、SGLang-TorchTPUのP/D転送および階層型キャッシュのI/Oバックエンドにも採用されている。GKE上のllm-d 1.0はプレフィックスキャッシュのアフィニティルーティングに使用し、Managed Lustreへの実験的なスピルも行う。InferactとRadixArkがvLLMおよびSGLang側の共同構築に参加し、MetaとWayfairが評価中だ。実行環境はCloud TPU v7x(Ironwood)またはv6eが必要で、ソースコードはGitHubのgoogle/tpu-syncリポジトリで公開されている。なお、マネージドAPIは提供されておらず、READMEでは汎用ユースケースでの利用はまだ推奨されておらず、掲載された数値はすべて公式の自己申告である点に注意。
萬安算交所 AIXX · AIXX · 検証済みコンピュート取引所 · 現貨ホールへ