2026-11-04 · 出典:虎嗅·中继

画像を生成せず、抽象空間で未来を予測。2022年の階層構想から4年、ついに再現可能な実装が初めて実現
Visual AntMazeの迷路タスクにおいて、単層モデルのLeWMは成功率わずか18%だったが、3層に積み上げたH-JEPAはこれを73%に引き上げた。これはヤン・ルカン(Yann LeCun)の階層的世界モデル路線における初の再現可能な完全実装であり、2022年の論文「A Path Towards Autonomous Machine Intelligence」で階層JEPA構想を提示してから、すでに4年が経過している。この4年間、業界のこの路線への態度は观望から懐疑を経て今回の検証へと変遷しており、その意義は単なる数字の飛躍をはるかに超える。世界モデルがピクセルレベルの生成に依存することなく、長期計画を遂行できることを証明したのだ。
JEPAとはJoint-Embedding Predictive Architecture、すなわち共同埋め込み予測アーキテクチャの略。現在の動画生成型モデルとは異なり、次のフレームを描くのではなく、画像を抽象ベクトルの集合――潜在表現――へと圧縮し、その抽象空間内で未来を予測する。まるで2人が目を閉じて将棋を指すようなものだ。盤面を並べずに「5五歩」「3四歩」と読み上げるだけで、相手は頭の中で棋局の推移を推演できる。H-JEPAは複数のJEPAを階層的に積み重ね、各層に観察エンコーダ、行動エンコーダ、潜在予測器を備え、それぞれの表現空間で異なる時間スパンの状態を予測する。最下層は最も細かく最も近い時間軸を担い、上へ行くほど遠く、マクロな視点を見る。
計画時の順序はちょうど逆になる。上位層がまず大まかな目標状態を提示し、それが次の層のサブゴールとなり、層を経るごとに詳細化され、最下層が行動を出力する。この階層ロジックは、ヤン・ルカンの「ニューヨークからパリへ」という概念に由来する。北京から上海へ行くとき、人間の脳はまず「高速鉄道に乗る」と決め、次に北京南駅への行き方を考え、最後にどちらの足から踏み出すかを決める。切符予約の層に必要なのは時間、価格、列車番号だけであり、歩を進める層になって初めて重心、階段、地面が必要になる。これこそがTransformerの最も頭を悩ませるところだ。トークンを一つずつ順に予測することは、切符予約、駅への移動、階段の下りという3つの事柄をごちゃ混ぜに考えているのと同じであり、ステップが増えるほど誤りが生じやすくなる。論文は、フラットな単層モデルは長いタスクで大量の細粒度ステップを展開する必要があり、予測誤差が蓄積し続け、行動探索空間も膨張すると指摘している。
18%から73%への飛躍は極めて印象的だが、疑問も湧いてくる。3層でこれほど有効なら、なぜ100層に積み上げないのか。階層JEPAの天井はどこにあるのか、ヤン・ルカンの回答が待たれる。
AIコンピュート購入者にとって、この進展のシグナルは真剣に受け止める価値がある。JEPA系アーキテクチャは抽象表現空間での予測を重視し、理論上は動画生成モデルのような膨大な高帯域メモリと稠密な計算力への極端な依存を回避できる。推論段階は潜在ベクトルの系列推演が主体であり、計算の形態は拡散型デノイジングよりも表現学習に近い。階層的世界モデルがエンボディッドAI、ロボティクス、長系列意思決定のシーンへ段階的に進展すれば、コンピュート調達構造は「純GPU訓練クラスタ」から「訓練+推論+計画の混合ワークロード」へと進化する可能性があり、購入者はクラスタを計画する際、低レイテンシ・中程度スループットの推論型コンピュートに弾力的な枠を確保すべきであり、訓練ピーク性能の積み上げ一辺倒は避けるべきだ。
調達上の検討ポイントとしては、3点を注視したい。第一に、世界モデル路線はまだ研究検証段階にあり、大規模商用化までは距離がある。直ちにハードウェア調達を調整する必要はないが、契約にはアーキテクチャ互換性条項を盛り込んでおくべきだ。第二に、この種のモデルの潜在表現訓練はメモリ帯域幅とインターコネクト・トポロジに敏感であり、ノード選定ではNVLink級のインターコネクトと高帯域メモリ構成を優先的に評価すべきだ。第三に、シミュレーション環境(Visual AntMazeのようなタスク)自体にも継続的なコンピュート投資が必要であり、調達予算にはシミュレーションクラスタを総勘定に含めるべきだ。合理的な対応は、小規模パイロット検証と段階的な増設を行い、後続論文の再現性とエンジニアリング進展を追跡してから資本的投資を判断することだ。
【実際の市場データ】本件で取り上げたモデルアーキテクチャは研究論文の範疇に属し、特定の販売中コンピュート製品に対応しないため、当該製品の現在の販売掲載価格データは存在しない。関連コンピュートリソースのリアルタイム価格と在庫を追跡したい場合は、萬安資訊(WANAN News)が後日発表する市場レポートにご注目いただきたい。
総じて、H-JEPAの画期的な意義は、理論上はエレガントな路線を初めて再現可能な完全実装へと落とし込んだ点にある。短期間で生成型モデルに取って代わるとは限らないが、「自律機械知能」の長期計画問題に対し、検証済みの分岐路を提示した。コンピュート業界にとって真の転換点は、このアーキテクチャが迷路タスクから実機ロボットと産業意思決定のシーンへ進むときに訪れるだろう。
Q: H-JEPAのVisual AntMazeタスクでの成績は具体的にどのくらいか?
A: 単層モデルのLeWMは成功率わずか18%だったが、3層積み上げのH-JEPAはこれを73%に引き上げた。これはヤン・ルカンの階層的世界モデル路線における初の再現可能な完全実装である。
Q: H-JEPAと動画生成型世界モデルの核心的な違いは何か?
A: JEPAは次のフレームを生成せず、画像を抽象的な潜在表現へ圧縮し、抽象空間で未来を予測する。H-JEPAはさらに複数のJEPAを階層的に積み重ね、異なる時間スパンの状態を階層的に予測することで長期計画を遂行する。
タグ: Yann LeCun · H-JEPA · JEPA · LeWM · World Model
萬安算交所 AIXX · AIXX · 検証済みコンピュート取引所 · 現貨ホールへ