AMI Labs 馮雁：AI 邁向現實世界，世界模型不可或缺 | ICML 2026

本文作者：叢末

2026-07-09 11:40

專題：ICML：國際機器學習會議

導語：JEPA 比生成式世界模型，天然更具有結構性優勢。

AMI Labs 馮雁：AI 邁向現實世界，世界模型不可或缺 | ICML 2026

JEPA 比生成式世界模型，天然更具有結構性優勢。

作者丨幸麗娟

編輯丨岑峰

2026年7月7日，ICML 2026 正會第一天，AMI Labs 聯合創始人兼首席研究創新官、香港科技大學電子與計算機工程系講席教授馮雁（Pascale Fung）帶來大會首個特邀演講。

作為與 Yann LeCun 共同擎起 JEPA 世界模型旗幟的代表學者，她在題為《Towards AI Agents in the Real World》的演講中，系統回答了三個核心命題：

世界模型為何對于 AI 從數字空間走向物理世界，不可或缺？JEPA 路線相較生成式路線究竟贏在哪里？以及團隊沿此方向完成了哪些關鍵突破？

馮雁首先劃定了未來物理世界 AI 的兩大主力形態：一類是嵌入可穿戴設備（如智能眼鏡）的主動式輔助智能體，與人類共享第一人稱感知場，承擔過程規劃與實時指導；另一類是部署于自動駕駛、家務機器人等自主系統中的執行智能體，需完成從高層語義指令到電機細微動作的分層規劃。

兩者雖然形態與任務迥異，卻共享同一個"能力底座"——對物理世界演化的預測能力。無論是預判用戶下一步動作以主動協助，還是推演機械臂運動軌跡以避免碰撞，這種預測都遠非背誦文本或識別靜態圖像所能及，它要求模型內化一套可因果推理的物理認知框架，而這正是世界模型的立足之本。

而眼下世界模型流派眾說紛紜，馮雁也針對當下主流的兩派——生成式世界模型（如Cosmos、Genie）和 JEPA 世界模型在設計哲學上的差異進行了對比，即前者認為AI 要理解世界，就必須能完整生成每個像素，而后者追求因果正確性而非像素完美。

其結果是，JEPA 模型參數量更小、推理速度更快、對噪聲與環境連續變化的魯棒性顯著更強，在物理世界的落地場景中展現出天然的結構性優勢。

沿著 JEPA 這一技術脈絡，馮雁、 LeCun 團隊已接連完成 V-JEPA、V-JEPA 2、LeWorldModel 和 VL-JEPA 等一系列標志性工作，在自監督視覺表征學習、機器人動作規劃及高效視頻理解等任務上取得了領先表現。

與此同時，團隊正通過開源數據集（Action 100M）、組織 ECCV 2026 可穿戴 AI 研討會及設立挑戰賽等方式，系統性地推動 JEPA 路線的學術生態建設。

以下是馮雁在 ICML 2026大會上發表的演講精編稿，AI科技評論基于原英文演講內容進行了不改原意的翻譯編輯：

AI 智能體邁向現實世界，需要世界模型

我是 AMI Labs的聯合創始人兼首席研究創新官，常駐巴黎。

今天演講的主題是《邁向現實世界中的AI智能體》，這里的“現實世界”是相對于虛擬世界而言的。

既然我常駐巴黎，那我就給大家分析姆巴佩（Mbappé）在世界杯對陣瑞典時的第二次進球，并借此介紹“世界模型（world model）”的概念——如果大家還不熟悉的話。

世界模型在這里定義為：用于決策的下一步動作預測。

如果你們看姆巴佩的進球分析視頻，可以看到其進攻的逐回合分析，也能看到兩位球員所做的決策。例如，從姆巴佩的自我中心視角（Egocentric View）來看，他當時在掃描場上局勢，決定劃定自身的空間，然后決定向遠離目標區域的方向切入，把球交給另一位球員。

所以， AI 智能體要應用到真實世界中，需要世界模型。那我們在這里談論的是哪種智能體？

一個典型案例就是我過去幾年在 Meta FAIR以及現在 AMI Labs一直在做的工作，即可穿戴設備上的AI智能體。如上圖右側所示，這是人類用戶、可穿戴設備中的 AI 智能體以及真實物理世界之間交互的三條通道。

可穿戴設備（比如智能眼鏡）中的 AI 智能體擁有來自人類用戶的自我中心視角，它看到我所看到的，聽到我所聽到的。

它能做的是協助人類用戶執行動作，例如指導我更好地踢足球，或輔導我做智力活動，幫我更好地學習語言，幫我導航物理世界，或幫我獨立解決不同的認知任務。這就是輔助人類動作的AI智能體。

這個 AI 智能體也通過輸出數字動作與現實世界交互。假設我想在地鐵站買票，但我從沒去過那里，那里有售票機。那么眼鏡中的 AI 智能體會向我展示如何操作售票機，或者幫我在智能手機上買票。所以它直接向現實世界輸出數字動作，或者協助我并向我展示如何操作這些售票機。

當然，AI 智能體從現實世界獲得的感知輸入會傳入AI智能體，然后 AI 智能體與人類用戶交互，告訴我該做什么。

因此，這個 AI 智能體需要執行“過程規劃（Procedural Planning）”，即向我展示如何完成某項任務（比如從巴黎地鐵站售票機買票）的多個步驟。不過這里的多個步驟，指的是智能體輔導或指導我如何執行。它需要做過程規劃，為我（人類動作）提供高層動作指導。

為了實現個性化，AI 智能體還需要長期和情景記憶（Episodic Memory），這樣如果我去過某個地鐵站，它就知道不需要再教我如何使用機器。

然而，如果當前物理環境對我來說是新的，它就會主動地、提前地協助我，告訴我并展示該做什么，同時在這個物理場景中推斷我的目標——比如我是要站在咖啡機前做卡布奇諾，還是坐在餐廳桌旁要點餐。

第二類智能體是自主系統（autonomous systems）中的智能體。這些自主系統在現實世界的物理環境中運行，包括自動駕駛汽車、無人機、機器人等。其與現實世界交互，感知現實世界，并執行物理動作。

它們與 AI 智能體（即這些系統的“大腦”）通信，而大腦擁有物理世界模型，用于建模物理環境、規劃、推理，并命令自主系統執行物理動作。同時，自主系統也會通過感知物理環境向智能體發出查詢。在這種情況下，AI 智能體需要執行低層和高層規劃。

例如機器人，它需要告訴機械臂或機器人如何移動、如何拿起東西、如何疊衣服等等。它需要執行“分層規劃（hierarchical planning）”，從高層動作如“請打掃我的房間”，分解為子任務，再進一步分解為機器人電機上的細微動作，這就是分層規劃。它還需要有某種關聯記憶，要知道之前做過什么以及當前動作的上下文。

為什么大語言模型不夠用？

那為什么不能直接使用大語言模型（LLMs）呢？

我知道最近有很多人熱衷用 LLM 做規劃，也有不同的基準測試。雖然我本人就出身自然語言處理背景，已經研究LLM 好幾年了，但我們現在明白，LLM 從人類寫下的所有描述世界的文本中學習，所以它們相當于“二手”地學習世界模型，從文本描述而不是實際現實中學習。因此它們無法預測現實世界中的力，如重力、質量，或嘈雜環境中的實際物理力。

而且別忘了，LLM 訓練目標是優化對話流暢度或語言描述的優美度，而不是因果推理。它們耗費大量計算生成下一個token，然而這是個錯誤的優化目標。這也導致，它們需要數萬億token 來進行學習，結果學習物理的速度，依舊比人類慢得多。

此外，因為它們是針對生成內容進行優化，會產生“幻覺（hallucination）”。我從2019年就開始研究幻覺，現在整個研究界達成的共識是，幻覺既是生成模型（如LLM）的缺陷，也是其特征。然而，在文本中，幻覺可能相對無害——人類用戶看到幻覺，可以事后處理，或者可以自行選擇是否處理。但這種幻覺如果發生在物理機器人上，會導致“撞擊”后果，我們絕不想在現實世界中看到這種情況。

在我試圖說服大家“ LLM 不太適合用于物理世界”之前，先展示一些模擬環境中的基準測試。

DeepPhy 是一個針對 AI 智能體物理推理能力的基準，評估基礎物理、力學機制與動力學、動作與控制，以及高階推理。大家可以看到，人類表現是64.7%，遙遙領先于所有通用大模型，從 Claude 的 41.2% 到 Gemini Pro 的35.2% 和 GPT-4o 的更低水平——都遠低于人類，只比隨機略好。

基準 IntPhys 2 測試的是 AI 智能體在復雜但合成的環境中的直覺物理理解能力，涵蓋四個核心原則：Permanence（永恒性）、Immutability（不變形）、Spatio-Temporal Continuity（時空連續性）和 Solidity（不可穿透性）。同樣，人類近乎完美，而生成模型只有55.6%或更低，而 JEPA 模型表現優于通用模型，但仍低于人類。

基準 PhysBench 使用 10000 個視頻、圖像、文本交叉的多選題，評估 VLM 對物理世界的理解，涵蓋對象屬性、關系、動態和文本理解。人類表現是 95.9%，而所有 VLM 大約只有50%左右，最好的也不到 52%。

另一個基準 PAI-Bench 使用來自機器人、自動駕駛等領域的 1000 多個視頻問答對，測試物理常識、時空推理、動作效果等。人類表現是 93.2%，而 VLM 約 65%。

最后一個基準 WorldPrediction 評估模型預測高層動作、長時程過程規劃的能力——也就是我之前提到的步驟分解。任務包括選擇缺失幀或重新排序幀序列。人類表現近乎完美，而 VLM 最多50%。

因此結論是：LLM 和 VLM 雖然能學習物理教科書，但并不真正理解物理世界。

也就是說，即便是當下最前沿的大模型，也仍然存在“落地差距（Grounding Gap）”——它們懂得物理世界的詞匯，但面對場景泛化、實時動力學、摩擦力和約束等方面的現實問題，依舊很吃力。

JEPA 世界模型 VS 生成式世界模型

Yann LeCun 在 2022 年的一篇論文中提出了一種“先進機器智能”（Advance Machine Intelligence）的系統架構，這也正是我們公司名字的來源。

該架構提出了一個世界模型系統，包含感知模塊（估計當前狀態）、世界模型（預測未來狀態）、規劃模塊（搜索最小化成本的動作序列）和記憶模塊（跟蹤狀態）。這大致對應人類大腦的不同功能區域。

現在，我們來看自主系統中的機器人智能體。

機器人需要高頻執行低層動作。它是典型的具身 AI 智能體，擁有傳感器和執行器，在日常生活場景中實現自主。它們通過人類遙操作或大量人類動作數據（如疊衣服、整理物品）進行訓練，使用監督學習和模仿學習。但由于視覺基礎模型的性質，這些技能停留在訓練分布附近，環境變化時很脆弱，容易崩潰。

我們需要的機器人學習智能體，是要能零樣本（zero-shot）學習，具有魯棒性，能在任何環境中學習任何技能，且使用更少的數據。

而當前 VLM 和強化學習，是世界模型的主流學習方法，它們要么從遙操作、模擬環境或人類動作中學習，并押注于規模——認為只要有足夠數據就能泛化一切。但我想不必多說，物理世界連續且嘈雜，不可能做到“在所有上下文中學會一切”。

因此，我們的世界建模方法是構建任務無關的世界模型，然后根據具體任務調節，用成本模型來生成策略。

首先，介紹第一種世界模型——生成式世界模型（Generative World Models），例如 Cosmos。

這些方法把世界建模視為視頻生成，通過預測下一幀像素來模擬世界，訓練于數百萬小時視頻，使用自編碼器或分詞器壓縮幀，然后用 Transformer 或擴散模型預測下一幀。

這類模型輸出是詳細的像素流。例如，Cosmos 生成多視角駕駛視頻和機器人視頻；Genie 3 構建交互式且持續性的 3D 世界。

它的設計哲學是：AI 要理解世界，就必須能完整生成每個像素，這種路線認為 AI 通過生成可以學習碰撞、質量、動量等物理直覺。

但另一種方法，即 Lecun 在論文中提出的“聯合嵌入預測架構（Joint Embedding Predictive Architecture, JEPA）”，它是一種表征學習方法。

它不嘗試生成視頻或預測下一幀圖像，而是預測未來世界狀態和動作的抽象表示，并舍棄不可預測或無關的細節。JEPA 不預測每個像素，它預測嵌入（embeddings）。

大家可以回想一下，自己進入這個房間時，并不會注意到每個像素，而是看屏幕、看我、看幻燈片上的文字。人類會根據任務慣例，忽略不必要的細節。

JEPA 模型從相同視頻中預測嵌入而非幀，將上下文和目標編碼到潛空間，用預測器根據動作，來預測目標表征。該模型使用不同的損失函數，而不是像素重構損失。

JEPA的輸出不是圖像，而是用于規劃、動作預測和標記不可能事件的壓縮表征（Compact representation）。你可以查詢未來而不必實際“觀看”。

這種路線的設計哲學是預測重要的信息，忽略不重要的信息，追求因果正確性而非像素完美。這類模型只關注抽象空間中的結構核心，例如預期玻璃會掉下，但不必渲染它看起來如何——它是一個“理解”世界而不是“生成”世界的模型。

再次比較這兩種方法：如上圖所示，左側是生成式世界模型，右側是 JEPA 世界模型。

生成式世界模型輸入視頻或音頻，使用 VAE 或分詞器，擴散模型預測未來，損失不同。

JEPA 世界模型輸入上下文和目標，對必要信息編碼，預測潛空間嵌入，然后與目標對比，直接在潛空間進行規劃和推理。

生成式世界模型認為必須生成每個像素細節才能真正理解，而 JEPA 世界模型認為只需知道任務和目標，預測本質即可。

JEPA 世界模型相關研究進展

我們之前發表的V-JEPA論文，使用自監督學習在總時長為 465 年的視頻上訓練，預測掩碼嵌入，獲得了外觀和運動方面的最先進視覺特征，權重已開源。

V-JEPA 在行動預期上達到最先進水平，且比生成模型小得多，更快、更魯棒。V-JEPA 2 則用于機器人規劃。視頻顯示它預測機械臂在初始狀態和目標之間的運動，在嵌入空間中進行過程規劃。

我還想提一下 AMI Labs 和 NYU 合作的最新論文 LeWorldModel，是第一個端到端穩定訓練的 JEPA 模型，從原始像素直接訓練，僅使用兩種損失項，就實現了高效的模型預測控制（MPC）規劃。數據和 Checkpoints 均已開源。

那么這項工作如何使用 JEPA 世界模型進行規劃呢？

首先感知模塊提取當前狀態的表示；執行器提出動作序列；世界模型預測未來狀態；成本模塊評估當前狀態到目標狀態的距離；然后搜索最佳動作并在世界中執行。這就是 JEPA 模型實現精細動作的方式。

另一篇論文是關于“潛在動作模型（Latent Action Model）”的，它從原始視頻中發現動作空間，無需人工標注，可擴展到 in-the-wild 視頻，非常有趣。周四，這篇論文將由第一作者進行展示。

到目前為止，我們討論了生成式或 JEPA 世界模型，以及如何用于機器人動作。

下面我要再回到第一類物理 AI 智能體，即可穿戴智能體，來分享我們的工作。

如前所述，可穿戴設備輔助人類高層現實世界動作。這些設備有攝像頭、麥克風，擁有第一人稱的自我中心視角，AI 智能體和人類用戶共享感知場。

它看到我所看到的，聽到我所聽到的，可以始終開啟，因此需要環境智能（ambient intelligence）和上下文感知——它無需我提示就能感知上下文。沒人想一直對著眼鏡問“該做什么”，所以它應是主動的（proactive），實時理解上下文，無延遲運作。

而生成式世界模型太慢且成本高，無法在可穿戴設備上使用。我們還需要考慮設備端計算和低功耗，因此效率對可穿戴設備非常重要。

不同于機器人智能體，可穿戴智能體還需要“心理世界模型（mental world model）”，即了解人類用戶的目標和意圖，實現長期規劃和個性化，適應偏好變化。如果我總在咖啡機前做某類咖啡，它就不該再問我要做什么；而另一個新手則需要它展示如何使用咖啡機。

它還需要持久記憶、情景回憶、長期保留，也就是說，如果我想以某種方式踢足球，它應記住我過去學過什么。

此外，它還要理解人類情緒和心理狀態，以及社交和文化線索，來幫助我減少人際摩擦。例如在巴黎或紐約，社交信號不同，行為方式、說“謝謝”的方式甚至走路方式都不同。我的智能體需要全天候幫我解讀這些社交信號，并主動知道何時展示、何時告知我的下一步動作。

因此，我們提出一種在語言空間進行世界模型建模的方法，不是通過生成像素（圖像）來建模，而是進入到由語言描述的動作空間中建模。

這種方法以觀測（Observation）和目標（Goal）作為輸入，且都是語言形式的；Critic 模型查看的當前狀態、目標狀態和動作狀態都是用語言描述的。動作本身也被描述為語言。

在這種情況下，語言比像素更緊湊。它不試圖生成語言本身，而是生成描述動作的語言。這就是“視覺語言世界模型（Vision-Language World Model, VLWM）”。與生成式世界模型相比，它提取的是對未來預測的語言描述。

我們能拿 VLWM 做什么？——用于高層過程規劃，比如“教我怎么做一道菜”。會做飯的人知道，光看菜譜文字很難操作，很多人會上YouTube看步驟。而我希望可穿戴智能體能一步步給我展示。

VLWM 從視覺上下文中提取動作，并有一個搜索模塊來選擇最佳軌跡，順序預測世界狀態和動作，然后根據Critic 模型輸出搜索最佳計劃。

具體示例是：我戴著眼鏡想做洋蔥番茄炒蛋，它會解釋目標含義，然后逐步指導從加熱鍋到打蛋、調味，比普通菜譜更詳細，甚至描述每個動作的含義。它還可以將世界狀態分解為不同層次的對象、屬性和狀態。

如視頻所示，智能體做過程規劃，告訴我下一步，同時還要實時跟蹤我當前實際在做什么。這種實時理解很重要。VLM可以做到每8秒拍一張照片并描述狀態，但那太慢，不適合可穿戴設備。所以這部分需要 JEPA 模型來建模。

我們提出的 VL-JEPA（Vision-Language JEPA, VL-JEPA）模型，基于強大的V-JEPA 2編碼器，實現了開放詞匯（open-vocabulary）的動作和狀態跟蹤，并贏得了 CVPR 2026 EgoVis 行動識別挑戰賽的冠軍。

VL-JEPA是一種用于視覺語言的聯合嵌入預測架構，包含視覺編碼器和文本編碼器。文本編碼器接收提示（如“跟蹤動作”）和目標文本，將所有內容編碼到嵌入空間。

推理時，它將視覺輸入和文本查詢編碼到公共嵌入空間，而不是逐token生成，具體方法是，用滑動窗口在嵌入空間中跟蹤動作和狀態，只在有事件發生時解碼。這使得 VL-JEPA 能夠實時、高效地進行動作跟蹤和視頻理解。

與經典VLM不同，VL-JEPA不是生成式的，不強制重建每個表面細節，而是預測目標語義嵌入，無自回歸延遲，因此能實時跟蹤人類動作。

VL-JEPA 在嵌入空間中跟蹤動作，且由于開放詞匯，可以做到零樣本跟蹤動作，而這也是可穿戴和機器人智能體的前提。它還可以跟蹤狀態，顯示機器人動作是否成功完成，如方塊是否放入盒子，或動作失敗（如未能疊好毛巾）。一旦有了實時理解，就能讓規劃器告訴我們下一步該做什么。

我們還將 VL-JEPA與 VLM 進行比較，使用相同訓練數據、編碼器和計算，VL-JEPA 以少50%的參數達到更高性能，且對流視頻的推理更快，在基準上取得最佳結果。此外，VL-JEPA 可零樣本進行視頻字幕描述和視頻分類，性能高于VLM，且訓練參數更少。

最重要的是，VL-JEPA不是每時每刻都解碼，而是在有意義的事件發生時“有選擇性地解碼”，這樣一來，在相同輸出質量下，解碼操作減少了約2.85倍，是真正的節能型模型。

綜上所述，我向你們展示過程規劃（procedural planning）的現場演示，并帶有實時動作跟蹤。比如有個人正在嘗試做一個黃油派皮，而且是用法語說明的。旁邊有一份食譜，一步一步地告訴我該做什么。系統正在觀察我的實際動作，只有當它看到我做了正確的動作時，它才會進行解碼，并告訴我可以從某個時間點開始。實際上，我中途喝了一口咖啡，而那個JEPA 模型學會了把這個動作視為無關緊要并直接忽略，它認為這沒有意義。

這是因為真實世界中的人類動作（其實也包括機器人動作），情況非常復雜。也許有一天，機器人也能幫人類制作黃油派。但對它來說，這個過程噪聲很大，因為每次操作的條件都不一樣，比如溫度不同、濕度不同、制作的手法也不同。此外，人類還可以做同一種派做十次，但十次的做法都會有些差異，并且面粉，不同品牌的面粉吸水性、筋度也不一樣。所以，操作本身就是有噪聲、復雜、動作連續的環境。

針對VL-JEPA這項工作，我們也發布了名為 Action-100M 的訓練數據集，包含總時長達14.6年的YouTube視頻，共120萬個視頻，1.47億個層次結構動作，已在Hugging Face上開源，歡迎大家使用。

我前面提到“主動協助”和“心理世界模型”。我的可穿戴助手如何主動猜測我下一步需要做什么？它需要規劃、觀察和恢復。所以今天，我們還要發布一個主動過程協助的基準和架構，能夠做到自動檢測計劃偏差。