<mark id="oztn4"></mark>
0
| 本文作者： 齊鋮湧 | 2026-07-09 10:51 | 專題：ICML：國際機器學習會議 |
作者丨齊鋮湧
編輯丨岑 峰
7月8日下午一點， ICML 2026 時間檢驗獎頒獎儀式在首爾舉行。
由 Google DeepMind 團隊于 2016 年發表在 ICML 的《Asynchronous Methods for Deep Reinforcement Learning》獲獎，這篇巨作的一作 Volodymyr Mnih （業內常稱 Vlad）親臨現場領獎，并發表深刻言論。
AI科技評論，在 ICML 2026 首爾會場親歷了這場演講（文末附上演講內容），Vlad 的獲獎發言，沒有停留在回顧10年前的工作，反而用大量篇幅復盤了研究背后的思考與局限，給當前學者研究哲學與行業判斷的啟發。
01
Vlad 在現場提到的第一點，是“約束，永遠是創新的第一驅動力”。
他在發言中直言不諱：“如果當時我們有充足的 GPU，大概率根本不會做這項工作。”
這項改寫領域的研究，并非源于宏大規劃，而是來自現實的算力約束：DeepMind 接入谷歌初期，數據中心尚無 GPU，只有大量多核 CPU。正是 “無 GPU 可用” 的限制，倒逼團隊跳出 DQN 路線，探索出異步并行方案，意外推開了深度 RL 規模化的大門。
Vlad 在 ICML 2026 現場的這段回顧，似乎在影射當下具身和大模型的行業現狀。
Vlad 提到的第二點感悟，是“最持久的影響，往往來自 “最小創新””。
他在發言中引用 Ilya Sutskever 的評價總結這篇工作：“最小的創新，最大的影響。”
看似自謙，但客觀來看，A3C 論文中確實并沒有石破天驚的全新理論：異步并行、演員 - 評論家、多步回報、熵正則，每一個組件都是此前就已存在的思路。
論文真正做的，是把這些已知想法組合起來，用極其扎實的對比實驗驗證了效果，打磨每一個實現細節。
這也能給當前 AI 研究一些啟發，當下“創新焦慮” 彌漫在整個學術領域。本屆ICML創下了歷史性的投稿紀錄，共收到 23918 篇有效投稿，較2025年的 12107 篇翻了一倍。很多論文追求復雜的架構設計、花哨的數學包裝。
但時間是最公正的篩選器 。
十年過去，真正被全行業廣泛使用、沉淀為基礎設施的，往往是那些簡單、穩定、易復現的基礎方法。
A3C 之所以能成為長盛不衰的基準，核心就在于 “簡單” 二字。
它好理解、好調試、超參數少、復現成本低，這種特性讓它既能成為研究的起點，也能成為工程落地的首選。
最終勝出的，永遠是能更好利用算力的方法。
第三點，是規模化相關內容。Vlad 在發言中提到一個細節：當年的實驗結果已經清晰展現出 “算力增加、收益穩定提升” 的規律，但身處其中的他們，當時并未完全意識到這件事的分量。直到后來 Rich Sutton 提出著名的 “苦澀的教訓”，你看，最終贏得勝利的，永遠是那些能充分利用數據和算力的方法 ，人們才回頭發現，A3C 正是這個規律在強化學習領域的早期注腳。
但他同時坦誠了 A3C 的局限：它能很好地隨算力擴展，卻無法很好地隨模型尺寸擴展。這個問題最終由后續的 IMPALA 論文解決。
但這個判斷對當下的行業極具參考意義。今天所有人都在談論 scaling law，但并不是所有方法都能真正高效使用算力。很多精巧的算法設計，規模一大就失效；很多復雜的架構創新，數據量上來后反而被簡單方法反超。
今天的具身智能正站在和十年前深度 RL 相似的路口：什么樣的算法范式，能真正隨著機器人數量、數據規模、模型參數量同步提升？我們一起來看完整版的獲獎發言：
02
謝謝主持人，也謝謝 ICML 委員會把這份沉甸甸的榮譽頒給我們。站在這里說實話心里特別感慨 —— 能和往屆所有拿到時間檢驗獎的優秀工作并列，對我和所有合著者來說，都是莫大的榮幸。
今天到場的只有我一個人，很遺憾我的同事們沒法都來到現場。不過 Adria 稍后會在線上和我一起完成這次分享。我們想和大家聊聊這篇論文背后的故事，簡單回顧一下這項工作本身，也聊聊十年過去，我們回頭看的時候，對它的影響、它的局限，都有哪些新的思考。
既然是十年前的工作，咱們不妨先把時鐘撥回 2015 年 —— 那時候論文還沒發表，絕大部分工作都是在那一年做完的。
現在的朋友可能很難想象 2015 年的強化學習圈是什么樣子。那時候深度 RL 的熱潮才剛剛冒頭，DQN、TRPO 這些早期工作出來之后，大家終于開始對 “神經網絡 + 強化學習” 這件事有了期待，但整個領域還遠沒到爆發的地步。更有意思的是，那時候機器學習圈的領域隔閡特別深：做強化學習的和做深度學習的，幾乎是兩個各玩各的圈子。
RL 這邊的人，一直對非線性函數近似心里打鼓，總覺得把神經網絡塞進來，理論和實操上都藏著不少坑；而深度學習那邊的很多人，覺得 RL 就是個小眾玄學 —— 可能課上學過一嘴，但根本算不上什么通用工具，甚至不少人篤定這東西就不怎么能用。說句玩笑話，就在做這項工作的幾年前，我找博士導師的時候，還有好幾位老師勸我：別碰強化學習，沒前途。
一直到阿爾伯塔大學放出了街機學習環境 ALE，把經典雅達利游戲做成了 RL 的標準測試環境，整個領域才算有了個像樣的基準。比起之前那些精心設計的玩具問題，這當然是一大步，但問題也跟著來了：算力需求一下就上去了。
所以 2016 年這篇論文剛出來的時候，很多人都挺意外的 —— 因為這篇文章一半的作者，當年也都在 DQN 的作者列表里。DQN 走的是 Q 學習的路線，而我們這篇工作，幾乎是徹底換了條賽道，用的大多都是現成的方法。
很多人問過我們，好好的 DQN 路線不走，為什么要另起爐灶？其實說穿了就兩個原因：一個是被逼的，一個是好奇。
先說被逼的那個。DQN 出來之后，我們本來也想在它基礎上接著做，想去探索更復雜的環境，還有情景記憶、內在動機這些新方向。但現實很骨感：那時候 DQN 單跑一款游戲，單張 GPU 就得訓整整一周。
更巧的是，那時候 DeepMind 剛切換到谷歌的算力體系。大家可能想不到，當年谷歌內部的數據中心，根本還沒部署 GPU。我們手里有的，是一整個數據中心的多核 CPU 服務器。靠現有的硬件，我們根本沒法按 DQN 的節奏做研究。
但反過來想，CPU 多也是優勢啊。我們很快發現，只要能接受單機運行、接受任務時不時被系統搶占重啟，其實能同時跑非常多訓練任務。現在回頭看，恰恰是這個 “沒有 GPU 可用” 的限制，把我們逼上了一條新路。
第二個原因，就是純粹的好奇心。當年做 DQN 的時候，DeepMind 整個研究團隊加起來也就二十多張 GPU，我們根本沒機會把 RL 算法的各種可能性都試一遍。從 Q 學習起步，跑通了就已經很開心了，同策略、異策略，基于價值、基于策略，這些路線到底孰優孰劣，我們其實沒來得及系統地摸一遍。現在有了更多算力，正好能把當年沒做完的功課補上。
抱著這樣的想法，我們做了這套異步并行的強化學習訓練框架。
思路其實很樸素：我們開 K 個獨立的 “演員 - 學習者”，每個跑在一個 CPU 線程里，各自有一份本地的模型權重，各自和一份獨立的環境交互 —— 比如各自跑一局雅達利游戲。它們自己生成經驗，自己算梯度，然后定期把更新同步到一個全局共享的權重上。
最關鍵的設計是：所有這些更新，我們都不加讀寫鎖。這就是大家常說的 Hogwild 無鎖學習的思路 —— 巧的是，這項工作后來也拿了 NeurIPS 的時間檢驗獎。這么做的好處很直接：最大化訓練的吞吐量，同時又不會真的影響算法收斂。
整個框架簡單到什么程度？我們那時候用 Lua 寫一個最基礎的并行 Q 學習智能體，也就一百行左右的代碼，上手特別快。
在這個框架里，我們系統測了四種經典的 RL 算法：單步 Q 學習、SARSA、多步 Q 學習，還有優勢演員 - 評論家算法，前三個基本都是拿來即用的現成方法。我們把它們和 DQN 放在多款雅達利游戲里對標，結果說實話，我們自己都有點意外：所有異步方法的效果，都好得出奇。
這些結果里有兩點特別重要。第一，所有異步方法的學習速度，要么和 GPU 上的 DQN 持平，要么直接大幅超過。第二，也是更關鍵的一點：它把研究的迭代周期，從 “單 GPU 訓一周”，直接壓縮到了 “多核 CPU 一天出結果”。
這件事的影響不止于我們自己。那之后 DeepMind 內部很多項目都用上了這套框架，大家能更快迭代、同時跑更多實驗，探索了很多新方向。而對整個領域來說，它相當于把深度 RL 的門檻直接拉了下來 —— 哪怕是沒有 GPU 資源的實驗室，也能做出有意義的強化學習研究了。
當然，細看結果也能發現，四種方法里有一個始終表現最好，一騎絕塵。關于這個方法，我想請我的同事 Adria 來和大家好好講講。
03
謝謝 Vlad。
相信大家從剛才的實驗結果里也看出來了，四種算法里始終有一個表現穩壓其他幾個一頭 —— 也正是因為它，很多人提起這篇工作，第一反應都是 “A3C 論文”。它就是我們今天要重點聊的：優勢演員 - 評論家算法，也就是 A2C。
先給大家捋捋它的基本邏輯。我們還是從最經典的演員 - 評論家框架說起：同一個模型、同一套權重，輸入當前的環境狀態，會同時輸出兩個東西：一個是策略，告訴智能體該選什么動作；另一個是價值函數，用來預估從這個狀態開始，未來能拿到多少獎勵的總和。演員照著策略去和環境交互，一步步收集狀態轉移的數據；拿到這些數據之后，A2C 核心做三件事。
第一件就是優勢估計。什么是優勢？簡單說就是衡量一個動作，比 “這個狀態下的平均水平” 好多少、差多少。 最樸素的做法是單步估計：做完當前這步動作，拿到即時獎勵，再加上下一步的折扣價值，合起來估算未來總獎勵，再和當前狀態的價值做差，就是優勢。這個思路還可以延伸到多步：把接下來 k 步的真實獎勵都加起來，k 步之后的部分再用價值函數估算，最后再和當前價值對比。它和廣義優勢估計的思路很像，區別是我們在第 k 步做了顯式的自舉。
這里其實就是一個經典的取舍問題：k 步設得越大，用到的真實獎勵越多，噪聲也就越大，方差高；k 步設得越小，越依賴價值函數的估計值，偏差就越高。我們最后選了混合步長的做法，原因其實很實在：一來實現起來特別方便，每走固定步數就做一次更新，代碼寫起來很順暢；二來混合步長也能讓模型對不同的偏差 - 方差場景更魯棒，不會在某一類環境里容易崩。(雷峰網)
第二件事是評論家更新。
說白了就是讓價值函數估得越來越準：我們最小化優勢值，也就是時序差分誤差，來迭代評論家的權重。評論家的目標很純粹：不管什么狀態，都能盡量準確地預測出未來的期望回報。
第三件事是演員更新。演員照著評論家給的反饋，用策略梯度損失和算出來的優勢值，去優化自己的策略權重。這里我必須著重提一個細節：我們在損失里加了熵正則項。 這個項的作用，就是鼓勵策略保持一定的隨機性，別太早收斂成一個死板的確定性策略。很多時候智能體訓著訓著就 “躺平” 了，早早卡在一個不怎么樣的策略里不再探索，就是缺了這一環。別小看這么一個小小的改動，之前不少工作也提過類似的思路，但我們在大規模實驗里實打實驗證過：有沒有熵正則，最終效果差距非常明顯，這是一個絕對不能省的實現細節。
說到這兒，也想和大家總結下 A2C 最核心的幾個特質。 第一就是效果穩。我們測試了大量環境，它幾乎都能交出不錯的成績。也正因為這樣，我們后來很順利地把它從雅達利這種簡單的 2D 畫面，遷移到了迷宮、賽車這類更復雜的 3D 視覺環境里，效果依然能打。 第二，也是我個人覺得最核心的優點：簡單。整個算法拆到底，就是演員和評論家兩個清晰的公式，邏輯直白，好理解，也好調試。
也常有人問我，為什么這篇看起來不那么 “玄乎” 的工作，能有這么長久的影響力？我們自己總結，核心就是兩點：一是足夠簡單，二是它第一次實實在在證明了，同策略、不帶經驗回放的算法，完全可以規模化跑起來。
簡單帶來的好處是直接的：它復現成本極低。對比一下就知道，DQN 有一整頁的超參數要慢慢調，而 A3C 的超參數少得多，不管是工程實現還是科研入門，門檻都很低。也正因為這樣，它很快就成了演員 - 評論家方法的事實基準，不光催生了大量開源實現，在當時 DeepMind 內部也成了標配工具。
更重要的是，它成了后續大量研究的起點。往規模化的方向走，A3C 證明了強化學習天然就能吃算力、吃數據，它的訓練邏輯和常規深度學習范式更貼合，也為后來的 IMPALA、APEX、AlphaStar 這些大規模系統鋪好了路。往算法優化的方向走，V-trace、Retrace 這類策略修正方法，還有后來大家都很熟悉的 PPO，或多或少都受了它的啟發。除此之外，大家后來探索的輔助任務、記憶模塊這些方向，也大多是在這套穩定的基線上做延伸。
可以說，A3C 提供了一個足夠穩定、足夠能打的基線，成了之后幾乎所有深度 RL 研究繞不開的對標起點。
大概就是這些。接下來還是交還給 Vlad，和大家聊聊十年回頭看，我們對這項工作的反思和感悟。
04
謝謝 Adria。
聊了這么多這項工作的亮點和影響，我覺得咱們也得聊聊另一面 —— 十年過去，這篇論文里哪些東西，其實沒能經住時間的考驗。
大家都知道 A3C 隨算力增長的擴展性很好，但我們后來慢慢發現，它隨模型尺寸變大的擴展性，其實并不理想。我記得當年 Andrej Karpathy 還發過一條推特說過這個現象 —— 其實這不只是 A3C 或者異步方法的問題，那些年卷積神經網絡的所有進展，殘差網絡也好，批歸一化也好，放到強化學習里好像都不太靈。當時這事兒挺讓整個領域困惑的。
而我們的異步框架設計，其實還放大了這個問題。
模型越大，生成經驗、計算梯度的時間就越長。等梯度算完、再更新到全局權重上的時候，這份梯度早就 “過期” 了。過期的梯度很雞肋：扔了吧，前面生成的經驗都白費了；用了吧，對模型的幫助也很有限。
這個問題，后來是被 IMPALA 論文很優雅地解決了。它的結論很清晰：異步并行收集經驗這個思路完全沒問題，但別傳梯度，傳經驗數據本身就好。當然，經驗傳到中心學習者的時候，對應的還是舊策略，依然有 “過期” 的問題，但 IMPALA 證明，用重要性采樣做異策略修正，就能很好地解決這件事。
可以說，IMPALA 真正解鎖了深度 RL 的大模型時代。從那之后，強化學習才終于能同時在算力和模型規模兩個維度上一起擴展。
最后，想和大家分享幾個我這十年回頭看，最深的感觸。
第一個就是：約束，往往才是創新的真正驅動力。說句實在話，如果當年我們手里有充足的 GPU，我們大概率根本不會去做這項工作。正是資源的限制，逼著我們跳出了熟悉的路徑，反而走出了一條更寬的路。
第二個感觸，就是 “簡單” 的價值。就像 Adria 剛才說的，很多時候，那些經過扎實驗證的微小改進，反而能產生最長遠的影響。
說實話，這篇論文里真的沒有什么石破天驚的全新理論。它本質上就是把很多已有的想法組合在了一起，然后做了非常扎實、非常系統的實驗驗證。但就是這樣一項工作，產生了這么持久的影響力。我記得 Ilya Sutskever 說過一句話，我覺得特別適合用來形容它：用最小的創新，實現最大的影響。
但恰恰是這種簡單，讓更多人相信了強化學習是可行的，相信神經網絡加 RL，并不是什么可怕的玄學。
最后一點感觸，是關于規模化的。現在回頭看當年的實驗曲線，其實結果已經寫得明明白白：算力加得越多，效果提升就越穩定、越可預測。但說實話，我們身在其中的時候，反而沒有完全意識到這件事的分量。
直到后來 Rich Sutton 提出了那個著名的 “苦澀的教訓”—— 最終能贏得勝利的，永遠是那些能充分利用數據和算力的學習方法。我們回頭再看，才發現 A3C 其實就是這個規律，在強化學習領域最早的注腳之一。
十年時間過得很快，很多東西都變了，但強化學習最本質的邏輯一直沒變。今天能拿到這個獎，對我們來說是肯定，更是提醒 —— 提醒我們做研究最樸素的那些道理。
我的分享就到這里，謝謝大家。
05
十年過去，深度強化學習早已走出雅達利游戲的玩具環境，深度融入大語言模型對齊、具身智能、自動駕駛、工業控制等真實產業場景。但 2016 年的這篇論文，非但沒有隨著技術迭代而過時，反而愈發顯現出其基石般的價值。
它首先是大規模強化學習的范式源頭。今天大模型 RLHF 的分布式訓練、具身智能中的多機器人并行數據采集、自動駕駛的仿真并行訓練.
如今成為 RLHF 標配的 PPO 算法，其演員 - 評論家框架、優勢估計、熵正則等核心組件，都早在 A3C 中被系統驗證與普及。可以說，當代幾乎所有大規模強化學習的落地應用，都站在這篇論文的肩膀上。
更深層的價值，在于它提供了對抗學術浮躁的參照系。
它告訴所有后來的研究者：好的研究不一定需要顛覆性的理論，把已知的道理做對、做實、做透，同樣可以產生深遠的行業影響。
今天的具身智能，面臨著和十年前深度 RL 高度相似的處境：環境復雜度高、研發成本昂貴、技術路線分散，所有人都在摸索下一個突破口。A3C 更像是一份穿越十年的行動指南：
不要被現有資源束縛，約束中往往藏著最優解；
先把簡單的基線做扎實，再談復雜創新；
優先選擇那些天然能隨數據和算力擴展的方法。
從雅達利像素到真實物理世界，應用場景變了，但強化學習的底層邏輯從未改變，那些簡單、穩定、解決真問題、可規模化的方法，最終會走得最遠。
十年一輪回，ICML 把時間檢驗獎頒給 A3C，既是對一項經典技術工作的致敬，也是對一種長期主義研究哲學的肯定。在所有人都急于追逐下一個顛覆性創新的今天，回頭重讀這篇十年前的論文或許會發現：
真正能穿越技術周期的，從來不是一時的熱度與花哨的概念，而是那些尊重基本規律、解決真實問題的簡單力量。(雷峰網(公眾號：雷峰網))
一個人讀論文太孤單，一群人刷頂會才好玩。
ICML 2026 召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。
? 進群傳送門： 掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。
搞科研/搞技術，信息差很重要。
來，一起快人一步！
上車，帶你看遍全球 AI 頂會精華
可獨家暢覽：
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
掃描上方二維碼
或點擊「閱讀原文」關注專區。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
