<mark id="oztn4"></mark>
0
作者丨鄭佳美
編輯丨馬曉寧
今天，Google 研究員 Ali Behrouz 在 X 上分享了團隊的一項研究《Language Models Need Sleep》。
他提出，當大模型開始走向持續學習，過去那種“先訓練、再使用”的模式可能已經不夠了。未來的模型或許需要在“清醒”和“睡眠”之間不斷切換：清醒時接收信息、處理任務，睡眠時整理記憶，再通過“做夢”繼續訓練自己。
大模型也得“睡覺”？
這句話聽起來有些奇怪。AI 向來被認為不需要休息，可以一天 24 小時回答問題、分析文件、執行任務。
但研究團隊所說的“睡眠”，并不是讓服務器關機，更不是讓模型模仿人類作息。它真正指向的是一個長期沒有解決的問題：大模型一直在工作，卻很難從這些工作中真正積累經驗。
今天糾正過的錯誤，換一個對話后可能還會再犯；剛剛掌握的規則，一旦離開當前上下文，也可能隨之消失。模型看起來隨時都在學習，實際上，大量新信息只是暫時停留在對話里，并沒有真正進入模型。
Ali Behrouz 團隊希望給模型增加一個專門的“整理階段”。模型先在清醒時接觸世界，再在睡眠時回顧近期經驗，把有價值的信息留下來。
這個思路聽起來像是在模仿人類記憶，背后討論的卻是大模型持續學習中最棘手的問題：怎樣讓模型學會新東西，又不把原來會的東西忘掉。
01
現在的大模型并不是完全沒有記憶。它可以讀取當前對話，也可以連接數據庫、搜索系統和用戶檔案。用戶在對話中告訴它一套新規則，它通常能立刻照著執行；系統提前保存了用戶偏好，它也能在下次對話時重新調取。
但“能看到過去的信息”和“真正學會這些信息”并不是一回事。
上下文更像模型面前的一張臨時便簽。只要便簽還在，模型就可以參考；一旦內容被移出上下文，之前表現出來的適應能力往往也會消失。外部記憶也是類似的邏輯，只不過便簽被放進了數據庫，需要時再拿出來。
真正穩定的知識通常儲存在模型參數中。模型在預訓練和微調階段獲得的語言、事實和推理能力，都以參數的形式保留下來。問題在于，參數不像上下文那樣可以隨時更新。每次修改都需要新的數據和訓練，還可能影響原來已經形成的能力。
這就是持續學習中的“災難性遺忘”。模型學習一批新知識時，會修改原有參數，而這些參數往往還承擔著其他任務。新能力提高了，舊能力卻可能隨之下降。模型不是簡單地在空白處增加內容，而是在一套已經高度耦合的知識結構上繼續改動。
因此，大模型真正缺少的不是更長的上下文，也不是更大的數據庫，而是一條從短期經驗通向長期知識的路徑。它需要先接收信息，再判斷哪些內容值得保留，最后把新知識安全地融入已有能力。
“睡眠”正是被放在這個位置。模型在清醒時快速適應，不急著立刻修改自己；等到任務告一段落，再集中處理近期經驗。這樣既保留了上下文學習的速度，也給長期更新留下了更穩定的空間。
02
進入睡眠階段后，模型首先要做的不是生成更多內容，而是整理已有信息。
研究團隊提出了一種名為 “Knowledge Seeding” 的方法，可以理解為“知識播種”。已經掌握近期信息的模型狀態充當教師，把這些知識遷移到一個容量更大的模型狀態中。新增參數負責容納新知識，原有參數則盡量保持穩定。
普通微調通常在同一套參數上不斷更新。新任務越多，模型越容易在原有知識上反復覆蓋。“知識播種”換了一種思路：與其不斷修改已經寫滿的頁面，不如為模型增加新的頁面，讓新知識擁有相對獨立的空間。
這個設計解決的是持續學習中的“穩定”和“可塑”問題。模型需要保持足夠的可塑性，才能接收新知識；同時也需要足夠穩定，避免每次更新都破壞原有能力。兩者很難同時實現。模型太穩定，就學不動；模型太容易改變，又會不斷遺忘。
“睡眠”把這兩種需求分開處理。清醒階段允許模型快速變化，用來應對眼前任務；睡眠階段則放慢更新速度，把短期知識遷移到更穩定的位置。完成遷移后，負責快速學習的部分可以重新釋放，為下一批信息騰出空間。雷峰網(公眾號：雷峰網)
這也說明，持續學習并不等于把所有信息都永久保存。真正成熟的系統必須建立不同層次的記憶：有些內容只在當前任務中有用，有些經驗值得保留一段時間，還有少數知識需要進入長期參數。
模型需要處理的，不只是“記不記得”，還有“應該記多久”“存在哪里”以及“是否會與原有知識沖突”。從這個角度看，“睡眠”更像一次內部整理，而不是一次普通更新。
但知識被保存下來，并不代表模型已經真正會用了。它還需要在不同場景中反復調用這些知識，檢查自己到底掌握了多少。這就引出了研究中的另一個環節——“做夢”。
03
研究團隊把模型生成合成訓練數據的過程稱為 “Dreaming”。
這里的“做夢”并不神秘。模型會圍繞近期學到的知識生成新問題，再用這些問題訓練自己。假設模型剛剛掌握一種新的推理方法，它可以生成一組難度不同的任務，檢查自己能否在新場景中繼續使用這套方法。
如果模型在某類任務上表現不穩定，它還可以生成更多相關樣本，專門練習薄弱部分。一次真實任務由此不再只產生一個答案，還可能變成下一輪訓練的起點。
對于 AI Agent 來說，這一點尤其重要。一個編程 Agent 如果連續幾次在同類依賴沖突上失敗，傳統系統最多把失敗記錄保存下來。下一次遇到類似問題時，模型仍然需要重新閱讀日志、重新分析。具備“做夢”能力后，Agent 可以圍繞這些失敗生成更多變體，練習如何識別問題、選擇方案和避開錯誤。
這讓“使用”和“訓練”之間的界限開始變得模糊。模型不再只依賴開發者提前準備好的數據，它在真實任務中獲得的經驗，也可以經過整理后重新進入訓練流程。雷峰網
不過，讓模型自己給自己出題，也可能把錯誤越練越熟。模型如果最開始就理解錯了，后續生成的數據很可能繼續建立在錯誤基礎上。反復訓練不會自動糾正偏差，反而可能讓錯誤更加穩定。
因此，“做夢”不能只是大量生成數據。系統還需要判斷哪些樣本真正有價值，哪些只是重復，哪些可能包含錯誤。外部驗證、獎勵評估、能力測試和版本回滾都不可缺少。
一個真正會學習的模型，不只是能生成更多訓練材料，還應該知道自己哪里不足、練習有沒有效果，以及更新后是否損害了其他能力。能夠管理自己的學習過程，才是“做夢”機制真正想達到的目標。
04
當前的大模型更像一件集中生產的產品。開發者完成預訓練、微調和安全對齊，再向用戶提供一個相對固定的版本。模型上線后負責回答問題，能力更新則要等到下一次重新訓練。
“清醒—睡眠”循環會改變這種產品邏輯。模型在工作中接觸新任務，在睡眠階段更新自己，再以新的狀態繼續工作。發布時的能力不再決定模型的全部表現，部署后的經歷也會逐漸影響它的發展。
這可能改變行業評價大模型的方式。過去，人們主要關注參數規模、上下文長度、推理速度和基準測試成績。這些指標衡量的是模型在發布那一刻有多強。持續學習模型還需要接受另一組考驗：運行半年后學到了什么，吸收新知識時有沒有遺忘舊能力，錯誤更新能不能被撤銷。
長期來看，模型的成長質量可能和初始能力同樣重要。一個發布時表現很強、上線后卻始終停留在原地的模型，未必比一個能夠穩定吸收經驗的模型更有價值。
但模型不斷變化后，管理難度也會迅速增加。不同用戶會提供不同任務、數據和反饋，模型可能逐漸形成不同的發展路徑。個人助手會越來越貼合個人習慣，企業 Agent 會積累內部業務經驗，但開發者也很難再用一個統一版本解釋所有模型的行為。
隱私問題也會更加復雜。保存在數據庫中的信息可以查看和刪除，進入參數中的信息卻很難準確定位。用戶要求模型忘記某項內容時，系統不僅要刪除記錄，還要判斷這項信息是否已經影響了模型能力。
持續學習因此不能只有“學習”，還必須配套知識追蹤、權限管理、主動遺忘和版本回滾。模型需要知道自己學過什么，開發者也要能夠檢查、限制和撤銷這些變化。
“大模型也得睡覺”并不是一個單純的擬人化說法。它提出了一種新的模型生命周期：清醒時處理任務，睡眠時整理經驗，再帶著新的能力進入下一輪工作。
過去，行業一直在研究如何訓練出一個更強的模型。接下來，更難的問題可能是如何管理一個會不斷改變自己的模型。它既要持續學習，又不能失去控制；既要積累經驗，也要知道哪些內容不該留下。
參考鏈接：
https://x.com/behrouz_ali/status/2076710744456892519
上車，帶你看遍全球 AI 頂會精華
可獨家暢覽：
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
掃描上方二維碼
或點擊「閱讀原文」關注專區。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
