只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

本文作者：我在思考中

2021-11-09 09:51

導(dǎo)語：RL智能體不再被有限數(shù)據(jù)扼住“喉嚨”

只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

作者 | 莓酊

編輯 | 青暮

EfficientZero的性能接近 DQN（Deep Q-Learning）在 2 億幀時的性能，但消耗的數(shù)據(jù)卻減少 500 倍。

近日，一項研究在學(xué)術(shù)界引起了廣泛的關(guān)注和熱議。有消息稱，Deep Mind和Google已經(jīng)在內(nèi)部關(guān)門開會討論了。粉絲眾多的科技向youtube博主Yannic kicher甚至專門做了半個小時的視頻來講解這篇論文。學(xué)者們更是用“completely game- changing”、“major development in RL”、“this is impressive”來形它。其團隊老師本人也在推特上表示：在使用相同數(shù)據(jù)的情況下，這是RL智能體第一次直接從像素中獲得了超越人類的性能！這會讓通用強化學(xué)習(xí)更接近真實世界的場景，比如機器人的采樣效率會是關(guān)注重點。

只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

現(xiàn)在，就讓我們隆重的介紹下本文的主角—— EfficientZero。

EfficientZero算法是在清華大學(xué)交叉信息研究院高陽團隊的新研究《使用有限數(shù)據(jù)掌控Atari游戲》（ Mastering Atari Games with Limited Data）中提出的。EfficientZero的性能接近DQN（Deep Q-Learning）在 2 億幀時的性能，但消耗的數(shù)據(jù)卻減少了500 倍！它能夠在貼近現(xiàn)實復(fù)雜情況的Atari（雅達(dá)利）游戲中，從零訓(xùn)練并只需兩個小時，就可達(dá)到同等條件下人類平均水平的190.4%，或116.0%的中值性能。

只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

論文鏈接：https://arxiv.org/abs/2111.00210#

樣本效率一直是強化學(xué)習(xí)中最“令人頭疼”的挑戰(zhàn)，重要的方法需要數(shù)百萬(甚至數(shù)十億)環(huán)境步驟來訓(xùn)練。一種從MuZero模型改進而來的高效視覺RL算法—— EfficientZero，該模型從零開始訓(xùn)練，最終在Atari中僅用兩個小時的訓(xùn)練數(shù)據(jù)上就超過了經(jīng)過相同條件下的的人類平均水平。

MuZero是通過將基于樹的搜索與經(jīng)過學(xué)習(xí)的模型相結(jié)合，可以在一系列具有挑戰(zhàn)性和視覺復(fù)雜的領(lǐng)域中，無需了解基本的動態(tài)變化即可實現(xiàn)出色性能。AI科技評論在以往的文章中對MuZero有過報道：DeepMind又出大招！新算法MuZero登頂Nature，AI離人類規(guī)劃又近了一步。那為什么會選擇Atari游戲呢？Atari 游戲場景繁多，規(guī)則各異，一定程度上貼合現(xiàn)實復(fù)雜環(huán)境，因此長期被當(dāng)作驗證強化學(xué)習(xí)算法在多因素環(huán)境下的性能測試標(biāo)準(zhǔn)。EfficientZero的低樣本復(fù)雜度和高性能可以使強化學(xué)習(xí)更接近現(xiàn)實世界的適用性。

只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

如圖所示，EfficientZero在人類平均標(biāo)準(zhǔn)得分中位數(shù)上分別比之前的SoTA性能出色170%和180%。是第一個在Atari 100k基準(zhǔn)上優(yōu)于人類平均性能的算法。

強化學(xué)習(xí)在挑戰(zhàn)性的問題上取得了巨大的成功。如2015年DeepMind研發(fā)的DQN網(wǎng)絡(luò) 、擊敗了中國圍棋世界冠軍柯潔的AlphaGo、和會在Dota2中打團戰(zhàn)的OpenAI Five等等。但這些都是站在巨大數(shù)據(jù)量的“肩膀上”訓(xùn)練出來的策略。像AlphaZero從國際象棋小白到頂尖高手需要完成2100萬場比賽，一個職業(yè)棋手每天大約只能完成5場比賽，這意味著人類棋手要11500年才能擁有相同的經(jīng)驗值。

在模擬和游戲中應(yīng)用RL算法，樣本復(fù)雜性不成阻礙。當(dāng)涉及到現(xiàn)實生活中的問題時，例如機器人操作、醫(yī)療保健和廣告推薦系統(tǒng)，在保持低樣本復(fù)雜性的同時實現(xiàn)高性能是能否可行的至關(guān)鑰匙。

過去幾年，我們在樣本高效強化學(xué)習(xí)上已有許多成績。來自真實環(huán)境的數(shù)據(jù)和來自模型的“想象數(shù)據(jù)”都可以訓(xùn)練策略。但大多數(shù)成功都是在基于狀態(tài)的環(huán)境中。比如在基于圖像的環(huán)境中，魚和熊掌不可兼的情況比比皆是，MuZero和 Dreamer V2展示了超越人類的表現(xiàn)，但樣本效率不高；SimPLe等其他方法非常有效，但性能較差。最近，在數(shù)據(jù)高效機制中，中數(shù)據(jù)增強和自監(jiān)督方法應(yīng)用無模型方法取得一定成功。然而，卻依然達(dá)不到人類預(yù)期的水準(zhǔn)。

為了提高樣本效率并保持優(yōu)越的性能，自監(jiān)督環(huán)境模型、減輕模型復(fù)合誤差的機制和糾正非策略問題的方法這三點對基于模型的視覺RL智能體至關(guān)重要。EfficientZero在MuZero的基礎(chǔ)上，對這三點進行了改進：“利用時序預(yù)測一致性 (temporal contrastive consistency)，減少預(yù)測回報的不確定性 (aleatory uncertainty) 以及糾正離線策略價值的偏移 (off-policy correction)?！?/span>

在對DeepMind Control (DMControl)套件的模擬機器人環(huán)境進行的實驗中，EfficientZero實現(xiàn)了最先進的性能，優(yōu)于直接從真實狀態(tài)中學(xué)習(xí)的模型state SAC，這進一步驗證了EfficientZero的有效性。被有限數(shù)據(jù)“扼住”深度強化學(xué)習(xí)算法“喉嚨”的時代也許不會再有了。