谷歌新智能體Dreamer將亮相NeurIPS 2019，數據效率比前身PlaNet快8個小時

在具有挑戰性的環境中，一些人工智能系統通過利用過去經驗所提供的世界表象來實現目標。研究人員將這些應用推廣到新的情況，使它們能夠在以前從未遇到過的環境中完成任務。

事實證明，強化學習——一種使用獎勵來推動軟件策略朝著目標前進的訓練技術——特別適合學習一個總結agent經驗的世界模型，并通過擴展來促進新行為的學習。

雷鋒網消息，近日，來自Google、Alphabet子公司DeepMind和多倫多大學的研究人員發表了一篇名為《夢想控制：通過潛意識的學習行為》的新研究，他們開發了一個增強型學習智能體Dreamer，通過內化一個世界模型，并通過通過潛在的“想象力”來提前計劃選擇行動。

他們說，Dreamer不僅適用于任何學習目標，而且在數據效率、計算時間以及最終性能方面都超過了現有的方法。

在它的整個生命周期中，無論是交錯還是并行，Dreamer都會學習一個latent dynamics model（潛在動力學模型），以預測動作和觀察結果的回報。在這種情況下，“latent dynamics model”是指從圖像輸入中學習并執行計劃以收集新經驗的模型。

“潛在”表示它依賴于隱藏狀態或潛在狀態的緊湊序列，這使它能夠學習更多抽象的表示形式，例如對象的位置和速度。使用編碼器組件，有效地將來自輸入圖像的信息集成到隱藏狀態中，然后及時地將隱藏狀態向前投影以預測圖像和獎勵。

上圖：Dreamer完成一個擺動鐘擺的任務。中間顯示45步預測

Dreamer使用了一個多部分的latent dynamics model，這個模型的結構有些復雜?！氨硎尽蔽粚τ^察和動作進行編碼，而“過渡”位則在沒有看到會引起觀察的情況下預見狀態。第三個組件（獎勵組件）根據給定的模型狀態來投影獎勵，而行為模型將實施學習的策略并旨在預測可解決想象的環境的行為。最終，價值模型評估行動模型實現的預期想象獎勵，而觀察模型提供反饋信號。

上圖：夢想家在迷宮中導航。中間顯示45步預測。

雷鋒網了解到，在一系列實驗中，研究人員測試了Dreamer在DeepMind Control Suite中的20個視覺控制任務上的效果，DeepMind Control Suite是一種用于評估機器學習驅動的代理的仿真軟件。

他們首先使用Nvidia V100圖形芯片和10個處理器內核來訓練它，每次培訓運行一次。他們說，控制套件上每106個環境步驟花費了9個小時。（相比之下，Google的Dreamer前身PlaNet花了17個小時才達到了類似的性能。）

上圖：夢想家在玩Atari游戲（拳擊）。中間顯示45步預測。

研究人員報告說，Dreamer有效地利用了學習的世界模型來從少量經驗中進行概括，并且它的成功證明了，通過潛在的想象力進行的學習行為可以勝過頂級方法。他們還說，Dreamer的價值模型即使在短期計劃中也表現良好，在20個任務中的16個（有4個打成平手）上表現優于其他模型。

研究人員寫道：“未來，關于表征學習的研究可能會將潛在的想象力擴展到視覺復雜性更高的環境中，”研究人員計劃在本周溫哥華的NeurIPS 2019上展示他們的工作。Dreamer項目的代碼可在GitHub上公開獲得。雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。