<mark id="oztn4"></mark>
0
雷鋒網(wǎng) AI 科技評論按：本文來自斯坦福大學博士生 Andrey Kurenkov 在 The Gradient 上發(fā)表的文章。
在本文中，我們將討論人工智能的一個核心領域——強化學習——的局限性。
在這個過程中，起初我們將通過一個有趣的例子提出我們要討論的問題，然后向大家介紹一套方法引入深度學習相關的先驗知識和說明，最終得出一個重要結論。
現(xiàn)在讓我們進入第一部分，你將了解到什么是強化學習，以及為什么說強化學習（或者至少說我們稱之為「純強化學習」的版本，我們將在接下來的文章中定義「純強化學習」的概念）從根本上說是有缺陷的。這個部分可能包含一些人工智能從業(yè)者已經(jīng)十分熟悉的解釋，他們可以直接跳過該部分。但是請一定要重視最近關于「非純強化學習」的研究進展，我們認為這代表著對純強化學習的根本缺陷的改進。但是現(xiàn)在，讓我們一起來看看一個有趣的例子。
想象一下，你的朋友正邀請你參與一個你從未玩過的棋盤游戲。假設在你至今為止的歲月中，你還沒接觸過這種棋盤游戲，也從未玩過任何類型的游戲。你的朋友向你介紹了規(guī)則，說明了什么是「有效移動」。但是沒有說明它們的意義是什么，或者如何才能得分。所以，你在不能問更多的問題，也無法獲得更多的解釋的情況下開始玩這個游戲。可想而知，一開始，你輸?shù)袅擞螒颉＝又汩_始了屢戰(zhàn)屢敗的嘗試，一次一次玩這個游戲，一次一次地輸?shù)簟?然而，幸運的是，你漸漸地在失敗中領悟到了一些有用的模式；此時，盡管你仍然會輸?shù)粲螒颍遣⒉粫敲纯斓乇幻霘ⅲ芏鄴暝粫?接著，你越挫越勇，在經(jīng)歷了長達數(shù)周的游戲時間后，你甚至能勉強獲勝了！
這個故事看上去有些傻，是吧？你會問：為什么你不直接問朋友游戲的目標是什么？正確的游戲方法是什么？然而，上面這一段的故事實際上描述了如今大多數(shù)強化學習方法仍舊是如何工作的。
強化學習（reinforcement learning）是人工智能的子領域之一。在強化學習框架中，一個智能體（agent）與環(huán)境（environment）進行交互，從而學習到它（智能體）在任意給定的環(huán)境中的狀態(tài)（state）下需要選擇怎樣的動作（action）才能最大化它的長期獎勵（reward）。在棋盤游戲的例子中，這意味著你（智能體）需要與棋盤（環(huán)境）進行交互，從而學習到你（智能體）在每一輪棋盤（環(huán)境）的游戲配置（狀態(tài)）中需要采取什么樣的移動策略（動作）才能夠最大化你最終的得分（獎勵）。
在深度學習的經(jīng)典模型中，智能體一開始只知道那些動作是可以采取的。他對所處的世界中的先驗知識一無所知，只能通過與環(huán)境交互來學習這種技能，并在每次采用動作之后得到獎勵。缺乏先驗知識意味著智能體需要從頭開始學習，我們將這種從頭開始學習的方法稱為「純強化學習」。純強化學習如今主要被用于解決雙陸棋和圍棋這樣的游戲問題，以及機器人和其他領域的各種各樣的問題。
在棋盤游戲的例子中，一「節(jié)」代表一個完整的游戲過程。在這個例子以及許多的強化學習問題中，只有最終的狀態(tài)有一個非零的獎勵。
近年來，深度學習給強化學習的研究注入了新的活力，但最基本的模型并沒有發(fā)生太大的變化；畢竟，這種從頭開始學習的方法可以追溯到強化學習作為一個研究領域被創(chuàng)建的伊始，并且通過其最基本的方程（貝爾曼方程）進行編碼。
那么，一個基本的問題來了：如果純強化學習乍一看并沒有這么大的意義，那么設計一個基于純強化學習的人工智能模型是否合理呢？如果讓一個人通過純強化學習的方式學習一個新的棋盤游戲是如此荒謬的話，難道我們不應該想想，這對于人工智能體來說不是一種存在缺陷的學習框架嗎？在既沒有先驗的經(jīng)驗又沒有更高層次的指導的情況下，僅僅基于獎勵信號就開始學習新的技能真的有意義嗎？
先驗經(jīng)驗和高層次的指導在用于形式化定義強化學習的經(jīng)典的方程式中均沒有得到體現(xiàn)，而且無論是隱式還是顯式地改變這些方程，都可能對我們用來訓練用于所有的強化學習的人工智能算法都有很大的影響（這些算法已經(jīng)遠遠超出了棋盤游戲的范疇，從機器人技術到資源分配問題）。換句話說，這是一個很大的問題，為了得到這個問題的答案，你需要閱讀下面兩篇文章：
1. 在第一部分（本文）中，我們首先將指出，純深度學習的主要成果并不像他們看上去那么令人印象深刻。接著，我們將進一步說明，在純強化學習框架下不太可能實現(xiàn)更復雜的成果，這是因為它對人工智能體強加了諸多限制。
2. 在第二部分中，我們將概述人工智能技術中能夠解決這種限制的不同方法（主要是元學習和零樣本學習）。最后，我們將調(diào)查到目前為止，基于這些方法的具有里程碑意義的工作，并且總結出這項工作對強化學習和整個人工智能研究領域意味著什么。
幾乎人人認同純強化學習是強化學習的基本形式。但他們真的應該這么認為嗎？
對于這個問題，許多人下意識的反應大概是：「當然，使用純強化學習還是很有意義的——人工智能體并不是人類，所以并不需要像我們一樣學習，況且純強化學習已經(jīng)被證明可以解決各種各樣復雜的問題。 」
我不同意以上觀點。根據(jù)定義，人工智能研究涉及到使機器能夠做一些目前只有人類和動物才能做到的事情。因此，將人工智能與人類智能進行比較是合適的。至于那些目前使用純強化學習解決的問題，有人給出了一些重要的忠告，但是往往被人忽視：這些問題其實往往并不像看上去那么復雜。
也許，對于很多人來說，這種說法是非常令人驚訝的，因為解決這些問題是目前人工智能最廣為人知的成就。說實話，盡管這些成就確實是很偉大的，但我仍然認為這些涉及到的問題并不想他們看上去那么復雜。在討論為什么我們這么說之前，我們不妨列舉一下這些成就，并指出為什么這些成就是完全配得上這種贊揚的：
1. DQN（深度 Q 學習網(wǎng)絡）：短短5 年前，DeepMind 的一項研究項目大大提升了人們對強化學習的興趣，該項目表明，將深度學習與純強化學習和一些新的創(chuàng)意相結合可以解決比以往任何時候都要更加復雜的問題。
毫不夸張地說，DQN 是一種以一己之力重新激發(fā)廣大研究人員對強化學習的興趣的模型。盡管它只包含了一些相對簡單的創(chuàng)新，但是這些創(chuàng)新被證明對于使深度強化學習更加實用非常重要。
盡管看起來很簡單，但是從游戲畫面的像素輸入中學習如何玩這個游戲在十年前還是不可想象的。
2. AlphaGo Zero 以及 AlphaZero：學習如何以超越所有人類的水平下圍棋、象棋和將棋的純強化學習模型。科普一下，AlphaGo Zero 是DeepMind 開發(fā)出的 AlphaGo 的繼任者（AlphaGo 是第一個擊敗人類圍棋冠軍的程序）。不同于原始的通過監(jiān)督學習和強化學習的結合進行學習的AlphaGo，AlphaGo Zero 純粹通過強化學習和自我對弈進行學習。因此，它在整體上緊密地遵循純強化學習的方法（智能體從完全沒有任何先驗知識的情況開始，從獎勵信號中學習知識），盡管它也使用一個事先被提供的模型（游戲規(guī)則），并且通過自我對弈以可靠的、可持續(xù)的方式不斷提升。雷鋒網(wǎng) AI 科技評論早先也有文章進行介紹「阿爾法狗」再進化！通用算法AlphaZero再攻克幾種棋又有何難！。
由于AlphaGo Zero 不再從人類的經(jīng)驗中學習如何獲得成功，在許多人眼中，它比 AlphaGo 對這個游戲的改變更大。接著，AlphaZero 應運而生，它是一個更加普適的版本，被證明不僅能夠處理圍棋任務，還能對象棋、將棋進行學習。這是人們第一次用同一個算法來攻破象棋和圍棋，而且它并沒有像「深藍」和原始的 AlphaGo 那樣專門為某種游戲?qū)δＰ瓦M行裁剪。基于上述原因，AlphaGo Zero 和 AlphaZero 無疑是具有里程碑意義的、令人激動的成就（DeepMind 的媒體宣傳也超贊）。
李世石敗給了Alpha，這是一個歷史性的時刻。
3. OpenAI 的 Dota 機器人：用深度強化學習訓練的人工智能體能在風靡全球而且非常復雜的多人對抗游戲——Dota2 中擊敗人類玩家。2017 年，OpenAI 成功地在有限制的 1v1 版本的 Dota2 比賽中擊敗人類職業(yè)玩家（Dendi）就足以令人印象深刻了，但是與他們最近取得的成就相比，這根本算不了什么，要知道，他們最近成功地在復雜得多的 5v5 版本的游戲中戰(zhàn)勝了人類玩家組成的隊伍。它也是 AlphaGo Zero 的繼承者，因為它也不需要任何人類知識，完全通過自我對弈進行訓練。
毫無疑問，能夠在這個以團隊合作為基礎、極其復雜的游戲中獲得出色的表現(xiàn)，遠遠比之前玩轉 Atari 游戲和擊敗職業(yè)圍棋選手所取得的成就更加震撼。更重要的是，這是在沒有做出任何重大的算法改進的情況下完成的。這個工作之所以能取得成功，要歸功于其令人震驚的計算量，并且使用了一個已經(jīng)十分成熟的純強化學習算法，以及深度學習技術。在人工智能社區(qū)中，人們普遍認為這是一個令人印象深刻的成就，也是強化學習的一系列重要的里程碑中的一個重要進展。
正如你所看到的，純強化學習已經(jīng)取得了很大的成就。但是，現(xiàn)在讓我們更仔細地研究一下，看看為什么說這些成就沒有他們看上去的那么偉大。
讓我們從DQN 開始討論這個問題。
DQN 可以在許多 Atari 游戲中達到超乎常人的游戲水平，但遠非所有游戲。一般來說，它只能在不需要推理和記憶的條件反射類的游戲中取得好的表現(xiàn)。即使在5 年后，也沒有一種純強化學習算法能夠攻破需要推理和記憶的游戲。相反，凡是能夠在這些任務上表現(xiàn)優(yōu)秀的模型，要么使用了先驗信息指導（https://arxiv.org/abs/1704.05539 ）要么使用了演示（https://blog.openai.com/learning-montezumas-revenge-from-a-single-demonstration/ ），就像我們在之前的棋盤游戲的例子中提到的那樣起作用。
雖然 DQN 在打磚塊這樣的游戲中性能不俗，但是它仍然不能處理相對簡單的游戲，比如蒙特祖瑪?shù)膹统稹?/p>
即使在那些 DQN 可以取得極其優(yōu)秀的性能的游戲中，與人類相比，它還是需要大量的時間和經(jīng)驗去進行學習。
建造像人一樣學習和思考的機器
AlphaGo Zero 和 AlphaZero 也存在同樣的局限性。你知道，我們已經(jīng)為圍棋任務提供了最簡單的人工智能問題的環(huán)境，使其維持在目前這種難度級別上。也就是說，圍棋問題具備一些讓學習任務變得簡單的特性：即圍棋任務具有確定性、離散型、靜態(tài)性，而且是完全可觀察的、信息完全可知的單智能體任務，可以被分成一節(jié)一節(jié)，開銷較小、易于模擬、易于計分…… 而圍棋問題唯一的挑戰(zhàn)就是：巨大的分支空間。
一個用于簡單說明圍棋任務類別的 Venn 圖
因此，圍棋可能是最困難（搜索空間巨大）的簡單（限制較多）問題，但歸根到底它還是一個簡單問題。而且，那些僅僅根據(jù) AlphaGo 的成功就預測說通用人工智能（AGI）的實現(xiàn)近在咫尺的言論可以被直接忽略掉！由于所有上面提到的原因，更多的研究人員意識到：現(xiàn)實世界遠比圍棋這樣的簡單游戲復雜得多。盡管 AlphaGo 的成功令人印象深刻，但其所有的變體（AlphaGo Zero，AlphaZero等）基本上仍然是類似于深藍的程序：這是一個開銷巨大的系統(tǒng)，經(jīng)過了多年的設計和制造，投入了數(shù)百萬美元的資金，而這一切都純粹是為了玩一個抽象的棋盤游戲——除此之外別無其它意義。
至于 Dota 嘛。確實，這是一個遠比圍棋更加復雜的游戲，而且并不像圍棋那樣有很多可以限制它、使其變得簡單的屬性。Dota 游戲的過程不是離散的、靜態(tài)的，游戲的局勢并不是完全可觀察的，智能體不是單一的，游戲過程也不能被氛圍一個個回合，這確實是一類非常具有挑戰(zhàn)性的問題。但從本質(zhì)上說，Dota 仍然可以被視為一個通過易用的 API 控制的簡單模擬游戲，它完全消除了對與感知和運動控制的需求。這樣一來，與我們每天在現(xiàn)實世界中通過學習去解決問題的真實復雜度相比，這樣的游戲最終還是很簡單的。而且，Dota 機器人仍然和 AlphaGo 一樣，需要大量的投資和許多工程師的參與才能得出一種使用巨量時間和經(jīng)驗解決問題的算法（需要長達數(shù)千年的游戲體驗時間進行訓練，并且需要使用多達 256 個的GPU 和 128,000 個CPU 核心）。
因此，盡管我們已經(jīng)取得了巨大的成就，我們對于它們還是要有一個清醒的認識。
僅僅因為純強化學習讓我們?nèi)〉昧爽F(xiàn)在的成果就認為它是完美無缺的是不對的！盡管如此，我們必須思考——純強化學習是第一個能夠?qū)崿F(xiàn)這些成就的方法，但它是最好的方法嗎？
是否有更好的方法讓人工智能體學會下圍棋和玩 Dota 呢？事實上，「AlphaGo Zero」這個名字指的就是模型從頭開始學習下圍棋的意思。現(xiàn)在，我們不妨回想一下棋盤游戲的例子。在沒有任何解釋的情況下試圖從頭學習棋盤游戲是很荒謬的，對嗎？那么，為什么要借助人工智能技術努力實現(xiàn)這個目標呢？
事實上，如果你試圖學習的棋盤游戲是圍棋，你將如何開始學習它呢？首先，你需要閱讀規(guī)則，學習一些高層次的策略，回想一下你在過去如何玩類似的游戲，想辦法得到一些建議…是嗎？確實如此，至少有一部分原因正是由于 AlphaGo Zero 和 OpenAI 的 Dota 機器人需要從頭開始訓練的限制使得它們與人類的學習相比并沒有那么令人印象深刻：它們依賴于比人類多觀察好幾個數(shù)量級的游戲，并且使用遠遠比任何人類更多的純粹計算能力。
AlphaGo Zero 的圍棋水平提升的過程。請注意，它花費了一整天的訓練時間、也就是相當于一個人數(shù)千輩子的游戲時間達到了埃洛等級分為 0 的水準（即使是最弱的人類玩家也能輕易得到這個分數(shù)）。圖片來自 DeepMind 的 AlphaGo Zero 博客的文章。
公平地說，純強化學習技術對于一些「范圍較窄」的任務來說是有效的，例如：連續(xù)控制（https://arxiv.org/pdf/1806.09460.pdf ）或更近期的 Dota 和星際爭霸這樣的游戲。然而，隨著深度學習大獲成功，人工智能研究社區(qū)作為一個整體正在試圖解決更加復雜的任務，這些任務必須處理真實世界中沒有限制的、開放的復雜問題（例如，駕駛汽車或進行對話）。對于這些范圍并不那么窄的任務（即大多數(shù)人工智能需要解決的問題），同時也為了整個人工智能社區(qū)在未來的發(fā)展，對超越純強化學習的方法進行研究是十分必要的。
所以，讓我們繼續(xù)討論我們提到過的問題：純強化學習，以及從通常意義上來說從頭學習的思路，對范圍不窄/復雜的任務來說是否是正確的解決方法？
這個問題的一個答案可能是：「是的，除了像圍棋和Dota 這樣的任務，純強化學習也是解決其他問題的正確方法。雖然在棋類游戲的環(huán)境下沒有意義，「從頭開始」學習也是非常具有普適的意義的。而且，除了人類所具有的靈感，從頭開始學習是有意義的，這樣智能體不會有任何先入為主的知識，而且也能達到比人類更高的水平（就像AlphaGo Zero 一樣）。」
讓我從這段話最后的部分開始，「忽略人類的靈感，在通用的人工智能的背景下考慮從頭開始學習的好處。「從頭開始」進行學習的理由是」：事先假定的替代品——將人類的直覺硬編碼到模型中——可能通過不必要的限定限制了模型的準確率，或者甚至通過錯誤的直覺降低了模型的性能。隨著深度學習方法的成功，這種觀點已經(jīng)成為了主流，這些方法可以學習具有數(shù)以百萬計的參數(shù)的「端到端」模型，對數(shù)量驚人的數(shù)據(jù)進行訓練，而且只用到了很少的先驗知識（http://www.abigailsee.com/2018/02/21/deep-learning-structure-and-innate-priors.html ）。
老式的傳統(tǒng)語音識別和端到端的深度學習方法的示意圖。后者的性能更好，而且成為了目前最先進的語音識別的基礎。
事情是這樣的：引入先驗知識或指導并不一定需要在進行學習的智能體上強加許多給予人類直覺的限制結構。換句話說，可以告知學習的智能體或模型有關即將處理的任務的信息，而不限制它通過深度學習方式進行學習的能力（即主要通過數(shù)據(jù)傳遞信息，而不像深藍和之前的專家系統(tǒng)里那樣人為規(guī)定）。
在不久的將來，我們將看到能夠讓我們做到這一點的技術案例。但是重要的是，對于大多數(shù)的人工智能問題，不從頭開始學習并不一定會限制智能體可以以任何方式進行學習的能力。對于 AlphaGo Zero 這樣的算法，沒有明確的理由過分強調(diào)必須從頭開始學習，因為它可能會被人類知識所引導（就像最初的 AlphaGo 一樣），或者事先從其它棋盤游戲中學到知識，并且仍然能夠收斂到同樣的超乎常人的水平。我們應該很快就看到類似這樣的具體技術案例。
即使你不在乎這些，就是想要從頭開始訓練，那么純強化學習是否就是最好的方法呢？給這個問題作答曾經(jīng)可以不需要任何思考。在梯度無關的優(yōu)化問題中，純強化學習是你可以選擇的最有條理的并且最值得信賴的方法。但最近的許多論文都對這種立場提出了嚴重的質(zhì)疑，它們認為相對簡單的（而且廣泛不受認可的）基于進化策略的方法似乎也同樣適用于純強化學習已經(jīng)被經(jīng)常用來測試的同類型的對比基準：
簡單的隨機搜索提供了一種對強化學習具有競爭力的方法（https://arxiv.org/abs/1803.07055 ）
深度神經(jīng)進化：遺傳算法是訓練用于強化學習的深度神經(jīng)網(wǎng)絡的一種具有競爭力的選項（https://arxiv.org/abs/1712.06567 ）
通過隨機搜索找到的在 Frostbite 中表現(xiàn)優(yōu)異的智能體的例子。詳情請見對于該策略的變現(xiàn)的描述。它在該輪中的最終得分為3,620，這比 DQN，A3C 和 ES 算法得到的分數(shù)都高，盡管并不像 GA（遺傳算法）得到的分數(shù)那么高。圖片來源：https://arxiv.org/abs/1712.06567
進化策略作為一種可伸縮的強化學習的替代品（https://arxiv.org/abs/1703.03864 ）
實現(xiàn)連續(xù)控制的普適性和簡易性（https://arxiv.org/abs/1703.02660 ）
理論和實踐優(yōu)化算法的領軍研究者、論文「簡單的隨機搜索提供了一種對強化學習具有競爭力的方」的作者之一 Ben Recht 很好的總結了上述所有觀點（http://www.argmin.net/2018/03/20/mujocoloco/ ）：
我們已經(jīng)看到，隨機搜索在簡單的線性問題上效果很好，并且顯示出比策略梯度算法等強化學習算法更好的性能。但是隨機搜索是否會隨著我們開始處理更難的問題而崩潰呢？先說結論：并沒有！
所以，人們至今還不清楚純強化學習是否是從頭開始學習的正確方法。但是，讓我們回到人類從頭開始進行學習的問題上。人們有沒有在沒有給定任何信息（除了作為技能的一部分可采取的動作）的情況下開始學習一項復雜的新技能（例如組裝新的宜家家居或甚至是開車）？沒有，不是嗎？
也許對于一些非常基礎和普遍的問題（比如年幼的嬰兒所面對的那些問題），從頭開始學習，進行純強化學習是很有意義的，因為這些問題是如此廣泛。但是對于人工智能中的大多數(shù)問題來說，從頭開始學習并沒有明顯的好處：我們知道我們想要人工智能體學習到什么，并且能夠為其提供這種技能的演示或指導。事實上，從頭開始學習是許多廣泛被認同（https://www.wired.com/story/greedy-brittle-opaque-and-shallow-the-downsides-to-deep-learning/ ）的目前人工智能和深度學習具有的限制的主要原因：
目前的人工智能非常缺乏數(shù)據(jù)（即樣本效率低下），在大多數(shù)情況下，需要大量的數(shù)據(jù)才能使最先進的人工智能方法變得有效。這對純強化學習來說尤其糟糕。回想一下，AlphaGo Zero 需要進行數(shù)以百萬次計的圍棋游戲才能得到為 0 的埃洛等級分，這是大多數(shù)人稍加努力就可以達到的分數(shù)。從定義上說，從頭學習可能是樣本效率最低的方法。
目前的人工智能系統(tǒng)是不透明的，在大多數(shù)情況下，我們對人工智能算法能學到什么、它將如何工作只有高層次的直覺。對于大多數(shù)人工智能問題來說，我們希望算法是可預測、可解釋的。一個在只給定低層次的獎勵信號的、從頭開始學習想要的知識的大的神經(jīng)網(wǎng)絡，或者一個環(huán)境模型（就像 AlphaGo Zero 那樣工作），可能是解釋性和可預測性最差的方法。
目前的人工智能應用的范圍很窄，在大多情況下，我們建立的人工智能模型只能完成一個很小的范圍內(nèi)的任務，而且很容易就失效。從頭開始學習每一項技能限制了模型學習除了一個特定的任務之外的任意任務的能力。
目前的人工智能是脆弱的，大多數(shù)情況下，我們的人工智能模型只是通過大量的數(shù)據(jù)獲得了泛化到不可見的輸入上的能力。甚至在以后仍然是很容易失效的。
因此，我們更傾向于知道我們究竟想要人工智能體學習到什么。如果人工智能體是一個人類，我們可以向他解釋這個任務，還可能提供一些提示。但是人工智能體終究不是人，那么我們還能為一個人工智能體做這些事嗎？事實證明，我們可以通過許多方法做到。欲知方法為何，且聽下回分解（https://thegradient.pub/how-to-fix-rl/）。
via The Gradient，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
