UC Berkeley 機器人與工程實驗室講座教授王強：Deep Learning 及 AlphaGo Zero（下） | 分享總結(jié)

雷鋒網(wǎng) AI科技評論按，北京時間10月19日凌晨，DeepMind在Nature上發(fā)布論文《Mastering the game of Go without human knowledge》（不使用人類知識掌握圍棋），在這篇論文中，DeepMind展示了他們更強大的新版本圍棋程序“AlphaGo Zero”，掀起了人們對AI的大討論。而在10月28日，Geoffrey Hinton發(fā)表最新的膠囊論文，徹底推翻了他三十年來所堅持的算法，又一次掀起學界大討論。

究竟什么是人工智能？深度學習的發(fā)展歷程如何？日前，雷鋒網(wǎng) AI科技評論邀請到UC Berkeley機器人與工程實驗室講座教授王強博士，他為大家深入淺出講解了何為人工智能，深度學習的發(fā)展歷程，如何從機器感知向機器認知演進，并解析了AlphaGo與AlphaGo Zero的原理、學習過程、區(qū)別等。

嘉賓簡介：王強博士，本科畢業(yè)于西安交通大學計算機科學與技術(shù)專業(yè)，后獲得卡內(nèi)基梅隆大學軟件工程專業(yè)碩士學位、機器人博士學位。美國貨幣監(jiān)理署（OCC）審計專家?guī)斐蓡T、IBM商業(yè)價值研究院院士及紐約Thomas J. Watson研究院主任研究員。IEEE高級會員，并擔任了2008、2009、2013及未來2018年CVPR的論文評委，同時是PAMI和TIP兩個全球頂級期刊的編委。王強博士在國際頂級期刊發(fā)表了90多篇論文，并多次在ICCV，CVPR等大會做論文分享。其主要研究領(lǐng)域圖像理解、機器學習、智能交易、金融反欺詐及風險預測等。

以下為他的分享內(nèi)容，本文為下篇，主要內(nèi)容是對AlphaGo和AlphaGo Zero詳細的解釋說明。上篇請參見：UC Berkeley 機器人與工程實驗室講座教授王強：Deep Learning 及 AlphaGo Zero（上） | 分享總結(jié) 

今年9月19號，DeepMind在Nature上發(fā)表了一篇論文，這篇論文是在人工智能、深度學習上具有顛覆性的文章。

大家知道，原來有AlphaGo，現(xiàn)在又出了AlphaGo Zero，那么AlphaGo和AlphaGo Zero之間到底有什么樣的區(qū)別。

我先說AlphaGo，AlphaGo其實是由兩個網(wǎng)絡組成的，第一個是人類的經(jīng)驗，第二個是雙手互搏、自學習。第一部分是監(jiān)督策略網(wǎng)絡，第二部分是強化策略網(wǎng)絡，還有一個價值網(wǎng)絡，再加上rollout網(wǎng)絡，即快速走棋的網(wǎng)絡，這四個網(wǎng)絡再加上MCTS，就組成AlphaGo。

在AlphaGo里面輸入了將近48種規(guī)則，但在AlphaGo Zero中，它的神經(jīng)網(wǎng)絡里面的輸入只有黑子和白子，而且輸入進的是一個網(wǎng)絡，不是兩套網(wǎng)絡。這里所說的兩套網(wǎng)絡就是指價值網(wǎng)絡和策略網(wǎng)絡。AlphaGo和AlphaGo Zero的共同點是都用了MCTS。

在這里會想到一個問題，為什么AlphaGo和AlphaGo Zero都會用到DCNN神經(jīng)網(wǎng)絡。

第一，大家都知道解決圍棋問題是比較有意思的，圍棋是19個格，19×19，361個落子的可能性，這時候落子可能存在的向量空間就是361乘以N，這個向量的狀態(tài)空間幾乎是無窮無盡的，大概計算量是10的171次方，用100萬個GPU去運算100年也是算不完的。

第二，在這里MCTS的搜索方法是無效的。MCTS的搜索方式在這里我通俗地講解下，隨機拿一個蘋果，和下一個蘋果進行對比，發(fā)覺到哪個蘋果比較大，我就會把小蘋果扔掉，然后再拿這個大的和隨機拿的下一個蘋果去對比。對比到最后，我一定會挑出一個最大的蘋果。

第三是我們希望走棋的時候的探索空間必須要縮小，要看這個子落下之后另一個子有幾種可能性，不要說別人下了一個子之后還有360個空間，那這360個空間里頭都有可能性。DeepMind比較厲害的地方是做了一個隨機過程，而不是說在三百多個里選哪個是最好的，這個用計算機是算不出來的。

第四個問題，它必須要做一種類似于人類下棋的方法。那么剛才有朋友問到什么是端到端，端到端在AlphaGo里邊表現(xiàn)得非常明確。我把數(shù)據(jù)扔給神經(jīng)網(wǎng)絡，然后神經(jīng)網(wǎng)絡馬上給出我一個狀態(tài)，這個狀態(tài)有兩個，包括目前狀態(tài)和目前狀態(tài)的價值，這非常有效，表示棋子落在哪里，以及贏的概率到底有多大。

在這里我先給大家講一下AlphaGo的原理。一般的棋盤比如圍棋、象棋等，我們第一步先做一件事，把棋盤的狀態(tài)向量標記成s，圍棋的棋盤是19*19，它一共有361個交叉點，每個交叉點有三個狀態(tài)，1表示黑子，-1表示白子，0表示沒有子，考慮到每個位置還可能有落子的時間等信息，我們可以用361乘以N維的向量表示棋盤的狀態(tài)。

我們把棋盤的狀態(tài)向量變成s，從0開始，s0表示的棋盤里的所有狀態(tài)，沒有任何子，s1落的是第一個子，s2是第二個子，第二步加入落子的狀態(tài)a，在當前的狀態(tài)s下，我們暫時不考慮無法落子的情況。下第一個子的時候，可供下一步落子的空間是361個，我們把下一步落子的行動也用361維的向量表示，變成a。第三步我們來設計一個圍棋的人工智能程序，給定s狀態(tài)，然后尋找最好的策略a，讓程序按照這個策略去走。有四個條件，先是棋盤的狀態(tài)s，尋找下棋最好的策略a，然后讓程序按照這個策略a走棋，獲得棋盤上最大的地盤，這是圍棋人工智能程序的基本原理和思路。

DeepMind以及我們之前在沃森那邊做的，主要流程如下：

• 第一步先找一個訓練樣本，然后在觀察棋局的時候，發(fā)現(xiàn)在每一個狀態(tài)s里都會有落子a，那么這時候就會有一個天然的訓練樣本。

• 第二步，我們做一個網(wǎng)絡，拿了一個3000萬的樣本，我們把s看成一個19×19的二維圖像，然后乘以N，N指的是48種圍棋的各種下贏的特征，落子向量a不斷訓練網(wǎng)絡，這樣就得到了一個模擬人下圍棋的神經(jīng)網(wǎng)絡。

• 第三步我們設計一個策略函數(shù)和一個概率分布，我們拿到一個模擬人類棋手的策略函數(shù)跟某個棋局的狀態(tài)s，可計算出人類選手可能在棋盤落子的概率分布，每一步選擇概率最高的落子，對方對子后重新再算一遍，多次進行迭代，那就是一個和人類相似的圍棋程序，這是最開始的設計思維和方式，策略函數(shù)和概率分布。

其實DeepMind還不是很滿意，他們設計好這個神經(jīng)網(wǎng)絡之后，可以和六段左右過招，互有勝負，但還是下不過之前從沃森中做出來的一個電腦程序。這時候，DeepMind把他們的函數(shù)與從沃森中衍生出來的程序的函數(shù)算法結(jié)合在一塊，對原來的算法重新做了一個完整詳細的修正。

DeepMind最初對圍棋一概不知，先假設所有落子的分值，這個大家一定要記住，在做任何科學研究的時候，當你發(fā)現(xiàn)你一無所知的時候，一定先要設定一個值，這個值千萬不能是零。然后第二部分就簡單了，就像扔骰子一樣，從361種方法里隨機選一個走法，落第一個子a0，那么棋盤狀態(tài)就由s0變?yōu)閟1，對方再走一步，這時候棋盤狀態(tài)就變成s2，這兩個人一直走到狀態(tài)sN，N也許是360，也許是361，最后一定能分出勝負，計算機贏的時候把R值記為1。

從s0、a0開始再模擬一次，接下來如PPT中卷積所示，做激活函數(shù)。在下到10萬盤次之后，這時候AlphaGo得到了非常完整的落子方案，比如說第一個子落在哪里贏的可能性比較大。

MCTS在這里起的作用是什么呢？MCTS能保證計算機可以連續(xù)思考對策，在比較的過程中發(fā)現(xiàn)最好的落子方式。在這之后，DeepMind發(fā)現(xiàn)用MCTS還不是非常好，他們就開始設計了一個比較有意思的東西，就是評價函數(shù)，我在這里就不太多講評價函數(shù)。

AlphaGo的監(jiān)督學習過程其實由兩個網(wǎng)絡組成，一個是從其他人中獲得的學習經(jīng)驗，先是做了一個softmax，即快速落子，它的神經(jīng)網(wǎng)絡比較窄，第二部分是深度監(jiān)督式神經(jīng)網(wǎng)絡。

到了做強化學習的時候，它會把原來通過機器學習過來的監(jiān)督神經(jīng)網(wǎng)絡copy到強化神經(jīng)網(wǎng)絡里，然后進行初始化，讓強化神經(jīng)網(wǎng)絡作為對手和另一個強化神經(jīng)網(wǎng)絡進行互相學習，來選擇一個最優(yōu)的結(jié)果。具體細節(jié)如PPT所示，500次做一次迭代，在這里會用到一些梯度下降的方式。

前面是我們看到的AlphaGo，接下來看AlphaGo Zero，它對原來的過程做了完整的簡化，集成了價值網(wǎng)絡和策略網(wǎng)絡，放到一個架構(gòu)里頭，即將MCTS和兩個神經(jīng)網(wǎng)絡放在一塊。這兩個神經(jīng)網(wǎng)絡其實用了一個比較有意思的神經(jīng)網(wǎng)絡，叫Resnet，Resnet的深度大家也知道，曾經(jīng)做到過151層，我在這里就不講得特別詳細了。如PPT所示，它的參數(shù)是θ，深度神經(jīng)網(wǎng)絡的輸入是s，輸出落子概率(p, v）。

在這里我給大家大概說說AlphaGo Zero自我對弈訓練的流程。

• 第一步是程序自己和自己下棋，標記為s1, ..., sT。在每個位置st，一個MCTS αθ被執(zhí)行。每個走子選擇的依據(jù)是通過MCTS（選擇最好的θ參數(shù)）、at ～ πt計算的搜索概率。最終的位置sT根據(jù)游戲規(guī)則計算對局的最終勝者z。

• 第二步是AlphaGo Zero中神經(jīng)網(wǎng)絡的訓練。該神經(jīng)網(wǎng)絡將棋盤位置st作為輸入，與參數(shù)θ一起將它傳送到許多的卷積層，并同時輸出表示每一走子的概率分布的向量pt和一個表示當前玩家在位置st上的贏率的標量值vt。同時MCTS 使用神經(jīng)網(wǎng)絡 fθ 指導其模擬。

搜索樹中的每條邊 (s, a) 都存儲了一個概率先驗 P(s, a)（概率先驗是在CNN里非常關(guān)鍵的問題）、一個訪問數(shù) N(s, a)以及動作值 Q(s, a)。每次模擬都從根節(jié)點狀態(tài)開始，不斷迭代，選擇能將置信區(qū)間 Q(s, a)+ U(s, a) 的上層最大化的落子結(jié)果，直到走到葉節(jié)點s′。 然后，網(wǎng)絡會擴充這個葉節(jié)點，并且再進行一次評估，生成概率先驗和評估值。在模擬中，遍歷每條邊(s, a) 后，會更新訪問量N(s, a)，然后將動作值更新，取得所有模擬的平均值。

此外還要做時間步長的計算，還有L2 權(quán)重正則化水平參數(shù)(防止過擬合)的覆蓋，包括用損失函數(shù)的梯度下降來進行調(diào)節(jié)。

在這里還有一件非常好玩的事情，他們用了張量處理單元（TPU），同時還做了一系列的說明，在訓練網(wǎng)絡時完全用了分布式的訓練方式，用了176個GPU，48個TPU，其實AlphaGo Zero比較厲害的地方的是只用了四個TPU去做。DeepMind還比較了AlphaGo Zero的神經(jīng)網(wǎng)絡架構(gòu)和AlphaGo的神經(jīng)網(wǎng)絡架構(gòu)的性能，在性能上我就不多說了。

AlphaGo Zero比較厲害的地方在哪里呢？一是它發(fā)現(xiàn)了五個人類的定式（常見的角落的序列），二是自我對弈中愛用的5個定式，三是在不同訓練階段進行的3次自我對弈的前80步棋，每次搜索使用1,600 次模擬(約0.4s)。

最開始，系統(tǒng)關(guān)注奪子，很像人類初學者，這是非常厲害的，白板+非監(jiān)督學習方式完全模擬到人類初學者。后面，關(guān)注勢和地，這是圍棋的根本。最后，整場比賽體現(xiàn)出了很好的平衡，涉及多次戰(zhàn)斗和一場復雜的戰(zhàn)斗，最終以白棋多半子獲勝。其實這種方式是在不停的參數(shù)優(yōu)化過程中做出的一系列工作。

接下來大概說說AlphaGo和AlphaGo Zero的一些比較。

• 第一，神經(jīng)網(wǎng)絡權(quán)值完全隨機初始化。不利用任何人類專家的經(jīng)驗或數(shù)據(jù)，神經(jīng)網(wǎng)絡的權(quán)值完全從隨機初始化開始，進行隨機策略選擇，使用強化學習進行自我博弈和提升。

• 第二，無需先驗知識。不再需要人為手工設計特征，而是僅利用棋盤上的黑白棋子的擺放情況，作為原始輸入數(shù)據(jù)，將其輸入到神經(jīng)網(wǎng)絡中，以此得到結(jié)果。

• 第三，神經(jīng)網(wǎng)絡結(jié)構(gòu)的復雜性降低。原先兩個結(jié)構(gòu)獨立的策略網(wǎng)絡和價值網(wǎng)絡合為一體，合并成一個神經(jīng)網(wǎng)絡。在該神經(jīng)網(wǎng)絡中，從輸入層到中間層是完全共享的，到最后的輸出層部分被分離成了策略函數(shù)輸出和價值函數(shù)輸出。

• 第四，舍棄快速走子網(wǎng)絡。不再使用快速走子網(wǎng)絡進行隨機模擬，而是完全將神經(jīng)網(wǎng)絡得到的結(jié)果替換隨機模擬，從而在提升學習速率的同時，增強了神經(jīng)網(wǎng)絡估值的準確性。

• 第五，神經(jīng)網(wǎng)絡引入Resnet。神經(jīng)網(wǎng)絡采用基于殘差網(wǎng)絡結(jié)構(gòu)的模塊進行搭建，用了更深的神經(jīng)網(wǎng)絡進行特征表征提取。從而能在更加復雜的棋盤局面中進行學習。

• 第六，硬件資源需求更少。AlphaGo Zero只需4塊TPU便能完成訓練任務。

• 第七，學習時間更短。AlphaGo Zero僅用3天的時間便能達到AlphaGo Lee的水平，21天后達到AlphaGo Master的水平。

今天講這么多，大家在聽我講這個科普類的東西時，可能會需要有一些比較好的基礎知識，包括MCTS、CNN、DNN、RNN、Relu、白板學習、Resnet、BP、RBM等，我希望大家對我講的這些神經(jīng)網(wǎng)絡有一個比較詳細的了解。

第一是了解它的基本網(wǎng)絡架構(gòu)，第二是去了解優(yōu)點和缺點在哪里。第三個是它的應用，是用在語言處理還是圖像上，用的時候它有哪些貢獻。到了第四步的時候，當你了解這些深度學習的過程之后，你可以考慮在工程上應用這些算法，再建立你的數(shù)據(jù)模型和算法。到第五步可以開始用MATLAB或Python去做復現(xiàn)，然后最后再去看深度學習算法對自己所做的工作有什么樣的回報。

然后特別是做一些微調(diào)的工作，這時候你很有可能就能發(fā)表論文了。在這種情況下，我給大家提供一個比較好的思維方式，如果大家去用深度學習，怎么能保證從目前簡單的AI的應用工作變成復雜的應用工作。其實，這是從機器感知到機器認知的轉(zhuǎn)變過程。

機器感知在這里要做一個總結(jié)，機器感知是指從環(huán)境中獲取目標觀測信息，這是第一步。到了機器認知就比較有意思了，是將當前的狀態(tài)映射到相應操作，比如說旁邊的車要發(fā)動了，可能會撞到你，這時候你戴的手表可能會智能提醒你，看你的動作是否有改變，從而判斷提醒是否有效，再進一步提高報警級別。

其實在機器認知的過程中，可能會用到大批量的深度學習和NLP技術(shù)、圖像理解技術(shù)、語音識別技術(shù)，多模態(tài)圖像識別技術(shù)，在這些領(lǐng)域去做一些組合的時候，可能對大家的研究比較有意義。

說說我們最近做的一些工作，這是一個MSR系統(tǒng)，我們在用DCNN的方法做優(yōu)化，用image captioning來做這個系統(tǒng)的時候會面臨一些問題。在這里用Multi-Scale Retinex技術(shù)會存在一些問題，比如邊緣銳化不足，陰影邊界突兀比較大， 部分顏色發(fā)生扭曲等。我們試過了很多方法，也做了很多參數(shù)的優(yōu)化處理，發(fā)現(xiàn)效果都不是很好，Hinton出了capsule之后，我們立馬開始去對物體坐標性的點進行描述處理，而不用BP的反向處理方式，現(xiàn)在我們正在做一些算法的猜想證明。

最后的結(jié)果如下：我們在訓練圖片的時候，它越來越能夠認識到人在做什么事。圖中是人和機器所看到的，機器會認為這個人在準備食物，但其實人會認為她在做更實際的東西，會把所有的圖片都認出來，我們現(xiàn)在已經(jīng)做到跟人的匹配率達到97.8%，也是通過反復Resnet學習去做出來的。

下面是在COCO上的結(jié)果。

今天公開課就結(jié)束了，我希望大家去看下AlphaGo Zero最新的論文，然后去看看Hinton的膠囊計劃，如果大家在這里有什么想法可以和我來探討。還有一個論壇大家可以進來去看一下，地址是mooc.ai，大家可以看這里邊有什么需要去討論的東西。

視頻：

雷鋒網(wǎng) AI科技評論編輯整理。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。