登頂世界第一! 相比其他AI，AlphaGo究竟有何不同？| IJCAI2016特邀演講

世界職業(yè)圍棋排名網站GoRatings最新排名顯示，連續(xù)24個月排名世界第一的中國棋手柯潔被谷歌人工智能機器人AlphaGo反超。截止目前，AlphaGo以3612分登頂世界第一，超越了所有人類棋手。

如上圖所示，目前Google Deepmind AlphaGo以3611分排名世界第一，柯潔以3608分排名世界第二，而之前與AlphaGo進行“人機大戰(zhàn)”以1:4告負的韓國棋手李世石以3557排名第四。

按照Goratings世界圍棋排名的規(guī)則，如果一名新加入的棋手只贏不輸?shù)脑挘遣荒鼙凰闳胝脚琶摹６饲癆lphaGo正好輸了李世石一盤，因此給了AlphaGo入圍排名榜單的機會，此前一直排名世界第二。另外，Goratings的規(guī)則要求之前有過交手的雙方，如果對手的積分發(fā)生改變，則自身積分也會相應調整。AlphaGo此前以4勝1負戰(zhàn)勝李世石，因此只要李世石的積分提升，AlphaGo也會跟著提升。而柯潔的排名之所以下降是因為近日在金立杯兩岸世界冠軍爭霸賽表現(xiàn)不佳，勝周俊勛，負時越和唐韋星，這才給了AlphaGo稱為世界第一的機會。

至此，AlphaGo以3612分登頂世界第一，超越了所有人類棋手。這讓我們不由得想，到底是什么使得AlphaGo如此不同，能在所有的圍棋AI中拔得頭籌，甚至打敗人類登頂世界第一？

在剛剛過去的IJCAI2016（第25屆國際人工智能聯(lián)合會議）學術大會中，谷歌 DeepMind 研究員、AlphaGo幕后英雄之一David Sliver 發(fā)表了題為“使用深度神經網絡和樹搜索來精通圍棋游戲（Mastering the Game of Go with Deep Neural Networks and Tree Search）”的特邀演講。在演講中，他主要闡述了AlphaGo的實現(xiàn)原理并對AlphaGo與人類棋手對弈結果進行了分析。

在演講中他提到AlphaGo主要是改進了以下兩種方法

l  MCTS搜索（蒙特卡洛樹搜索）

l  CNN（卷曲神經網絡）

 Value Networks（價值網絡）和 Policy Networks（策略網絡）方面：

Value Networks 評估棋盤位置，Policy Networks 選擇下棋步法，這些神經網絡模型通過一種新的方法進行訓練，結合人類專家比賽中學到的監(jiān)督學習，以及在自己和自己下棋（Self-Play）中學到強化學習，其實質是深度學習網絡（CNN）跟蒙特卡羅搜索樹（MCTS）進行結合。

基于全局特征和深度卷積網絡（CNN）訓練出來的策略網絡（Policy Network），其主要作用是給定當前盤面狀態(tài)作為輸入，輸出下一步棋在棋盤其它空地上的落子概率。

另一個是利用局部特征和線性模型訓練出來的快速走棋策略（Rollout Policy)，策略網絡速度較慢但精度較高，快速走棋策略則反之。

策略網絡上的監(jiān)督學習

l  12層的卷曲神經網絡

l  使用Google Cloud在超過50個GPU中訓練四周的時間

l  在測試數(shù)據(jù)集上57%的準確率（目前最佳44%）

策略網絡上的強化學習

l  12層的卷曲神經網絡

l  使用Google Cloud在超過50個GPU中訓練一周的事件

l  相比監(jiān)督學習實現(xiàn)了80%的結果，業(yè)余3段水準

策略網絡與先前訓練好的策略網絡互相對弈，利用增強式學習來修正策略網絡的參數(shù)，最終得到增強的策略網絡。

實現(xiàn)過程如下：

利用普通的策略網絡來生成棋局的前U-1步（U是一個屬于[1, 450]的隨機變量），然后利用隨機采樣來決定第U步的位置（這是為了增加棋的多樣性，防止過擬合）。

隨后，利用增強的策略網絡來完成后面的自我對弈過程，直至棋局結束分出勝負。此后，第U步的盤面作為特征輸入，勝負作為label，學習一個價值網絡（Value Network），用于判斷結果的輸贏概率。價值網絡其實是AlphaGo的一大創(chuàng)新，圍棋最為困難的地方在于很難根據(jù)當前的局勢來判斷最后的結果，這點職業(yè)棋手也很難掌握。通過大量的自我對弈，AlphaGo產生了3000萬盤棋局，用來訓練價值網絡。但由于圍棋的搜索空間太大，3000萬盤棋局也不能幫AlphaGo完全攻克這個問題。 

AlphaG的一個關鍵之處在蒙特卡羅搜索樹（MCTS）中嵌入了深度神經網絡來減少搜索空間，這大大減少了不必要的搜索步驟，通過價值網絡和策略網絡顯著提升了其勝率。

 

使用策略網絡減少其寬度

使用價值網絡減少深度

利用這兩個改進的網絡來分別判斷局勢，兩個局勢得分相加為此處最后走棋獲勝的得分。這里使用快速走棋策略是一個用速度來換取量的方法，從被判斷的位置出發(fā)，快速行棋至最后，每一次行棋結束后都會有個輸贏結果，然后綜合統(tǒng)計這個節(jié)點對應的勝率。而價值網絡只要根據(jù)當前的狀態(tài)便可直接評估出最后的結果，兩者各有優(yōu)缺點并進行互補。

在2015年10月5:0戰(zhàn)勝歐洲圍棋冠軍樊麾（三屆歐洲圍棋冠軍）之后，AlphaGo于2016年3月4:1戰(zhàn)勝韓國傳奇棋手李世石（近十年內圍棋頂尖棋手之一）。在第四局中由于李世石棋手的“神之一手”，AlphaGo落敗，也給了AlphaGo入圍Goratings排名榜單的機會。

在David Silver看來，AlphaGo已超越了所有其他圍棋AI程序。在首爾與李世石對弈過程中，他認為AlphaGo已經展現(xiàn)出超越專業(yè)9段棋手的水準，按Goratings分數(shù)來排名的話應該接近4500分左右。這個分數(shù)不僅超過中國棋手柯潔九段的最高分數(shù)，也比其自身目前分數(shù)要高。究竟這個驚人的成績是否屬實，讓我們期待AlphaGo與柯潔九段的終極“人機大戰(zhàn)“。

參考資料 

PS : 本文由雷鋒網獨家編譯，未經許可拒絕轉載！

via David Silver IJCAI2016

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。