DeepMind的智能體成精了，還學(xué)會(huì)“發(fā)脾氣”了？

DeepMind又造“小人”了！

這群小人就是英國(guó)人工智能實(shí)驗(yàn)室造出的“智能體”，不過只可以在游戲中看到。之前以4：1力挫世界圍棋冠軍李世石的阿爾法狗，就是這家實(shí)驗(yàn)室訓(xùn)練的智能體。

但你可能不知道的是，DeepMind”還訓(xùn)練過“象棋棋手”、“足球球員”、”電競(jìng)玩家“，甚至提出“人工生命"的言論。

最近的這群智能體，竟然能直接跳過數(shù)據(jù)填食，在開放式的任務(wù)環(huán)境中自我進(jìn)化。

此前的阿爾法狗和阿爾法star，能力再強(qiáng)，也只能在各自的游戲里釋放大招，超出自己的游戲范圍立馬“歇菜”。而這批小人卻能在不同的游戲里游刃有余地完成任務(wù)，展現(xiàn)出超強(qiáng)的泛化能力。難道人工智能要邁出泛化“頑疾”了嗎？

在一個(gè)搶奪高地金字塔的任務(wù)里，兩個(gè)不同顏色的小人能力值相當(dāng)。都沒有跳躍功能的它們，開始“發(fā)脾氣"亂扔?xùn)|西。混亂中，竟把其中一塊板子”扔“成了樓梯，長(zhǎng)驅(qū)直入，任務(wù)完成！

多次實(shí)驗(yàn)發(fā)現(xiàn)，這些小人可以復(fù)現(xiàn)這種方法，難道這群智能體有了記憶？

不僅如此，小人還學(xué)會(huì)了“相對(duì)運(yùn)動(dòng)”--我上不去，你下來--借助板子直接把目標(biāo)扒拉下來了! 甚至為了贏得比賽，多個(gè)小人學(xué)會(huì)了打配合，團(tuán)體成長(zhǎng)力刷刷上漲。

這種在虛擬游戲中自我進(jìn)化的智能體，僅僅需要人為搭建一個(gè)任務(wù)環(huán)境，設(shè)計(jì)大量的任務(wù)目標(biāo)，利用加強(qiáng)深度學(xué)習(xí)的方法，一步一步打通關(guān)，最終成為一個(gè)“十八般武藝”的智能體。

沒有樣本，沒有經(jīng)驗(yàn)，這些智能體究竟如何進(jìn)化，零樣本學(xué)習(xí)方式是否意味著這些智能體已經(jīng)具備了基本的“自學(xué)意識(shí)”？

社會(huì)達(dá)爾文主義的訓(xùn)練場(chǎng)

相比之前做出的Ai足球場(chǎng)，這批智能體的訓(xùn)練場(chǎng)更像一個(gè)游戲“社會(huì)”，里面有無數(shù)個(gè)游戲房間，每個(gè)房間的游戲按照競(jìng)爭(zhēng)性、平衡性、可選性、探索難度四個(gè)緯度進(jìn)行區(qū)分。

不管是哪種任務(wù)，這批智能體都只能從最簡(jiǎn)單的開始，一步步解鎖更復(fù)雜的游戲，這也導(dǎo)致整個(gè)游戲更像一個(gè)虛擬社會(huì)。

這些無需大數(shù)據(jù)集訓(xùn)練出來的智能體，每玩一次游戲就成長(zhǎng)一次，在與各種環(huán)境的互動(dòng)和“獎(jiǎng)勵(lì)”中，成長(zhǎng)為一個(gè)更通用的智能體，也更類似于人工“生命”。

能讓智能體自我進(jìn)化的關(guān)鍵在于正確設(shè)計(jì)初始智能和進(jìn)化規(guī)則。一開始是非常簡(jiǎn)單的，所有的復(fù)雜結(jié)構(gòu)都是進(jìn)化而來。就像嬰兒做不了生孩子的事，布置任務(wù)的核心是不要超出智能體自身的改進(jìn)能力。

根據(jù) DeepMind的說法，每個(gè)AI智能體會(huì)在4000 個(gè)游戲房間中玩了大約 70萬個(gè)獨(dú)特的游戲，并在 340 萬個(gè)任務(wù)中經(jīng)歷了 2000 億個(gè)訓(xùn)練步驟。1 億個(gè)步驟相當(dāng)于大約 30 分鐘的訓(xùn)練。按照這種訓(xùn)練方法，41天就能訓(xùn)練出一群“成年”智能體。

它還是不會(huì)思考

DeepMind表示，“單個(gè)AI智能體可以開發(fā)智能來實(shí)現(xiàn)多個(gè)目標(biāo)，而不僅僅是一個(gè)目標(biāo)。”

AI智能體新科技公司Pathmind 的CEO Chris Nicholson 也說到，“它學(xué)到的技能可以舉一反三。例如，智能體學(xué)習(xí)抓取和操縱物體，就能完成敲錘子或者鋪床的任務(wù)。而DeepMind 正在用編程為AI智能體在這個(gè)世界上設(shè)定目標(biāo)，而這些AI智能體正在學(xué)習(xí)如何一一掌握它們。”

但是南加州大學(xué)計(jì)算機(jī)科學(xué)副教授 Sathyanaraya Raghavachary表示，這些智能體并不能定義為“生命”，尤其是關(guān)于智能體擁有身體感覺、時(shí)間意識(shí)以及理解目標(biāo)的幾個(gè)結(jié)論。

“即使是我們?nèi)祟愐矝]有完全意識(shí)到我們的身體，更不用說那些人工智能了。”

他講到，一個(gè)活躍的身體對(duì)于大腦不可或缺，大腦要放在合適的身體意識(shí)和空間位置里進(jìn)化。如果AI智能體能夠理解它們的任務(wù)，何必需要 2000 億步的模擬訓(xùn)練來達(dá)到最佳結(jié)果。總體而言，這個(gè)虛擬環(huán)境訓(xùn)練出來的AI智能體只是和以往的“大同小異”。

從理論到現(xiàn)實(shí)的路還很長(zhǎng)

狹義的人工智能是“復(fù)制人類行為的元素”，在計(jì)算機(jī)中執(zhí)行某種任務(wù)。例如實(shí)現(xiàn)對(duì)圖像進(jìn)行分類、定位照片中的對(duì)象、定義對(duì)象之間的邊界等等。

這些系統(tǒng)旨在執(zhí)行特定任務(wù)，而不具有解決問題的一般能力。

相比之下，Deepmind使用的“通用人工智能”有時(shí)也被稱為人類級(jí)別的人工智能，因?yàn)樗梢岳斫馍舷挛摹撆_(tái)詞和社會(huì)線索，甚至被認(rèn)為可能完全超過人類。

但是正如行為主義和認(rèn)知主義之間的對(duì)抗，智能體是否具有解決問題的能力，并不能單純地考慮統(tǒng)計(jì)的結(jié)果。善于“事后解釋”任何觀察到的行為，在實(shí)驗(yàn)室之外，都無法“預(yù)測(cè)”哪些行動(dòng)即將發(fā)生。

編譯來源：

https://bdtechtalks.com/2021/08/02/deepmind-xland-deep-reinforcement-learning/

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。