BAIR論文：通過“元學(xué)習(xí)”和“一次性學(xué)習(xí)”算法，讓機(jī)器人快速掌握新技能

雷鋒網(wǎng)消息，近日伯克利大學(xué)人工智能實(shí)驗(yàn)室（BAIR）在Arxiv上發(fā)布了一篇名為《One-Shot Visual Imitation Learning via Meta-Learning》的論文，該論文將當(dāng)前AI研究的兩個(gè)瓶頸即元學(xué)習(xí)（Meta-Learning）和一次性學(xué)習(xí)（One-shot learning）相結(jié)合，并被CORL（Conference on Robot Learning, 2017）接收，CORL 2017將于今年11月在美國(guó)加州山景城舉行。

我們都知道，深度學(xué)習(xí)是在大數(shù)據(jù)的背景下火起來的，傳統(tǒng)的基于梯度的深度神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)學(xué)習(xí)，而絕大多數(shù)的深度學(xué)習(xí)內(nèi)容否基于大數(shù)據(jù)量下的廣泛迭代訓(xùn)練，當(dāng)遇到新信息時(shí)往往會(huì)出現(xiàn)模型失效的情況從而需要重新進(jìn)行學(xué)習(xí)。在機(jī)器人領(lǐng)域，深度神經(jīng)網(wǎng)絡(luò)可以是機(jī)器人展示出復(fù)雜的技能，但在實(shí)際應(yīng)用中，一旦環(huán)境發(fā)生變化，從頭學(xué)習(xí)技能并不可行。因此，如何讓機(jī)器“一次性學(xué)習(xí)”，即在“看”了一次演示后無需事先了解新的環(huán)境場(chǎng)景，能在不同環(huán)境中重復(fù)工作尤為重要。

研究發(fā)現(xiàn)，具有增強(qiáng)記憶能力的架構(gòu)如神經(jīng)圖靈機(jī)（NTMs）可以快速編碼和見多新信息，從而起到消除常規(guī)模型的缺點(diǎn)。在本論文中，作者介紹了一種元-模擬學(xué)習(xí)（Meta-Imitation Learning，MIL）算法，使機(jī)器人可以更有效學(xué)習(xí)如何自我學(xué)習(xí)，從而在一次演示后即可學(xué)得新的技能。與之前的單次學(xué)習(xí)模擬方法不同的是，這一方法可以擴(kuò)展到原始像素輸入，并且需要用于學(xué)習(xí)新技能的訓(xùn)練數(shù)據(jù)明顯減少。從在模擬平臺(tái)和真實(shí)的機(jī)器人平臺(tái)上的試驗(yàn)也表明了這一點(diǎn)。

目標(biāo)：賦予機(jī)器人在只“看過”一次演示的情況下，學(xué)習(xí)與新物品互動(dòng)的能力。

做法：

• 收集大量任務(wù)的Demo；

• 使用元-模擬學(xué)習(xí)進(jìn)行訓(xùn)練；

• 在未知的新任務(wù)中進(jìn)行測(cè)試。
  

創(chuàng)新內(nèi)容：在第一個(gè)全連接層通過偏差轉(zhuǎn)換增加梯度表現(xiàn)。

模擬測(cè)試環(huán)節(jié)，這一環(huán)節(jié)使用算法提供的虛擬3D物品進(jìn)行模擬，MIL比Contexual和LSTM更好地完成了任務(wù)。

在實(shí)際場(chǎng)景測(cè)試環(huán)節(jié)，該團(tuán)隊(duì)設(shè)計(jì)了一個(gè)抓取物品并將其放到指定容器中的任務(wù)。從上圖我們可以看到，在這一環(huán)節(jié)用于訓(xùn)練的物品與實(shí)際測(cè)試的物品無論在形狀、大小、紋理上都有著差別，MIL算法同樣較好地完成了任務(wù)。

雷鋒網(wǎng)發(fā)現(xiàn)，除了BAIR，Google Deepmind（參見雷鋒網(wǎng)之前文章《只訓(xùn)練一次數(shù)據(jù)就能識(shí)別出物體，谷歌全新 AI 算法“單次學(xué)習(xí)”》）、OpenAI也有在進(jìn)行關(guān)于“一次性學(xué)習(xí)”的研究。“一次性學(xué)習(xí)”通常被認(rèn)為是計(jì)算機(jī)視覺中的對(duì)象分類問題，旨在從一個(gè)或僅少數(shù)幾個(gè)訓(xùn)練圖像中學(xué)習(xí)關(guān)于對(duì)象類別的信息，并且已經(jīng)成功應(yīng)用到包括計(jì)算機(jī)視覺和藥物研發(fā)在內(nèi)的具有高維數(shù)據(jù)的領(lǐng)域。今年5月，OpenAI也發(fā)布了類似的在虛擬場(chǎng)景下通過一次性學(xué)習(xí)，完成堆疊方塊等任務(wù)的論文。

在《人類的由來》中，達(dá)爾文這樣寫道：“人和其他高等動(dòng)物在精神上的差異雖然很大，但這種差別肯定只是程度上、而非種類上的差別。”而這些在一次性學(xué)習(xí)和元學(xué)習(xí)上的研究也證明，當(dāng)前的人工智能與未來世界的超級(jí)人工智能之間的差異，或許也只是程度上的差異，而非種類上的差異。在深度學(xué)習(xí)發(fā)展的過程中，類似的優(yōu)化看起來只是一小步，但加速化發(fā)展的趨勢(shì)已經(jīng)很明顯：當(dāng)你在閱讀傳統(tǒng)期刊上的論文時(shí)，在Arxiv上或許已經(jīng)出現(xiàn)了新的替代版本。或許在不久之后，創(chuàng)造出更聰明、具有適應(yīng)力的實(shí)用機(jī)器人并不是難事。

論文地址：https://arxiv.org/pdf/1709.04905.pdf

視頻演示及更多詳細(xì)說明：https://sites.google.com/view/one-shot-imitation

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。