<mark id="oztn4"></mark>
0
| 本文作者： 恒亮 | 2017-02-06 15:46 |
雷鋒網(wǎng)按：近日，深度學(xué)習(xí)大牛 Yoshua Bengio 在 Beneficial AI 大會(huì)上發(fā)表了一篇題為《創(chuàng)造人類水平AI》的演講，分享了他對(duì)于極深網(wǎng)絡(luò)（Very Deep NN）和 GAN 等前沿技術(shù)的一些看法和思考。Yoshua Bengio認(rèn)為：極深網(wǎng)絡(luò)在序列數(shù)據(jù)和高層抽象等領(lǐng)域具有巨大的發(fā)展前景；GAN雖然是前沿?zé)狳c(diǎn)，但非常難以訓(xùn)練，因此開(kāi)發(fā)者需要對(duì)其保持清醒的頭腦。另外，在演講的結(jié)尾，Yoshua Bengio還分享了他的一個(gè)最新研究方向，即利用行動(dòng)（action）引導(dǎo)表征學(xué)習(xí)（representation learning）的方法來(lái)發(fā)現(xiàn)事物間的潛在關(guān)系。
以下為演講原文和PPT，雷鋒網(wǎng)編譯。
今天我會(huì)在這里討論一下深度學(xué)習(xí)和人工智能方面最近的一些最新發(fā)展，也會(huì)講一下我個(gè)人關(guān)于深度學(xué)習(xí)和人工智能目前局限性的思考，同時(shí)分享一些我理解的創(chuàng)造媲美人類水平AI的努力方向。當(dāng)然，我沒(méi)辦法告訴大家具體什么時(shí)候人工智能將超越人類，實(shí)際上我認(rèn)為做這種預(yù)測(cè)是不理性的。但這并不妨礙我們一起利用今天一下午的時(shí)間對(duì)此做一番有意義的探討。
感謝深度學(xué)習(xí)在過(guò)去幾年的快速發(fā)展，讓我們看到最近在學(xué)術(shù)領(lǐng)域出現(xiàn)了很多技術(shù)突破。其中首當(dāng)其沖的是語(yǔ)音識(shí)別以及計(jì)算機(jī)視覺(jué)方面的長(zhǎng)足進(jìn)步。在這兩個(gè)領(lǐng)域中，現(xiàn)在我們已經(jīng)獲得了經(jīng)過(guò)訓(xùn)練的計(jì)算機(jī)系統(tǒng)以及媲美人類能力的參照指標(biāo)。當(dāng)然，計(jì)算機(jī)系統(tǒng)的能力依舊在很多很多方面無(wú)法與人類相比。但是這些足以向人們展示這兩個(gè)領(lǐng)域已經(jīng)取得的長(zhǎng)足的進(jìn)步。
最近在機(jī)器翻譯領(lǐng)域也產(chǎn)生了令人吃驚的進(jìn)展，我也會(huì)在演講中提及這部分的一些例子。雖然它還沒(méi)有演化成為工業(yè)級(jí)的產(chǎn)品，但人工神經(jīng)網(wǎng)絡(luò)方面的應(yīng)用正在以驚人的速度帶領(lǐng)我們朝著計(jì)算機(jī)推理能力、注意力和記憶能力的方向走的更加深入。我認(rèn)為這對(duì)于未來(lái)來(lái)說(shuō)是讓人興奮的，因?yàn)樵谶^(guò)去幾十年中，人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用能力普遍被認(rèn)為會(huì)局限在模式識(shí)別領(lǐng)域，但現(xiàn)在我們真的在使用人工神經(jīng)網(wǎng)絡(luò)去解決過(guò)去十年人工智能在嘗試解決的一些經(jīng)典問(wèn)題。
我也注意到在強(qiáng)化學(xué)習(xí)方面的巨大進(jìn)步，比如像下圍棋這樣的情境。也許在場(chǎng)的各位還有人不太了解機(jī)器人和控制系統(tǒng)領(lǐng)域近來(lái)的發(fā)展，實(shí)際上，我認(rèn)為這個(gè)領(lǐng)域的快速發(fā)展才剛剛開(kāi)始。
還有另一個(gè)并非實(shí)際的應(yīng)用領(lǐng)域，但會(huì)為許多工業(yè)應(yīng)用打下基礎(chǔ)的學(xué)術(shù)領(lǐng)域，這就是循環(huán)神經(jīng)網(wǎng)絡(luò)和極深神經(jīng)網(wǎng)絡(luò)。這兩個(gè)領(lǐng)域也取得了讓我們可以更好地處理序列數(shù)據(jù)甚至是處理抽象概念的技術(shù)進(jìn)步。我在演講的最后會(huì)好好地聊一下這兩個(gè)領(lǐng)域。
在這里，我選擇了一個(gè)機(jī)器翻譯中注意力模型的應(yīng)用作為例子。我們已經(jīng)在這個(gè)課題上研究了幾年。在深度學(xué)習(xí)支撐下的機(jī)器翻譯應(yīng)用中，一個(gè)過(guò)去很多年我們一直抱有的、非常基礎(chǔ)的的想法是我們將要學(xué)習(xí)的其實(shí)是從一種特定語(yǔ)言的文本到語(yǔ)義的通用表達(dá)的映射，而后我們會(huì)將語(yǔ)義解碼成為另外一種語(yǔ)言。這樣的想法作為一個(gè)單獨(dú)的公理是不足以成立的。這個(gè)想法的問(wèn)題在于，當(dāng)語(yǔ)句或者段落的長(zhǎng)度不停增長(zhǎng)的時(shí)候，這樣的做法已經(jīng)失去了它的合理性。試想一下你必須把一整個(gè)文檔壓縮成一個(gè)固定長(zhǎng)度的向量，這是一種荒唐的做法，同時(shí)也不是我們?nèi)祟愖龇g時(shí)的做法。
當(dāng)人類翻譯一本書(shū)的時(shí)候，在翻譯語(yǔ)句的過(guò)程中，翻譯者會(huì)記錄在原書(shū)中已經(jīng)翻譯到了哪個(gè)位置，這是注意力在翻譯過(guò)程中的應(yīng)用。人類的注意力中會(huì)有一個(gè)虛擬的指針，指向原文中目前已經(jīng)翻譯到了的位置。這樣基于人類是如何進(jìn)行翻譯的觀察，除了對(duì)機(jī)器翻譯的發(fā)展產(chǎn)生了巨大的推動(dòng)作用之外，對(duì)于推理能力、記憶能力和使用人工神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)結(jié)構(gòu)能力方面的進(jìn)步也產(chǎn)生了積極的影響。
為了衡量這樣的影響，我們可以簡(jiǎn)單看一下事情是如何演進(jìn)的。當(dāng)我們?nèi)昵皠倓傞_(kāi)始研究機(jī)器翻譯的時(shí)候，初期的結(jié)果是很慘淡的，跟最近的結(jié)果相比較是非常差的。我們慢慢地改進(jìn)并且得到了一些進(jìn)展，直到我們偶然間發(fā)現(xiàn)了人類虛擬的注意力模型這件事情，它對(duì)我們的研究起到了至關(guān)重要的作用。在它的幫助下，最終我們也達(dá)到了基于短語(yǔ)的機(jī)器翻譯技術(shù)所能達(dá)到的翻譯水平，也許在一些語(yǔ)言組合上我們甚至超越了之前的技術(shù)。但是我們?nèi)耘f抱有疑問(wèn)：這樣的技術(shù)能夠在非常巨大的數(shù)據(jù)集合上得到很好的結(jié)果嗎？
最近，谷歌公布的機(jī)器翻譯技術(shù)已經(jīng)發(fā)展到了令人振奮的水平。谷歌搜集了非常多的數(shù)據(jù)，遠(yuǎn)遠(yuǎn)超過(guò)任何人類個(gè)體在一生中能夠?qū)W習(xí)的知識(shí)體量，并使用這樣量級(jí)的數(shù)據(jù)訓(xùn)練了他們現(xiàn)在的機(jī)器翻譯系統(tǒng)，這基本上已經(jīng)是非常接近人類翻譯能力的機(jī)器翻譯系統(tǒng)了。一些關(guān)于PBMT（Phrase-based Machine Translation，即傳統(tǒng)基于短語(yǔ)的機(jī)器翻譯），GNMT（Google Neural Machine Translation，即谷歌基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯）和人類翻譯的對(duì)比數(shù)據(jù)顯示，機(jī)器翻譯和人類翻譯能力之間的差距已經(jīng)被明顯縮小了。我不想對(duì)此做太多贅述，相關(guān)數(shù)據(jù)大家也可以很方便的在網(wǎng)上查到，這里我想強(qiáng)調(diào)的是：幾年前我們期待的、在機(jī)器翻譯領(lǐng)域的長(zhǎng)足進(jìn)步目前已經(jīng)成為了現(xiàn)實(shí)。
現(xiàn)在，讓我簡(jiǎn)短地講一下為什么我相信深度學(xué)習(xí)會(huì)帶來(lái)更多優(yōu)秀的研究成果。在講這個(gè)話題之前，讓我們共同回溯一下，機(jī)器學(xué)習(xí)在前進(jìn)的道路上，為了能夠達(dá)到人類水平的人工智能都需要哪些基本要素。我總結(jié)的基本要素包括以下五個(gè)。
1. 你要明白：想要?jiǎng)?chuàng)造智能的機(jī)器，這個(gè)機(jī)器就必須具備非常非常多的知識(shí)。人工智能要回答的一個(gè)非常基本的問(wèn)題是，如何把這么多的知識(shí)裝進(jìn)機(jī)器中。在機(jī)器學(xué)習(xí)的過(guò)程中，這些知識(shí)需要以數(shù)據(jù)的形式被機(jī)器所使用。這樣，非常非常多的知識(shí)就意味著非常非常多的數(shù)據(jù)。無(wú)論學(xué)習(xí)的形式是監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)還是強(qiáng)化學(xué)習(xí)，這一條都是機(jī)器學(xué)習(xí)的基本要素。
2. 要學(xué)習(xí)如此之多的知識(shí)并保存在機(jī)器中，我們需要一個(gè)非常靈活的模型，不能是像過(guò)去統(tǒng)計(jì)學(xué)和以前機(jī)器學(xué)習(xí)中普遍存在的、簡(jiǎn)單初級(jí)的模型。
3. 要使用非常多的數(shù)據(jù)去訓(xùn)練出強(qiáng)大而靈活的模型，我們就需要足夠的計(jì)算能力。最近機(jī)器學(xué)習(xí)領(lǐng)域的成功有一部分要?dú)w功于我們有了GPU的幫助。我想未來(lái)幾年學(xué)術(shù)界會(huì)和工業(yè)界有很多的合作，其中工業(yè)界會(huì)提供大筆的資金來(lái)創(chuàng)造專門用于運(yùn)行人工神經(jīng)網(wǎng)絡(luò)的硬件系統(tǒng)。
4. 另外一個(gè)并沒(méi)有引起許多人注意的，而且是目前人工神經(jīng)網(wǎng)絡(luò)的最主要的優(yōu)點(diǎn)是，你可以很快的得到問(wèn)題的答案，我們把這稱之為計(jì)算形式的高效推理。并不是所有的機(jī)器學(xué)習(xí)模型都具備這樣的特點(diǎn)。事實(shí)上，一般來(lái)說(shuō)，如果想從數(shù)據(jù)得來(lái)的知識(shí)出發(fā)解決特定問(wèn)題，你會(huì)需要指數(shù)級(jí)別的計(jì)算量來(lái)解答各種不同的中間問(wèn)題。這里使用的方法是一種近似答案尋找系統(tǒng)，這樣的系統(tǒng)在訓(xùn)練的時(shí)候就是以找到近似答案為目的的。
5. 除去上面提到的四點(diǎn)之外，決定深度學(xué)習(xí)能提供更多更好結(jié)果的最重要的要素是，深度學(xué)習(xí)結(jié)合了擁有能夠戰(zhàn)勝維度詛咒的先驗(yàn)假設(shè)（powerful priors that can defeat the curse of dimensionality），這些先驗(yàn)假設(shè)（assumption）對(duì)于我們想利用人工智能解決的問(wèn)題來(lái)說(shuō)也是合理而且有效的。你可以把這些先驗(yàn)假設(shè)當(dāng)做先導(dǎo)條件，這些先導(dǎo)條件可以幫助我們?cè)谝欢ǔ潭壬厦撾x維度詛咒。我來(lái)嘗試講的更清楚一點(diǎn)。
深度學(xué)習(xí)關(guān)于世界的其中一個(gè)基本假設(shè)是組合性（compostionality）。人類使用組合性的假設(shè)來(lái)理解世界，而且將其使用在工程解決方案中、使用在語(yǔ)言理解中。我們可以通過(guò)將不同的信息碎片組合起來(lái)的方式理解和回答關(guān)于世界的問(wèn)題。這種方法在深度人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用起來(lái)是十分自然的，它以兩種方式呈現(xiàn)：即并行性和順序性。
并行性背后的想法是分布式的描述，我們通過(guò)把不互斥的特征和屬性組合起來(lái)的辦法來(lái)表達(dá)我們的認(rèn)知和想法。這是所謂特征學(xué)習(xí)背后的理論，我在下一頁(yè)中會(huì)有更多的描述。在學(xué)習(xí)深度方面，低層次的特征將會(huì)被組合起來(lái)，而且不同層次的特征也會(huì)被組合起來(lái)。這樣跨層次的特征組合是一種順序性的組合。并行性和順序性這兩種方式都是非常有用的。
為了更好的理解分布式描述和為什么這樣的方式可以為你節(jié)省指數(shù)級(jí)別的計(jì)算量，這里我介紹一個(gè)分析人物照片的例子。假設(shè)我們已經(jīng)訓(xùn)練了一個(gè)人工神經(jīng)網(wǎng)絡(luò)去理解照片中抽象的特征和屬性。當(dāng)然這些特征不是預(yù)定義的，他們是被機(jī)器發(fā)現(xiàn)的。也許機(jī)器的一個(gè)計(jì)算單元會(huì)發(fā)現(xiàn)照片中的人物是否戴了眼鏡，另一個(gè)單元會(huì)發(fā)現(xiàn)人物是男性還是女性，另外一個(gè)單元會(huì)發(fā)現(xiàn)人物是否是兒童，以此類推。這些特征不一定非得是語(yǔ)義上清晰的屬性，但是大家可以先想象成這樣。
假設(shè)你有100個(gè)特征，每一個(gè)特征是二元的，那你就會(huì)有1024種不同的特征組合需要機(jī)器來(lái)依據(jù)特征去分類。現(xiàn)實(shí)中可能不會(huì)有足夠多的訓(xùn)練數(shù)據(jù)來(lái)覆蓋所有可能出現(xiàn)的組合，神奇的地方在于我們可以從所有組合的一個(gè)子集中推導(dǎo)出新的組合。我們可以不用遍歷所有可能的組合而做這樣的推導(dǎo)背后的原因是我們可以在不考慮其他特征值的情況下學(xué)習(xí)每一個(gè)特征。
一個(gè)例子是，為了知道人物是否戴眼鏡，你不需要知道人物是男是女或者人物是否是兒童，以及人物頭發(fā)的顏色或者人物穿什么款式的裙子。這樣的情況對(duì)很多特征來(lái)講都是成立的，因?yàn)楹芏鄬傩远际沁@樣獨(dú)立存在的。也就是說(shuō)，例子或者說(shuō)參數(shù)的增長(zhǎng)是線性的（而不是傳統(tǒng)統(tǒng)計(jì)學(xué)意義上指數(shù)級(jí)的增長(zhǎng)），與屬性的數(shù)量成正比。這樣，訓(xùn)練所需的數(shù)據(jù)量就小了很多。
我認(rèn)為，目前我們依舊距離人類水平的人工智能有很大的距離。
在新聞中可能出現(xiàn)了太多對(duì)于人工智能的宣傳和炒作，我認(rèn)為我們低估了一些我們正面對(duì)的非常困難的問(wèn)題。其中一個(gè)例子是目前工業(yè)級(jí)人工智能的成功絕大多是都是純粹的監(jiān)督學(xué)習(xí)的成果。
另外一個(gè)問(wèn)題是我們目前最先進(jìn)的系統(tǒng)所使用的歸納方法其實(shí)還是非常簡(jiǎn)單的。我們目前的學(xué)習(xí)系統(tǒng)仍舊依賴于數(shù)據(jù)中非常淺顯的提示，因此這些系統(tǒng)在非訓(xùn)練的情境下很難有好的效果。這同時(shí)也意味著這些系統(tǒng)可以很容易地上當(dāng)受騙，例如只看物體的顏色和圖片的背景，如果圖片背景中有很多綠色，即使沒(méi)有動(dòng)物在圖片中，系統(tǒng)仍舊會(huì)認(rèn)為圖片中的就是動(dòng)物。
所以，我一直在強(qiáng)調(diào)的事情是更多地去思考如何讓機(jī)器更好的學(xué)習(xí)和發(fā)現(xiàn)高層次的抽象概念。我也在自己的研究中力圖推進(jìn)這個(gè)方向。這樣的訓(xùn)練可能要求我們添加多個(gè)時(shí)間尺度。這就和長(zhǎng)時(shí)間跨度、依賴性學(xué)習(xí)的概念有了聯(lián)系。
另一個(gè)技術(shù)上的問(wèn)題是我們?nèi)耘f很依賴于舊的bakcprop，也即 smooth differential predictors。這樣的技巧需要光滑可微的前導(dǎo)參數(shù)，雖然這也是目前的研究熱點(diǎn)，但這并不是我們目前研究中所需要的。
我們需要在無(wú)監(jiān)督學(xué)習(xí)中做的更好。人類在無(wú)監(jiān)督學(xué)習(xí)中表現(xiàn)的非常好。比如說(shuō)在父母沒(méi)有給小孩子講過(guò)牛頓定律和微分方程的時(shí)候，一個(gè)兩歲的兒童就能夠了解直觀的物理原理。我們?cè)谏疃葻o(wú)監(jiān)督學(xué)習(xí)方面已經(jīng)做了很多年的研究，但是目前我們有的方法都有一些局限性，在這里因?yàn)闀r(shí)間的關(guān)系我們就不展開(kāi)講了。我們最近在自動(dòng)回歸模型上取得了很多進(jìn)展，但是我不認(rèn)為這些模型會(huì)將我們帶入一個(gè)更高的研究階段，因?yàn)檫@些模型學(xué)習(xí)的并不是帶有潛在變量的抽象表達(dá)。
我們最近在變分自編碼器（VAE）和對(duì)抗生成網(wǎng)絡(luò)（GAN）方向上也取得了一些成功，這都是研究的最前沿。但是它們很難被訓(xùn)練，而且它們學(xué)習(xí)和發(fā)現(xiàn)抽象概念的能力還不是很令人滿意。但我在這里還是希望向你們展示一下最近的成果。
這是我們兩年前在GAN上得到的一些結(jié)果。對(duì)于數(shù)字的學(xué)習(xí)結(jié)果是不錯(cuò)的，但是對(duì)于自然圖片的學(xué)習(xí)結(jié)果還不是很好。接下來(lái)是一年前的結(jié)果，內(nèi)容仍然局限在一個(gè)類型上。
這是現(xiàn)在的結(jié)果，這些并不是真正的火山圖片，而是機(jī)器生成的火山圖片。這個(gè)系統(tǒng)可以生成它所理解的1000個(gè)類型的圖片。
這些圖片看起來(lái)讓人印象深刻，但是系統(tǒng)本身在某些方面仍舊很呆板。（下圖為 Plug & Play 生成網(wǎng)絡(luò)的圖像）
那么，我們還需要什么呢？
我認(rèn)為我們?nèi)孕枰層?jì)算機(jī)更自主地學(xué)習(xí)，無(wú)監(jiān)督的學(xué)習(xí)，試著讓機(jī)器發(fā)現(xiàn)一些潛在的因果關(guān)系。
另外一件我們覺(jué)得重要，但尚未成功的事情是基于模型的強(qiáng)化學(xué)習(xí)，強(qiáng)化學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)結(jié)合在一起，這會(huì)讓機(jī)器更好的處理一些全新的情境。想象一下自動(dòng)駕駛汽車，這個(gè)情景下充滿了訓(xùn)練中少見(jiàn)、危險(xiǎn)而機(jī)器必須處理的情況。我們目前的方法還不能夠很好處理這些情況。我們需要機(jī)器有能力去想象一些與訓(xùn)練實(shí)例差別很大的情景，因?yàn)閷?duì)這些情景的處理通常都至關(guān)重要。
我們還需要更多的計(jì)算能力，我認(rèn)為這在接下去的幾年或者幾十年中就會(huì)實(shí)現(xiàn)。
我們同時(shí)需要在多時(shí)間尺度的處理方面取得進(jìn)展。
我認(rèn)為接下來(lái)在理解語(yǔ)言方面會(huì)有進(jìn)展，但如果我們不能在發(fā)現(xiàn)和表達(dá)高層次抽象概念上取得更大的進(jìn)展，那我們?cè)跈C(jī)器語(yǔ)義理解的發(fā)展上將進(jìn)入一個(gè)瓶頸期。
有一件事情我想在這里指出的是，如果我們?cè)敢猓覀兺耆梢該碛幸豢畋粍?dòng)的、可以非常好地理解我們世界的人工智能系統(tǒng)，但是著并不會(huì)對(duì)我們的世界產(chǎn)生重大的推動(dòng)性影響。可是，一旦我們擁有了智能的機(jī)器，我們就不會(huì)只局限于使用它們?nèi)セ卮鹨恍┖?jiǎn)單的問(wèn)題，我們會(huì)希望它們能夠主動(dòng)地去完成一些事情。這樣的希望就給我們提出了一個(gè)關(guān)于獎(jiǎng)勵(lì)機(jī)制的有趣問(wèn)題。其中我個(gè)人非常關(guān)注的一點(diǎn)是，機(jī)器如何學(xué)會(huì)人類的價(jià)值觀，我認(rèn)為這才是訓(xùn)練真正“聰明”的AI的關(guān)鍵，即 wise AI。
最后我想提出的一個(gè)問(wèn)題是：使用現(xiàn)實(shí)世界中的行動(dòng)（action）來(lái)指導(dǎo)表征學(xué)習(xí)（representation learning）。這是一個(gè)我最近開(kāi)始研究的新方向。這個(gè)研究想要解答的問(wèn)題是什么才算是好的表征學(xué)習(xí)，以及如何搞清楚數(shù)據(jù)中各種解釋因子（explanatory factors）之間的潛在關(guān)系。目前的想法是，如果我們?cè)诂F(xiàn)實(shí)世界中存在著一些可以控制這些解釋因子的代理（agent），而這些因子又與那些可以被控制的事情對(duì)應(yīng)，那么我們就有機(jī)會(huì)利用這些因子對(duì)事物間的關(guān)系做基本的解釋（underlying explanations）。
原演講鏈接：https://youtu.be/ZHYXp3gJCaI，雷鋒網(wǎng)編譯
