<mark id="oztn4"></mark>
0
| 本文作者： 宗仁 | 2017-05-13 14:29 |
文章由宗仁，曉樺聯(lián)合采訪。
宗仁，曉樺，曉凡聯(lián)合編輯。
“ICLR算是一個必須的選擇吧，因為其實沒有很多的選擇。所以從1996或者1997年以后，我組織了一個工作室，學(xué)習(xí)工作室，每年大概只有八九十人參加。到了2006、2007年，深度學(xué)習(xí)的大潮來臨的時候，這個工作室增長得很快，我們覺得需要有一個深度學(xué)習(xí)方面的會議，所以我們就在4年前的時候把這個邀請制的工作室變成了開放式的會議。我覺得這個決定非常棒，每年都吸引了很多參加者。今年1100人，去年500多人，前年兩三百人，第一年的時候130人，所以本質(zhì)上它發(fā)展得也很快。”
4月23-26日，ICLR在土倫舉行了第五屆國際學(xué)習(xí)表征會議，雷鋒網(wǎng)［AI科技評論］前線記者親赴現(xiàn)場的同時，采訪了ICLR會議創(chuàng)辦人，深度學(xué)習(xí)三大巨頭之一的 Yann LeCun教授，探討了關(guān)于GAN的未來，本屆ICLR的亮點，ICLR論文的爭議，ICLR和Facebook相關(guān)工作的關(guān)聯(lián)性問題，以下是雷鋒網(wǎng)［AI科技評論］采訪原文。
對，我以前就有說過，GAN是最近10年內(nèi)機(jī)器學(xué)習(xí)領(lǐng)域最棒的一個點子。它是一個很有用的點子，能夠讓非監(jiān)督學(xué)習(xí)發(fā)揮作用。有件事情我一直很相信，就是人工智能系統(tǒng)需要有一種預(yù)測模型，能夠有預(yù)測未來的能力。預(yù)測未來當(dāng)中的問題是，預(yù)測的結(jié)果是不確定的，未來會有很多種可能。所以當(dāng)你訓(xùn)練一個能夠預(yù)測未來的學(xué)習(xí)機(jī)器的時候，因為會有固定的一個合理的答案，就很難使用正常的算法。那么GAN就是解決這種問題的方法之一。這也是我對GAN很感興趣的原因，我覺得它能夠在解決人工智能發(fā)展之路的這個問題上發(fā)揮很大作用。
我們現(xiàn)在只看見了一部分內(nèi)容，會議才剛剛開了一半。我覺得GAN方面確實有一些有意思的論文，其它方面比如自然語言處理、自然語言理解、知識的表征學(xué)習(xí)，包括但不限于向量和神經(jīng)網(wǎng)絡(luò)，要更通用一些。神經(jīng)網(wǎng)絡(luò)的內(nèi)在狀態(tài)是用向量表示的，20年前就有人想到過可以用更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)來概括和表示神經(jīng)網(wǎng)絡(luò)的內(nèi)在狀態(tài)，比如圖和張量。這方面的研究我們也看到了一些，有神經(jīng)網(wǎng)絡(luò)和結(jié)構(gòu)預(yù)測的結(jié)合，而且在神經(jīng)學(xué)習(xí)和增強(qiáng)學(xué)習(xí)之間的聯(lián)系也有很多研究。但我覺得我們還沒有見什么大的進(jìn)步，在訓(xùn)練出一個正常的增強(qiáng)學(xué)習(xí)網(wǎng)絡(luò)之外的真正的大進(jìn)步，我們需要新的概念，或者把簡單的增強(qiáng)學(xué)習(xí)作為一項商業(yè)來制造這種機(jī)器。其它的亮點我還沒太多關(guān)注。
我覺得應(yīng)該沒有什么被忽視的（亮點）東西。但是我覺得大家可以多花一點注意力在“基于模型的增強(qiáng)學(xué)習(xí)”或者“基于模型的規(guī)劃”上，還有“階梯式規(guī)劃”，ICLR收到了好幾篇這方面的論文，我覺得這可能是我們建立更智能的系統(tǒng)的路線，因為它其中能夠用到這個世界的模型，能夠讓機(jī)器提前進(jìn)行規(guī)劃，而不是直接在環(huán)境里進(jìn)行訓(xùn)練。人類和動物用很少很少的樣本就可以進(jìn)行學(xué)習(xí)，這其中的原因就是因為我們腦中就有很好的世界運行的模型，而我們還沒有在AI上嘗試過這些，因為目前還沒有好的模型能夠給AI建立世界運行的模型，尤其是預(yù)測性模型，比如拿個東西到空中，然后松手它就會掉下去，或者把盛水的玻璃杯倒過來，水會流出來把別的東西淋濕。我們?nèi)祟悓κ澜绲暮芏啾尘爸R都不是靠觀察得來的，而是靠行動，現(xiàn)在還沒有什么好方法能夠讓機(jī)器也這樣做。所以GAN這樣的方法是最有希望取得進(jìn)步的方法，不過也還不能徹底解決。以及，現(xiàn)在也還沒誰有很好的方法能夠讓GAN發(fā)揮出作用，GAN有很多種不同的類型，各自都有優(yōu)點缺點，但是現(xiàn)在還沒什么廣泛接受的類型或者技巧能夠保證GAN每次都起到作用。這也是未來一兩年內(nèi)這方面研究會遇到的主要問題。
（笑）我也想知道。這個我還真不知道，沒法回答。不過總體上說，人們喜歡的論文要包含三件事，一是新點子，新點子能讓大家從不同角度進(jìn)行思考；然后就是好的結(jié)果；以及規(guī)范的實驗流程，讓大家看到你的點子有效果。如果你的論文能包含這三件事情，那就是一篇有影響力的論文，很有可能會有上臺給大家演講介紹的機(jī)會。
第三點是說證明新方法是可行的？
對，但是需要通過規(guī)范的實驗流程來證明。你需要說明你得到好的結(jié)果要歸功與你的新點子，而不是因為其它一些原因，比如把模型調(diào)節(jié)得很好之類的。
沒問題，可以的。現(xiàn)在這方面的研究還并不多，但是這件事肯定是可行的。
您最近公布了wav2char，需要至少十分鐘的語音數(shù)據(jù)。從語音生成是對目標(biāo)聲音的模仿這個角度來看，如果我們在語音生成中使用GAN，有什么測試方法嗎？以及，能否先訓(xùn)練一個通用的語音模型，然后再用某個具體的人的聲音去訓(xùn)練生成的聲音。
應(yīng)該是wav2char吧。這方面有一些研究，有很多人用GAN研究語音生成，有的是直接用波形，有的是利用頻譜。那么用GAN的時候的主要問題之一是，我們沒有特別好的數(shù)字化方法可以對人工智能的水平進(jìn)行測量。用GAN生成圖片的時候，我們可以看那些圖片，看看視覺效果如何；如果生成語音的話，我們就要聽語音有沒有問題。但是我們沒有可量化、客觀、固定的方法來估計GAN生成的語音數(shù)據(jù)的質(zhì)量。這是個大問題，因為這會讓調(diào)整和選擇最好的方案變得很難。
有爭議是好事，爭議推動著科學(xué)的發(fā)展。有人有不同意見，他就會去思考什么樣才是最好的。科學(xué)發(fā)展的方向上就是會有爭議，而權(quán)威性并不重要，真理有時候就是會來自于不怎么出名的人。所以，我覺得這里面沒啥好平衡的。
FAIR是一個研究性的實驗室，所以雖然有我們研發(fā)出的技術(shù)會用在Facebook產(chǎn)品中，我們多數(shù)的研究的目的還是為了在領(lǐng)域內(nèi)做出新發(fā)現(xiàn)，而不是直接為了應(yīng)用。不過我們做的許多東西確實還是用在了Facebook的服務(wù)中的，比如圖像識別、翻譯，都是直接應(yīng)用在Facebook產(chǎn)品中的。
機(jī)器學(xué)習(xí)、計算機(jī)視覺等等，這些成果VR&AR中都是很實用的。比如你需要定位和分割物體、加視覺特效、做3D補(bǔ)全、特征追蹤、目標(biāo)識別等等，所以AI會對VR&AR起到很大的影響，其實現(xiàn)在就有很大影響了。
哈哈，ICLR算是一個必須的選擇吧，因為其實沒有很多的選擇。所以從1996或者1997年以后，我組織了一個工作室，學(xué)習(xí)工作室，每年大概只有八九十人參加。到了2006、2007年，深度學(xué)習(xí)的大潮來臨的時候，這個工作室增長得很快，我們覺得需要有一個深度學(xué)習(xí)方面的會議，所以我們就在4年前的時候把這個邀請制的工作室變成了開放式的會議。我覺得這個決定非常棒，每年都吸引了很多參加者。今年1100人，去年500多人，前年兩三百人，第一年的時候130人，所以本質(zhì)上它發(fā)展得也很快。同時我也把這個會議作為了實現(xiàn)OpenReview的機(jī)會，ICLR使用著這種不常見的公開評審機(jī)制，ICLR也是對這種機(jī)制進(jìn)行實驗的機(jī)會。
對的，對話式AI現(xiàn)在還很難讓人滿意。如果要讓虛擬助理變得有用，它們需要具備一定的常識水平。但現(xiàn)在的機(jī)器還太笨了，沒辦法具有常識。這也是我們在研究預(yù)測式模型的原因，這是讓AI最終具有常識的方法之一。
我正在研究的課題有好幾個，用GAN研究預(yù)測模型，其實本質(zhì)就是無監(jiān)督學(xué)習(xí)；理解深度學(xué)習(xí)目標(biāo)函數(shù)的幾何結(jié)構(gòu)，這是一個非常復(fù)雜的理論問題，我挺感興趣的；還有就是可轉(zhuǎn)移競爭，也是我感興趣的。所以我正在研究的課題就是這三個。
Facebook在研究聊天機(jī)器人方面花了很大努力，不過這項技術(shù)并不僅僅是為了造一個虛擬助理的。所以這個方面有很多研究都還在緊張的進(jìn)行中。
這個傳聞是假的。聊天機(jī)器人的商業(yè)化策略在不斷演變，所以有些東西會關(guān)閉或者縮水，有一些其它的方面會得到提升。但是這方面的研究還是非常活躍的。
圍棋中的競爭理論和競爭策略一直以來都很有意思，所以這個比賽對他們來說也很重要。其中Google也由于這個比賽的關(guān)系獲得了很高的關(guān)注度，這也是他們繼續(xù)比賽的原因。我覺得Alpha Go肯定是能打敗柯潔的。
雷鋒網(wǎng)［AI科技評論］曾經(jīng)在《論文被拒千百遍，團(tuán)隊不受待見，Yann LeCun為何仍待深度學(xué)習(xí)如初戀？》一文中介紹過，Yann LeCun是人工智能神經(jīng)網(wǎng)絡(luò)方面的大牛，現(xiàn)在是Facebook人工智能研發(fā)團(tuán)隊的領(lǐng)軍人物。可是他的研究之路并不是一帆風(fēng)順，在神經(jīng)網(wǎng)絡(luò)變得今天這樣火熱之前，他也經(jīng)歷過非常悲催的歲月。如果從1980年代，Yann LeCun在巴黎讀大學(xué)時候的算起，Yann LeCun已經(jīng)深耕“神經(jīng)網(wǎng)絡(luò)”30多年了，曾經(jīng)他的研究方向不被看好，論文被各種學(xué)術(shù)會議拒絕，貝爾實驗室項目被叫停，與Hinton和Bengio結(jié)成了一個不怎么正式的同盟來復(fù)興神經(jīng)網(wǎng)絡(luò)，不過現(xiàn)在在ICLR上，他的夙愿都達(dá)成了。
他親眼目睹著自己曾經(jīng)的心儀的一個學(xué)術(shù)活動從一個工作室的規(guī)模逐漸增加到300人，500人，1000人；他為了求變求新，不拘一格地啟用了OpenReview這種不常見的公開評審機(jī)制；他料到大會上一些論文必有爭議，但還是欣然鼓勵和推動。甚至在被問到“大會是如何在爭議性和權(quán)威性之間做出平衡”的問題上時，他毫不猶豫地表示：“科學(xué)發(fā)展的方向上就是會有爭議，而權(quán)威性并不重要。”。
或許，只有經(jīng)歷過詆毀并堅持到底的人，才敢無懼爭議并走向更大的成功。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
