<mark id="oztn4"></mark>
0
| 本文作者： 楊曉凡 | 2017-12-08 17:32 |
雷鋒網(wǎng) AI 科技評(píng)論按：被大家譽(yù)為深度學(xué)習(xí)三駕馬車之一的 Yann LeCun 喜歡跟人爭(zhēng)執(zhí)的名聲可算越傳越廣了。這幾天，LeCun 和 NIPS 2017「時(shí)間檢驗(yàn)獎(jiǎng)」論文作者之一的 Ali Rahimi 就在 Facebook 上掐了起來。
在 12 月 5 日的 NIPS 2017 開幕儀式上，NIPS 2007 收錄的「Random Features for Large-Scale Kernel Machines」獲得了「時(shí)間檢驗(yàn)獎(jiǎng)」Test of Time Award，這是 NIPS 2017 評(píng)審委員會(huì)認(rèn)為影響最深遠(yuǎn)的十年前的論文。論文作者之一的 Ali Rahimi 也發(fā)表了精彩的論文解讀和獲獎(jiǎng)演講 從「煉金術(shù)」到「電力」的機(jī)器學(xué)習(xí)。在演講中，Ali Rahimi 回顧了其十年前頂著「學(xué)術(shù)警察」對(duì)于機(jī)器學(xué)習(xí)這門新學(xué)科的質(zhì)疑前進(jìn)的過程，并提出經(jīng)過十年的發(fā)展，機(jī)器學(xué)習(xí)需要從野蠻生長(zhǎng)到建立一個(gè)完整的體系的過程，并號(hào)召大家去為機(jī)器學(xué)習(xí)的理論框架添磚加瓦。
演講獲得了現(xiàn)場(chǎng)聽眾的高度認(rèn)可，雷鋒網(wǎng) AI 科技評(píng)論記者遇到 AAAI 主席 Subbarao Kambhampati 的時(shí)候，他也表示非常贊同 Ali Rahimi 的觀點(diǎn)。不過意外的是，Yann LeCun 覺得自己被冒犯了，他非常不喜歡演講中把深度學(xué)習(xí)稱作「煉金術(shù)」的說法。Yann LeCun 在自己 Facebook 上發(fā)出一條長(zhǎng)動(dòng)態(tài)清晰地表達(dá)了自己的觀點(diǎn)：
Ali 的演講非常有趣，他的意思也講得很清楚。不過他想表達(dá)的東西我從根本上就不太同意。重點(diǎn)來說，他表達(dá)的意思是目前我們?cè)跈C(jī)器學(xué)習(xí)方面的實(shí)踐就和「煉金術(shù)」差不多（他的原話）。這擺明了就是侮辱。不過也不擔(dān)心，因?yàn)闄C(jī)器學(xué)習(xí)并不是「煉金術(shù)」。
Ali 說，目前在機(jī)器學(xué)習(xí)中使用的許多方法，人們都缺少（理論性的）理解，尤其是在深度學(xué)習(xí)領(lǐng)域。
能夠讓人理解（不管是理論角度還是別的）當(dāng)然是一件好事。讓方法變得越來越能被人們理解，也是包括我在內(nèi)的許多研究者活躍在 NIPS 大家庭中的原因。
不過我們也有另一個(gè)重要的目標(biāo)，那就是開發(fā)新的方法、新的技術(shù)，就像 Ali 說的，新的把戲。在科學(xué)技術(shù)的歷史上，工程方面的產(chǎn)品總是要先于理論理解一步：鏡片和望遠(yuǎn)鏡先于光學(xué)理論問世，蒸汽機(jī)先于熱動(dòng)力學(xué)問世，飛機(jī)先于飛行空氣動(dòng)力學(xué)問世，無線電和數(shù)據(jù)通訊先于信息論問世，計(jì)算機(jī)先于計(jì)算機(jī)科學(xué)問世。
為什么？因?yàn)槔碚撗芯空邥?huì)自發(fā)地先研究那些「簡(jiǎn)單」的現(xiàn)象，只有當(dāng)復(fù)雜的問題開始有了重要的實(shí)踐意義的時(shí)候他們才會(huì)轉(zhuǎn)移注意力。
僅僅因?yàn)槲覀兡壳暗睦碚摴ぞ哌€沒有趕上實(shí)踐的腳步就把一整個(gè)研究大家庭批評(píng)為一群「煉金術(shù)」的執(zhí)行者（況且這個(gè)大家庭做機(jī)器學(xué)習(xí)做得也相當(dāng)不錯(cuò)），這是很危險(xiǎn)的。為什么危險(xiǎn)？因?yàn)槭嗄赍X，在即便有充足的經(jīng)驗(yàn)證據(jù)證明神經(jīng)網(wǎng)絡(luò)在許多情況下可以運(yùn)行得很好的情況下，還是讓機(jī)器學(xué)習(xí)大家庭放棄神經(jīng)網(wǎng)絡(luò)的恰恰就是這樣的態(tài)度。神經(jīng)網(wǎng)絡(luò)，帶有非凸的損失函數(shù)，當(dāng)時(shí)沒人能保證它們可以收斂（然而當(dāng)時(shí)它們就實(shí)際上可以收斂，就和現(xiàn)在一樣）。所以人們就在倒洗澡水的時(shí)候，把盆里的小孩也一起倒掉了，把注意力全都放在了「可以證明」為凸的方法或者曾經(jīng)輝煌過的樣板匹配方法上（甚至是從 1957 年傳下來的隨機(jī)特征方法）。持續(xù)不斷研究的某一組方法，僅僅是因?yàn)樗鼈兛梢杂美碚撁枋觯煌瑫r(shí)忽略一組實(shí)際上效果更好的方法，僅僅是因?yàn)椋ó?dāng)時(shí)還）不能從理論角度理解它們，就好像在路燈的光下找車鑰匙，即便你知道你的車鑰匙是在別的地方丟的。沒錯(cuò)，我們確實(shí)需要對(duì)我們的方法有更多的理解，但是正確的態(tài)度應(yīng)當(dāng)是嘗試改善這個(gè)狀況，而不是出口冒犯整個(gè)大家庭，只是因?yàn)樗麄冞€沒成功。這不就和批評(píng)改良蒸汽機(jī)的瓦特沒成為熱力學(xué)學(xué)者卡諾或者沒成為物理學(xué)家赫爾姆霍茨一樣么。
我自己組織以及參與了數(shù)不清的 workshop，它們把許多深度學(xué)習(xí)的學(xué)習(xí)者和理論研究者聚到一起，他們中的許多人是 IPAM（UCLA 應(yīng)用數(shù)學(xué)研究院）的成員。作為 IPAM 的科學(xué)顧問委員會(huì)成員之一，如何讓深度學(xué)習(xí)引起數(shù)學(xué)研究員們的興趣也是我考慮的重要任務(wù)之一。實(shí)際上，2018 年 2 月在 IPAM 上就有一個(gè)這樣的 workshop，我就是協(xié)辦者之一。Ali，如果在你天天要用的這些方法上，你覺得我們的理解不能讓你滿意，那就來動(dòng)手改善狀況：你可以開始研究深度學(xué)習(xí)的理論，而不是報(bào)怨別人不做這些事；不要說以前的 NIPS 上只研究「理論上正確」的方法的時(shí)候就如何如何比現(xiàn)在的更好，因?yàn)椴⒉皇悄菢印?/p>
Yann LeCun 的表態(tài)馬上引起了 Facebook、Twitter 網(wǎng)友們的轉(zhuǎn)發(fā)和討論。很快，Ali 本人也給出了回應(yīng)：
Yann，謝謝你思考之后的回復(fù)。Moritz Hardt 一年以前也就給我說過「如果你不喜歡現(xiàn)狀，那就動(dòng)手來改善狀況」這句話。我們只有一小組研究人員，想要做出進(jìn)展也挺困難的。說實(shí)話，這件事的工作量之大讓我有點(diǎn)嚇到了。我在演講中也是希望有更多的人可以幫忙來一起解決。
我覺得問題不是出在理論上。數(shù)學(xué)也只做得了數(shù)學(xué)的事情，起不到多少幫助。我覺得問題在于研討方式上。我希望我們可以有簡(jiǎn)單的實(shí)驗(yàn)、簡(jiǎn)單的理論，這樣當(dāng)我們溝通深入的見解的時(shí)候就不會(huì)有迷惑之處。你可能非常擅于構(gòu)建很深的模型了，因?yàn)槟惚任覀冎械拇蠖鄶?shù)人都做過更多的實(shí)驗(yàn)。那么想象一下新加入這個(gè)領(lǐng)域的人會(huì)有多疑惑吧。之所以在我們看來這些東西像變魔術(shù)一樣，就是因?yàn)槲覀儾辉诤鯓?gòu)小的基礎(chǔ)性研究結(jié)果，而總是在討論整個(gè)模型作為一個(gè)整體是如何奏效的。這個(gè)踏過門檻的過程非常讓人疑惑。
并且我確實(shí)覺得煉金過程是非常重要的。它們能讓我們前進(jìn)得更快，它們能解決臨時(shí)遇到的問題。有些人能快速在腦海里形成直覺，然后構(gòu)建出能奏效的系統(tǒng)，我對(duì)他們懷有最深的敬意。你，以及我在谷歌的許多同事都有這樣的令人欽佩的技能。這樣的人很稀少，很可貴。我希望研究風(fēng)氣變得嚴(yán)格，有一部分原因是因?yàn)槲覀兿Ｍ瞄L(zhǎng)這種煉金式思維的人能給我們其它的人帶來一些研究中的掘金手段，這樣我們也能達(dá)到你們那樣的高產(chǎn)出。我希望的「嚴(yán)格」就是這些研究中的掘金手段：簡(jiǎn)單的實(shí)驗(yàn)，簡(jiǎn)單的理論。
LeCun 也繼續(xù)給出了回復(fù)
簡(jiǎn)單、通用的理論確實(shí)是很好的。
比如熱力學(xué)研究發(fā)現(xiàn)的基本規(guī)律讓我們不再浪費(fèi)時(shí)間尋找效率為 100% 的熱機(jī)以及永動(dòng)機(jī)。
在機(jī)器學(xué)習(xí)中我們也已經(jīng)找到了這樣的理論，對(duì)每個(gè)機(jī)器學(xué)習(xí)的機(jī)器都是適用的，包括神經(jīng)網(wǎng)絡(luò)（比如連續(xù)性/容量理論，「沒有免費(fèi)的午餐」定律，等等）。
但實(shí)際狀況很有可能是，我們沒有什么「簡(jiǎn)單」的理論是具體針對(duì)神經(jīng)網(wǎng)絡(luò)的。人們解不出流體力學(xué)的納維-斯托克斯方程和三體問題也是由于同樣的原因。
LeCun 提到的 UCLA 應(yīng)用數(shù)學(xué)研究院的成員之一 Mark L.Green 回復(fù)道
在科學(xué)中有許多領(lǐng)域都是實(shí)踐跑在了理論的前面。比如說，支持弦論的科學(xué)家就在他們的理論體系中發(fā)現(xiàn)了純數(shù)學(xué)的描述，但是同時(shí)數(shù)學(xué)家卻很難找到合適的理論體系。地理學(xué)家和生物學(xué)家發(fā)現(xiàn)了地球已經(jīng)存在了多久的時(shí)候，解釋太陽為什么能發(fā)光發(fā)熱的理論也還遠(yuǎn)沒有出現(xiàn)。Yann，你有一群很好的伙伴，而這也是作為帶頭人的意義。另外謝謝提到 IPAM。
Yoshua Bengio 也加入了進(jìn)來，一并講給在 LeCun 回復(fù)下討論的網(wǎng)友
提起煉金術(shù)的時(shí)候，多數(shù)人們聯(lián)想到的都是它「沒什么效果」、「全都是錯(cuò)誤的理論」。而我們現(xiàn)在在深度學(xué)習(xí)有的，是部分的理論和部分的解決方案。這是完全不同的。我們其實(shí)也有許多的理論研究結(jié)果，讓我們對(duì)網(wǎng)絡(luò)為什么能奏效有了更深入的了解，包括網(wǎng)絡(luò)深度帶來的指數(shù)級(jí)增長(zhǎng)的優(yōu)勢(shì)、從統(tǒng)計(jì)角度得到的分散的表征（如果背后的函數(shù)是多項(xiàng)式的）、以及為什么隨機(jī)梯度下降并不會(huì)卡在不好的局部最小值里，而且還能幫助網(wǎng)絡(luò)更好地泛化。
我們現(xiàn)在就有許多已經(jīng)理解了的法則，其中最重要的是關(guān)于泛化和優(yōu)化的。這些法則不允許我們預(yù)測(cè)超參數(shù)的細(xì)致作用（超出了可量化的預(yù)測(cè)之外），但也確實(shí)是物理規(guī)律的體現(xiàn)；正如物理規(guī)律允許我們對(duì)宏觀、大量物體做精確的預(yù)測(cè)，但有些只有幾個(gè)天體的簡(jiǎn)單系統(tǒng)（或者幾個(gè)原子的系統(tǒng)）就沒法預(yù)測(cè)。
在 Reddit 的討論區(qū)上，網(wǎng)友們也對(duì) Yann LeCun 和 Ali Rahimi 兩人的觀點(diǎn)進(jìn)行了各方面的評(píng)價(jià)。有網(wǎng)友覺得 LeCun 一如既往地對(duì)批評(píng)的聲音太敏感，有人覺得在深度學(xué)習(xí)越來越深入日常生活的時(shí)候也必須在可理解性上有大的飛躍，有人說當(dāng)年人們放棄神經(jīng)網(wǎng)絡(luò)更重要的原因是沒有足夠的計(jì)算資源訓(xùn)練網(wǎng)絡(luò)，也有人提出 Ali 想要的“簡(jiǎn)單的實(shí)驗(yàn)，簡(jiǎn)單的理論”到了更復(fù)雜的環(huán)境下根本就不會(huì)有用、甚至?xí)玫较喾吹慕Y(jié)論，等等等等。
作為觀眾，雷鋒網(wǎng) AI 科技評(píng)論其實(shí)還挺愿意看到他們這樣在爭(zhēng)論中把問題都放到臺(tái)面上來，同時(shí)也引發(fā)更多的關(guān)于神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)的研究與實(shí)踐的討論。如今理論和實(shí)踐的研究都隨著領(lǐng)域的變大、變深而變得越來越窄，新入門者也越來越多，這是一個(gè)很好的讓身在其中的專家們重新審視一下整個(gè)領(lǐng)域、讓剛?cè)腴T的研究者了解到更多的現(xiàn)狀和歷史的機(jī)會(huì)。雷鋒網(wǎng) AI 科技評(píng)論也由衷希望這樣的爭(zhēng)論能幫理論科學(xué)家們提高實(shí)踐水平、提醒系統(tǒng)工程科學(xué)家們更多注意內(nèi)在的理論基礎(chǔ)。
來源 MachineLearning @ reddit，雷鋒網(wǎng) AI 科技評(píng)論編譯整理。
相關(guān)文章：
NIPS 2017 “時(shí)間檢驗(yàn)獎(jiǎng)”獲獎(jiǎng)感人演講：從“煉金術(shù)”到“電力”的機(jī)器學(xué)習(xí) | NIPS 2017
NIPS 2017現(xiàn)場(chǎng)：8000人參會(huì)，最佳論文公布，算法壓倒深度學(xué)習(xí) | NIPS 2017
德?lián)?AI 不完全信息博弈論文領(lǐng)銜，NIPS 2017最佳論文 3 + 1 已經(jīng)揭曉
NIPS 2017今天開啟議程，谷歌科學(xué)家竟然組團(tuán)去了450人，還都不是去玩的！
