<mark id="oztn4"></mark>
1
作者 | 蔣寶尚
編輯 | 叢 末
發明 LSTM 的大神Jürgen Schmidhuber和圖靈三劍客在學術界的恩怨情仇是眾所周知的事情了。
2015年的時候，在Hinton、Bengio、LeCun還未獲得圖靈獎之前，Jürgen就曾發文炮轟三位大神聯合發表于 Nature 的綜述文章“Deep Learning”。列出了九條條理由指責三巨頭沒有足夠尊重前人的成果，沒有提及深度學習之父、沒有引用遠古的BP思想等一些研究成果......
昨日，Jürgen再發博客批評2019年的本田獎頒給Hinton，博客主題是“停止把獎項頒給錯誤的人”，針對Hinton獲獎的六條理由，給出了六條批評意見。
在文章中，c首先承認了Hinton在人工神經網絡和深度學習方面做出了重大貢獻，但批評本田獎的頒獎詞把他人的根本發明歸功于Hinton。
整篇博客圍繞“Hinton 白嫖了前人以及我的工作貢獻，卻只字未提”論點，以公開發表的論文以及新聞稿為論據，有理有據的展開了論證工作。
1、本田獎：Hinton博士讓深度學習廣泛應用，包括創造了反向傳播方法。
Jürgen：Hinton和他同事確實對深度學習做出了某些重大貢獻，例如波爾茲曼機、膠囊網絡等技術，但是將反向傳播歸功于他完全錯誤。且不說1985年那篇“反向傳播”文章中，Hinton只是第二作者，而在這篇文章三年之前，將此方法用于神經網絡的訓練的思想就由Paul Werbos提出。
另外，1965年，Ivakhnenko和Lapa提出了第一個通用的、適用于任意多層的深層多層感知器的有效學習算法。
Ivakhnenko在1971年的論文已經描述了一個有8層的深度學習前饋網絡，比1985年Hinton工作的要深得多.....這些奠基性的工作，Hinton近幾年一嘴都沒提過。
2、本田獎：2002年，Hinton提出了限制性波爾茲曼機器（RBM）的快速學習算法，此類方法讓深度學習更加強大，也導致了目前的深度學習革命。
Jürgen：Hinton的神經網絡無監督的預訓與當前的深度學習革命無關。而且，他的深度前饋神經網絡是我1991年類似工作的翻版。
Hinton在2006年的那份工作也和我使用的被稱為神經歷史壓縮器類似。1993年我的方法已經能夠解決先前一些無法解決的“非常深度學習”任務，然后，我們用更好的，純監督的LSTM代替了歷史壓縮器（history compressor）。
所以說，我的實驗室曾兩次率先從無監督的轉變監督學習，主導了2010年代初的深度學習革命。
3、本田獎：2009年，Hinton博士和他的兩個學生利用多層神經網，在語音識別方面取得了重大突破，直接導致了語音識別能力的大幅提升。
Jürgen：這太扯了，最棒的端到端神經語音識別器是基于我的兩個方法：1.長期短期記憶；2.連接主義時序分類算法。在2017年的時候，我們的團隊就成功地將時序分類算法（CTC）訓練的LSTM應用于語音。到2015年時候，CTC-LSTM大大改善了Google的語音識別技術。幾乎所有的智能手機都支持這種功能。Google的2019 年設備語音識別（2019年不再在服務器上）仍基于 LSTM。
4、本田獎：2012年，Hinton博士和另外兩名學生的工作徹底改變了計算機視覺。
Jürgen：Hinton的團隊成功主要歸功于用于加速CNN的GPU。
2011年的時候，我在瑞士的團隊就做出了基于GPU的CNN，稱作DanNet的網絡實際上是第一個突破，他比早期網絡更加深，而且當時它就表明：深度學習的效果遠遠好于現有的最先進的圖像識別對象。
DanNet在2011年硅谷的IJCNN大會上大放異彩的成績就充分說明了這一點。如今IBM、西門子、谷歌和許多初創公司都在用這種方法。
現代計算機視覺的大部分工作都是我2011年的延伸。
5、本田獎：Hinton發明了“dropout”。
Jürgen：“dropout”實際上是Hanson早先的隨機Delta規則的一種變體。Hinton在2012年發表的論文并未引用這一點。此外，我們已經在2011年證明，dropout對于贏得計算機視覺競賽并獲得超過人類的成績并不是必要的 ，唯一真正重要的任務是使CNN在GPU上更深、更快。
6、本田獎：Hinton的貢獻史無前例、不可或缺。
Jürgen：我才是！當前在計算機視覺、語音識別、語言處理、手寫識別、機器人技術、游戲、醫療影像等領域產出的應用，其中2~6都依賴于我們的LSTM。
這篇批判文章，距離本田獎的頒發已經有半年之久，經過這么長時間的準備，Schmidhuber用近百篇參考文獻證明，本田獎頒給Hinton就是個錯誤。
Schmidhuber認為：Hinton最引人注目的工作是推廣了其他人創造的方法，而且從來沒有在論文中提到來源。本田應該糾正這一點，不應該把不屬于他的原創工作歸結到他的身上，也不該讓企業公關行為扭曲了科學事實。
此文一出迅速在reddit上面引起廣泛討論，批評支持皆有，但批評居多。大家都在說，發明人或許很重要，但是最重要的人是傳播者，Hinton獲得多類獎項合情合理。
（雷鋒網）
Jürgen很棒，但是沒有三巨頭，我們不會用BP來訓練神經網絡。
（雷鋒網）
BP在數學上很普通，重要的是，Hinton將它引入了神經網絡！
（雷鋒網）
我們應該把獎頒給實際改變世界的人，而不是僅僅第一個發明或者發現事物的人！
還有人提出疑問：那么我該在論文中引用Schmidhuber和Hinton么？
在2019年，在圖靈獎頒發給深度學習三巨頭：Yoshua Bengio、Geoffrey Hinton、Yann LeCun的時候，有不少人質疑為什么獎項不頒發給Schmidhuber，若單論貢獻Schmidhuber也是深度學習先驅者，他發明的LSTM對學術界和工業界的影響不亞于獲圖靈獎的某個人。
國內著名學者周志華認為 LSTM 是教科書級的貢獻。做為瑞士Dalle Molle人工智能研究所的聯合主任，除了在1997年提出LSTM之外，他還在1992年提出的一種PM（Predictability Minimization）模型，或者或為GAN的變種。
2011年JürgenSchmidhuber還與他的博士后學生在GPU上實現CNN(卷積神經網絡)的顯著加速，現在這種方法已經成為計算機視覺領域的核心。
而在谷歌學術上，Schmidhuber的LSTM就已經超越反向傳播，登頂20世紀AI論文高引第一名。如此優秀的學者，在學界總是充滿爭議，是因為他的研究總是和其他人的研究莫名撞車，不光和圖靈獎三劍客有過糾紛，還曾跟Ian Goodfellow爭吵過GAN到底算誰的。
《硅谷鋼鐵俠》的作者在2018年5月寫過一篇Jürgen Schmidhuber的特稿，題目是《這個人是AI圈想要忘記的教父》。這篇文章提到，在大多數學術界之外，Schmidhuber仍然很不為人知。主要是因為學術圈里的同伴不喜歡他，不少同行評價他自私、狡猾，給人帶來痛苦。
由于Schmidhuber頻繁在學術期刊和會議上懟研究人員，打斷他人演講要求同行承認他們借用甚至竊取了他的想法，后來業內創造了一個動詞”Schmidhubered“，誰被別人攻擊了就可以用Schmidhubered。
LeCun也曾在一封email回復中寫道：“Jürgen 對眾人的認可過于癡迷，總是說自己沒有得到應得的很多東西。幾乎是慣性地，他總是在別人每次講話結束時都要站起來，說剛剛提出的成果有他的功勞，大體上看，這種行為并不合理。”
我們順著LeCun的回復思考，癡迷于眾人的認可是否重要？或者說獎項是否能夠代表貢獻？這個回答從歷史的角度來看似乎能夠說句“是”。
學過微積分的都知道，有個基本定理稱為牛頓-萊布尼茨公式，牛頓和萊布尼茲在誰是微積的創立者上，二人曾爭論不休。鑒于當時牛頓皇家學會社會地位，如果萊布尼茨不拿出命來爭，恐怕這個定理會被改名為牛頓公式，那么他的貢獻也會被埋沒。
定理的命名何不看做是一種獎項？能夠讓自己的工作得到別人的認可，知道自己研究能夠帶給別人幫助是頂尖科學家畢生的追求。如果獎項不本著公平、公正的態度，如果獎項的評選讓資本、勢力來干預，那會寒了做科研人的心。
這種資本操控技術認可的例子在科學歷史上不是沒有發生過，例如還是青年的特斯拉就因為資本的勢力被愛迪生將27項專利轉入愛迪生通用公司。獲得資本加持的愛迪生如今還在小學教科書上表現為一生擁有2000多項發明、1000多項專利，一天不申請專利就渾身難受的發明狂人。
事實上，愛迪生一生發明無數，但不少都是其公司工程師研究出來的，然后強行以他的名字申請專利。他搶先注冊了不少別人的專利，從而構建了專利網絡來打壓對手。而特斯拉晚年凄涼、窮困潦倒，最終死在了紐約一旅館3327房間，并留下一大筆債務未還。
所以，強者愈強，弱者愈弱的馬太效應在學界上也適用，如果在學術上能夠獲得非常多的獎項，那么更多的獎項也會隨之而來，也會有更多的話語權。
LSTM的發明人Schmidhuber的處境或許沒有萊布尼茲和特斯拉那么困頓，那種聲嘶力竭要求認可，要求有更多的“獎項”，要求在論文中尊重原創者的做法非常相似。
目前Schmidhuber的心情或許可以用下面的這張圖片表現，雖然兩者表達的不是一個事情，但都表現出了那種絕望，“我真只吃了一碗”可以換成“這項工作真是我的”。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
