<mark id="oztn4"></mark>
1
| 本文作者： 亞萌 | 2016-11-29 11:59 |
編者按：深度學(xué)習(xí)領(lǐng)域泰斗級(jí)人物 Yann LeCun 是 Quora上非常踴躍的答者，他樂于分享自己的心得體會(huì)。例如，有人問“你最喜歡的機(jī)器學(xué)習(xí)算法是什么？”，Yann LeCun 的回答是“Backdrop”。深度學(xué)習(xí)是新興領(lǐng)域，很多人想要學(xué)習(xí)，也不知如何入手，所以 Quora上有很多關(guān)于“如何學(xué)習(xí)深度學(xué)習(xí)技術(shù)”的問題，Yann LeCun 在一些問題下面給出了一些自己的見解，雷鋒網(wǎng)據(jù)此整理編輯成本文，供讀者參考。
在網(wǎng)上有很多關(guān)于Machine Learning 的材料、教程和視頻課程，包括 Coursera 上的一些大學(xué)課程。這里我主要講講深度學(xué)習(xí)領(lǐng)域。
你可以在網(wǎng)上聽一些指導(dǎo)性課程和演講，對(duì)深度學(xué)習(xí)有一個(gè)大致的了解。里面我比較推薦的有：
2015年5月《自然》上刊登的一篇概述性論文《深度學(xué)習(xí)》（Deep learning），由我自己、Yoshua Bengio 、Geoff Hinton共同撰寫。（網(wǎng)址：http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html）
系統(tǒng)性的課本方面，我推薦由 Goodfellow、Bengio 和 Courville共同撰寫的《深度學(xué)習(xí)》（Deep learning）（這個(gè)在網(wǎng)上有HTML版本，本書旨在幫助學(xué)生和從業(yè)人員入門機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)領(lǐng)域。HTML版本已經(jīng)編輯完成，并且永久免費(fèi)。網(wǎng)址：http://www.deeplearningbook.org/）
我曾在巴黎法蘭西公學(xué)院開課，其中有8堂課是關(guān)于深度學(xué)習(xí)，當(dāng)時(shí)是用法語講課，現(xiàn)在加上了英文版本。
法語版網(wǎng)址：Accueil
英語版網(wǎng)址：Home
Coursera 上面有 Geoff Hinton 關(guān)于神經(jīng)網(wǎng)絡(luò)的視頻課程（不過從現(xiàn)在的角度看，內(nèi)容稍微有點(diǎn)過時(shí)了）
2012 年 IPAM 上針對(duì)研究生的“深度學(xué)習(xí)和特征學(xué)習(xí)夏季課程”（這個(gè)夏季課程的授課老師包括 Geoff Hinton 、Yann LeCun、吳恩達(dá)、Yoshua Bengio等眾多深度學(xué)習(xí)專家，歷時(shí)半個(gè)多月時(shí)間，網(wǎng)上有完整視頻錄像，網(wǎng)址：http://www.ipam.ucla.edu/programs/summer-schools/graduate-summer-school-deep-learning-feature-learning/?tab=schedule）
2015 年我在紐約大學(xué)開了一門“深度學(xué)習(xí)”的課程，當(dāng)時(shí)錄成視頻放到了網(wǎng)上，但是由于愚蠢的法律原因，視頻現(xiàn)在已經(jīng)不在了，但 PPT 還在。2017 年春天我會(huì)重新在紐約大學(xué)教這門課。網(wǎng)址：http://cilvr.nyu.edu/doku.php?id=deeplearning2015%3Aschedule）
2015年在加拿大蒙特利爾市舉行了“深度學(xué)習(xí)夏季課程”（該課程的對(duì)象為：已經(jīng)具備的機(jī)器學(xué)習(xí)基本知識(shí)的研究生、業(yè)界工程師和研究人員，授課量十分豐富。網(wǎng)址：http://videolectures.net/deeplearning2015_montreal/）
另外，我還推薦一些關(guān)于特定平臺(tái)的使用教程，比如Torch、TensorFlow 和 Theano。
首先，盡你所能，把所有具有連續(xù)性的數(shù)學(xué)和物理課都上一遍。如果必須要在“iOS 編程”和“量子力學(xué)”之間選一門，一定要選后者。在任何情況下，都要上微積分（I）、 微積分（II）, 微積分（III）、線性代數(shù)、概率論和統(tǒng)計(jì)學(xué)，另外盡可能多的去聽物理學(xué)的課程。同時(shí)，還是要確保學(xué)習(xí)編程。
為什么物理學(xué)這么重要？因?yàn)槲锢韺W(xué)發(fā)明了很多數(shù)學(xué)方法，來給真實(shí)世界建模。比如，貝葉斯推理（BayesIan inference）在本質(zhì)上與統(tǒng)計(jì)力學(xué)（Statistical Mechanics）是相同的，反向傳播算法（ Backpropagation）可以看作是經(jīng)典力學(xué)里拉格朗日算符（Lagrangian）的一種簡單應(yīng)用。圖模型里的前向算法（ Forward Algorithm）是一種廣泛應(yīng)用于量子力學(xué)的路徑積分（Path Integral）。物理，能夠教你如何使用傅里葉變換（“海森伯不確定原理”的基石）、最大熵原理、配分函數(shù)、蒙特卡洛法、熱處理、波爾茲曼分布、動(dòng)力系統(tǒng)、混沌等等。
選一個(gè)你感興趣的與 AI 有關(guān)的問題。
然后獨(dú)立對(duì)這個(gè)問題進(jìn)行思考。
一旦你形成了自己的想法，就開始閱讀圍繞這個(gè)問題的相關(guān)文獻(xiàn)。
你將會(huì)發(fā)現(xiàn)（a）你之前的想法有點(diǎn)幼稚，但是（b）你對(duì)該問題的看法開始有點(diǎn)不一樣了。
在你就讀的學(xué)校里，找到一個(gè)教授，他可以幫你把想法具體化。這或許有點(diǎn)困難，因?yàn)榻淌趥兌己苊?，沒有多少時(shí)間來指導(dǎo)本科生。有很多空余時(shí)間的教授往往很年輕，而那些年紀(jì)比較大的教授，又往往不再活躍在研究圈子里。
如果你找到一個(gè)合適的教授，但他沒有空余時(shí)間指導(dǎo)你，那么你可以轉(zhuǎn)而去“勾搭”他/她實(shí)驗(yàn)室里的博士后或博士生。
問問這個(gè)教授，是否可以讓你去參加他/她實(shí)驗(yàn)室里的會(huì)議和研討，或者只是在他們開會(huì)的時(shí)候旁聽也行。
在你本科畢業(yè)之前，嘗試著寫一篇關(guān)于你研究工作的論文，或者在網(wǎng)上公布一些開源代碼。
現(xiàn)在，你可以去申請(qǐng) PhD 項(xiàng)目了。不要去管所謂的學(xué)?！芭琶保欢ㄒ夷愀信d趣領(lǐng)域里有聲譽(yù)的教授，他論文你很喜歡或欽佩。
你可以同時(shí)申請(qǐng)幾個(gè)學(xué)校的 PhD 項(xiàng)目，當(dāng)然選擇的時(shí)候參考上條標(biāo)準(zhǔn)。在申請(qǐng)信里，你要提到你很希望跟這個(gè)教授一起工作，但是也愿意與其他教授一起。
問一問你的本科教授，請(qǐng)他幫你寫一封推薦信。如果你的本科教授與你所申請(qǐng)的 PhD 項(xiàng)目教授認(rèn)識(shí)，那么將是非常有利的。
如果你沒有錄取到自己心儀的 PhD 項(xiàng)目，可以到Facebook或谷歌工作，并且嘗試去FAIR 或Google Brain 實(shí)驗(yàn)室做一個(gè)工程師，來協(xié)助實(shí)驗(yàn)室里科學(xué)家的工作。
發(fā)表與公司實(shí)驗(yàn)室里課題有關(guān)的論文，然后重新申請(qǐng) PhD 項(xiàng)目，并且讓 FAIR 或 Google Brain 實(shí)驗(yàn)室里的科學(xué)家?guī)湍銓懲扑]信。
有很多人在致力于不同的領(lǐng)域，并取得了非常好的進(jìn)展：
深度學(xué)習(xí)與推理和規(guī)劃相結(jié)合。
基于模型的深度強(qiáng)化學(xué)習(xí)（涉及到無監(jiān)管預(yù)測型學(xué)習(xí)）。
經(jīng)由可辨的記憶模塊鞏固加強(qiáng)的遞歸神經(jīng)網(wǎng)絡(luò)（例如，記憶網(wǎng)絡(luò)）：
a. 記憶網(wǎng)絡(luò)(FAIR)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AumqufdRvDiIC）
b. 堆棧增強(qiáng)的RNN(FAIR)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=oBu8kMMAAAAJ&sortby=pubdate&citation_for_view=oBu8kMMAAAAJ%3AgKiMpY-AVTkC）
c. 神經(jīng)圖錄機(jī)(DeepMind)（網(wǎng)址：https://arxiv.org/abs/1410.5401）
d. 端對(duì)端型MemNN (FAIR/NYU)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AKbBQZpvPDL4C）
經(jīng)過對(duì)抗性訓(xùn)練得到的生成型（預(yù)測）模型。
“微程序設(shè)計(jì)”：其核心思想----將程序（或電路）看作可通過Backdrop進(jìn)行訓(xùn)練的微模塊。這一思想表明深度學(xué)習(xí)不僅可以學(xué)會(huì)識(shí)別模型（如前饋神經(jīng)網(wǎng)），而且可以生成算法（如循環(huán)算法，遞歸算法，子程序算法等）。從DeepMind、FAIR及其他資源中可獲得一些相關(guān)方面的文章，但是，這些僅僅是初級(jí)階段的成果。
分層規(guī)劃與分層強(qiáng)化學(xué)習(xí)：這是學(xué)習(xí)將一個(gè)復(fù)雜的任務(wù)拆分成一些簡單的子任務(wù)的問題所在，是所有智能系統(tǒng)要滿足的要求。
對(duì)外界事物的無監(jiān)管學(xué)習(xí)預(yù)測模型（例如，視頻預(yù)測）。
如果未來幾年 AI 能在這些方向取得重大發(fā)展，那么將會(huì)涌現(xiàn)大量更為智慧的AI 智能體，應(yīng)用于對(duì)話系統(tǒng)、問答、適應(yīng)性的機(jī)器人控制與規(guī)劃等領(lǐng)域 。
構(gòu)建出無監(jiān)督學(xué)習(xí)方法，這是一大挑戰(zhàn)。但這將允許大型神經(jīng)網(wǎng)絡(luò)在沒有直接人工注釋數(shù)據(jù)的情況下，通過看視頻、閱讀書本便能夠“學(xué)習(xí)現(xiàn)實(shí)世界是如何運(yùn)轉(zhuǎn)的”。
這將最終衍生出對(duì)現(xiàn)實(shí)世界有足夠了解的機(jī)器，它們開始具有人類的“常識(shí)”。要實(shí)現(xiàn)這一目標(biāo)，可能會(huì)花費(fèi)5年、10年、20年，甚至更久的時(shí)間，我們尚不能確定具體的期限。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
