深度學(xué)習(xí)理論研究已進(jìn)入瓶頸期？看看李飛飛們?cè)趺凑f

AI圈推特紅人，Keras框架的作者Fran?ois Chollet又搞大新聞了！近日Fran?ois Chollet在推特上發(fā)推稱：“深度學(xué)習(xí)研究已經(jīng)進(jìn)入了瓶頸期。將深度學(xué)習(xí)應(yīng)用于解決現(xiàn)實(shí)生活問題的應(yīng)用正在迎來一個(gè)大爆發(fā)。”

這條推特下很快獲得了上千個(gè)贊、數(shù)百轉(zhuǎn)發(fā)，以及一系列熱烈討論。從回復(fù)中看，不少回復(fù)者（尤其是產(chǎn)業(yè)界人士）認(rèn)為，“深度學(xué)習(xí)進(jìn)入平臺(tái)期”的提法值得商榷，雷鋒網(wǎng)節(jié)選了其中幾條：

Buzzfeed首席數(shù)據(jù)科學(xué)家、哥倫比亞大學(xué)客座助理教授Adam Kelleher：

會(huì)不會(huì)這只是社交網(wǎng)絡(luò)造成的樣本偏差？

Machinebox.io創(chuàng)始人David Hernandez：

在我看來在“實(shí)際問題”的應(yīng)用上還是很有限。我和不少人聊過，他們往往做的是Chatbot、欺詐檢測(cè)或者推薦這三類應(yīng)用之一。

愛丁堡大學(xué)助理教授、艾倫·圖靈學(xué)院Fellow Charles Sutton?：

我們能不能先討論整個(gè)深度學(xué)習(xí)的繁榮時(shí)代是否已經(jīng)到來？

Google Research研究員David Berthelot：

我覺得如果你寫一篇長(zhǎng)文章來解釋一下，為什么你認(rèn)為現(xiàn)在的深度學(xué)習(xí)已經(jīng)進(jìn)入平臺(tái)期，這對(duì)于我和其他讀者來說更有啟迪性。

CarrerBuilder大數(shù)據(jù)首席研究員Faizan Javed：

增強(qiáng)學(xué)習(xí)難道不是新的熱點(diǎn)嗎？

而Google Cloud機(jī)器學(xué)習(xí)負(fù)責(zé)人斯坦福大學(xué)副教授李飛飛則贊同F(xiàn)ran?ois Chollet的觀點(diǎn)，但同樣表示深度學(xué)習(xí)還有很長(zhǎng)的路要走：

同意！大浪淘沙，最后只有少數(shù)工具青史留名；學(xué)無止境，（深度學(xué)習(xí)）無論在智力、人力或機(jī)器設(shè)備方面，都還有很長(zhǎng)的路要走。

那么其他人怎么看呢？雷鋒網(wǎng)就深度學(xué)習(xí)的理論研究進(jìn)展與實(shí)際應(yīng)用趨勢(shì)征詢了若干專家的意見：

微軟亞洲研究院主任研究員鄭宇表示，深度學(xué)習(xí)爆發(fā)的瓶頸在人工智能技術(shù)與傳統(tǒng)行業(yè)的對(duì)接：

我部分認(rèn)同這個(gè)觀點(diǎn)。目前的數(shù)據(jù)、技術(shù)和基礎(chǔ)設(shè)施確實(shí)已經(jīng)成熟，可以迎來未來應(yīng)用的爆發(fā)，但能否爆發(fā)的瓶頸可能不在技術(shù)本身，而在于人工智能技術(shù)與傳統(tǒng)行業(yè)的對(duì)接。AI的未來不在IT業(yè)，而在于AI跟廣大傳統(tǒng)行業(yè)的融合，如交通、規(guī)劃、能源、環(huán)境、物流、制造和金融等。AI從業(yè)者需要學(xué)習(xí)傳統(tǒng)行業(yè)知識(shí)，理解傳統(tǒng)業(yè)務(wù)的邏輯和痛點(diǎn)，并懂得用傳統(tǒng)行業(yè)的語(yǔ)言跟行業(yè)專家對(duì)接。既要幫助革新傳統(tǒng)行業(yè)，也要懂得尊重傳統(tǒng)行業(yè)，這需要有很強(qiáng)綜合實(shí)力的數(shù)據(jù)科學(xué)家。此類復(fù)合型人才的培養(yǎng)非常困難、周期長(zhǎng)、且不容易量產(chǎn)，可能會(huì)成為制約AI大爆發(fā)的真正瓶頸。

地平線機(jī)器人創(chuàng)始人、前百度研究院副院長(zhǎng)余凱對(duì)雷鋒網(wǎng)表示，深度學(xué)習(xí)理論研究的主流架構(gòu)會(huì)收斂，很難有革命性的理論突破：

基本認(rèn)同這一觀點(diǎn)。未來學(xué)術(shù)研究還是會(huì)基于當(dāng)前研究持續(xù)進(jìn)行，但是不會(huì)有革命性的，大家的主流架構(gòu)會(huì)收斂，所以后續(xù)的重點(diǎn)是深度神經(jīng)網(wǎng)絡(luò)在各個(gè)具體應(yīng)用場(chǎng)景的落地部署。

密蘇里科大助理教授傅衍杰則用PHP框架化編程類比現(xiàn)在這一波深度學(xué)習(xí)：

基本同意這兩個(gè)觀點(diǎn)。類似web系統(tǒng), 當(dāng)年P(guān)HP大行其道，就是因?yàn)樵S多人用PHP編程語(yǔ)言，基于MVC的設(shè)計(jì)模式，設(shè)計(jì)了許多web編程框架。現(xiàn)在，深度學(xué)習(xí)也類似的涌現(xiàn)了許多編程框架 ，比如Tensor flow, Theano, Keras, Torch等等。這些框架使得Deep Learning變得更加易用，實(shí)現(xiàn)起來的編程工作量更小，出現(xiàn)錯(cuò)誤的可能性更低。所以深度學(xué)習(xí)的確進(jìn)入了一個(gè)平臺(tái)期。

結(jié)合數(shù)據(jù)挖掘的研究思路，深度學(xué)習(xí)通過層次化的學(xué)習(xí)模型，對(duì)研究對(duì)象進(jìn)行表征學(xué)習(xí)，等于使用隱式的辦法去完成表征這一步驟。所以，深度學(xué)習(xí)是可以放入感知-表征-建模-應(yīng)用，這么一個(gè)很實(shí)用也很接地氣的解決問題的思路中的。

華為諾亞方舟實(shí)驗(yàn)室研究員李震國(guó)認(rèn)為，理論往往是超前于應(yīng)用的，計(jì)算能力的提升和大數(shù)據(jù)的出現(xiàn)正是印證了之前算法和理論的有效性：

我同意他的觀點(diǎn)。不是理論取得了突破，而是算法的有效性由于計(jì)算能力的提升和大數(shù)據(jù)的出現(xiàn)獲得了驗(yàn)證。應(yīng)用會(huì)一直是機(jī)器學(xué)習(xí)的重點(diǎn)，同時(shí)理論和可解釋性會(huì)一直被探索。除了GAN, deep meta-learning也值得關(guān)注。

密歇根州立大學(xué)助理教授湯繼良認(rèn)為，深度學(xué)習(xí)工程化的門檻越來越低，而理論的門檻越來越高：

深度學(xué)習(xí)正在兩極化。大部分甚至越來越多的深度學(xué)習(xí)的人會(huì)偏向于工程化。包括建立更加全面便捷，快速甚至可視化的深度學(xué)習(xí)平臺(tái)，和adapt 甚至暴力地將深度學(xué)習(xí)應(yīng)用到更加多的領(lǐng)域。小部分的深度學(xué)習(xí)研究者會(huì)偏向于理論化：解決深度學(xué)習(xí)的理論瓶頸包括可解釋性等。一個(gè)正在發(fā)生的趨勢(shì)是：工程化的門檻越來越低，而理論的門檻越來越高。所以我還是基本認(rèn)同他的觀點(diǎn) ，但是我們也非常地期待深度學(xué)習(xí)理論上的突破。

中科院自動(dòng)化所副研究員張家俊認(rèn)為，深度學(xué)習(xí)還未有真正的爆發(fā)性大規(guī)模成功應(yīng)用：

我對(duì)深度學(xué)習(xí)理論沒深入研究，無法判斷理論研究的趨勢(shì)，不過在應(yīng)用方面，顯然深度學(xué)習(xí)還未有真正的爆發(fā)性大規(guī)模成功應(yīng)用，我覺得在各種實(shí)際應(yīng)用問題中爆發(fā)應(yīng)該是一個(gè)趨勢(shì)。在應(yīng)用方面，關(guān)鍵的是針對(duì)特定應(yīng)用，理解該領(lǐng)域的數(shù)據(jù)、場(chǎng)景和背景知識(shí)，選擇合適的深度學(xué)習(xí)方法，而不是魯莽地拿來即用。

結(jié)語(yǔ)

雷鋒網(wǎng)認(rèn)為，如果從歷史的發(fā)展來看，當(dāng)前深度學(xué)習(xí)領(lǐng)域的經(jīng)典算法和理論往往都是已經(jīng)提出了一段時(shí)間，而隨著計(jì)算能力和數(shù)據(jù)規(guī)模的發(fā)展，這些經(jīng)典理論和算法逐步得到了驗(yàn)證。如果從深度學(xué)習(xí)的問題和挑戰(zhàn)、以及解決問題的思路來說已經(jīng)發(fā)展得比較完備，因此說深度學(xué)習(xí)“進(jìn)入平臺(tái)期”也是不無道理。但從另一個(gè)角度看，進(jìn)入“平臺(tái)期”的可能是一些深度學(xué)習(xí)的經(jīng)典問題，但如果對(duì)于這些經(jīng)典問題繼續(xù)深入研究，或許能夠從中發(fā)現(xiàn)之前沒有想到的解決方法（例如，在ImageNet圖像識(shí)別上，在Alex Krizhevsky用GPU死磕將效果大幅度提升之前，大部分人應(yīng)該都不會(huì)想到AlexNet）。正如李飛飛所言，學(xué)無止境，深度學(xué)習(xí)還有很長(zhǎng)的路要走 。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。