MIT周博磊：CV本質(zhì)上是一門(mén)科學(xué)研究

雷鋒網(wǎng) AI 科技評(píng)論按：如果你常逛知乎，相信你對(duì)周博磊并不陌生。周博磊目前是 MIT 在讀博士生；知乎深度學(xué)習(xí)（Deep Learning）、機(jī)器學(xué)習(xí)、人工智能話題優(yōu)秀回答者，目前有近兩萬(wàn)的知乎關(guān)注者。在 CVPR 2017 上，周博磊牽頭分別組織了一個(gè) tutorial (http://deeplearning.csail.mit.edu/) 和 workshop (http://sunw.csail.mit.edu/)，獲得了不錯(cuò)的反響。

在參會(huì)期間，雷鋒網(wǎng) AI 科技評(píng)論與周博磊進(jìn)行了一次交流，他分享了對(duì)計(jì)算機(jī)視覺(jué)研究的一些心得體會(huì)。

周博磊，MIT CSAIL 五年級(jí)博士生，師從 Antonio Torralba 教授。本科于 2010 年畢業(yè)于上海交通大學(xué)生物醫(yī)學(xué)工程系，2012 年在香港中文大學(xué)取得信息工程碩士學(xué)位。研究方向?yàn)橛?jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)。

個(gè)人主頁(yè)：http://people.csail.mit.edu/bzhou/

知乎主頁(yè)：https://www.zhihu.com/people/zhou-bo-lei/answers

為何能辦一場(chǎng)爆滿的 tutorial？

CVPR 是計(jì)算機(jī)視覺(jué)領(lǐng)域的主流會(huì)議，物體識(shí)別和場(chǎng)景分析是計(jì)算機(jī)視覺(jué)里面的核心問(wèn)題，邀請(qǐng)到的嘉賓也是在這個(gè)方向有重要貢獻(xiàn)的研究者，所以我們的那個(gè) tutorial 整個(gè)是 full house（爆滿）。邀請(qǐng)的嘉賓之一 Ross Girshick（Facebook 人工智能實(shí)驗(yàn)室研究科學(xué)家）和我在聊的時(shí)候也提到，他也挺驚訝有這么多人關(guān)注 object detection 的問(wèn)題，而并不只局限于 GAN 和生成模型這些比較火的領(lǐng)域，畢竟物體識(shí)別還是計(jì)算機(jī)視覺(jué)的一個(gè)核心問(wèn)題吧。群眾反響比較好的話，就說(shuō)明這個(gè)（tutorial）還是辦得比較值得。

我邀請(qǐng)了愷明、Ross 還有曉剛老師，包括我自己，一起作為演講嘉賓，這個(gè) Tutorial 的主題包括物體識(shí)別、場(chǎng)景識(shí)別以及神經(jīng)網(wǎng)絡(luò)的可解釋性問(wèn)題等，都和大家的研究方向有關(guān)，也是一個(gè)比較好的結(jié)合點(diǎn)。他們也是研究這個(gè)領(lǐng)域比較領(lǐng)先的學(xué)者，就這樣組織起了本次 CVPR 的一個(gè) tutorial。（友情提示：演講 slide 已經(jīng)放在主頁(yè)上，視頻隨后也會(huì)放出）。

CVPR 的總體感受？

今年（CVPR）感覺(jué)華人（中國(guó)）公司挺多的，從論文角度來(lái)講，相對(duì)于理論和系統(tǒng)領(lǐng)域，計(jì)算機(jī)視覺(jué)一直也有很多華人在做研究。這次過(guò)來(lái)我更關(guān)注的是和人交流。新的 paper 很多其實(shí)在 arXiv 上面都有。主要還是和以前認(rèn)識(shí)的朋友重新聚一聚，和了解過(guò)工作的研究員進(jìn)一步面對(duì)面交流。

研究領(lǐng)域的話，其實(shí) workshop 就是一個(gè)體現(xiàn)前沿趨勢(shì)的環(huán)節(jié)，比如第一天的 visual interaction（視覺(jué)交互），雖然去的人不多，但我覺(jué)得是一個(gè)比較重要的方向。物體識(shí)別和檢測(cè)目前已經(jīng)做到極限了，那么物體之間的交互可能就會(huì)是進(jìn)一步的研究方向。

另外一方面是我自己馬上博士畢業(yè)了，準(zhǔn)備找找教職和 industry lab 的研究工作，CVPR 也是一個(gè)可以了解這些信息的來(lái)源。

計(jì)算機(jī)視覺(jué)有何研究趨勢(shì)？

現(xiàn)在比較火的應(yīng)該是視頻的分析和識(shí)別，包括谷歌和 Facebook 其實(shí)都投入了很大的人力在做，就像 Facebook 的機(jī)器學(xué)習(xí)組其實(shí)都招了挺多研究視頻的人，可能在 10 月份 11 月份的時(shí)候會(huì)發(fā)布一個(gè)更大的視頻數(shù)據(jù)集。我覺(jué)得可能未來(lái)會(huì)有更多的東西可以做。

另外，因?yàn)樽R(shí)別問(wèn)題目前已經(jīng)做得非常好了，識(shí)別的下一步可能會(huì)是什么？下一步可能會(huì)是認(rèn)知的任務(wù)，或是提升到推理的層面。比如系統(tǒng)識(shí)別出這里有個(gè)茶杯，但它是基于什么在支撐？其實(shí)是底下的桌子，這就是一個(gè)物體交互的過(guò)程，會(huì)涉及到更多認(rèn)知層面的東西。

AI 研究的工程化和平民化

在做研究的過(guò)程中，我一個(gè)很深的感受是，現(xiàn)在的深度學(xué)習(xí)或者說(shuō) AI 的研究變得越來(lái)越工程化了，變成一種群體作戰(zhàn)。這也可以解釋為什么現(xiàn)在公司其實(shí)是占優(yōu)勢(shì)的。因?yàn)樗鼈冇泻芏喙こ處煟梢詭湍惆哑脚_(tái)搭得很好，有很多研究員一塊來(lái)做研究，整個(gè)事情就是一個(gè)比較龐大的系統(tǒng)工程；而不像之前，可能一個(gè)人兩個(gè)人在實(shí)驗(yàn)室，就可以倒騰一個(gè)東西，現(xiàn)在可能變得越來(lái)越系統(tǒng)化了。

另外一點(diǎn)就是變得更平民化了。現(xiàn)在大家的數(shù)據(jù)和代碼都很快開(kāi)源，門(mén)檻變得越來(lái)越低。像本科生如果愿意去學(xué)的話，其實(shí)是可以很快在一個(gè)子領(lǐng)域做出一些突破的。這個(gè)研究也不一定會(huì)有多大的創(chuàng)新，但因?yàn)橛?jì)算機(jī)視覺(jué)有太多的子任務(wù)了，所以選一個(gè)方向努力做幾個(gè)月，可能就可以在頂級(jí)會(huì)議上發(fā)一篇 poster，難度也不像五、六年前那么大。

以后會(huì)議可能更多的是一個(gè)交流的過(guò)程吧，現(xiàn)在 CVPR 的接收率接近 30%，可能在五、六年前只有 23％到 24% 的樣子，而且投稿的論文也幾乎 double 了（雷鋒網(wǎng) AI 科技評(píng)論按：CVPR 2017 年有效投稿 2620 篇，錄用 783 篇）。我第一次參加 CVPR 是在 2011 年的時(shí)候，開(kāi)會(huì)的地方（Colorado Springs）就比較偏僻，參加者可能也就一千多人。

第二個(gè)是，深度學(xué)習(xí)方案確實(shí)開(kāi)始 work 了，所以公司可以很快跟進(jìn)并整合到自己的系統(tǒng)里面。MIT 自己和三星、美國(guó)政府還有一些帶軍方背景的公司有合作，但高校一般不會(huì)和比較小的公司合作，因?yàn)樾」究赡軐?duì)產(chǎn)出有比較快的要求，如果是做基礎(chǔ)研究的話，不會(huì)那么快地看到產(chǎn)出。另外有些公司的需求可能也比較簡(jiǎn)單，工程師也能做到的，就不需要放到學(xué)校里面來(lái)做。

但現(xiàn)在 AI 的整個(gè)研究變得越來(lái)越實(shí)際了，工業(yè)界以前是給學(xué)校資金支持，然后找一些有想法的老師一起合作；現(xiàn)在更普遍的模式是工業(yè)界自己建立研究院，雇傭一些老師來(lái)工業(yè)界，并且用 engineering 和資源去支持老師的研究工作。包括像李飛飛這樣的老師加入谷歌，因?yàn)楣雀璧馁Y源比較充足，她可以做更多的事情，如果這些都讓她實(shí)驗(yàn)室里僅有的幾個(gè)學(xué)生來(lái)做的話，其實(shí)不太現(xiàn)實(shí)。一方面是學(xué)生自己也要花時(shí)間學(xué)習(xí)，另外也沒(méi)有這樣的平臺(tái)或數(shù)據(jù)去從頭實(shí)踐這樣一個(gè)系統(tǒng)。

就學(xué)就業(yè)的選擇

我對(duì)自然界的東西比較感興趣，有點(diǎn)像「師法自然」這樣的，喜歡研究各種生物系統(tǒng)。高中的時(shí)候我其實(shí)是搞生物競(jìng)賽的，后來(lái)去了上海交大，大一在生物實(shí)驗(yàn)室做了一陣子，覺(jué)得不是那么有意思。后來(lái)和侯曉迪一起玩樂(lè)隊(duì)的時(shí)候受他影響挺大的，開(kāi)始上手視覺(jué)方面的研究，那時(shí)候還是 07，08 年的樣子，計(jì)算機(jī)視覺(jué)還不怎么 work。有意思的是，當(dāng)年侯曉迪推薦給我看的第一篇論文就是我現(xiàn)在導(dǎo)師（Antonio Torralba）的作品，當(dāng)時(shí)也沒(méi)想到后來(lái)會(huì)選他（做導(dǎo)師）。大三的時(shí)候就在計(jì)算機(jī)系那邊跟著張麗清老師做 CV 的研究，之后就到香港中文大學(xué)跟著湯曉鷗老師和王曉剛老師做研究，更加堅(jiān)定了做研究的想法，碩士畢業(yè)后就來(lái) MIT 了。

未來(lái)（選擇）留在學(xué)校對(duì)我的吸引力是多方面的吧。一方面是可以更自由地去做研究，第二個(gè)是可以帶學(xué)生，一起去做這件事情，也不是每個(gè)人都想去公司，對(duì)吧。

我覺(jué)得計(jì)算機(jī)視覺(jué)本質(zhì)上是一種 science（科學(xué)），怎么發(fā)現(xiàn)一個(gè)好的問(wèn)題是更加重要的，可解釋性其實(shí)就是一個(gè)比較有意思的問(wèn)題。當(dāng)時(shí)我們收集了很大的一個(gè)場(chǎng)景分類數(shù)據(jù)庫(kù)，訓(xùn)練了一個(gè)模型后發(fā)現(xiàn)準(zhǔn)確度非常高。我導(dǎo)師的第一篇論文就是做場(chǎng)景分類的，他就覺(jué)得很不可思議，為什么機(jī)器能夠達(dá)到人的水平。我們就開(kāi)始做一些可視化的工作，后來(lái)這篇論文投到 ICLR 2015 上中了 oral，當(dāng)時(shí)也就十幾篇（oral）吧，而且其他的論文都是工業(yè)界的文章，像谷歌、微軟和 Facebook 這些。所以我們這篇論文就有種讓人眼前一亮的感覺(jué)，因?yàn)槲覀兏褚环N從科學(xué)角度去探討問(wèn)題的感覺(jué)，從設(shè)計(jì)問(wèn)題到實(shí)驗(yàn)過(guò)程都不是那么工程化，本質(zhì)上更像是一種探索。

深度學(xué)習(xí)其實(shí)不是一個(gè)黑箱，它里面的結(jié)構(gòu)還是比較清楚，只是說(shuō)大家覺(jué)得參數(shù)這么多好像很難理解。比如我們 15 年 ICLR 的工作就說(shuō)明了一個(gè)這樣的問(wèn)題，當(dāng)我們訓(xùn)練了一個(gè)場(chǎng)景分類的模型之后，它里面就學(xué)會(huì)了很多 object detector 的內(nèi)容。比如說(shuō)你覺(jué)得這是一個(gè)客廳，是因?yàn)槟憧吹嚼锩嬗须娨暋⒂猩嘲l(fā)；那么我們?cè)诮躺窠?jīng)網(wǎng)絡(luò)識(shí)別的時(shí)候，它也是同樣檢測(cè)這張圖里有沒(méi)有電視和沙發(fā)，然后再分類為客廳的。這個(gè)過(guò)程實(shí)際上和人的識(shí)別過(guò)程是很類似的，我覺(jué)得以后會(huì)有更多的工作去研究這方面的問(wèn)題。（http://arxiv.org/pdf/1412.6856.pdf）

我前兩個(gè)月去參加了一個(gè)叫 VSS（Vision Science）的會(huì)議，這個(gè)會(huì)議主要探討的就是做 vision science 的人是怎么解決視覺(jué)問(wèn)題的，他們就是從人腦、從認(rèn)知的角度去探討問(wèn)題，對(duì)我的啟發(fā)也很大。

回到 CVPR 的 tutorial 上，其實(shí)昨天愷明和 Ross 分享的都是怎么把性能提升，怎么去訓(xùn)練一個(gè)更深的模型，這是故事的一個(gè)方面；故事的另外一方面是，這些訓(xùn)練得到的優(yōu)秀的表征到底有些怎樣的含義，如何比較不同的表征的語(yǔ)義性，能更好的幫助我們理解內(nèi)部的運(yùn)作機(jī)制，這也是我的一個(gè)研究方向。

如何成為「知乎網(wǎng)紅」？

并不是想成為「網(wǎng)紅」。在知乎上寫(xiě)回答的一個(gè)原因是，現(xiàn)在誤導(dǎo)的信息比較多，所以我覺(jué)得有必要出來(lái)以正視聽(tīng)吧，但我說(shuō)的也不一定對(duì)，其實(shí)也只是把我自己的觀點(diǎn)表達(dá)出來(lái)，分享自己研究的一些心得體會(huì)。

MIT 其實(shí)很早就有 AI 了，有些老教授會(huì)覺(jué)得，如果把 AI 作為一個(gè) popular science 去宣傳的話其實(shí)挺沒(méi)必要的，這樣對(duì)研究員的壓力很大，如果老想著要做能搞大新聞的研究，也不一定是好事。

（在知乎上回答問(wèn)題）這也是對(duì)我自己的一個(gè)訓(xùn)練，就是怎么把自己的想法有邏輯地表達(dá)出來(lái)。這對(duì)研究員來(lái)說(shuō)其實(shí)是比較欠缺的一部分，因?yàn)樽x博的話可能就一個(gè)人埋頭深入研究，其實(shí)不知道怎么跟別人分享自己的想法。但如果有這么多人能覺(jué)得我寫(xiě)的東西對(duì)他們有幫助的話，其實(shí)也是挺好的。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。