清華教授孫富春：從視聽覺認(rèn)知到無人駕駛 | CCF-GAIR

本文作者：張偉

2016-09-28 19:31

導(dǎo)語：“如果有一天你坐在車?yán)锩妫瑳]有駕駛員，或者駕駛員沒有把握方向盤，千萬不要震驚，因?yàn)槲覀円呀?jīng)進(jìn)入了一個(gè)無人駕駛時(shí)代”。

編者按：2016年8月12、13日，雷鋒網(wǎng)在深圳舉辦了盛況空前的“全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR）”，來自中美加的全球最為頂尖的科研實(shí)驗(yàn)室、學(xué)術(shù)權(quán)威、產(chǎn)業(yè)大咖、投資領(lǐng)袖共同探討人工智能、機(jī)器人、無人機(jī)、智能駕駛等四大領(lǐng)域的未來趨勢和產(chǎn)學(xué)研發(fā)展方向。雷鋒網(wǎng)將會(huì)議精彩演講內(nèi)容與視頻精心編輯，近期將逐步放出。

● ● ●

清華教授孫富春：從視聽覺認(rèn)知到無人駕駛 | CCF-GAIR

▲ 清華大學(xué)教授、863計(jì)劃專家組成員孫富春

“如果有一天你坐在車?yán)锩?，沒有駕駛員，或者駕駛員沒有把握方向盤，千萬不要震驚，因?yàn)槲覀円呀?jīng)進(jìn)入了一個(gè)無人駕駛時(shí)代”，這是清華大學(xué)教授、863計(jì)劃專家組成員孫富春教授在CCF-GAIR大會(huì)上演講的開場白。

他還不無自豪的介紹了其創(chuàng)辦的中國智能車未來挑戰(zhàn)賽取得的成就：“你可能難以想象，從長沙到武漢2800多公里的路段里，有雨天也有晴天，人工干預(yù)僅僅占整個(gè)路段的0.75%；從北京到天津150多公里的路段里，沒有人工干預(yù)，實(shí)現(xiàn)全程的自主駕駛……”

作為國家自然科學(xué)基金委員會(huì)重大研究計(jì)劃“視聽覺信息的認(rèn)知計(jì)算”指導(dǎo)專家組的一員，孫富春教授介紹，該研究計(jì)劃在2000年披露，經(jīng)過8年的論證，直到2008年才在國家自然基金委立項(xiàng)，至今走過8年，要感謝許許多多人。

“視聽覺信息的認(rèn)知計(jì)算”研究計(jì)劃

視聽覺信息首先是“看到”。上帝對人特別青睞，從眼睛到微曲的皮層，我們經(jīng)歷的是感知部分和信息處理部分，還有連接二者的中間環(huán)節(jié)。這么長的路徑，觸覺、聽覺等其他感覺是沒辦法做到的，所以眼睛被稱為心靈的窗戶。

清華教授孫富春：從視聽覺認(rèn)知到無人駕駛 | CCF-GAIR

▲ 視聽覺信息研究對象

數(shù)據(jù)顯示，人類獲取外界的信息80%來自視覺，而且，大腦皮層的60%都與視覺相關(guān)。當(dāng)然，聽覺也是非常重要的部分。

先鋒科學(xué)家揭示，自然圖像經(jīng)過稀疏編碼以后的基函數(shù)與微曲的皮層細(xì)胞感受的反應(yīng)特性是一致的。這一發(fā)現(xiàn)也為未來通過稀疏編碼的方式來研究視覺編碼奠定了理論基礎(chǔ)。

據(jù)孫教授介紹，在專家組近年的研究中，發(fā)現(xiàn)觸覺與視覺是同構(gòu)的（讓人想到盲人和失聰者的眼睛特別好）。未來可以通過人工攝像機(jī)把視覺編碼變成觸覺編碼，讓盲人感受到外部的世界（這兩年也已經(jīng)有人工視網(wǎng)膜的出現(xiàn)）。

專家組還發(fā)現(xiàn)，語音在稀疏編碼下的去燥特性、增強(qiáng)特性非常好。語音是否也具有與觸覺一樣的底層結(jié)構(gòu)呢？這正是需要研究的問題。

所以，本計(jì)劃中的“視聽覺信息”研究對象主要是指與人視聽覺感知相關(guān)的圖像、語音以及文本信息，目的是促進(jìn)計(jì)算機(jī)對這類信息實(shí)現(xiàn)有效的處理和理解。

機(jī)器認(rèn)知能力不如三歲小孩

事實(shí)上，日常生活中視聽覺信息非常多，有各種各樣的工具（信息器）比如手機(jī)、攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)、衛(wèi)星遙感等來捕捉這些信息。

網(wǎng)絡(luò)產(chǎn)生前，大家生活在二元世界里，彼時(shí)的機(jī)器人智能都是局部的；如今在網(wǎng)絡(luò)世界中，機(jī)器人完全可以實(shí)現(xiàn)全局智能。比如自動(dòng)駕駛汽車可以在網(wǎng)上找到一條路徑，通過地圖規(guī)劃路徑，借助攝像機(jī)的形態(tài)識(shí)別找到我們今天的會(huì)場，這就是網(wǎng)絡(luò)的神奇。

網(wǎng)絡(luò)上有海量的視聽覺感知數(shù)據(jù)。如何有效地快速地發(fā)現(xiàn)這些數(shù)據(jù)，通過及時(shí)有效的處理把它變成可用的知識(shí)，這是無人駕駛研究中非常重要的部分。

目前，對于結(jié)構(gòu)化信息的處理能力，機(jī)器遠(yuǎn)遠(yuǎn)超過人，比如說一些報(bào)表；但對于非結(jié)構(gòu)化的信息，比如說聽覺信息，人要遠(yuǎn)遠(yuǎn)強(qiáng)于機(jī)器人，比如人可快速在人群里找到熟悉的朋友，有人駕駛汽車可以在任意非常復(fù)雜的環(huán)境中進(jìn)行駕駛，而無人駕駛目前還辦不到。

盡管機(jī)器的計(jì)算速度提升比較快，但計(jì)算機(jī)的認(rèn)知能力還非常落后，它的認(rèn)知能力甚至不及一個(gè)三歲小孩。

兩大挑戰(zhàn)和三大基本科學(xué)問題

8年來，我們的目的就是研究人類視聽覺的認(rèn)知機(jī)理，發(fā)展新的高效計(jì)算模型，提高計(jì)算機(jī)對與人視聽覺感知相關(guān)的圖像、語音和文本信息的理解能力和處理效率，在無人駕駛的平臺(tái)上進(jìn)行驗(yàn)證。目前，圍繞認(rèn)知過程的表達(dá)與計(jì)算有兩大挑戰(zhàn)和三大基本科學(xué)問題。

兩大挑戰(zhàn)：

1、復(fù)雜感知信息的理解

2、海量異構(gòu)信息的計(jì)算。

三大基本科學(xué)問題：

1、感知基本特征的提取、表達(dá)和整合，主要是要探索人力視聽覺信息基本特征的提取、表達(dá)與整合機(jī)理，為建立相關(guān)高效計(jì)算模型奠定基礎(chǔ)。

2、感知數(shù)據(jù)的機(jī)器學(xué)習(xí)與理解，主要圍繞圖像、語音和語言數(shù)據(jù)的非結(jié)構(gòu)化和半結(jié)構(gòu)化特點(diǎn)使計(jì)算機(jī)難以實(shí)現(xiàn)從數(shù)據(jù)層到語義層的轉(zhuǎn)化，建立新的機(jī)器學(xué)習(xí)方法是實(shí)現(xiàn)這種轉(zhuǎn)化的有效途徑。

3、關(guān)于跨模態(tài)信息的協(xié)同計(jì)算。

目前，三個(gè)關(guān)鍵技術(shù)都取得了突破，比如在視聽覺信息的協(xié)同計(jì)算、自然語言的理解與視聽覺認(rèn)知相關(guān)的腦機(jī)接口方面，已經(jīng)建立無人駕駛平臺(tái)、腦機(jī)接口平臺(tái)和搜索引擎；還創(chuàng)建了無人車未來挑戰(zhàn)賽以及腦機(jī)接口比賽兩個(gè)國際性的賽事；同時(shí)收獲了國際科學(xué)獎(jiǎng)項(xiàng)。

孫富春在演講中提到，“我們還把腦機(jī)接口用在無人駕駛方面，通過腦控來控制無人車的運(yùn)動(dòng)。另外還通過腦機(jī)接口實(shí)現(xiàn)自動(dòng)泊車。目前，在非浸入式腦機(jī)接口方面，中國處于世界領(lǐng)先地位”。

駕駛腦

在孫富春教授看來，駕駛腦是專家組這些年研究的突出成果，它主要的工作是模擬人的駕駛經(jīng)驗(yàn)，學(xué)習(xí)人眼和聽覺的感知進(jìn)行表達(dá)和融合，在環(huán)境中作出決策。

清華教授孫富春：從視聽覺認(rèn)知到無人駕駛 | CCF-GAIR

▲ 駕駛腦

當(dāng)然，這個(gè)過程中要去掉人在駕駛過程的一些情緒的影響。

人的性格決定他開車是保守還是張揚(yáng)；長期記憶區(qū)存儲(chǔ)人在長期駕駛過程里形成的經(jīng)驗(yàn)和技巧；動(dòng)機(jī)就是完成出行任務(wù)從起點(diǎn)到終點(diǎn)的一次性路徑規(guī)劃；短期記憶主要表示駕駛員的選擇性注意，僅僅關(guān)注剛剛過去的以及當(dāng)前的周邊駕駛態(tài)勢。

拒絕人腦中的情緒部分進(jìn)入駕駛腦，永遠(yuǎn)不會(huì)因情緒而分散注意力，機(jī)器始終專注。

我們的眼睛、耳朵可以感知外面的環(huán)境，比如說在哪里，這旁邊有沒有障礙和目標(biāo)，通過長期記憶區(qū)來決策這種情況下我應(yīng)該如何駕駛，這叫行動(dòng)。

然后把行動(dòng)的信息和感知信息進(jìn)行比對，確認(rèn)是不是達(dá)到了效果，就形成這樣一個(gè)閉環(huán)：從動(dòng)態(tài)感知到態(tài)勢分析、自主決策到精確的控制和行動(dòng)。

清華教授孫富春：從視聽覺認(rèn)知到無人駕駛 | CCF-GAIR

▲ 駕駛腦感知域、認(rèn)知域及行動(dòng)域的工作閉環(huán)

這里面還有一個(gè)很重要的概念就是路權(quán)：行進(jìn)過程中車本身占有的空間。在這個(gè)基礎(chǔ)上形成了自主決策。比如速度應(yīng)該有多少變化，轉(zhuǎn)角應(yīng)該多大的變化，形成決策記憶池。通過控制模塊控制無人車，從感知到?jīng)Q策再到控制，形成閉環(huán)。

駕駛腦是通過英偉達(dá)的Drive PX實(shí)現(xiàn)的自動(dòng)駕駛硬件系統(tǒng)。