AIR 036 | 清華大學孫富春：視聽覺認知的8年抗戰

8月13日，在CCF - GAIR峰會第二天的智能駕駛專場，清華大學教授孫富春帶來了國家自然科學基金委員會重大研究計劃視聽覺信息委員會的八年計劃。

孫富春表示，這個項目經過8年的論證到2008年才在國家自然基金委成立，這是視聽覺認知計算的重大立項。從2008年到2017年總共也是8年，他們的目的是研究人類視聽覺的認知機理，發展新的高效計算模型，提高計算機對與人視聽覺感知相關的圖象、語音和文本信息的理解能力和處理效率，是圍繞認知過程的表達與計算的基本科學問題。

什么是人類視聽覺的認知機理？

 感知基本特征的提取、表達和整合

 感知數據的機器學習與理解

 關于跨模態學習的信息協同與計算

他們的主要工作就是研究人對視聽覺的感知，這些信息在腦區是怎么編碼的？腦區是怎么合作的進行信息的融合？并且把這些變成可計算的模型，這樣的話我們就可以把聽覺信息和視覺信息進行編碼，通過可計算的模型進行處理來對環境進行感知和理解，并且把這種理解和人的理解進行比較，最終把這種技術用在無人駕駛方面。

在演講中展示了他們從2008年開始8年在視聽覺感知中的重要成果，并且從2009年開始至今總共舉辦了7次無人車的挑戰賽，在過程中:

發表更多的關于認知科學方面的成果。

把自然語言理解和腦機接口把它集成到車的平臺上，許多成果現在還停留在實驗室。

通過無人車平臺取得的重大進展，進一步促進創新，引領無人車產業的發展。

未來的愿景

1、認知機理研究成果，如何形成可計算的模型，這個我們探索了很多的方法，還需要進一步地完善。

2、在環境感知的拓撲結構信息如何在認知過程中表達與理解。

3、探索新興的多模態傳感器，如把聲音視頻信息集成在一起。

4、研究人機智能混合問題，這個也是剛剛國家提到的人工智能2.0版本，我們要研究人機混合的智能系統。

  希望能通過無人車挑戰賽個平臺發表更多的關于認知科學方面的成果。

以下為演講實錄：

尊敬的各位來賓，女士們先生們，大家上午好！如果有一天你坐在駕駛車里面，看到駕駛室里沒有駕駛員，或者是這個駕駛員沒有把握方向盤，你千萬不要震驚，因為我們已經進入了一個無人駕駛的時代。你可能難以想象，從長沙到武漢，2800多公里的路段里面，有雨天也有晴天，人工干預僅僅占整個路段的0.75%，從北京到天津150公里的路段里面，沒有人工干預，實現全程的自主駕駛。可能你更難以想象的是，在2.08米障礙的路段里面自主車穿越只有11厘米的絨線，自主車的效率是人工的5倍。

我們今天給大家帶進由國家自然科學基金委員會重大研究計劃視聽覺信息委員會的八年里面走過的一個一個故事。

視聽覺信息的認知計算我把它比喻成8年抗戰5年的解放戰爭和抗美援朝。這個項目經過8年的論證到2008年才在國家自然基金委成立，視聽覺認知計算的重大立項。走到今天我們要感謝鄭南寧、李德毅、陳琳、孫家廣等院士。

視聽覺信息首先是看到，這張圖大家可以看到，這張圖是在1997年發表的一篇文章里講到的，大家看到，上帝對人特別青睞。從我們的眼睛到微曲的皮層。這個環節是連接了感知部分和信息處理部分，大家想想這么長的一個感知和處理部分，我們的觸覺和其它感覺聽覺都沒有這么長的感知和處理路段，所以大家看到的眼睛是我們心靈的窗戶。我們人類獲取外界的80%的信息是來自視覺，我們皮層的60%都是跟視覺相關的。

聽覺也是非常重要的部分，自然圖象經過系數編碼以后的稀函數，近年的研究我們更加發現了觸覺與視覺同構，這就使我們想到瞎子的眼睛特別好，未來我們可以通過人工攝像機把視覺編碼變成觸覺編碼，讓瞎子感受到外部的世界，這兩年已經有人工視網膜的出現，渴望打通另一條通道。這兩年我們也發現，就是這個語音，語音在稀疏編碼下的去燥特性特別好。語音是否也具有像觸覺一樣的底層結構呢？這是我們要研究的問題。本計劃中的視聽覺信息是指與人視聽覺感知相關的圖象語音和文本。

我們平時日常生活里的視聽覺信息非常多，我們有各種各樣的手段，我們叫信息器，手機、攝像機、網絡的攝像機、衛星遙感等等等等。大家應該可以想到，我們現在的人生活在一個三元世界里面，哪三元世界呢？就是一個網絡世界，物理世界，和它們共享的知識世界。網絡產生之前，我們生活在一個二元世界里面，三元世界的人是怎么工作的？我一個學生說你把這兩個英文給我翻譯一下，我說你明天給我，他馬上就給我了，他放到谷歌里一翻譯檢查一下。過去我們很難想說機器人有全局智能，它的智能是局部的，今天在網絡世界里，機器人完全可以得到全局智能。

講一個最簡單的例子，自主車完全可以到一個陌生的環境里，比如從機場來到我們的會場，它只要簡單地在網上找到一條路徑，搜狗地圖它可以規劃路徑，通過攝像機的形態識別可以找到我們的會場，進入到會場中間來，這就是網絡給我們帶來的。大家看到，網絡這里面有大量的，我們叫海量的視聽覺的感知數據。我們如何有效地快速地發現這些技術，把它變成可用的知識，這是無人駕駛里非常重要的方法。

大家看到，在語音監控和聽覺監控里面，首先我們來看一下視頻的監控，比如北京，現在有一百多萬的攝像頭，它的信息量是多大呢？一個小時的信息量相當于中央電視臺所有的節目的總和，這么大量的信息是很難得到基本的及時的處理。另外在語音監控方面，我們舉一個簡單的數字，比如境外法輪功入鏡電話每天達到50萬個，日通話量四億分鐘，我們怎么有效處理這些信息，也是非常難的。

我們再來比較一下機器人和人，我們都很清楚，對于結構化的信息，比如像報表，考試學生的信息登記，諸如此類的。機器的能力遠遠地大于人，但是對于非結構化的信息，比如說聽覺信息，汽車行駛過程里的視覺信息人遠遠高于機器，我們可以快速在人群里找到我熟悉的朋友。有人駕駛汽車可以在任意非常復雜的環境里進行駕駛。所以盡管機器的計算速度提升比較快，但計算機的認知能力非常落后，它的認知能力甚至不及一個三歲小孩。

我們來比較一下人機器處理方式上并行是人墻，感知方面的話，人特別擅長跨模態的信息，大家知道貓的視覺皮層和聽覺皮層是重合的，但是人恰恰是分開的。視覺觸覺聽覺，這些是怎么合作的？人為什么具有這么強大的能力，整體性方面和選擇性方面也是人強。人在人群里能看到媽媽，如果是雙胞胎的媽媽小孩認出來了，機器認錯了。而且小孩知道他說的意思是什么，這是機器難以做到的。

我們視聽覺認知的指導思想就是要研究人對視聽覺的感知，這些信息在腦區是怎么編碼的？腦區是怎么合作的進行信息的融合？并且把這些變成可計算的模型，這樣的話我們就可以把聽覺信息和視覺信息進行編碼，通過可計算的模型進行處理來對環境進行感知和理解，并且把這種理解和人的理解進行比較，最終把這種技術用在無人駕駛方面。

介紹一下我們的重大計劃是2008年到2017年總共也是8年，我們的目的是研究人類視聽覺的認知機理，發展新的高效計算模型，提高計算機對與人視聽覺感知相關的圖象、語音和文本信息的理解能力和處理效率，為國家的安全和國民經濟作出重要貢獻。所以我們圍繞這個需求，我們的目標是圍繞認知過程的表達與計算的基本科學問題。

    一、感知基本特征的提取、表達和整合，主要我們要探索人力視聽覺信息基本特征的提取、表達與整合機理，為建立相關高效計算模型奠基基礎。

    二、感知數據的機器學習與理解，主要圍繞圖象、語音和語言數據的非結構化和半結構化特點使計算機難以實現從數據層到語義層的轉化，建立新的機器學習方法是實現這種轉化的有效途徑。

    三、關于跨模態學習的信息協同與計算。視覺信息和聽覺信息它是一個動態序列，它可以表示成什么？運動流形的形式，比如說這個是流形式視覺信息，這是聽覺信息。視聽覺融合首先要找到這兩個信息流形的公共部分，然后稱為相融信息，然后才能對相融信息進行處理。

多模融合大家來看一看，兩個傳感信息的基函數是一樣的。圖象和聲音的函數基是不一樣的，這里要引出主稀疏的概念，如果兩個函數相差比較小，我們可以找到它的公共部分，這個是基于組稀疏編碼的這樣一個原理。所以我們的預期成果是圍繞三個核心的科學問題來開展前沿基礎的研究。主要我們在視聽覺信息認知問題的基本理論上經過了八年努力取得了很多進展，三個關鍵技術都取得了突破，比如在視聽覺信息的協同計算、自然語言的理解與視聽覺認知相關的腦機接口。我們還創建了兩個國際性的比賽，一個是無人車的未來挑戰性，一個是腦機接口的比賽。

下面來看看我們取得的成績，我們有三個國家自然科學獎等。

（PPT）

    駕駛腦是我們這些年研究的突出成果，它的主要成果是模擬我們人進行駕駛的經驗。一個叫下行，我們人在這樣一個環境里面怎么樣來決策，通過我們人的長期經驗來學習人的認知能力。這里面就是我們在學習人的視聽覺信息能力的時候我們要去掉人在駕駛過程的一些情緒的影響，比如人在駕駛過程里面可能有一些受到情緒的影響，這些在我們的認知過程里是要去掉的。

    我們繼續看看，這是我們人的腦，它有長期記憶，有性格，人的性格決定了他開車的保守或者說有的人是比較張揚的。我們有長期意義區，就是人在長期駕駛過程里形成的經驗和技巧。動機就是完成出行任務從起點到終點的一次性路徑規劃。短期記憶：表示駕駛員的選擇性注意，僅僅關注剛剛過去的以及當前的周邊駕駛態勢。情緒：拒絕人腦中的情緒部分進入駕駛腦，永遠不會因情緒而分散注意力，機器人始終專注。大家過去也看到，說一個駕駛員經過一個街道的時候發現街道的大樓上有一個非常表現的姑娘的照片，結果撞車了，現在的機器人無人車是可以杜絕這種現象。再一個是學習和思維，比如SLAM的基礎上，通過記憶匹配，完成二次規劃，來決定下一時刻的行為。這就是駕駛腦的概念。

我們把這個概念從上行和下行得到下面一個圖式，我們的眼睛、耳朵可以感知外面的環境。我們的人根據感知的環境信息，比如說在哪里，這旁邊有沒有障礙和目標，通過長期記憶區來決策這種情況下我應該如何駕駛，這叫行動。然后把行動的信息和感知信息之間進行比對，我是不是達到了我行為的效果，就形成這樣一個閉環，從動態感知到態勢分析、自主決策到精確的控制和在線的行動。這樣的話我們就把駕駛腦形成了這樣一個圖，前面部分我們叫感知部分，叫感知域。規劃部分叫認知域，這個部分我們叫行動域。

這樣的話，比如說我們的駕駛車上有第一個是GPS、雷達和光學系統，一般來講我們在比賽里面GPS是不用的，然后形成長期和短期記憶，然后把這些感知信息進行融合，形成駕駛的態勢圖。這里面有一個很重要的概念就是路權，就是形成過程中車本身占有的空間，在這個基礎上形成自主決策。比如速度應該有多少變化，轉角應該多大的變化，形成決策記憶池。通過控制模塊控制無人車，這個從感知到決策到控制，形成這么一個閉環。這是通過英偉達的DrivePX的自動駕駛系統。

（PPT）   

這是最后形成的輪式機器人，向經驗駕駛員學習開車的過程，左邊顯示的是過去駕駛的經歷，這邊一邊是人駕駛的經驗過程，大家看到最右邊這塊是我們的無人駕駛汽車，通過感知，通過態勢數的形成，實現駕駛態勢的感知。然后通過認真提取，然后形成記憶。這個是當前的認知，人在駕駛過程里面當前的認知，包括山路、視覺綜合形成的駕駛態勢圖，跟經驗態勢進行匹配，這種環境里我完成這么一個任務應該怎么駕駛，我找我的經驗庫里面，我過去做過這個事，這個情況下應該這么做可能效果最好，找到匹配，找到以后就把這個經驗用來學習，用來認識，然后操縱方向盤。

這個過程可以通過深度學習來實現，比如說我們就做過，我們通過第二次模型來推理，在這個環境下面向這樣一些障礙，我應該怎么去做，駕駛的速度變化量多少，角度變化量多少，形成一個模型，這個模型也可以通過深度學習表達出來。

我們專家組還有一項非常重要的工作就是車輛的檢測問題，這個問題就是過去從1998年以來沒有一篇文章介紹車輛的檢測方法是完全脫離訓練樣本的，我們這里提出了一種方法。這個方法是在二維和三維空間之間進行三重推理然后進行交互印證，這個框架完全脫離訓練樣本，充分李永樂三維語義場景和圖象信息。  

在過去八年里面，我們在視聽覺信息的認知和機理方面也做了很多工作，比如在神經科學領域的Neuron而2012和IEEE CVPR2010里就有一項工作。這項工作在美國CVPR里面，這個方法的效率大大提高。這個工作是關于多觸覺的視覺分割，采用具有不同時間結構的噪音刺激落研究大腦的時間分割過程，發現兩個優化的時間尺度。 

大家都知道，國際上有一個國際腦成像大會，這個大會一般人很難在這里做大會報告，這個報告是由組委會的學術委員會選舉產生的，我們國家20多年來沒有一個去，在18屆會議上我們的陳霖院士作為第一個做了大會主題報告。

在多通道的腦機接口方面我們有一篇很好的工作，在連續兩年里面，這篇文章被列為這個雜志引用最多的文章。

（PPT）

這是一篇關于非侵入式腦機接口的高效率字符輸入，把字符輸入速度整整提高一倍，這篇文章發表在美國自然科學的刊物里面，這是這個領域目前最好的工作。我們還把腦機接口放在無人駕駛方面，通過腦控來控制無人車的運動。另外我們通過腦機接口實現自動泊車。 這是我們從2008年以來一直堅持下來的腦機接口的比賽，現在在非浸入式腦機接口方面我們處于世界領先地位。

這里有些展示我跟大家做一個匯報。這個圖就是2011年的7月份從長沙到武漢，總共286公里，歷時3小時22分鐘，這個路段有下雨，有超車，整個的人工干預只有2140米。這個工作是2014年11月25日完成了北京到天津長距離高速公路自主駕駛實驗，歷時1小時30分鐘。

（視頻）

最后用兩分鐘的時間介紹一下我們無人車的挑戰賽，我從2009年開始到去年總共舉辦了7次比賽，第一次是西安的長灞生態區，當時2.6公里的路段。2010年也是在西安由長安大學舉辦的，也是2.6公里的路段，主要測試曲線行駛等。2011年在鄂爾多斯，加到了10公里，后面我有一個表列出了這幾次比賽的基本情況。2013年開始在常熟，2014年到2015年都是在江蘇的常熟。我們把七次比賽列在這個表里面，七年來參賽隊數人數越來越多，最多的是22個隊，比賽場景是越來越復雜，從2.6公里到6.7公里到10公里到13.5公里。從比賽的結果來看，人工干預最后基本上沒有了，而且速度是越來越快，包括剛才我演示的從長沙到武漢，從北京到天津都是無人干預下來完成的，所以我們的比賽是從局限的封閉道路越來越走向真實的道路環境里面。

最后總結一下，8年當中取得了很多成績，還有些工作我們覺得今后也是非常重要的。第一個是認知機理研究成果，如何形成可計算的模型，這個我們探索了很多的方法，還需要進一步地完善。第二個是在環境感知的拓撲結構信息如何在認知過程中表達與理解。另外探索新興的多模態傳感器。比如把聲音視頻信息集成在一塊。另外就是人機智能混合問題，這個也是剛剛國家提到的人工智能2.0版本，我們要研究人機混合的智能系統。

最后我們的想法就是我們要借助這個平臺發表更多的關于認知科學方面的成果。第二個把自然語言理解和腦機接口把它集成到車的平臺上，許多成果現在還停留在實驗室。第三就是我們的要求是通過無人車平臺取得的重大進展，進一步促進創新，引領無人車產業的發展。

最后我用這首詩結束我今天跟大家的分享：《賀全球人工智能與機器人峰會》，人機仿造勝奴仆，親我勞耕續史書。（PPT）

謝謝大家！

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。