MIT人工智能算法披露：我們如何用 200 萬張圖片預見 1.5 秒后的世界？

我們生活在物理世界里，但往往沒有深入思考這樣一個問題：自己是如何迅速理解周邊事物的？

人類能夠對背景的變化、事物之間的相互關聯等等做出非常自然的反應。而且，這些反應并不會耗費我們多少注意力，同時還能處理得非常妥帖。

但是，人類的這種與生俱來的能力對于機器來說就沒那么簡單了。對于一個事物，其潛在發展的變化方式有成千上萬種可能，這讓計算機學會如何正確地做出預測是非常困難的。

近期，麻省理工學院（MIT）計算科學與人工智能實驗室（CSAIL）的研究工作者的一項研究成果再次推進了機器學習的發展。深度學習算法僅僅通過一張圖片，就可以讓計算機便生成一小段視頻來模擬圖中場景，并預測接下來會發生的情景。

訓練過程使用了 200 萬個無標簽的鏡頭，視頻總時長達一年。相比使用基準模型算法，這一算法生成的視頻更真實。在測試過程中，深度學習算法生成的視頻和比基準模型算法真實度高了 20%。

研究團隊稱，這項技術可以用于改進安檢策略、提高自動駕駛安全性等諸多領域。據該實驗室博士生與第一作者透露，這一算法能夠實現人類活動的機器識別從而擺脫人工識別的高昂費用。

“這些視頻展現了電腦認為將會發生的場景，”Vondrick 表示，“如果你可以預測未來，那么你必須能夠理解目前發生的事情。“Vondrick、MIT 教授 Antonio Torralba 還有 Hamed Pirsiavash 教授共同發表的這一成果。Pirsiavash 教授是 CSAIL 的博士后，現于馬里蘭大學擔任教授。這項工作將于下周在巴塞羅那召開的神經信息處理系統大會（NIPS）上展出。

MIT人工智能實驗室使用深度學習算法生成預測性視頻。圖為沙灘、運動、火車站及醫院的預測結果

此項目花費了近兩年的時間讓算法“學習”兩百萬幅未加標簽的視頻。

動態視覺

許多計算機視覺領域的研究工作都研究過類似的課題，包括 MIT 教授 Bill Freeman。Freeman 教授近期的關于“動態視覺”的課題同樣是研究對一個場景主動生成未來幾幀的圖像，不過他所提出的問題模型集中在解決未來視頻的推斷上。這是先前研究成果中未出現過的。

以往的系統模型逐幀重建場景，通常會在邊緣有較大誤差。與此相反，這項研究攻克了“建立整個場景”的難題，算法從一開始就能產生幀率為 32 的視頻。

“逐幀建立場景就像玩 Telephone Game 一樣（Telephone Game 是什么？傳送門：http://icebreakerideas.com/telephone-game/），在屋里轉一圈后信息便已經大相徑庭了。”Vondrick 說道，“一次性地處理一整個場景，就好比這個游戲中你能將消息傳給所有人一樣。”

當然，在同時生產所有場景時會有一些權衡，并且針對長視頻，計算機模型也是非常復雜的，但這一結果在逐漸變得準確。這種精準的預測相對于增加的復雜度是非常值得的。為了建立多幀場景，研究工作者訓練計算機來區分前景和背景。而后將提取的對象放回視頻中再訓練，哪個部分是靜止的，哪個部分是運動的。

研究團隊使用稱作“adversarial learning”的深度學習算法，該方法訓練兩個競爭神經網絡。其中一個神經網絡生成視頻，另一個作為檢測器尋找生成視頻與原視頻的不同。

通過訓練，視頻生成的結果便可以騙過檢測器。此時，這一模型可以生成諸如海灘、火車站、醫院、高爾夫球場等場景。比如，海灘模型可以生成海浪，高爾夫球場模型可以生成草坪上走動的人群。

團隊使用兩個相互競爭的神經網絡。高斯白噪聲輸入到系統G產生虛假視頻，選擇性的將真是視頻或是虛假視頻送入到系統D中，輸出后得到真實的視頻。

其中一個網絡的工作過程具體如上圖，將 100dB 的白噪聲分別輸入到前景和背景圖流中，在進行采樣和 Sigmoid 蒙版處理，得到參數并根據公式生成空時圖像矩陣，從而產生視頻。

盡管還有人懷疑視頻到底是真實的還是虛假的，但這的確已取得很大進步。

這個系統將努力學習這個世界，比如前景背景的分割。上圖為該算法的圖像分割技術，可以得到前景和背景圖。

場景測試

研究團隊將該方法生成的視頻與基準模型方法的結果做出比對，通過詢問測試者哪種結果更加真實來給出判決。從 150 位測試者提供的 13000 個結果中，認為前者更真實的結果數量相比后者高出 20%。

Vondrick 強調目前這一模型還欠缺一些簡化的常識性準則。例如，算法有時不能理解目標移動后所占用的區域會不會發生變化，比如貫穿畫面的一列火車。此外算法生成的人和物的尺寸會看起來比實際大很多。

另一個限制因素是時間，該算法生成的視頻僅僅能持續 1.5 秒。在后期研究工作中，他們團隊期待可以增加時間。但是這是個不小的挑戰，因為這要求算法計算相隔較遠的時間點上的相關性，從而確保景象仍然在更長時間內是說得通的。解決這個問題的一個方法是使用監督學習。

“在一個視頻的長時間段中想要搜羅到精確的信息非常困難。”Vondrick 認為，“如果一個視頻里既包括做飯又含有吃飯的活動，那么必須使這兩個動作之間產生互相關，從而使得視頻看起來更加準確。”

這種模型并不局限于預測未來。生成的視頻還可以用來美化靜態圖片，賦之以動態效果。就像“哈利波特”電影中的報紙一樣充滿靈動感。這種模型還可以幫助人類檢測安全連續鏡頭下的異常。此外，在存儲和發送長視頻文件方面，該模型還可以幫助壓縮文件。

“未來，這項技術將會擴展我們的視覺系統，僅僅訓練一些視頻而不再需要監督學習，就能識別物體和景象。”Vondrick 說道。

via MIT CSAIL

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。