AR交互大突破，MIT讓你真的“碰到”視頻里的物體

嚴格來說，視頻并不是一個交互媒介，因為觀眾只是接收訊息，并不能跟視頻里的畫面實時互動。

但是麻省理工學院（MIT）正在改變這一現實：該校計算機科學與人工智能實驗室（CSAIL）研發了一項新技術，讓觀眾可以伸出手“觸碰”并操控影像里的物體，就像在真實世界里一樣。

比如下圖里一個小人，本來是靜止的畫面，但是如果你在上面點擊并拖動鼠標，小人真的會因為你的動作而出現抖動或傾斜。

這個系統被稱為“交互動態視頻”（Interactive Dynamic Video），簡稱IDV。

技術原理：5秒視頻+振動模式+算法

IDV系統的技術原理是這樣的：每一個真實世界的物體都會受到來自外界的作用力，由此引發物體的振動。研究團隊用攝像機拍攝該物體最短5秒的視頻，然后用一個算法生成一個預測模型，預測出該物體在其他外力的作用下產生的振動模式。

所以上圖中的室內的小人，在拍攝過程中，研究人員會在它站立的桌面上使勁拍打，使其產生振動。而這種振動，我們人類的肉眼幾乎不可見。

IDV系統可以捕捉到非常細小的物體振動頻率。甚至一陣微風引起的振動也可以捕捉到，所以對于巨大的建筑物，這種模擬也可以實現。

而且令人興奮的一點是，這套系統里根本不需要3D輪廓重建的步驟。一般來說，模擬物體的運動，是需要3D建模的，但是這一過程非常昂貴，而且對于十分復雜的物體來說，其3D模型的構造過程極其復雜。而IDV只需要5秒鐘的傳統視頻和一套算法，就可以實現運動模型的預測。

領導這個項目的是在CSAIL 實驗室攻讀博士學位的Abe Davis，他說：“這個技術可以讓我們捕捉到物體的物理動態，讓我們在虛擬空間中與拍攝的物體玩耍。” 今年年初，他和同樣是博士生的Justin G. Chen以及Fredo Durand教授共同發表了關于該項技術的論文。

應用：令人激動的AR領域

IDV的應用非常廣泛，比如工程師可以利用IDV來模擬在遭遇大風或地震等災害時的一座建筑物的狀況，而對于CG電影動畫制作者來說，制造一個虛擬的白宮或大橋倒塌的壯觀景象，也無疑更加容易了。

但其中最令人激動的就是和AR的結合。以如今大火的Pokemon Go為例，在現在的游戲界面里，小精靈只是單純“出現”在畫面里，就像一個貼紙一樣，如果你撥動這個小拉達后面的物體，它并不會受到任何影響。

而IDV可以讓虛擬的動畫角色跟真實的環境交互。一個虛擬的皮卡丘從草叢里一下子蹦出來，并帶動了草叢里的草，這效果就太逼真了，形成了所謂的“動態AR”。

IDV系統的出現無疑會推動人們對VR和AR技術的興趣和投入。它顯而易見的好處是可以大幅降低交互式AR體驗的開發成本，這點能夠鼓勵更多人參與到AR內容的創作。人們都想證明AR的價值，而IDV正好預示著AR視頻巨大吸引力的未來。

Via MIT News

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。