厲害了！Adobe新技術可將全景視頻變成6自由度視頻

很早大家就發現，360 度視頻和真正的 VR 相比差一些，于是就有很文章站出來說這些都是“偽 VR”。

他們給出的理由是，絕大部分的 360 度視頻都不是 3D 拍攝的，更不用說 6 自由度移動。

也正是看出了這一點，包括 Facebook、索尼、英特爾在內在 VR 領先公司都在嘗試 6 自由度 VR 視頻。但他們通常需要用到好幾個高端相機組合拍攝，產生巨大的數據量，并由于運算量太大還得在云端剪輯。

不過 Adobe 或許可以改變這一點，他們剛剛展示了一項新技術，可以將平面的 360 度視頻變成 6 自由度視頻。如此，“偽 VR”也可以變“真 VR”了。

Adobe 的這項研究由該公司的首席研究員在本周的 National Association of Broadcasters Show（國家廣播協會展）上發布。最初由國外媒體 Variety 獨家報道。

所謂的 360 度視頻變 6 自由度視頻，從用戶體驗上來看，是指之前用戶只能在 360 度視頻里轉動頭部看四周，6 自由度則可以讓用戶不僅能轉動頭，還能在視頻里上下前后左右地移動頭部，就像是在真實世界里看東西一樣。

那么 Adobe 是怎么做到的呢？

據該公司的研究員介紹，他們使用了一種新的扭曲算法（warping algorithm），這種算法可以在固定視點的視頻里模擬出新的視點，同時保持 120 fps的幀率。

簡單來說就是，普通的 360 度視頻只有一個視點，就是相機的位置，而要想變 6 自由度，就得在這個位置周圍創造新的視點，這樣你才能前后左右移動，而周圍的畫面不動。

實際上，這一新算法不僅可以用在創造 6 自由度體驗上，還能用于視頻防抖，讓一些手持拍攝時抖動造成的動態模糊畫面更平滑。

不過，實現這些功能有一個條件，那就是相機必須得動，畢竟只在一個點拍攝是算不出精確深度的。

在 Adobe 發布的研究論文 [1] 里，研究員介紹了這項功能實現的基本流程：

首先他們采用了一個運動恢復結構（structure-from-motion，SfM）算法來計算相機的運動并創造一個基本的三維重建架構。（雷鋒網注：運動恢復結構是基于計算機視覺的三維重建方法之一）

用這個方法推測出三維幾何值后，他們把視頻的每一幀都映射（map）到一個六面的球體上，然后針對每個面運行標準的計算機視覺追蹤算法。

對于將畫面映射到六面體時不可避免會產生的失真情況，他們使用大于 45 度的視場角（FOV）產生畫面重疊區域來解決。下面這個視頻展示了算法實際運行的情況。

雖然很厲害，但這技術也不是萬能的。除了要求相機要動外，三維重建的質量也取決于合成視點的位置與初始視點位置的距離。就是說，雖然能產生 6 自由度的體驗，但如果你移動得太快太遠，效果就會打比較大的折扣。

此外，有些自然現象也會帶來問題，比如畫面中遇到一大片沒什么紋理的區域，遮擋情況以及光照的改變，它們可能會在重建點的畫面中造成嚴重的噪點，以及在 3D 效果里帶來“黑洞”（holes）效果。

在固定點的畫面中，也會看到一些非靜態物體的扭曲，這是由于算法試圖將合成的幀和初始幀融合在一起。

俗話說，后期再厲害，不如把素材拍得好一點。所以很多公司直接用光場相機來拍攝 6 自由度視頻，比如 HypeVR 帶激光雷達（LiDAR）的 6K/60 FPS 相機，還有雷鋒網之前報道過的 Lytro 那巨型的 Immerge 相機。使用這些相機顯然可以拍出更高質量的 3D 效果。

不過，話又說回來，這些相機全都是又大又貴的定制化產品，普通人一般用不起。所以，雷鋒網認為，Adobe 的這套技術就算不完美，也給了普通用戶做出 6 自由度視頻的希望。

引用來源：

[1] Huang J, Chen Z, Ceylan D, et al. 6-DOF VR videos with a single 360-camera[C]//Virtual Reality (VR), 2017 IEEE. IEEE, 2017: 37-44.

RoadtoVR，Variety

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。