英偉達(dá) Holodeck 國(guó)內(nèi)亮相，在 VR 中看跑車(chē)“炸裂”是怎樣的體驗(yàn)？

本文作者：田苗

2017-08-24 18:23

導(dǎo)語(yǔ)：今年，展會(huì)現(xiàn)場(chǎng)，不僅有大眾熟悉的 CCVT、各地電視臺(tái)等廣播電視界業(yè)內(nèi)的展臺(tái)，英偉達(dá)也出現(xiàn)在此次活動(dòng)中。

北京國(guó)際廣播電影電視設(shè)備展覽會(huì)（BIRTV）是中國(guó)最具權(quán)威的廣播電影電視專(zhuān)業(yè)設(shè)備綜合展覽會(huì)，每年我們都會(huì)從這場(chǎng)展覽會(huì)上看到最新的影視技術(shù)和設(shè)備。

其實(shí)，英偉達(dá)早就不是我們印象中的“電腦芯片”公司了。今年 5 月的 GTC 大會(huì)上，英偉達(dá) CEO 黃仁勛發(fā)表了時(shí)長(zhǎng) 2 小時(shí)的主題演講，內(nèi)容涵蓋 VR、GPU 云服務(wù)、自動(dòng)駕駛芯片、深度學(xué)習(xí)、機(jī)器人訓(xùn)練等等，期間推出了 VRWork Audio SDK，用于在 VR 中實(shí)現(xiàn)立體聲效。不久前的 SIGGRAPH 大會(huì)上，我們了解到，影視級(jí)專(zhuān)業(yè)相機(jī) Z CAM V1 PRO 就集成了 VRWork SDK，可實(shí)現(xiàn) 360 度 VR 立體直播。

VRWorks 360 Video SDK

英偉達(dá) Holodeck 國(guó)內(nèi)亮相，在 VR 中看跑車(chē)“炸裂”是怎樣的體驗(yàn)？

目前，360 度 VR 全景視頻是電影電視行業(yè)不斷探索的方向，這也就不奇怪為什么英偉達(dá)會(huì)參加 BIRTV。

現(xiàn)場(chǎng)，英偉達(dá)的 VR 相關(guān)負(fù)責(zé)人介紹了針對(duì) VR 領(lǐng)域，VRWork 所能做的事情包括四個(gè)方面：模擬真實(shí)世界的觸感，模擬立體聲效，實(shí)現(xiàn)更好、更高效的畫(huà)面渲染，以及 360 度視頻拍攝和直播。

2016 年的 SIGGRAPH 大會(huì)上，他們便推出了 LIVE 360 Mono，但當(dāng)時(shí)音效只能實(shí)現(xiàn)單聲道，今年則實(shí)現(xiàn)了立體聲效。

VRWorks 360 Video SDK 支持實(shí)時(shí)和后期制作的 360 度單聲道和立體聲工作流程，可支持：

4K 攝像機(jī)實(shí)時(shí)&離線視頻拼接
GPU 加速的視頻解碼、校準(zhǔn)、拼接和編碼
360 度投影至立體地圖和全景
GPUDirect for Video，可實(shí)現(xiàn)低延遲視頻采集
多達(dá) 32 路視頻流

該 SDK 免費(fèi)開(kāi)放，可登陸其官網(wǎng)進(jìn)行下載。

英偉達(dá)工作人員表示畫(huà)面拼接的關(guān)鍵在于，

“全景相機(jī)由多個(gè)攝像頭構(gòu)成，各個(gè)攝像頭之間會(huì)有畫(huà)面重疊的部分，并且可能不在同一個(gè)時(shí)間點(diǎn)，畫(huà)面拼接時(shí)必須在同一個(gè)時(shí)序里面；二是兩個(gè)臨近的攝像頭拍攝時(shí)，如何識(shí)別出畫(huà)面重合的部分，拼接完可能會(huì)漏掉，我們一定會(huì)做‘補(bǔ)洞’、‘補(bǔ)光’。”

“我們的 GPU 效率可能更高，這是涉及硬件層面的架構(gòu)?！?/p>

Project Holodeck

英偉達(dá) Holodeck 國(guó)內(nèi)亮相，在 VR 中看跑車(chē)“炸裂”是怎樣的體驗(yàn)？

除了全景視頻，這次他們還把 Holodeck 的演示片段帶到了現(xiàn)場(chǎng)。

Holodeck 的演示 Demo 十分簡(jiǎn)單，直觀些說(shuō)，這是針對(duì)汽車(chē)設(shè)計(jì)者制作的內(nèi)容。Demo 中你會(huì)看到一輛價(jià)值不菲的跑車(chē)，你可以隨意調(diào)整汽車(chē)的顏色（外觀和車(chē)座），可以拿著標(biāo)尺測(cè)量車(chē)輪的大小，可以站在車(chē)外“透視”到前車(chē)蓋下的發(fā)動(dòng)機(jī)，還可以讓整輛車(chē)全部“炸開(kāi)”，看到跑車(chē)的各個(gè)零件，并且“游走”在這些零件間（這是比較震撼的場(chǎng)景）。

由于展會(huì)場(chǎng)地條件的限制，現(xiàn)場(chǎng)網(wǎng)絡(luò)狀況不好，雷鋒網(wǎng)沒(méi)有體驗(yàn)到“多人協(xié)作”的模式（但在 SIGGRAPH 上雷鋒網(wǎng)其他編輯體驗(yàn)過(guò)多人模式）。

英偉達(dá) Holodeck 國(guó)內(nèi)亮相，在 VR 中看跑車(chē)“炸裂”是怎樣的體驗(yàn)？

工作人員表示，Demo 中的跑車(chē)使用了 5000 多萬(wàn)個(gè)面，至于 Holodeck 下一步到底具體怎么用，現(xiàn)在還沒(méi)有確定，要等 9 月份北京舉辦的 GTC 大會(huì)上的新消息。

此前雷鋒網(wǎng)在 SIGGRAPH 大會(huì)上對(duì) Holodeck 有過(guò)較為詳細(xì)的報(bào)道，英偉達(dá)專(zhuān)業(yè) VR 業(yè)務(wù)主管 David Weinstein 透露，Holodeck 將在 9 月進(jìn)行內(nèi)測(cè)，屆時(shí)會(huì)邀請(qǐng)一部分合作伙伴參與，收集各方反饋對(duì) Holodeck 進(jìn)行優(yōu)化。他也反復(fù)強(qiáng)調(diào)，Holodeck 現(xiàn)在只是一個(gè)項(xiàng)目，不能算產(chǎn)品，只有在完善到一定程度之后才會(huì)公測(cè)。

作為一個(gè)架構(gòu)，英偉達(dá)會(huì)把 Holodeck 提供給游戲、娛樂(lè)與工作應(yīng)用開(kāi)發(fā)商，用于開(kāi)發(fā)它們的具體產(chǎn)品。

英偉達(dá) Holodeck 國(guó)內(nèi)亮相，在 VR 中看跑車(chē)“炸裂”是怎樣的體驗(yàn)？