<mark id="oztn4"></mark>
4
嘉賓介紹：張瑞博，森聲數字科技創始人&CEO。瑞典烏普薩拉人機交互碩士、圖形圖像＆計算機科學學士，專注領域包括矩陣算法，識別技術，VR/AR技術，數字模擬，社交網絡。擁有多項專利以及大量第一發明人，曾推出全國首例地產AR增強現實發布會。雷鋒網雷鋒網雷鋒網
在電影行業有一句話，“沒聲音再好的戲也出不來”，這句話強調了聲音對電影的重要性。當然，這個道理同樣適用于VR影視。谷歌Cardboard的高管Nathan Martz曾表示，VR音頻不容忽略。他說，許多人認為在開發VR產品和體驗過程中，視頻和視覺是最重要的因素，其實不然，聲音也同樣重要。在資深游戲開發者群體中，有一個行業經驗——“聲音讓場景更加真實”。
但VR音頻到底是什么鬼？森聲數字科技創始人&CEO張瑞博為我們帶來他的看法。
VR音頻的概念
（一提到VR音頻，有人會說3D音效（往往是游戲），有人會說杜比全景聲，甚至還有說人頭錄音。到底VR音頻是什么？）
首先，VR音頻并不是一個技術名稱。它是對所有能解決VR技術中音頻方位模擬的技術解決方案的統稱。
其次，游戲中使用的3D音頻也可以包括在VR音頻的范疇。上面列舉的例子都是在解決特定場景下的特定問題。比如說雷蛇的游戲3D音效和Oculus Audio SDK是解決游戲中虛擬音源的技術。但是，現場采集怎么辦？音樂會怎么辦？直播怎么辦？而杜比Atmos（杜比全景聲）的核心是基于object音源的影院揚聲器矩陣的還原技術，更多是針對杜比推出的下一代影院效果。這并非真實聲場模擬，更多是追求來自于周圍和上方震撼的音效。但是，不是影院怎么辦？現場采集怎么辦？頭盔終端回放怎么辦？
在音頻技術上，人們會因為實現方式流程以及對應用戶場景不同，所采用的技術也完全不同。這并不是提問所理解的一個技術通吃所有情況，而是不同情況都需要對應技術方案。
VR音頻實際效果
（VR音頻具體效果以及甄別真偽的方式？）
首先我不知道什么叫作偽VR音頻。因為VR音頻本來就隨著VR的發展而開始的一個技術板塊。就像是高清標準剛剛開始的時候你能說720p是偽高清1080p是真高清么。只是執行程度徹底與否的區別而已。如果說VR音頻效果的話，主要有幾個特征點：
1.能夠和頭顯視覺畫面對應，并表現出對應視角下的聲源方位與聲源距離；
2.同時體現出對應空間環境中的混響情況、聲音反射和吸收情況等；
3.滿足以上部分或者全部要求的都可以叫VR音頻。
我這里有一個圖，可以表明VR音頻的基本概念。（下圖）
VR音頻的實現要求
（VR音頻對比現有的3D音效有什么技術上的硬性要求，比如采集，儲存，傳輸等方面的？）
嗯，這個問題問得好。很多人都知道3D音效，但是并不了解3D音效和VR音頻的關系。
3D音效是一個有一定年頭的東西了，最早你在一些游樂園中聽到3D鬼故事或者是網上的理發店都是3D音效。目前3D音效主要由立體聲來承載信息，但是由于VR音頻需要實現和頭顯視覺畫面對應的空間音效變化，可以理解為聲音的維度升級。如果假設傳統的3D音效是2維的話，那VR音效至少要做到3維才能實現基本要求，所以整體信息采集量和傳輸量和傳統的3D音效都是天翻地覆的區別，理論上講至少4倍以上。
不過，好在目前的情況看來VR音頻并不會對帶寬提出新的挑戰，因為相對于4K的全景視頻的帶寬需求，音頻提升所帶來的帶寬壓力基本可以忽略了。
（在視頻，游戲，電影等不同領域，對VR音頻的需求是不是有所不同？為此帶來的算法和方案也會有所不同么？）
答案是肯定的。不同情況下對VR音頻的需求和實現方式都是不同的。
比如游戲中的VR音頻，游戲廠商在開發游戲的時候會把對應的發聲源object的對應音軌準備好。比如說腳步聲，開火的聲音，這些音軌都是普通的音軌。在游戲引擎中設置好根據這些發聲的object在虛擬環境中與player的相對位置，然后對應調用HRTF（Head Related Transfer Function，頭相關變換函數）算法來實現音源的方位化與距離化，最后通過耳機播放讓玩家感覺的方位信息，實現聽聲辨位。
又比如音樂會VR節目制作，VR游戲中音頻不存在采集的問題，因為音軌是準備好的，你不可能把一個現場的音樂會通過事先準備好的音軌代替吧，那就不是這個音樂會了。所以這個時候的VR音頻是要通過現場采集的方式來實現。這里實現的方式就比較多了，有通過多向采集再進行聲場運算的方式，有通過數字HRTF加工的方式，也有自然HRTF采集的方式，各有各的好處和問題，目前還沒有一個標準是肯定的。但是可以肯定的是大多數方式都是通過耳機回放來實現。
VR音頻的挑戰與瓶頸
（目前VR音頻遇到的技術瓶頸是什么呢？）
我認為VR音頻相對于現有的VR視頻技術而言并不存在非常難受的技術瓶頸。比如說VR視頻中的幾個比較難受的瓶頸包括終端屏幕dpi（像素密度）、高分辨率傳輸、帶寬等等。這些都是需要非常大的投入促使量變到質變的發展過程。
但對于VR音頻而言，大部分現有的技術加以升級和改進已經可以滿足VR的需求，更多的是如何推廣和適應實際應用的過程。
（所以，哪一部分成熟之后，VR音頻才會大規模在內容商普及？）
嗯，你問到一個關鍵點上了。
雖然沒有太大的瓶頸但是技術挑戰還是非常大的。我認為在影視與視頻節目方面VR音頻的主要挑戰是對傳統制作方式與制作思路的挑戰。
這個問題影響其實非常大，由于VR影視的特殊性，導演在敘事的過程中如何對觀眾產生視覺方向的引導，如何布置場景，如何隱藏燈光和道具，如何保持觀眾的代入感和臨場感......實際上VR影視對于從19世紀末就發明的電影積累下來的拍攝手法和理論都是顛覆性的。很多以前理所當然的東西到現在都不適用了，各種拍攝團隊都在摸索的尋找新的規律和方法，所以VR音頻最終能走入千家萬戶，還要看我們奮戰在影視制作一線的工作者能否找到VR音頻制作的新規則并創作出各種富有感染力的作品。
當然，我們作為技術與硬件提供商，也會盡全力去幫助他們一起來尋找VR中的聲音之路，畢竟在那在頭盔之后可是一個對想象力沒有邊界的世界。
讀者提問
（VR音頻輸出需要杜比或者DTS解碼技術嗎？VR音頻如果主要輸出到耳機端，立體聲模擬3D音效，比起傳統影院或者家庭影院不是弱爆了嗎？）
首先，我要提出2個詞語來回答這個問題：真實性與震撼性。
VR一切的目的最終是以真實性為核心。這里說的真實和并不是說游戲中的3D是假的，而是說VR的目的是為了給人的感官再創造一個“真實”的世界，這個世界可以是虛構的，但是一定要真實，這個是VR的核心。
而DTS這些技術追求的核心是震撼性， 說白了就是電影并不在乎當時爆炸是不是這個聲音，也不在乎直升機是不是正好從你左后方30度的位置飛過，它們需要的只是觀眾覺得爽就OK。所以說VR音頻并不需要和影院系統做對比，它們本來就不是替代關系，相反在不同領域各有各的追求和特長。比如說，影院系統的音域范圍要強悍的多，下沉的低音連椅子都在顫抖。 但是影院只是通過7.1、11.1等多聲道系統實現的，它可以模擬出一定的音源方向，但是卻模擬不出音源遠近的距離。
而VR音頻追求的是....你可以這么假設，如果我在這個VR的世界是真的，我應該聽到的是怎么樣的聲音，所以VR音頻追求的真實性在技術上就體現在“如何模擬出真實的方向和距離感”，當然由于技術的限制，在耳機上實現及其震撼的低音效果還不可能超過影院。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
