<mark id="oztn4"></mark>
0
雷鋒網(wǎng)按：本文作者為 NVIADIA AR & VR 研究小組的科學(xué)家 Morgan McGuire，在本文中，他詳細(xì)介紹了電影、游戲的圖像渲染，與現(xiàn)在 VR 圖像渲染的不同之處，以及 VR 在圖像渲染方面臨的挑戰(zhàn)。同時(shí)，他還講述了英偉達(dá)如何通過(guò) GPU 和相關(guān)軟件，來(lái)解決這些問(wèn)題的。這是文章的第二部分，雷鋒網(wǎng)編譯如下。
作者介紹：Morgan McGuire 博士是 NVIADIA AR & VR 研究小組的科學(xué)家。他在 Activision 和 THQ的系列游戲 Skylanders、Call of Duty、Marvel Ultimate Alliance 和 Titan Quest 制作中都有所貢獻(xiàn)。Morgan 還是 Graphics Codex 和 Computer Graphics：Principles & Practice 的共同作者。同時(shí)，他也在滑鐵盧大學(xué)和威廉姆斯學(xué)院擔(dān)任教職。
我們從人類感知的極限中推導(dǎo)出未 VR 的規(guī)范。衡量這些的方法有很多種，但若要做出完美的顯示，你需要大約相當(dāng)于 200 個(gè)更新速度在 240Hz 的 HDTV。這約等于每秒 100,000 萬(wàn)像素的圖像吞吐量。
回憶一下，現(xiàn)今 VR 的圖像吞吐量大約在 450 萬(wàn)像素每秒。這意味著未來(lái)的 VR 需要將性能提升 200 倍。但是由于高動(dòng)態(tài)范圍、可變焦點(diǎn)和現(xiàn)有電影標(biāo)準(zhǔn)對(duì)視覺(jué)質(zhì)量和光線的要求，更加現(xiàn)實(shí)的性能需求是達(dá)到 10,000 倍的提升。并且我們只要 1ms 的延遲。
理論上，我們可以通過(guò)提高算力來(lái)實(shí)現(xiàn)這個(gè)目標(biāo)，但是這樣的蠻力并不高效也不經(jīng)濟(jì)，蠻力不會(huì)讓 VR 的使用廣泛化。那么，我們可以用什么技術(shù)來(lái)實(shí)現(xiàn)這一目標(biāo)呢？
焦點(diǎn)渲染（ Foveated Rendering）
我們提升性能的第一個(gè)方法是焦點(diǎn)渲染——降低用戶的周邊視覺(jué)中的圖像質(zhì)量，提升中心視角中的圖像質(zhì)量，它利用了人類視覺(jué)感知的自然特性，在未感知的部分舍棄質(zhì)量，從而提升整體的 VR 性能。
因?yàn)檠劬Ρ旧碇挥性谀阋曇熬劢沟牡胤讲庞泻芨叩姆直媛剩栽谝曇爸醒雲(yún)^(qū)域以外，VR 系統(tǒng)可以不被察覺(jué)地舍棄周邊像素的分辨率，從而提高整體性能。不過(guò)，它不能在低分辨率上渲染。上面的圖像是縮小比例展示的寬視野 2D 圖像。如果你在 VR 中注視時(shí)鐘，那么左邊的公告牌就在你的中心視野外圍。如果只放棄頂部圖像中的分辨率，就會(huì)立刻產(chǎn)生塊狀圖形和視覺(jué)對(duì)比度的變化。你的眼睛會(huì)察覺(jué)到這些變化，你會(huì)覺(jué)得眼角部分的圖像發(fā)生了改動(dòng)或者感到模糊。我們的目標(biāo)是計(jì)算生成低分辨率圖像所需的精確優(yōu)化量，并使外圍低分辨率的模糊圖像能夠與人類視覺(jué)精準(zhǔn)匹配，讓用戶的 VR 視野如同真實(shí)視野一樣完美。
光場(chǎng)（Light Fields）
為了加速 VR 渲染逼真的 VR 圖像，我們正在考慮三角形網(wǎng)格外的渲染圖元。在與麥吉爾大學(xué)（McGill University）和斯坦福大學(xué)的合作中，我們使用光場(chǎng)來(lái)加速照明計(jì)算。不同于現(xiàn)有的僅展示物體表面光照情況的 2D 光線地圖，光場(chǎng)面對(duì)的是一個(gè) 4D 的數(shù)據(jù)結(jié)構(gòu)，可以存儲(chǔ)空間中所有光線可能的方向和角度。
光場(chǎng)可以產(chǎn)出場(chǎng)景中所有表面的反射和陰影，甚至是動(dòng)態(tài)角色。這也為統(tǒng)一光線跟蹤質(zhì)量和環(huán)境探測(cè)器及光照地圖的性能打好下一步基礎(chǔ)。
實(shí)時(shí)光線跟蹤（Real-time Ray Tracing）
那么真正運(yùn)行時(shí)的光線跟蹤是怎么的呢？NVIDIA Volta GPU 是目前世界上最快的光線追蹤處理器，而 NVIDIA Pascal GPU 系列是消費(fèi)級(jí)中最快的。Pascal 的速度約為 10 億次/秒，這個(gè)速度完全可以取代現(xiàn)有VR 的主光柵器或陰影地圖。那么如果用這個(gè)技術(shù)來(lái)解鎖管線的話，光線追蹤可以為未來(lái)的 VR 帶來(lái)什么呢？
答案是：光線追蹤可以幫助 VR 做很多事情。在進(jìn)行光線追蹤時(shí)，你根本無(wú)需使用陰影地圖，從而直接消除一個(gè)延遲障礙。光線追蹤本身就可以分別渲染紅色，綠色和藍(lán)色，并直接渲染鏡頭中的桶形失真圖像。所以，它無(wú)需再對(duì)鏡頭畸變進(jìn)行處理，也因此減少了相應(yīng)的延遲。
事實(shí)上，當(dāng)進(jìn)行光線追蹤時(shí)，渲染像素離散幀的延遲可以被完全消除，因此，這里實(shí)際上已經(jīng)沒(méi)有了典型意義上的“幀速率”的概念。我們可以將 GPU 生成的每個(gè)像素直接發(fā)送到顯示器中，這種方法被稱為“波束競(jìng)速（beam Racing）”，同時(shí)這也消除了顯示同步性。這樣一來(lái)，圖形系統(tǒng)中的高延遲障礙將降為零。
由于沒(méi)有像在光柵化中的平面投影，光線追蹤技術(shù)也解決了 VR 的視場(chǎng)問(wèn)題。柵格化取決于 3D 到 2D 圖像中保留的直線（例如三角形的邊緣）。但 VR 則需要一個(gè)更寬的視場(chǎng)，它需要一個(gè)魚眼投影，將 3D 圖像彎曲到 2D 顯示屏中。光柵器會(huì)將 3D 圖像分解成多個(gè)平面來(lái)進(jìn)行仿真。而如果使用光線追蹤技術(shù)，你可以直接將一個(gè)完整的 360 度視野的圖像直接渲染到球形屏幕上。光線追蹤本身也支持混合的圖元：三角形，光場(chǎng)，點(diǎn)，三維像素，甚至是文本，從而在內(nèi)容優(yōu)化方面提供更大的靈活性。現(xiàn)在，我們正在研究如何讓所有的這些渲染速度比傳統(tǒng) VR 更快。
光線追蹤除了可以減少 VR 渲染的延遲和增加吞吐量之外，它的另一個(gè)特征就是可以提升圖像質(zhì)量。回顧本文開(kāi)始所提到的，電影渲染的圖像質(zhì)量取決于“路徑追蹤”的圖像算法，它其實(shí)是光線追蹤的一種擴(kuò)展。如果我們把它轉(zhuǎn)換為基于光線投射的渲染器，VR 圖像的質(zhì)量將會(huì)上升到一個(gè)新的水平。
實(shí)時(shí)路徑追蹤（Real-time Path Tracing）
雖然我們現(xiàn)在已經(jīng)可以進(jìn)行實(shí)時(shí)光線追蹤，但路徑的實(shí)時(shí)追蹤仍然是一個(gè)很大的挑戰(zhàn)。因?yàn)槁窂阶粉櫟挠?jì)算密度大約是光線追蹤的 10,000 倍。這就是為什么電影的每一幀都需要花費(fèi)幾分鐘而不是幾毫秒來(lái)生成。
在路徑追蹤下，系統(tǒng)首先追蹤來(lái)自攝像頭的光線，以尋找可見(jiàn)的物體表面。然后再向太陽(yáng)方向投射另一道光線，檢查該表面是否在陰影中。但是，場(chǎng)景中的光線不僅僅是直接來(lái)自太陽(yáng)的。有些光線是間接的，比如從地面或其他表面反射的光。因此，路徑追蹤器后續(xù)會(huì)遞歸式地隨機(jī)投射，對(duì)間接照明進(jìn)行采樣。同時(shí)，在這個(gè)點(diǎn)上，還需要一個(gè)陰影光線投射，以及它自身的隨機(jī)間接光線投射……這個(gè)過(guò)程將一直持續(xù)到追蹤器在每條單一路徑上都追蹤到約 10 條光線。
但是，如果一個(gè)像素只有一條或兩條路徑，由于隨機(jī)采樣過(guò)程，圖像的噪點(diǎn)會(huì)很多。它看起來(lái)就像這樣：
電影圖像解決這個(gè)問(wèn)題的方法是追蹤每個(gè)像素上的數(shù)千個(gè)路徑。每條路徑上十條光線，一共有成千上萬(wàn)條路徑，這就是為什么路徑追蹤比單獨(dú)的光線追蹤的成本高 10,000 倍的原因。
為了提升 VR 路徑追蹤圖像的質(zhì)量，我們需要一種方法，對(duì)每個(gè)像素只采樣幾條路徑，同時(shí)避免隨機(jī)采樣的噪聲。多虧了創(chuàng)新的焦點(diǎn)渲染技術(shù)，我們認(rèn)為這個(gè)目標(biāo)很快就能實(shí)現(xiàn)。焦點(diǎn)渲染只需要對(duì)圖像中心的路徑進(jìn)行詳細(xì)分析，并且無(wú)需追蹤更多的光線，便可以進(jìn)行圖像去噪，即將粒狀圖像直接轉(zhuǎn)換為清晰的圖像。
今年我們與麥吉爾大學(xué)，蒙特利爾大學(xué)，達(dá)特茅斯學(xué)院，威廉姆斯學(xué)院，斯坦福大學(xué)和卡爾斯魯厄理工學(xué)院合作發(fā)表了三篇研究論文，都是在解決去噪問(wèn)題。這些方法可以將一個(gè)布滿噪點(diǎn)的實(shí)時(shí)路徑跟蹤圖像轉(zhuǎn)化為清晰的圖像，如下圖所示：
只用幾毫秒的計(jì)算，也沒(méi)有額外的光線，其中的兩種方法都使用了 GPU 的圖像處理能力來(lái)實(shí)現(xiàn)。一個(gè)使用了 NVIDIA GPU 一種新的人工智能處理能力。我們對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了數(shù)天的去噪訓(xùn)練，現(xiàn)在它可以自動(dòng)在數(shù)十毫秒內(nèi)進(jìn)行圖像去噪處理。我們正在增加這種技術(shù)的復(fù)雜性，并且不斷訓(xùn)練網(wǎng)絡(luò)來(lái)降低成本。這個(gè)方法令人興奮，因?yàn)樗俏覀兘诎l(fā)現(xiàn)的幾種新方法之一——以一種意想不到的方式，利用人工智能來(lái)提高計(jì)算機(jī)圖形質(zhì)量，并創(chuàng)作出新的 3D 動(dòng)畫內(nèi)容，為VR世界的普及做出貢獻(xiàn)。
現(xiàn)在的 VR 頭顯中的顯示器是相對(duì)簡(jiǎn)單的輸出設(shè)備。顯示器本身幾乎不做任何處理工作，只是顯示輸出的數(shù)據(jù)。盡管這樣的顯示器對(duì)電視、監(jiān)控和智能手機(jī)來(lái)說(shuō)已經(jīng)夠用了，但在改善 VR 體驗(yàn)方面，顯示器本身仍然有巨大的提升潛力：顯示器可以更加智能，不僅顯示內(nèi)容，同時(shí)顯示用戶的狀態(tài)，我們正在探索幾種頭顯顯示器的計(jì)算處理方法，試圖將VR的極限再向前推進(jìn)一些。
解決視覺(jué)輻輳調(diào)節(jié)沖突問(wèn)題（Vergence-Accommodation Disconnect）
VR 顯示面臨的第一個(gè)挑戰(zhàn)就是焦點(diǎn)問(wèn)題，即所謂的視覺(jué)輻輳調(diào)節(jié)沖突。目前市面上所有的 VR 或 AR 設(shè)備都將用戶的視覺(jué)焦點(diǎn)強(qiáng)制在 1.5 米遠(yuǎn)的位置，這會(huì)有兩個(gè)缺陷：
1、當(dāng)你在 VR 中注視遠(yuǎn)處或者近處的物體時(shí)，你兩只眼睛的視覺(jué)輻輳與視覺(jué)焦點(diǎn)會(huì)產(chǎn)生不匹配的情況。這樣的不匹配會(huì)令用戶感到不舒適，這也是現(xiàn)今 VR 產(chǎn)品的一大痛處。
2、當(dāng)你在使用 AR 時(shí)，你會(huì)用真實(shí)的深度看向現(xiàn)實(shí)世界。而虛擬的圖像則需要匹配到你的視覺(jué)焦點(diǎn)，否則它們就會(huì)變得模糊不清。比如駕駛過(guò)程中，正在注視 20 米遠(yuǎn)的你并不能看清距離你 1.5 米的 AR 地圖指示。
我們創(chuàng)造了一個(gè)計(jì)算型光場(chǎng)顯示器原型，通過(guò)多角度的光線展示，可以讓你在任何深度進(jìn)行聚焦。這個(gè)顯示器是對(duì)以往技術(shù)的一次重要突破，因?yàn)橛?jì)算過(guò)程是直接在顯示器中進(jìn)行的。我們不是向顯示器中傳輸單純的圖像，我們正在向其中發(fā)送復(fù)雜的數(shù)據(jù)，而顯示器則負(fù)責(zé)將數(shù)據(jù)直接轉(zhuǎn)化為你眼前的圖像。上圖中那些看起來(lái)有點(diǎn)像昆蟲眼中的世界的小網(wǎng)格，必須進(jìn)行專門的渲染才能傳輸進(jìn)顯示器，這需要結(jié)合了自定義光學(xué)，即通過(guò)一個(gè)微透鏡陣列，才能以正確的方式呈現(xiàn)出一個(gè)自然的世界。
第一個(gè)光場(chǎng)顯示器的研發(fā)是從 2013 年開(kāi)始的。而下周，在 ACM AIGGRAPH Asia 2018 大會(huì)上，我們將展示一種新的全息顯示器，它利用激光和密集的計(jì)算在光的干擾波面上創(chuàng)造光場(chǎng)。本文篇幅有限，很難展示其復(fù)雜的工作機(jī)制，但它的基本原理是一樣的，可以產(chǎn)出質(zhì)量更高的圖像。
我們堅(jiān)信這種顯示器內(nèi)計(jì)算是未來(lái)的一種關(guān)鍵技術(shù)。但光場(chǎng)并不是我們使用計(jì)算方法解決焦點(diǎn)問(wèn)題的唯一途徑。我們還創(chuàng)造了其他兩種可變焦點(diǎn)（或變焦光學(xué)）的形式。
下圖的顯示器原型利用激光將圖像投射到一個(gè)漫射全息圖上。當(dāng)你直視全息圖時(shí)，它會(huì)從一個(gè)曲面玻璃上反射過(guò)來(lái)，這樣看上去就像是在遠(yuǎn)處注視它。
我們通過(guò)一個(gè)小馬達(dá)來(lái)移動(dòng)全息圖或太陽(yáng)鏡反射器，從而控制圖像的距離。這樣我們就可以將虛擬物體的距離和用戶現(xiàn)實(shí)世界的視距匹配起來(lái)，用戶在使用 VR 時(shí)就可以自然而完美地聚焦。
這種方法要求在顯示器中進(jìn)行兩種計(jì)算：一是要追蹤用戶的眼動(dòng)狀態(tài)，二是要計(jì)算正確的光學(xué)變化來(lái)渲染預(yù)扭曲的動(dòng)態(tài)圖像。和我們的大多數(shù)原型機(jī)一樣，這個(gè)研究版本比最終產(chǎn)品的體積大得多。因?yàn)槲覀円么笮徒M件來(lái)進(jìn)行研究構(gòu)建。但實(shí)際使用的優(yōu)化版顯示器會(huì)更像是墨鏡的樣子。
下面是另一個(gè)變焦原型機(jī)，這是我們與北卡羅來(lái)納大學(xué)、馬克斯普朗克研究（the Max Planck Institute）所和薩爾蘭大學(xué)（Saarland University）的研究者們合作發(fā)明的。這是一個(gè)靈活的透鏡薄膜。我們根據(jù)用戶焦點(diǎn)的變化，使用計(jì)算機(jī)控制的氣動(dòng)裝置來(lái)改變透鏡的焦距，使得圖像始終處在正確的位置。
我們有多種方法解決 VR 延遲的問(wèn)題。其中一個(gè)是與威廉姆斯學(xué)院合作的成果，它充分利用了我們分布廣泛的 GPU 技術(shù)。為了在渲染時(shí)減少延遲，我們希望將 GPU 移動(dòng)離顯示器越近越好。利用 Tegra 移動(dòng) GPU，我們甚至可以將 GPU 放置在用戶身上。但是移動(dòng) GPU 的處理能力不如臺(tái)式 GPU，而我們又想提升現(xiàn)有游戲 VR 的圖像質(zhì)量，所以我們用無(wú)線連接為 Tegra 組配一個(gè)獨(dú)立的 GeForce GPU，甚至如果要求更高的話，可以配一個(gè)云端 Tesla GPU。
這樣，一個(gè)功能強(qiáng)大的 GPU 就可以計(jì)算出光照信息，接著傳輸給你身上的 Tegra，渲染出最后的圖像。這種方法的好處在于，既減少了延遲，又降低了算力要求，同時(shí)還提高了實(shí)際圖像的質(zhì)量。
降低延遲基準(zhǔn)
當(dāng)然，你無(wú)法讓延遲低于幀速率。如果顯示器的更新速度是 90 fps，那么延遲在最差的情況下也不會(huì)低于 11ms，因?yàn)檫@正好是顯示器等待兩幀之間的時(shí)長(zhǎng)。所以我們到底能將顯示器的速度提升到多快呢？
我們和北卡羅來(lái)納大學(xué)的科學(xué)家合作構(gòu)建一個(gè)每秒運(yùn)行 1.6 萬(wàn)個(gè)二進(jìn)制幀的顯示器。下圖是一個(gè)數(shù)字示波器的圖表，顯示了這種顯示器對(duì)于頭部轉(zhuǎn)動(dòng)時(shí)的情況。當(dāng)你轉(zhuǎn)頭時(shí)，屏幕更新的延遲會(huì)導(dǎo)致暈動(dòng)癥。
在上圖中，橫坐標(biāo)是時(shí)間線；頂部的綠線震動(dòng)代表戴著顯示器的用戶正在轉(zhuǎn)動(dòng)頭部；黃線表示顯示器的更新，它的起伏代表顯示器中新圖像僅用 0.08ms 就能完成更新。這大約是現(xiàn)有市面上最差的消費(fèi)級(jí) VR 速度的 500 倍。
渲染器無(wú)法達(dá)到 16,000 fps 的速度，所以這種顯示器需要借助時(shí)間扭曲（Time Warping）最新圖形的方法來(lái)匹配當(dāng)前頭部的位置。我們讓它直接在頭顯中運(yùn)行，可以加速時(shí)間扭曲的處理過(guò)程。下圖展示了我們定制頭顯中處理器原型：
不同于扭曲 2D 圖像的常規(guī)時(shí)間扭曲，或是更先進(jìn)的深度 2D 圖像扭曲的空間扭曲（Space Warp），我們的方法可以應(yīng)用于全 3D 數(shù)據(jù)集中。上圖的最右邊展示了在一個(gè)實(shí)際的 3D 場(chǎng)景進(jìn)行扭曲的例子，在這個(gè)系統(tǒng)中，當(dāng)你在場(chǎng)景中隨意走動(dòng)時(shí)，顯示器可以自動(dòng)保持更新，甚至?xí)簳r(shí)與渲染器斷開(kāi)連接時(shí)也能持續(xù)更新。這使得我們能夠以一個(gè)較低的速度運(yùn)行渲染器，從而節(jié)省電力或提高圖像質(zhì)量，同時(shí)，即使在無(wú)線連接緩慢的網(wǎng)絡(luò)時(shí)，也能生成低延遲的圖形。
在第一部分，我們闡述了現(xiàn)今VR頭顯的渲染管線：
綜合上述所有的技術(shù)，我們不僅可以描繪出單個(gè)的創(chuàng)新產(chǎn)品，更重要的是可以勾勒出一個(gè) VR 系統(tǒng)的全新圖景。這個(gè)圖景幾乎消除了所有的同步障礙，它將計(jì)算擴(kuò)展到云端，并直接傳到頭戴式顯示器上。延遲時(shí)間縮短了 50-100 倍，同時(shí)圖像具有電影級(jí)的質(zhì)量。分辨率提高了 100 倍，當(dāng)然只是你視覺(jué)焦點(diǎn)內(nèi)的圖形像素。另外，你也可以自然地聚焦在不同深度上。
我們正在加速將二進(jìn)制圖像在顯示屏上的顯示，以期讓用戶體驗(yàn)虛實(shí)不分的感受。該系統(tǒng)有著適合的聚焦調(diào)節(jié)，一個(gè)寬闊的視場(chǎng)，輕便的重量和很低的延遲，可以成為一種舒適而時(shí)尚的日常產(chǎn)品。
通過(guò)在計(jì)算型顯示器，變焦光學(xué)，焦點(diǎn)渲染，圖形去噪，光場(chǎng)，二進(jìn)制幀等領(lǐng)域的突破，NVIDIA Research 正在為一個(gè)新的虛擬體驗(yàn)系統(tǒng)進(jìn)行創(chuàng)新。隨著系統(tǒng)變得更加舒適，便宜，性價(jià)比提高，這將成為每個(gè)人都可以使用的新的計(jì)算界面。
我鼓勵(lì)每個(gè)人都去體驗(yàn)如今市場(chǎng)上的現(xiàn)代 VR 系統(tǒng)。我更也鼓勵(lì)你加入我們，共同期待未來(lái) AR/VR/MR的普及，期待通過(guò)這些技術(shù)掀起的 VR 革命。
via roadtovr.com雷鋒網(wǎng)編譯
相關(guān)文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
