在 AWE上，我體驗(yàn)了世界第一個眼球追蹤的VR頭顯

【編者按】本文由元代碼Nada供稿，以下為業(yè)界大牛 Doc – Oliver Kreylos 的第一手游記記錄。

2013年時我曾參加過一次增強(qiáng)世界大展會（Augmented World Expo，AWE），那時我還糾結(jié)在 AR 的海洋里?，F(xiàn)在不同了！AWE 都開始和 UploadVR 舉辦這個大會。而這次呢，我先為大家?guī)砦疑鲜煮w驗(yàn)的 VR 頭顯的一些記錄。

eMagin 2k×2k VR HMD

eMagin 那個尚未命名的頭戴顯示設(shè)備是我去這次 AWE 的主要目的。這個之前已經(jīng)有一些看法和細(xì)節(jié)，但我一直對其宣稱的80°×80°可視角度持懷疑態(tài)度。和 Oculus Rift，以及 HTC/Valve Vive 或者其它的同類頭戴顯示設(shè)備不同，eMagin 的頭顯是基于 OLED 微型顯示器（而微型顯示器也是他們的核心業(yè)務(wù)），之前各種基于微型顯示器的頭戴顯示設(shè)備，包括 eMagin 自家推出的的 Z800 3DVisor，在可視角度方面都不盡如人意，一般最大也不超過 40°。畢竟，把一個面積只有一平方厘米左右大小的顯示屏放大到覆蓋使用者大部分的視野，比起放大幾吋的顯示屏所需的光學(xué)鏡片要復(fù)雜得多。

沒想到我的懷疑是錯的，而 eMagin 對于自身的參數(shù)所言不虛。我試了這個頭顯，并和他們的項(xiàng)目經(jīng)理 Dan Cui 一起吃了早餐并進(jìn)行了深入友好的交談。那么，細(xì)節(jié)如何呢？首先要明確的一點(diǎn)是，這只是一個非常初級的原型樣機(jī)，不是開發(fā)版，更不是消費(fèi)級產(chǎn)品。目前它還很重（接近500克？），大部分的重量都在前面部分；沒有安裝任何種類的傳感器；上面沒有綁帶；屏幕也不是最終形態(tài)的（下面會細(xì)說）。Dan 提到，開發(fā)者版的最終發(fā)布日期，他們希望能在明年第四季度搞定。

那么，這個設(shè)備的光學(xué)鏡片部分已經(jīng)非常讓人感到驚訝了，而其總體的形態(tài)和設(shè)計也讓我愿意在大庭廣眾之下去佩戴。當(dāng)然，得在它有增強(qiáng)現(xiàn)實(shí)模式的前提下。 

它有著很典型的賽博朋克風(fēng)。

我們從顯示系統(tǒng)開始說吧 。這是單眼 2k×2k 的 OLED 微型顯示面板（0.63″ ×0.63″），同時也有極高的像素填充率（無紗門效應(yīng)）。在目前的原型機(jī)中， 屏幕運(yùn)行在 60Hz 下（通過一個 DP1.2 接口來連接電腦）的全余暉模式下。據(jù) Dan 所說，低至亮屏?xí)r間為1毫秒的低余暉模式是立馬可行的，運(yùn)行在 85Hz 下也無需對電路進(jìn)行大的改進(jìn)，而在目前使用的 OLED 屏幕下 120Hz 也是可以做到的。

目前這個屏幕面板最大的問題是每個像素中并沒有藍(lán)色亞像素。但是真不好意思，其實(shí)我第一次試的是很竟然沒有一眼看穿，因?yàn)閮?nèi)容是在一個暖黃紅色的虛擬環(huán)境中。而顯然這是不行的，但 Dan 保證完整的 RGB 面板已經(jīng)在生產(chǎn)中了，完事立馬整合上線。屆時對于其屏幕的質(zhì)量就需要重新判斷了，畢竟 OLED 的藍(lán)色亞像素比起紅綠亞像素的生產(chǎn)難度要大很多是業(yè)界眾所周知的難題。因此，之后屏幕的亞像素布局分部也可能會發(fā)生變化，可感知的屏幕分辨率以及像素填充 率導(dǎo)致的幕簾效應(yīng)都有可能發(fā)生改變，一如目前流行的 Pentile 排列一般。但畢竟 eMagin 對于 OLED 的專業(yè)程度還是顯而易見的，我對最終成品表示看好。

光學(xué)系統(tǒng)的其它部分都是頂級的。

訂制的三元透鏡系統(tǒng)打造了一個相對寬廣的可視角度：80°×80°， 看起來比 DK2 只小了那么一點(diǎn)，當(dāng)然我還是希望以后能有機(jī)會放到一起進(jìn)行直接對比。Dan 聲稱在未來的版本中可視角度還可以增加一點(diǎn)。畫面有中等程度的幾何形變（演示的軟件顯然還沒有任何預(yù)畸變矯正），但我沒發(fā)現(xiàn)有色散的現(xiàn)象，因?yàn)榧幢阌校?也會由于沒有藍(lán)色導(dǎo)致很難察覺。

屏幕始終在聚焦?fàn)顟B(tài)，畢竟物理瞳距和每只眼的焦距都可以分別調(diào)節(jié)。目前的原型機(jī)并不能通過感應(yīng)器感應(yīng)物理焦距數(shù)值來傳到軟件里去，而這卻是非常需要的！鏡片的焦距只能在鏡罩上翻時進(jìn)行調(diào)整，難度增加。是的，鏡片和屏幕部分可以上翻，意味著你想的時候都可以往上一翻看到外面的世界。

但最大的改進(jìn)顯然是屏幕部分。和 DK2 乃至 GearVR 比起來，其分辨率的差別是顯而易見的。Rift CV1 和 Vive 的屏幕分辨率都是 1080×1200，假設(shè)可視角度都在 100°×100° 的話，這個頭顯的 PPD（Pixels Per Degree） 達(dá)到了25，超過 CV1 兩倍有余。

所以呢，我非常激動地想象著這個頭顯能到全 RGB，≥85Hz 低余暉屏幕，內(nèi)置或外置位置跟蹤感應(yīng)器或者LED，以及改進(jìn)的工業(yè)設(shè)計（降低整體重量，改進(jìn)的重量分布，頭部綁帶等）之后的樣子。對于價格，現(xiàn)在還沒有任何信息，但 Dan 暗示了最初的版本會在消費(fèi)級的區(qū)間內(nèi)，一旦大量生產(chǎn)，最終產(chǎn)品還是很有競爭力的。這么說吧，我對于能更早拿到這個東西還是愿意付出大筆錢的，我都已經(jīng)想好幾個應(yīng)用了。

 castAR

我還有幸嘗試了一把 castAR。我對這個東西一直挺好奇的，因?yàn)閲@著這個東西的話題和爭議都不少。首先要說的是，“castAR”名不副實(shí)，叫“castVR”才恰當(dāng)。對我來說，AR 的意思是把虛擬物品無縫添加到真實(shí)環(huán)境中，無論是通過視頻后處理還是透明透鏡。而 castAR 并沒有用這兩種方式：你需要先擺一個逆反射面板擺在面前，這個面板顯然會擋住后面的東西。而虛擬物品是在這個面板和使用者之間的空間內(nèi)形成的。這屬于“魚缸”或者“內(nèi)包含”VR，功能和形態(tài)都更接近 CAVE 或者其它基于屏幕和投影的 VR（比如 Z-SPACE）。

當(dāng)然，這都是文字上的東西。

那么 castVRAR 使用起來到底怎樣呢？

嗯，其實(shí)還不錯。我之前對于幾個細(xì)節(jié)的實(shí)現(xiàn)都是持懷疑態(tài)度的：立體成形質(zhì)量，跟蹤質(zhì)量，亮度，可視角度以及交互質(zhì)量。

在我一一評價這些之前，先簡單說下這玩意兒的工作原理，畢竟它的方式和 Oculus Rift 這種頭戴顯示設(shè)備有很大不同。

castAR 雖然也是頭戴式，但并非通過眼前的屏幕來成像，而是通過在使用者左眼左邊和右眼右邊的小投影，把光線投射到前方的逆反射材料上，然后會把光線再反射回使用者的眼睛里去。由于投影器和眼睛的位置非常接近，castAR 并不需要事先知道逆反射材料的位置來設(shè)置一個合適的投射矩陣。當(dāng)和六自由度的頭部跟蹤結(jié)合后，castAR 能在使用者和逆反射材料之間形成非常良好穩(wěn)健的虛擬物體。

我之前還擔(dān)心立體成像質(zhì)量，兩眼之間接收到的信息可能發(fā)生交叉。不過事實(shí)證明，castAR 打造了幾乎完美的立體質(zhì)量。

逆反射材料能把左眼投影主要傳遞回左眼，而右眼投影主要傳遞回右眼，但畢竟受限于真實(shí)物理環(huán)境以及材料屬性，信息雜質(zhì)很難避免。不過沒想到 castAR 使用了偏振過濾的方式來將雜質(zhì)進(jìn)一步去除（正好，逆反射材料是金屬的，能保持偏振信息），這樣就打造了幾乎完美的立體質(zhì)量。

第二個問題是跟蹤質(zhì)量。

castAR 使用了光學(xué)跟蹤，基于頭顯上的兩個攝像頭（不知道是不是用兩個攝像頭還是一個立體攝像頭），以及一個主動紅外 LED 陣列。基本上，這就是 DK2 光學(xué)跟蹤系統(tǒng)的反相而已。這個跟蹤系統(tǒng)還湊合，但也沒多棒。時有卡頓（可能在幾毫米到一厘米之間），延遲也較為明顯，導(dǎo)致虛擬物體時有漂移而非穩(wěn)定在空間某處。盡管讓人不爽，但必須要指出這并不會和全封閉式 VR 那樣導(dǎo)致人暈眩，因?yàn)樘摂M物體只占到使用者視野的一小部分。當(dāng)我問起時，一個 castAR 的工作人員稱跟蹤完全依賴光學(xué)，沒有慣性傳感器和數(shù)據(jù)融合的過程。但即便如此，我也看到過更好的純光學(xué)跟蹤，畢竟這個演示里的跟蹤范圍較小，紅外陣列也比較大（大約5″×5″）。

單個輸入設(shè)備也是通過同樣的方式跟蹤的，兩個前置攝像頭和紅外陣列。盡管輸入設(shè)備的卡頓會不那么明顯，但攝像頭的可視角度成了主要問題：顯然手杖只有在大致朝向紅外陣列的方向時跟蹤才正常。這讓你想去拾起虛擬物體，翻轉(zhuǎn)它們都變得困難：一翻動手杖就沒反應(yīng)了。我早已習(xí)慣全方向跟蹤的手柄，這就很不爽。castAR 通過一些演示引導(dǎo)你主要瞄準(zhǔn)紅外陣列而避免了這一點(diǎn)，但對于普遍的一些應(yīng)用，通過慣性傳感器、數(shù)據(jù)融合來進(jìn)行補(bǔ)償應(yīng)該能對跟蹤質(zhì)量帶來很大的改進(jìn)。

好的一面來說，投影器的亮度和對比都相當(dāng)不錯。我以為畫面會比較暗淡，但由于逆反射材料的緣故，從投影投射到回到使用者眼中光線基本沒怎么丟失，在光照明亮的展示廳內(nèi)虛擬物體顯得明亮實(shí)在，絕對算不錯的。但也不是完美，有個問題就是投影器的投影角度較小。castAR 的可視角度被兩個因素限制：一是逆反射材料的面積大小（任何在使用者和逆反射材料中間之外的物體都會看不見），二就是投影器的最大投射角度。我問了下之后，得到的數(shù)據(jù)是 castAR 的投射角度是 70°，不過在實(shí)際使用中我倒不是太在意。

最后，關(guān)于校準(zhǔn)方面，castAR 在演示中的虛擬手柄和實(shí)際中的手柄是要差那么幾個英尺的。

這按理來說不應(yīng)該發(fā)生，尤其手柄和頭部的跟蹤都是基于同一個紅外陣列。我不知道這是不是由于投影畢竟和使用者眼部不在同一個位置，經(jīng)過逆反射后離投影部分比較遠(yuǎn)的物體就會有較明顯偏差。這樣的話，最后還是需要知道逆反射板的位置平面方程才能設(shè)置一個恰當(dāng)?shù)耐队白兞繀?shù)。

總的來講，CastAR 和其它基于屏幕的 VR 系統(tǒng)效果都是有得一拼的。它擁有很好的立體質(zhì)量（比起基于 LCD 的 3D 電視更好），不錯的亮度和對比，然后回復(fù)反光板價格也便宜，可以基于需要進(jìn)行大面積鋪蓋。這樣就可以做一個類似 CAVE 的系統(tǒng)，整個房間全裝上逆反射材料，房間內(nèi)可以自由觀看的全息影像，而只會被70°投影視角所局限。castAR 比起其它全封閉類的虛擬現(xiàn)實(shí)系統(tǒng)，包括 CAVE，更大的好處就是能允許多人同處一個空間進(jìn)行交互。這對于聯(lián)合辦公來說是非常重要的一點(diǎn)。逆反射材料能減少多頭顯系統(tǒng)投影造成的相互之間的信息污染，而且很有可能比起那些基于屏幕的系統(tǒng)要便宜很多。如果他們能搞定跟蹤部分，我就買買買了。

FOVE

我只是簡單試了一下這個號稱“世界上第一個眼部跟蹤虛擬現(xiàn)實(shí)頭戴顯示設(shè)備（這么說不對，你說“第一個消費(fèi)級虛擬現(xiàn)實(shí)頭顯”還差不多）”的演示。兩分鐘的演示，我感覺到的是在視野中間跟蹤足夠好，但到了邊緣就非常不精確了。演示之前還需要做校準(zhǔn)，你需要把眼睛盯著幾個小點(diǎn)。正式演示中是一個很激烈的射擊游戲，因此不好去評價頭顯本身的屏幕分辨率和質(zhì)量。

我注意到了一個奇怪的效果：當(dāng)我低頭去看我下面的敵人時，瞄準(zhǔn)射擊就完全失效了?？赡苁怯螒蜃约旱?D光線計算出bug了吧。

 SMI基于DK2的眼球追蹤 / AltspaceVR

我還去試了可能是另一個世界的第一個眼球追蹤虛擬現(xiàn)實(shí)頭顯：SMI 的基于 Rift DK2 的眼球追蹤。我之前試過 SMI 的基于 Rift DK1 的眼球追蹤。這個新的看起來更好了一點(diǎn)：你不再需要在鏡片上切一個長方形的洞；新的跟蹤攝像頭在鏡片后面，不會擋住什么東西。從功能角度來看，比起上一版并沒有什么進(jìn)步。即便經(jīng)過了完整的校準(zhǔn)，我瞄準(zhǔn)的方向和跟蹤出來的結(jié)果都有偏差。其中有個演示，我只有在把物體先放到視野中央后才能用追蹤，那么會讓眼球追蹤本身都失去意義了。

當(dāng)然這有可能是因?yàn)槲掖髦[形眼鏡。SMI 的跟蹤會考慮到使用者的眼珠和眼角膜形狀，而我的隱形眼鏡在我四處看的時候會些微改變我的眼角膜，可能造成偏差。不過無論怎樣，這些都是需要被提及的。我猜當(dāng) VR 頭顯發(fā)售后隱形眼鏡會引來又一波潮流。

我倒是希望可以把 SMI 和 FOVE 的眼部追蹤準(zhǔn)確度進(jìn)行比較，但 FOVE 的演示讓我們很難做到（那些物體的命中面積到底有多大？）這點(diǎn)。只有等有誰能拿到 FOVE 開發(fā)者版本再看了。

我還想簡單提下 AltspaceVR 的眼部跟蹤整合。它有兩個部分：基于瞄準(zhǔn)的導(dǎo)航和交互，能把目標(biāo)物體或位置進(jìn)行居中操作，以及用戶虛擬形象的眼部動畫，能把用戶眼部的方向和眨動都映射到 AltspaceVR 的小萌機(jī)器人虛擬形象上。后面這個部分其實(shí)做得挺一般的，眨動監(jiān)測只能偶爾被監(jiān)測到。可能這個新增加進(jìn)來的眼部跟蹤還需要改進(jìn)吧，不過算一個額外的亮點(diǎn)了。

Wearality Sky Lenses

這是在 SVVR ’15 Expo 之后我第二次試 Wearality 這個 150° 可視角度的鏡片了。這次我有機(jī)會仔細(xì)檢視這個鏡片。VR 頭顯的可視角度到底應(yīng)該如何測量呢？一般來說并不容易，但 Wearality Sky 的開放式設(shè)計讓測量簡單了許多。當(dāng)你戴上頭顯后，我可以從鏡片下面看到現(xiàn)實(shí)世界。

戴上之后，我調(diào)整自己位置，把鏡片左右邊緣和面前桌子的左右邊緣對齊，然后看到自己離桌子大概是三英尺，桌子大概寬六英尺，這樣一換算可視角度應(yīng)該是90°，而非150°。當(dāng)我問及給我們做體驗(yàn)的人這個情況時，他說150°需要針對更大屏幕的手機(jī)。我沒有去測量使用的這個手機(jī)，但看起來比三星S5要大一些，大概是5.5″的樣子。

Wearality 的網(wǎng)站上沒有提及可視角度是基于屏幕尺寸的 ，盡管顯然這個大家應(yīng)該都知道，但你好歹也得提供個可視角度/尺寸的列表吧。而且給我們做體驗(yàn)的人也非常愉快地在繼續(xù)讓大家來看看這個150°的頭顯，即便在他告訴我這個數(shù)字僅僅針對于更大屏幕的手機(jī)之后。這是在干嘛？

之后我看到 Wearality 有一個演示能通過在渲染圖像上增加不同大小的黑邊來切換不同的可視角度，但這樣就讓他們用小尺寸手機(jī)來適配鏡片但一邊說自己有大可視角度的行為更站不住腳了。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。