讓980跑出1080的效果，七鑫易維推出VR眼控新品 | GTC China 2016

七鑫易維創(chuàng)始人兼CEO黃通兵

對(duì)VR來(lái)說(shuō)，交互是一個(gè)重要的創(chuàng)新點(diǎn)，GPU性能則是重要的瓶頸，對(duì)于前者目前仍有很多創(chuàng)業(yè)公司在發(fā)布新的交互系統(tǒng)，后者則是GPU巨頭英偉達(dá)需要努力的的地方。

9月13日在英偉達(dá)舉辦的GPU技術(shù)大會(huì)（GTC China 2016）上，擁有眼球追蹤技術(shù)的國(guó)內(nèi)創(chuàng)業(yè)公司七鑫易維發(fā)布了首款針對(duì)HTC Vive的眼控外設(shè)，把這項(xiàng)技術(shù)應(yīng)用到了VR上面。

這款號(hào)稱全球首款VR眼配件的產(chǎn)品，為VR帶來(lái)兩大功能：眼控交互和注視點(diǎn)渲染，前者為VR帶來(lái)了新的交互式，后者則通過(guò)新的渲染方式提高GPU的渲染效率。

眼控：陀螺儀的升級(jí)版？

最早的Cardboard在交互上非常簡(jiǎn)單，用戶轉(zhuǎn)動(dòng)頭部使畫(huà)面移動(dòng)，同時(shí)移動(dòng)光標(biāo)來(lái)選定某個(gè)物體，這是利用了手機(jī)內(nèi)置的陀螺儀實(shí)現(xiàn)。眼球追蹤的加入讓這種交互有了升級(jí)，除了轉(zhuǎn)動(dòng)頭部，用戶在頭部不動(dòng)的時(shí)候，也可以通過(guò)注視視野中的不同物體來(lái)進(jìn)行選擇。

七鑫易維眼控VR配件

為了追蹤用戶的眼球運(yùn)動(dòng)，七鑫易維推出了這款內(nèi)置到HTC Vive里的配件，它是一個(gè)疊加到頭盔透鏡上面的產(chǎn)品。一對(duì)設(shè)備上各自有一個(gè)傳感器（攝像頭），設(shè)計(jì)在下方；環(huán)繞著透鏡的則是一圈紅外補(bǔ)光燈，因?yàn)閂R頭盔是全封閉的；另外它還有一個(gè)USB Type-C接口用作供電和數(shù)據(jù)傳輸。攝像頭之所以被設(shè)計(jì)在下方，據(jù)七鑫易維CEO黃通兵透露，是因?yàn)橐紤]用菲涅爾透鏡的頭盔，它的同心圓紋理會(huì)有干擾，所以就做在下面。

在追蹤方面，這款產(chǎn)品支持全視場(chǎng)角的追蹤，能覆蓋整個(gè)VR顯示屏幕；擁有220HZ渲染頻率，延時(shí)低；同時(shí)支持近視鏡片疊加，使用戶不用佩戴眼鏡也能玩，同時(shí)避免近視眼鏡對(duì)眼球追蹤的影響。

為了提高眼球追蹤的可用性，該公司在算法方面引入了深度學(xué)習(xí)技術(shù)，據(jù)黃通兵介紹，

在深度學(xué)習(xí)出來(lái)之前，SVM等機(jī)器學(xué)習(xí)的傳統(tǒng)方法效果做不到很好，因?yàn)槠渲械暮芏嗵卣魇侨藶樵O(shè)定的，實(shí)際有很多情況可能不是那樣的。深度學(xué)習(xí)的好處是機(jī)器可以自動(dòng)去學(xué)習(xí)，不限定特征，這樣的話基于大量的樣本進(jìn)行訓(xùn)練可以得到一個(gè)很牛的模型，這個(gè)模型可以用來(lái)進(jìn)行人眼的眼球追蹤。

以前的技術(shù)可以識(shí)別人眼的可用率在95%，一萬(wàn)個(gè)人中可能有500個(gè)人用不了，這樣要把它用在消費(fèi)級(jí)就不行了，特殊行業(yè)可以。要把眼球追蹤用到消費(fèi)級(jí)的話必須達(dá)到更高的可用性，深度學(xué)習(xí)可以把它的可用性從95%提升到99.9%甚至更高。

開(kāi)發(fā)者更關(guān)注注視點(diǎn)渲染

雖說(shuō)眼球交互聽(tīng)起來(lái)非常炫酷，實(shí)際使用時(shí)并不如動(dòng)捕手柄+空間定位自然，如上文所說(shuō)，它更像是陀螺儀的升級(jí)版。實(shí)際上，開(kāi)發(fā)者對(duì)眼球追蹤技術(shù)的期待，更多是注視點(diǎn)渲染。黃通兵表示開(kāi)發(fā)者對(duì)他們這套系統(tǒng)的功能關(guān)注度排序分別是：注視點(diǎn)渲染，交互和眼動(dòng)分析。

注視點(diǎn)渲染（也叫焦點(diǎn)渲染）通過(guò)近紅外傳感器對(duì)人的眼球進(jìn)行追蹤，判斷人眼的注視點(diǎn)，只對(duì)注視點(diǎn)區(qū)域進(jìn)行高清渲染，而且這個(gè)區(qū)域會(huì)隨著注視點(diǎn)的變化而變化。這項(xiàng)技術(shù)在英偉達(dá)MRS（multi-resolution shading）技術(shù)的基礎(chǔ)上進(jìn)一步縮小渲染范圍，從而大幅提高渲染效率。

注視點(diǎn)渲染的效果

黃通兵表示，VR看房開(kāi)發(fā)者指揮家使用這套系統(tǒng)之后，“本來(lái)要1080的顯卡才能跑得動(dòng)的場(chǎng)景，加上眼球追蹤可能用980就能跑，這樣一方面大幅降低他們的硬件成本，同時(shí)可以提高視覺(jué)效果，可以上復(fù)雜的光照等各種特效”。當(dāng)然，實(shí)際的效果還是要看開(kāi)發(fā)者的不同情況而定。

更需要降低GPU性能需求的應(yīng)該是移動(dòng)VR，而移動(dòng)VR十分需要考慮功耗和性能的平衡。黃通兵表示，“做到移動(dòng)VR上，原理上差不多，結(jié)構(gòu)上需要改一改。移動(dòng)VR上功耗性能有限制，所以這塊一般會(huì)把幀率適當(dāng)降低，其實(shí)也可以跑滿幀，但移動(dòng)VR本身幀率就低，所以就沒(méi)有必要跑滿幀。”

據(jù)介紹，這套產(chǎn)品單眼追蹤的功耗不到500mW，如果工作在省電模式下會(huì)更低。而對(duì)處理性能的要求黃通兵表示高通的驍龍820是支持的，“主流的都沒(méi)問(wèn)題”。

不過(guò)這套產(chǎn)品不會(huì)出單賣的消費(fèi)版，它預(yù)計(jì)將在10月份登陸京東眾籌，售價(jià)3000元左右，主要面向開(kāi)發(fā)者。而面向消費(fèi)者的產(chǎn)品將會(huì)以與頭盔廠商的合作，內(nèi)置到后者產(chǎn)品當(dāng)中的形式推出。具體的產(chǎn)品面世時(shí)間仍有待確定，但據(jù)悉高通的一體機(jī)方案會(huì)重點(diǎn)推這個(gè)技術(shù)，國(guó)內(nèi)的大朋和3Glasses也很積極。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。