為VR加入注視點(diǎn)渲染和眼控交互，七鑫易維推出VR眼球追蹤模組

七鑫易維聯(lián)合創(chuàng)始人彭凡

自從上周谷歌宣布收購眼球追蹤技術(shù)公司Eyefluence后，業(yè)內(nèi)期待谷歌將該公司的技術(shù)應(yīng)用到VR領(lǐng)域，眼球追蹤與VR的結(jié)合由此成為一個(gè)熱門話題。

在國內(nèi)從事眼球追蹤技術(shù)的公司不多，七鑫易維就是其中一家。11月2日，該公司在北京宣布推出首款VR眼球追蹤模組“aGlass”，這個(gè)名字和七鑫易維之前推出的一款智能眼鏡相同。

aGlass得到HTC Vive官方認(rèn)證，可以內(nèi)置到Vive頭顯中，為其增加多項(xiàng)基于眼球追蹤技術(shù)開發(fā)的功能，包括注視點(diǎn)渲染、眼控交互、眼動(dòng)大數(shù)據(jù)和眼控游戲。

關(guān)于眼球追蹤技術(shù)

據(jù)七鑫易維聯(lián)合創(chuàng)始人彭凡介紹，眼球追蹤技術(shù)是指通過眼動(dòng)傳感器追蹤用戶頭部運(yùn)動(dòng)和眼球轉(zhuǎn)動(dòng)信號(hào)，計(jì)算出注視點(diǎn)的位置。總共有三步：

1、眼動(dòng)傳感器內(nèi)置微光源、微光傳感器以及處理芯片；

2、捕捉用戶頭部運(yùn)動(dòng)和眼球轉(zhuǎn)動(dòng)信號(hào)，提取眼動(dòng)特征（Extract Feature）；

3、根據(jù)眼動(dòng)特征和眼球追蹤數(shù)學(xué)模型計(jì)算注視點(diǎn)的位置（Compute GazePoint）。

aGlass眼球追蹤模組

aGlass是一個(gè)疊加到頭盔透鏡上面的產(chǎn)品。一對(duì)設(shè)備上各自有一個(gè)傳感器（攝像頭），設(shè)計(jì)在下方；環(huán)繞著透鏡的則是一圈紅外補(bǔ)光燈，因?yàn)閂R頭盔是全封閉的；另外它還有一個(gè)USB Type-C接口用作供電和數(shù)據(jù)傳輸。攝像頭之所以被設(shè)計(jì)在下方，據(jù)七鑫易維CEO黃通兵透露，是因?yàn)橐紤]用菲涅爾透鏡的頭盔，它的同心圓紋理會(huì)有干擾，所以就做在下面。

基本技術(shù)參數(shù)

全視場(chǎng)角追蹤：追蹤范圍達(dá)到人眼轉(zhuǎn)動(dòng)的極限（垂直30°，水平50°），可以覆蓋FOV大于110°的主流VR設(shè)備，可以覆蓋整個(gè)VR顯示屏幕。

精度：0.5°，并可以通過優(yōu)化眼控算法和累積眼動(dòng)數(shù)據(jù)，不斷提升眼球追蹤技術(shù)精度；適配亞洲人、歐美人、近視或眼疾等不同類型的眼睛。

低延遲：眼控VR算法追蹤速度最高可達(dá)380Hz，延遲低于5ms。

配件可拆卸：可拆卸便于攜帶和更換適合自己的配件。

支持近視鏡片：每套配備近視鏡片200°、400°、600°各一副。使用者可根據(jù)自身特征，將鏡片放入合適的特定位置。

追蹤頻率到達(dá)220HZ：

四大應(yīng)用場(chǎng)景

注視點(diǎn)渲染

注視點(diǎn)渲染（也叫焦點(diǎn)渲染）通過近紅外傳感器對(duì)人的眼球進(jìn)行追蹤，判斷人眼的注視點(diǎn)，只對(duì)注視點(diǎn)區(qū)域進(jìn)行高清渲染，周邊區(qū)域逐步降低渲染分辯率，而且這個(gè)區(qū)域會(huì)隨著注視點(diǎn)的變化而變化。這項(xiàng)技術(shù)在英偉達(dá)MRS（multi-resolution shading）技術(shù)的基礎(chǔ)上進(jìn)一步縮小渲染范圍，從而大幅提高渲染效率。

注視點(diǎn)渲染效果

根據(jù)彭凡的介紹，開啟注視點(diǎn)渲染技術(shù)后，渲染幀率提高一倍以上，“顯存使用”、“GPU負(fù)載”和“顯存控制負(fù)載”都有很明顯的降低。現(xiàn)場(chǎng)展示的一個(gè)案例顯示，在未使用注視點(diǎn)渲染時(shí)，GPU負(fù)載為71%，幀率45FPS，延遲23ms；使用這項(xiàng)技術(shù)后，GPU負(fù)載降至34%，幀率達(dá)到90FPS，延遲降至11ms。

另外一個(gè)案例顯示，開啟注視點(diǎn)渲染技術(shù)后，減少了87%的像素?cái)?shù)據(jù)量，提升渲染效率7倍以上。

VR眼控交互

最早的Cardboard在交互上非常簡(jiǎn)單，用戶轉(zhuǎn)動(dòng)頭部使畫面移動(dòng)，同時(shí)移動(dòng)光標(biāo)來選定某個(gè)物體，這是利用了手機(jī)內(nèi)置的陀螺儀實(shí)現(xiàn)。眼球追蹤的加入讓這種交互有了升級(jí)，除了轉(zhuǎn)動(dòng)頭部，用戶在頭部不動(dòng)的時(shí)候，也可以通過注視視野中的不同物體來進(jìn)行選擇。

眼動(dòng)大數(shù)據(jù)

眼動(dòng)大數(shù)據(jù)是對(duì)用戶觀看畫面的注視點(diǎn)數(shù)據(jù)的采集與分析，可提供用戶注視軌跡數(shù)據(jù)、注視區(qū)域數(shù)據(jù)、注視時(shí)長(zhǎng)數(shù)據(jù)等特征數(shù)據(jù)。這些數(shù)據(jù)可以幫助開發(fā)者了解用戶是使用自家產(chǎn)品的情況，并據(jù)此對(duì)產(chǎn)品進(jìn)行改進(jìn)；同時(shí)，還可以應(yīng)用于VR廣告效果追蹤等領(lǐng)域。

現(xiàn)場(chǎng)介紹了它說與七鑫易維合作開發(fā)的一款企業(yè)級(jí)VR內(nèi)容分析監(jiān)測(cè)工具，VRMonitorPro。它通過眼球追蹤技術(shù)采集數(shù)據(jù)，包括VR受眾的注視軌跡、注視熱點(diǎn)，進(jìn)行數(shù)據(jù)分析，從而提供VR內(nèi)容優(yōu)化整體解決方案。

VR眼控游戲

用眼控交互玩VR第一人稱射擊游戲，體驗(yàn)真實(shí)頂級(jí)戰(zhàn)斗機(jī)的目標(biāo)瞄準(zhǔn)鎖定方式，瞬間鎖定敵機(jī)！

產(chǎn)品體驗(yàn)

筆者在現(xiàn)場(chǎng)體驗(yàn)了裝有這款眼球追蹤模組的HTC Vive。首先是眼控交互功能，在一個(gè)普通的游戲場(chǎng)景中，用戶可以通過注視某個(gè)物體來選定它，例如筆者體驗(yàn)的游戲里桌子上有一排道具，在手機(jī)VR盒子中是通過轉(zhuǎn)動(dòng)頭部來選擇的，而有了眼控交互，就可以通過轉(zhuǎn)動(dòng)眼球，注視某個(gè)道具來選擇。

另一個(gè)demo是一款VR飛機(jī)大戰(zhàn)游戲，筆者在游玩時(shí)可以通過變換眼睛注視點(diǎn)來選定想要打落的敵方飛機(jī)。

總體來講，目前眼控交互還不是很自然簡(jiǎn)單的交互方式，你需要控制自己的眼球轉(zhuǎn)動(dòng)，時(shí)間稍長(zhǎng)就會(huì)累，因?yàn)橥ǔＮ覀兌际遣煌Ｗ儞Q注視點(diǎn)的。但眼控交互才剛開始，還有很大的潛力，未來或許會(huì)有更多創(chuàng)新交互設(shè)計(jì)。

至于注視點(diǎn)渲染，最好的體驗(yàn)就是和之前的體驗(yàn)沒有區(qū)別，重點(diǎn)在于是不是可以降低對(duì)GPU的性能需求，或者用相同的GPU渲染出更精致細(xì)膩和高幀率的圖像。如果按照七鑫易維提供的數(shù)據(jù)，效果還是很不錯(cuò)的。

很多人擔(dān)心功耗，據(jù)黃通兵介紹，這套產(chǎn)品單眼追蹤的功耗不到500mW，如果工作在省電模式下會(huì)更低。而對(duì)處理性能方面支持高通驍龍820，“主流的都沒問題”，他說。

不過這套產(chǎn)品不會(huì)出單賣的消費(fèi)版，主要面向開發(fā)者，目前正在京東眾籌，售價(jià)3000元。面向消費(fèi)者的產(chǎn)品將會(huì)以與頭盔廠商的合作，內(nèi)置到后者產(chǎn)品當(dāng)中的形式推出。具體的產(chǎn)品面世時(shí)間仍有待確定，但據(jù)悉高通的一體機(jī)方案會(huì)重點(diǎn)推這個(gè)技術(shù)，國內(nèi)的大朋和3Glasses也很積極。

相關(guān)閱讀：

谷歌收購眼球追蹤技術(shù)公司Eyefluence引熱議，這是家什么公司？

讓980跑出1080的效果，七鑫易維推出VR眼控新品 | GTC China 2016

GPU性能不夠跑VR？這項(xiàng)技術(shù)或許能解決難題

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。