<mark id="oztn4"></mark>
3
| 本文作者： 曲曉峰 | 2016-08-03 10:51 |
雷鋒網(wǎng)按：本文譯者曲曉峰，香港理工大學(xué)生物特征識(shí)別博士生。文章譯自Jono MacDougall《How Magic Leap Works - From Field of View to GPU》。已獲將門(mén)創(chuàng)業(yè)（thejiangmen）授權(quán)發(fā)布。
圖片來(lái)源：fastcompany
Magic Leap一直對(duì)他們的技術(shù)的工作細(xì)節(jié)保密。我們現(xiàn)在僅僅知道他們的系統(tǒng)是一個(gè)全新的系統(tǒng)，并且遠(yuǎn)超一切消費(fèi)者熟知的現(xiàn)存競(jìng)爭(zhēng)對(duì)手。這也難怪Magic Leap想要為自己革命性的系統(tǒng)保密。眾多的企業(yè)都在伺機(jī)窺探，想要了解究竟是什么技術(shù)，讓人們?nèi)绱说呐d奮。
這種技術(shù)，聽(tīng)上去就是Apple想要擁有的，那種潛在的革命性的帶有真正創(chuàng)新意味的“新事物”；也是微軟在Hololens上想要努力實(shí)現(xiàn)，卻又遠(yuǎn)未實(shí)現(xiàn)的。它受Google Glass的啟發(fā)，卻又明顯領(lǐng)先幾代的。
這個(gè)技術(shù)到底是什么，它究竟是如何工作的？我調(diào)查了在Magic Leap工作的人所做的演講、專(zhuān)利、工作申請(qǐng)和他們的背景，試圖尋找這個(gè)問(wèn)題的答案。
這是常規(guī)大小眼鏡。但相機(jī)又往哪放呢？注：這可不是Magic Leap的產(chǎn)品。
在談?wù)摷?xì)節(jié)之前，我們先總體上談?wù)勥@是個(gè)什么技術(shù)。簡(jiǎn)單說(shuō)，Magic Leap在做一個(gè)設(shè)備，這個(gè)設(shè)備能把物體投影到人的視場(chǎng)，而且真實(shí)得遠(yuǎn)超我們現(xiàn)在所見(jiàn)的其它類(lèi)似設(shè)備。Magic Leap的設(shè)備由兩部分組成：一副眼鏡和一個(gè)便攜的口袋式投影儀/計(jì)算模塊。這模塊是差不多手機(jī)大小的沒(méi)屏幕的長(zhǎng)方體。這個(gè)便攜式計(jì)算模塊通過(guò)數(shù)據(jù)線連接眼鏡。眼鏡與普通眼鏡有著類(lèi)似的尺寸和結(jié)構(gòu)，也許稍胖一點(diǎn)點(diǎn)。體積小是該產(chǎn)品的一個(gè)重要特征。體積小意味著該產(chǎn)品可以在社交場(chǎng)合里佩戴使用，也許有可能會(huì)像智能手機(jī)一樣地便攜易用，隨處可用。
如圖所示，一個(gè)與Magic Leap便攜模塊大小類(lèi)似的充電寶。
Magic Leap最突出的是能把一大部分必須的硬件設(shè)備從眼鏡本體上拆除，放在另外一個(gè)獨(dú)立的模塊中。HoloLens，剛好相反，其顯著地削減了頭戴設(shè)備中各個(gè)組件的尺寸，但也只能做到現(xiàn)在的程度。那便攜模塊里面都有些什么呢？可能有如下部分：
電池
這塊電池的容量大約相當(dāng)于現(xiàn)在的智能手機(jī)，也許還得再多點(diǎn)。如果要替代智能手機(jī)，那更得是相當(dāng)牛的一塊大電池。估摸著差不多至少得5000毫安時(shí)。
CPU/GPU
肯定要用最新一代的移動(dòng)CPU。估計(jì)會(huì)用高通的。幸運(yùn)的是，他們應(yīng)該用不到高端圖形處理，因?yàn)榛旌犀F(xiàn)實(shí)（Mixed Reality MR）只需要渲染局部，不需要渲染整個(gè)場(chǎng)景。這樣就避免了虛擬現(xiàn)實(shí)（Virtual Reality VR）所需的高強(qiáng)度圖形處理。
內(nèi)存
跟智能手機(jī)差不多，估計(jì)3-4GB。
定制的SLAM芯片
這個(gè)是把虛擬物體擺放到真實(shí)世界所必需的。他們可能會(huì)自己流片（Tape Out），或者采用Movidius或其它類(lèi)似的芯片。
4G/Wifi/藍(lán)牙
SIM卡
GPS芯片
相機(jī)
眼鏡上肯定要有一堆相機(jī)，但這并不意味著便攜模塊就可以沒(méi)有了。頭戴設(shè)備上的SLAM相機(jī)跟普通數(shù)碼相機(jī)是不同的。眼鏡的體積有限，可能容不下一個(gè)高功耗的相機(jī)，只能放進(jìn)便攜模塊。這樣設(shè)計(jì)的好處是可以減輕他人對(duì)隱私侵犯的擔(dān)憂(yōu)，沒(méi)有便攜模塊只有眼鏡的話(huà)，沒(méi)法拍照。
激光投影儀
這是該設(shè)備最主要的創(chuàng)新。把投影系統(tǒng)從眼鏡上拿走，挪到便攜模塊上，使得產(chǎn)品的體積顯著縮小。投影的光由便攜模塊生成，然后通過(guò)光纖傳導(dǎo)到頭戴設(shè)備。后面我們會(huì)詳細(xì)分析一下其工作原理。
當(dāng)我們盡可能把所有東西都塞進(jìn)便攜模塊之后，眼鏡上剩下啥了？眼鏡上得安裝如下組件：
慣性測(cè)量單元（IMU）
就是常見(jiàn)的加速度傳感器、陀螺儀和指南針。
耳機(jī)
也許會(huì)用Google Glass上的那種骨傳導(dǎo)耳機(jī)。這要看他們的設(shè)計(jì)思路是不是要與身體相協(xié)調(diào)。骨傳導(dǎo)的優(yōu)勢(shì)是你既能聽(tīng)見(jiàn)耳機(jī)播放的音樂(lè)，同時(shí)聽(tīng)到其他的聲音。
麥克風(fēng)
光學(xué)部分
相機(jī)
光學(xué)部分和相機(jī)是最有趣的組件，我們?cè)敿?xì)分析一下。
根據(jù)專(zhuān)利文獻(xiàn)，Magic Leap使用的光學(xué)設(shè)備比HoloLens和Google Glass使用的傳統(tǒng)投影系統(tǒng)小很多。如上圖所示，光源是與頭戴設(shè)備的主體分離的，這就是為什么我們可以推測(cè)光源在便攜模塊中。其次，該設(shè)備的鏡片系統(tǒng)也非常小。示意圖雖然明顯不是等比例繪制，但也一定表示相關(guān)元件的大致尺寸。我們唯一真正看到的元件是鏡片。比較圖中上側(cè)的5、6、7、8元件和鏡片的寬度，我們不難看出相對(duì)大小。
這說(shuō)明什么？他們?cè)趺茨馨压鈱W(xué)部分縮小這么多，同時(shí)還號(hào)稱(chēng)能實(shí)現(xiàn)光場(chǎng)顯示、高分辨率和驚人的視野？答案包括兩部分：光纖掃描顯示與光子光場(chǎng)芯片。
光纖掃描顯示是從未在消費(fèi)電子產(chǎn)品中使用過(guò)的全新的顯示系統(tǒng)。我們只能通過(guò)其2013年的專(zhuān)利申請(qǐng)文件進(jìn)行了解。這份專(zhuān)利申請(qǐng)文件有些日子了，所以關(guān)于系統(tǒng)性能的一些細(xì)節(jié)可能已經(jīng)不準(zhǔn)確了，但基本概念應(yīng)該還是一樣的。
該系統(tǒng)使用一組致動(dòng)光纖來(lái)掃描輸出遠(yuǎn)大于其數(shù)值孔徑的圖像。這就像老式的顯像管電視，只不過(guò)不是掃描輸出電子到熒幕來(lái)激發(fā)熒光粉發(fā)光，而是直接掃描輸出光。掃描是通過(guò)壓電致動(dòng)器來(lái)實(shí)現(xiàn)的。掃描頻率保持在大約幾十kHz。但實(shí)際圖像刷新率并沒(méi)有那么高。因?yàn)樾枰啻螔呙瑁▽?zhuān)利里面舉例如250次）才生成一整幅圖像。這完全改變了我們對(duì)于分辨率的概念。這個(gè)技術(shù)的圖像分辨率取決于光纖的掃描頻率，光纖可以匯聚的最小光斑尺寸（這決定了像素大小），生成一幅圖像所需的掃描次數(shù)和刷新幀率。考慮到專(zhuān)利申請(qǐng)之后，他們對(duì)于該技術(shù)的進(jìn)一步優(yōu)化，其分辨率應(yīng)該遠(yuǎn)超現(xiàn)有的消費(fèi)電子產(chǎn)品。
一組光纖掃描單元緊密排列為一束來(lái)增加顯示的尺寸。每根光纖掃描單元的寬度為1mm。
除了分辨率和幀率，一個(gè)寬廣的視場(chǎng)（Field of View, FOV）同樣也是顯示逼真的全息圖像的關(guān)鍵。關(guān)于這一塊，專(zhuān)利的背景信息部分有一段很有趣的描述。
頭戴顯示器（Head Mounted Display, HMD）的視場(chǎng)可以由微型顯示器的圖像尺寸和觀察光路共同決定。人類(lèi)的視覺(jué)系統(tǒng)的視場(chǎng)，水平大約200°，垂直大約130°。但大多數(shù)頭戴顯示器僅僅提供了40°左右的視場(chǎng)…… 大約50-60弧秒的弧度分辨率代表著20/20的視力表分辨率（譯者注：視力測(cè)試標(biāo)準(zhǔn)中正常人眼較高的成績(jī)，參見(jiàn)WIKI）。而弧度分辨率，是由微型顯示器的像素密度決定的。為了匹配一般人的視覺(jué)系統(tǒng)，頭戴顯示器應(yīng)在水平40°、垂直40°的視場(chǎng)內(nèi)提供 20/20 視力表分辨率。以50弧秒計(jì)算，相當(dāng)于八百萬(wàn)像素（8Mpx）。如果把視場(chǎng)拓展到水平120°、垂直80°，則需要五千萬(wàn)像素（50Mpx）。
這里談到了兩件事。第一，消費(fèi)級(jí)顯示器的分辨率遠(yuǎn)遠(yuǎn)小于大視場(chǎng)所需。這就是為什么HoloLens想要增大視場(chǎng)的話(huà)如此艱難。第二，這顯示出Magic Leap的野心。他們想提供一個(gè)水平120°、垂直80°的視場(chǎng)。這個(gè)視場(chǎng)比Oculus Rift的視場(chǎng)還大，同時(shí)分辨率也遠(yuǎn)超。他們有沒(méi)有實(shí)現(xiàn)呢？現(xiàn)在還很難說(shuō)，但至少專(zhuān)利里面已經(jīng)提到了一些技術(shù)參數(shù)，同時(shí)不要忘了這些還是三年前的數(shù)據(jù)。他們很有可能已經(jīng)改進(jìn)提高了這個(gè)技術(shù)。
像素間距是從一個(gè)像素中心到相鄰像素中心的距離。它限制了圖像的分辨率。傳統(tǒng)的微型顯示器，例如HoloLens所用的，其像素間距在4-5微米。像素間距限制了這些顯示器的分辨率，也因此限制了生成的視場(chǎng)。專(zhuān)利申請(qǐng)文件表明，掃描式光纖顯示器能夠生成0.6微米的像素間距，提升了一個(gè)數(shù)量級(jí)。
那究竟能達(dá)到什么分辨率？專(zhuān)利里有一段提到一個(gè)4375x2300分辨率，但我覺(jué)得還不止。這是在描述基本方法時(shí)舉的一個(gè)例子，后面還討論了多核光纖對(duì)于性能的提升。我認(rèn)為其分辨率會(huì)遠(yuǎn)遠(yuǎn)高于該分辨率。這對(duì)于寬廣的視場(chǎng)是至關(guān)重要的。
最后專(zhuān)利提到120°視場(chǎng)的這句特別值得注意：
以上所述技術(shù)可以用來(lái)制造具有寬廣視野的頭戴式或其他近眼顯示方式的超高分辨率顯示器。
我認(rèn)為這充分驗(yàn)證了，其視場(chǎng)將至少大于40°，接近其宣稱(chēng)的120°也并不是不可思議的。要我下注的話(huà)，我賭90°。
第一次聽(tīng)說(shuō)Rony Abovitz給他的鏡片起名叫“光子光場(chǎng)芯片”，我都郁悶了。別總給這些早就有的東西起一些不著調(diào)的名字了。就叫它Rony鏡片就好了。但隨著我逐漸加深理解，它還真不是一個(gè)簡(jiǎn)單的鏡片。它究竟是干什么的，為什么它比其他鏡片更有意思？我們先來(lái)了解一下衍射光學(xué)元件。
一個(gè)衍射光學(xué)元件的例子
可以把衍射光學(xué)元件（Diffractive Optical Elements, DOEs）想成是一組非常細(xì)的鏡片。他們可以用來(lái)整形、分光、勻化、擴(kuò)散。Magic Leap使用帶有圓形鏡片的線性衍射光柵來(lái)分光，并生成特定焦距的光束。就是說(shuō)，它把光導(dǎo)入你的眼中，并讓這些光就好像是從一個(gè)正確的焦平面發(fā)射出來(lái)的一樣。常言道，說(shuō)起來(lái)容易做起來(lái)難，但這個(gè)說(shuō)起來(lái)都難。至少我找到的專(zhuān)利文件是這么寫(xiě)的。
為了生成光場(chǎng)，Magic Leap使用兩個(gè)分立的元件配置了一個(gè)光子芯片。一個(gè)元件（原理圖中的6）提取投影光，并將其插入第二個(gè)元件（原理圖中的1），第二個(gè)元件將光導(dǎo)入人眼。
這兩個(gè)元件都是使用DOEs來(lái)完成工作。DOEs的主要問(wèn)題在于，他們經(jīng)過(guò)精心調(diào)試只能用來(lái)進(jìn)行一個(gè)特定工作。他們不能工作于不同的波長(zhǎng)，不能實(shí)時(shí)改變到不同的焦點(diǎn)。為了解決這個(gè)問(wèn)題，Magic Leap堆疊了一組針對(duì)不同波長(zhǎng)和焦平面優(yōu)化的DOEs，作為一個(gè)大鏡片組來(lái)用。這些DOEs都非常的薄，跟光的波長(zhǎng)在一個(gè)尺度，所以加在一起也不會(huì)讓設(shè)備變得太厚。這就是為什么這個(gè)光學(xué)系統(tǒng)被稱(chēng)為芯片。Magic Leap能夠開(kāi)關(guān)DOEs的不同層。這樣，他們可以改變光到達(dá)人眼所使用的路徑。這就是他們?nèi)绾胃淖儓D像的焦點(diǎn)，來(lái)形成一個(gè)真實(shí)的光場(chǎng)。就像專(zhuān)利里面說(shuō)的：
例如，當(dāng)打開(kāi)一組DOEs里面的第一個(gè)的時(shí)候，對(duì)于一個(gè)從正面看進(jìn)來(lái)的觀察者，可以產(chǎn)生一個(gè)光學(xué)觀察距離1米的像。一組里面的第二個(gè)DOE打開(kāi)時(shí)，可以生成一個(gè)光學(xué)觀察距離1.25米的像。
你可能覺(jué)得這個(gè)技術(shù)很局限，尤其是當(dāng)你需要一大堆層來(lái)產(chǎn)生各種不同焦點(diǎn)的像的時(shí)候……但還真不是那么回事。不同的DOEs的組合可以產(chǎn)生不同的輸出。并不是一個(gè)DOE對(duì)應(yīng)一個(gè)焦平面，而是一個(gè)DOEs組合對(duì)應(yīng)一個(gè)焦平面。
改變DOEs組中的激活層，就會(huì)改變從光子光場(chǎng)芯片射出的光。
他們很有可能有比圖中多得多的層，但具體多少層就天知道了。
最終，我們明白了Magic Leap怎么實(shí)現(xiàn)其過(guò)去宣稱(chēng)的用光來(lái)制造暗了。我們分別使用一個(gè)外側(cè)的DOE和一個(gè)內(nèi)側(cè)的DOE就可以像主動(dòng)降噪耳機(jī)一樣抵消外界的光。專(zhuān)利里面是這樣說(shuō)的：
這可以用來(lái)抵消類(lèi)似于背景光或真實(shí)世界光的平面光波導(dǎo)，在某種程度上類(lèi)似于主動(dòng)降噪耳機(jī)。
那，為什么這是一個(gè)芯片？呃，一個(gè)典型的電子芯片基于某種條件改變電子的流向。Magic Leap的光子光場(chǎng)芯片基于某些參數(shù)改變光子的通路。我覺(jué)得也算是一種芯片了。
我們還缺什么？我們有了光子光場(chǎng)芯片，有了高分辨率投影，但如何構(gòu)造一幅圖像。這個(gè)是靠組合。圖像是分層繪制的，以便讓不同的部件投影到不同的焦距的子圖像上。就是說(shuō)，每一幀都是通過(guò)多次掃描來(lái)構(gòu)建的，每一個(gè)焦平面都是分別繪制的。
Magic Leap試圖在相機(jī)上實(shí)現(xiàn)三個(gè)功能。第一個(gè)是最明顯的，一個(gè)能生成日常圖像的相機(jī)。這是他們所使用的最容易理解的相機(jī)技術(shù)，他們也許就是用一個(gè)智能手機(jī)市場(chǎng)上最新的類(lèi)似傳感器。這個(gè)相機(jī)是放在眼鏡上還是便攜模塊上，仍不可知，但總要有一個(gè)能拍照片的。
其他兩個(gè)功能很有意思。Magic leap反復(fù)提到其設(shè)備具有理解周?chē)澜绲哪芰?/strong>。在一個(gè)采訪里面，提到該設(shè)備能識(shí)別物體，例如刀和叉子。要想做到這個(gè)，他們需要一組相機(jī)。我們可以看看這方面做得不錯(cuò)的HoloLens。HoloLens有一組四個(gè)環(huán)境感知相機(jī)和一個(gè)深度相機(jī)。從Magic Leap的專(zhuān)利文檔中我們能得到進(jìn)一步確認(rèn)。
原理圖上顯示的是眼鏡左右鏡腿上的兩個(gè)元件。上面是左邊鏡腿的，下面是右邊鏡腿的。
由以上原理圖，我們可以發(fā)現(xiàn)兩個(gè)向外的相機(jī)，叫做“world camera”。專(zhuān)利的文字描述暗示可能不止兩臺(tái)相機(jī)，原文所述為“一個(gè)或多個(gè)面向外側(cè)或提供世界視角的相機(jī)（每側(cè)）”。暫時(shí)，還不知道具體會(huì)有多少個(gè)相機(jī)，也不知道Magic Leap會(huì)把這些元件做得有多小。但我們知道的是，這些要放在眼鏡上，而且對(duì)于SLAM非常重要。
最后一個(gè)相機(jī)的功能也可以從上面的原理圖中找到。至少要有兩個(gè)相機(jī)拍攝眼睛。這是用來(lái)追蹤視線和眼動(dòng)以便獲取焦點(diǎn)和視線方向。同時(shí)也會(huì)有紅外LED為這兩個(gè)相機(jī)提供照明。眼跟蹤對(duì)于用戶(hù)交互很重要。
我想“你在看什么”的問(wèn)題對(duì)于你如何與Magic Leap交互應(yīng)該是非常重要的。這將是其主要的交互工具，就像是電腦的鼠標(biāo)。
當(dāng)然，現(xiàn)在，我沒(méi)法驗(yàn)證這些信息是真是假，但這些加總在一起，確實(shí)感覺(jué)上就像Magic Leap正在做的東西。不管最后這個(gè)產(chǎn)品會(huì)不會(huì)在消費(fèi)市場(chǎng)上獲得成功，這確實(shí)是好一陣子沒(méi)有見(jiàn)到的一個(gè)技術(shù)產(chǎn)業(yè)的真正意義上的創(chuàng)新。我真的無(wú)比激動(dòng)想要看看他們會(huì)有什么奇遇，同時(shí)也期待該產(chǎn)品在業(yè)界會(huì)造成什么樣的影響。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
