<mark id="oztn4"></mark>
0
雷鋒網(wǎng)按：本文作者系 Super Ventures 合伙人 Matt Miesnieks ，此前他曾通過《蘋果 ARKit 憑什么碾壓對(duì)手？》一文（雷鋒網(wǎng)已發(fā)布）詳細(xì)解釋了 ARKit 的工作原理，以及 與 Tango、微軟 HoloLens 的不同之處。隨后他又發(fā)表了《ARKit 很厲害，但蘋果做 AR 眼鏡還需翻過這 8 座大山》。文中，他利用自己在行業(yè)內(nèi)摸爬滾打的多年經(jīng)驗(yàn)，對(duì)真正的消費(fèi)級(jí) AR 眼鏡誕生路上的 8 座大山進(jìn)行了梳理，同時(shí)還對(duì)未來一段時(shí)間內(nèi)的技術(shù)發(fā)展脈絡(luò)進(jìn)行了預(yù)測(cè)。這兩篇文章引起了廣泛的討論，因此 Miesnieks 專門搜集了 16 個(gè)網(wǎng)友提問并在今天這篇文章做了集中回答。
Q1：我同意您“追蹤系統(tǒng)已經(jīng)進(jìn)入商品化階段”的論斷。現(xiàn)在整個(gè)業(yè)界應(yīng)該將注意力轉(zhuǎn)向有關(guān)交互的復(fù)雜問題了，它才是讓 AR 開發(fā)者頭疼的攔路石，我也是被交互問題搞得焦頭爛額的開發(fā)者之一。
A1：謝謝 Philip 的提問。交互確實(shí)是一個(gè)令人著迷但又非常難啃的硬骨頭。整個(gè)業(yè)界還沒有現(xiàn)成的技術(shù)標(biāo)準(zhǔn)可用，開發(fā)者只能自己騎驢找馬。AR 交互依然需要解決三大問題，它們分別是輸入（硬件、模式和多模 AI）、圖形界面和操作系統(tǒng)、應(yīng)用和使用案例。
在我看來，現(xiàn)在談?wù)搱D形界面和應(yīng)用這兩大塊還有些早，但絕對(duì)是個(gè)開始學(xué)習(xí)的好時(shí)機(jī)。以我的經(jīng)驗(yàn)來看（我老婆就是個(gè) AR 交互設(shè)計(jì)師，目前正在 Adobe 負(fù)責(zé) Design Lab 的工作，他們?cè)谒伎汲两皆O(shè)計(jì)的的未來）解決了輸入后我們面對(duì)的第二大問題是如何將內(nèi)容布局進(jìn)一個(gè) 3D 場(chǎng)景中，畢竟開發(fā)者對(duì)這樣的場(chǎng)景沒有掌控力，而且這是前人沒做過的大課題。同時(shí)，我們還要讓內(nèi)容有較強(qiáng)的易讀性，文字是黑體還是背的？是否開啟夜間模式？如何避免你錯(cuò)過重要信息？設(shè)置多大的字體？字體是 2D 還是 3D？等等……
我現(xiàn)在就將精力集中在解決這些問題上，平臺(tái)公司（如Hololens、蘋果和 Magic Leap 等）和在這些平臺(tái)上搭建應(yīng)用的開發(fā)者可能有機(jī)會(huì)趕上這個(gè)風(fēng)口。
Q2: 2015 年 5 月，蘋果收購了新創(chuàng)公司 Metaio，該公司手握相當(dāng)強(qiáng)悍的追蹤技術(shù)，Metaio 的技術(shù)是否也為 ARKit 的誕生立下了汗馬功勞？
WWDC 上蘋果還一并推出了 Metal 2，其圖形效能相比Metal提升高達(dá)10倍，這絕對(duì)不是巧合。ARKit 的橫空出世是否與 Metal 2 有關(guān)呢？
如果兩者有聯(lián)系，安卓陣營(yíng)的 GPU API Vulkan 是否也該盡快提供視覺和推理計(jì)算加速呢？
在我看來，蘋果確實(shí)有一定的技術(shù)優(yōu)勢(shì)，但與當(dāng)年 Mac 大戰(zhàn) Windows 一樣，現(xiàn)在的安卓全球市場(chǎng)份額達(dá)到因 85%。因此如果整個(gè)安卓生態(tài)也能用上新的 API，就能進(jìn)行快速追趕。同時(shí)，網(wǎng)頁端也能通過相同的方式進(jìn)行 AR 大普及。
A2：關(guān)于蘋果和 Metaio 的問題，我沒有什么內(nèi)幕消息，不過我認(rèn)為 Metaio 的代碼庫在平面檢測(cè)上對(duì)蘋果幫助不小。同時(shí)，它們?cè)谝曈X追蹤器的定位上也幫了不少忙。眼下，F(xiàn)layBy 是業(yè)內(nèi)慣性追蹤器做的最好的廠商，而該技術(shù)是 ARKit 能實(shí)現(xiàn)驚人效果的基石之一。我認(rèn)為，未來蘋果會(huì)基于現(xiàn)有的視覺慣性測(cè)量系統(tǒng)（VIO）打造更為完善的 SLAM 系統(tǒng)，到時(shí) Metaio 的價(jià)值自然會(huì)提現(xiàn)出來。
關(guān)于 Metal 的問題，我們?cè)鴮?Dekko 的代碼移植進(jìn)蘋果早期系統(tǒng)的通用圖形處理器中，隨后花了大量時(shí)間對(duì)其性能進(jìn)行了測(cè)試。下面是我們得出的結(jié)論：
1. 借助強(qiáng)大的慣性系統(tǒng)和良好的校準(zhǔn)，視覺系統(tǒng)在運(yùn)算上省了很多力。在 GPU 幫助下它們還能做一些特征檢測(cè)和光束調(diào)整的工作。不過，真正起作用的還是硬件加速的 3D 矩陣運(yùn)算，因此追蹤系統(tǒng)在這里作用不大。
2. 解決了三維重構(gòu)（在設(shè)備上進(jìn)行密集的重構(gòu)還很困難）問題后真正的好處才會(huì)大量出現(xiàn)。當(dāng)然，我們還要在追蹤地圖上解決重新定位的問題（特別是在較大區(qū)域進(jìn)行追蹤時(shí)）。
在你看來，安卓能憑借 85% 的市場(chǎng)占有率贏得這場(chǎng) AR 之戰(zhàn)的最終勝利。不過我認(rèn)為真正要緊的是：
時(shí)鐘同步的傳感器中心必須融入所有設(shè)備（現(xiàn)在已經(jīng)在許多新設(shè)備上實(shí)現(xiàn)了）；
慣性測(cè)量單元（IMU）校準(zhǔn)和建模需要成為 OEM 商的默認(rèn)設(shè)置，而這會(huì)對(duì)設(shè)備的制造成本和時(shí)間造成影響，是業(yè)界面臨的一大挑戰(zhàn)；
硬件加速隨后會(huì)占據(jù)主導(dǎo)地位，驅(qū)動(dòng) AR 用戶體驗(yàn)。值得注意的是，我們必須首先解決密集的實(shí)時(shí)單一三維重構(gòu)和廣域本地化技術(shù)。搞定了它們，3D 場(chǎng)景語義自然就明了啦。
對(duì)頭戴設(shè)備來說，能耗問題相當(dāng)重要，要提升設(shè)備的佩戴體驗(yàn)必然會(huì)影響電池的大小。不過，現(xiàn)在預(yù)測(cè)此類設(shè)備搭載的芯片會(huì)向何種方向進(jìn)化還為時(shí)過早（是采用 Movidius 的 CVGPU 還是 HoloLens 的 HPU ASICs，或是高通驍龍 835？）。
順便說一句，關(guān)于 Vulkan 和 WebVR/WebAR 未來的市場(chǎng)前景，我還有很多思考。為了這些問題我也和 OEM 商和風(fēng)投們進(jìn)行了大量交流。顯然，它們更偏向 Chromebook 風(fēng)格的頭戴設(shè)備，因?yàn)檫@樣就不用開發(fā)新的操作系統(tǒng)了。不過，這樣的產(chǎn)品在追蹤和三維重構(gòu)能力上有一定的缺陷。
Q3：確實(shí)，AR 不會(huì)像智能機(jī)一樣顯示個(gè) 4x6 的桌面圖標(biāo)陣。我想我們需要可以一次看多個(gè) APP 的方法。因此我們需要全新的 UI 架構(gòu)。不過，在 web 端我更看好新型的“用戶代理”。
A3：這個(gè)問題問得好，在 AR 面臨的所有挑戰(zhàn)中，UI 最令我著迷，同時(shí)它也是最難解答的。在我看來，最終的 UI 基調(diào)會(huì)由輸入系統(tǒng)來決定。
其次，整體 UI 風(fēng)格會(huì)保持高度的擬物化（至少在初期），這樣用戶才能更加直觀的理解這種虛擬的感覺。最后我想說的是，AR 的 UI 風(fēng)格不會(huì)特別華麗，它與我們熟悉的設(shè)計(jì)會(huì)有較多相似之處。
Q4：在文章中你沒有明確解釋有關(guān) MR 和 LiDAR 融合的問題。 我迫切想知道關(guān)于高分辨率內(nèi)容和注釋系統(tǒng)的信息。
A4：由于功耗較高，LiDAR 恐怕難以融合進(jìn)移動(dòng) AR 設(shè)備。把硬件問題放在一邊，我覺得你真正在乎的是系統(tǒng)是否能給應(yīng)用開發(fā)者或內(nèi)容創(chuàng)造者以真實(shí)世界的 3D 感知（這里會(huì)提到密集 3D 重建 Dense 3D resconstruction，而不是我們使用的 Voxels 三維像素。通常，密集意思是各個(gè)立方英寸的三維像素，或者說 2D 攝像頭傳感器上每個(gè)像素的三維像素。）更高的像素是可能的，但對(duì)于室外或室內(nèi)場(chǎng)景，即便是每個(gè)面一英寸的三維像素，對(duì) UX 來說都需要足夠高的分辨率。
想營(yíng)造這種 3D 感知，系統(tǒng)需要提供“幾何學(xué)”和“語義學(xué)”意義，舉例來說系統(tǒng)需要提供沙發(fā)的外形，也得提供一些證明它是沙發(fā)的標(biāo)簽。
只要有兩個(gè)攝像頭（一個(gè)傳統(tǒng)的 RGB，一個(gè)景深攝像頭），就能完成密集的 3D 重建，Tango 和 HoloLens 都在使用這樣的解決方案。不過，兩套系統(tǒng)提供的都是簡(jiǎn)化的幾何學(xué)意義，而只利用一顆 RGB 攝像頭就完成密集重構(gòu)的技術(shù)現(xiàn)在還不成熟（至少還要等一年）。此外，這種解決方案對(duì)處理能力的要求市場(chǎng)上現(xiàn)有設(shè)備都無法滿足。
對(duì) 3D 場(chǎng)景的語義學(xué)理解也是個(gè)相當(dāng)活躍的研究領(lǐng)域，但想出產(chǎn)品至少也得等一年。
Q5：蘋果可能會(huì)借 ARKit 完成對(duì)智能手機(jī) AR 行業(yè)的早期統(tǒng)治，但非 iOS 用戶卻享受不到，這部分用戶甚至很長(zhǎng)時(shí)間都用不上這項(xiàng)功能。那么 ARKit 的誕生對(duì)安卓生態(tài)有什么意義呢？谷歌需要快速轉(zhuǎn)變打法，推出廉價(jià)版的 Tango 嗎（本文發(fā)布時(shí)，谷歌推出了 ARCore）？
A5：在我看來，ARKit 的真正價(jià)值和意義在于它告訴 OEM 商（也就是 Android 和 HMD 商），當(dāng)硬件性能過關(guān)后，只需給開發(fā)者提供一定的支持，他們就能進(jìn)入深層的內(nèi)容開發(fā)學(xué)習(xí)。
實(shí)話說，即使是一款能將 ARKit 性能發(fā)揮到極限的應(yīng)用也并不完美，因?yàn)楝F(xiàn)在的應(yīng)用依然要靠手持，沒有三維重構(gòu)，輸入體驗(yàn)也不怎么樣。不過，有了 ARKit 開發(fā)者終于可以認(rèn)識(shí)到除了一個(gè)好點(diǎn)的追蹤系統(tǒng)，AR 到底還需要什么。
無論谷歌是否會(huì)推出輕量級(jí)的 Tango（本文發(fā)布時(shí)，谷歌推出了 ARCore），安卓 OEM 商們都有自己的小算盤，它們也想扼住命運(yùn)的咽喉，推出自家的 ARKit，未來一場(chǎng)混戰(zhàn)不可避免。
Q6：我關(guān)注移動(dòng) AR 和 SLAM 已經(jīng)一年左右了，但讀了你的文章我依然感覺醍醐灌頂。
我有兩個(gè)問題，第一個(gè)是 ARKit 會(huì)在 iPhone 7s 上調(diào)用第二個(gè)攝像頭嗎？第二個(gè)則是 ARKit 和 Tango 到底用了什么算法來避免物體移動(dòng)帶來的 VIO 漂移？
A6：我覺得 7s 不會(huì)調(diào)用第二顆攝像頭（內(nèi)部消息，至少在這一版本不會(huì)使用），不過在繪制初始 3D 地圖時(shí)，第二顆攝像頭可能會(huì)負(fù)責(zé)提高精度。當(dāng)年 FlyBy 的初始系統(tǒng)就沒用到第二顆攝像頭。由于 ARKit 可以兼容傳統(tǒng) mono RGB 攝像頭手機(jī)，因此它必須提供對(duì)立體聲硬件的特別支持。因此未來調(diào)用第二攝像頭也不是不可能。
對(duì)于問題中說到的“物體移動(dòng)帶來的漂移”我不太理解。我想你說的可能是系統(tǒng)如何保持虛擬物體的位置，畢竟在 AR 場(chǎng)景中會(huì)有各種移動(dòng)的物體“入侵”。廠商們實(shí)現(xiàn)這一效果靠的是以下這兩種方式：
1. 當(dāng)場(chǎng)景動(dòng)起來時(shí)，無論設(shè)備動(dòng)不動(dòng)，光學(xué)系統(tǒng)都會(huì)犯懵（當(dāng)你站在一輛靜止的火車上，與另一列火車并排而立，一輛車動(dòng)起來后你無法立即找出到底是哪輛車動(dòng)了）。這個(gè)問題可以由慣性測(cè)量單元來解決，如果它探測(cè)不到加速，那么你就是靜止不動(dòng)的，移動(dòng)的是場(chǎng)景。
2. 一般情況下，場(chǎng)景內(nèi)都只有一部分在移動(dòng)（如人走動(dòng)、地面和建筑靜止）。系統(tǒng)會(huì)盯著場(chǎng)景中的某些點(diǎn)，它會(huì)設(shè)定一些“可靠性得分”來測(cè)算某些點(diǎn)是否能確定設(shè)備的姿態(tài)。那些足夠可靠的點(diǎn)最后才會(huì)入選，而場(chǎng)景中移動(dòng)的物體會(huì)被忽視。
Q7：一旦到了室外，景深攝像頭就不太靈光了，因?yàn)楸尘肮庵屑t外光譜的變化會(huì)擾亂它的工作。不過，也有人不這樣認(rèn)為，因?yàn)殡m然我們發(fā)送的光子數(shù)量不多，但都是在極短的時(shí)間內(nèi)完成的，因此某一點(diǎn)上產(chǎn)生的能量其實(shí)比太陽還高。以下為該理論的參考鏈接：
http://computerstories.net/new-technology-allows-for-outdoor-depth-sensing-cameras-16482
A7：這話說得有道理，但不是 100% 正確。如果發(fā)射器能散射出足夠的能量，那么即使戶外光線較強(qiáng)設(shè)備也能正常工作。此外，我們也能使用立體紅外接收器（像 Intel 的 Realsense），這樣在戶外也能實(shí)現(xiàn)較好的 AR 效果（限定在一定的范圍內(nèi)）。真正困擾研究人員的其實(shí)是功耗、成本和到底能應(yīng)對(duì)多少戶外情況。因此現(xiàn)有技術(shù)下，研究人員還不愿將景深相機(jī)加入消費(fèi)級(jí)設(shè)備中去。
Q8：首先，我要贊一下那兩篇文章，因?yàn)榻K于有人指出計(jì)算視覺終將替代景深傳感器了。鑒于模擬數(shù)據(jù)正在快速崛起，我相信這一天離我們不遠(yuǎn)了。
A8：動(dòng)態(tài)紅外傳感器到底能不能勝任景深探測(cè)我也不敢 100% 確定。它們確實(shí)能解決一些 RGB 相機(jī)無法搞定的事情，比如光線較暗的房間、單色的表面和靜態(tài)物體的景深信息。在某些情況下，紅外線傳感器還能解決生物追蹤的問題。雖然這些都是些邊邊角角的個(gè)案，但未來在降低成本和空間利用率上可能都會(huì)起到作用，不過想省電是沒戲了。
雖然未來不好預(yù)測(cè)，但可以肯定的是，景深相機(jī)的活未來 mono RGB 攝像頭都能替代。
Q9：我們準(zhǔn)備為建筑業(yè)開發(fā)一款 AR 應(yīng)用并融入 Revit 模型，你覺得我們?cè)撨x擇 ARKit 還是 Tango 平臺(tái)呢？
A9：我認(rèn)為你們做選擇應(yīng)該基于下列考慮：
首先，你們希望用戶下載應(yīng)用（選 ARKit）還是直接從你們手里購買解決方案（選 Tango，順便售賣應(yīng)用、手機(jī)、訓(xùn)練教程和售后）呢？
其次，你的內(nèi)容是否與三維世界有互動(dòng)？如果有，只能選 Tango 了。當(dāng)然，一年以后 ARKit 可能也會(huì)支持該功能。
當(dāng)然，由于不太了解你的公司，因此我只能簡(jiǎn)單推薦你們選擇 Tango 平臺(tái)。這樣就能直接售賣解決方案并盡快找出產(chǎn)品在市場(chǎng)上的定位。如果你們的產(chǎn)品不能賣個(gè)高價(jià)，就說明它競(jìng)爭(zhēng)力不夠。一旦 ARKit 開始支持你們所需的技術(shù)了，就能轉(zhuǎn)換平臺(tái)了，到時(shí)可以通過低成本的“自助”應(yīng)用來拓展市場(chǎng)。
Q10：你認(rèn)為未來不同的頭戴或移動(dòng)設(shè)備該怎么同步坐標(biāo)系？現(xiàn)有的應(yīng)用需要多位用戶能同時(shí)看到并與相同的虛擬物體進(jìn)行互動(dòng)，這就需要整體坐標(biāo)來保駕護(hù)航。未來，用光學(xué)傳感器加復(fù)雜的數(shù)據(jù)處理能解決這一問題嗎？或者說我們還能拿出其他解決方案？
另外，你認(rèn)為未來會(huì)有其他傳感器平臺(tái)融合進(jìn)頭戴設(shè)備嗎？比如 LiDAR 或雷達(dá)？或者說未來我們會(huì)純靠攝像頭？在我看來，如果只靠光學(xué)解決方案，必然會(huì)遇到一些過不去的坎。
A10：關(guān)于你提到的多人聯(lián)機(jī)問題，我們?cè)?Dekko 和三星都做過相關(guān)的解決方案，因此對(duì)這個(gè)問題我門清。這套系統(tǒng)肯定要用到絕對(duì)坐標(biāo)，相對(duì)坐標(biāo)就沒有那么重要了。隨后，系統(tǒng)會(huì)在不同的設(shè)備間分享坐標(biāo)（多玩家在線游戲早就解決這一問題了）。
困難之處在于如何通過定位獲取絕對(duì)坐標(biāo)。眼下，這一問題外還沒有單一的解決方案，只有能拿到更精確 GPS 數(shù)據(jù)和慣性測(cè)量單元的軍方才能做到。一般來說，系統(tǒng)開機(jī)后會(huì)定位在 0,0,0 坐標(biāo)并獲取 GPS 讀數(shù)（精度為 10-20 米），隨后開始覆蓋 VIO 和 GPS 系統(tǒng)。
除此之外，系統(tǒng)還會(huì)抓取相機(jī)坐標(biāo)系并利用天際線或地標(biāo)對(duì)比 GIS 地理信息系統(tǒng)進(jìn)行定位。這樣一來，用戶的絕對(duì)坐標(biāo)值就會(huì)更加精確。不過，未來我們需要像素級(jí)的超精確定位，現(xiàn)在的技術(shù)雖然已經(jīng)可以實(shí)現(xiàn)，但想迅速推廣還是有些不現(xiàn)實(shí)。
實(shí)話說我并不看好 LiDAR 或雷達(dá)的前途，因?yàn)樗鼈儠?huì)大幅提升設(shè)備的功耗和重量。大多數(shù)設(shè)備還是會(huì)選擇 VIO，當(dāng)然有些設(shè)備會(huì)輕度使用景深攝像頭。GPU 的職責(zé)這是支持這些傳感器完成地位和三維重構(gòu)。此外，我們也不能忘了云端 3D 地圖和訓(xùn)練數(shù)據(jù)的巨大作用。
Q11：如果說校準(zhǔn)是重中之重，那么蘋果為什么要費(fèi)那么大力將 ARKit 下放給 iPhone 6s 和 SE？最近蘋果還推出了機(jī)器學(xué)習(xí)框架 CoreML，它與 ARKit 是否有很多交集？
A11：蘋果為支持多款設(shè)備而付出了多少努力我不得而知，不過即使一并拉上了較老的 6s 和 SE，也不意味著蘋果每換一個(gè)機(jī)型就要重頭做起。
在打造 VIO 時(shí)，蘋果并未用上 Metal 或者 CoreML。由于慣性系統(tǒng)準(zhǔn)確度很高，因此對(duì) CPU 處理能力的要求并不高。此外，蘋果還要留著 GPU 渲染游戲和應(yīng)用呢。
Q12：文章寫的真不錯(cuò)。為了更深的理解我還專門做了功課，結(jié)果發(fā)現(xiàn) ARKit 用到的一些技術(shù)與蘋果在 iPhone 6 上引入的 Focus Pixels 技術(shù)有關(guān)。
A12：我也聽過這樣的論斷，至于蘋果是否用過我也不清楚。這項(xiàng)技術(shù)確實(shí)能提高景深估算的準(zhǔn)確性，不過到底能提升多少我也說不清。同時(shí)，其穩(wěn)定性也存疑，如果需要相機(jī)時(shí)刻保持穩(wěn)定，其實(shí)用性就大打折扣了。對(duì)于蘋果這種軟硬件整合能力如此強(qiáng)悍的公司來說，將 Focus Pixels 技術(shù)用在追蹤器上確實(shí)有一定作用。
Q13：對(duì)于你文章中提到的價(jià)值主張我非常認(rèn)同。在這里我還想添加幾點(diǎn)自己的意見：
1. AR 將人們的精力從設(shè)備上轉(zhuǎn)移開，使他們能重新抬起頭與人面對(duì)面交流。AR 有潛力扭轉(zhuǎn)移動(dòng)設(shè)備對(duì)傳統(tǒng)社交互動(dòng)的破壞。我們手上的設(shè)備和社交應(yīng)用引來了一場(chǎng)數(shù)字鴉片危機(jī)。我雖然像其他人一樣熱愛科技熱愛移動(dòng)設(shè)備，但我也能毫不猶豫的遠(yuǎn)離它們。
2. 一段時(shí)間以后，AR 就能讓我們看到并與一些現(xiàn)實(shí)世界無法見到的奇景進(jìn)行交互，對(duì)此我非常感興趣。不過，人們擅長(zhǎng)逃避，而空想主義有多種形態(tài)，我們有機(jī)會(huì)借 AR 打造一個(gè)比迪士尼更加天馬行空的世界。就這一點(diǎn)而言，我認(rèn)為我們正站在一場(chǎng)大革新的門前。這場(chǎng)革新將顛覆我們的想象力，是留給子孫后代最好的遺產(chǎn)。
從個(gè)人層面來說，我非常希望開發(fā)者能真正成熟并拿出一些讓人眼前一亮的原型產(chǎn)品和體驗(yàn)，這個(gè)行業(yè)里每個(gè)人的工作都是在添磚加瓦。
A13：上面提到的兩點(diǎn)確實(shí)很棒。關(guān)于讓人多抬頭，我覺得意義不大，因?yàn)槿藗冞€是會(huì)分心。我們確實(shí)可以面對(duì)面交流，但如果一方在做白日夢(mèng)，這話也難說下去。AR 確實(shí)給了交互設(shè)計(jì)是一個(gè)好機(jī)會(huì)，我非常希望能參加到這場(chǎng)重大的實(shí)驗(yàn)項(xiàng)目中去。
你提到的第二點(diǎn)我非常喜歡且贊同。實(shí)話說 AR 行業(yè)的野心比這個(gè)還大，它也確實(shí)能給我們的生活增光添彩，Dekko 也一直在朝這個(gè)方向努力，但技術(shù)環(huán)境卻一直不成熟。如果 AR 能最終成熟，兔子羅杰的故事拍成電影肯定比終結(jié)者或鋼鐵俠更加令人震撼。現(xiàn)在這項(xiàng)技術(shù)正處在關(guān)鍵的臨門一腳，我實(shí)在是等不急了。
Q14：蘋果現(xiàn)在在 Apple Watch 上用的“compute tethering”策略你怎么看？iPhone 上 CPU/GPU 和 6D 傳感器數(shù)據(jù)混合讓蘋果眼鏡成了渲染對(duì)象和屏幕。
無線數(shù)據(jù)的吞吐能力是個(gè)大問題，因此蘋果眼鏡自己也得有個(gè) GPU，這樣才能完成壓縮數(shù)據(jù)流的渲染。
A14：我認(rèn)為你提到的幾點(diǎn)從技術(shù)角度來看都非常現(xiàn)實(shí)。在我看來，iPhone 會(huì)長(zhǎng)期扮演“外置處理器”的角色。從設(shè)計(jì)角度來看，蘋果不會(huì)一上來就把大量傳感器和技術(shù)融合進(jìn)頭戴設(shè)備中。它們還是會(huì)繼續(xù)擠牙膏的風(fēng)格，讓用戶逐步適應(yīng)并最終過渡到真正的 AR 世界。即使底層系統(tǒng)已經(jīng)能提供追蹤等技術(shù)，AR 面對(duì)的一系列設(shè)計(jì)挑戰(zhàn)現(xiàn)在依然很難解決。
從技術(shù)角度來看，用戶的姿態(tài)估算可能會(huì)由頭戴設(shè)備上的專用集成電路完成，但渲染工作還是得靠智能手機(jī)。不過，以現(xiàn)有的無線網(wǎng)絡(luò)來看，帶寬問題會(huì)成為一頭攔路虎。雖然一根電纜就能解決問題，但這樣的方案背離了我們的初衷。
Q15：數(shù)字與物理相結(jié)合確實(shí)很棒，但更為簡(jiǎn)單的桌面 3D 也有三大優(yōu)勢(shì)：1. 其社交和多人游戲?qū)傩愿鼜?qiáng)，同一物理空間的利用率更高；2. 縮放和旋轉(zhuǎn)等動(dòng)作更易改變語境且更容易實(shí)現(xiàn)相應(yīng)的 VR/AR 效果；3. 桌面世界讓人更有參與感，而大多數(shù)軟件都沒有這些優(yōu)勢(shì)。
A15：你提出的這些點(diǎn)都很有料。在桌面游戲中，我們已經(jīng)體驗(yàn)到了社交 AR 帶來的益處。不過，我們的大量測(cè)試也證明，僅僅是縮放和控制攝像頭對(duì)桌面 AR 來說還遠(yuǎn)遠(yuǎn)不夠。此外，你還要時(shí)常改變?cè)O(shè)備的角度，而玩家通常比較懶。對(duì)于桌面 AR，我持觀望態(tài)度。要想更好地開發(fā)這種解決方案，手機(jī)就不能僅僅成為鏡頭或窗口，它還要親身參與成為游戲手柄。在我看來，所有這些技術(shù)都必須遵循與現(xiàn)實(shí)世界互動(dòng)的規(guī)律。在下一篇我將詳述這一問題。
Q16：1994 年，Paul Milgram 和 Fumio Kishino 將 MR 定義為“虛擬連續(xù)統(tǒng)一體極值間的任何地方”。2004 年，Doug A. Bowman （VR/AR 專家，2016 年加入蘋果） 又將 MR 稱為“包含了虛擬環(huán)境和 AR 的連續(xù)統(tǒng)一體。連續(xù)統(tǒng)一體中環(huán)境的位置則體現(xiàn)了虛擬性的級(jí)別。”Bowman 去年年初還被蘋果招致麾下。
如今，微軟將 MR 做成了一個(gè)更具營(yíng)銷意義的名詞，雖然它只是個(gè)術(shù)語而且重要性并不高，但其意義非常值得深度解讀。
A16：給 AR 等術(shù)語下定義我一直以來都是拒絕的，因?yàn)檫@實(shí)在是太學(xué)究了。在我看來，當(dāng)用戶有了相關(guān)體驗(yàn)，他們自然就能將相關(guān)術(shù)語概念化。能有越來越多的人意識(shí)到所謂的連續(xù)統(tǒng)一體我很欣慰。在我看來，上面兩個(gè)定義都沒問題，人們對(duì)產(chǎn)品的分類也越來越明晰。Doug Bowman 和 Mark Bilinghurst 都是我多年的老朋友，他們研究的領(lǐng)域也很類似，所以我知道 Doug 大體在研究什么，但他在蘋果到底做了什么我還真不了解。
Via medium 雷鋒網(wǎng)編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
