如何評價蘋果在 2017 WWDC 上發布的 ARKit？

雷鋒網按：昨晚的 WWDC 想必讓不少 AR/VR 從業者再次興奮起來，蘋果終于出手了。不僅宣布與 Valve 合作，還公布了首臺 VR Ready 的全新 iMac Pro，更厲害的是針對 iOS 11 推出 ARKit，有了 iPhone 對 AR 的支持，相信很快 AR 會成為大家的日常。那么 ARKit 對開發者意味著什么？又對整個業界意味著什么？本文作者阿里巴巴天貓互動技術專家蔣佳憶在知乎上對 ARKit 做了詳細的解析，雷鋒網得到授權轉載。

（看到這一幕我就知道今天晚上穩了！）

首先說明我是強利益相關者，原國內某AR創業公司算法工程師，現國內某互聯網公司AR算法研發...以下點評主要面向AR同行，有些技術詞匯我也不多做解釋了，不明白的同學還請百度。

坦白說，看到蘋果發布ARkit并不意外，畢竟蘋果是除了微軟以外在AR布局最完整的公司之一，很多優秀的AR技術公司都被蘋果收購雪藏，早在去年參加Project Tango的Hackathon的時候我已經預言過蘋果一定會有動作。但是有兩點是我沒想到的，一個是蘋果發布的時間這么快，另一個是居然沒有依賴于任何硬件的升級。

從截圖可以看到發布會使用的是一臺iPad，

而且比較肯定是單目攝像頭，考慮到蘋果的工程能力，ARkit的應該可以支持大部分蘋果的設備（以我個人經驗至少可以到5S及同水準iPad），這個也符合發布會上蘋果說的世界上最大的AR平臺的定位。

那么回頭來點評一下ARkit，我們看看它到底帶來了什么功能：

第一，快速穩定的運動定位，這個是最基本的AR功能，從演示中可以發現整個定位非常穩定且準確，說明精度很不錯，桌面的特征并不算豐富，說明魯棒性很好，最后渲染的Demo模型很復雜，但是感覺很流暢，說明實時性和算法能耗都深度優化過。從發布會的整個演示來看，ARkit的水準應該是業內頂級的。

第二，平面和邊界的估計，平面估計在單目SLAM上并不稀奇，只是從演示中很難判斷是基于三維點云擬合還是IMU數據，初始化的方式看起來更像是基于IMU的。邊界估計這個之前不常見，演示中唯一可以看出來的是那個虛擬小人掉到桌子外（當時過于震驚而沒有截屏），說明ARkit可能不是像snapchat那樣簡單的VIO類算法，（從放出來的文檔看就是VIO...）點云構建的部分是有一定輸出的。

第三，光照估計，這個不好說，單目做光照估計的需求很可能和算法本身的架構有關（直接法？），以什么形式輸出不看到接口很難判斷，大部分的AR應用是不需要這類數據的，除非是要基于實際光照做高還原的真實渲染。

第四，尺度估計，這個就非常厲害了，做單目SLAM的同學都有了解，單目是無法解決尺度問題的，雖然視頻里沒有展示，但是如果真的解決了尺度問題，說明蘋果在IMU和視覺融合方面做了非常先進的工作，而且工程化的非常好，很期待這個功能的實際體驗。

第五，對各個開發平臺或引擎的支持，這點說明蘋果做AR絕對是“蓄謀已久”的，并且野心很大，不給其他對手留余地，一上來就要建立一個完整且廣泛的AR內容開發生態。

總體來說，ARkit基本實現了單目+IMU的SLAM算法可以提供的大部分功能，并且質量很高，我相信蘋果是嚴格檢查過機型覆蓋率，實時性和能耗的，那么毫無疑問，憑借廣泛的硬件覆蓋率，iOS會成為最有活力的AR內容發布平臺，PMGO的體驗肯定有質的飛躍，一大波真-AR游戲應用將會到來。

再來，分析一下目前ARkit有何不足：

第一個不足是三維重建的能力，無論從文字解釋還是Demo演示來看，目前的ARkit僅僅支持平面的“重建”，這里姑且先算做重建，因為是否支持垂直面，任意角度的平面，甚至多個平面目前都還不確定（從目前發出來的文檔看只支持水平面，說明平面的擬合可能是依賴于IMU的，僅用部分點云判斷深度信息）。就算ARkit包含完整的平面重建能力，對于AR應用來說依然還是不足夠的。

增強現實最基礎的要求是對現實世界的理解，比如幾何體的重建，這方面缺失帶來的問題就是無法和真實世界的物體發生合理的物理碰撞，比如演示中看到一個虛擬小人掉下桌子，我們是看不到這個小人掉落到地面的效果的。另外就是虛實遮擋，假設桌面上有一個水杯，那么如果無法重建水杯的Mesh，我們就看不到水杯遮擋住虛擬模型的效果，而會看到虛擬模型“疊加”在水杯之上，這個會比較影響整個AR的體驗。當然我相信以蘋果的實力，想做重建并不是沒有辦法可想。

這里我有兩個猜測，一個可能是三維重建的流程，交互和接口蘋果還在優化中，目前AR基本的功能接口已經足夠發布了，蘋果想慢慢來。另一個可能是蘋果想依托于硬件來解決三維重建的問題，眾所周知單目做實時三維重建是非常有難度的，而基于雙目或深度攝像頭則可以相對簡單的解決這個問題，順便蘋果還可以展現9月份即將發布的iPhone8的“特殊”，兩全其美。

第二個不足，就是識別的能力，目前AR最火爆的應用場景其實不是游戲而是線下營銷，而線下AR營銷非常依托于識別算法和定位算法的對接。蘋果可以在移動端單目設備上做出這樣成熟的SLAM算法，單純的識別和定位應該都不是問題，難點可能在于定位算法如何跟識別算法對接，如果依賴于端上的識別算法，那么按照現有的蘋果更新審核機制，AR內容的更新會非常麻煩，蘋果可能需要提供專門的編輯器；但是如果基于云端識別，則蘋果的用戶群體過于龐大，到時候云識別的QPS會很驚人，是否蘋果還沒有準備好接受這樣的考驗？

此外，服務于AR的單目SLAM可以說是目前業界沒有很好解決的一個課題，所以蘋果在這方面做出了很大的推進。而如果我們限定于二維圖像的識別和跟蹤，則有非常多成熟的SDK可以使用，就連Hololens也可以兼容使用Vuforia，也許蘋果并不準備自己承擔這和識別算法對接的需求。

最后，說一下ARkit對整個AR行業的影響，這里按照行業玩家的角色分開來講。

首先是最下游的硬件玩家，為首的就是AR眼鏡廠商，比如微軟，Meta，ODG等等。

這類玩家受到的波及應該不大，因為AR眼鏡本身就不是服務于當下的C端客戶，大部分都給B端客戶定制使用了，而且短期內不會有很大的出貨量。相反，這其實對AR眼鏡廠商是好事情，因為手機體驗AR是有各種缺陷的，比如無法解放雙手，但是手機上玩AR是可以快速教育用戶的，當用戶習慣于AR，并且想要更高質量的體驗的時候，AR眼鏡就可以考慮轉型服務于C端，蘋果其實是在加速整個AR行業的發展。不過我相信蘋果既然此時布局AR，肯定不會放棄眼鏡，未來希望蘋果也可以重新定義“AR眼鏡”。

這里有點尷尬的硬件玩家是Google，旗下的Project Tango發布已經一年，目前市面僅有聯想的Phab 2 pro和即將發布的華碩的ZenFone搭載了Tango的技術，然而由于整個安卓系AR內容的匱乏，導致Tango手機出貨量非常少，此時ARkit發布一瞬間幾乎覆蓋整個iOS，那么Google是要推出單目的AR SDK覆蓋全部安卓來應對還是強推Tango讓安卓手機硬件升級就是一個非常值得考慮的問題，這里大膽猜測Google是否會開源出來Tango目前整套Msckf的算法？畢竟之前已經開源了一套基于激光的SLAM算法，很期待Google的動作。

還有就是AR硬件模組玩家，比如Intel的RealSense，或者Occpital Bridge這類，本身要依賴于其他硬件終端才可以使用，雖然整體AR的能力是高于iPhone手機的，但是如何體現出自己獨特的價值就變成了一個不得不面對的問題，本來自己是唯一的選擇，現在突然變成“增值服務”，未來的路又渺茫起來。

另外值得一提的是所謂的AR眼鏡盒子或MR眼鏡盒子，即帶有簡易光學設備或僅僅可以讓手機露出后置攝像頭的，需插入手機才可以玩的類似VR盒子的東西...這類設備成本不高，但是可以借助具備AR能力的手機讓用戶快速體驗到類似AR眼鏡的體驗，這類盒子可能會有銷量的帶動，但是長遠發展可以參考目前VR盒子現狀～

再來，我們說說SDK玩家，即AR算法玩家。業內都知道的是由于AR需求的快速發展，最近一年幾乎所有SDK公司都在基于單目做SLAM算法的研發，不論國內國外，大家由于競爭關系在大量的重復造輪子，然而除了Vuforia以外，并沒有哪家拿出來可以服眾的單目SLAM算法SDK，或多或少的，各家都有自己存在的問題。

此時，蘋果拿出來ARkit，按照發布會Demo來看，效果超過所有其他玩家，何況這還是iOS原生算法，這意味著所有APP不需要集成任何SDK就可以具備目前市面上最好的AR能力，可以說對大部分SDK都是比較致命的打擊，默默心疼一分鐘...當然，SDK玩家也并不是完全沒空間，如我上文所說，ARkit并不是完美無瑕并且功能齊全的，單目SLAM是沒辦法做了，但是在這個基礎上擴展功能還是可能的，所以此時的SDK公司應該仔細思考自己如何定位，找到自己的價值和ARkit共存。

然后，我們說一下上游的AR軟件的玩家，為首的是Snapchat、Facebook這類社交軟件，這兩家都剛剛發布了AR相關的產品和編輯器，同時這兩家都依托于自家研發的AR算法，可以說兩家在算法上本來是很領先的。可惜，ARkit一發布，一夜回到解放前，不僅沒有和彼此拉開差距，反而身后跟過來一大批小玩家，類似FaceU，B612這樣的軟件，在人臉的內容運營上本來就很優秀，此時突然白白得到了AR大殺器，更是可以奮起直追。所以AR應用的廝殺接下來可能會很精彩，非常期待！

上游玩家還有就是游戲行業，之前因為工作原因接觸過不少游戲公司，可以說游戲公司對AR是有興趣而不敢投入，一方面技術不夠成熟，接入SDK的學習成本和風險都比較高，效果還不一定好，二是游戲行業目前發展勢頭很好，PMGO后期下滑也比較厲害，游戲公司動力不足。現在ARkit發布以后，一下有一個原生靠譜的AR能力，此時游戲公司不一定還能淡定的觀望，畢竟某易的XX師在AR上下了大力氣，現在有了新能力肯定不會放過，哪怕跟風，其他公司也會嘗試在游戲里加入部分AR的元素，比較看好AR在游戲的發展，尤其卡牌游戲。

大概的分析就到這里，總體來說由于iOS巨大的用戶群體，ARkit的發布對整個AR行業是有很大的推進作用的，每一個和AR相關的玩家可能都需要重新審視一下自己的位置，如何在明確知道iOS具備AR能力的情況下找到自己的定位，純算法或者硬件是否還要堅持？如何細分？如果做軟件或AR服務，那么怎么最大化的利用ARkit？

作為AR從業者，我真心感謝并且欣賞蘋果對于AR的看好和大力投入，希望AR可以越來越成熟，發展的越來越好。