加入手勢識別，ARKit 還能這么玩！

ManoMotion 演示 Demo

隨著 ARKit 和 ARCore 開發(fā)工具的發(fā)布，開發(fā)者們對 AR 內(nèi)容開發(fā)的熱情高漲。之前，國外開發(fā)者們有的把 ARKit 和蘋果機器學(xué)習(xí)框架 Core ML 相結(jié)合，通過手機攝像頭可自動識別物體，并用 AR 效果呈現(xiàn)；還有的把 iPhone 放在紙盒眼睛中，也完成了 Inside-Out 的效果……但，這些還不是 ARKit 的終極玩法。

最近，有家公司把手勢識別加入了基于 ARKit 制作的 Demo 中，他們發(fā)明的新玩法又是什么樣呢？

據(jù)雷鋒網(wǎng)了解，這是一家名為 ManoMotion 的計算機視覺和機器學(xué)習(xí)公司。日前，他們剛剛宣布將公司基于智能手機的手勢操作 SDK 融入蘋果 AR 開發(fā)工具 ARKit 中，用戶只需借助手機上已有的處理器和攝像頭便可在 AR 應(yīng)用中追蹤雙手。

該公司的 CEO Daniel Carlman 此前曾向 Venturebeat 表示，ManoMotion 的 3D 手勢識別技術(shù)可追蹤手部 27 個自由度，可自動識別你是攤開五指，還是指向特定的物體，還可追蹤深度和動態(tài)手勢，如擊打、點擊、輕拍、抓取、釋放等，所有這些對資源的耗費相當(dāng)少。延遲少于 10 毫秒，并且只占用 iPhone 6s 30% 的處理能力。

現(xiàn)在，他們與 ARKit 結(jié)合后，用戶的手部可被識別，還能做出相應(yīng)的點擊動作，如圖中用戶點擊小球，擊入桌子對面的杯子。

Carlman 談到，手機上的單目二維攝像頭可以檢測到手部的移動，并將捕捉到的動作融入到用 Unity 開發(fā)的 AR 內(nèi)容中。當(dāng)然，其他方法也能實現(xiàn)這點，如多目攝像頭、深度攝像頭，以及動作捕捉。但是這些方法和技術(shù)十分昂貴，他們想解決如何更簡單地實現(xiàn)“手的臨在感”。

“目前，AR 技術(shù)還面臨很多限制，例如無法自然與 3D 空間中的物體交互。”Carlman 稱，“ ARKit 中加入手勢識別也是市場上第一次出現(xiàn)，我們期待看到開發(fā)者們會如何重新定義 AR 交互。”

ManoMotion 成立于 2015 年，目前有 14 名員工，已經(jīng)融資 200 萬美元。未來幾周，他們將發(fā)布可融入 ARKit 的 SDK，開發(fā)者可在公司官網(wǎng)下載，會最先支持 Unity iOS。

手勢識別是我們熟悉的交互方式，像 Leap Motion 也是大家熟知的手勢識別公司。手勢識別在 AR 中的應(yīng)用，最讓人雷鋒網(wǎng)編輯難忘的便是 HoloLens 了，把手指當(dāng)做鼠標(biāo)，可隨意拖動視頻，控制菜單，確實很酷。但，把手勢識別用在手機的 AR 應(yīng)用上還是第一次見，雷鋒網(wǎng)編輯還是蠻期待的。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。