不用買 iPhone，普通手機也能玩“Animoji”

雷鋒網消息，7 月 4 號，微軟官方發布消息，測試版的 SwiftKey（雷鋒網按：2016 年，SwiftKey 被微軟收購）中加入了新功能 Puppets，這個新功能提供了熊貓、恐龍、貓頭鷹等多個動物的 3D 形象，還能夠通過 AI 技術來實時反映用戶的表情和頭部動態。

盡管 3D 表情近幾年開始席卷全球，但值得一提的是，人們關于創建 3D 動態形象的想法，早在十幾年前就已經生根發芽了。

從好萊塢大片中得到的靈感

2005 年左右，運動追蹤技術還遠未達到成熟階段，即便是在 2009 年上映的《阿凡達》，也需要演員提前在臉上標記特定的小點，穿上帶有特制小球的衣服，幫助光學系統追蹤人臉和身體的動作變化，最終精準地捕捉到人物角色的表情和動作。

雷鋒網注：上圖為《阿凡達》劇照

Faceshift 公司（雷鋒網注：Faceshift 是一家人臉追蹤技術公司，2015 年被蘋果公司收購）的聯合創始人之一 Mark Pauly 表示：

為演員的臉部標點是一個很不錯的想法，因為這樣可以幫助簡化運動追蹤的計算量。但這需要大量的設備，還需要花費大量的時間成本。

Mark Pauly 和其他研究者開始尋求新的方法——開始探索如何使用深度感應相機和算法來取代傳統的方法，使面部表情追蹤變得更簡單。而他們的最終目標是制作出可以實時模仿人類表情的動態數字形象。

由于人臉總是持續變化，因此，為了讓機器可以準確識別出面部運動，必須讓它識別出在不同環境或狀態下的人臉，比如變幻的光線，頭部的旋轉角度，人臉的膚色等。接下來就是不斷地訓練算法來處理這些面部數據信息，然后建立大量的 3D 模型，形成模擬形象。

人臉追蹤技術從電影走向手機

在 2013 年開始，蘋果就陸續收購了 3D 傳感器制造商 PrimeSense、圖像識別公司  Perceptio、增強現實公司 Metaio 和 人臉追蹤技術公司 Faceshift。從現在看來，這波瘋狂收購的背后，很大一部分原因是蘋果在為推出 iPhone X 做準備。

2017 年 9 月，蘋果推出了 iPhone X，從外形上來看，除了經典 Home 鍵的消失，屏幕頂部還出現了一塊“劉海”區域。

在這塊神秘的黑色劉海之下，內置了麥克風、揚聲器、前置攝像頭，以及包括環境光傳感器、距離感應器、紅外鏡頭、泛光感應元件、點陣投影器在內的 5 種感應器。這 5 種感應器組成了原深感攝像頭系統（True Depth Camera  System），它可以捕捉并分析用戶的面部 3D 結構特征，類似 3D 建模一樣，然后再通過蘋果神經引擎（A11 Bionic Neural Engine）即時處理識別數據。

基于原深感攝像頭和神經網絡的支持，3D 版的 Emoji——Animoji 就這樣應運而生了；用戶可以在使用 iMessage 時開啟 Animoji 錄制一段不超過 10 秒的小視頻，而 3D 動畫形象會同步用戶的表情，而且這個功能還支持錄音。

雖然，Animoji 只是作為 iMessage 的一個功能出現，但從 3D 動畫表情創新的層面上來說，Animoji 可以算得上是開山之作，它讓好萊塢大片中的 3D 人臉追蹤技術走向了手機。

在蘋果開始采用 3D 結構光技術來支持人臉識別和 Animoji 之后，三星、華為、小米等手機廠商也在不斷努力之后，實現了這一技術，并打造了屬于自己的“Animoji”，甚至逐漸擺脫了對原深感攝像頭的依賴。

基于深度神經系統的 Puppets

與蘋果 Animoji 不同的是，微軟 3D 動畫表情 Puppets 的載體不在于系統內的短信（iMessage），而是在于第三方軟件 SwiftKey；這款個性化輸入法基于先進流利的預言推理引擎，能夠進行十分快速的輸入操作——微軟預計，SwiftKey 每周可以節約總計 2000 萬個小時的打字時間。

除此之外，Puppets 最大的不同在于，蘋果 Animoji，以及其他許多 3D 動態表情都需要原深感攝像頭的支持，從而掃描人臉的 3D 結構圖來建模，而 Puppets 僅用普通攝像頭也能塑造出實時 3D 動態表情。這是因為 Puppets 的運作原理基于一個由志愿者提供圖片和視頻集成的龐大數據庫，微軟通過這個數據庫來訓練自己的深度神經網絡，從而識別用戶的表情，比如微笑和眨眼，直接進行模仿。

用戶可以通過 Puppets 錄制長達 30 秒的視頻，視頻會實時轉化為 3D 動態形象，這些小視頻還可以分享到社交媒體或其他平臺上。

微軟產品經理 Deepak Paramanand 表示：

我們希望 SwiftKey 用戶在與家人朋友溝通時，除了預先設置的 GIF 動圖之外，還能有更多的選擇，因此我們創建了 Puppets。人們希望快速打字，SwiftKey 能夠滿足這一點；人們也希望以有趣的方式來表達自己，這一點 SwiftKey 現在也能做到了。

雷鋒網小結

從應用在 3D 電影中的人臉追蹤技術，到蘋果開先河的 3D 動畫表情 Animoji，再到微軟的 Puppets，這些技術和產品或許有其不足之處，但至少可以清楚地看到它們在隨著迭代而成長。

值得一提的是，目前推出的 Puppets 還只是測試版，而且僅限于 Android 手機；更多關于 Puppets 的動態，雷鋒網將會繼續關注。

相關文章：

蘋果 Animoji 表情背后：面部識別技術如何一步步進化的？

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。