<mark id="oztn4"></mark>
0
高通一改往年習(xí)慣，在2020年12月2日發(fā)布了驍龍888。作為2021年旗艦標(biāo)配的移動平臺，驍龍888最新的X1構(gòu)架帶來了25%的CPU性能提升，Adreno 660也給出高通GPU史上最大的35%性能提升。
不過近幾年來，高通旗艦平臺提升幅度最大的，一直都是它的AI性能。高通產(chǎn)品管理副總裁Ziad Asghar曾經(jīng)表示，AI性能大幅提升的主要來自客戶的需求，他們期待看到AI在新領(lǐng)域?qū)崿F(xiàn)應(yīng)用，比如視頻、游戲、安全等。
但終端用戶依舊不太了解AI的實際用途和影響，AI硬件的發(fā)展與大眾觀念的普及之間有明顯的脫節(jié)。這次我們以首批搭載驍龍888的小米11和iQOO 7為例，看看移動AI能干什么，以及2021年旗艦的AI新玩法。
移動AI的核心，是各種用到神經(jīng)網(wǎng)絡(luò)/深度學(xué)習(xí)等AI算法。它們在圖像、音頻等領(lǐng)域有遠(yuǎn)超傳統(tǒng)算法的效果，但需要專門的AI硬件加速器才能高效地工作。
而高通是首個將終端側(cè)AI SDK商用化的公司，如今全球有超過5億臺安卓終端，在使用高通神經(jīng)網(wǎng)絡(luò)處理SDK提供AI功能。而高通的AI性能，從驍龍835時代就開始倍數(shù)增長，驍龍845是3TOPS，驍龍855是7TOPS，驍龍865是15TOPS。AI算力達(dá)到這個量級，本以為增長會明顯放緩，結(jié)果驍龍888又把算力記錄提升到26TOPS。
驍龍888上的是高通第六代AIE，其最核心的Hexagon 780 DSP，把以前Hexagon 600系列中的標(biāo)量，張量（Hexagon Tensor Accelerator）和向量（Hexagon Vector eXtensions）模塊，融合成整體式IP，共享內(nèi)存增加整整16倍。在每瓦性能提升3倍的基礎(chǔ)上，Hexagon 780 DSP標(biāo)量執(zhí)行能力提高50％，張量執(zhí)行吞吐量翻倍，核心切換時間比以前快1000倍。
驍龍888在機(jī)器學(xué)習(xí)基準(zhǔn)測試MLPerf中，最高提升4倍，暴漲后的內(nèi)存池可以讓神經(jīng)網(wǎng)絡(luò)在Hexagon 780內(nèi)部運行，無需占用額外內(nèi)存，也能運行更大的機(jī)器學(xué)習(xí)推理模型。
類似ARM平臺“大小核搭配”的傳統(tǒng)藝能，高通為了平衡性能和功耗，在驍龍888的第二代傳感器中樞里，增加了專用的低功耗AI處理器。在功耗不到1mA的情況下，讓AI性能提升5倍。
傳感器中樞集成的AI處理器，負(fù)責(zé)低功耗、無需喚起的全天候語音響應(yīng)、環(huán)境感知等場景的AI待命，宣稱能分擔(dān)Hexagon 780 80%的工作負(fù)載。需要AI的人眼識別亮屏、語音助手應(yīng)答、汽笛聲/嬰兒哭聲等語音事件檢測功能的功耗也更低。
另外，它可以從不同的核心收集和解密5G、WiFi、藍(lán)牙、位置流的連接數(shù)據(jù)，并創(chuàng)建全天候和帶上下文感知的用例，例如手機(jī)識別周圍聲音自動調(diào)整鈴聲音量、在沒信號停車場實時構(gòu)建地圖并追蹤停車位置等情境感知功能。
在驍龍888這一代，高通推出更加開放的AI Engine Direct，開發(fā)者現(xiàn)在可以用統(tǒng)一的API直接訪問Hexagon 780、Kryo CPU和Adreno GPU等的硬件，并有更多的框架的支持。軟硬件的提升，可以更好地支撐不同廠商，讓廠商能根據(jù)各自對AI理解，做出不同的AI應(yīng)用。
在首批搭載驍龍888的小米11和iQOO 7上，因為有更加強(qiáng)大的AI性能支撐，一大批下滲到日常場景，很接地氣的AI應(yīng)用，就是教科書式的“我很平凡，凡爾賽的凡”。
在小米手機(jī)上，運動健康領(lǐng)域MACE Micro AI引擎，使用深度學(xué)習(xí)算法提高數(shù)據(jù)準(zhǔn)確精度并降低能耗，一整天的耗電量小于1%（24小時耗電量 9.6mAh）。
而DNN-HMM框架深度學(xué)習(xí)算法，被小米用在相機(jī)AI聲控上，在拍照場景的音頻流中，進(jìn)行多指令詞實時檢測。而小愛同學(xué)語音助手的ASR語音識別、NLP自然語言處理、TTS語音合成，以及一系列的端側(cè)AI功能，因為有驍龍888的支持，在小米11上的響應(yīng)速度更快，但功耗卻更低。
GVoice & VOIP雜音比例對比
而iQOO的AI應(yīng)用，自然是和游戲相關(guān)的。在iQOO聯(lián)合騰訊開發(fā)的游戲Gvoice語音功能中，使用驍龍888的AI引擎和傳感器中樞作為新的硬件載體，GVoice算法負(fù)責(zé)AI的回聲消除和噪音抑制（ECNS），廠商與游戲端定制通信協(xié)議，適配客制化音頻通路。
在提供更好的聲音還原度和噪聲抑制效果時，運行在Hexagon DSP的GVoice語音，可以讓整機(jī)耗電下降20mA/s，其所占的CPU資源在原有基礎(chǔ)上減少約30%。
另外，高通與NLP自然語言處理方案的頭部廠商Hugging Face合作，為第六代高通AI引擎提供強(qiáng)大的NLP庫。打字時的本地自動補(bǔ)全建議、AI語音助手對用戶提問的理解、終端側(cè)的實時AI翻譯等功能，都將直接受益。
把單攝玩出花的Google，之前就用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)做到背景虛化、全景、Motion動圖（類似iOS平臺的Live Photo）、AR實時追蹤貼圖、超分辨率放大、超級夜景等多種功能。Snapchat通過AIMET量化其AI鏡頭模型，提高實時濾鏡流暢度并增加濾鏡多樣化。
而增加對循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長短時記憶神經(jīng)網(wǎng)絡(luò)（LSTM）支持的AI模型增效工具包，被開發(fā)者做成了“手機(jī)拍照就能掃描皮膚健康”的應(yīng)用。德國的trinamiX公司則是用紅外光譜分析材料反光，以此做皮膚檢測，甚至是垃圾分類。
影像是AI最重要的用途之一，而最能看出不同廠商對AI的不同看法的，也是影像部分。小米11的夜景模式新增的夜景拍攝視頻，利用AI大幅提升夜景視頻的畫面亮度和降噪表現(xiàn)。夜景視頻可理解為每秒拍攝超過24張超級夜景照片，是ISP和AI算力暴力提升的直接效果。
小米11在相冊自帶了證件照功能，自拍之后，交給AI一鍵摳圖，選定規(guī)格和背景就能搞定，不需要跑照相館，也不需要動用電腦。類似的還有AI智能去線、智能去人等功能。
之前的AI魔法換天功能，在小米11直接被玩出花來了。其提供了晴空、雨云、彩虹、夕陽、晚霞、星空、月亮、閃電、銀河等幾十種可選內(nèi)容，現(xiàn)在天空上的云朵能像現(xiàn)實一樣隨機(jī)變化。小米甚至還搞出“焰火版魔法換天”，煙火能實時“炸出”自定義的騷氣祝福語。
而對AI算力要求最高的，是多人物共存的魔法分身視頻功能。其用法雖然很簡單，而且無需三腳架，但背后結(jié)合了AI視頻目標(biāo)檢測、實時SLAM場景建模、AI 視頻實時人像分割三大算法，而且還要對視頻實時逐幀對齊拼接。
相比小米11的趣味性，iQOO 7對AI拍攝的著眼點，要加實用化一些。iQOO 7使用自研RAW域AI空域降噪模型，對單幀RAW圖進(jìn)行空域降噪，用AI學(xué)習(xí)識別畫面高中低頻區(qū)域，再0.01lux分段處理的噪聲模型標(biāo)定，分別使用不同程度的降噪，有效提升畫面純凈度，并保留畫面中不同的明暗細(xì)節(jié)。
而iQOO的黑光夜視2.0是更加極限的AI算法，其做到了3倍ISO、遠(yuǎn)超人眼極限的“夜視儀”效果。針對拍照時的翻車操作，iQOO 7的相冊有純凈度改善和處理人像模糊問題的后期修復(fù)能力。
老照片修復(fù)上色
褪色照/黑白照AI上色，是以前就有云端方案，但因為隱私、收費和處理時長問題，一直鋪不開。在驍龍888的AI算力支持下，iQOO 7也引入情懷向的AI舊照修復(fù)、黑白照上色功能，同樣是在相冊里的一鍵操作。
AI 希區(qū)柯克變焦
視頻方面，iQOO7做出了一鍵Vlog模板。里面最騷氣的希區(qū)柯克變焦模板，使用AI進(jìn)行目標(biāo)檢測、背景拉伸，縮放，完成以前需要多攝像頭/變焦協(xié)同和人力移動的效果。
AI濾鏡風(fēng)格遷移
常規(guī)的圖片濾鏡只能在給出的濾鏡風(fēng)格里選擇，但AI已經(jīng)能做到濾鏡風(fēng)格遷移，用AI識別和抽象化提取指定照片（甚至電影截圖）的風(fēng)格，自動生成全新的模板。
虹軟“傻瓜相機(jī)”
驍龍888上，高通首次將AI引入自動對焦、自動曝光和自動白平衡的3A算法?；陲@著性特征分析的自動對焦和自動曝光的神經(jīng)網(wǎng)絡(luò)，提供前所未有的準(zhǔn)確度之余，還有實物運動跟蹤能力。
虹軟 “傻瓜相機(jī)”功能，在全自動的3A之外，還能自動跟蹤目標(biāo)和自動縮放，連取景和構(gòu)圖都“傻瓜化”了。
視頻實時分隔與融合
4K 30FPS的實時背景摳圖
在高通AI Engine的支持下，CV-ISP硬件計算視覺加速器也能提供60fps實時景深識別的人像、背景分割、替換、人體追蹤、物體識別/追蹤的效果。
高通AI引擎運行和加速的Tetras.AI超級電影應(yīng)用里，驍龍888可以做到4K 30FPS的視頻實時背景摳圖、分割和融合，然后還能用不同的形象代替視頻中的角色，與里面的其他人物/角色進(jìn)行互動，而且取景框上就能實時預(yù)覽最終效果。
數(shù)年間，高通的AI引擎已經(jīng)發(fā)展到第六代，異構(gòu)化和第二代傳感器中樞，已經(jīng)能讓人眼識別亮屏、語音助手應(yīng)答、語音事件檢測、情景上下文感知等AI功能可以低功耗地全天候工作。
而小米11和iQOO 7，在相機(jī)上的超級夜景視頻、摳圖、魔法換天、舊照恢復(fù)、希區(qū)柯克變焦模板、自由濾鏡等更加重度的AI新玩法，也在刷新我們對AI拍照的理解。一邊是下沉滲入到日常使用的傳統(tǒng)功能AI化，一邊是新發(fā)掘的非線性、散點出現(xiàn)的AI新玩法。
但 “真正的科技就是讓你感覺不到它的存在”，大眾對移動AI實際用途的感知割裂，或許正是AI已經(jīng)深入生活的注腳。當(dāng)被新旗艦玩出花的AI功能，從點連成線、連成面之后，就是真的“我很平凡，凡爾賽的凡”了。
雷鋒網(wǎng)文章，轉(zhuǎn)載雷鋒網(wǎng)文章請聯(lián)系雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
