Arm全新NPU性能提升4倍，支持Transformer，邊緣生成式AI時(shí)代指日可待

生成式AI在經(jīng)歷了火熱的百模大戰(zhàn)之后，開(kāi)始進(jìn)入落地階段。

以工業(yè)機(jī)器視覺(jué)、可穿戴設(shè)備和消費(fèi)者機(jī)器人為代表的邊緣應(yīng)用，無(wú)疑是生成式AI落地的重要場(chǎng)景。

本周，Arm宣布推出了性能相比前代提升4倍的Arm Ethos-U85神經(jīng)網(wǎng)絡(luò)處理器 (NPU)，這是一款硬件支持Transformer 架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò) (CNN)的AI加速器，能夠以高能效實(shí)現(xiàn)邊緣側(cè)AI推理。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示，“生態(tài)系統(tǒng)中的開(kāi)發(fā)者在樹(shù)莓派設(shè)備上評(píng)估運(yùn)行包括 LLaMA 等在內(nèi)的大模型。邊緣部署大模型和生成式AI用例指日可待，Arm已經(jīng)為此做好準(zhǔn)備。”

全新NPU原生支持Transformer 

Ethos-U NPU系列是Arm推出的AI微加速器，主要是滿(mǎn)足邊緣邊緣AI和嵌入式AI的市場(chǎng)需求，此前已經(jīng)發(fā)布了Ethos-U55、Ethos-U65，并且已經(jīng)有多個(gè)量產(chǎn)產(chǎn)品。

本周最新發(fā)布的Ethos-U85，與上一代產(chǎn)品相比，Ethos-U85 性能提升4倍，同時(shí)能效提高了20%，可以滿(mǎn)足工廠(chǎng)自動(dòng)化和商用或智能家居攝像頭等物聯(lián)網(wǎng)應(yīng)用不斷攀升的性能需求。

Ethos-U85的主要特性包括：

• 單周期支持從 128 到 2048 個(gè) MAC單元的配置——在 1GHz 時(shí)，算力可支持從 256 GOPS 到 4 TOPS。

• 支持 int8 權(quán)重和 int8 或 int16 激活。

• 支持 Transformer 架構(gòu)網(wǎng)絡(luò)，以及 CNN 和 RNN。

• 硬件原生支持 2/4 稀疏性，使吞吐量翻倍。

• 內(nèi)部 SRAM 為 29 至 267 KB，多達(dá)六個(gè) 128 位 AXI5 接口。

• 支持權(quán)重壓縮，采用標(biāo)準(zhǔn)和快速權(quán)重編碼器。

• 支持?jǐn)U展壓縮。

對(duì)于Arm來(lái)說(shuō)，設(shè)計(jì)出一款高性能的產(chǎn)品難度不大，關(guān)鍵在于產(chǎn)品的定義，Ethos-U85相比此前同系列產(chǎn)品一個(gè)明顯的不同是支持Transformer模型。

具體實(shí)現(xiàn)上，Ethos-U85除了支持Ethos-U55和Ethos-U65 目前支持的算子，通過(guò)支持TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR和 ARGMAX等運(yùn)算，Ethos-U85實(shí)現(xiàn)了對(duì)Transformer模型和DeeplabV3語(yǔ)義分割網(wǎng)絡(luò)的原生硬件支持。

更高的性能往往意味著更高功耗，為了兼顧性能和能效，更好滿(mǎn)足邊緣和端側(cè)AI應(yīng)用的需求，Ethos-U85通過(guò)支持元素級(jí)算子鏈化提升效率。

通過(guò)鏈化將元素級(jí)運(yùn)算與先前的運(yùn)算相結(jié)合，SRAM不必先寫(xiě)入再讀取中間張量。由此減少NPU和內(nèi)存之間數(shù)據(jù)傳輸量，提高NPU的效率。

相比Ethos-U65，鏈化是Ethos-U85在效率提升上的新功能之一，此外還有快速的權(quán)重編碼器、優(yōu)化的 MAC 陣列能效，以及提升的元素效率。

參考設(shè)計(jì)加速邊緣生成式AI落地

目前，Arm Ethos NPU系列產(chǎn)品已有逾20家授權(quán)許可合作伙伴，Alif Semiconductor和英飛凌是全新Arm Ethos-U85 NPU的早期采用者。

對(duì)于大量邊緣設(shè)備的開(kāi)發(fā)者來(lái)說(shuō)，基于Arm Ethos-U85 NPU開(kāi)發(fā)和設(shè)計(jì)產(chǎn)品依舊有比較高的開(kāi)發(fā)門(mén)檻。

降低AI開(kāi)發(fā)門(mén)檻最一個(gè)直接的方式就是提供參考設(shè)計(jì)。

與Ethos-U85同時(shí)推出的是Arm Corstone-320物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)。這一全新的參考設(shè)計(jì)平臺(tái)集成了Arm最高性能的Cortex-M CPU——Cortex-M85、Mali-C55 ISP和全新的Ethos-U85 NPU。

除了IP，Corstone-320物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)還有軟件套件，包括固件、所有 IP 的驅(qū)動(dòng)程序、中間件、實(shí)時(shí)操作系統(tǒng) (RTOS) 和云集成、ML 模型和參考應(yīng)用程序。

有了配套的軟件套件，軟件開(kāi)發(fā)者能夠輕松選擇其特定細(xì)分市場(chǎng)所需的組件，并使用所選開(kāi)發(fā)工具為該設(shè)備構(gòu)建物聯(lián)網(wǎng)堆棧。開(kāi)源應(yīng)用程序演示了關(guān)鍵詞識(shí)別、語(yǔ)音識(shí)別和目標(biāo)識(shí)別用例。

還附帶了仿真Corstone-320完整系統(tǒng)的Arm虛擬硬件(Arm Virtual Hardware)，以及單獨(dú)的 CPU和NPU的固定虛擬平臺(tái) (FVP) 模型，能簡(jiǎn)化開(kāi)發(fā)并加速產(chǎn)品設(shè)計(jì)，支持軟硬件并行協(xié)同開(kāi)發(fā)。

“為了支持中國(guó)廣大的物聯(lián)網(wǎng)嵌入式開(kāi)發(fā)者，我們將Arm虛擬硬件落地在了百度云上，正在實(shí)現(xiàn)與百度BML和EasyDL工具鏈的組合，使基于Arm技術(shù)的AI開(kāi)發(fā)可以在百度飛槳 (PaddlePaddle）上變得更加容易，且實(shí)現(xiàn)軟硬件協(xié)同開(kāi)發(fā)。”馬健說(shuō)，“在基于 Arm 最新 IP 量產(chǎn)芯片就緒之前，就可以預(yù)先做軟件應(yīng)用的開(kāi)發(fā)以及 AI/ML 算法的開(kāi)發(fā)和優(yōu)化。”

Arm在軟件和生態(tài)方面還有一個(gè)顯著的優(yōu)勢(shì)，那就是Arm 在數(shù)據(jù)中心、云、邊、端都有統(tǒng)一的工具鏈支持，開(kāi)發(fā)者可以使用已經(jīng)熟知的工具鏈，具有投資復(fù)用、上手容易等優(yōu)勢(shì)。

Corstone-320能夠加速語(yǔ)音、音頻和視覺(jué)系統(tǒng)，比如智能家居、智能零售、智能工業(yè)制造領(lǐng)域的AI落地。

即便Corstone-320中的Cortex-M85不滿(mǎn)足邊緣AI的需求，Arm也支持從基于 Cortex-A 的系統(tǒng)直接驅(qū)動(dòng) Ethos-U85 的功能，大幅增加Ethos-U85的適用范圍。 

如何應(yīng)對(duì)碎片化和RISC-V挑戰(zhàn)？

性能提升4倍的全新NPU和全新的參考設(shè)計(jì)平臺(tái)，是Arm能夠?qū)ν馓峁┑哪芰Α?/p>

但要在邊緣市場(chǎng)落地生成式AI，依舊面臨著模型成熟度、邊緣AI平臺(tái)的開(kāi)發(fā)，以及生態(tài)鏈對(duì)大模型量化和部署支持的問(wèn)題。

還有不可避免的邊緣市場(chǎng)碎片化的問(wèn)題，以及RISC-V的競(jìng)爭(zhēng)。

馬健說(shuō)，“Arm始終聚焦軟件生態(tài)標(biāo)準(zhǔn)以及硬件標(biāo)準(zhǔn)的投入，幫助整個(gè)生態(tài)減少碎片化。”

比如，Arm建立了SystemReady標(biāo)準(zhǔn)，以實(shí)現(xiàn)在不同的Arm計(jì)算平臺(tái)和芯片平臺(tái)上，有標(biāo)準(zhǔn)的軟件包。

另外，Arm還創(chuàng)立了PSA Certified認(rèn)證標(biāo)準(zhǔn)，讓通過(guò)PSA Certified 認(rèn)證的產(chǎn)品和系統(tǒng)有最基本的安全和合規(guī)的保證。

AI方面，Arm提供標(biāo)準(zhǔn)的生態(tài)工具以及軟件工具鏈。

“期待未來(lái)通過(guò)大模型和多模態(tài)，物聯(lián)網(wǎng)碎片化問(wèn)題可以得到更好的改進(jìn)。AI 會(huì)從單一功能到多功能，甚至是向通用AI的方向演進(jìn)。”馬健也表示。

至于如何應(yīng)對(duì)RISC-V在邊緣AI市場(chǎng)的競(jìng)爭(zhēng)？

馬健對(duì)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))說(shuō)，“我們的戰(zhàn)略一直非常簡(jiǎn)單，專(zhuān)注做好最優(yōu)秀的產(chǎn)品，使產(chǎn)品更加易用，以及持續(xù)打造強(qiáng)大的生態(tài)系統(tǒng)。歷史經(jīng)驗(yàn)告訴我們，只要我們專(zhuān)注做好這三件事情，整個(gè)行業(yè)就能夠以互相合作的方式來(lái)共同前進(jìn)，我們會(huì)繼續(xù)堅(jiān)持這一策略，在AI甚至未來(lái)的其他市場(chǎng)上取得更大的成功。”

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。