OPPO首個(gè)自研芯片NPU，藏著的計(jì)算攝影秘密

今天的第三屆OPPO未來科技大會(huì)（OPPO INNO DAY 2021）上，OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波揭秘了其歷時(shí)近兩年研發(fā)的首個(gè)自研芯片馬里亞納 MariSilicon X。

OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波在發(fā)布會(huì)上展示馬里亞納 MariSilicon X芯片

馬里亞納 MariSilicon X是一個(gè)影像專用NPU（神經(jīng)網(wǎng)絡(luò)處理器），采用臺(tái)積電6nm工藝，AI算力高達(dá)18TOPS，比蘋果最新的A15 15.8TOPS的AI性能還高，同時(shí)，MariSilicon X能效比達(dá)到了11.6TOPS/W。

作為一家手機(jī)終端公司，OPPO竟然在首個(gè)自研芯片上就挑戰(zhàn)業(yè)內(nèi)頂尖的6nm工藝，并且NPU的性能和能效比也達(dá)到了業(yè)界領(lǐng)先水平，這不禁讓人好奇，OPPO自研芯片的決心從何而來？

從最直觀的產(chǎn)品的層面看，馬里亞納 MariSilicon X將搭載在OPPO明年第一季度發(fā)布的Find系列旗艦手機(jī)上，會(huì)為消費(fèi)者帶來突破性的視頻拍攝功能。

馬里亞納 MariSilicon X影像專用NPU

從技術(shù)層面細(xì)細(xì)解讀，將會(huì)發(fā)現(xiàn)馬里亞納 MariSilicon X背后，藏著OPPO的計(jì)算攝影秘密，以及這家志在探索未來的企業(yè)對(duì)新十年技術(shù)發(fā)展趨勢(shì)的判斷。

為什么是影像專用NPU？

當(dāng)市場(chǎng)的競(jìng)爭(zhēng)更加激烈，智能手機(jī)的創(chuàng)新越來越難之時(shí)，全球手機(jī)出貨量前五的手機(jī)廠商們都希望通過自研芯片，用更好的軟硬協(xié)同，實(shí)現(xiàn)差異化的功能和體驗(yàn)，獲得消費(fèi)者的青睞。

差異化競(jìng)爭(zhēng)的焦點(diǎn)，是消費(fèi)者最容易感知的影像功能。自2018年開始，手機(jī)行業(yè)對(duì)于AI影像功能的關(guān)注只增不減。2020騰訊手機(jī)行業(yè)洞察白皮書指出，消費(fèi)者對(duì)攝像頭、電池的關(guān)注度顯著提升，其中攝像頭的關(guān)注度增長(zhǎng)率僅次于操作系統(tǒng)。

手機(jī)影像系統(tǒng)是一個(gè)很長(zhǎng)的鏈條，包括前端傳感器、鏡頭、馬達(dá)，承載圖像處理的ISP芯片，以及后端標(biāo)定和調(diào)優(yōu)等過程。手機(jī)巨頭們?cè)谡麄€(gè)影像系統(tǒng)上都爭(zhēng)相布局，比如，OPPO過去十年，在定制圖像傳感器、攝像頭模組、鏡頭方面有大量積累，還基于通用SoC平臺(tái)積累了許多AI算法。

“手機(jī)業(yè)界已經(jīng)發(fā)現(xiàn)在AI算力的支持下，AI算法已經(jīng)超越傳統(tǒng)ISP算法的效果。因此，目前主流的趨勢(shì)是用AI算法替代傳統(tǒng)算法。”擁有十多年圖像處理領(lǐng)域豐富經(jīng)驗(yàn)的愛芯元智ISP負(fù)責(zé)人、系統(tǒng)架構(gòu)師張興對(duì)雷峰網(wǎng)說，“手機(jī)廠商已經(jīng)在拍照中享受到了AI算法帶來的好處，包括超級(jí)夜景、AI美顏等功能，從趨勢(shì)來看未來幾年，AI拍照最火的幾個(gè)功能會(huì)從拍照推向視頻。這就需要一顆高效的芯片，將AI算法和傳統(tǒng)ISP進(jìn)行更好結(jié)合。”

將算力、AI與拍照和攝影融合，都代表著手機(jī)行業(yè)一個(gè)重要的趨勢(shì)——計(jì)算攝影。所謂的計(jì)算攝影，是利用數(shù)字計(jì)算而非傳統(tǒng)的光學(xué)處理的圖像。比如超級(jí)夜景功能，利用高算力以及AI降噪算法等，將拍攝的多張照片合成為同一張，輸出一張明亮清晰的照片。

從谷歌、蘋果，到OPPO，整個(gè)手機(jī)業(yè)界的領(lǐng)導(dǎo)者都在通過計(jì)算攝影不斷突破手機(jī)攝影能力的上限。

不過，通用SoC并不能完全滿足計(jì)算攝影的需求。OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波指出，“我們的AI降噪算法在Find X3 Pro的芯片平臺(tái)上，在功耗接近1.7瓦的時(shí)候，最多可以處理2幀圖像，這意味著AI降噪只能應(yīng)用到暗光拍照，沒辦法在最低要求是30fps的視頻中應(yīng)用。”

安謀科技高級(jí)產(chǎn)品經(jīng)理柴衛(wèi)華也說，“隨著短視頻的需求發(fā)展，手機(jī)也越來越重視視頻拍攝的性能。要實(shí)時(shí)處理4K甚至8K視頻的海量數(shù)據(jù)，呈現(xiàn)完美的影像效果，處理器性能、算法優(yōu)異、存儲(chǔ)帶寬和與系統(tǒng)延遲都是挑戰(zhàn)。”

通用SoC限制AI算法性能的同時(shí)，也限制了定制傳感器和鏡頭性能的發(fā)揮。

原因主要有兩方面，一方面，定制傳感器的周期較短，但通用SoC的更新以年為周期，兩者在時(shí)間上難以匹配。另一方面，采用定制傳感器，整個(gè)圖像處理鏈路需要進(jìn)行優(yōu)化增強(qiáng)，但定制傳感器和通用SoC很難實(shí)現(xiàn)緊密耦合，也就難以發(fā)揮最大效益。

已經(jīng)擁有定制傳感器和AI算法積累的OPPO，想要進(jìn)一步提升影像性能，在計(jì)算攝影將占主導(dǎo)地位的競(jìng)爭(zhēng)中，自然需要一顆影像專用NPU幫助其實(shí)現(xiàn)影像鏈路的垂直整合，進(jìn)一步實(shí)現(xiàn)突破。

“垂直整合最難的就是最開始對(duì)用戶需求的判斷，如果判斷失誤，會(huì)影響后續(xù)芯片設(shè)計(jì)以及所有的配合設(shè)計(jì)工作。”姜波說：“得益于OPPO在移動(dòng)智能設(shè)備多年的經(jīng)驗(yàn)，我們清楚知道消費(fèi)者的真實(shí)需求。”

馬里亞納 MariSilicon X補(bǔ)足了OPPO在影像計(jì)算單元上的最后短板——缺乏可控的影像專用處理器。

之所以定位于影像專用，沒有加入包括顯示在內(nèi)的更多功能，姜波說：“這是我們的首款自研芯片，要集中在價(jià)值最大的功能點(diǎn)上。”

計(jì)算攝影如何突破手機(jī)攝影極限？

芯片的定位明確之后，具體參數(shù)定義也極為關(guān)鍵。這其中有兩大關(guān)鍵挑戰(zhàn)，一個(gè)自研芯片能夠帶來的性能和體驗(yàn)提升，一定要優(yōu)于通用SoC；另一個(gè)是手機(jī)整機(jī)的功耗控制。

要解決這兩大挑戰(zhàn)，就不得不自研這個(gè)NPU上的幾大核心IP。姜波透露，“剛開始，我們也評(píng)估了一些可以購(gòu)買的第三方IP，但最終發(fā)現(xiàn)沒有一個(gè)NPU可以與OPPO的場(chǎng)景算法結(jié)合，達(dá)到最優(yōu)能耗功率，因此選擇了從頭開始自研NPU。”

張興也持同樣的觀點(diǎn)，“要充分發(fā)揮NPU算力與ISP結(jié)合的價(jià)值，需要在設(shè)計(jì)的最初就將兩個(gè)IP結(jié)合起來設(shè)計(jì)。如果是買來的IP，兩者結(jié)合實(shí)現(xiàn)好的功能難度很大，即便實(shí)現(xiàn)，也會(huì)有大量的功耗和芯片面積的浪費(fèi)。”

因此，馬里亞納 MariSilicon X中的兩大關(guān)鍵IP，MariNeuro AI計(jì)算單元和MariLumi影像處理單元均是OPPO自研，分別負(fù)責(zé)提供高AI算力和更好的影像處理性能，也是計(jì)算攝影的關(guān)鍵。

AI算力部分，馬里亞納 MariSilicon X的int8性能高達(dá)18 TOPS。之所以要定義一款在終端如此高性能的NPU，原因就是前面提到的馬里亞納 MariSilicon X要有足夠的性能帶來比通用SoC更好的性能和體驗(yàn)，特別是將AI融入視頻拍攝中。

“在視頻應(yīng)用領(lǐng)域，效果稍微好的AI降噪算法，實(shí)時(shí)處理1080p@30fps視頻就需要10TOPS以上的算力，目前這種應(yīng)用方案還比較少。”億智電子創(chuàng)始人兼CEO陳峰指出。

如果沒有能耗約束，實(shí)現(xiàn)高AI性能并不難，但手機(jī)處理器的設(shè)計(jì)，難點(diǎn)在于能耗比。

要實(shí)現(xiàn)高能耗比，芯片制程的選擇、架構(gòu)的設(shè)計(jì)、性能與功耗的取舍等都非常重要。這也是馬里亞納 MariSilicon X雖然是OPPO的首個(gè)自研芯片，但是選擇了臺(tái)積電先進(jìn)的6nm工藝的關(guān)鍵原因。要知道，設(shè)計(jì)的芯片工藝越先進(jìn)，對(duì)設(shè)計(jì)團(tuán)隊(duì)的要求越高。如果第一次就想成功，也需要一些運(yùn)氣，而OPPO的馬里亞納 MariSilicon X首次流片就成功。

另外，NPU提升能效比還有一個(gè)瓶頸——內(nèi)存墻。在AI芯片發(fā)展幾年之后，業(yè)界都意識(shí)到，NPU數(shù)據(jù)搬運(yùn)消耗的能耗遠(yuǎn)高于數(shù)據(jù)處理。為此，馬里亞納 MariSilicon X集成奢侈的雙層存儲(chǔ)，包括萬億比特/秒（Tb/s）級(jí)讀寫速度的內(nèi)存子系統(tǒng)，以及8.5GB/s的獨(dú)立DDR帶寬的方式，為AI的高效運(yùn)算提供充分的內(nèi)存讀寫支持，在有效減少數(shù)據(jù)搬運(yùn)的同時(shí)提升能效比。

最終，馬里亞納 MariSilicon X在實(shí)現(xiàn)18TOPS高算力的同時(shí)，擁有11.6TOPS/W的極致能效比表現(xiàn)，運(yùn)行OPPO AI降噪模型的速度是達(dá)到Find X3 Pro（驍龍888）的20倍，能效達(dá)到40倍，在業(yè)界屬于領(lǐng)先水平。

芯片行業(yè)有這樣一句話，“算力代表一切。”

實(shí)現(xiàn)了高算力和極致能效比的兼顧，馬里亞納 X發(fā)揮自研MariNeuro和MariLumi聯(lián)合設(shè)計(jì)的獨(dú)特優(yōu)勢(shì)，最高支持人眼級(jí)別的20bit Ultra HDR，能覆蓋100萬：1的最大亮度范圍，是目前行業(yè)主流HDR能力的4倍，比最新發(fā)布的旗艦通用SoC支持的18bit HDR更加極致。

傳統(tǒng)來講，HDR是在YUV里合成的，經(jīng)過RGB和YUV的轉(zhuǎn)換，會(huì)損失大量的圖像信息。

馬里亞納 MariSilicon X幫助OPPO首次完成影像鏈路的垂直整合，就可以重塑轉(zhuǎn)換鏈路，將處理節(jié)點(diǎn)前置在信息量100%的RAW域直接做實(shí)時(shí)計(jì)算，20bit RAW實(shí)時(shí)計(jì)算，能夠帶來畫質(zhì)的顯著提升。

馬里亞納 MariSilicon X支持20bit HDR，高于最新旗艦SoC的18bit。通用SoC落后于馬里亞納 MariSilicon X的規(guī)格，是否會(huì)成為限制這款OPPO首個(gè)自研芯片發(fā)揮性能的瓶頸？姜波對(duì)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))解釋，“由于馬里亞納 MariSilicon X是在手機(jī)SoC之前處理，我們的NPU處理完HDR、AI降噪等之后就不需要再進(jìn)行相應(yīng)處理，不會(huì)限制MariSiliconX性能的發(fā)揮。”

有了自研芯片，也能讓OPPO充分發(fā)揮定制傳感器的性能。馬里亞納 MariSilicon X充分發(fā)揮了RGBW的更強(qiáng)能力，通過雙鏈路的設(shè)計(jì)和2x RAW計(jì)算，實(shí)現(xiàn)8.6 dB信噪比和1.7倍解析力提升。

“通過自研芯片和定制化傳感器相互的化學(xué)反應(yīng)和相互耦合，我們可以做到最大化發(fā)揮定制傳感器的能力。”姜波指出。

對(duì)于計(jì)算攝影這個(gè)涵蓋計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和應(yīng)用光學(xué)等多個(gè)學(xué)科領(lǐng)域的技術(shù)，OPPO的首款自研芯片能夠基于算力，借助垂直整合，用計(jì)算攝影突破手機(jī)影像的極限。

自研芯片給OPPO手機(jī)帶來的可能性

馬里亞納 MariSilicon X能夠突破的極限，是讓手機(jī)能夠在弱光環(huán)境，用計(jì)算攝影實(shí)現(xiàn)4K+20bit RAW+AI+Ultra HDR夜景視頻的新極限。

姜波解釋，“之所以把視頻拍攝限在4K30幀，也是出于功耗的考量。視頻的實(shí)時(shí)處理特性，難度遠(yuǎn)大于照片的先拍后算。視頻基礎(chǔ)的要求是30幀/秒，意味著每一幀的處理要有大概33毫秒，要實(shí)現(xiàn)視頻AI功能，必須在33毫秒內(nèi)處理完成，性能和功耗的約束是關(guān)鍵。”

同時(shí)，手機(jī)系統(tǒng)層級(jí)，功耗的控制也非常重要。

“我們現(xiàn)在把整個(gè)影像鏈路中，最耗功耗的HDR、AI降噪等算法都在馬里亞納MariSilicon X上處理，SoC不需要再進(jìn)行處理，所以是節(jié)省功耗的。”姜波解釋，“OPPO有一個(gè)功耗及格線，不能增加整體功耗，這是基本原則思路。”

OPPO展示了一段暗光視頻拍攝的視頻，可以明顯看到，搭載馬里亞納 MariSilicon X的測(cè)試平臺(tái)在暗光環(huán)境中視頻的細(xì)節(jié)更多，畫面解析力更高。

未來，OPPO的自研芯片還能實(shí)現(xiàn)更多視頻拍攝的AI功能。這是因?yàn)椋R里亞納MariSilicon X設(shè)計(jì)之初就將AI和圖像處理進(jìn)行了很好融合，相比傳統(tǒng)的ISP有更高靈活性，還有更高性能，用計(jì)算攝影突破手機(jī)影像功能的極限，而無損計(jì)算也是計(jì)算影像的必然趨勢(shì)。

另外，從OPPO自研芯片的命名馬里亞納來看，OPPO還會(huì)在自研芯片的道路上不斷探索，馬里亞納 MariSilicon X只是OPPO自研芯片的開始，未來OPPO還可能推出更多自研芯片，給終端用戶帶來更多驚喜。

寫在最后

OPPO自研芯片并不讓人意外，讓人有些意外的是，OPPO首款自研芯片就采用了臺(tái)積電6nm工藝，首次流片就成功，定位影像專用的馬里亞納 X NPU在性能上兼顧了高性能和高能效。

當(dāng)然，這是OPPO作為手機(jī)終端公司，在充分理解消費(fèi)者需求，以及基于已有技術(shù)積累，對(duì)行業(yè)趨勢(shì)判斷，自研芯片的優(yōu)勢(shì)。

對(duì)于OPPO而言，雖然自研芯片一定會(huì)帶來成本的增加，但OPPO更關(guān)注的是提升消費(fèi)者體驗(yàn)，以及用計(jì)算攝影不斷突破極限。對(duì)于消費(fèi)者來說，在馬里亞納 MariSilicon X加持下，能夠?qū)崿F(xiàn)暗光視頻拍攝突破的OPPO Find新旗艦，將會(huì)是一個(gè)非常值得關(guān)注產(chǎn)品。對(duì)于手機(jī)業(yè)界來說，OPPO硬實(shí)力的增加或許也會(huì)給行業(yè)的競(jìng)爭(zhēng)帶來更多壓力，跟上無損計(jì)算攝影的趨勢(shì)，也變得更加重要。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。