騰訊投資的AI芯片公司僅20個(gè)月打造的云端訓(xùn)練芯片如何？

AI技術(shù)正成為巨頭們保持領(lǐng)先地位的關(guān)鍵之一，各領(lǐng)域的頭部公司特別是科技巨頭們，大都花費(fèi)重金投資AI，但他們很快就遇到一個(gè)問(wèn)題，芯片的算力無(wú)法滿足AI算法的需求。因此，國(guó)外的谷歌、亞馬遜，國(guó)內(nèi)的百度、阿里都紛紛開(kāi)始自主研發(fā)AI芯片。

值得注意的是，根據(jù)公開(kāi)資料，騰訊投資針對(duì)AI芯片的投資直到去年八月才曝光，當(dāng)時(shí)燧原科技宣布獲得騰訊領(lǐng)投的Pre-A輪3.4億元人民幣投資。本周三，燧原科技發(fā)布首款云端訓(xùn)練芯片邃思DTU，這款芯片從啟動(dòng)研發(fā)到發(fā)布量產(chǎn)僅耗時(shí)20個(gè)月，基于該芯片云燧T10加速卡單卡單精度算力達(dá)到20 TFLOPS，堪稱業(yè)界最強(qiáng)。

不過(guò)，燧原科技首款芯片及加速卡云燧T10的發(fā)布只是其創(chuàng)業(yè)成功的起點(diǎn)。

燧原科技 CEO 趙立東

挑戰(zhàn)AI云端芯片市場(chǎng)的勇氣

縱觀如今的芯片市場(chǎng)，成功的芯片公司背后都有一個(gè)極其強(qiáng)大的生態(tài)，特別是在高性能計(jì)算領(lǐng)域，生態(tài)的重要性更加明顯。因此，即便新一輪的AI熱潮引發(fā)了芯片行業(yè)鮮見(jiàn)的創(chuàng)業(yè)潮，但大都選擇了邊緣AI芯片，這是因?yàn)槠湎啾仍贫薃I芯片技術(shù)難度更低，也可以避開(kāi)云端AI芯片壟斷的市場(chǎng)格局。

燧原科技顯然是少有的云端AI芯片創(chuàng)業(yè)公司。對(duì)于為何敢于挑戰(zhàn)云端AI芯片，燧原科技 CEO 趙立東在發(fā)布會(huì)上表示，我們的信心源自天時(shí)、地利、人和。天時(shí)是CPU、GPU生態(tài)成熟，切入困難，但深度學(xué)習(xí)爆發(fā)式發(fā)展僅有7年的時(shí)間，這是一個(gè)更加開(kāi)放的戰(zhàn)場(chǎng)，有更大的發(fā)展空間。地利是現(xiàn)在是做AI高端芯片的黃金時(shí)代，中國(guó)有廣泛應(yīng)用、人口紅利、海量數(shù)據(jù)、市場(chǎng)機(jī)會(huì)，既有國(guó)家政策引領(lǐng)，也有資本給予支持。人和則是上海近20年在集成電路領(lǐng)域儲(chǔ)備了大量的集成電路人才，同時(shí)，上海通過(guò)在AI領(lǐng)域的發(fā)展，可提供成熟算法、軟件、架構(gòu)人才，這也是燧原科技選擇上海的重要原因。

對(duì)此問(wèn)題，燧原科技創(chuàng)始人兼 COO 張亞林接受雷鋒網(wǎng)采訪時(shí)補(bǔ)充表示，燧原做芯片高舉高打是我們CEO定下來(lái)的，這其中包含了我們的家國(guó)情懷，也是希望夠做一件對(duì)得起選擇創(chuàng)業(yè)這個(gè)決定的事情。AI發(fā)展一個(gè)很大的挑戰(zhàn)是模型不夠，但新的模型都掌握在國(guó)外大公司手中，比如谷歌，其中很關(guān)鍵的是它們有TPU。我們希望能夠提供更強(qiáng)的算力，讓中國(guó)人也擁有更多的AI模型。

燧原科技創(chuàng)始人兼 COO 張亞林

不容忽視的是，兩位重要?jiǎng)?chuàng)始人的經(jīng)歷也十分關(guān)鍵。CEO趙立東本科畢業(yè)于清華大學(xué)電子工程系，后又獲得美國(guó)猶他州立大學(xué)電子與計(jì)算機(jī)系碩士學(xué)位。2007年加入AMD，歷任計(jì)算事業(yè)部高級(jí)總監(jiān)、產(chǎn)品工程部高級(jí)總監(jiān)，負(fù)責(zé)CPU/GPU/APU及多個(gè)相關(guān)核心IP的研發(fā)，團(tuán)隊(duì)規(guī)模超過(guò)千人，并參與成立中國(guó)研發(fā)中心。

COO張亞林也曾是AMD的一員，他本科畢業(yè)于復(fù)旦大學(xué)電子工程系，比趙立東晚一年（2008）加入AMD，歷任資深芯片經(jīng)理、技術(shù)總監(jiān)，曾在AMD上海研發(fā)中心領(lǐng)導(dǎo)開(kāi)發(fā)并量產(chǎn)微軟XBOX-ONE系列主芯片、融合芯片APU等多款世界級(jí)芯片。

2014年，趙立東離開(kāi)了AMD加入了紫光通信科技集團(tuán)任副總裁，2015年3月兼任紫光集團(tuán)旗下銳迪科微電子公司總裁，2017年3月任紫光集團(tuán)副總裁。而張亞林直到?jīng)Q定和趙立東一起創(chuàng)業(yè)才選擇離開(kāi)AMD。

雷鋒網(wǎng)認(rèn)為，兩位核心創(chuàng)始成員都是技術(shù)背景出生，都在AMD積累了豐富的經(jīng)驗(yàn)，這讓他們不僅能夠判斷市場(chǎng)對(duì)于AI芯片的需求，也有自信敢去挑戰(zhàn)AI云端芯片。

首款云端AI加速卡單精度性能全球最高

目前看來(lái)，燧原科技在融資和產(chǎn)品上都十分順利。燧原科技2018年3月19日在上海注冊(cè)成立，1個(gè)月后就完成了2400萬(wàn)人民幣種子輪融資，并啟動(dòng)第一顆云端訓(xùn)練芯片的研發(fā)。同年7月，完成騰訊戰(zhàn)略領(lǐng)投的3.4億人民幣Pre-A輪融資。

就算在資本的寒冬，今年5月，燧原科技又獲得了紅點(diǎn)創(chuàng)投中國(guó)基金領(lǐng)投的3億元人民幣A輪融資。同月還有一個(gè)好消息，首款芯片按計(jì)劃準(zhǔn)時(shí)流片。

從2018年4月開(kāi)始研發(fā)到2019年9月芯片點(diǎn)亮開(kāi)始軟硬件聯(lián)調(diào)，燧原科技僅用了14個(gè)月的時(shí)間，加上產(chǎn)品的正式發(fā)布并開(kāi)始量產(chǎn)，也僅用了20個(gè)月。

之所以說(shuō)是僅用，是因?yàn)橐豢畲笮虲PU和GPU從設(shè)計(jì)到量產(chǎn)通常需要三年甚至更長(zhǎng)時(shí)間。燧原科技之所以能快速完成一款復(fù)雜芯片從設(shè)計(jì)到量產(chǎn)，其團(tuán)隊(duì)有大量處理器專家是重要原因。張亞林透露，我們團(tuán)隊(duì)現(xiàn)在有207人，其中很多人從2000年就開(kāi)始設(shè)計(jì)處理器，經(jīng)驗(yàn)非常豐富。但能夠快速實(shí)現(xiàn)芯片從設(shè)計(jì)到量產(chǎn)還因?yàn)閳F(tuán)隊(duì)文化非常同步，大家的目標(biāo)都是盡快落地和量產(chǎn)，每個(gè)設(shè)計(jì)指標(biāo)把控的都很嚴(yán)格。

張亞林認(rèn)為，能夠這么快推出云端訓(xùn)練芯片簡(jiǎn)直就是奇跡，因?yàn)檫@款芯片是從零開(kāi)始設(shè)計(jì)。

“邃思DTU的架構(gòu)有非常大的創(chuàng)新，我們最核心處理器里的架構(gòu)都是我們從無(wú)到有設(shè)計(jì)的，并且受到專利保護(hù)?！?/strong>張亞林介紹。

另外，邃思DTU基于可重構(gòu)芯片的設(shè)計(jì)理念，其計(jì)算核心包含32個(gè)通用可擴(kuò)展神經(jīng)元處理器（SIP），每8個(gè)SIP組合成1個(gè)可擴(kuò)展智能計(jì)算群（SIC）。SIC之間通過(guò)HBM實(shí)現(xiàn)高速互聯(lián)，通過(guò)片上調(diào)度算法，數(shù)據(jù)在搬遷中完成計(jì)算，實(shí)現(xiàn)SIP利用率最大化。

“端上的可重構(gòu)更多是低功耗以及可以輕易移植應(yīng)用。云端的可重構(gòu)主要的是把整個(gè)數(shù)學(xué)計(jì)算變成一種可編程的指令集和可控的流水線，讓數(shù)學(xué)計(jì)算的模型可以重構(gòu)，這樣可以保證芯片的通用性，也能夠適應(yīng)快速迭代的AI算法。”張亞林進(jìn)一步解釋。

最終，燧原科技選擇基于格羅方德12nm FinFET工藝打造邃思DTU，集成141億個(gè)晶體管，芯片面積為480平方毫米，采用先進(jìn)的2.5D封裝?；阱渌糄TU的云燧T10也表現(xiàn)不俗：

• 超強(qiáng)算力：?jiǎn)尉龋‵P32）下算力20TFLOPS；半精度及混合精度（BF16/FP16）下算力80TFLOPS，而最大功耗僅為225W，能效比領(lǐng)先；

• 模型通用：支持CNN、RNN、LSTM、BERT等常用人工訓(xùn)練模型，可用于圖像、流數(shù)據(jù)、語(yǔ)音等訓(xùn)練場(chǎng)景；

• 高速互聯(lián)：采用燧原ESL互聯(lián)技術(shù)，滿足E級(jí)數(shù)據(jù)中心規(guī)模部署需求；

• 接口兼容：標(biāo)準(zhǔn)PCIe接口，廣泛兼容主流AI服務(wù)器；

• 生態(tài)開(kāi)放：支持主流深度學(xué)習(xí)框架，通過(guò)SDK提供深度定制。

張亞林強(qiáng)調(diào)，為應(yīng)對(duì)云端數(shù)據(jù)中心大規(guī)模訓(xùn)練集群的挑戰(zhàn)，我們創(chuàng)造性地提出200GB雙向ESL互聯(lián)技術(shù)，在1024節(jié)點(diǎn)集群規(guī)模下，訓(xùn)練線性度加速比達(dá)86%。在相同互聯(lián)帶寬下，相比InfiniBand組網(wǎng)，能較大幅度降低組網(wǎng)的復(fù)雜度和成本。云燧T10將于2020年第一季度上市。

云燧T10的性能是一個(gè)什么樣的水平？做一個(gè)簡(jiǎn)單的對(duì)比，友商同級(jí)別最新旗艦單卡的單精度算力為 16.4TFLOPS，云燧T10單卡單精度算力為20TFLOPS。友商旗艦的功耗是250W，云燧T10的最大功耗為225W。ResNeT-50模型的Benchmark無(wú)論是FPS還是FPS/W 云燧T10表現(xiàn)都比友商旗艦表現(xiàn)更好。

更小的芯片面積可以實(shí)現(xiàn)更成本，加上更高的高每瓦算力讓云燧T10可以達(dá)到更高的有效算力，這也是業(yè)界越來(lái)越關(guān)注地衡量AI芯片的指標(biāo)。

市場(chǎng)策略關(guān)乎成敗

更高的有效算力確實(shí)能夠吸引客戶，但想要打動(dòng)用戶易用性和遷移成本同樣關(guān)鍵。在產(chǎn)品層面，燧原科技發(fā)布硬件產(chǎn)品的同時(shí)也發(fā)布軟件平臺(tái)馭算，目前已經(jīng)完全支持 TensorFlow，明年上半年將實(shí)現(xiàn)對(duì) PyTorch、MXNet、ONNX 等主流深度學(xué)習(xí)框架提供支持，提供完整的編譯、調(diào)試、調(diào)優(yōu)工具鏈，并在硬件層開(kāi)放SDK，為深度開(kāi)發(fā)者提供細(xì)粒度算力編程接口。

趙立東接受采訪時(shí)表示，我們搭建一個(gè)最基礎(chǔ)的，支持TensorFlow的堆棧，但要提供完整、易用、友好的界面和工具，不是一朝一夕可以做到的，需要更長(zhǎng)的時(shí)間。

在持續(xù)完善軟件平臺(tái)的同時(shí)，為了能實(shí)現(xiàn)無(wú)縫遷移燧原科技也有自己的方法。趙立東稱之為熱啟動(dòng)，也就是在產(chǎn)品研發(fā)的過(guò)程中，就與業(yè)界合作伙伴進(jìn)行技術(shù)交流和項(xiàng)目合作，將市場(chǎng)的需求融合到產(chǎn)品的開(kāi)發(fā)過(guò)程。這樣可以讓產(chǎn)品更快在實(shí)際場(chǎng)景中落地。

張亞林表示，我們和客戶做有限接觸的時(shí)候，先是去適配他們主要的模型和業(yè)務(wù)形態(tài)，從他們的業(yè)務(wù)模型中進(jìn)行泛化和抽取，通過(guò)交流我們獲得了不少信息，然后再去適配，這樣客戶就能夠很容易地進(jìn)行遷移。

但對(duì)于燧原科技這樣一家初創(chuàng)公司而言，在精力有限以及面對(duì)強(qiáng)大競(jìng)爭(zhēng)對(duì)手的時(shí)候，策略以及合作伙伴的選擇至關(guān)重要。燧原科技選擇的初期客戶都是現(xiàn)有產(chǎn)品能夠很好支持的合作伙伴。

趙立東介紹，目前我們已經(jīng)與騰訊針對(duì)通用人工智能應(yīng)用場(chǎng)景的項(xiàng)目開(kāi)展密切的合作，未來(lái)也將會(huì)擴(kuò)展到更多AI應(yīng)用場(chǎng)景。

據(jù)悉，燧原還將面向云服務(wù)公司、傳統(tǒng)領(lǐng)域的行業(yè)服務(wù)公司、AI超算中心和智慧城市選擇合作伙伴。趙立東表示，三個(gè)方向都在談可能的合作伙伴，我們希望與合作伙伴不是純粹的供應(yīng)商和客戶的關(guān)系，而是能夠一起進(jìn)行深入合作，為他們做一些深度定制。我們希望能夠以點(diǎn)實(shí)現(xiàn)破冰的突破，然后由一個(gè)點(diǎn)變成多個(gè)點(diǎn)，由點(diǎn)連成線，再由線形成面，逐漸擴(kuò)大。

深度定制也正是燧原科技進(jìn)入云端AI芯片市場(chǎng)的策略。趙立東表示：“在壟斷市場(chǎng)，所有客戶都希望有新的選擇，這樣他們才能稍有議價(jià)能力，因此市場(chǎng)有這樣的痛點(diǎn)。除此之外，他們還希望有更高的性價(jià)比和能效比，特別是在落地的場(chǎng)景可以實(shí)現(xiàn)的有效性能?！?/p>

“科技公司們想要在競(jìng)爭(zhēng)中不一樣，取得更好的成績(jī)就需要做差異化。但是在壟斷市場(chǎng)，想要得到的技術(shù)支持將會(huì)非常有限，這也會(huì)限制差異化的實(shí)現(xiàn)。所以我們希望和客戶深度定制合作，幫客戶實(shí)現(xiàn)差異化?！壁w立東進(jìn)一步表示。

但隨著AI模型的成熟，市場(chǎng)對(duì)云端AI訓(xùn)練需求的增速將會(huì)降低，云端AI推理的市場(chǎng)規(guī)模將會(huì)迅速增加，并有望在2022年超過(guò)訓(xùn)練市場(chǎng)。對(duì)此，趙立東表示，云端AI訓(xùn)練的需求不會(huì)降低，因?yàn)檫€有很多公司因?yàn)閮r(jià)格的原因還沒(méi)有機(jī)會(huì)進(jìn)來(lái)，這也是我們首先推出的是云端訓(xùn)練芯片的原因，這是市場(chǎng)目前最迫切需要也是量最大的。未來(lái)我們也會(huì)推出云端推理芯片，但因?yàn)橥评肀扔?xùn)練芯片對(duì)功耗和成本更加敏感，所以我們也會(huì)謹(jǐn)慎選擇市場(chǎng)的切入點(diǎn)。

雷鋒網(wǎng)小結(jié)

燧原科技成立于2018年的資本寒冬，不僅融資沒(méi)有受到影響，還成為了目前騰訊投資的一家AI芯片初創(chuàng)公司，這其中重要的原因是騰訊提出的產(chǎn)品熱啟動(dòng)的概念與燧原科技創(chuàng)始人的理念不謀而合。作為為數(shù)不多的云端AI訓(xùn)練芯片的初創(chuàng)公司，燧原科技從產(chǎn)品研發(fā)到發(fā)布量產(chǎn)僅用了20個(gè)月的時(shí)間，這是其創(chuàng)始團(tuán)隊(duì)實(shí)力的體現(xiàn)，當(dāng)然也是其執(zhí)行力非常好地說(shuō)明。

不過(guò)，性能參數(shù)漂亮的芯片發(fā)布和量產(chǎn)只是AI芯片初創(chuàng)公司成功的開(kāi)始，燧原科技高性價(jià)比、高能效比的硬件，持續(xù)完善的軟件平臺(tái)，以及差異化、定制化的市場(chǎng)策略能否獲得更多合作伙伴的認(rèn)可，才是其走向下一步成功的關(guān)鍵。

挑戰(zhàn)云端AI訓(xùn)練芯片市場(chǎng)困難很多，風(fēng)險(xiǎn)很大，但云燧T10的發(fā)布讓我們對(duì)中國(guó)AI的發(fā)展增加了信心。

相關(guān)文章：

騰訊首投國(guó)內(nèi)AI芯片公司，成立僅5個(gè)月專注數(shù)據(jù)中心深度學(xué)習(xí)芯片

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。