清華大學尹首一：AI芯片計算架構(gòu)創(chuàng)新是實現(xiàn)AIoT的必然途徑 | AIoT+智慧城市峰會

12月20日，雷鋒網(wǎng)主辦的AIoT+智慧城市峰會在深圳舉行，峰會上清華大學微納電子系副主任、微電子學研究所副所長尹首一教授分享了他對AI算法如何在物聯(lián)網(wǎng)設(shè)備上實現(xiàn)AI功能的看法以及超高能效AI芯片的最新進展。尹教授認為，未來計算架構(gòu)的創(chuàng)新將是實現(xiàn)無處不在的AIoT的必然途徑。

IoT AI芯片需要解決的核心問題

今天講到的AI，其核心技術(shù)是深度學習，深度學習背后核心技術(shù)基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)。如今已被我們廣泛的AI應用，如語音助手、以圖搜圖，其核心計算大部分都在云上完成。隨著物聯(lián)網(wǎng)場景的拓展，在很多場景中考慮到通訊延時、設(shè)備供電以及個人隱私的問題，需要在IoT終端以及傳感器上實現(xiàn)AI計算。

清華大學微納電子系副主任、微電子學研究所副所長尹首一教授

國際產(chǎn)業(yè)巨頭，如谷歌、ARM等，均一致認為，未來的AI計算一定是分布式、分層次、分等級的綜合系統(tǒng)，這將催生巨大的深度學習芯片市場。據(jù)美國Tractica咨詢公司的統(tǒng)計和預測，2016到2025年這十年間深度學習芯片市場將飛速增長，到2025年市場規(guī)模將達到近700億美金，其中會有近400億美金的芯片應用在各種移動設(shè)備、機器人、無人機、消費電子、可穿戴設(shè)備等IoT領(lǐng)域。

不過，尹教授指出，要滿足IoT設(shè)備對AI的需求，需要解決的最核心的問題就是AI算力需求和IoT場景供電能力之間的巨大反差。

尹教授進一步表示，許多IoT的應用對芯片功耗有非常嚴格的約束，比如我們每天使用的智能手機，用戶希望隨時隨地能夠語音喚醒手機、通過語言做自然交互，這就需要手機在具備智能語音識別能力的同時還不影響手機續(xù)航。這樣的AI計算所能容忍的功耗上限大概是1-2毫瓦，否則手機待機時間就會受到影響。此外，在智能家電、智能眼鏡、無人機等場景下，AI計算也面臨非常嚴苛的功耗約束。這就是實現(xiàn)未來AI+IoT愿景所必須解決的問題，如何在這些苛刻的功耗約束下實現(xiàn)超高能效的AI計算。

AIoT的AI芯片必須滿足的3個條件

尹教授指出，從應用以及用戶體驗的角度出發(fā)，要實現(xiàn)滿足AIoT需求的AI芯片必須滿足三個條件：

第一，  可編程性，只有具備可編程性才能滿足不同IoT場景下的不同AI算法的需求；

第二，  對計算密集型和訪存密集型算法都非常友好，因為今天的AI算法就具備這樣的特點；

第三，超高能效，某些場景下我們希望芯片能耗是毫瓦量級，有些場景甚至需要微瓦量級才能滿足長時間的IoT計算需求。

超高能效AI計算芯片的進展

目前從AIoT芯片發(fā)展來看，大家正在從兩個不同的維度（算法和架構(gòu)）努力實現(xiàn)超高能效的AI計算。算法層面努力的方向是讓深度神經(jīng)網(wǎng)絡(luò)模型更加緊湊。尹教授介紹，2016年開始看到學術(shù)界有很大的進展，目前已經(jīng)能夠把神經(jīng)網(wǎng)絡(luò)的權(quán)重位寬壓縮到1bit，使網(wǎng)絡(luò)模型實現(xiàn)十倍甚至幾十倍的縮小。

更值得注意的是，從統(tǒng)計看，在極低位網(wǎng)絡(luò)中，即便把網(wǎng)絡(luò)壓縮到1-2bit，精度仍然接近于全精度神經(jīng)網(wǎng)絡(luò)。最新成果顯示，用壓縮后的神經(jīng)網(wǎng)絡(luò)做檢測和識別時與全精度神經(jīng)網(wǎng)絡(luò)誤差只有1個百分點左右，這個差距在絕大部分的應用場景已經(jīng)可以忽略不計。

除了算法層面，許多科學家在探索如何從計算架構(gòu)的角度實現(xiàn)更高能效的AI計算，從2014年開始到今天，學術(shù)界和工業(yè)界提出了很多AI計算架構(gòu)方案。但是在未來IoT場景里，目前提出的計算架構(gòu)仍然難以平衡可編程性、超低功耗和特殊網(wǎng)絡(luò)模型的需求。

從2015年開始，一種新型計算架構(gòu)，Coarse-grained Reconfigurable Architecture（CGRA），獲得國際學術(shù)界和工業(yè)界的廣泛關(guān)注。 2015年《國際半導體技術(shù)路線圖》（ITRS報告）將其視為未來大有希望的可編程計算架構(gòu)。2017年美國國防部高級研究計劃局（DARPA），為了保證美國未來仍然能保持國際電子信息領(lǐng)域的領(lǐng)先地位，發(fā)起了“電子復興計劃”，該計劃大力布局一項被稱為“軟件定義硬件”的研究計劃。這項計劃所研究的是“運行時快速重構(gòu)”的硬件架構(gòu)，也就是前面提到的CGRA架構(gòu)。

就在前幾天宣布“開源MIPS指令集”的Wave Computing公司，雷鋒網(wǎng)在《Wave Computing將于明年提供免費MIPS架構(gòu)，MIPS能在AI時代崛起嗎？》一文中也進行了介紹，其AI芯片的技術(shù)來源就是CGRA。CGRA之所以受到廣泛關(guān)注，正是因為可重構(gòu)架構(gòu)能夠?qū)崿F(xiàn)比CPU、GPU、FPGA更高的能量效率，同時還具有良好的可編程性，可以很好滿足AIoT的需求。

可重構(gòu)芯片的實現(xiàn)

尹教授介紹，清華大學可重構(gòu)計算團隊最早從2006年開始關(guān)注可重構(gòu)架構(gòu)。過去十多年時間在可重構(gòu)架構(gòu)的基礎(chǔ)理論上做了很多探索性的工作。2015年開始，將可重構(gòu)架構(gòu)應用在AI計算、神經(jīng)網(wǎng)絡(luò)計算場景，并設(shè)計了Thinker系列AI芯片。

具體而言，Thinker系列AI芯片區(qū)別于傳統(tǒng)處理器使用指令級可編程性的技術(shù)路線，在核心運算部件、基本處理單元和處理單元陣列等三個層次上實現(xiàn)了硬件可重構(gòu)能力。比如在基本的乘法累加部件里實現(xiàn)不同位寬的自適應，很好地支持超低位寬的神經(jīng)網(wǎng)絡(luò)；在基本處理單元層面實現(xiàn)電路級重構(gòu)，支持神經(jīng)網(wǎng)絡(luò)中的不同算子；在處理單元陣列實現(xiàn)架構(gòu)級重構(gòu)，支持不同類型的神經(jīng)網(wǎng)絡(luò)。

從2006年開始尹教授的團隊已經(jīng)設(shè)計了三款Thinker芯片，其最高能效可達每瓦十萬億次運算，最低功耗可達微瓦量級，可以嵌入到任何一個需要AI計算但電池有限的IoT設(shè)備中。

回顧過去30年間處理器的發(fā)展歷程，處理器的性能提升得益于半導體工藝進步和計算架構(gòu)創(chuàng)新的雙輪驅(qū)動。但隨著摩爾定律放緩，半導體工藝的提升越來越有限。尹教授表示，去年圖靈獎獲得者是兩位計算機體系結(jié)構(gòu)的大師John Hennessy和David Patterson，他們在圖靈獎的獲獎感言里提到，今天是計算機體系結(jié)構(gòu)的新的黃金時代。這句話很好地詮釋了未來我們的技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展應該落腳在哪里。

AIoT+智慧城市峰會演講視頻全集稍后將在雷鋒網(wǎng)會員【AI投研邦】里推出，并及時通知大家。大家可掃描二維碼關(guān)注【AI投研邦】。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。