<mark id="oztn4"></mark>
0
| 本文作者： 叢末 | 2020-05-20 23:43 |
5月20日，在這個空氣中彌漫中濃濃愛意的日子，又迎來了百度一年一度的“Wave Summit 2020”深度學(xué)習(xí)開發(fā)者峰會。本次大會由深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗室與百度聯(lián)合主辦，線上召開。
上午十點(diǎn)整，百度CTO王海峰首先登臺致辭。
他的“重頭戲”，便是與大家分享了飛槳在新的一年所取得的佳績：累計開發(fā)者數(shù)量194萬，服務(wù)企業(yè)數(shù)量8.4萬家，基于飛槳平臺產(chǎn)生了23.3萬模型。
而這一佳績的背后，一方面得益于算法、算力及數(shù)據(jù)的持續(xù)共同進(jìn)步，使得技術(shù)的邊界不斷被拓展；另一方面，疫情帶動了線上經(jīng)濟(jì)增長，在國家提出“新基建”等大背景下，以飛槳為代表的深度學(xué)習(xí)平臺作為智能時代的操作系統(tǒng)，也迎來了非常可貴的發(fā)展機(jī)遇。
接下來，由百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗室副主任吳甜帶來“蕩起飛槳 AI生產(chǎn)正當(dāng)時”的主題演講。
她以“口罩人臉系列應(yīng)用方案”為例，深入講解了飛槳在大規(guī)模分布式訓(xùn)練、全硬件平臺支持、端到端全流程工具以及飛槳Master模式等方面實(shí)現(xiàn)的最新技術(shù)進(jìn)展。
演講中，她也帶來了飛槳全景圖的發(fā)布，并表示，在全新產(chǎn)品架構(gòu)里，開源深度學(xué)習(xí)平臺依然是最重要的一部分，他們依舊會持續(xù)通過開源的方式，圍繞飛槳的核心框架、基礎(chǔ)模型庫、端到端的開發(fā)套件和工具組件打造飛槳最核心的能力，永久開源，為開發(fā)者提供最強(qiáng)有力的開發(fā)基礎(chǔ)。
不僅如此，百度還推出了量子機(jī)器學(xué)習(xí)，期望飛槳能夠為未來的前沿發(fā)展做出貢獻(xiàn)（詳細(xì)請閱讀本文第3部分）。
峰會繼續(xù)，百度飛槳總架構(gòu)師于佃海上臺分享了飛槳核心框架的設(shè)計理念和技術(shù)特色。
作為源于百度內(nèi)部實(shí)踐的一個深度學(xué)習(xí)框架，飛槳的迭代發(fā)展有兩個驅(qū)動輪：產(chǎn)業(yè)實(shí)踐的需求和打磨（性能、大規(guī)模訓(xùn)練和部署能力）；用戶體驗提升（用戶編程界面的優(yōu)化和基礎(chǔ)功能建設(shè)的完善）。
兩個驅(qū)動輪對應(yīng)到框架的設(shè)計，簡單來講，就是高效且易用。其設(shè)計的基本理念是，深度學(xué)習(xí)的編程開發(fā)應(yīng)該更加符合用戶一般的編程習(xí)慣，而不需要引入太多額外的概念。
這一設(shè)計理念以及雙輪驅(qū)動下，飛槳框架目前已經(jīng)具備以下四個技術(shù)特點(diǎn)：
第一，易學(xué)易用的前端編程界面。飛槳通過編程一致的計算描述，直接以程序化的program形式描述神經(jīng)網(wǎng)絡(luò)執(zhí)行的計算過程，同時提供了一種完備的內(nèi)在描述ProgramDesc 來表達(dá)任意復(fù)雜的模型，實(shí)現(xiàn)了自然完備的動靜統(tǒng)一。
進(jìn)一步，飛槳自2018年底擴(kuò)展支持的動態(tài)圖目前也已得到深度優(yōu)化，全新的開發(fā)體驗，編程交互更加自然靈活，更容易寫出優(yōu)雅的代碼。與此同時，飛槳近期新增的高層API同時屏蔽了動靜的差異，可以使用一行命令方便地切換執(zhí)行模式，可極大降低編程復(fù)雜度。
第二，統(tǒng)一高效的內(nèi)部核心架構(gòu)。 飛槳目前有兩層 IR：program 對接用戶編程界面，簡潔完備地表達(dá)深度學(xué)習(xí)計算，還可以便捷地遷移變換，無縫對接分布式訓(xùn)練和推理部署，保證了整體架構(gòu)的一致性，而又不顯著增加復(fù)雜度；SSA Graph 則主要對接更底層的優(yōu)化策略，比如算子自動融合，并發(fā)調(diào)度，易構(gòu)硬件執(zhí)行調(diào)度等等。兩層IR更好地銜接了前端和后端，兼顧和簡潔、高效和整體統(tǒng)一性。
近期進(jìn)一步的優(yōu)化升級包括：將飛槳的默認(rèn)顯存分配策略，升級為自動按需分配，更加節(jié)省資源；完善通用算子自動融合策略，進(jìn)一步提升了訓(xùn)練性能；建立了非常完備易用的自動混合訓(xùn)練功能，充分發(fā)揮硬件優(yōu)勢，提升訓(xùn)練速度，同時配合前項中間層重計算策略，可以支持更大batch的訓(xùn)練。
第三，原生完備的分布式訓(xùn)練支持。眾所周知，飛槳的英文名Paddle便是并行分布式訓(xùn)練學(xué)習(xí)的縮寫，因而分布式作為飛槳與生俱來的特性，是其核心框架設(shè)計中非常重要的部分，完全不需要依賴其他外掛。從飛槳的單機(jī)程序，到多設(shè)備訓(xùn)練的擴(kuò)展，都只需要通過統(tǒng)一極簡的API和配置，剩下都是由框架自動完成。
進(jìn)一步，百度對飛槳在分布式訓(xùn)練方面的優(yōu)化包括：新增了超大規(guī)模分類功能，通過模型并行實(shí)現(xiàn)對千萬類別分類任務(wù)的支持；完善了流水線并行，更好地發(fā)揮異構(gòu)設(shè)備的協(xié)同優(yōu)勢；同時對參數(shù)服務(wù)器功能進(jìn)行了整合優(yōu)化，使得功能更完善，使用更簡單。
第四，高性能可擴(kuò)展的推理引擎。飛槳的訓(xùn)練框架一體的原生推理系統(tǒng) Paddle Inference，原本便可與訓(xùn)練復(fù)用部分優(yōu)化策略，并在底層算子實(shí)現(xiàn)上完全一致，做到了百分百兼容，即訓(xùn)即用。
與此同時，飛槳也針對推理場景做了深度優(yōu)化，實(shí)現(xiàn)了對外部推理加速庫的可插拔加載，從而讓實(shí)現(xiàn)對部分計算的更靈活加速選擇。此外，在自有多硬件加速庫的基礎(chǔ)上，提供了獨(dú)立的輕量化推理引擎Paddle Lite，對端側(cè)任務(wù)提供高性能支持，并且在算子定義和模型表達(dá)層面，和核心框架保持一致。
于佃海總結(jié)道，目前為止飛槳核心框架整體上已經(jīng)形成了界面清晰、功能完備、成熟穩(wěn)定的架構(gòu)體系?；陲w槳框架已建成對深度學(xué)習(xí)核心任務(wù)全覆蓋的模型庫，并延展出圖學(xué)習(xí)PGL、深度強(qiáng)化學(xué)習(xí)PARL等非常多的衍生開發(fā)框架。
百度深度學(xué)習(xí)技術(shù)平臺部高級總監(jiān)馬艷軍進(jìn)一步發(fā)布了側(cè)重于工業(yè)級應(yīng)用極致體驗以及布局深度學(xué)習(xí)前沿技術(shù)兩個方向的7項開源產(chǎn)品，23項重要升級。
開發(fā)方面，除了動態(tài)圖和API 的升級，飛槳還將提供更多的官方模型庫和開發(fā)套件，方便開發(fā)者進(jìn)行低代碼的二次開發(fā)：官方模型庫新增了39個算法，總算法數(shù)量達(dá)到146個，預(yù)訓(xùn)練模型已有200多個；而在開發(fā)套件上，本次不僅升級和發(fā)布了視覺開發(fā)套件——端到端的圖像分類開發(fā)套件PaddleClas、目標(biāo)檢測開發(fā)套件PaddleDetection 的發(fā)布和升級，還發(fā)布了語音開發(fā)套件——端到端的語音合成開發(fā)套件Parakeet 。
訓(xùn)練升級上，主要包括三個方面，訓(xùn)練速度，顯存，和大規(guī)模分布式的擴(kuò)展能力。在訓(xùn)練速度上，升級了自動混合精度訓(xùn)練，用一行代碼就可以實(shí)現(xiàn)訓(xùn)練速度提升兩倍；顯存策略方面，實(shí)現(xiàn)了重計算機(jī)制可用于訓(xùn)練極深網(wǎng)絡(luò)模型；分布式擴(kuò)展能力方面，提供非常易用的API，并新發(fā)布一個云端的任務(wù)提交工具PaddleCloud，進(jìn)一步在分布式訓(xùn)練技術(shù)方面，研發(fā)了數(shù)據(jù)并行、模型并行、流水線并行等完整的技術(shù)體系，并結(jié)合云端研發(fā)了彈性訓(xùn)練技術(shù)，其中模型并行和彈性訓(xùn)練是本次新增發(fā)布的能力。
推理部署上，不僅升級了模型優(yōu)化工具PaddleSlim，還升級了服務(wù)器端的推理引擎Paddle Inference，開發(fā)者可以通過PaddleServing來實(shí)現(xiàn)模型的服務(wù)化部署，與此同時還在移動端和邊緣端的推理部署上進(jìn)行了升級，其中包括可在網(wǎng)頁端或者小程序上使用的預(yù)測推理引擎Paddle.js，面向移動端和IOT場景提供的輕量化推理引擎Paddle Lite。
開源工具上，本次新發(fā)布的開源產(chǎn)品 PaddleX，可實(shí)現(xiàn)開發(fā)、訓(xùn)練和部署全流程的打通，并且能夠非常方便地實(shí)現(xiàn)快速集成。目前它已經(jīng)集成了很多款飛槳已經(jīng)開放出來的能力，把這些能力進(jìn)行流程上的打通之后，整個的使用體驗和門檻都可以得到大幅的降低。
針對早在去年 WAVE SUMMIT峰會上發(fā)布的飛槳 Master模式，今年則實(shí)現(xiàn)了預(yù)訓(xùn)練模型和遷移學(xué)習(xí)工具兩項核心技術(shù)上的升級：預(yù)訓(xùn)練模型方面，重點(diǎn)聚焦超大規(guī)模視覺模型和NLP的語義理解模型ERNIE；遷移學(xué)習(xí)工具方面，則新增了多個遷移學(xué)習(xí)的算法，包括DELTA技術(shù)、deep transfer never hurt 算法，來提升應(yīng)用效果。
前沿技術(shù)方面，第一個是曾連續(xù)兩年獲得了NeurIPS強(qiáng)化學(xué)習(xí)賽事冠軍的飛槳強(qiáng)化學(xué)習(xí)工具——RARL，本次新增了多智能體算法的支持以及連續(xù)控制領(lǐng)域的SOTA算法，更好地支持強(qiáng)化學(xué)習(xí)前沿技術(shù)的研究；第二個是聯(lián)邦學(xué)習(xí)工具PaddleFL，本次也進(jìn)一步完善了端云協(xié)同訓(xùn)練，并開源了百萬級用戶設(shè)備的模擬器，方便快速迭代，另外在企業(yè)間聯(lián)邦學(xué)習(xí)方面新增了縱向聯(lián)邦學(xué)習(xí)的能力，方便開發(fā)者或者研究者基于這些工具去做自己的聯(lián)邦學(xué)習(xí)相關(guān)研究。
除此之外，飛槳也在圖神經(jīng)網(wǎng)絡(luò)、復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)等方面實(shí)現(xiàn)了升級，以更好地支持前沿技術(shù)和跨學(xué)科的機(jī)器學(xué)習(xí)研究。
百度研究院量子計算研究所所長段潤堯發(fā)布了國內(nèi)首個（也是唯一一個，同時也是全球第二個）量子機(jī)器學(xué)習(xí)開發(fā)工具——量槳（Paddle Quantum），將峰會拉入高潮。
簡單來說，Paddle Quantum 是一個基于百度開源框架PaddlePaddle的機(jī)器學(xué)習(xí)開發(fā)工具，支持量子神經(jīng)網(wǎng)絡(luò)的搭建與訓(xùn)練，提供易用的量子機(jī)器學(xué)習(xí)開發(fā)者套件與量子優(yōu)化、量子化學(xué)等前沿量子應(yīng)用工具集，相關(guān)量子算法的研究可以調(diào)用量槳內(nèi)部的計算框架，然后用 Python 編程完成運(yùn)算。
據(jù)段潤堯博士介紹，「量槳」特性有三，分別為：
易用性：提供簡潔的神經(jīng)網(wǎng)絡(luò)搭建與豐富的量子機(jī)器學(xué)習(xí)案例。
通用性與拓展性：支持常用量子電路模型，提供多項優(yōu)化工具。
特色工具集：提供量子優(yōu)化、量子化學(xué)等前沿量子應(yīng)用工具集，自研多項量子機(jī)器學(xué)習(xí)應(yīng)用。
量槳的量子機(jī)器學(xué)習(xí)開發(fā)套件包括：量子開發(fā)工具集，量子化學(xué)庫，以及一系列優(yōu)化工具。與此同時，在量槳的Github開源中，我們還可以看到一系列入門教程，涵蓋量子優(yōu)化、量子化學(xué)、量子機(jī)器學(xué)習(xí)等多個領(lǐng)域的經(jīng)典量子應(yīng)用。
過去幾年，盡管以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)方法在許多問題上產(chǎn)生了深遠(yuǎn)的影響。然而從長遠(yuǎn)來看，正如牛頓經(jīng)典力學(xué)并不能精確描述自然世界一樣，我們?nèi)粝肽M自然世界，經(jīng)典機(jī)器學(xué)習(xí)方法會顯得力有未逮，而量子機(jī)器學(xué)習(xí)方法則將成為必然。 如今，諸多科技巨頭相繼布局量子計算，由此也可見，在未來的10~20年內(nèi)，量子計算以及量子機(jī)器學(xué)習(xí)必將成為社會發(fā)展的重要推動力。
百度現(xiàn)在入手量子計算，或恰逢其時。 雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
