<mark id="oztn4"></mark>
0
雷鋒網(wǎng) AI 科技評(píng)論按：日前，阿里巴巴宣布將旗下的大數(shù)據(jù)營(yíng)銷平臺(tái)阿里媽媽的算法框架 X-Deep Learning（下文簡(jiǎn)稱 XDL）進(jìn)行開源。XDL 是阿里媽媽基于自身廣告業(yè)務(wù)自主研發(fā)的深度學(xué)習(xí)框架，目前已經(jīng)大規(guī)模部署應(yīng)用在核心生產(chǎn)場(chǎng)景。
據(jù)悉，這是阿里巴巴首次公開的深度學(xué)習(xí)框架，不同于 TensorFlow、PyTorch、MxNet 等深度學(xué)習(xí)開源框架面向圖像、視頻、語音等低維稠密數(shù)據(jù)而設(shè)計(jì)，XDL 是業(yè)界首個(gè)面向超大規(guī)模高維稀疏數(shù)據(jù)場(chǎng)景的深度學(xué)習(xí)開源框架。
數(shù)據(jù)的高維稀疏性既是阿里媽媽業(yè)務(wù)場(chǎng)景的重要特征，也是互聯(lián)網(wǎng)的眾多核心應(yīng)用場(chǎng)景（如廣告、推薦、搜索等）的特征，覆蓋了大多數(shù)互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)應(yīng)用模式。而 XDL 對(duì)于推薦、搜索、廣告等互聯(lián)網(wǎng)場(chǎng)景的工業(yè)化應(yīng)用意義重大，其針對(duì)推薦、搜索、廣告等場(chǎng)景的訓(xùn)練方式獨(dú)創(chuàng)了結(jié)構(gòu)化壓縮、高階模型嵌套訓(xùn)練等范式，對(duì)大規(guī)模深度網(wǎng)絡(luò)的存儲(chǔ)、通信、計(jì)算等都有一個(gè)數(shù)量級(jí)以上的效率提升。
相較于 TensorFlow、PyTorch 等深度學(xué)習(xí)開源框架來說，XDL 的優(yōu)勢(shì)還體現(xiàn)在它不僅僅只是一個(gè)訓(xùn)練框架，還是面向高維稀疏數(shù)據(jù)場(chǎng)景的完整解決方案，尤其是一系列在阿里媽媽的核心業(yè)務(wù)場(chǎng)景經(jīng)過生產(chǎn)驗(yàn)證的算法模型，這對(duì)于推薦、搜索、廣告等領(lǐng)域從業(yè)者來說，有極高的參考價(jià)值，可以幫助這個(gè)行業(yè)的很多團(tuán)隊(duì)實(shí)現(xiàn)技術(shù)的跨越式前進(jìn)。
據(jù)阿里媽媽透露，XDL 框架從設(shè)計(jì)之初，就具備了足夠的開放性和易用性，開源是水到渠成的一步。據(jù)雷鋒網(wǎng)了解，XDL 框架具有五大系統(tǒng)核心能力：
第一，為高維稀疏數(shù)據(jù)場(chǎng)景而生。XDL 針對(duì)高維稀疏數(shù)據(jù)場(chǎng)景，進(jìn)行了性能優(yōu)化，支持千億級(jí)參數(shù)的超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練；
第二，工業(yè)級(jí)分布式訓(xùn)練。XDL 原生支持工業(yè)級(jí)的大規(guī)模分布式訓(xùn)練，具備完整的分布式容災(zāi)語義，可水平擴(kuò)展至上干并發(fā)，支持批量學(xué)習(xí)與在線學(xué)習(xí)模式；
第三，橋接多后端支持。XDL 創(chuàng)造性地采用了橋接的架構(gòu)設(shè)計(jì)理念，復(fù)用了現(xiàn)有的開學(xué)深度學(xué)習(xí)框架的單節(jié)點(diǎn)稠密計(jì)算能力，支持 TensorFlow 與 MxNet 作為其單節(jié)點(diǎn)計(jì)算后端。這種橋接的架構(gòu)，使得 XDL 跟業(yè)界的開源社區(qū)無縫對(duì)接。此外，對(duì)于已經(jīng)在使用其它開源框架的企業(yè)或者個(gè)人用戶，也可以在原有系統(tǒng)基礎(chǔ)上輕松進(jìn)行擴(kuò)展。
第四，高效的結(jié)構(gòu)化壓縮訓(xùn)練。XDL 針對(duì)互聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)，提出了結(jié)構(gòu)化壓縮訓(xùn)練模式，大幅縮減 IO 通信量和訓(xùn)練計(jì)算量，訓(xùn)練效率可達(dá) 10 倍以上的提升；
第五，獨(dú)創(chuàng)的高級(jí)模型服務(wù)器。XDL 提出了全新的 model shuffle 模式，原生支持多模態(tài)網(wǎng)絡(luò)、異構(gòu)計(jì)算網(wǎng)絡(luò)等復(fù)雜算法。
除了核心的 XDL 訓(xùn)練框架外，阿里媽媽透露將全面開源面向高維稀疏數(shù)據(jù)場(chǎng)景的系統(tǒng)化解決方案，計(jì)劃分批次對(duì)外發(fā)布，包括面向在線實(shí)時(shí)服務(wù)的高性能深度學(xué)習(xí)預(yù)估引擎、面向全庫(kù)實(shí)時(shí)檢索的全新深度學(xué)習(xí)匹配引擎。值得一提的是，這些系統(tǒng)解決方案還內(nèi)置阿里媽媽自主研發(fā)的一系列創(chuàng)新算法，包括：
點(diǎn)擊率預(yù)估領(lǐng)域的深度興趣網(wǎng)絡(luò)（Deep Interest Network，DIN）、用戶興趣演化網(wǎng)絡(luò)（Deep Interest Evolution Network，DIEN）以及跨媒介網(wǎng)絡(luò)（Cross Media Network，CMN）
轉(zhuǎn)化率預(yù)估領(lǐng)域的全空間多任務(wù)模型（Entire Space Multi-task Model，ESMM）
匹配召回領(lǐng)域的樹型深度匹配模型（Tree-based Deep Match，TDM）
模型壓縮領(lǐng)域的基于蒸餾模式的模型壓縮訓(xùn)練算法（Rocket Training）
最后，我們也來回顧一下 TensorFlow、PyTorch 以及國(guó)內(nèi)的 Paddlepaddle 等深度學(xué)習(xí)開源框架：
TensorFlow：谷歌于 2015 年 11 月宣布開源 TensorFlow 深度學(xué)習(xí)框架，這一框架基于谷歌推出的第一代內(nèi)部深度學(xué)習(xí)框架——DistBelief 框架。在開源時(shí)，谷歌曾表示，開源 TensorFlow 能夠加速谷歌在人工智能上的部署，幫助其在人工智能發(fā)展日益重要的未來?yè)屨几嘀鲗?dǎo)權(quán)。過去三年間，TensorFlow 在開發(fā)者社區(qū)享有盛譽(yù)，已成為最為常用的深度學(xué)習(xí)框架之一，目前不僅支持 Eager Execution 動(dòng)態(tài)圖機(jī)制，還集成了 NVIDIA TensorRT，此外，TensorFlow 中文社區(qū)論壇（https://www.tensorflowers.cn）也正式上線。據(jù)悉，谷歌將于 2019 年發(fā)布 TensorFlow v 2.0。
PyTorch：2017 年初，F(xiàn)acebook 在 Torch 的基礎(chǔ)上，針對(duì) Python 語言發(fā)布了全新的機(jī)器學(xué)習(xí)工具包——PyTorch。目前，PyTorch 已經(jīng)融合了 Caffe2 和 ONNX 支持模塊化、面向生產(chǎn)的功能，并保留了其靈活、以研究為中心的設(shè)計(jì)。
Paddlepaddle：2016 年 8 月底，百度開源自研深度學(xué)習(xí)平臺(tái) PaddlePaddle。2017 年 11 月，PaddlePaddle 發(fā)布三項(xiàng)新功能：PaddlePaddleFluid，PaddlePaddleCloud，PaddlePaddleEDL，這三大新功能的推出，進(jìn)一步加強(qiáng)了 PaddlePaddle 的易用性，提高了效率，并降低了開發(fā)者的使用門檻。雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
