阿里“NASA”首個(gè)重磅武器亮相：機(jī)器學(xué)習(xí)平臺(tái)PAI2.0 | 云棲2017深圳

雷鋒網(wǎng)AI科技評(píng)論按：3月29日，阿里云在云棲大會(huì)·深圳峰會(huì)上重磅亮相了阿里“NASA”首個(gè)武器——機(jī)器學(xué)習(xí)平臺(tái)PAI2.0 ，而后阿里云首席科學(xué)家周靖人做了《ET 智慧工廠- 阿里云機(jī)器學(xué)習(xí)》的主題演講。文末附雷鋒網(wǎng)整理的阿里云人工智能科學(xué)家閔萬(wàn)里對(duì)于PAI平臺(tái)的采訪問(wèn)答。

阿里“NASA”首個(gè)重磅武器亮相：機(jī)器學(xué)習(xí)平臺(tái)PAI2.0：

• 全面兼容TensorFlow、Caffe和MXNet深度學(xué)習(xí)框架
  

• 集成100余種算法組件

3月29日，阿里云在云棲大會(huì)深圳峰會(huì)上正式發(fā)布機(jī)器學(xué)習(xí)平臺(tái)PAI2.0。相比1.0版本，PAI 2.0有多項(xiàng)重大更新，除增加了100余種算法外，更重要的是對(duì)主流深度學(xué)習(xí)框架TensorFlow、Caffe和MXNet的全面兼容。

3月初，阿里巴巴董事局主席馬云宣布啟動(dòng)內(nèi)部代號(hào)為“NASA”的計(jì)劃，將面向未來(lái) 20 年組建強(qiáng)大的獨(dú)立研發(fā)部門，建立新的機(jī)制體制，為服務(wù) 20 億人的新經(jīng)濟(jì)體儲(chǔ)備核心科技。 同時(shí)，馬云還動(dòng)員阿里巴巴全球兩萬(wàn)多名工程師投身“NASA”計(jì)劃。在技術(shù)大會(huì)上，機(jī)器學(xué)習(xí)、芯片、IoT、操作系統(tǒng)、生物識(shí)別被明確提及，智能化的產(chǎn)業(yè)基礎(chǔ)和應(yīng)用被放在了突出位置。

兩年前，阿里云對(duì)外發(fā)布國(guó)內(nèi)首個(gè)機(jī)器學(xué)習(xí)平臺(tái)PAI。此次版本的重大升級(jí)，標(biāo)志著阿里云在構(gòu)建AI核心技術(shù)能力上又進(jìn)一步。據(jù)悉，阿里“NASA”計(jì)劃將為PAI平臺(tái)使用者提供強(qiáng)大的技術(shù)后盾。 

此次PAI2.0的重大升級(jí)主要包括以下方面： 

1、全面擁抱開源 

PAI2.0編程接口完全兼容深度學(xué)習(xí)框架：Tensorflow、Caffe以及MXNet，用戶只需要將自己本地編寫的代碼文件上傳至云端就可以執(zhí)行。

Tensorflow、Caffe和MXNet是目前全球主流的深度學(xué)習(xí)開源框架。Tensorflow開源算法和模型最豐富；Caffe是經(jīng)典的圖形領(lǐng)域框架，使用簡(jiǎn)單；MXNet分布式性能優(yōu)異。

對(duì)于底層計(jì)算資源，PAI2.0提供了強(qiáng)大的云端異構(gòu)計(jì)算資源，包含CPU、GPU、FPGA。在GPU方面，PAI2.0可以靈活實(shí)現(xiàn)多卡調(diào)度。

借助這些框架以及強(qiáng)大的計(jì)算資源，用戶能非常方便地就可以將計(jì)算任務(wù)下發(fā)到對(duì)應(yīng)的分布式計(jì)算機(jī)群上，實(shí)現(xiàn)深度學(xué)習(xí)模型訓(xùn)練與預(yù)測(cè)。

2、更豐富的算法庫(kù)

 PAI2.0提供100余種算法組件，涵蓋了分類、回歸、聚類等常用場(chǎng)景，還針對(duì)主流的算法應(yīng)用場(chǎng)景，提供了偏向業(yè)務(wù)的算法，包含文本分析、關(guān)系分析、推薦3種類別。

“算法全部脫胎于阿里巴巴集團(tuán)內(nèi)部的業(yè)務(wù)實(shí)踐，所有算法都經(jīng)歷過(guò)PB級(jí)數(shù)據(jù)和復(fù)雜業(yè)務(wù)場(chǎng)景的錘煉，具備成熟穩(wěn)定的特點(diǎn)”，阿里云首席科學(xué)家周靖人說(shuō)。

3、支持更大規(guī)模的數(shù)據(jù)訓(xùn)練

PAI 2.0 新增了參數(shù)服務(wù)器（Parameter Server）架構(gòu)的算法。不僅能進(jìn)行數(shù)據(jù)并行，同時(shí)還可將模型分片，把大的模型分為多個(gè)子集，每個(gè)參數(shù)服務(wù)器只存一個(gè)子集，全部的參數(shù)服務(wù)器聚合在一起拼湊成一個(gè)完整的模型。

其創(chuàng)新點(diǎn)還在于失敗重試的功能。在分布式系統(tǒng)上，成百上千個(gè)節(jié)點(diǎn)協(xié)同工作時(shí)，經(jīng)常會(huì)出現(xiàn)一個(gè)或幾個(gè)節(jié)點(diǎn)掛掉的情況，如果沒(méi)有失敗重試機(jī)制，任務(wù)就會(huì)有一定的幾率失敗，需要重新提交任務(wù)到集群調(diào)度。PS算法支持千億特征、萬(wàn)億模型和萬(wàn)億樣本直至PB級(jí)的數(shù)據(jù)訓(xùn)練，適合于電商、廣告等數(shù)據(jù)規(guī)模巨大的推薦場(chǎng)景。

阿里云首席科學(xué)家周靖人說(shuō)，在過(guò)去的一年時(shí)間里我們協(xié)助客戶落地了多項(xiàng)重大的人工智能應(yīng)用。但人工智能要想真正成為成為普惠科技，需要一款更加通用的生產(chǎn)工具。PAI2.0正是為此而生。

人工智能綜合了多門學(xué)科的技術(shù)，對(duì)人才要求極其高，除了懂統(tǒng)計(jì)學(xué)中各種復(fù)雜的機(jī)器學(xué)習(xí)算法，還要懂實(shí)現(xiàn)邏輯以及分布式架構(gòu)理論。PAI可以大幅的降低人工智能的門檻以及開發(fā)成本。

從操作界面來(lái)看，PAI沒(méi)有繁瑣的公式和復(fù)雜的代碼邏輯，用戶看到的是各種分門別類被封裝好的算法組件。每一個(gè)實(shí)驗(yàn)步驟都提供可視化的監(jiān)控頁(yè)面。在深度學(xué)習(xí)黑箱透明化方面，PAI也同時(shí)集成了各種可視化工具。

PAI的基礎(chǔ)設(shè)施和計(jì)算框架建立在阿里云飛天計(jì)算平臺(tái)之上，通過(guò)云的模式大幅降低了計(jì)算成本，支持MR、SQL、MPI、PS、GRAPH等多種分布式計(jì)算框架，對(duì)于底層的CPU和GPU計(jì)算機(jī)群可以靈活調(diào)用。

兩年時(shí)間里，PAI在阿里巴巴內(nèi)部已經(jīng)被廣泛使用。以淘寶搜索為例，搜索結(jié)果會(huì)基于商品和用戶的特征進(jìn)行排序。通過(guò)使用參數(shù)服務(wù)器，淘寶可以把百億個(gè)特征的模型，分散到數(shù)十個(gè)乃至于上百個(gè)參數(shù)服務(wù)器上，打破了規(guī)模的瓶頸。

在阿里云的客戶當(dāng)中，廣東省氣象局對(duì)PAI的使用最具代表性。他們使用PAI對(duì)臨近預(yù)報(bào)(0-3小時(shí)內(nèi))的降雨量進(jìn)行建模預(yù)測(cè)。通過(guò)拖拽操作就完成了數(shù)據(jù)清洗、特征工程，非線性機(jī)器學(xué)習(xí)算法訓(xùn)練以及結(jié)果評(píng)估的工作。

PAI還被應(yīng)用在各種前沿科技領(lǐng)域。華大基因聯(lián)合阿里云科學(xué)家，正使用PAI對(duì)肺腺癌患者基因進(jìn)行分析，試圖尋找到導(dǎo)致肺腺癌病發(fā)的關(guān)鍵基因突變。

雷鋒網(wǎng)將現(xiàn)場(chǎng)就PAI平臺(tái)對(duì)阿里云人工智能科學(xué)家閔萬(wàn)里的采訪整理如下：

提問(wèn)：各所之間都是一個(gè)小數(shù)據(jù)庫(kù)在里面，但是同時(shí)，它又想享受整個(gè)鏈條的東西，所以整個(gè)過(guò)程當(dāng)中，比如說(shuō)三汽重工跟阿里云合作以后，通過(guò)智能總結(jié)分析，阿里是承諾我們只把三汽重工用于三汽重工上，但是它的同行共性的部分，共性的東西通過(guò)阿里公共云服務(wù)來(lái)做？

閩萬(wàn)里：這一點(diǎn)很重要，就取決于配方共用到什么程度而且又是隱私的，用什么工具方法論，比如說(shuō)PAI2.0的哪一些函數(shù)找最優(yōu)配方，我把我找這個(gè)最優(yōu)配方的工具組合，用了什么類型的數(shù)據(jù)，用了多少的數(shù)據(jù)配合起來(lái)，數(shù)據(jù)是你的，是他的還是他的，自己去搞。有一點(diǎn)像打獵，第一步是在哪里？把這些東西抽象出來(lái)。最后成了一個(gè)什么呢？形象全行業(yè)的解決方案，就是怎么找到給你這一臺(tái)機(jī)器的東西。怎么找到你這一臺(tái)機(jī)器的東西。這因?yàn)榱可碛喿鳌?/p>

商業(yè)上來(lái)說(shuō)，這個(gè)難度很大，但是這個(gè)行業(yè)你做成龍頭企業(yè)，那就非常厲害了。因?yàn)楫吘顾悄軝C(jī)器和過(guò)程這一塊是大有可為，在協(xié)鑫光伏做了以后，我在中測(cè)那邊只用了一個(gè)月，在協(xié)鑫光伏那邊用了六個(gè)月。為什么呢？因?yàn)榈絽f(xié)鑫光伏做的東西抽象出來(lái)跨行業(yè)還能用，為什么能跨行業(yè)呢？因?yàn)檫@九及行業(yè)都有一個(gè)共同形成，流程制造，一環(huán)扣一環(huán)，所以我們做成了抽象，然后做出來(lái)的東西就有可復(fù)制性，我的編輯成本就越來(lái)越小。

提問(wèn)：現(xiàn)在PAI在NASA體系中的重要性如何？

閩萬(wàn)里：我們希望它對(duì)NASA的體系影響越小越好，打一個(gè)比方說(shuō)，比如說(shuō)今天我要燈上火星，如果你的技術(shù)深度依賴某一個(gè)火箭就出問(wèn)題了，可能這個(gè)火箭沒(méi)有跑到那個(gè)地方就會(huì)出問(wèn)題，任何一個(gè)這么大的戰(zhàn)略規(guī)模都不能依賴于某一個(gè)產(chǎn)品甚至是某一組產(chǎn)品，因?yàn)樗灿锌扇〈臇|西，事實(shí)上講，沒(méi)有不可取代的東西，我從技術(shù)的角度，負(fù)責(zé)任的角度是這樣講。但是目前的這個(gè)情況下，PAI是我們內(nèi)部的工程師自己去經(jīng)常用的東西。

提問(wèn)：PAI2.0是首次對(duì)外開放嗎？ 具體開源到什么程度呢？

閩萬(wàn)里：1.0模式主要是自己在用，我們都是不斷的在演化不斷在做。就像我剛才講到PAI2.0和NASA來(lái)說(shuō)是微不足道，開源手段來(lái)說(shuō)也是微不足道的，就是一定不是在一個(gè)平臺(tái)上來(lái)做，所以我覺(jué)得更加重要我們的貢獻(xiàn)是什么呢？我們要告訴大家有了好的人工智能可以產(chǎn)生積聚的價(jià)值。今天有一個(gè)武功秘籍，你可以去做各種各樣的事情。你有了這些功能以后，你朝這個(gè)方向走會(huì)產(chǎn)生價(jià)值，而且能夠可執(zhí)行，可以產(chǎn)生。這樣的力量。這個(gè)對(duì)于我們來(lái)說(shuō)是客戶價(jià)值。談到協(xié)鑫光伏這個(gè)案例，我不會(huì)說(shuō)我們用PAI2.0做協(xié)鑫光伏，我們想讓更多人知道如果協(xié)鑫光伏這一類的企業(yè)嫁接到人工智能的話是會(huì)更加有發(fā)展。

提問(wèn)：有很多工藝是有特殊性的，同時(shí)我們講數(shù)字化緊接著智能化，過(guò)去數(shù)字化的時(shí)候有很多應(yīng)用，比如說(shuō)中測(cè)橡膠，有管理性，還有徐工有自己的運(yùn)營(yíng)的系統(tǒng)，我們從IaaS到PaaS的時(shí)候，針對(duì)廠商與傳統(tǒng)供應(yīng)系統(tǒng)的是不是不愿意合作？

閩萬(wàn)里：我們特別希望跟他們合作。在協(xié)鑫光伏我們花了相當(dāng)長(zhǎng)的時(shí)間，因?yàn)橛腥瞬辉敢夂献鳎晕覀冇忠フ纤麄兊臄?shù)據(jù)，這就像我們做城市大腦一樣，過(guò)去智慧城市的建設(shè)，各個(gè)局、各位委，各個(gè)不部門都有自己的數(shù)據(jù)中心，都很難打通。所以對(duì)于我來(lái)說(shuō)是數(shù)據(jù)沒(méi)有打通，這個(gè)就希望可以跟他們合作，然后在它的機(jī)器上然后可以外接進(jìn)去。但是現(xiàn)在沒(méi)有辦法，沒(méi)有辦法怎么辦呢？我們的方式是我不看它的機(jī)器內(nèi)容，只讀讀數(shù)。我就自己寫一些代碼兼容它的OPC協(xié)議，然后把這個(gè)協(xié)議兼容以后，就能讀它的數(shù)，從機(jī)器供應(yīng)商變成工藝供應(yīng)商，要提升它的工藝管理，這是一個(gè)常態(tài)化的需求。就可以變成一個(gè)服務(wù)商，所以合作商也是一樣的。

提問(wèn)：有很多工藝是有特殊性的，同時(shí)我們講數(shù)字化緊接著智能化，過(guò)去數(shù)字化的時(shí)候有很多應(yīng)用，比如說(shuō)中測(cè)橡膠，有管理性，還有徐工有自己的運(yùn)營(yíng)的系統(tǒng)，我們從IaaS到PaaS的時(shí)候，針對(duì)廠商與傳統(tǒng)供應(yīng)系統(tǒng)的是不是不愿意合作？

閩萬(wàn)里：我們特別希望跟他們合作。在協(xié)鑫光伏我們花了相當(dāng)長(zhǎng)的時(shí)間，因?yàn)橛腥瞬辉敢夂献鳎晕覀冇忠フ纤麄兊臄?shù)據(jù)，這就像我們做城市大腦一樣，過(guò)去智慧城市的建設(shè)，各個(gè)局、各位委，各個(gè)不部門都有自己的數(shù)據(jù)中心，都很難打通。所以對(duì)于我來(lái)說(shuō)是數(shù)據(jù)沒(méi)有打通，這個(gè)就希望可以跟他們合作，然后在它的機(jī)器上然后可以外接進(jìn)去。但是現(xiàn)在沒(méi)有辦法，沒(méi)有辦法怎么辦呢？我們的方式是我不看它的機(jī)器內(nèi)容，只讀讀數(shù)。我就自己寫一些代碼兼容它的OPC協(xié)議，然后把這個(gè)協(xié)議兼容以后，就能讀它的數(shù)，從機(jī)器供應(yīng)商變成工藝供應(yīng)商，要提升它的工藝管理，這是一個(gè)常態(tài)化的需求。就可以變成一個(gè)服務(wù)商，所以合作商也是一樣的。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。