<mark id="oztn4"></mark>
0
| 本文作者： 宗仁 | 2016-08-31 20:48 | 專題：百度大腦與AI商業(yè)化——百度世界大會專題 |
宗仁，黃鑫聯(lián)合編輯
百度今天開源了其深度學(xué)習(xí)平臺Paddle，引發(fā)了挺多人工智能領(lǐng)域開發(fā)者的興趣，包括一些之前一直在Tensorflow和Caffe上練手的開發(fā)者。不過鑒于深度學(xué)習(xí)的開源平臺目前并不多，作為開發(fā)者也作為熱心吃瓜群眾的頭等大事，就是想知道——這個平臺怎么樣？別人怎么看這個平臺？以及這個平臺跟Tensorflow以及Caffe有何區(qū)別？
Paddle本身在開源前就一直存在，始于2013年的時候，因為百度深度實驗室察覺到自己在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方面，伴隨著計算廣告、文本、圖像、語音等訓(xùn)練數(shù)據(jù)的快速增長，傳統(tǒng)的基于單GPU的訓(xùn)練平臺已經(jīng)無法滿足需求，為此在徐偉的帶領(lǐng)下，實驗室搭建了Paddle(Parallel Asynchronous Distributed Deep Learning)多機并行GPU這個訓(xùn)練平臺。
但今天開源的Paddle當然不是3年前的簡單模型，3年前Paddle可能還是一個獨立的深度學(xué)習(xí)平臺，不能很好地支持把數(shù)據(jù)從其他平臺接入的需求。但今天的Paddle已經(jīng)在處處強調(diào)，它的特色是讓Spark與PADDLE耦合起來，是一個基于Spark的異構(gòu)分布式深度學(xué)習(xí)系統(tǒng)。并且經(jīng)過和百度相關(guān)業(yè)務(wù)的“緊密摩擦”后，它已經(jīng)迭代了兩個版本：從Spark on Paddle架構(gòu)1.0版，到Spark on PADDLE 架構(gòu)2.0版。根據(jù)平臺開源的規(guī)則，大概是在百度內(nèi)部用的非常得心應(yīng)手，修復(fù)了一系列bug后，實驗室才終于打算把Spark on PADDLE以及異構(gòu)計算平臺開源。至于百度為什么要開源，這個理由大家都懂的
深度學(xué)習(xí)平臺目前還有很多bug——吸引更多的開發(fā)者來嘗試和使用深度學(xué)習(xí)技術(shù)，對提高Paddle的檔次是絕對有幫助的。
知乎上賈清揚的回答，目前是比較正面的評價。
1. 很高質(zhì)量的GPU代碼
2. 非常好的RNN設(shè)計
3. 設(shè)計很干凈，沒有太多的abstraction，這一點比TensorFlow好很多。
4. 高速RDMA的部分貌似沒有開源（可能是因為RDMA對于cluster design有一定要求）：Paddle/RDMANetwork.h at master · baidu/Paddle · GitHub
5. 設(shè)計思路比較像第一代的DL框架，不過考慮到paddle已經(jīng)有年頭了，這樣設(shè)計還是有歷史原因的。
5.1 config是hard-code的protobuf message，這對擴展性可能會有影響。
5.2 可以看到很多有意思的類似歷史遺留的設(shè)計：采用了STREAM_DEFAULT macro，然后通過TLS的方式定向到非default stream：Paddle/hl_base.h at 4fe7d833cf0dd952bfa8af8d5d7772bbcd552c58 · baidu/Paddle · GitHub （所以Paddle off-the-shelf不支持mac？）
5.3 在梯度計算上采用了傳統(tǒng)的粗粒度forward/backward設(shè)計（類似Caffe）。可能有人會說“所以paddle沒有auto gradient generation”，這是不對的，autograd的存在與否和op的粒度粗細無關(guān)。事實上，TensorFlow在意識到細粒度operator超級慢的速度以后，也在逐漸轉(zhuǎn)回粗粒度的operator上。目前只看到這里。總之是一個非常solid的框架，百度的開發(fā)功底還是不錯的。
估計不少人都讀過賈清揚的評價，下面我們貼一個前百度數(shù)據(jù)工程師，極視角CTO纓寧的評價
看了一下，從設(shè)計理念來看和Caffe挺像的，但網(wǎng)絡(luò)模型沒有Caffe那么容易定義。最大貢獻是做了分布式，提高了建立模型的速度。再詳細的感受就得看代碼和上手用了。
另一個跟上面兩位觀點反差較大的某研究深度學(xué)習(xí)的學(xué)者表示
Tensorflow的架構(gòu)可以認為是一個升級版的theano, theano比Caffe還要早幾年，只是Caffe最早train好了，同時發(fā)布了一些成功的卷積神經(jīng)網(wǎng)絡(luò)模型因此得到更多關(guān)注。Tensorflow和Caffe沒啥太大的關(guān)系，可能借鑒了Caffe某一些實現(xiàn)技巧，本質(zhì)上沒啥關(guān)系。 百度這個很有可能是看到Caffe的成功之后實現(xiàn)的，很大程度模仿的Caffe, 同時試圖修改一些東西使其看的和Caffe不一樣。
我估計使用Caffe的人不會投向它，使用其他的工具的人（tensorflow, keras, theano, torch，mxnet）也不會投向它， 大家說幾天然后就……一個月之后看一下它的github的關(guān)注量和github上能夠找到的別人寫的代碼量你就知道他是否能有什么浪花(后面可以看看有沒有人用他來參加kaggle或者其他比賽或在科研發(fā)布代碼)?，F(xiàn)在基本每個大公司都發(fā)布自己的深度學(xué)習(xí)框架（或者機器學(xué)習(xí)框架），例如微軟， 亞馬遜， 雅虎，好像都沒有大動靜。
雷鋒網(wǎng)申請了Paddle的今天公測版本，目前還在審核中，雖然不能直接下載體驗，但和其它兩個平臺的區(qū)別也不是毫無蹤跡。根據(jù)我們之前對Caffe, Tensorflow的了解，以及今天Paddle放出的數(shù)據(jù)。
附接口語音
Caffe ——cmd, matlab, python
Tensorflow——python, c++
Paddle ——python, c++
（注：其中python是開發(fā)者主要使用的語言， 只有Caffe修改model內(nèi)部的時候要用的c++。（如有異議，歡迎各開發(fā)者進一步交流）
1）Caffe可以說是第一個工業(yè)級深度學(xué)習(xí)工具，始于2013年底由UC Berkely的賈楊清編寫的具有出色的CNN實現(xiàn)功能的開發(fā)語言，在計算機視覺領(lǐng)域Caffe仍然是最流行的工具包。
Caffe的開發(fā)語言支持C++和Cuda，速度很快，但是由于一些歷史性的遺留架構(gòu)問題，它的靈活性不夠強。而且對遞歸網(wǎng)絡(luò)和語言建模的支持很差。Caffe支持所有主流開發(fā)系統(tǒng)，上手難度屬于中等水平。
2）Tensorflow是Google開源的第二代深度學(xué)習(xí)技術(shù)，是一個理想的RNN API實現(xiàn)，它使用了向量運算的符號圖方法，使得開發(fā)的速度可以很快。
Tensorflow支持的比較好的系統(tǒng)只有各種Linux系統(tǒng)和OSX，不過其對語言的支持比較全面，包含了Python、C++和Cuda等，開發(fā)者文檔寫得沒有Caffe那么全面，所以上手比較難。
3）而此次百度的Paddle，作為基于Spark的異構(gòu)分布式深度學(xué)習(xí)系統(tǒng)，通過使用GPU與FPGA異構(gòu)計算提升每臺機器的數(shù)據(jù)處理能力，暫時獲得了業(yè)內(nèi)“相當簡潔、設(shè)計干凈、穩(wěn)定，速度較快，顯存占用較小。”的評價，跟它通過使用GPU與FPGA異構(gòu)計算提升每臺機器的數(shù)據(jù)處理能力有重要聯(lián)系。不過具體表現(xiàn)如何，還需等待幾天觀察一下大家的使用感受。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
