<mark id="oztn4"></mark>
5
| 本文作者： 三川 | 2017-01-03 22:14 |
在上期的谷歌、微軟、OpenAI 等巨頭的七大機(jī)器學(xué)習(xí)開(kāi)源項(xiàng)目 看這篇就夠了，我們盤(pán)點(diǎn)了 TensorFlow，CNTK，SystemML，DeepMind Lab 等各大互聯(lián)網(wǎng)巨頭的開(kāi)源平臺(tái)。本期，雷鋒網(wǎng)將帶領(lǐng)大家來(lái)看看誕生于民間（學(xué)界）的另外四大開(kāi)源項(xiàng)目：
Theano 在深度學(xué)習(xí)框架中是祖師級(jí)的存在。它的開(kāi)發(fā)始于 2007，早期開(kāi)發(fā)者包括傳奇人物 Yoshua Bengio 和 Ian Goodfellow。
Theano 基于 Python，是一個(gè)擅長(zhǎng)處理多維數(shù)組的庫(kù)（這方面它類(lèi)似于 NumPy）。當(dāng)與其他深度學(xué)習(xí)庫(kù)結(jié)合起來(lái)，它十分適合數(shù)據(jù)探索。它為執(zhí)行深度學(xué)習(xí)中大規(guī)模神經(jīng)網(wǎng)絡(luò)算法的運(yùn)算所設(shè)計(jì)。其實(shí)，它可以被更好地理解為一個(gè)數(shù)學(xué)表達(dá)式的編譯器：用符號(hào)式語(yǔ)言定義你想要的結(jié)果，該框架會(huì)對(duì)你的程序進(jìn)行編譯，來(lái)高效運(yùn)行于 GPU 或 CPU。
它與后來(lái)出現(xiàn)的 Tensorflow 功能十分相似（或者應(yīng)該說(shuō)，Tensorflow 類(lèi)似 Theano ），因而兩者常常被放在一起比較。它們本身都偏底層，同樣的，Theano 像是一個(gè)研究平臺(tái)多過(guò)是一個(gè)深度學(xué)習(xí)庫(kù)。你需要從底層開(kāi)始做許多工作，來(lái)創(chuàng)建你需要的模型。比方說(shuō)，Theano 沒(méi)有神經(jīng)網(wǎng)絡(luò)的分級(jí)。
但隨著這些年的發(fā)展，大量基于 Theano 的開(kāi)源深度學(xué)習(xí)庫(kù)被開(kāi)發(fā)出來(lái)，包括 Keras, Lasagne 和 Blocks。這些更高層級(jí)的 wrapper API，能大幅減少開(kāi)發(fā)時(shí)間以及過(guò)程中的麻煩。甚至，據(jù)雷鋒網(wǎng)所知，很少開(kāi)發(fā)者會(huì)使用“裸奔”的 Theano，多數(shù)人需要輔助的 API。順便說(shuō)一句，Theano 是一整套生態(tài)系統(tǒng)，別只用它裸奔，然后抱怨不好用。
在過(guò)去的很長(zhǎng)一段時(shí)間內(nèi)，Theano 是深度學(xué)習(xí)開(kāi)發(fā)與研究的行業(yè)標(biāo)準(zhǔn)。而且，由于出身學(xué)界，它最初是為學(xué)術(shù)研究而設(shè)計(jì)，這導(dǎo)致深度學(xué)習(xí)領(lǐng)域的許多學(xué)者至今仍在使用 Theano。但隨著 Tensorflow 在谷歌的支持下強(qiáng)勢(shì)崛起，Theano 日漸式微，使用的人越來(lái)越少。這過(guò)程中的標(biāo)志性事件是：創(chuàng)始者之一的 Ian Goodfellow 放棄 Theano 轉(zhuǎn)去谷歌開(kāi)發(fā) Tensorflow。
因此，資深一些的開(kāi)發(fā)者往往認(rèn)為，對(duì)于深度學(xué)習(xí)新手，用Theano 練練手并沒(méi)有任何壞處。但對(duì)于職業(yè)開(kāi)發(fā)者，還是建議用 Tensorflow。
Python + NumPy 的組合
使用計(jì)算圖
RNN 與計(jì)算圖兼容良好
有 Keras 和 Lasagne 這樣高層的庫(kù)
不少開(kāi)發(fā)者反映，它的學(xué)習(xí)門(mén)檻比Tensorflow 低
本身很底層
比 Torch 臃腫
不支持分布式
有的錯(cuò)誤信息沒(méi)什么用
大模型的編譯時(shí)間有時(shí)要很久
對(duì)事先訓(xùn)練過(guò)的模型支持不足
用的人越來(lái)越少
這又是一個(gè)祖師級(jí)的深度學(xué)習(xí)框架，2013 年就已問(wèn)世。
它的全稱是 “Convolution Architecture For Feature Extraction”，意為“用于特征提取的卷積架構(gòu)”，很明白地體現(xiàn)了它的用途。Caffe 的創(chuàng)始人，是加州大學(xué)伯克利分校的中國(guó)籍博士生賈揚(yáng)清。當(dāng)時(shí)賈在伯克利計(jì)算機(jī)視覺(jué)與學(xué)習(xí)中心做研究。博士畢業(yè)后，他先后在谷歌和 Facebook 工作。
在 AI 開(kāi)發(fā)者圈子中，Caffe 可以說(shuō)是無(wú)人不知、無(wú)人不曉。據(jù) GitHub 最新的機(jī)器學(xué)習(xí)項(xiàng)目熱度排名，Caffe 僅位列 Tensorflow 之后，雄踞第二。它是一個(gè)被廣泛使用的機(jī)器視覺(jué)庫(kù)，把 Matlab 執(zhí)行快速卷積網(wǎng)絡(luò)的方式帶到 C 和 C++。雖然 Caffe 被部分開(kāi)發(fā)者看做是通用框架，但它的設(shè)計(jì)初衷是計(jì)算機(jī)視覺(jué)——并不適于其他深度學(xué)習(xí)應(yīng)用，比如文字、語(yǔ)音識(shí)別和處理時(shí)間序列數(shù)據(jù)。
Caffe 的主要用途：利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類(lèi)。這方面它代表了業(yè)內(nèi)一流水平，是開(kāi)發(fā)者的首選。
說(shuō)到 Caffe，就不得不提 Model Zoo。后者是在 Caffe 基礎(chǔ)上開(kāi)發(fā)出的一系列模型的匯聚之地。因此，開(kāi)發(fā)者使用 Caffe 最大的好處是：能在 Model Zoo 海量的、事先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，選擇貼近自己使用需求的直接下載，并立刻就能用。
就雷鋒網(wǎng)所知，這些模型中有很多是世界一流的。有很多它們的教程：
Alex’s CIFAR-10 tutorial with Caffe
Training LeNet on MNIST with Caffe
ImageNet with Caffe
業(yè)內(nèi)人士普遍認(rèn)為，Caffe 適合于以實(shí)現(xiàn)基礎(chǔ)算法為主要目的的工業(yè)應(yīng)用，有利于快速開(kāi)發(fā)。但對(duì)于處理較特殊的任務(wù)，它存在靈活性不足的問(wèn)題——為模型做調(diào)整常常需要用 C++ 和 CUDA，雖然 Python 和 Matlab 也能做些小調(diào)整。
非常適合前饋神經(jīng)網(wǎng)絡(luò)和圖像處理任務(wù)
非常適于利用現(xiàn)有神經(jīng)網(wǎng)絡(luò)
不寫(xiě)代碼也能訓(xùn)練模型
Python 交互界面做得不錯(cuò)
需要 C++ 和 CUDA 來(lái)編寫(xiě)新 GPU 層級(jí)。
在遞歸神經(jīng)網(wǎng)絡(luò)上表現(xiàn)不佳
對(duì)于大型神經(jīng)網(wǎng)絡(luò)，它十分繁瑣（GoogLeNet, ResNet）
沒(méi)有商業(yè)支持
相比其他開(kāi)源框架，Torch 是一個(gè)非主流。
沒(méi)錯(cuò)，說(shuō)的就是它的開(kāi)發(fā)語(yǔ)言：基于1990 年代誕生于巴西的 Lua，而非機(jī)器學(xué)習(xí)界廣泛采用的 Python。其實(shí) Lua 和Python 都屬于比較容易入門(mén)的語(yǔ)言。但后者明顯已經(jīng)統(tǒng)治了機(jī)器學(xué)習(xí)領(lǐng)域，尤其在學(xué)界。而企業(yè)界的軟件工程師最熟悉的是 Java，對(duì) Lua 也比較陌生。這導(dǎo)致了 Torch 推廣的困難。因此，雖然 Torch 功能強(qiáng)大，但并不是大眾開(kāi)發(fā)者的菜。
那么它強(qiáng)大在哪里？
首先，Torch 非常適用于卷積神經(jīng)網(wǎng)絡(luò)。它的開(kāi)發(fā)者認(rèn)為，Torch 的原生交互界面比其他框架用起來(lái)更自然、更得心應(yīng)手。
其次，第三方的擴(kuò)展工具包提供了豐富的遞歸神經(jīng)網(wǎng)絡(luò)（ RNN）模型。
因?yàn)檫@些強(qiáng)項(xiàng)，許多互聯(lián)網(wǎng)巨頭開(kāi)發(fā)了定制版的 Torch，以助力他們的 AI 研究。這其中包括 Facebook、Twitter，和被谷歌招安前的 DeepMind。
與 Caffe 相比，在 Torch 里定義一個(gè)新層級(jí)比它要容易，因?yàn)槟悴恍枰獙?xiě) C++ 代碼。和 TensorFlow 和 Theano 比起來(lái)，Torch 的靈活度更高，因?yàn)樗敲钍降模欢皟烧呤顷愂鍪降模╠eclarative），你必須 declare 一個(gè)計(jì)算圖。這使得在 Torch 上進(jìn)行束搜索（beam search）這樣的操作要比它們?nèi)菀椎枚唷?/p>
Torch 的熱門(mén)應(yīng)用：在增強(qiáng)學(xué)習(xí)領(lǐng)域，用卷積神經(jīng)網(wǎng)絡(luò)和代理處理圖像問(wèn)題。
興趣主要在增強(qiáng)學(xué)習(xí)的開(kāi)發(fā)者， Torch 是首選。
靈活度很高
高度模塊化
容易編寫(xiě)你自己的層級(jí)
有很多訓(xùn)練好的模型
需要學(xué) Lua
通常需要自己寫(xiě)訓(xùn)練代碼
不適于循環(huán)神經(jīng)網(wǎng)絡(luò)
沒(méi)有商業(yè)支持
SciKit-learn 是老牌的開(kāi)源 Python 算法框架，始于 2007 年的 Google Summer of Code 項(xiàng)目，最初由 David Cournapeau 開(kāi)發(fā)。
它是一個(gè)簡(jiǎn)潔、高效的算法庫(kù)，提供一系列的監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)的算法，以用于數(shù)據(jù)挖掘和數(shù)據(jù)分析。SciKit-learn 幾乎覆蓋了機(jī)器學(xué)習(xí)的所有主流算法，這為其在 Python 開(kāi)源世界中奠定了江湖地位。
它的算法庫(kù)建立在 SciPy (Scientific Python) 之上——你必須先安裝 SciPy 才能使用 SciKit-learn 。它的框架中一共包括了：
NumPy: 基礎(chǔ)的多維數(shù)組包
SciPy: 科學(xué)計(jì)算的基礎(chǔ)庫(kù)
Matplotlib: 全面的 2D/3D 測(cè)繪
IPython: 改進(jìn)的交互控制器
Sympy: 符號(hào)數(shù)學(xué)
Pandas:數(shù)據(jù)結(jié)構(gòu)和分析
它命名的由來(lái)：SciPy 的擴(kuò)展和模塊在傳統(tǒng)上被命名為 SciKits。而提供學(xué)習(xí)算法的模組就被命名為 scikit-learn。
它與 Python 世界另一大算法框架——TensorFlow 的主要區(qū)別是：TensorFlow 更底層。而 SciKit-learn 提供了執(zhí)行機(jī)器學(xué)習(xí)算法的模塊化方案，很多算法模型直接就能用。
經(jīng)過(guò)篩選的、高質(zhì)量的模型
覆蓋了大多數(shù)機(jī)器學(xué)習(xí)任務(wù)
可擴(kuò)展至較大的數(shù)據(jù)規(guī)模
使用簡(jiǎn)單
靈活性低
提到出身學(xué)界的開(kāi)源框架，就不得不提 MXNet。不過(guò)，因?yàn)閬嗰R遜已將其作為御用平臺(tái)，因而上期的盤(pán)點(diǎn)（谷歌、微軟、OpenAI 等巨頭的七大機(jī)器學(xué)習(xí)開(kāi)源項(xiàng)目 看這篇就夠了）中已經(jīng)對(duì)其作了介紹。有興趣的讀者請(qǐng)戳鏈接。
【兼職召集令！】
如果你對(duì)未來(lái)充滿憧憬，喜歡探索改變世界的科技進(jìn)展，look no further！
我們需要這樣的你：
精通英語(yǔ)，對(duì)技術(shù)與產(chǎn)品感興趣，關(guān)注人工智能學(xué)術(shù)動(dòng)態(tài)的蘿莉&萌妹子&技術(shù)宅；
文字不求妙筆生花，但希望通俗易懂；
在這里，你會(huì)收獲：
一群來(lái)自天南地北、志同道合的小伙伴；
前沿學(xué)術(shù)科技動(dòng)態(tài)，每天為自己充充電；
更高的生活品質(zhì)，翻翻文章就能掙到零花錢(qián)；
有意向的小伙伴們把個(gè)人介紹/簡(jiǎn)歷發(fā)至 guoyixin@leiphone.com，如有作品，歡迎一并附上。
