開源后5個(gè)月，Google的深度學(xué)習(xí)系統(tǒng)都有哪些改變？

本文作者：新智元

2016-04-15 15:52

導(dǎo)語：2016年4月14日，Google發(fā)布了分布式TensorFlow。這會(huì)是一場(chǎng)人工智能復(fù)興運(yùn)動(dòng)的開始嗎？

編者按：本文作者Simon，來自新智元（微信號(hào)：AI_era）

【導(dǎo)讀】2016年4月14日，Google發(fā)布了分布式TensorFlow。Google的博文介紹了TensorFlow在圖像分類的任務(wù)中，在100個(gè)GPUs和不到65小時(shí)的訓(xùn)練時(shí)間下，達(dá)到了78%的正確率。在激烈的商業(yè)競(jìng)爭(zhēng)中，更快的訓(xùn)練速度是人工智能企業(yè)的核心競(jìng)爭(zhēng)力。而分布式TensorFlow意味著它能夠真正大規(guī)模進(jìn)入到人工智能產(chǎn)業(yè)中，產(chǎn)生實(shí)質(zhì)的影響。

開源后5個(gè)月，Google的深度學(xué)習(xí)系統(tǒng)都有哪些改變？

Google昨日發(fā)布分布式TensorFlow版本！

即便TensorFlow在2015年底才出現(xiàn)，它已經(jīng)吸引了全球機(jī)器學(xué)習(xí)開發(fā)者的目光。Google創(chuàng)始人Eric Schmidt堅(jiān)信TensorFlow是Google的未來。深度學(xué)習(xí)引擎+云服務(wù)平臺(tái)，將會(huì)帶來編程范式的改變：不僅給電腦編程，而且讓電腦擁有一定的自主能力。

根據(jù)Github的數(shù)據(jù)統(tǒng)計(jì)，TensorFlow成為了2015年最受關(guān)注的六大開源項(xiàng)目之一。考慮到TensorFlow僅僅在12月才發(fā)布，一個(gè)月的時(shí)間就讓它成為世界關(guān)注的焦點(diǎn)。

不過那時(shí)候的TensorFlow，還僅僅是只能在一個(gè)機(jī)器上運(yùn)行的單機(jī)版本。這意味著它雖然設(shè)計(jì)精巧，但很難被公司、組織大規(guī)模的使用，也很難對(duì)產(chǎn)業(yè)造成實(shí)質(zhì)的影響。

但昨天發(fā)布的分布式TensorFlow，最突出的特征是能夠在不同的機(jī)器上同時(shí)運(yùn)行。雖然說并不是所有人都需要在幾千臺(tái)服務(wù)器上運(yùn)行TensorFlow，但研究者和創(chuàng)業(yè)公司的確能在多臺(tái)機(jī)器運(yùn)行的TensorFlow中獲益。

TensorFlow技術(shù)負(fù)責(zé)人Rajat Monga解釋了分布式TensorFlow的延期發(fā)布：“我們內(nèi)部使用的軟件棧（Software Stack），和外部人們使用的非常不同......所以要讓它變得開源，對(duì)于我們來說是極其困難的事情。”

經(jīng)過5個(gè)月的等待，分布式 TensorFlow 終于到來了。

TennsorFlow 0.8發(fā)布了，它有一些很好的改進(jìn)。它為分布式的版本做了一些改變，而且把它們包裹起來使之更容易使用。這篇博客還介紹了用分布式系統(tǒng)訓(xùn)練卷積圖像識(shí)別模型的一些可擴(kuò)展的數(shù)字。

| Google 官方博客介紹

TensorFlow：

TensorFlow是為使用數(shù)據(jù)流程圖的數(shù)值計(jì)算開發(fā)的開源軟件庫。圖中的節(jié)點(diǎn)表示數(shù)學(xué)運(yùn)算，而圖的邊代表著彼此溝通的多維數(shù)據(jù)陣列（Tensors）。在只使用單個(gè)API的情況下，靈活的架構(gòu)可以讓你在桌面、服務(wù)器或者移動(dòng)設(shè)備的單個(gè)或多個(gè)CPUs和GPUs部署計(jì)算。TensorFlow最早由Google Brain團(tuán)隊(duì)的研究人員和工程師研發(fā)，目的是管理機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的研究工作，但是這個(gè)系統(tǒng)也足夠通用，適用于其他的應(yīng)用領(lǐng)域。

開源后5個(gè)月，Google的深度學(xué)習(xí)系統(tǒng)都有哪些改變？

TensorFlow 0.8：支持分布式計(jì)算

開源后5個(gè)月，Google的深度學(xué)習(xí)系統(tǒng)都有哪些改變？

Google 在很多的產(chǎn)品中都使用了機(jī)器學(xué)習(xí)技術(shù)。為了不斷改進(jìn)我們的模型，最為重要的是訓(xùn)練速度要盡可能的快。要做到這一點(diǎn)，其中一個(gè)辦法是在幾百臺(tái)機(jī)器中運(yùn)行TensorFlow，這能夠把部分模型的訓(xùn)練過程從數(shù)周縮短到幾個(gè)小時(shí)，并且能夠讓我們?cè)诿鎸?duì)不斷增加的規(guī)模和復(fù)雜性的模型時(shí)，也能夠進(jìn)行實(shí)驗(yàn)。自從我們開源了TensorFlow，分布式的版本就成為最需要的功能之一了。現(xiàn)在，你不需要再等待了。

今天（4月14日），我們很興奮地推出了TensorFlow 0.8，它擁有分布式計(jì)算的支持，包括在你的基礎(chǔ)設(shè)施上訓(xùn)練分布式模型的一切支持。分布式的TensorFlow由高性能的gRPC 庫支持，也能夠支持在幾百臺(tái)機(jī)器上并行訓(xùn)練。它補(bǔ)充了我們最近的公布的Google云機(jī)器學(xué)習(xí)，也能夠使用Google云平臺(tái)訓(xùn)練和服務(wù)你的TensorFlow模型。

為了和TensorFlow 0.8版本的推出保持一致，我們已經(jīng)發(fā)表了一個(gè)“分布式訓(xùn)練”給TensorFlow模型庫的生成圖像分類的神經(jīng)網(wǎng)絡(luò)。使用分布式訓(xùn)練，我們訓(xùn)練了生成網(wǎng)絡(luò)（Inception Network），在100個(gè)GPUs和不到65小時(shí)的訓(xùn)練時(shí)間下，達(dá)到了78%的正確率。即便是更小的集群，或者只是你桌子下面的幾臺(tái)機(jī)器，都可以受益于分布式的TensorFlow，因?yàn)樵黾恿烁嗟?GPUs 提升了整體的吞吐量，并且更快生成準(zhǔn)確的結(jié)構(gòu)。

開源后5個(gè)月，Google的深度學(xué)習(xí)系統(tǒng)都有哪些改變？
圖：TensorFlow 可以加快訓(xùn)練生成網(wǎng)絡(luò)的速度，使用 100 個(gè) GPUs 能達(dá)到 56 倍。來源：Google

分布式訓(xùn)練也支持你使用像Kubernetes這樣的集群管理系統(tǒng)，以進(jìn)行擴(kuò)大規(guī)模的訓(xùn)練。更進(jìn)一步說，一旦你已經(jīng)訓(xùn)練了模型，就可以部署到產(chǎn)品并且加快在Kubernetes使用TensorFlow服務(wù)的推理速度。

除了分布式生成器，TensorFlow 0.8還發(fā)布了定義你自己分布式模型的新庫。TensorFlow分布式架構(gòu)允許很靈活的定義模型，因?yàn)榧褐械拿總€(gè)進(jìn)程都可以進(jìn)行通用的計(jì)算。我們之前的系統(tǒng)DistBelief（像很多追隨它的系統(tǒng)）使用特殊的“參數(shù)服務(wù)器”來管理共享的模型參數(shù)，其中的參數(shù)服務(wù)器有簡(jiǎn)單的讀/寫接口，以更新共享的參數(shù)。在TensorFlow中，所有的計(jì)算，包括參數(shù)的管理，都會(huì)在數(shù)據(jù)流的圖中呈現(xiàn)，并且系統(tǒng)會(huì)把數(shù)據(jù)流映射到不同設(shè)備的可用處理器中（例如多核CPUs，一般用途的GPUs，手機(jī)處理器等）。為了讓TensorFlow更好使用，我們也推出了Python的庫，使之更容易寫模型，在一個(gè)處理器中運(yùn)行，并且擴(kuò)展到使用多個(gè)副本以進(jìn)行訓(xùn)練。

這種架構(gòu)使得它可以更容易的擴(kuò)大單進(jìn)程的工作到集群中，同時(shí)還可以進(jìn)行新穎的分布式訓(xùn)練架構(gòu)的實(shí)驗(yàn)。舉個(gè)例子，我的同事最近展示了“重新訪問分布式同步 SGD”（Revisiting Distributed Synchronous SGD），在TensorFlow圖部署，實(shí)現(xiàn)了在圖像模型訓(xùn)練中更好的“時(shí)間-精度”。

目前支持分布式計(jì)算的TensorFlow版本還僅僅是個(gè)開始。我們將繼續(xù)研究提高分布式訓(xùn)練表現(xiàn)的方法，既有通過工程的，也有通過算法的改進(jìn)，我們也會(huì)在GitHub社區(qū)分享這些改進(jìn)。