<mark id="oztn4"></mark>
0
| 本文作者： AI研習社 | 2017-12-11 14:44 |
雷鋒網按：本文作者吳逸鳴，整理自作者在GTC China 2017大會上的演講，首發于作者的知乎文章，雷鋒網獲其授權發布。
我個人認為這是一份很值得分享的資料，因為：
這應該是第一次使用全中文來講解Caffe2和FB的AI應用的演講
觀看這次演講不需要機器學習／神經網絡，甚至計算機科學的基礎。它適合每一個愿意了解人工智能、神經網絡和Caffe2的人。
我準備了很久！（這才是主要原因哈哈哈，但第一次上臺還蠻緊張
在觀看視頻前你可能需要注意以下幾點：
該視頻所有權解釋權各種權全都歸英偉達所有
此次演講只是談論了我自己的一些看法，和FB無關
我的演講稿和視頻里說的可能有一些出入。有的地方為了更好地讓大家理解，我做了自己的解釋。演講稿中有可能有的地方我懶得寫但是我在演講中說了。有的地方是因為我理解不夠直接是錯誤的。還有各種錯別字。這些都歡迎大家指正，互相學習。
大家好 我叫吳逸鳴。我來自Facebook的Caffe2組。
演講開始前，想先給大家看一個demo。這是一個自動把圖片和視頻轉換成大師美術風格的神經網絡算法。在大約兩年前剛被發表的時候，在服務器上處理單張照片需要秒級別的時間。到現在，我們已經成功做到實時的視頻風格轉換。不僅實時，在我們同事的努力下，我們還做到了在手機移動端本地實施演算。這相較于之前，已經有好幾個量級的效率提升。
今天，我想給大家介紹一下讓這一切變成現實，以及將各種AI算法部署到產品中的神經網絡框架：Caffe2。
Caffe2是：
一個輕量化的深度學習算法框架
caffe2 主要為產品級別的深度學習算法設計
為移動端實時計算做了很多優化
同時支持大規模的分布式計算
Caffe2是一個跨平臺的框架
支持移動端iOS, Android, 服務器端Linux, Mac, Windows, 甚至一些物聯網設備如Raspberry Pi, NVIDIA Jetson TX2等平臺部署
說到這里，我們需要暫停一下。深度學習框架是什么？若放在五年前，你甚至很難用這六個字造句。Caffe2是什么？你們會不會給咖啡拉花？這些問題別說外行，很多科技企業的內行包括一些我的學長、別的部門同事也會有這些疑惑。
簡單來說，從我個人的理解，深度學習，作為機器學習的一個分支，是一個尋找理想中的函數fx的過程。這個函數代表了從數據輸入x到期待輸出y的某種映射。在深度學習里， 這個函數是多層有疊加的。在這里你的輸入x可以是一些圖片，可以是音頻，可以是一些高緯度的向量用。函數的輸出y可以是推薦系統的排位、另一種語言的翻譯或者是無人車對下一秒操作的決策。
深度學習，和別的AI的算法，要為社會創造價值，還得落到產品中去。在工業界，我們訓練和部署深度學習算法的時候，通常有以下幾個環節
你有數據
你有模型
你想要找到那個神器的函數fx。這個不斷嘗試和逼進的過程，我們稱為訓練
你可能需要在移動端／服務器端／物聯網設備／嵌入式系統上部署你的神經網絡算法
那么Caffe2作為一個神經網絡框架，為你提供了模型搭建、訓練、和跨平臺的部署。簡而言之，全包辦了。
在設計開發Caffe2中，我們認為一個好的經的起業界規模考驗的神經網絡框架需要具備：
支持最新的計算模型
分布式訓練
高模塊化
跨平臺的支持
高效率
今天我想大家展示一些Caffe2的例子。談一下在FB我們如何用Caffe2來搭建我們的AI產品。
在FB，我們使用Caffe2來搭建全套的AI產品和功能，其中包括
計算機視覺相關
機器翻譯
語音識別
推薦系統
首先是移動端的Caffe2
從設計之初，Caffe2就十分重視在移動端部署神經網絡。我們一直在優化Caffe2在移動端的性能，并保證我們能支持各類移動計算框架。現在Caffe2主要為15年以后的機型優化，但也支持13年以后的機型。
為了在手機上這里是一個使用OpenGL在iOS和安卓設備上加速的例子。通過我們在移動端的努力，原本在CPU上每秒只能處理4幀的算法，利用手機端的GPU，我們實現了24+fps每秒的效果，實現了實時計算修改。
我們和高通合作一起在搭載了高通芯片的移動端設備上加速神經網絡。這是一個移動端圖像識別的例子，可以看到在移動端，不僅是神經網絡風格變換算法，圖像分類算法也可以做到超過實時的演算。
在這些移動端的樣例背后是我們在各種設備上的優化。在蘋果設備上，我們是第一個完全把Metal，也就是iOS的GPU API完全融合到后端的框架。如果你是一個移動開發者，準備好自己的模型后，通過簡單幾行調用，你就可以讓你的神經網絡在蘋果設備上用GPU運行起來。
使用Caffe2移動端的GPU實現可以給你的網絡帶來實質性的加速和能耗上的優化，這一切都是開源的。
在安卓設備上 我們用OpenGL來使用GPU加速神經網絡的執行。這之中我們有一整套基于OpenGL的GPU底層運算實現。CPU只需調度，無需處理數據。
在部署產品的時候，有時用戶終端設備只有CPU的硬件支持。我們對arm架構的CPU有Neon(一個并發指令集的拓展)的實現。我們也維護開發調用自己的開源CPU高性能運算庫NNPack。我們也會做Caffe2編譯文件的壓縮來保證把AI添加到你的產品不會成為空間上的負擔。
總而言之，Caffe2提供了從入門機到旗艦機的一整套移動部署解決方案。
另一個我想分享的Caffe2案例是我們的機器翻譯系統。
在我們的產品中，我們有來自世界各地的超過20億用戶。為他們提供高質量的翻譯，是一個一個很復雜的問題。左邊的圖上是一個從土耳其語翻譯到英文的例子。上半部分翻譯的不好，在英語里是不流暢的。下半部分翻譯的好。可見翻譯的質量、支持語言類型的數量至關重要。在FB，如果中文到英文和英文到中文算兩種翻譯的話，每天我們需要提供2000多種翻譯。處理45億條翻譯請求。今天，我們可以很驕傲地說，這一切底下的算法和服務，都是由Caffe2支持的。
在這個項目中我們使用了seq2seq LSTM model with attention。這是現在業界主流的翻譯模型。
我們使用Caffe2做大規模的訓練，并在GPU/CPU上都對相應的計算做了優化。
在這些優化中，最值得一提的是我們對循環神經網絡的內存優化。循環神經網絡的單元，英文里稱之為Cell，往往需要把自己的輸出，當作自己的輸入，循環執行。所以，我們稱之為循環。在真實實現的過程中，這就好比把同樣的單元展開很多遍。這種計算的模式，使得循環神經網絡的計算量很大。要處理2000+種翻譯方向，計算量更是有量級上的增長。
優化循環網絡的計算顯得極為重要。Caffe2為循環神經網絡提供了：
反向運算時的展開單元內存重用
替換內存中部分參數的空間，當需要的時候再重新計算參數
專門正向推導模式提供進一步的內存空間優化
對于多層的循環神經網絡單元，他們展開后會在計算圖中形成一個運算單元的陣列。我們盡可能地依照對角線的方式執行這些運算來盡可能達到最大的并行化。
在這些優化之后，我們把我們產品中的循環神經網絡效率提高了2.5倍。達到了20億用戶級別的訓練和部署要求。
更值得興奮的是，我們從上個月開始開源了我們的循環神經網絡支持。開源社區和在座的每一位也可以開始用Caffe2來優化你的循環神經網絡。從框架本身，調用Caffe2的循環網絡引擎對性能幾乎沒有影響。Caffe2支持主流的循環神經網絡單元包括LSTM，Multiplicative Integration LSTM（這是一種在單元里面加上乘法的更復雜的LSTM單元）和帶attention的模型等。之前我提到的內存和正向推導時的優化，都已經開源。
和翻譯相關的一個例子是語音識別，在fb，和語音相關的應用有以下這些。
1.自動語音識別
顧名思義，這項任務中輸入是一段音頻，輸出可以是對應的文字，可以是一連串的音標等。Caffe2提供了自動語音識別中非常常用的雙向LSTM單元，Caffe2支持CE和 CTC這兩種算法，并且對他們做了速度上的優化。這兩種是現在ASR，自動語音識別中主流的輸出和真實標注（真實句子）之間差異性的方法。
2.語音合成
剛才的自動語音識別是從音頻到文字。語音合成，是從文字，合成一段聽起來像人講話的音頻。一般語音合成現在有用多層神經網絡實現的，有用LSTM實現的、有用卷積神經網絡實現的。我們生成的模型回去模擬聲音的音長，頻率，峰值和聲音的間歇性。
我們還有一些別的聲音上的應用，在這里由于時間的原因，不做過多的展開了。
那么，到現在，我們已經通過在FB的例子講述了Caffe2在手機端的部署，包括移動端CPU，移動端GPU的優化，這樣來支持從低到高各種類型的機型。
我們介紹了我們在自然語言處理領域， 也就是我們機器翻譯的成果。Caffe2對循環神經網絡做了許多優化，使得我們訓練的模型經受起了45億級別的單日訪問量的考驗
我們也介紹了在語音領域，包括ASR、TTS實現的各種模型，說明Caffe2對于不同模型都有良好的支持。
但是接下來，我想給大家分享的，是任何一個工業級的機器學習框架都需要解決的應用場景——分布式訓練。
這項工作的名稱，叫做 ImageNet in 1 hr，中文叫做1小時完成ImageNet挑戰。這項工作是由我們以下的同事一同完成的。
ImageNet是一個由斯坦佛大學主導的大型開源圖像數據集。ImageNet挑戰是一個經典的計算機視覺挑戰。在這項任務中，我們的模型需要做圖像分類，也就是說，給它一張圖片，他需要告訴我這是貓還是狗還是飛機還是船還是汽車。
如果羅列一些簡單的數據：
1. 使用當前主流的圖像識別模型，單張圖片大概要做80億次浮點數計算
2. 在ImageNet數據集中大約有120萬張圖像
3. 為了訓練出一個現在學界認可的模型，我們大約需要把這120萬張圖片給我們的模型看100遍
4. 如果做一下簡單的計算，我們完成這項任務需要用到1個exa個浮點數計算。exa有多少呢？大約是10的18次方，是Giga往上走3級。這個任務的計算量，真的很大。
在這項任務里，我們把本來需要好幾天的訓練量，用1個小時的時間訓練完了。而且我們用的是全開源的軟件框架，深度學習用Caffe2，網絡調度同步用我們開源的gloo，硬件就是你也能買得到的英偉達的GPU。
好，那我們來自習地介紹一下這項任務。我們要在ImgeNet-1k數據集上做圖像分類。這其中ImageNet-1k 的圖像有一千種類別。每一張圖片只有一個類別訓練數據集，像我之前說的，有120萬張圖片。驗證集中有5萬張圖片。我們在機器學習中，我們會單獨拿出一些數據作為驗證集，來調整一些模型的參數，或者監控一下模型訓練的好不好。我們在訓練的過程中也需要跑這5萬張圖片的正向推導。
輸入的格式是NCHW -》輸出是1 hot label的形式。現在學術屆在這個數據集上最領先的是我們FB的同事 kaiming大神的工作：rextnet，大概達到了22%的訓練錯誤率。也就是說，給模型看100張來自ImgeNet訓練集的圖片，他期望上能說對其中78張圖片的類別。相較于2012年AlexNet橫空出世時的36-40的top1 error rate，我們深度學習的研究者已經有了很大的進步。
在這項任務中，我們把單次處理的數據量上升到8192張圖片。這在機器學習的層面會帶來一些挑戰，在接下來的ppt中我會提到。另外，我們在單次訓練中我們同時使用了256塊GPU，搭建這樣一套系統也充滿了挑戰。
在訓練神經網絡的過程中我們關注訓練上的錯誤率。這里是一張訓練錯誤率隨著訓練的數據增加而下降的圖。我們可以看到y軸是訓練的錯誤率，這個數值越低說明我們的模型能夠在訓練集數據上分類得更準確。X軸是數據的期的數量。一期（Epoch）數據指的是我們的模型把訓練數據完全過一遍，在imagenet-1k的任務中大概100萬張圖片。我們可以看到，橘黃色的線是一個標準的訓練resnet50曲線。大概經過了90期數據后，訓練精度達到了20出頭。這條橘黃的線可以算一個基準，我們的目標就是去逼近這條黃線。
因為我們期待能夠在分布式的機群上做數據并行的訓練，意味著我們單次處理的數據量要遠大于標準的256張圖片。那么假設我們直接把單次處理的數據量增加到8192張，會發生什么呢？我們就得到了藍色的訓練曲線。在大約90期數據后，模型的訓練錯誤率大約停在41%左右。這兩者之間的差距很大。藍色的訓練曲線完全不達標。（但值得一提的是，在一個1000類的分類任務中，如果我們只有一個隨機分類器，我們的訓練錯誤率大概在99.9%左右。這個模型雖然和我們心中標準差了很多，但他顯然是具備一點關于這些圖像上分類的知識的）
之前有一些工作，包括李沐學長的文章里，都提出過通過同比例放大學習效率（learning rate）來應對大批量的數據的想法。我們也嘗試了相應的做法，得到了新的藍線。新的訓練參數中，因為我們把同批數據量從256放大了32倍到8192，所以我們把學習效率從原來的0.1放大到3.2 。可以看到訓練錯誤率有了很不錯的提升。從之前的41左右的錯誤率下降到24.84左右。這個結果雖好，但和我們期待的目標還有大約1%的差距。不熟悉圖像分類的人可能會問，這1%的差距也追求，會不會太苛刻了？其實在1000類的圖像分類里，如果把分類結果打印出來，這1%的差距有時在有些類別上會顯得特別明顯。
那么經過我們同事的一番探索，在一番努力后，我們找到了一種循序增大學習效率的辦法，使得分布式的訓練曲線和我們目標的標準訓練曲線收斂在一樣的訓練錯誤率上。我們總結了一系列在大規模分布式上訓練神經網絡的經驗，更多的內容可以到我們的論文中查看。
說完了機器學習理論上的困難和解決方案后，我們來說一說這項工作中在系統方面的挑戰。之前提到過，在一塊英偉達Tesla P100上ResNet-50的訓練數據吞吐量大約是230張每秒。
為了訓練出一個比較理想的模型，之前的收斂圖表也顯示了，我們大概需要把整個數據集處理100遍。
那么120萬張圖片過100次是1億2千萬張圖片，按照230張圖片每秒的速度，訓練一個resnet-50模型需要6天。
這時我們就不得不開始使用分布式訓練。也就是用大規模機群來完成訓練算法。
這里給大家展示了一張分布式訓練的簡易說明圖。每一個虛線的方框代表一張GPU或者一臺機器。方框之間用PCIe或者網線連接通訊。在這項工作里我們使用數據并行的訓練方法。數據并行指的是每個機器／GPU同時處理不同的數據，并且在完成后做運算結果的總和同步。在這張圖里，每個batch代表了小批的數據。我們把batch 1到k都放在k個機器上分別處理。在真實的例子里，一小批數據有32張圖片，k=256，這樣就做到一次處理8192張圖片，也就是我們之前理論得到的單次大批數據量。說完了圖片中的輸入Input，我們把輸入放到方程中，也就是我們用Caffe2搭建的ResNet-50模型。注意在這k臺機器上每一臺都有函數參數的一套拷貝。我們同時在這些GPU／機器上調用模型方程，得到分類器的輸出，以及關于真實數據標注的邏輯回歸損失。在這張圖里就是結果Result。
上一部我在每臺機器上得到了模型在所有數據上的邏輯回歸損失。那么利用Caffe2提供的自動求導功能，我們可以針對本地的數據算出我們的模型在這些數據上的本地導數， local grad。那么下一步呢？下一步如果我們像普通的機器學習訓練算法直接把導數加到本地的參數上，那么我們就變成了同時訓練k個模型了。這和我們的目標不符合，我們的目標是訓練一個好的模型，這個模型需要把所有數據看100遍。所以我們需要先同步(synchronize)所有機器上算出來的導數，得到一個統一的導數，再作用到每分本地參數拷貝上。
在數據并行的分布式訓練中，同步一直是最重要的一環。在我們的這次訓練中，我們使用的是一種叫做全相加的同步方式。也就是把每個機器算出來的導數，全都加在一起。這里用P來代表，也可以用G，指代更加清楚。
一個信息：ResNet-50一共有2千5百萬個參數需要算導數并同步。那么在計算機里，大約是100MB的大小。這在今天這個時代，聽起來不是什么海量數據。
這里需要提出一個概念：同步效率。這個指標代表了同步給系統帶來時間延遲有多少。
他的分子上是兩項時間的相加。Tf代表在神經網絡正向運算的時候消耗的時間，Tb代表反向運算的時間。這兩項時間相加代表了在假象的完美的0同步時間系統中訓練需要的時間。分母上第一項依然是正向時間Tf，第二項是反向時間和同步時間的最大值。同步時間由我們需要傳輸的數據量M除以系統帶寬B得到。之所以在返鄉時間和同步時間取最大值是因為神經網絡參數反向運算是有序的。在算完了反向第一層的參數導數后我們就能開始同步。
理論上在這個效率是100%的時候，同步不會對訓練系統帶來任何延遲。效率越高，同步給系統帶來的延遲最少。
如果我們把實際的數據帶入到上一頁的公式中。在Tesla P100上resnet單次處理32張圖片，正向時間大概是0.06秒，60ms，反向時間120ms。那么如果我們這個系統想要達到50%的同步效率，也就是理論上起碼一半的時間在做主要的訓練工作，我們必須得在200ms中完成256臺機器的本地導數全相加同步。這時候，100MB看起來就很多了。
針對同步我們做了很多優化。比如我們做了多層次的同步。我們會在第一步先在機器本地把GPU們的數據做一次全相加。在圖里比如左上方，就是把四張GPU卡的數據合并。第二步我們通過互相拷貝做機器間的全相加同步。第三步我們把計算出的統一數據再在機器內部分發到所有GPU上。
還有一個值得一提的優化。我們研究了resnet中出現的參數的大小。 這張圖是一張resnet中參數大小及其數量的圖表。橫軸是參數大小，縱軸是參數的數量。我們可以看到左半邊是小參數，右半邊是大參數。
我們發現大的參數和小的參數在同步的時候表現出不同的性質。小參數我們稱為latency bound, 延遲限制的參數。這類參數的同步過程中，同步的時間很短，主要的時間在等待別的機器的運算結果。針對這類參數，我們實現了樹形的參數同步算法，能夠最快地同步這些參數。大的參數通常是bandwidth bound，帶寬限制的參數。這類參數的同步時間很大。我們針對這類參數實現了環狀的同步算法。盡可能地減少同步次數并盡早開始同步過程，更充分利用帶寬。
在這項工作中我們還做了很多別的如數據讀入，GPU通訊的優化。我們也開源了我們的分布式訓練通訊框架Gloo。由于時間的原因，在這里我們不能更多展開了。有興趣的朋友可以來參考我們的論文。
今天的演講講了很多，總結一下。
Caffe2是一個工業級的高拓展性高性能的神經網絡框架。在CPU端，我們調用我們開發的高性能CPU庫NNPACK。在移動端，我們有包括iOS Metal，OpenGL等一套底層實現。在分布式訓練端，我們可以加載分布式通訊庫Gloo并完成大規模分布式訓練。另外，Caffe2完全開源，大家可以添加自己想要的更快的訂制底層實現。
在開發Caffe2的過程中，我們經常被問到這個問題：你們和原來的Caffe有什么區別？總結下來有以下這些區別。
1.Caffe2有更好的規模拓展性。今天的演講里也給大家加少了很多大規模訓練的例子，比如翻譯，比如imagenet-1k in an hour。這些大規模訓練的例子都已經在Facebook級別的數據量和系統上經過了實戰檢驗。
2.Caffe2對手機端移動部署神經網絡有一整套支持。比如今天我們提到的手機端實時風格變換。這是原來的Caffe做不到的
3.是模塊化。Caffe2是一個高模塊化的神經網絡框架。我今天也展示了我們和Gloo，和NNPACK，和Metal等一系列其他代碼／業務邏輯的整合樣例。Caffe2可以更好的融入到業務邏輯中去。
總而言之，Caffe2是一個跨平臺的新型工業級神經網絡框架。我們在移動端，服務器端，物聯網設備，嵌入式系統都能部署Caffe2訓練的模型。希望在不久的將來，Caffe2可以幫助大家在各種各樣的設備上部署新的人工智能算法。
（完）
AI研習社注：文中插圖截取自作者在GTC China 2017大會演講視頻，點擊鏈接即可觀看。
