<mark id="oztn4"></mark>
0
雷鋒網(wǎng) AI 評論按：關(guān)于深度學習的框架之爭一直沒有停止過。PyTorch，TensorFlow，Caffe還是Keras ？近日， 斯坦福大學計算機科學博士生Awni Hannun就發(fā)表了一篇文章，對比當前兩個主流框架PyTorch和TensorFlow。
雷鋒網(wǎng) AI 科技評論編譯如下：
這篇指南是我目前發(fā)現(xiàn)的PyTorch和TensorFlow之間的主要差異。寫這篇文章的目的是想幫助那些想要開始新項目或者轉(zhuǎn)換深度學習框架的人進行選擇。文中重點考慮訓練和部署深度學習堆棧組件時框架的可編程性和靈活性。我不會權(quán)衡速度、內(nèi)存使用情況等性能。
結(jié)論
PyTorch更適合于在研究中快速進行原型設(shè)計、業(yè)余愛好者和小型項目，TensorFlow則更適合大規(guī)模的調(diào)度，尤其當考慮到跨平臺和嵌入式調(diào)度操作時。
準備時間
優(yōu)勝者: PyTorch
PyTorch實際上是NumPy的替代，它支持GPU，有著更高級的功能，可以用來構(gòu)建和訓練深度神經(jīng)網(wǎng)絡。
如果你熟悉NumPy、Python和常見的深度學習概念(卷積層、遞歸層、SGD等)，那么學習Python對你來說會很容易。
而TensorFlow則可以看成是一種嵌入Python的編程語言。當你在編寫TensorFlow代碼時，它們會通過Python編譯成一張圖，然后由TensorFlow執(zhí)行引擎運行。我看到過剛使用TensorFlow的人因為這個額外的間接層而苦思冥想。也因為如此，想用TensorFlow還需要學一些額外的概念，比如會話、圖、變量作用域和占位符等。要運行基本模型，還需要更多的樣板代碼。使用TensorFlow的前期準備時間肯定比PyTorch要長。
圖創(chuàng)建和調(diào)試
優(yōu)勝者: PyTorch
創(chuàng)建和運行計算圖可能是這兩個框架最大的不同。在PyTorch中，圖架構(gòu)是動態(tài)的，這意味著圖是在運行時創(chuàng)建的。而在TensorFlow中，圖架構(gòu)是靜態(tài)的，這意味著先編譯出圖然后再運行。
下面是一個簡單的例子，在PyTorch中可以使用標準的Python語言編寫for循環(huán)結(jié)構(gòu)
for _ in range(T):
h = torch.matmul(W, h) + b
你可以在這段代碼的執(zhí)行過程中改變T的值。而在TensorFlow中，需要使用控制流運算（control flow operation）來創(chuàng)建圖，例如tf.while_loop。對于更常見的結(jié)構(gòu)，TensorFlow可以執(zhí)行dynamic_rnn語句，但是創(chuàng)建自定義的動態(tài)計算更加困難。
PyTorch中簡單的圖架構(gòu)更容易推導，或許更重要的一點是，它更容易調(diào)試。調(diào)試PyTorch代碼如同調(diào)試Python代碼，可以使用pdb并在任何地方設(shè)置斷點。而調(diào)試TensorFlow代碼并不那么容易，你有兩個選擇，一是請求會話中你想要檢查的變量，二是學習和使用TensorFlow調(diào)試器(tfdbg)。
覆蓋率
優(yōu)勝者: TensorFlow
因為PyTorch在逐漸發(fā)展，我認為兩者之間的差距會縮小到零。然而，目前仍有一些TensorFlow支持但PyTorch不支持的功能，如下所示:
沿著維度翻轉(zhuǎn)張量 (np.flip, np.flipud, np.fliplr)
檢查張量是空值還是無限值(np.is_nan, np.is_inf)
快速傅里葉變換(np.fft)
此外，TensorFlow的contrib包中有更多比PyTorch更高級的函數(shù)和模型。
序列化
優(yōu)勝者: TensorFlow
在這兩種框架下保存和加載模型都很簡單。PyTorch有一個特別簡單的API，既可以保存模型的所有權(quán)重，也可以pickle全部類。
TensorFlow的Saver對象也很容易使用，并為檢查點（check-pointing）提供了更多選擇。
在序列化中TensorFlow的主要優(yōu)點是可以將整個圖保存為協(xié)議緩沖區(qū)。這包括參數(shù)和運算。此外，該圖可以通過其他支持的語言(C++，Java)加載。這對不支持Python的調(diào)度棧來說至關(guān)重要。理論上，在改變模型源代碼之后，你想要運行舊模型時它也能有所幫助。
部署
優(yōu)勝者: TensorFlow
對于小規(guī)模的服務器端部署，兩個框架都很容易封裝在諸如Flask web服務器中。
不過，TensorFlow支持移動和嵌入式部署?？梢源_定的說，這比包括PyTorch在內(nèi)的大多數(shù)深度學習框架支持功能的都要多。將TensorFlow部署到Android或iOS上確實需要大量的工作，但至少你不必用Java或C++重寫模型的整個推理程序。
此外，TensorFlow Serving支持高性能的服務器端部署。我沒有使用過TensorFlow Serving，因此不能很確信地寫出它的利弊。由于機器學習服務使用的頻率很高，我猜想這是人們堅持使用TensorFlow的充分理由。除了性能之外，TensorFlow Serving的一個明顯特點是，支持輕松地換用模型而不會降低服務性能。
文檔
平手
我在兩種框架的文檔中都找到了我需要的東西。Python的 API在兩個框架中都有良好的文檔記錄，并且有足夠的例子和教程來學習這兩種框架。
一個比較邊緣的問題是，PyTorch的 C語言庫大多是無文檔記錄的，不過這只影響到編寫定制的C語言擴展程序，而且這種操作是否有助于軟件還存疑。
數(shù)據(jù)加載
優(yōu)勝者: PyTorch
PyTorch中用于數(shù)據(jù)加載的API設(shè)計得很好。接口在數(shù)據(jù)集、采樣器和數(shù)據(jù)加載器中有明確規(guī)定。數(shù)據(jù)加載器接收數(shù)據(jù)集和采樣器，根據(jù)采樣器的調(diào)度，在數(shù)據(jù)集上生成迭代器。加載并行數(shù)據(jù)就像把num_workers語句傳遞到數(shù)據(jù)加載器一樣簡單。
我在TensorFlow還沒發(fā)現(xiàn)特別有用的加載數(shù)據(jù)的工具，例如readers, queues, queue runners等，都不夠好。部分原因是因為將想要運行的所有預處理代碼添加到TensorFlow圖中并不總是直接的，例如計算時頻譜（spectrogram）。
而且，API本身更繁瑣，更難以學習。
設(shè)備管理
優(yōu)勝者: TensorFlow
TensorFlow管理設(shè)備時的無縫性非常好。通常不需要規(guī)定任何東西，因為默認已經(jīng)設(shè)好了。例如，如果GPU可用，TensorFlow將默認在GPU上運行。在PyTorch中，即使支持CUDA，都必須明確地將所有東西移到設(shè)備上。
TensorFlow設(shè)備管理的唯一缺點是，即使你只使用一個GPU它也會默認占用所有GPU的顯存。簡單的解決方法是用CUDA_VISIBLE_DEVICES語句指定顯卡。但有時會忘了設(shè)置，所以當GPU實際上處于空閑狀態(tài)時，會顯示內(nèi)存不足。
在PyTorch中，代碼需要更頻繁地檢查CUDA的可用性和更明確的設(shè)備管理，當編寫能夠同時在CPU和GPU上運行的代碼時尤甚。另外，將GPU上的PyTorch Variable轉(zhuǎn)換為NumPy數(shù)組有點繁瑣。
numpy_var = variable.cpu().data.numpy()
自定義擴展
優(yōu)勝者: PyTorch
在這兩種框架中都可以用C語言、C++或CUDA構(gòu)建或綁定自定義擴展。但TensorFlow需要更多的樣板代碼，即使它支持多種類型和設(shè)備。在PyTorch中，只需為每個CPU和GPU版本編寫一個接口和相應的實現(xiàn)。用這兩種框架來編譯擴展都很直接，并且不需要下載除了pip安裝包之外的任何頭文件或源代碼。
擴展
關(guān)于TensorBoard
TensorBoard是用于展示訓練機器學習模型過程的可視化工具。它是TensorFlow自帶的最有用的功能之一。只需要通過訓練腳本中的一些代碼片段，就可以查看任何模型的訓練曲線和驗證結(jié)果。TensorBoard作為web服務運行，它可以非常方便地將存儲在無頭節(jié)點（headless node）上的結(jié)果可視化。
我在用PyTorch之前一直在用這種功能并嘗試找到能替代這種功能的選擇。值得慶幸的是，目前至少有兩個開源項目支持這種功能。一個是istensorboard_logger，另一個是crayon。istensorboard_logger庫甚至比TensorFlow中的TensorBoard摘要數(shù)據(jù)更容易使用，不過需要安裝TensorBoard來使用。crayon完全能取代TensorBoard，不過需要更多的設(shè)置(支持docker是先決條件)。
關(guān)于Keras
Keras是一個更高級的API，可配置后端，支持TensorFlow、Theano和CNTK，也許在不久的將來也會支持PyTorch。Keras就像TensorFlow里的tf.contrib庫一樣。
我上面沒有討論Keras，不過它使用起來特別容易。它是調(diào)試最常用的幾種深度神經(jīng)網(wǎng)絡架構(gòu)最快的方法之一。不過它的靈活性不如PyTorch或core TensorFlow。
關(guān)于TensorFlow Fold
谷歌在2017年2月發(fā)布了TensorFlow Fold。該庫構(gòu)建在TensorFlow之上，支持更多動態(tài)圖構(gòu)建，主要優(yōu)點是動態(tài)批處理功能——可以對不同規(guī)模的輸入數(shù)據(jù)（如解析樹上的遞歸網(wǎng)絡）自動進行批量計算。在可編程性上，它的語法不如PyTorch直接，不過在某些情況下，批量處理帶來的性能改進可以讓我們忽略語法上的不足。
via：kdnuggets
雷鋒網(wǎng) AI科技評論
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
