<mark id="oztn4"></mark>
0
雷鋒網 AI 研習社按，2017 年 1 月，F(xiàn)acebook 開源 PyTorch，短短一年時間，PyTorch 便發(fā)展成一線開發(fā)者爭相使用的工具。這一年間，有哪些研究人員對 PyTorch 的發(fā)展做出了貢獻？關于 PyTorch 的經典課程有哪些？它經歷了什么樣的改變？研究人員又帶來了哪些創(chuàng)新？
在 PyTorch 開源一周年紀念日，其開發(fā)團隊在官方 Blog 上發(fā)表《PyTorch, a year in....》一文，為我們解答了上述問題。雷鋒網 AI 研習社將原文編譯整理如下：
距離我們開源 PyTorch 已經有一年時間。在這一年時間里，我們尋求建立一個靈活的深度學習研究平臺，這是一段極棒的旅程。感謝所有使用 PyTorch，為 PyTorch 的發(fā)展做出貢獻，并不斷傳播 PyTorch 的人，是你們一步一步建立了這樣一個充滿驚喜的社群。
下文中，我們總結了 PyTorch 在這一年間取得的進展、相關新聞和亮點。
社群
PyTorch 社群是一個強健的有機體，感謝社群里喜愛 PyTorch 的研究人員和工程師。我們的社群構成多種多樣，核心團隊中有來自于多個國家、公司和大學的工程師和研究人員，如果沒有他們的點滴貢獻，PyTorch 不可能發(fā)展得像現(xiàn)在這么好。
論文、工具包和 Github
PyTorch 發(fā)布之后，一些用戶很快就利用 PyTorch 實現(xiàn)了他們喜歡的論文，并在 Github 上發(fā)布代碼。現(xiàn)階段，開源代碼是研究人員的重要工具。
大家在一起，創(chuàng)造出了 torchtext，torchvision 和 torchaudio 工具包，幫助加快 PyTorch 在不同領域的發(fā)展。
Brandon Amos 發(fā)布了第一個基于 PyTorch 的工具包——Block，使得操作分塊矩陣更加容易。隨后，CMU 的 Locus Lab 實驗室發(fā)布了一系列關于 PyTorch 的工具包（https://github.com/locuslab），實現(xiàn)了他們大部分的研究成果。首篇利用 PyTorch 實現(xiàn)的論文是 Sergey Zagoruyko 的 Paying more attention to attention。
Jun-Yan Zhu, Taesung Park, Phillip Isola, Alyosha Efros 和來自加州大學伯克利分校的團隊發(fā)布了 Cycle-GAN and pix2pix，這個工具包極受歡迎，能實現(xiàn)圖像轉換。
HarvardNLP 和 Systran 的研究人員開始利用 PyTorch 開發(fā)和改進 OpenNMT，這最初是由 Adam Lerer 利用 [Lua]Torch 重實現(xiàn)的。
Twitter 的 MagicPony 團隊也很早就將他們超分辨率的工作用 PyTorch 實現(xiàn)了。
Salesforce Research 也發(fā)布了幾個工具包，其中就包括最廣為人知的 PyTorch-QRNN，這比用 CuDNN 優(yōu)化的標準 LSTM 的速度快了 2-17 倍。James Bradbury 和他的團隊是 PyTorch 社群中最活躍、最吸引人的力量之一。
來自 Uber, Northeastern 和 Stanford 的研究人員聚于一起，圍繞 Pyro 和 ProbTorch，組成了一個活躍的概率編程社區(qū)。他們正積極開發(fā) torch.distributions 核心包。這個社區(qū)非常活躍，正在快速發(fā)展，在 NIPS2017 上，我們第一次開展了 PyTorch 概率編程見面會，會上，我們同 Fritz Obermeyer, Noah Goodman, Jan-Willem van de Meent, Brooks Paige, Dustin Tran 和其他 22 位與會者討論了如何讓世界變得更貝葉斯。
英偉達的研究人員發(fā)布了三個高質量的 PyTorch 庫，分別實現(xiàn)了 pix2pix-HD、Sentiment Neuron 和 FlowNet2。他們基于 PyTorch 對數據并行模型的可伸縮性分析（https://github.com/NVIDIA/sentiment-discovery/blob/master/analysis/scale.md）極有幫助。
艾倫人工智能研究院發(fā)布 AllenNLP，其中包含一些針對標準 NLP 任務的最先進模型，也有參考樣例和一些易于使用的 web demo。
7 月，grt123 團隊在 Kaggle DataScience Bowl 2017 中的肺癌預測項目上取得勝利，隨后公布代碼。他們是第一支利用 PyTorch 取得勝利的團隊。
在可視化方面，Tzu-Wei Huang 發(fā)布 TensorBoard-PyTorch 插件，F(xiàn)acebook 人工智能研究院也發(fā)布了能與 PyTorch 兼容的 visdom 可視化包。
隨后，F(xiàn)acebook 人工智能研究院開源 ParlAI、fairseq-py、VoiceLoop 和 FaderNetworks 等工具包，能在多個領域實現(xiàn)先進的模型。
這里還有很多好的項目，我們就不一一說明，大家可以點擊如下鏈接：https://github.com/soumith?tab=stars
我們也想對 Forum 上那些積極幫助他人的人，特別是 ptrblck, jpeg729, QuantScientist, albanD, tom 和 chenyuntc 表示強烈感謝，你們?yōu)樗颂峁┑膸椭菬o價的。
數據對比
Github 上共有 87769 行 Python 代碼引入 torch；
Github 共有 3983 個庫的名稱或描述中提及 PyTorch；
PyTorch 文件的下載量超過 50 萬次，精確來說，數量是 651916 次；
在關于 PyTorch 的這個論壇 (http://discuss.pytorch.org/) 上，共有 5400 名用戶寫下 21500 篇文章，討論了 5200 個不同主題；
在 Reddit 上的 r/machinelearning 這個版塊，PyTorch 被提及 131 次，同樣的時間段內，TensorFlow 被提及 255 次。
PyTorch 是一個以研究為中心的框架，因此，論文（與機器學習相關）中 PyTorch 的使用率也是我們關注的一點。
論文中被提及次數：
在 ICLR2018 提交的論文中，有 87 篇論文提及 PyTorch，對比起來，TensorFlow 被 228 篇論文提及，Keras 是 42 篇，Theano 和 Matlab 是 32 篇。
按月來看，在 arxiv 上，PyTorch 每月平均被提及 72 次，TensorFlow 平均被提及 273 次, Keras，Caffe 和 Theano 被提及的次數分別是 100 、94、53。
課程與書籍
發(fā)布 PyTorch 時，我們已經準備了優(yōu)良的 API 文檔，但是僅限于一些 ipython notebook 教程，雖然有用，但遠遠不夠。
Sasank Chilamkurthy 親自修改了這些教程，整理在 pytorch.org/tutorials/ 頁面上，非常清楚和明晰。
Sean Robertson 和 Justin Johnson 基于 PyTorch 寫了很棒的 NLP 教程，他們還舉了很多例子。Yunjey Choi 的教程非常優(yōu)美，大多數模型的實現(xiàn)只需要 30 行或更少的代碼。每個教程都提供新的方法，幫助用戶更快地上手。
Delip Rao 和 Goku Mohandas 修改了他們正在寫的書中的代碼內容——改為用 PyTorch 實現(xiàn)。
我們也看到，很多大學的機器學習課程中把 PyTorch 作為重要工具，比如哈佛的 CS287。另外，如下三個在線課程均使用 PyTorch 來教學：
Fast.ai 的「Deep Learning for Coders」是一門很受歡迎的在線課程。9 月，Jeremy 和 Rachel 宣布，在下一階段，F(xiàn)ast.ai 的課程將幾乎全都基于 PyTorch。
在新加坡國立大學和清華大學任教的 Ritchie Ng 研究員發(fā)布了名為「Practical Deep Learning with PyTorch」的 Udemy 課程。
香港科技大學的 Sung Kim 在 Youtube 上發(fā)布「PyTorch Zero to All」在線課程，旨在向大眾普及 PyTorch。
工程化
過去一年間，我們完善了 PyTorch 的多項功能，改進其性能，并修復了大量 bug。大家可以在發(fā)布說明中看到我們做的所有更新和改進。以下是過去一年間一些矚目的改進:
1、高階梯度
隨著梯度懲罰在多篇論文中的實現(xiàn)，以及隨之而來的對二階梯度法的研究，在 PyTorch 中實現(xiàn)高階梯度必不可少。8 月，我們實現(xiàn)了一個通用接口，支持 n 階導數，同時增加了支持高階梯度函數的量。
2、分布式 PyTorch
8 月，我們發(fā)布了一個小的分布式工具包，集合了許多流行的 MPI 方法。這個工具包覆蓋 TCP、MPI、Gloo 和 NCCL2 等很多后端，支持多種類型的 CPU/GPU 集合操作和用例，并集成了 Infiniband 和 RoCE 等分布式技術。想要做到分布式比較困難，在最初的迭代中我們經常碰到 bug。在隨后的版本中，我們提供的包更加穩(wěn)定、性能更好。
3、與 NumPy 聯(lián)系更緊
用戶最大的需求之一是他們熟悉的 NumPy 功能。這些功能中，Broadcasting 和 Advanced Indexing 都很方便，可以幫助用戶減少冗余。PyTorch 目前支持這些特性，它的 API 逐漸向 NumPy 靠攏。
4、稀疏張量
3 月，我們發(fā)布了一個支持稀疏張量的小工具包，基于這個工具包，我們在 5 月發(fā)布了帶有 CUDA 支持的工具包。這個工具包很小，功能有限，用于實現(xiàn) Sparse Embedding 以及深度學習中常用的稀疏范例。目前這個工具包仍很小，需要繼續(xù)擴展——如果你想貢獻自己的一份力，可以與我們聯(lián)系。
5、性能
性能的提升是一場持久戰(zhàn)，對 PyTorch 這樣一個動態(tài)框架來說尤甚。在過去的一年里，我們極力提升其靈活性，從核心張量庫到神經網絡運算，PyTorch 的性能得到了極大提升。
針對張量操作增加了 AVX 和 AVX2
針對 concatenation 和 Softmax 等較為常見的工作負荷，編寫了更快的 GPU kernel
重寫了若干神經網絡運算的代碼
將框架的開銷降低十倍
由于 PyTorch 是動態(tài)圖框架，訓練中，每次迭代時都必須創(chuàng)建一個新的圖表，因此，框架開銷必須很低，或者工作負載必須足夠大。今年 8 月，DyNet 的作者（Graham Neubig 等）展示了 DyNet 在一些小的 NLP 模型上速度比 PyTorch 快得多。
于是我們開始重寫 PyTorch 的內部結構，這是一次大的調整，調整之后，每個算子的執(zhí)行時間從十多微秒降低到一微秒。
ATen
當重新設計 PyTorch 內部結構時，我們構建了 ATen C++11 庫，這個庫現(xiàn)在控制所有的 PyTorch 后端。ATen 中有一個 API 能反映 PyTorch 的 Python API，這使得它非常適合用于張量計算——變得更加方便。
6、從模型輸出到生產——支持 ONNX 和 JIT 編譯器
大家經常對我們提出這樣的請求——希望將 PyTorch 模型導出到另一個框架中。基于 PyTorch，開發(fā)者能進行快速的研究，一旦研究做完，他們想將得到的模型導入更大的項目。
考慮到用戶的需求，我們在 PyTorch 中構建了一個 tracer，它能將 PyTorch 模型輸出為中間表示。大家可以利用隨后的 trace 高效執(zhí)行當前的 PyTorch 模型，或者將其轉換成 ONNX 格式，加載至 Caffe2, MXNet, TensorFlow 等框架中，還可以直接加載至 CoreML 或 TensorRT 等硬件加速庫。
接下來一段時間，大家會聽到更多關于 JIT 編譯器的消息，它能改善 PyTorch 的性能。
via：pytorch.org
雷鋒網 AI 研習社編譯整理。
