<mark id="oztn4"></mark>
0
雷鋒網(wǎng) AI 科技評論按：2019 年馬上就要結(jié)束了，這一年里我們又一同見證了雪片般密集（越來越密集）的論文，見證了全世界研究人員在各種問題上的新探索。
雷鋒網(wǎng) AI 科技評論參考 TopBots、Heartbeat、New World AI 等機構(gòu)的 2019 論文榜單，總結(jié)出 2019 年發(fā)表的具有研究風向代表性的、有學術(shù)影響力、內(nèi)容也精彩的 AI 論文。其中一些論文把現(xiàn)有的技術(shù)思路改進得更加完善，有一些加深了我們對機器學習/深度學習整件事的理解，也有的嘗試了全新的假說、打開了新的探索方向。當然，這一年有許多論文都具有顯著的學術(shù)價值，下面總結(jié)出的只是冰山一角。如果你覺得還有哪些論文是同樣值得被回顧的，歡迎在評論區(qū)留言和我們討論。
除此之外，我們還準備了一篇「2019 年十大新奇論文」，總結(jié)了這一年中尤其新穎有趣、甚至出格招致批評的論文。
2019 年精彩學術(shù)論文 Top10（按首字母排序）
一個基于風格的GAN生成器架構(gòu)
作者：NVIDIA 實驗室 Tero Karras, Samuli Laine, Timo Aila
推薦理由：StyleGAN 無疑是 2019 年最熱門的 GAN 網(wǎng)絡模型。在 StyleGAN 之前，GAN 的相關(guān)研究已經(jīng)遇到了條件式生成困難、單純增加模型大小的收益有限、無法生成逼真的高分辨率圖像等等多種困境，StyleGAN 就沖破了這個瓶頸，在生成控制的可控制性、不同屬性的互相搭配、高分辨率高清晰度（且具備一致性）方面都帶來了大幅進步。為此，StyleGAN 獲得了 CVPR 2019 最佳論文榮譽提名獎。
StyleGAN 在網(wǎng)絡上引發(fā)了大量討論，它驚人的人臉生成效果不僅折服了吃瓜群眾，也吸引了很多人撰寫自己的實現(xiàn)并開放 demo 供所有人嘗試，包括生成人臉（thispersondoesnotexist.com）、生成貓（thiscatsondoesnotexist.com）、生成二次元妹子（thiswaifudoesnotexist.net）、生成房間照片（thisairbnbdoesnotexist.com）的模型。
就在近期，包括論文原作者在內(nèi)的 NVIDIA 實驗室研究人員們發(fā)表了 StyleGAN2 論文（Analyzing and Improving the Image Quality of StyleGAN，arxiv.org/abs/1912.04958），針對性地修正了 StyleGAN 生成的圖像中的缺陷等問題、提高了圖像中元素的一致性，從而把圖像生成質(zhì)量帶到了新的高峰。
論文地址：StyleGAN arxiv.org/abs/1812.04948，StyleGAN2 arxiv.org/abs/1912.04958
代碼開源：https://github.com/NVlabs/stylegan2
彌補神經(jīng)機器翻譯模型訓練和推理之間的缺口
作者：中科院計算所智能信息處理重點實驗室，中國科學院大學，微信 AI 模式識別中心，伍斯特理工學院，華為諾亞方舟實驗室
推薦理由：神經(jīng)機器翻譯模型的訓練方式是給定上下文，預測某一些被掩模的詞，但推理過程（真正的翻譯過程）是需要從零生成整個句子。這種偏差問題其實在序列到序列轉(zhuǎn)換任務中長期普遍存在。這篇論文就研究了這種偏差，并探討如何彌補這種偏差。
作者們提出的解決方案是，生成條件在「基于參考文本中的詞」和「解碼器自己的輸出中預選擇詞」兩種之間切換，論文的實驗做得非常完善，結(jié)果令人信服。根據(jù) ACL 2019 論文獎評選委員會的意見，這種方法適用于當前的純學習訓練范式，也能為規(guī)劃采樣帶來改進；而且，這不僅可能影響本來針對的機器翻譯任務的未來研究和應用，也能用來普遍地改進其它的序列到序列轉(zhuǎn)換模型。這篇論文也被選為 ACL 2019 最佳論文。
論文地址：https://arxiv.org/abs/1906.02448
通過多智能體強化學習在星際2中達到「Grandmaster」段位
作者：DeepMind Oriol Vinyals、Demis Hassabis、Chris Apps & David Silver 等
推薦理由：2019 年 1 月，DeepMind 開發(fā)的星際 2 AI「AlphaStar」首次亮相就擊敗了人類職業(yè)選手。雖然當時的比賽規(guī)則明顯對 AI 方有利，但我們已經(jīng)感受到了 AI 并不是靠操作速度、而主要是靠優(yōu)秀的策略取得勝利的。后來，在公平規(guī)則的、基于星際 2 天梯的大規(guī)模人機 1v1 比賽中，AlphaStar 繼續(xù)發(fā)揮出了優(yōu)秀的表現(xiàn)，取得了「Grandmaster」段位，大概為所有活躍玩家的前 0.15%。這也成為了 AlphaStar 論文發(fā)表在《Nature》雜志 2019 年 10 月刊所需要的最后一個實驗。
AI 在游戲中勝過人類當然不是第一次了，不過 DeepMind 開發(fā) AlphaStar 并不僅僅（和其它游戲 AI 一樣）使用了大量的計算能力，他們使用的群體強化學習（群體進化、保留多種不同策略）等設計也改善了通常強化學習做法的問題，提高了智能體在復雜環(huán)境中的表現(xiàn)。不完全信息、高維連續(xù)行動空間的長序列建模問題的解決方案日趨成熟。
論文地址：https://www.nature.com/articles/s41586-019-1724-z （開放閱讀版 https://storage.googleapis.com/deepmind-media/research/alphastar/AlphaStar_unformatted.pdf）
詳細介紹：http://www.zaocj.com/news/201901/aDDh5MOlOsU22WvK.html
通過觀察靜止的人學習預測移動的人的深度
作者：谷歌 AI 研究院 Zhengqi Li, Tali Dekel, Forrester Cole, Richard Tucker, Noah Snavely, Ce Liu, William T. Freeman
推薦理由：這篇論文要解決的任務「從單個攝像頭估計運動物體的深度」乍看上去是無法完成的。這篇論文用了很巧妙的方法，一方面，作者們把 YouTube 上用戶們自己上傳的「時間靜止」視頻作為數(shù)據(jù)集，它們提供了海量的、天然的、帶有人物的三維空間回放，經(jīng)過傳統(tǒng)方法還原之后就可以作為標注數(shù)據(jù)，免去了采集之苦。這實際上提醒我們，除了用傳統(tǒng)眾包方法專門收集數(shù)據(jù)集之外，網(wǎng)絡上還有許多公開數(shù)據(jù)經(jīng)過處理以后也可以成為很有價值的訓練數(shù)據(jù)集。
另一方面，在用深度模型學習空間常識、學習預測深度的同時，作者們還增加了額外的結(jié)構(gòu)讓網(wǎng)絡能夠提取臨近的幀之間的變化信息，提高了網(wǎng)絡處理運動物體的能力。最終效果是，只需要單個攝像頭視角的輸入，模型就可以輸出穩(wěn)定、高準確率的三維深度預測，對于運動的物體也有很好效果。這篇論文也獲得了 CVPR 2019 最佳論文榮譽提名獎。
論文地址：https://arxiv.org/abs/1904.11111
詳細介紹：http://www.zaocj.com/news/201905/comu6TnFl5ejaAG1.html
代碼開源：https://github.com/google/mannequinchallenge
彩票假說：找到稀疏、可訓練的神經(jīng)網(wǎng)絡
作者：MIT 計算機科學與人工智能實驗室 Jonathan Frankle, Michael Carbin
推薦理由：作為縮小網(wǎng)絡體積、降低運算資源需求的技術(shù)路線，網(wǎng)絡稀疏化和知識蒸餾一起得到了越來越多的關(guān)注。目前最常用的稀疏化方法是先訓練一個大網(wǎng)絡然后剪枝，稀疏的網(wǎng)絡也可以得到和稠密網(wǎng)絡差不多的性能。
既然稀疏的網(wǎng)絡可以有和稠密網(wǎng)絡差不多的性能，這篇論文里作者們就提出一個大膽的假設，看作是想要的稀疏網(wǎng)絡本來就在稠密網(wǎng)絡里，我們只需要把它找出來就可以 —— 更具體地，如果從隨機初始化的網(wǎng)絡隨機做 n 次迭代可以得到訓練好的稠密網(wǎng)絡，從隨機初始化的網(wǎng)絡里做類似數(shù)目的迭代也可以找到表現(xiàn)差不多的稀疏網(wǎng)絡。只不過，找到那個稀疏網(wǎng)絡非常依賴好的初始值，而想在隨機出好的初始值簡直就像抽彩票。這就是論文核心的「彩票假說」。
作者們設計了算法確認「是否抽到了好的號碼」，也用一系列實驗驗證了假說、展示了好的初始值的重要性。甚至，從好的初始值出發(fā)得到的稀疏網(wǎng)絡可以得到比稠密網(wǎng)絡更好的表現(xiàn)。這篇論文獲得了 ICLR 2019 的最佳論文獎。
大膽的「彩票假說」立刻引發(fā)了激烈討論。作者們做了后續(xù)研究發(fā)表了 Stabilizing the Lottery Ticket Hypothesis（arxiv.org/abs/1903.01611）；Uber AI 實驗室發(fā)表了一篇論文 Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask（arxiv.org/abs/1905.01067）介紹了他們對這個現(xiàn)象的深入探究結(jié)果，揭示了「彩票假說」在碰運氣之外的合理性；論文 Sparse Networks from Scratch: Faster Training without Losing Performance（arxiv.org/abs/1907.04840）也緊接著提出「彩票假設」之類的稀疏網(wǎng)絡生成方式計算代價太高，他們的新方法可以直接從稀疏的網(wǎng)絡結(jié)構(gòu)開始訓練，對計算資源需求更少、訓練更快，并達到和稠密網(wǎng)絡相近的表現(xiàn)；FB 田淵棟組也發(fā)表了 One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers（arxiv.org/abs/1906.02773）并被 NeurIPS 2019 接收。
論文地址：https://arxiv.org/abs/1803.03635
詳細介紹：http://www.zaocj.com/news/201905/ZwDWnaSGZHDveLiO.html
代碼開源：https://github.com/google-research/lottery-ticket-hypothesis
關(guān)于自適應學習率的變化以及更多
作者：UIUC Liyuan Liu、韓家煒，微軟研究院 高劍峰 等
推薦理由：這篇來自韓家煒團隊的論文研究了深度學習中的變差管理。在神經(jīng)網(wǎng)絡的訓練中，Adam、RMSProp 等為了提升效果而加入了自適應動量的優(yōu)化器都需要一個預熱階段，不然在訓練剛剛啟動的時候就很容易陷入不好的、可能有問題的局部最優(yōu)，而這篇論文中提出的 RAdam 能為優(yōu)化器提供好的初始值。借助一個動態(tài)整流器，RAdam 可以根據(jù)變差大小來調(diào)整 Adam 優(yōu)化器中的自適應動量，并且可以提供一個高效的自動預熱過程；這些都可以針對當前的數(shù)據(jù)集運行，從而為深度神經(jīng)網(wǎng)絡的訓練提供一個扎實的開頭。
同一時期還有另一篇研究改進優(yōu)化過程的論文《LookAhead optimizer: k steps forward, 1 step back》（arxiv.org/abs/1907.08610），它的核心思路是維持兩套權(quán)重，并在兩者之間進行內(nèi)插，可以說是，它允許更快的那一組權(quán)重「向前看」（也就是探索），同時更慢的那一組權(quán)重可以留在后面，帶來更好的長期穩(wěn)定性。這種做法帶來的效果就是降低了訓練過程中的變差，就「減少了超參數(shù)調(diào)節(jié)的工作量」，同時「在許多不同的深度學習任務中都有更快的收斂速度、最小的計算開銷」（根據(jù)論文作者自己的介紹）。
這兩篇論文不僅都對神經(jīng)網(wǎng)絡的優(yōu)化過程提出了有效改進，而且兩者還可以共同使用。這些成果都既增進了我們對神經(jīng)網(wǎng)絡損失空間的理解，還是非常有效的工具。
論文地址：https://arxiv.org/abs/1908.03265
代碼開源：https://github.com/LiyuanLucasLiu/RAdam（RAdam），https://github.com/lonePatient/lookahead_pytorch/blob/master/（LookAhead）
詳細介紹：RAdam 和 LookAhead 可以合二為一 http://www.zaocj.com/news/201908/SAFF4ESD8CCXaCxM.html
Reasoning-RCNN: 在大規(guī)模目標檢測中應用統(tǒng)一的自適應全局推理
作者：華為諾亞方舟實驗室，中山大學
推薦理由：隨著目標識別的規(guī)模越來越大、粒度越來越細，類別不平衡、遮擋、分類模糊性、物體尺度差異性等等問題越來越明顯。我們很容易想到，人類視覺識別能力中的一個重要環(huán)節(jié)是「基于常識的推理」，比如辨認出了 A 物被 B 物遮擋之后，對這兩個物體的識別都能更準確。這篇論文就把這種思想融入到了 RCNN 模型中，作者們?yōu)槟Ｐ驮O計了顯式的常識知識，并且用基于類別的知識圖把圖像中物體的語義知識表示出來。
一方面，在感知模型中加入常識、加入基礎(chǔ)的推理能力是構(gòu)建「視覺智能」的趨勢；另一方面，其它研究者雖然在更早的研究里就提出過「從圖像的目標識別生成關(guān)系圖」，但是關(guān)系圖生成了以后有什么作用呢，這篇論文就展示了，可以用圖進一步改善目標識別任務本身的表現(xiàn)。
除此之外，作者們還做了許多改進，讓模型更適應大規(guī)模物體識別、增強階段之間的聯(lián)系、優(yōu)化識別效果。最終，模型的 mAP 在多個數(shù)據(jù)集上都有大幅提高。作者們的方法比較輕量，可以用在各種目標識別主干網(wǎng)絡上，也可以集成各種不同的知識來源。
代碼開源：https://github.com/chanyn/Reasoning-RCNN
在多智能體強化學習中把社交影響作為固有動機
作者：MIT，DeepMind，普林斯頓大學
推薦理由：隨著多智能體強化學習研究越來越多，為智能體設計/讓智能體學會行動協(xié)調(diào)和信息交換成了一個重要課題。這篇論文中作者們的著力點就是在多智能體環(huán)境下，讓智能體從其他智能體身上學會固有的社交動機。他們的方法是，如果一個智能體能影響其他智能體、讓它們在協(xié)同和溝通方面都有更好的表現(xiàn)，那就獎勵它。更具體地，作者們在論文中展示了，如果一個智能體讓其他智能體的行為發(fā)生了較大的改變，那獎勵它就更有可能鼓勵不同的智能體之間有更多的共同信息交換。這樣的機制會讓智能體形成歸納偏倚，更有意愿學會協(xié)同運動，即便這些智能體都是各自獨立地訓練的。并且影響力的獎勵是使用一種分布式的方式來計算的，能夠有效解決突發(fā)通信的問題。這篇論文獲得了 ICML 2019 最佳論文榮譽提名。
同期還有另一篇來自 Facebook AI 研究院的論文 Learning Existing Social Conventions via Observationally Augmented Self-Play （arxiv.org/abs/1806.10071）從另一個角度設計了協(xié)調(diào)機制：在加入一個團體之前，新的智能體要通過觀察和重放機制學習這個團地當前的行為模式（人類角度的「風俗習慣」），讓自己能夠融入，避免加入團體之后它的策略無法得到獎勵（即便在無合作的競爭性環(huán)境下可以得到獎勵）。不過大概還是前一篇學會固有社交動機更高明一點？相比之下它可是明明白白地促進了智能體都變得更協(xié)調(diào)、更主動溝通啊（笑）。
論文地址：https://arxiv.org/abs/1810.08647
權(quán)重無關(guān)的神經(jīng)網(wǎng)絡
作者：谷歌 AI Adam Gaier 和 David Ha
推薦理由：現(xiàn)代的神經(jīng)網(wǎng)絡研究都有一個固定的模式，固定網(wǎng)絡架構(gòu)，通過優(yōu)化尋找好的連接權(quán)重（訓練）。這種慣例也引發(fā)了一些討論，「如果我們把網(wǎng)絡結(jié)構(gòu)看作先驗，把連接權(quán)重看作學到的知識」，那么我們能在多大程度上把知識以結(jié)構(gòu)（先驗）的形式集成在模型中呢？以及這樣做是好還是壞呢？
這篇論文就是一次直接的探索，網(wǎng)絡的訓練過程不是為了尋找權(quán)重，而是在相對固定且隨機的權(quán)重下尋找更好的網(wǎng)絡結(jié)構(gòu)。對于集成了好的先驗的網(wǎng)絡結(jié)構(gòu)，即便網(wǎng)絡中所有的權(quán)重都統(tǒng)一且隨機的也能有好的表現(xiàn)；在此基礎(chǔ)上如果能允許分別優(yōu)化不同的權(quán)重，網(wǎng)絡的表現(xiàn)就可以更上一層樓。這種方式找到的先驗知識也會以網(wǎng)絡結(jié)構(gòu)的形式直接體現(xiàn)出來，有更好的可解釋性。
如果說「固定網(wǎng)絡結(jié)構(gòu)，尋找權(quán)重」和「固定權(quán)重、尋找網(wǎng)絡結(jié)構(gòu)」分別就像「氣宗」與「劍宗」，那么現(xiàn)在雙方終于都登場了，我們可以期待未來有更多的好戲上演。
論文地址：https://arxiv.org/abs/1906.04358
詳細介紹：http://www.zaocj.com/news/201906/wMjVvtWT2fr8PcxP.html
代碼開源：https://weightagnostic.github.io/
XLNet：用于語言理解的通用自回歸預訓練
作者：CMU，谷歌 AI
推薦理由：基于 BERT 的改進模型很多，XLNet 是其中非常成功的一個。XLNet 的改進重點在于，1，用基于輸入順序置換的新的掩模方式替代 BERT 的掩模+雙向預測（這種機制設計使得 BERT 更像是文本降噪模型，而在生成任務中表現(xiàn)不佳），2，使用了 token 內(nèi)容和 token 位置分離的雙流自注意力機制，3，采用了和改進 2 匹配的新的掩模方式。這些設計讓 XLNet 兼具了序列生成能力（類似傳統(tǒng)語言模型）和上下文信息參考能力。
再加上選用更大的訓練數(shù)據(jù)集、用更適應長序列的 Transformer-XL 作為主干網(wǎng)絡、訓練方式對掩模的利用率更高、允許部分預測訓練等改進，可以說 XLNet 相對于 BERT 的技術(shù)改進是從頭到尾的，在作者們測試的所有任務中都取得了比 BERT 更好的表現(xiàn)也是情理之中（雖然有一些任務中提升并不大）。
XLNet 這樣的模型出現(xiàn)代表著 NLP 預訓練模型越發(fā)成熟，適應的下游任務越來越多、表現(xiàn)越來越好；也代表著一個統(tǒng)一的模型架構(gòu)就有可能解決各種不同的 NLP 任務。
論文地址：https://arxiv.org/abs/1906.08237
代碼開源：https://github.com/zihangdai/xlnet
除此之外，以下這 10 篇論文也曾在我們的候選列表里，它們各突出之處，我們列舉如下：
AI surpasses humans at six-player poker ( Science Magazine)
在 6 人德州撲克游戲中勝過人類的撲克 AI（這也是 Science 雜志總結(jié)的 2019 年 10 大科學突破第 10 名）
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
簡化版 BERT，但不是簡單的縮小了事，他們用更少的參數(shù)獲得了更好的表現(xiàn)
A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction
「非視線內(nèi)的物體形狀重建」，也就是「如何看到墻角后面的東西」是這篇論文的研究課題。雖然這個任務略顯冷門，但這篇論文表明計算機視覺技術(shù)有潛力讓更多看似不可能的事情變得可能。獲得了 CVPR 2019 最佳論文
Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems ( ACL 2019 )
面向任務的多輪對話系統(tǒng)通常會為不同的任務設計預定義的模版，但不同模版之間的數(shù)據(jù)共享、數(shù)據(jù)遷移是一大難點。這篇論文就提出了有效的知識追蹤、共享、遷移方法
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos
基于單視角視頻，根據(jù)運動物體的移動解算三維空間結(jié)構(gòu)的做法在傳統(tǒng)計算機視覺中就有很多研究，這篇論文里把它和深度學習結(jié)合以后帶來了更好的效果，作者們增加的在線學習能力也讓這個方法對不同的數(shù)據(jù)集、不同的場景有更好的適應性。
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
研究 CNN 模型的縮放和可拓展性，用更小的模型得到更高的準確率，而且為不同規(guī)模的計算資源提供了一系列優(yōu)化過的模型。ICML 2019 Spotlight 論文
Emergent Tool Use From Multi-Agent Autocurricula
通過隱式的課程學習中，在一個具備互動和競爭機制的環(huán)境中，不同的智能體之間可以持續(xù)地找到新任務，它們也就可以持續(xù)地學會新的策略
RoBERTa: A Robustly Optimized BERT Pretraining Approach
專門研究 BERT 的預訓練過程并提出一種新的改進思路，用新的預訓練目標做更充分的訓練。也就是說，設計一個大模型容易，但還要想辦法確定是否已經(jīng)訓練夠了。
SinGAN: Learning a Generative Model from a Single Natural Image
這篇論文嘗試從單張圖像學習 GAN，多種不同尺度的 GAN 組成的金字塔結(jié)構(gòu)分別學習圖像中不同大小的小塊，整個模型的學習效果得以同時兼顧圖像中的全局結(jié)構(gòu)和細節(jié)紋理。ICCV 2019 最佳論文
Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture
清華大學團隊設計的天機芯片用融合架構(gòu)同時支持來自計算機科學的、基于數(shù)值的非線性變換的人工神經(jīng)網(wǎng)絡，以及來自神經(jīng)科學的、基于信號響應的脈沖神經(jīng)網(wǎng)絡。論文發(fā)表在 Nature 雜志。
以上就是雷鋒網(wǎng) AI 科技評論總結(jié)的十大精彩學術(shù)論文（以及同樣值得看看的另外十篇備選）。如果你有什么不同的見解，歡迎留言和我們討論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
