Paper 研習社每日精選論文推薦 12.27

Hi 歡迎來到Paper 研習社每日精選欄目，Paper 研習社（paper.yanxishe.com）每天都為你精選關于人工智能的前沿學術論文供你參考，以下是今日的精選內容——

• Audio-based automatic mating success prediction of giant pandas
  

• Garbage In, Garbage Out? Do Machine Learning Application Papers in Social Computing Report Where Human-Labeled Training Data Comes From?

• Deep Learning vs. Traditional Computer Vision

• The problem with DDPG: understanding failures in deterministic environments with sparse rewards

• Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model

• Differentiated Distribution Recovery for Neural Text Generation

• An Integral Tag Recommendation Model for Textual Content

• Neural Relation Extraction Within and Across Sentence Boundaries

• Measuring Compositional Generalization: A Comprehensive Method>On Reinforcement Learning for Full--‐length Game of StarCraft

Audio-based automatic mating success prediction of giant pandas

作者：Yan WeiRan /Tang MaoLin /Zhao Qijun /Chen Peng /Qi Dunwu /Hou Rong /Zhang Zhihe

發表時間：2019/12/24

論文鏈接：https://paper.yanxishe.com/review/7884

推薦理由：用到GRU和注意力的論文有很多，但用卷積+雙向GRU+注意力研究大熊貓聲音的，而且就來自四川瀕危野生動物保護國家重點實驗室 - 成都大熊貓繁育研究基地的，這篇論文可是獨一篇。

這篇論文研究的課題讓我們增進了對大熊貓的認識。一方面，大熊貓一般都是比較安靜的動物，不怎么發出聲音，但在繁殖季時發聲會明顯多一些，這說明聲音對求偶和交配有一定作用，此前的生物學研究也證明了存在相關性。另一方面，交配之后熊貓是否成功受孕很難確定，不僅因為熊貓胎兒非常小，只能通過其他因素觀察，還因為人工養殖條件下的熊貓就出現過“為了享受更好待遇而假裝懷孕”的事情。所以這篇論文的目標是通過記錄下的熊貓聲音預測是否成功受孕，整個工作流程包括分割、音量和長度標準化、特征提取、用含有卷積+GRU+注意力的深度神經網絡預測是否成功受孕。作者們在過去 9 年中采集的聲音數據集上做了實驗，得到了有潛力的結果。準確的預測能給大熊貓的繁育帶來幫助。

Garbage In, Garbage Out? Do Machine Learning Application Papers in Social Computing Report Where Human-Labeled Training Data Comes From?

作者：Geiger R. Stuart /Yu Kevin /Yang Yanlai /Dai Mindy /Qiu Jie /Tang Rebekah /Huang Jenny

發表時間：2019/12/17

論文鏈接：https://paper.yanxishe.com/review/7889

推薦理由：許多針對新應用領域的機器學習項目都涉及到為特定目的標記數據的人員團隊，從雇用人群工作者到論文作者自行標記數據。此類任務與結構化內容分析（或結構化內容分析的形式）非常相似，后者是社會科學和人文科學領域的一種長期方法，具有許多已建立的最佳實踐。

在本文中，作者調查了社交計算中機器學習應用程序論文的樣本程度-特別是ArXiv和傳統出版物對Twitter數據執行ML分類任務的論文-提供了有關是否遵循了此類最佳實踐的具體細節。

作者的團隊對每篇論文進行了多輪結構化內容分析，確定以下內容：論文是否報告了誰是標簽者，他們的資格是什么，他們是否獨立地標記了相同的項目，是否公開了評分者間的可靠性指標，向貼標者提供培訓水平和/或說明，是否公開了對人群工作者的補償，以及培訓數據是否公開。我們是否遵循和記錄了這樣的做法存在很大分歧。機器學習的研究和教育很多都集中在一旦有了“黃金標準”的訓練數據后該怎么做，但是我們首先圍繞這些數據是否可靠的同樣重要的方面討論問題。

Deep Learning vs. Traditional Computer Vision

作者：Niall O’ Mahony /Sean Campbell /Anderson Carvalho / Suman Harapanahalli

發表時間：2019/4/18

論文鏈接：https://paper.yanxishe.com/review/7885

推薦理由：核心問題：在深度學習快速發展的背景下，在計算機視覺領域傳統的計算機視覺技術是否還有意義？

這是一篇綜述文章，本論文介紹了傳統的計算機視覺技術和現在的深度學習視覺技術之間的關系，以及二者之間應該是相互補充的關系，相互利用彼此的優勢。深度學習推動了數字圖像處理領域的極限。但是，這并不是說在DL興起之前的幾年中一直在逐步發展的傳統計算機視覺技術已經過時了。本文將分析每種方法的優缺點。本文的目的是促進有關是否應保留經典計算機視覺技術知識的討論。本文還將探討如何將計算機視覺的兩個方面結合起來。評論了幾種最近的混合方法論，這些方法論證明了改善計算機視覺性能和解決不適合深度學習的問題的能力。例如，將傳統的計算機視覺技術與深度學習相結合在新興領域（例如全景視覺和3D視覺）中很流行，而對于這些領域，深度學習模型尚未完全優化。

The problem with DDPG: understanding failures in deterministic environments with sparse rewards

作者：Matheron Guillaume /Perrin Nicolas /Sigaud Olivier

發表時間：2019/11/26

論文鏈接：https://paper.yanxishe.com/review/7872

推薦理由：在具有連續狀態和動作空間的環境中，最先進的行為者-批判強化學習算法可以解決非常復雜的問題，但是在看似微不足道的環境中也可能會失敗，但是這種失敗的原因仍然知之甚少 。在本文中，我們對稀疏的獎勵和確定性環境的特殊情況下的這些失敗做出了正式的解釋。首先，使用一個非常基本的控制問題，我們說明了學習過程可能陷入與不良解決方案相對應的固定點。然后，從所研究的示例中進行概括，我們提供了對潛在機制的詳細分析，從而使人們對這些算法的一種收斂方式有了新的認識。由此產生的觀點為我們已經強調的問題的現有解決方案提供了新的思路，并提出了其他可能的方法。

Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model

作者：Xiong Wenhan /Du Jingfei /Wang William Yang /Stoyanov Veselin

發表時間：2019/12/20

論文鏈接：https://paper.yanxishe.com/review/7870

推薦理由：預訓練語言模型的最新突破表明，自監督學習對于多種自然語言處理（NLP）任務的有效性。除了標準的語法和語義NLP任務外，預訓練的模型還對涉及真實世界知識的任務進行了重大改進，這表明大規模語言建模可能是捕獲知識的隱含方法。在這項工作中，我們將進一步研究使用事實完成任務對諸如BERT等預訓練模型捕獲知識的程度。此外，我們提出了一個簡單而有效的弱監督預訓練目標，該目標明確迫使模型納入有關現實世界實體的知識。使用我們的新目標訓練的模型在事實完成任務上產生了重大改進。在應用于下游任務時，我們的模型在四個與實體相關的問題回答數據集（即WebQuestions，TriviaQA，SearchQA和Quasar-T）上的性能始終優于BERT，平均改善了2.7 F1，并提供了標準的細粒度實體類型數據集（例如， FIGER），精度提高5.7。

Differentiated Distribution Recovery for Neural Text Generation

作者：Jianing Li? / Yanyan Lan?? / Jiafeng Guo? / Jun Xu? and Xueqi Cheng?

發表時間：2018/12/19

論文鏈接：https://paper.yanxishe.com/review/7864

推薦理由：基于遞歸神經網絡（RNNLM）的神經語言模型顯著提高了文本生成的性能，但是以圖靈測試通過率表示的生成文本的質量仍然遠遠不能令人滿意。一些研究人員建議使用對抗訓練或強化學習來提高質量，但是，這種方法通常會在訓練和參數調整過程中帶來巨大挑戰。通過組織的分析，其發現RNNLM的問題來自最大似然估計（MLE）作為目標函數的使用，這需要生成的分布來精確地恢復真實分布。這種要求有利于高世代多樣性，這限制了世代質量。當整體質量較低時，這是不合適的，因為高世代多樣性通常表示很多錯誤，而不是多樣化的好樣本。在本文中，作者建議實現差異化的分布恢復，簡稱DDR。關鍵思想是使最佳生成概率與真實概率的β次方成正比，

An Integral Tag Recommendation Model for Textual Content

作者：Shijie Tang1 / Yuan Yao1 / Suwei Zhang1 / Feng Xu1

發表時間：2018/12/20

論文鏈接：https://paper.yanxishe.com/review/7867

推薦理由：為在線文本內容推薦合適的標簽是更好地組織和使用內容的關鍵組成部分。在本文中，我們確定了影響標簽推薦準確性的三個支柱：（1）順序文本建模，這意味著固有的順序排序以及文本的不同區域可能對相應的標簽具有重要的意義，（2 ）標簽相關性，意味著某個文本內容的標簽通常在語義上相互關聯；（3）內容-標簽重疊，表示內容和標簽的詞匯重疊。但是，現有方法都沒有考慮所有這三個方面，導致標簽推薦不理想。在本文中，我們提出了一個完整的模型來在相干的編碼器-解碼器框架中對所有三個方面進行編碼。具體來說，（1）編碼器使用注意力機制通過遞歸神經網絡對文本內容的語義進行建模；（2）解碼器通過預測路徑處理標簽相關性；（3）共享的嵌入層和指示符功能跨編碼器-解碼器地址的內容標簽重疊。在三個現實世界數據集上的實驗結果表明，該方法在推薦準確性方面明顯優于現有方法。

Neural Relation Extraction Within and Across Sentence Boundaries

作者：Pankaj Gupta / Subburam Rajaram / Hinrich Schütze / Bernt Andrassy / Thomas Runkler

發表時間：2018/12/20

論文鏈接：https://paper.yanxishe.com/review/7866

推薦理由：關系抽取的過去工作主要集中在單個句子中實體對之間的二進制關系。最近，NLP社區對跨多個句子的實體對中的關系提取感興趣。在本文中，我們針對此任務提出了一種新穎的體系結構：基于句間依賴的神經網絡（iDepNN）。iDepNN通過遞歸和遞歸神經網絡對最短和增強的依存路徑進行建模，以提取句子內部（內部）和跨（內部）邊界的關系。與SVM和神經網絡基線相比，iDepNN對于跨越句子的關系中的誤報更為可靠。我們在新聞鏈（MUC6）和醫學（BioNLP共享任務）域的四個數據集上評估我們的模型，這些數據集實現了最先進的性能，并在精度和句子間關系的召回率之間表現出更好的平衡。我們的表現要好于參加BioNLP共享任務2016的11個團隊，與獲勝團隊相比，F1的增長率為5.2％（0.587對0.558）。作者還發布了MUC6的交叉句注釋。

Measuring Compositional Generalization: A Comprehensive Method>作者：Keysers Daniel /Sch?rli Nathanael /Scales Nathan /Buisman Hylke /Furrer Daniel /Kashubin Sergii /Momchev Nikola /Sinopalnikov Danila /Stafiniak Lukasz /Tihon Tibor /Tsarkov Dmitry /Wang Xiao /van Zee Marc /Bousquet Olivier

發表時間：2019/12/20

論文鏈接：https://paper.yanxishe.com/review/7865

推薦理由：最先進的機器學習方法在組合泛化方面表現出局限性。同時，缺乏實際的基準來全面衡量此功能，這使尋找和評估改進變得困難。我們引入了一種新方法，通過最大程度地提高組成部件的散度并同時保證訓練集和測試集之間的原子發散小，來系統地構建此類基準，并且將這種方法與其他方法進行定量比較，以創建成分泛化基準。我們提出了一種根據此方法構造的大型且逼真的自然語言問答數據庫，并使用它來分析三種機器學習架構的組成概括能力。我們發現，它們無法對組成進行概括，并且在組成部件的散度和準確性之間存在令人驚訝的強烈負相關。我們還將演示如何使用我們的方法在現有的SCAN數據集之上創建新的成分基準，從而證實了這些發現。

On Reinforcement Learning for Full--‐length Game of StarCraft

作者：Zhen-Jia Pang / Ruo-Ze Liu / Zhou-Yu Meng / Yi Zhang / Yang Yu / Tong Lu

發表時間：2018/12/20

論文鏈接：https://paper.yanxishe.com/review/7860

推薦理由：《星際爭霸2》對強化學習提出了巨大挑戰。它的主要困難包括巨大的狀態和行動空間以及長期的視野。在本文中，我們研究了《星際爭霸2》的分層強化學習方法。層次結構涉及兩個抽象級別。一種是從專家的軌跡中自動提取的宏動作，它可以將動作空間減少一個數量級，但仍然有效。另一個是兩層的分層體系結構，該體系結構是模塊化的并且易于擴展，從而使課程表可以從較簡單的任務轉換為較復雜的任務。還研究了這種體系結構的強化訓練算法。在64x64的地圖上并使用限制性單位，相對于內置難度為1級的AI，我們的獲勝率超過99％。通過課程轉移學習算法和混合戰斗模型，我們可以對付最困難的人族內置非作弊內置AI（7級），并在兩天內進行一次訓練，就能獲得超過93％的Protoss勝率。機器只有48個CPU內核和8個K40 GPU。當針對從未見過的對手進行測試時，它也顯示出強大的概括性能，包括作弊級別的內置AI以及所有級別的Zerg和Protoss內置AI。我們希望這項研究可以為將來的大規模強化學習研究提供一些啟示。

雷鋒網雷鋒網雷鋒網雷鋒網