<mark id="oztn4"></mark>
0
| 本文作者： AI研習(xí)社 | 2020-01-02 15:13 |
為了幫助各位學(xué)術(shù)青年更好地學(xué)習(xí)前沿研究成果和技術(shù)，AI科技評(píng)論聯(lián)合Paper 研習(xí)社（paper.yanxishe.com），重磅推出【今日 Paper】欄目， 每天都為你精選關(guān)于人工智能的前沿學(xué)術(shù)論文供你學(xué)習(xí)參考。以下是今日的精選內(nèi)容——
Reading Wikipedia to Answer Open-Domain Questions
Machine Learning from a Continuous Viewpoint
Score and Lyrics-Free Singing Voice Generation
Learning 3D Human Shape and Pose from Dense Body Parts
Face X-ray for More General Face Forgery Detection
Effective Data Augmentation with Multi-Domain Learning GANs
Job Prediction: From Deep Neural Network Models to Applications
Combining Deep Learning and Verification for Precise Object Instance Detection
A Gentle Introduction to Deep Learning for Graphs
AdderNet: Do We Really Need Multiplications in Deep Learning?
論文名稱：Reading Wikipedia to Answer Open-Domain Questions
作者：Danqi Chen /Adam Fisch /Jason Weston /Antoine Bordes
發(fā)表時(shí)間：2017/4/28
論文鏈接：https://paper.yanxishe.com/review/7918
推薦理由：本文建議使用Wikipedia作為獨(dú)特的知識(shí)源來(lái)解決開(kāi)放域問(wèn)題的解答：任何事實(shí)類問(wèn)題的答案都是Wikipedia文章中的文本范圍。
大規(guī)模的機(jī)器閱讀任務(wù)將文檔檢索（查找相關(guān)文章）與機(jī)器理解文本（識(shí)別這些文章的答案范圍）的挑戰(zhàn)結(jié)合在一起。作者的方法將基于bigram哈希和TF-IDF匹配的搜索組件與經(jīng)過(guò)訓(xùn)練以檢測(cè)Wikipedia段落中的答案的多層遞歸神經(jīng)網(wǎng)絡(luò)模型相結(jié)合。
作者在多個(gè)現(xiàn)有QA數(shù)據(jù)集上的實(shí)驗(yàn)表明，（1）兩個(gè)模塊相對(duì)于現(xiàn)有同類產(chǎn)品都具有很高的競(jìng)爭(zhēng)力；（2）使用遠(yuǎn)程監(jiān)督對(duì)其組合進(jìn)行多任務(wù)學(xué)習(xí)是解決這一艱巨任務(wù)的有效完整系統(tǒng)。
論文名稱：Machine Learning from a Continuous Viewpoint
作者：E Weinan /Ma Chao /Wu Lei
發(fā)表時(shí)間：2019/12/30
論文鏈接：https://paper.yanxishe.com/review/7942
推薦理由：作為經(jīng)典的數(shù)值分析和統(tǒng)計(jì)物理學(xué)的精神，作者提出了一種連續(xù)的機(jī)器學(xué)習(xí)形式，作為變化和微分積分方程的一個(gè)問(wèn)題。作者證明了常規(guī)的機(jī)器學(xué)習(xí)模型和算法，例如隨機(jī)特征模型，淺層神經(jīng)網(wǎng)絡(luò)模型和殘差神經(jīng)網(wǎng)絡(luò)模型，都可以作為不同連續(xù)公式的特定離散化而全部恢復(fù)。
作者還介紹了新模型的示例，例如基于流的隨機(jī)特征模型，以及新算法（例如平滑粒子法和光譜法）的示例，這些新算法自然地源于這種連續(xù)公式。作者在文中討論了如何在此框架下研究泛化誤差和隱式正則化問(wèn)題。
論文名稱：Score and Lyrics-Free Singing Voice Generation
作者：Liu Jen-Yu /Chen Yu-Hua /Yeh Yin-Cheng /Yang Yi-Hsuan
發(fā)表時(shí)間：2019/12/26
論文鏈接：https://paper.yanxishe.com/review/7944
推薦理由：用于唱歌聲音的生成模型主要與“唱歌聲音合成”的任務(wù)有關(guān)，即，根據(jù)樂(lè)譜和文本歌詞來(lái)產(chǎn)生唱歌聲音波形。
在本文中，作者探索了一種新穎而又具有挑戰(zhàn)性的替代方法：在訓(xùn)練和推理時(shí)間中無(wú)需預(yù)先分配樂(lè)譜和歌詞的情況下演唱語(yǔ)音。特別是，作者提出了三種無(wú)條件或弱條件的歌聲生成方案。作者概述了相關(guān)的挑戰(zhàn)，并提出了解決這些新任務(wù)的渠道。這涉及開(kāi)發(fā)用于數(shù)據(jù)準(zhǔn)備的源分離和轉(zhuǎn)錄模型，用于音頻生成的對(duì)抗網(wǎng)絡(luò)以及用于評(píng)估的定制度量。
論文名稱：Learning 3D Human Shape and Pose from Dense Body Parts
作者：Zhang Hongwen /Cao Jie /Lu Guo /Ouyang Wanli /Sun Zhenan
發(fā)表時(shí)間：2019/12/31
論文鏈接：https://paper.yanxishe.com/review/7941
推薦理由：盡管通過(guò)最新的基于學(xué)習(xí)的方法獲得了令人鼓舞的結(jié)果，但從單眼圖像重建3D人體形狀和姿勢(shì)仍具有挑戰(zhàn)性。常見(jiàn)的不對(duì)齊是由于以下事實(shí)：從圖像到模型空間的映射是高度非線性的，并且人體模型的基于旋轉(zhuǎn)的姿勢(shì)表示易于導(dǎo)致關(guān)節(jié)位置的漂移。
在本文中，作者研究了從人體部位的密集對(duì)應(yīng)關(guān)系中學(xué)習(xí)3D人體形狀和姿勢(shì)的問(wèn)題，并提出了分解和聚合網(wǎng)絡(luò)（DaNet）來(lái)解決這些問(wèn)題。DaNet采用密集的對(duì)應(yīng)貼圖作為中間表示，以密集地在2D像素和3D頂點(diǎn)之間建立一座橋梁，以促進(jìn)2D到3D映射的學(xué)習(xí)。DaNet的預(yù)測(cè)模塊被分解為一個(gè)全局流和多個(gè)局部流，以分別實(shí)現(xiàn)形狀和姿勢(shì)預(yù)測(cè)的全局和細(xì)粒度感知。來(lái)自本地流的消息被進(jìn)一步聚合以增強(qiáng)對(duì)基于旋轉(zhuǎn)的姿勢(shì)的魯棒性預(yù)測(cè)，其中提出了位置輔助旋轉(zhuǎn)特征細(xì)化策略以利用人體關(guān)節(jié)之間的空間關(guān)系。此外，還引入了基于零件的剔除（PartDrop）策略，以在訓(xùn)練過(guò)程中從中間表示中剔除密集信息，從而鼓勵(lì)網(wǎng)絡(luò)專注于更多互補(bǔ)的身體部位以及相鄰的位置特征。作者方法的有效性在室內(nèi)和實(shí)際數(shù)據(jù)集（包括Human3.6M，UP3D和DensePose-COCO數(shù)據(jù)集）上均得到驗(yàn)證。
實(shí)驗(yàn)結(jié)果表明，與以前的最新方法相比，該方法顯著提高了重建性能。我們的代碼將通過(guò)此 URL（https://hongwenzhang.github.io/dense2mesh/）公開(kāi)提供。
論文名稱：Face X-ray for More General Face Forgery Detection
作者：Li Lingzhi /Bao Jianmin /Zhang Ting /Yang Hao /Chen Dong /Wen Fang /Guo Baining
發(fā)表時(shí)間：2019/12/31
論文鏈接：https://paper.yanxishe.com/review/7940
推薦理由：在本文中，作者提出了一種新穎的圖像表示形式，稱為面部X射線，用于檢測(cè)面部圖像中的偽造。輸入的面部圖像的面部X射線是灰度圖像，可顯示輸入圖像是否可以分解為來(lái)自不同來(lái)源的兩個(gè)圖像的混合。它通過(guò)顯示偽造圖像的混合邊界和不存在真實(shí)圖像的混合來(lái)實(shí)現(xiàn)。
作者觀察到，大多數(shù)現(xiàn)有的面部操作方法都有一個(gè)共同的步驟：將更改后的面部混合到現(xiàn)有的背景圖像中。因此，面部X射線提供了一種檢測(cè)大多數(shù)現(xiàn)有面部操縱算法所產(chǎn)生的偽造的有效方法。面部X射線的一般意義是僅假設(shè)存在混合步驟，并且不依賴于與特定面部操作技術(shù)相關(guān)的偽影的任何知識(shí)。事實(shí)上，確實(shí)可以訓(xùn)練用于計(jì)算面部X射線的算法且無(wú)需使用任何最新的面部操縱方法生成的偽造圖像。大量的實(shí)驗(yàn)表明，當(dāng)將X射線應(yīng)用于由看不見(jiàn)的面部操縱技術(shù)產(chǎn)生的偽造時(shí)，面部X射線仍然有效，而大多數(shù)現(xiàn)有的面部偽造檢測(cè)算法的性能都會(huì)明顯下降。
論文名稱：Effective Data Augmentation with Multi-Domain Learning GANs
作者：Yamaguchi Shin'ya /Kanai Sekitoshi /Eda Takeharu
發(fā)表時(shí)間：2019/12/25
論文鏈接：https://paper.yanxishe.com/review/7934
推薦理由：這篇論文考慮的是數(shù)據(jù)增強(qiáng)的問(wèn)題。
這篇論文提出了一種有效的基于生成對(duì)抗網(wǎng)絡(luò)）的數(shù)據(jù)增強(qiáng)方法，其主要思想是通過(guò)使用多領(lǐng)域?qū)W習(xí)GAN將外部數(shù)據(jù)所包含的知識(shí)導(dǎo)入到目標(biāo)模型中。多領(lǐng)域?qū)W習(xí)GAN能夠同時(shí)學(xué)習(xí)外部數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集，并能夠?yàn)槟繕?biāo)任務(wù)生成高保真度和多樣性強(qiáng)的新樣本。文章表明即使只有極少量的目標(biāo)數(shù)據(jù)集，研究人員也可以通過(guò)使用這些新生成的樣本來(lái)獲得目標(biāo)任務(wù)的準(zhǔn)確模型。這篇論文在CIFAR-100, FGVC-Aircraft和Indoor Scene Recognition這三個(gè)數(shù)據(jù)集上評(píng)估了其提出的數(shù)據(jù)增強(qiáng)方法，表明了它具有更好的分類準(zhǔn)確性，并且能夠提高所生成樣本的質(zhì)量。
論文名稱：Job Prediction: From Deep Neural Network Models to Applications
作者：Van Huynh Tin /Van Nguyen Kiet /Nguyen Ngan Luu-Thuy /Nguyen Anh Gia-Tuan
發(fā)表時(shí)間：2019/12/27
論文鏈接：https://paper.yanxishe.com/review/7937
推薦理由：這篇論文考慮的是基于簡(jiǎn)歷信息判斷工作勝任程度的問(wèn)題。
如何根據(jù)簡(jiǎn)歷上的信息，例如學(xué)歷、技能描述等，來(lái)判斷一份工作是否適合求職者是一個(gè)困難的自然語(yǔ)言處理問(wèn)題。反過(guò)來(lái)，公司挑選最適合這份工作的人才也是困難的。這篇論文嘗試?yán)貌煌纳疃壬窠?jīng)網(wǎng)絡(luò)模型來(lái)學(xué)習(xí)預(yù)測(cè)職業(yè)，這些模型包括TextCNN，Bi-GRU-LSTM-CNN，以及Bi-GRU-CNN，并用到了基于互聯(lián)網(wǎng)職業(yè)數(shù)據(jù)集訓(xùn)練的多種預(yù)訓(xùn)練詞嵌入。這篇論文還提出一種簡(jiǎn)單但高效的集成模型以包含不同的深度神經(jīng)網(wǎng)絡(luò)模型。實(shí)驗(yàn)結(jié)果表明，所提方法獲得了最高為72.71%的F1值。
這篇論文試圖利用自然語(yǔ)言處理的技術(shù)來(lái)幫助互聯(lián)網(wǎng)上的求職者找到更適合自己的職業(yè)發(fā)展方向。
論文名稱：Combining Deep Learning and Verification for Precise Object Instance Detection
作者：Ancha Siddharth /Nan Junyu /Held David
發(fā)表時(shí)間：2019/12/27
論文鏈接：https://paper.yanxishe.com/review/7928
推薦理由：深度學(xué)習(xí)對(duì)象檢測(cè)器通常會(huì)以很高的置信度返回誤報(bào)。盡管它們優(yōu)化了通用檢測(cè)性能，例如平均平均精度（mAP），但它們并不是為可靠性而設(shè)計(jì)的。對(duì)于可靠的檢測(cè)系統(tǒng)，如果進(jìn)行了高置信度檢測(cè)，作者將希望高度確定確實(shí)已檢測(cè)到對(duì)象。為此，作者開(kāi)發(fā)了一套驗(yàn)證測(cè)試，建議的檢測(cè)必須通過(guò)該測(cè)試才能被接受。
作者建立了一個(gè)理論框架，可以證明在某些假設(shè)下，作者的驗(yàn)證測(cè)試不會(huì)接受任何誤報(bào)?；诖丝蚣艿慕浦?，作者提出了一種實(shí)用的檢測(cè)系統(tǒng)，該系統(tǒng)可以高精度地驗(yàn)證基于機(jī)器學(xué)習(xí)的對(duì)象檢測(cè)器的每次檢測(cè)是否正確。作者表明，這些測(cè)試可以提高基本檢測(cè)器的整體精度，并且公認(rèn)的示例很有可能是正確的。這允許檢測(cè)器在高精度狀態(tài)下操作，因此可以作為可靠的實(shí)例檢測(cè)方法用于機(jī)器人感知系統(tǒng)。
論文名稱：A Gentle Introduction to Deep Learning for Graphs
作者：Bacciu Davide /Errica Federico /Micheli Alessio /Podda Marco
發(fā)表時(shí)間：2019/12/29
論文鏈接：https://paper.yanxishe.com/review/7947
推薦理由：圖形數(shù)據(jù)的自適應(yīng)處理是一個(gè)長(zhǎng)期存在的研究主題，最近已被整合為深度學(xué)習(xí)社區(qū)的主要興趣主題。相關(guān)研究的數(shù)量和廣度迅速增加是以缺乏知識(shí)的系統(tǒng)化和對(duì)早期文獻(xiàn)的關(guān)注為代價(jià)的。
本文中作者的這項(xiàng)工作旨在作為圖的深度學(xué)習(xí)領(lǐng)域的教程介紹。相對(duì)于對(duì)最新文獻(xiàn)的闡釋，它主張對(duì)主要概念和體系結(jié)構(gòu)方面進(jìn)行一致且漸進(jìn)的介紹，讀者可參考其中的可用調(diào)查。本文對(duì)問(wèn)題進(jìn)行了自上而下的研究，介紹了一種基于局部和迭代方法來(lái)結(jié)構(gòu)化信息處理的圖形表示學(xué)習(xí)的廣義公式。它介紹了基本的構(gòu)建基塊，可以將其組合起來(lái)設(shè)計(jì)出新穎而有效的圖形神經(jīng)模型。方法論的闡述是對(duì)本領(lǐng)域有趣的研究挑戰(zhàn)和應(yīng)用的討論的補(bǔ)充。
論文名稱：AdderNet: Do We Really Need Multiplications in Deep Learning?
作者：Chen Hanting /Wang Yunhe /Xu Chunjing /Shi Boxin /Xu Chao /Tian Qi /Xu Chang
發(fā)表時(shí)間：2019/12/31
論文鏈接：https://paper.yanxishe.com/review/7948
推薦理由：這是一篇來(lái)自華為諾亞方舟實(shí)驗(yàn)室的論文，于2020年1月1日上線arXiv。本文探究的目標(biāo)為更高效的深度卷積神經(jīng)網(wǎng)絡(luò)。（似乎稱作“模型壓縮”不太妥當(dāng)？因?yàn)閰?shù)量、運(yùn)算量、參數(shù)精度都未減少，但是將乘法替代為加法為推斷效率提供了極大的增長(zhǎng)空間）
為了提升深度神經(jīng)網(wǎng)絡(luò)的運(yùn)行效率、減少不必要的運(yùn)算，常見(jiàn)的方法有網(wǎng)絡(luò)剪枝、知識(shí)蒸餾等等。本文則另辟蹊徑，嘗試讓卷積神經(jīng)網(wǎng)絡(luò)擺脫乘法而只使用高效的加法運(yùn)算。
卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)中，卷積運(yùn)算是通過(guò)卷積核與輸入特征的互相關(guān)（cross-correlation）運(yùn)算實(shí)現(xiàn)的，而這涉及大量浮點(diǎn)數(shù)的乘法運(yùn)算——要知道，計(jì)算機(jī)完成一次32位浮點(diǎn)乘法運(yùn)算往往是加法運(yùn)算的幾倍！如果能將互相關(guān)運(yùn)算替代為效果相近而僅涉及加法的運(yùn)算，豈不是可以極大地提升CNN的運(yùn)行效率？
32位浮點(diǎn)運(yùn)算的相對(duì)能耗
那么問(wèn)題來(lái)了：互相關(guān)的本質(zhì)是什么呢？是衡量卷積核與輸入特征的相似度。這里，作者大膽地使用L1距離的相反數(shù)代替互相關(guān)運(yùn)算，作為衡量相似度的另一種途徑。
使用互相關(guān)實(shí)現(xiàn)的卷積運(yùn)算，X為輸入特征，F(xiàn)為卷積核，S()為乘法，Y為層的輸出
將S()換為L(zhǎng)1距離
那么問(wèn)題又來(lái)了：模型如何通過(guò)反向傳播優(yōu)化？如果對(duì)L1距離求導(dǎo)，那么結(jié)果只能是0和±1（認(rèn)為L(zhǎng)1距離等于0時(shí)導(dǎo)數(shù)為0），相當(dāng)于對(duì)X(m+i,n+j,k)-F(i,j,k,t)求的符號(hào)函數(shù)——這并不能很好地使得模型向最優(yōu)的方向優(yōu)化。因此，作者在這里使用了X與F的差作為每層“卷積”核的梯度進(jìn)行反傳： 
同樣，X也需要梯度來(lái)回傳至上層，而且與F的梯度不同的是：這個(gè)梯度還會(huì)影響到上面的所有的層（存在梯度爆炸的可能性），更需要精心的設(shè)計(jì)。因此，在這里作者使用了HardTanh（即將y=x用±1截?cái)啵乐固荻冗^(guò)大）使得梯度值(F-X)處于±1范圍之內(nèi)。
除此之外，本文還提出了針對(duì)加法網(wǎng)絡(luò)的自適應(yīng)性學(xué)習(xí)率調(diào)整策略。將所有卷積層替換為加法層的AdderNet-ResNet50在ImageNet上達(dá)到了74.9%的Top-1準(zhǔn)確率和91.7%的Top-5準(zhǔn)確率（使用乘法運(yùn)算實(shí)現(xiàn)卷積的ResNet50準(zhǔn)確率才不過(guò)76.2%和92.9%），在性能損失極少的條件下大大地減少了運(yùn)算時(shí)間。
注：盡管卷積層完全未使用乘法，AdderNet-ResNet50仍然在層間采用了涉及乘法運(yùn)算的批歸一化（Batch Normalization）（畢竟L1距離的相反數(shù)一定是非正的）。但是與卷積層的乘法運(yùn)算相比，批歸一化的乘法運(yùn)算量完全不在一個(gè)數(shù)量級(jí)上，因此可以被忽略不計(jì)。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
相關(guān)文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
