今日 Paper | 動態手勢識別；領域獨立無監督學習；基于BERT的在線金融文本情感分析等

本文作者： AI研習社

2020-02-03 15:10

導語：為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊。

抓取新物體的領域獨立無監督學習

論文名稱：Domain Independent Unsupervised Learning to grasp the Novel Objects

作者：Pharswan Siddhartha Vibhu /Vohra Mohit /Kumar Ashish /Behera Laxmidhar

發表時間：2020/1/9

論文鏈接：https://paper.yanxishe.com/review/9222

這篇論文考慮的是機械臂抓取新物體的問題。

基于視覺抓握任務的一個主要挑戰是當機械臂遇到新物體時，該如何選擇有效的抓握區域。最新的研究都是試圖用高計算量和時間為代價的卷積神經網絡。這篇論文提出了一種新的無監督學習算法來選擇有效抓握區域。在經過坐標對齊方法處理后，新方法應用K均值聚類方法到圖像平面以識別該區域。這篇論文定義了一個名為“抓握決策索引”（Grasp Decide Index，GDI）的新概念來選擇在圖像平面中采取最佳抓握姿勢。在雜亂或隔離的環境中對Amazon Robotics Challenge 2017和Amazon Picking Challenge 2016的標準對象進行實驗的結果表明，這篇論文提出的新算法在不同領域中的各種新對象上具有魯棒性和自適應性。

今日 Paper | 動態手勢識別；領域獨立無監督學習；基于BERT的在線金融文本情感分析等

動態手勢識別的短時卷積網絡

論文名稱：Short-Term Temporal Convolutional Networks for Dynamic Hand Gesture Recognition

作者：Zhang Yi /Wang Chong /Zheng Ye /Zhao Jieyu /Li Yuqi /Xie Xijiong

發表時間：2019/12/31

論文鏈接：https://paper.yanxishe.com/review/9221

這篇論文要解決的是手勢識別問題。

這篇論文的貢獻是提出了一種基于3D密度卷積網絡（3D-DenseNets）與改進時序卷積網絡（TCNs）的多模態手勢識別方法，其核心思路是找到一種壓縮的、有效的空間與時間特征表示信息。在空間分析中，這篇論文采用3D-DenseNets來學習短程空間-時間特征；隨后在時間分析中，這篇論文使用TCNs來抽取時間特征并運用改進壓縮與激勵網絡（SENets）來增強來自每個TCNs層的時間特征的表示能力。這篇論文提出的方法在VIVA和NVIDIA動態手勢數據集上分別獲得了91.54%與86.37%的識別準確率。

一種基于BERT的在線金融文本情感分析和關鍵實體檢測方法

論文名稱：A BERT based Sentiment Analysis and Key Entity Detection Approach for Online Financial Texts

作者：Zhao Lingyun /Li Lin /Zheng Xinhao

發表時間：2020/1/14

論文鏈接：https://paper.yanxishe.com/review/9218

這篇論文考慮的是金融文本的情感分析問題。

隨著互聯網的出現和迅猛發展，互聯網對金融領域的影響越來越大。怎樣快速而準確地從海量金融文本中挖掘有用的信息，已成為投資者與決策者的關注焦點。這篇論文提出一個基于BERT的情感分析和關鍵實體檢測方法，用于社交媒體的金融文本挖掘和公共觀點分析。通過使用預訓練模型，這篇論文首先進行情感分析，然后考慮關鍵實體檢測，將其考慮為一個句子匹配或機器閱讀理解任務，且涉及不同文本粒度。另外，這篇論文也使用聚類算法來提升所提方法的表現力。在兩個金融情感分析和關鍵實體檢測數據集上測試了SVM，LR，NBM和BERT，這篇論文提出的方法取得了最佳結果。

基于語音增強和注意力模型的魯棒說話人識別

論文名稱：Robust Speaker Recognition Using Speech Enhancement And Attention Model

作者：Shi Yanpei /Huang Qiang /Hain Thomas

發表時間：2020/1/14

論文鏈接：https://paper.yanxishe.com/review/9219

推薦原因

這篇論文通過級聯語音增強和說話人處理，提出了一個新的說話人識別模型，在語音信號被噪聲破壞時提高說話者識別模型的性能表現。與以前的方法將語音增強和說話者識別這兩者分開處理不同，這篇論文提出的方法通過使用深度神經網絡的聯合優化將這兩個模塊集成到一個框架中。為了提高模型的噪聲魯棒性，這篇論文采用多階段注意力機制來突出從上下文信息中學到的與說話者相關的特征。在VoxCeleb1數據集上進行的實驗中，作者們采用了三種信噪比級別的普通噪聲、音樂和胡言亂語，以評估其提出方法的噪聲魯棒性。實驗結果表明，這篇論文提出的語音增強和多階段注意力模塊能明顯提升模型的噪聲魯棒性。

新時代的深度學習調參，從拒絕參數初始化看人品開始

論文名稱：MetaInit: Initializing learning by learning to initialize

作者：Yann N. Dauphin /Samuel S. Schoenholz

發表時間：2019/12/9

論文鏈接：https://paper.yanxishe.com/review/9220

推薦原因：直到今天，從零開始訓練深度模型的時候我們都希望能有一組好的初始值，能讓優化器更好地工作、讓模型更快收斂、以及訓練出更高的準確率。不過一直以來的慣例做法都是用隨機數作為初始值，效果好不好可以說完全看人品了，但畢竟也沒有什么好的替代方法。

這篇論文里作者們提出了一種不隨機的、生成對后續優化有幫助的網絡初始值的方法。這個方法來源于這個假說：好的初始值能讓梯度下降從一個局部線性、二階影響小的位置開始，這樣就能得到更好的梯度下降過程。作者們把這個假說做了公式化的描述，從而可以在任意網絡架構或者數據集上計算 —— 雖然這個過程也是用梯度下降計算的，但能快速找到好的權重初始值。

作者們在正常連接的神經網絡和帶有殘差連接的神經網絡上都進行了實驗，結果表明，通過他們的方法找到好的初始值從而訓練出的網絡不僅可以在沒有批標準化、沒有殘差連接的情況下獲得和最好的模型相當的表現，而且也可以自動地把網絡從不好的初始值里拯救出來。這個方法有一定的拓展性，可以用在ResNet-50的ImageNet訓練上。