Paper 研習(xí)社本周論文推薦精選 | 第四期

①

#詞嵌入# #自然語言處理#

詞和短語的分布表示及其構(gòu)成

推薦理由：1.本文所解決的核心問題：skip-gram是word2vec中非常經(jīng)典的一種學(xué)習(xí)方法，它的核心是通過中心詞來預(yù)測上下文，但它存在計(jì)算效率慢的問題，其核心在于最終的目標(biāo)函數(shù)

如圖所示，是它的目標(biāo)函數(shù)是一個(gè)softmax的計(jì)算，這個(gè)計(jì)算量和整個(gè)數(shù)據(jù)字典有關(guān)，這就導(dǎo)致了當(dāng)我們通過中心詞預(yù)測周圍詞的時(shí)候，每預(yù)測一次就要完成整個(gè)字典級別的softmax的計(jì)算量，這顯然效率低下。本論文通過一些思想轉(zhuǎn)變，巧妙的將目標(biāo)函數(shù)進(jìn)行更改，提高了skip-gram的運(yùn)行效率。

2.本文的創(chuàng)新點(diǎn)：

本論文的核心在于提高skip-gram的運(yùn)行效率，他提出了幾個(gè)方法：

第一個(gè)方法：分層Softmax

第二個(gè)方法：采用負(fù)采樣的目標(biāo)函數(shù)

第三個(gè)方法：常用詞的二次抽樣

3.本文對于該話題的研究意義：

詞嵌入是當(dāng)今自然語言理解中最核心的領(lǐng)域之一，如何能夠更好更快的學(xué)習(xí)出詞向量又是詞嵌入的關(guān)鍵點(diǎn)，但是上面的幾個(gè)方法都不是skip-gram中獨(dú)家用的，有些方法已經(jīng)存在，本文從實(shí)際問題出發(fā)，將skip-gram和一些方法結(jié)合，從而解決了最終的問題，這啟示我們從目標(biāo)問題入手，從而解決問題。

論文鏈接：https://paper.yanxishe.com/review/225?from=leiphonecolumn

項(xiàng)目鏈接：

https://github.com/huanfengAI/Artificial-Intelligence-Practice-pytorch/blob/master/word_embedding/quick_skip_gram.ipynb

推薦人：幻風(fēng)magic（燕山大學(xué)計(jì)算機(jī)技術(shù)專業(yè)，Paper 研習(xí)社特約作者）

②

#深度學(xué)習(xí)#

聆聽混沌的低語：新聞導(dǎo)向的股票趨勢預(yù)測的深度學(xué)習(xí)框架

推薦理由：本文要解決的問題是如何從各種低質(zhì)量、充滿噪音的新聞和評論中提取有用的信息來提高股票價(jià)格預(yù)測的表現(xiàn)。

為了解決這個(gè)挑戰(zhàn)，這篇論文試圖模擬人類面對混亂的在線新聞的學(xué)習(xí)過程的三個(gè)原則：順序內(nèi)容依賴，多元影響，有效和高效的學(xué)習(xí)。這篇論文設(shè)計(jì)了一個(gè)混合注意力網(wǎng)絡(luò)來根據(jù)最近相關(guān)新聞的順序來預(yù)測股票走勢（符合前兩個(gè)原則）。然后還運(yùn)用自學(xué)的學(xué)習(xí)機(jī)制來選擇不同訓(xùn)練階段使用的訓(xùn)練樣本數(shù)（符合第三個(gè)原則）。

這篇論文貢獻(xiàn)了一個(gè)目前基于新聞的股票價(jià)格預(yù)測的基準(zhǔn)方法HAN(Hybrid Attention Networks)，之后的研究基本都會(huì)跟這篇論文中的模型進(jìn)行比較。

論文鏈接：https://paper.yanxishe.com/review/229?from=leiphonecolumn

項(xiàng)目鏈接：https://github.com/gkeng/Listening-to-Chaotic-Whishpers--Code

推薦人：琴?福克納（清華大學(xué)信息與通信工程專業(yè)，Paper 研習(xí)社特約作者）

③

#目標(biāo)檢測# #深度學(xué)習(xí)#

使用偽標(biāo)簽的半監(jiān)督視頻顯著目標(biāo)檢測

推薦理由：基于深度學(xué)習(xí)的視頻聚焦區(qū)域檢測已經(jīng)超過了大量無監(jiān)督方法。但是這種方法依賴于大量手動(dòng)標(biāo)記的數(shù)據(jù)。

在本文中，作者使用偽標(biāo)簽來解決半監(jiān)督視頻焦點(diǎn)區(qū)域檢測問題。

具體地，本文提出了一種視頻聚焦區(qū)域檢測器，其包括空間信息改善網(wǎng)絡(luò)和時(shí)空模塊。

基于這樣的結(jié)構(gòu)和光流，提出了一種從稀疏標(biāo)記的幀生成像素級偽標(biāo)簽的方法。使用生成的偽標(biāo)簽和部分手動(dòng)注釋，探測器學(xué)習(xí)了時(shí)空對比度和幀間一致性的線索，從而產(chǎn)生準(zhǔn)確的聚焦區(qū)域。

實(shí)驗(yàn)表明，該方法大大超過了跨多個(gè)數(shù)據(jù)集的現(xiàn)有完全監(jiān)督方法。

論文鏈接：https://paper.yanxishe.com/review/233?from=leiphonecolumn

推薦人：望北（重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)）

④

#多模態(tài)數(shù)據(jù)##推薦系統(tǒng)#

一種從多模態(tài)數(shù)據(jù)中提取信息特征的有效方法

推薦理由：Hirschfeld-Gebelein-Rényi（HGR）最大相關(guān)性是從多模態(tài)數(shù)據(jù)中提取特征的重要指標(biāo)。然而，在HGR最大相關(guān)性中形式化的嚴(yán)格白化約束限制了其應(yīng)用。

這篇文章提出了Soft-HGR，該框架可防止HGR最大相關(guān)性的嚴(yán)格白化約束，同時(shí)還保留與HGR最大相關(guān)性相同的特征幾何。同時(shí)這篇文章提出的指標(biāo)只涉及兩個(gè)內(nèi)積，保證了優(yōu)化的效率和穩(wěn)定性。

該模型還可以進(jìn)一步擴(kuò)展到處理兩種以上模態(tài)數(shù)據(jù)和多模態(tài)數(shù)據(jù)中模態(tài)缺失的情形。

論文鏈接：https://paper.yanxishe.com/review/490?from=leiphonecolumn

推薦人：feima0969（清華大學(xué)數(shù)據(jù)科學(xué)，Paper 研習(xí)社特約作者）

⑤

#圖神經(jīng)網(wǎng)絡(luò)# 

PNUNet：異常檢測使用正 - 和負(fù)噪聲基于  自我訓(xùn)練過程

推薦理由：我們提出了在圖像異常檢測的新框架。我們新的框架，PNUNet，是基于許多正常的數(shù)據(jù)和一些異常數(shù)據(jù)。我們假設(shè)一些噪聲被添加到輸入圖像，學(xué)會(huì)刪除噪聲。此外，所提出的方法實(shí)現(xiàn)顯著的性能改進(jìn)通過使用自訓(xùn)練更新所述輸入假設(shè)噪聲框架。為基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，我們新的異常檢測框架的有效性。

論文鏈接：https://paper.yanxishe.com/review/673?from=leiphonecolumn

推薦人：摩頓?喬丹

???

除了上述的的五篇精選論文推薦，我們還為你精心準(zhǔn)備了可以一鍵下載的論文集：

ICCV 2019 Accepted Paper Full List

下載地址：https://www.yanxishe.com/resourceDetail/1017?from=leiphonecolumn

ICLR 2019 論文合集

下載地址：https://www.yanxishe.com/resourceDetail/1026?from=leiphonecolumn

ACL 歷年最佳論文合集

下載地址：https://www.yanxishe.com/resourceDetail/1009?from=leiphonecolumn

ICCV 2019 | 最新公開的51篇 Oral Paper 合集

下載地址：https://www.yanxishe.com/resourceDetail/1010?from=leiphonecolumn

EMNLP 2019 | 10篇論文實(shí)現(xiàn)代碼合集及下載

下載地址：https://www.yanxishe.com/resourceDetail/1013?from=leiphonecolumn

NeurIPS 2019 GNN 論文合集

下載地址：https://www.yanxishe.com/resourceDetail/1006?from=leiphonecolumn

AAAI （1996-2019）歷年最佳論文合集

下載地址：https://www.yanxishe.com/resourceDetail/991?from=leiphonecolumn

快來下載試試吧！

想要閱讀更多精彩論文？

點(diǎn)擊閱讀原文跳轉(zhuǎn) https://paper.yanxishe.com?from=leiphonecolumn

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)