<mark id="oztn4"></mark>
1
| 本文作者： 章敏 | 2016-08-17 18:15 |
聯(lián)合編譯：高斐，章敏，陳楊英杰
導讀：KDD2016是首屈一指的跨學科會議，它聚集了數(shù)據(jù)科學，數(shù)據(jù)挖掘，知識發(fā)現(xiàn)，大規(guī)模數(shù)據(jù)分析和大數(shù)據(jù)方面的研究人員和從業(yè)人員。
卷積神經(jīng)網(wǎng)絡(CNN)在計算機視覺的多個研究領域受到越來越廣泛的應用。由于卷積神經(jīng)網(wǎng)絡能夠通過利用數(shù)以百萬計的參數(shù)，“吸收”大量的標記數(shù)據(jù)，這種神經(jīng)網(wǎng)絡的應用受到普遍關注。然而，隨著模型尺寸不斷增大，對分類器的儲存與記憶要求也不斷提升，如此便對許多應用，如手機及其他設備的圖像識別，語音識別功能，形成阻礙。本文將呈現(xiàn)一種新型網(wǎng)絡建構----對頻率敏感的散列網(wǎng)（FreshNets），這種散列網(wǎng)是利用一個深度學習模型的卷積層與全面連接層之間固有存在的冗余建構形成，能夠極大程度上節(jié)省記憶與存儲消耗。學習卷積濾波器的權重通常是平穩(wěn)和低頻的，基于這一重大觀察結果，我們首先將濾波器的權重轉變?yōu)閹в须x散余弦變換的頻域，使用低成本的散列函數(shù)隨機將頻率參數(shù)劃分為散列桶位。被分配為同一個散列桶位的所有參數(shù)共享一個能夠運用標準反向傳播算法學會的單一值。為了進一步縮減模型的尺寸，我們將少數(shù)散列桶位分配給一些高頻率組分，這些高頻率組分通常不太重要。我們在八個數(shù)據(jù)集中對FreshNets進行評估，評估結果顯示，與其他幾種相關聯(lián)的基線相比，F(xiàn)reshNets具備更高的壓縮性能。
關鍵字：模型壓縮；卷積神經(jīng)網(wǎng)絡；散列
Wenlin Chen
學校：圣路易斯華盛頓大學計算機科學與工程系博士
主要研究領域：機器學習，數(shù)據(jù)挖掘，人工智能，其中尤其對深度學習和大規(guī)模機器學習兩個領域感興趣
相關學術成果：
·Strategies for Training Large Vocabulary Neural Language Models（Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016. （ACL-16））
·Compressing Convolutional Neural Networks in the Frequency Domain,（Proc. ACM SIGKDD Conference, 2016. （KDD-16））
·Deep Metric Learning with Data Summarization.European Conference on Machine Learning（2016 （ECML-16））
論文鏈接：原論文下載
線性模型在各種各樣的數(shù)據(jù)挖掘與機器學習算法中均得到了廣泛應用。這類模型的一個主要局限性在于缺乏從特征交互過程中獲取預測性信息的能力。盡管引進高階特征交互術語能夠克服這一缺點，這一方法仍將在極大程度上增加模型的復雜性，并且為處理學習過程中過度擬合現(xiàn)象帶來重大挑戰(zhàn)。當出現(xiàn)多種相互關聯(lián)的學習任務，這些任務中的特征交互通常是相互關聯(lián)的，為這種關聯(lián)關系建模對于提高這些特征交互學習的普適性起到關鍵性的作用。本文我們提出一種新型多重任務特征交互學習（MTIL）框架，以在高階特征交互過程中利用各種任務之間的聯(lián)系。具體來講，我們用張量來表示多重任務中的特征交互，利用這一張量，我們將關于任務關聯(lián)的先前知識納入不同的結構化調(diào)整過程中。在此學習框架下，我們制定出兩種具體的方法，即共享式交互方法和嵌入式交互方法。前者認為，所有的任務具有共同的交互模式，后者則認為，多重任務的特征交互具有共同的子空間。我們?yōu)橹贫ǔ鲞@兩種方案提供了高效的算法。有關這類合成的且真實的數(shù)據(jù)集的廣泛實證研究證實了我們所提出的多重任務特征交互學習框架的有效性。
關鍵字：多重任務學習；特征交互；機構化調(diào)整；張量標準
Kaixiang Lin
學校：密歇根州立大學計算機科學與工程系助教
主要研究領域：機器學習與數(shù)據(jù)挖掘
相關學術成果：
·Online Multi-task Learning Framework for Ensemble Forecasting（ submitted to TKDE）
·Synergies that Matter: Efficient Interaction Selection via Sparse Factorization Machine
（SDM，2016）
·GSpartan: a Geospatio-Temporal Multi-task Learning Framework for Multi-location Prediction. （SDM，2016）
下載鏈接：原論文下載
在智能私人助理方面，一種新的建議形式正在興起如Apple’s Siri、Google Now和 Microsoft Cortana，它們可以“在恰當?shù)臅r間推薦恰當?shù)男畔ⅰ保⒎e極主動地幫助你“把事情解決”。這種類型的推薦需要精確的跟蹤用戶當時的意圖，即，用戶打算知道什么類型的信息（例如，天氣，股票價格），和他們打算完成什么任務（例如，演奏音樂，打車）。用戶的意圖與語境是密切相關的，其中包括外部環(huán)境，如時間和地點，以及用戶的內(nèi)部活動（可以由個人助理感覺到）。語境和意圖之間表現(xiàn)出復雜的共同發(fā)生和序列相關，且語境信號也非常混雜、稀疏，這使得建模語境—意圖之間的關系，變成了一項具有挑戰(zhàn)性的任務。為了解決意圖跟蹤問題我們提出了Kalman filter regularize PARAFAC2 (KP2) 實時預報模型，它可以細密的表示語境和意圖之間的結構和共同運動。KP2模型在用戶上利用了協(xié)同能力，并學習每個用戶的個性化動態(tài)系統(tǒng)，以確保高效的實時預測用戶意圖。大部分實驗使用了來自商業(yè)個人助理的真實世界數(shù)據(jù)集，結果顯示KP2模型明顯優(yōu)于其它的所有方法，且在個人助理中部署大規(guī)模的主動建議系統(tǒng)方面，提供了鼓舞人心的啟示。
關鍵詞：建議；實時預測；多任務學習
Yu sun
學校：墨爾本大學計算與信息系統(tǒng)系
研究方向：語境行為挖掘，強化學習，最優(yōu)位置發(fā)現(xiàn)，空間/時間索引，算法設計/分析。
相關學術成果：
·A Contextual Collaborative Approach for App Usage Forecasting,（UbiComp, 2016）
·Reverse Nearest Neighbor Heat Maps: A Tool for Influence Exploration,（ICDE，966-977， 2016）
下載鏈接：原論文下載
實時競價顯示廣告中，每個印像的廣告位是通過拍賣機制進行出售的。對于一個廣告主來說，廣告活動的信息是不完整的——只有在廣告主的出價贏得了相應的廣告拍賣后，用戶的反饋（例如，點擊或轉換）和每個廣告印像的市場價格才可以被觀察到。預測，如市場價分布預測，點擊率（CTR）估計，和投標優(yōu)化，都是運行在預投標階段通過全量投標請求數(shù)據(jù)上的。然而，訓練數(shù)據(jù)是在后投標階段聚集的——對獲勝印象具有嚴重的偏向。學習這種刪失數(shù)據(jù)的普遍方法是重新加權數(shù)據(jù)實例，以糾正訓練和預測之間的不一致性。然而，在如何獲得獨立于投標策略的權重以及將它們整合到最終的CTR預測和投標生成步驟的研究非常很少。本文中，我們在這種刪失拍賣數(shù)據(jù)下制定了CTR評估和投標優(yōu)化。通過在一個生存模型上的推導，我們表明，以前的投標信息被自然地納入到投標意識梯度下降（BGD）算法中，它控制了實現(xiàn)無偏學習的梯度的權重和方向。基于兩個大規(guī)模真實世界的數(shù)據(jù)集經(jīng)驗學習，這種方法在我們的解法中顯示出了卓越的性能優(yōu)勢。學習框架已部署在Yahoo的實時競價平臺，且在一個在線A/B測試上，得到了CTR預估2.97%的AUC上升，和投標優(yōu)化任務中9.30% 的eCPC下降。
關鍵詞：無偏學習，刪失數(shù)據(jù)，實時競價，展示廣告。
第一作者簡介
Weinan Zhang（張偉楠）
學校：倫敦大學學院計算機科學系/2016年8月進入上海交通大學任職助理教授
研究方向:機器學習，大數(shù)據(jù)挖掘及其在計算廣告和推薦系統(tǒng)中的應用
相關學術成果：
·User Response Learning for Directly Optimizing Campaign Performance in Display Advertising（CIKM 2016）
·Learning, Prediction and Optimisation in RTB Display Advertising（CIKM，October 2016）
下載鏈接：原論文下載
在不同的推薦技術中，協(xié)同過濾通常因為稀疏的用戶-對象交互而性能受限。為了解決這些問題，我們通常用輔助信息來提高性能。由 于網(wǎng)絡上的信息快速收集，知識庫能提供異構信息，包括含不同語義的結構化和非結構化數(shù)據(jù)，它們可以被用到各類應用中。在本文中，我們研究如何利用知識庫中 的異構信息，來提高推薦系統(tǒng)的質(zhì)量。首先，通過利用知識庫，我們設計了三個組件分別從結構內(nèi)容，文本內(nèi)容和視頻內(nèi)容中提取對象的語義表述。具體來說，我們 采用的異構網(wǎng)絡嵌入方法，稱為TransR，考慮通過節(jié)點和關系的異質(zhì)性來提取對象的結構表示。我們采用堆疊降噪自動編碼器和堆疊卷積自動編碼器，這是基 于嵌入技術的深度學習的兩種類型，來分別提取對象的文本表示和圖像表示。最后，我們提出了最終的集成框架，稱為協(xié)同知識庫嵌入（CKE），來聯(lián)合學習協(xié)同 過濾出的潛在表征以及知識庫中對象的語義表征。為了評估每個嵌入組件以及整個系統(tǒng)的性能，我們通過兩個不同情境的現(xiàn)實世界數(shù)據(jù)集，進行了廣泛的實驗。結果 表明，我們的方法優(yōu)于幾種被廣泛采用的最先進的推薦方法。
關鍵詞：推薦系統(tǒng)；知識庫嵌入；協(xié)同學習
Fuzheng Zhang（張富崢）
機構：微軟亞洲研究院副研究員，中國科技大學計算機系博士。
研究方向：用戶模型、推薦系統(tǒng)、深度學習、情感檢測、社交網(wǎng)絡、時空數(shù)據(jù)挖掘、普適計算、大規(guī)模系統(tǒng)。
作者信息鏈接：https://www.microsoft.com/en-us/research/people/fuzzhang/
下載鏈接：原論文下載
在本文中，對于深入研究影響力最大化，我們在邊際影響力概率預估中提出了關于不確定性的重要問題，即在社交網(wǎng)絡中，找到可以最 大化傳播影響力的種子節(jié)點k的任務。我們提出的魯棒性影響力最大化的問題，就是給定輸入?yún)?shù)的不確定性，在所選種子設置和最佳種子設置的影響力傳播之間最 大化最壞情況下的比例。我們設計了一種算法，依靠方案相關邊界來解決這個問題。我們通過進一步研究均勻采樣和自適應采樣方法來有效減少參數(shù)不確定性，并提 高了影響力最大化任務的魯棒性。我們的實驗結果表明，參數(shù)不確定性可能會嚴重影響影響力的最大化，并且之前的研究也表明，經(jīng)驗影響的概率會因為參數(shù)預估不 確定性較大，而導致魯棒性影響最大化的性能很差。基于自適應抽樣方法的信息疊加也許可以有效改善影響力最大化的魯棒性。
關鍵詞：社交網(wǎng)絡；影響最大化；魯棒性優(yōu)化；信息傳播
陳衛(wèi)
學校：微軟亞洲研究院高級研究員，清華大學客座教授，中國科學院計算所客座研究員，多個國際頂級數(shù)據(jù)挖掘和數(shù)據(jù)管理會議（KDD、 WSDM、 SIGMOD、 ICDE、 WWW等）的程序委員會成員，中國計算機學會大數(shù)據(jù)專家委員會首批成員，《大數(shù)據(jù)》期刊編委。
研究方向：社交與信息網(wǎng)絡算法和數(shù)據(jù)挖掘、網(wǎng)絡博弈論和經(jīng)濟學、在線學習等。
近幾年在社會影響力最大化方面的一系列開創(chuàng)性研究成果：在KDD、 ICDM、SDM、 WSDM、 ICWSM、 AAAI、 VLDB等頂級數(shù)據(jù)挖掘、人工智能和數(shù)據(jù)庫學術會議上發(fā)表后得到良好反響，并引發(fā)這一方向眾多的后續(xù)工作。最早發(fā)表的KDD’ 2009論文被引用次數(shù)排同會議所有論文第二位，而第二篇KDD’ 2010論文被引用次數(shù)排同會議所有論文第一位。 2013年與另外兩位合作者合寫了一部關于影響力傳播和最大化的專著（Information and Influence Propagation in Social Networks, Morgan& Claypool, 2013），系統(tǒng)總結了這方面的研究成果和最新發(fā)展。另外，在與社會和信息網(wǎng)絡相關的方向，如社區(qū)檢測、網(wǎng)絡中心化度量排序、網(wǎng)絡博弈、網(wǎng)絡定價、網(wǎng)絡激勵機制等方面也都做出開創(chuàng)性的工作，其中將博弈論引入網(wǎng)絡社區(qū)檢測的論文獲得了2010年歐洲機器學習及數(shù)據(jù)挖掘會議最佳學生論文獎。
下載鏈接：原論文下載
PS : 本文由雷鋒網(wǎng)獨家編譯，未經(jīng)許可拒絕轉載！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
