優(yōu)必選悉尼 AI 研究院 AAAI 2018 頂會論文一覽

雷鋒網(wǎng) AI 科技評論按：第 32 屆人工智能頂級會議 AAAI 2018 在美國新奧爾良召開。在今年的 AAAI 上，優(yōu)必選悉尼 AI 研究院共有 5 篇論文入選，其中 3 篇 oral，2 篇 poster。

在 AI 科技評論推出的數(shù)據(jù)庫項目「AI 影響因子」中，優(yōu)必選悉尼 AI 研究院已經(jīng)憑借 4 篇 CVPR 錄用論文上榜「AI 影響因子論文類目活躍企業(yè)」。優(yōu)必選悉尼 AI 研究院也即將在五月份于 AI 慕課學院上做論文解讀的直播分享，敬請期待。

論文摘要如下：

論文 1：Domain Generalization via Conditional Invariant Representation

為了將從源域的數(shù)據(jù)里學習到的模型泛化到將來的某個目標域，我們的方法希望學習到域不變的特征。以前的域自適應方法都是通過匹配特征的邊緣分布 P(X) 來學習域不變特征，但是這種方法假設 P(Y|X) 在不同的域穩(wěn)定不變，現(xiàn)實情況很難保證。我們提出通過匹配條件概率 P(X|Y) 并同時衡量 P(Y) 的變化來保證不同域之間的聯(lián)合分布 P(X,Y) 相同。條件域不變特征通過兩個損失函數(shù)進行學習，一個衡量以類為條件的分布差異，一個衡量以類別歸一化的邊緣概率分布的差異，從而達到匹配聯(lián)合分布的效果。如果目標域的 P(Y) 變化不大，那么我們可以保證得到很好的匹配目標域的特征。

論文 2：Adversarial Learning of Portable Student Networks

學習具有較少參數(shù)的深度神經(jīng)網(wǎng)絡的方法是迫切需要的，因為重型神經(jīng)網(wǎng)絡的龐大的存儲和計算需求在很大程度上阻止了它們在移動設備上的廣泛使用。與直接去除權(quán)值或卷積核以獲得比較大的壓縮比和加速比的算法相比，使用教師網(wǎng)絡-學生網(wǎng)絡學習框架的模式來訓練輕型網(wǎng)絡是一種更靈活的方法。然而，在實際應用中，我們很難確定利用哪一種度量方式來從教師網(wǎng)絡中選擇有用的信息。為了克服這一挑戰(zhàn)，我們提出利用生成對抗網(wǎng)絡來學習輕型的學生神經(jīng)網(wǎng)絡，具體地，生成器網(wǎng)絡就是一個具有非常少權(quán)值參數(shù)的學生神經(jīng)網(wǎng)絡，判別器網(wǎng)絡被當作一個助教，用來區(qū)分學生神經(jīng)網(wǎng)絡和教師神經(jīng)網(wǎng)絡所生成的特征。通過同時地優(yōu)化生成器網(wǎng)絡和判別器網(wǎng)絡，本文生成的學生神經(jīng)網(wǎng)絡可以對輸入數(shù)據(jù)生成具有跟教師神經(jīng)網(wǎng)絡特征具有同樣分布的特征。

論文 3： Reinforced Multi-label Image Classification by Exploring Curriculum

人和動物學習經(jīng)過組織的知識比學習雜亂的知識更為高效。基于課程學習的機制，我們提出了一種強化多標簽分類的方法來模擬人類從易到難預測標簽的過程。這種方法讓一個強化學習的智能體根據(jù)圖像的特征和已預測的標簽有順序地進行標簽預測。進而，它通過尋求一種使累計獎賞達到最大的方法來獲得最優(yōu)策略，從而使得多標簽圖像分類的準確性最高。我們在 PASCAL VOC2007 和 PASCAL VOC2012 數(shù)據(jù)集上的實驗表明了，在真實的多標簽任務中，這種強化多標簽圖像分類方法的必要性和有效性。

論文 4： Learning with Single-Teacher Multi-Student

本文研究了如何通過一個單一的復雜通用模型來學習一系列的輕量專用模型，即單老師多學生 (Single-Teacher Multi-Student) 問題。以經(jīng)典的多分類和二分類為例，本文圍繞著如何利用一個預訓練的多分類模型來衍生出多個二分類模型，其中每個二分類模型對應不同的類別。在實際場景中，許多問題可以被看做這一范疇；例如，基于一個通用的人臉識別系統(tǒng)對于特定的嫌犯進行快速準確地判斷。然而，直接使用多分類模型進行二分類操作的推斷效率不高，從頭訓練一個二分類器的分類表現(xiàn)往往不好。本文通過將多分類器看做老師，將目標的二分類器看做學生，提出了一種門化支持向量機 (gated SVM) 模型。此模型中，每一個二分類器可以結(jié)合多分類器的推斷結(jié)果給出自己的預測；此外，每個學生可以獲得由老師模型給出的樣本復雜度度量，使得訓練過程更加自適應化。在實際實驗中，所提模型取得了不錯的效果。

論文 5： Sequence-to-Sequence Learning via Shared Latent Representation

受人腦可以從不同的模態(tài)學習和表達同一抽象概念的啟發(fā)，本文提出了一個通用的星狀框架實現(xiàn)序列到序列的學習。該模型中將不同模態(tài)的內(nèi)容（外圍節(jié)點）編碼到共享隱表征（shared latent representation，SLR），即中央節(jié)點中。SLR 的模態(tài)不變屬性可以被視為中間向量的高級正則化，強制它不僅捕獲每個單個模態(tài)的隱式表示（如自動編碼器），而且還可以像映射模型一樣進行轉(zhuǎn)換。因此，我們可以從單個或多個模態(tài)學習 SLR，并且生成相同的（例如句子到句子）或不同的（視頻到句子）的模態(tài)信息。星型結(jié)構(gòu)將輸入與輸出分離，為各種序列學習應用提供了一個通用且靈活的框架。此外，SLR 模型是內(nèi)容相關(guān)（content-specific）的，這意味著它只需要對數(shù)據(jù)集進行一次訓練，就可以用于不同的任務。