頂會見聞系列：ICML 2018（上），表示學習、網絡及關系學習

雷鋒網 AI 科技評論按：本篇屬于「頂會見聞系列」。每年這么多精彩的人工智能/機器學習會議，沒去現場的自然可惜，在現場的也容易看花眼。那么事后看看別的研究員的見聞總結，也許會有新的收獲呢。

Gautier Marti 在法國巴黎高等師范學校獲得應用數學的碩士學位，而后在巴黎綜合理工學院獲得機器學習量化分析的博士學位。2013 年 3 月至 5 月，Gautier Marti 在中科院自動化研究所模式識別國家重點實驗室實習。在 2014 年至 2017 年任 Hellebore Capital 的機器學習研究科學家之后，現在他在 AXA IM Chorus 任 NLP 量化分析研究員。機器學習+金融的研究人員對理論性較強的 ICML 有何感悟呢？雷鋒網 AI 科技評論把他的個人博客文章全文編譯如下。本篇為上篇，共兩篇。

本屆 ICML 大會于 2018 年 7 月11 日進入了主會議日程（7月10日的內容為教程）。會議伊始，UC 伯克利大學 Dawn Song 教授應邀為大會做了題為「人工智能與安全：教訓、挑戰和未來研究方向」的主旨報告。接著，本屆 ICML 會議的最佳論文獎頒發給了「由模糊梯度引起的虛假安全感：繞過對抗性樣本的防御」。

大會報告

Dawn Song 教授的「人工智能與安全：教訓、挑戰和未來研究方向」的大會報告主要有以下幾個關鍵的論點：

• 計算機安全方面的研究可以幫助 AI 研究的發展，而 AI 的研究也可以幫助計算機安全進步（舉例而言，為了檢測出惡意代碼，人們可以對代碼的（數據流、控制流等）圖進行計算。此時，我們就可以利用圖嵌入技術將代碼圖的信息轉換到相應的表示向量中。最終使用余弦相似度作為度量指標將原始代碼與樣本庫中的代碼進行對比，從而判斷原始代碼是否為惡意代碼）。

• 差分隱私（雷鋒網 AI 科技評論注：原作者在此處沒有展開，我們的一篇往期文章有較細致的分析）

• 有一些模型（特別是深度神經網絡）可以記住一部分訓練集中的信息（從數據學習的副作用）。而事實上，人們并不應該具備通過對模型進行查詢從而反推出訓練集中的數據的能力（不妨想一想信用卡號或其他的敏感信息）。

• 人工智能、計算機安全、區塊鏈等技術之間的協同作用。例如，在設計一個數據集市（數據來源）時，用戶可能由于其信息被泄露而受到損害。然而，我們可以通過智能合約技術保證用戶的數據將僅僅被用于擬合機器學習模型，而用戶將從中收到報酬。所有這些對這些數據的隱私安全保護方法都要歸功于差分隱私技術。我知道，你在這一段中看到了許多流行的概念，考慮到 Song 教授的一系列工作的記錄，這個領域可能還有很多值得研究的空間。

• 實際上，Song 教授目前是一家基于以上的想法創建的公司——「Oasis Labs」的創始人和首席執行官。

最佳論文

我從最佳論文「由模糊梯度引起的虛假安全感：繞過對抗性樣本的防御」中有以下收獲：

•  一個對抗性樣本是一個以很高的置信度被錯誤分類的樣本，它與被正確分類的樣本非常相似（甚至對于人眼來說，兩張圖像是一摸一樣的。不妨想象一下，當我們僅僅對一個圖片的幾個像素點進行改變，這時人眼是無法區分的，而機器學習算法則可能被誤導）。

• 這可能讓那些對自己的機器學習模型的魯棒性十分關心的人感到懊惱，而且這也帶來了新的安全威脅：你可以通過適當修改道路交通標志來愚弄一個無人駕駛汽車。

• 這樣的對抗性樣本是相對來說很容易生成的。

• 研究人員專注于通過對他們的梯度進行模糊處理來保護他們的模型。

• 本文指出，這種防御方式是很弱的，而且他們攻破了目前最先進的防御方法。

• 論文的講解人提議對論文進行更多的評估（重新評估）：在200 多篇提出了一種防護策略的論文中，只有30 篇被重新評估了。

• Schneier 定律：對于任何人來說（從最小白的業余愛好者到最專業的密碼專家），他們都可以創造一種他們自己無法突破的算法。

• 在提出防御策略之前，要先學會怎么進行攻擊。

分會場討論

在上面提到的全體大會報告后，7 月11 日的 ICML 大會余下的內容分為了三個分會場，會場之間的主題高度平行（相關度較低）。同時也有晚間的海報討論。

我參加了以下會議討論：

表示學習（session 1）

不幸的是，遷移學習和多任務學習的會場已經滿了。在我的工作中，我大多數時候都是與無標簽數據打交道，因此，我對無監督學習、弱監督學習及半監督學習十分感興趣。嵌入技術是目前一個非常火的課題，盡管目前人們還不是太清楚嵌入技術是如何影響下游任務的（如果嵌入并不是從下游任務中提取到的），但通過嵌入技術確實能夠得到非常好的學習結果。

高斯過程+稀疏化和壓縮感知稀疏化的最后一篇論文（下方論文列表第一篇）（session 2A）

高斯過程是一種用于連續時間內的隨機時間序列的無參貝葉斯技術，并且具有很強的應用價值。我曾經使用過 GPy2 擬合高斯過程，并在對自回歸異步多變量時間序列建模時把它作為一種替代方法。

排序學習和優先級學習（session 2B）

我之所以參加這個討論，主要是因為一種量化交易的方法可以被看作通過學習根據某些指標對股票進行排名，并最終合并排名和優先級。

網絡和關系學習（session 3）

我過去曾經在這個領域開展過廣泛的工作。盡管我并不是對深度學習進行研究，但是我曾大量使用古老的統計方法和曾經風靡一時的層次聚類技術（詳情參見這篇論文：https://arxiv.org/pdf/1703.00485.pdf  ）。對于我來說，對這個話題的討論是最令我激動的。

具體而言，我重點關注了以下論文：

「Online Convolutional Sparse Coding with Sample-Dependent Dictionary（通過基于樣本的字典進行在線卷積稀疏編碼）」：HKers 聲稱他們提出了一種只需保留少量過濾器的基礎（用于生物醫學圖像壓縮/去噪/重構），就能夠在隨后通過線性變換（是一個學習到的基于樣本的權值矩陣）進行大規模的擴展的技術。

「Canonical Tensor Decomposition for Knowledge Base Completion（用于完善知識庫的正則化張量分解技術）」：這是我以前的一位同學的工作，他現任職于 Facebook 人工智能研究院。可以在GitHub（https://github.com/facebookresearch/kbc）上查看本文代碼。

「NetGAN: Generating Graphs via Random Walks（NetGAN：通過隨機游走生成圖）」：這篇文章的演講非常清楚。GAN（生成對抗網絡）可以利用輸入中給定的圖生成與其極為相似的圖，還能微調成一些擁有相同節點的圖。對于我自己在金融的相關性、金融中程式化的事實以及隱含嵌入空間方面的研究提供了一些有趣的思路。這篇論文的海報非常有說服力。可以在 GitHub 上查看這篇論文的代碼：https://github.com/danielzuegner/netgan

「GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models（GraphRNN：通過深度自回歸模型生成與真實情況相近的圖）」：使用圖的序列表示生成模型，然后在上面應用RNN（循環神經網絡）模型。可以在GitHub 上查看本文代碼：https://github.com/JiaxuanYou/graph-generation

「CoVeR: Learning Covariate-Specific Vector Representations with Tensor Decompositions（CoVeR：通過張量分解學習共變量的矢量表示）」：在學習嵌入的語料庫中調整詞嵌入。

第二天、第三天的內容請期待下篇。

via Gautier Mari's Wander，雷鋒網 AI 科技評論編譯

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。