阿里蓋坤團隊提出深度興趣網絡，更懂用戶什么時候會剁手

雷鋒網 AI 科技評論按：相比于Facebook和谷歌時不時發出機器學習方面的論文，國內BAT要顯得沉默一點，拿出的非常前沿的成果也不那么多。但這可絲毫不能抹殺他們以實際應用問題為導向做出的努力。雷鋒網了解到，阿里的技術團隊就剛剛在arXiv上公開了一篇論文，用他們設計的深度興趣網絡（Deep Interest Network，DIN）解決準確預測點擊量的問題。

團隊背景

這篇論文來自阿里媽媽（阿里巴巴集團的大數據營銷推廣平臺）的精準定向檢索及基礎算法團隊，團隊負責人是清華博士蓋坤。他們團隊的目的是幫商家更準確地預測用戶的行為，投放更精準的廣告——也就讓用戶更容易踏上剁手的不歸路，說起來真是讓人糾結。

 蓋坤（靖世）

據雷鋒網 AI 科技評論了解，蓋坤本科畢業于清華大學自動化專業，然后直博模式識別與智能系統方向，畢業后就加入了阿里巴巴任技術專家，花名靖世，現在已經是阿里媽媽事業部精準展示廣告技術部P10級別的技術總監。

蓋坤在頂級期刊和會議（NIPS／CVPR／AAAI / TPAMI等）上發表過多篇論文，前幾年就提出過MLR（Mixture of  Logistic Regression，分片線性學習）算法用來提高阿里巴巴對廣告點擊率預測的準確度。相比傳統線性模型，MLR可以自動挖掘數據中的非線性模式，避免了大量人工特征設計；同時MLR引入的范數正則可以使最終訓練出的模型有較高的稀疏度，模型的學習能力和在線預測能力顯著高于傳統線性模型。蓋坤本人也對MLR做過一份PPT介紹，可以看這里 海量數據下的非線性模型探索 - 蓋坤。

新結構 - 深度興趣網絡

這篇名為「Deep Interest Network for Click-Through Rate Prediction」的新論文展示了蓋坤團隊在廣告點擊率預測方面利用深度學習達到的最新進展。

深度學習在模式識別、非線性關聯方面的優勢吸引到了蓋坤團隊的注意，但是他們發現直接把基本的多層全連接神經元用來做訓練和預測的時候會出現對用戶歷史行為數據利用不夠好的問題，他們認為準確率還有進一步提升的空間。

通過觀察阿里巴巴采集的用戶歷史行為數據，蓋坤團隊發現有兩個指標對廣告點擊率預測準確率有重大影響，一個是“多樣性（Diversity）”，一個用戶可以對很多不同品類的東西感興趣；另一個指標是“部分對應（Local activation）”，只有一部分的數據可以用來預測用戶的點擊偏好，比如系統自動向用戶推薦的太陽鏡會跟用戶買的泳衣產生關聯，但是跟用戶買的書就沒什么關系了。

用戶歷史購買商品與廣告中商品間對應程度的計算

基于這兩個指標，蓋坤團隊受到用于機器翻譯的注意力模型啟發，對基本的多層全連接神經元架構（左圖）進行了修改，從而提出了深度興趣網絡（Deep Interest Network，DIN，右圖）的新結構。

基本模型架構與DIN模型架構對比

DIN把用戶的興趣看作一個分布，然后借助類似注意力模型的新增網絡結構對用戶的歷史數據和待估算的廣告之間部分匹配、計算權重，再輸出給累加器和池化層，這樣一來，匹配度越高的歷史數據就對結果的影響越大。據論文介紹，這樣的網絡結構可以對多樣性和部分對應兩種指標都形成有效利用，而以往的網絡模型是很難利用到部分對應這一指標的。

阿里巴巴在生產環境中測試了DIN模型，用20天的數據進行訓練，用第21天的數據進行測試，使用的指標是論文中提出的泛化AUC（基于用戶的分組加權平均AUC）。與基礎模型對比，DIN的準確性有可見提升，達到1.08%。

基礎模型與DIN測試結果對比

實現方法

除了新的網絡架構本身，蓋坤團隊還在論文中介紹了一些為了順利把模型用于生產所用到的方法。

把稀疏特征嵌入向量

特征空間中的商品向量

如圖，論文中隨機選取了9個類別、各100種商品，每類商品用同樣形狀的點表示。展現在特征空間中的向量很好地展現出了DIN網絡的聚類屬性。另外，圖中點的顏色代表了網絡預測的用戶購買的可能性，紅色最高，藍色最低。

處理過擬合

基礎模型和DIN模型都遇到了大量參數、稀疏輸入時過擬合的問題。所以蓋坤團隊設計了一個自適應性的正則化方法，它可以對出現頻率不同的項目給予不同的懲罰，犧牲了一點訓練速度避免了過擬合的出現。論文中對比了多種不同的正則化方法，這個自適應方法的表現還不錯。

不同正則化方法間效果對比

基于XDL平臺構建分布式系統

為了實現工業級的大規模稀疏輸入、百億級參數訓練，蓋坤團隊基于XDL平臺構建了多GPU的并行模型、并行數據平臺。

由于XDL平臺高性能、高靈活性的特點，蓋坤團隊借助分布式嵌入層（Distributed Embedding Layer）、本地后端（Local Backend）、溝通組件（Communication Component）幾個模塊構建出的系統訓練速度提升了10倍，調節參數的效率也提升了不少。

論文就介紹到這里，原文地址 https://arxiv.org/abs/1706.06978  。巧的是，蓋坤博士也會親臨今年雷鋒網與香港中文大學（深圳）承辦的 CCF-GAIR2017大會現場，并發表主題演講。想了解蓋坤博士最新研究動態的讀者們，距離大會開幕只剩兩周啦，抓緊購票，不要錯過現場感受蓋坤博士在內的大牛們學術風采的機會。

相關文章：

阿里巴巴AI實驗室首席科學家王剛：構建智能之物是阿里AI的下一步| EmTech香港峰會

阿里云肖力：讓數據從孤島一隅，跨越到智能之路