PAKDD 2019 AutoML 挑戰賽圓滿落幕，中國隊伍包攬前三

雷鋒網 AI 科技評論按，近日，亞太地區數據挖掘領域的頂級國際會議——第 23 屆亞太地區知識發現與數據挖掘國際會議（Pacific Asia Knowledge Discovery and Data Mining，PAKDD）在澳門成功舉行。本次大會，南京大學人工智能學院院長周志華首先做了開幕致辭，第四范式首席科學家楊強教授、普渡大學副教授 Jennifer Neville、羅格斯大學大學終身教授熊輝、羅維拉·維爾吉利大學名譽教授 Josep Domingo-Ferrer 等知名科學家先后在現場分享了對于知識挖掘領域最新的思考與技術進展。

除此之外，大會另一個重要看點是由第四范式、ChaLearn、微軟、亞馬遜聯合舉辦的「PAKDD 2019 AutoML Challenge」挑戰賽，現場公布了大賽最終成績并舉行了頒獎儀式，深蘭科技 DeepBlueAI 、微軟亞洲研究院、北航組成的 ML Intelligence 以及清華大學的 Meta_Learners 三只來自中國的隊伍包攬了本次比賽前三名，充分展示國內在 AutoML 研究領域的實力。

據悉，本次 AutoML 大賽共吸引了全球 127 支隊伍參加，提交超 550 個競賽方案，最終有 31 支隊伍進入決賽進行最終的比拼。比賽共分為 Feedback phase、Test phase、AutoML phase 三個階段，最終成績按照 AutoML phase 的 AUC 結果進行評估排序得出，前三名成績排序在 Feedback phase、AutoML phase 兩個階段均一致。

本次比賽題目是貼近實際應用的終身自動機器學習（AutoML for Lifelong Machine Learning），旨在解決實際應用過程中，數據分布不斷變化的動態環境給自動化機器學習帶來的難題。在設計能夠自主實現終身機器學習的方案中，需兼顧計算效率、多種特征類型、概念漂移（Concept Drift）、終身機器學習設定等諸多挑戰。

以本次大賽冠軍 DeepBlueAI 方案為例，囊括了自動特征工程、自動特征選擇、自動模型調參、自動模型融合等步驟的 AutoML 框架，并對數據類別不均衡、概念漂移、時間空間等方面進行了針對性的處理和優化，同時也有針對性的對概念漂移問題進行處理，并且利用了多種策略對運行時間和運行內存進行了有效的控制，以確保解決方案能在規定時間和有限內存下完成整個流程，并最終在挑戰賽中脫穎而出。

除了 DeepBlueAI 外，ML Intelligence 本次參賽方案也提供另一類的方法，我們都知道 AutoML 系統從每一批數據的輸入到每一批的輸出，實現端到端的自動化，完全不需要人參與，其中核心是自動算法，包括自動配置，自動調參，自動特征衍生和自動篩選等。本次競賽方案中，ML Intelligence 為了能適應一個長時學習和在線學習的場景，能夠適應特征或者樣本的概念漂移，提出了一種基于模型的 (model based) 的方法，這與傳統的基于分布 (distribution based) 的概念漂移檢測方法不同，不需要用人的經驗來做一些分布指標就能夠實現漂移特征的自動檢測。實際操作是訓練一個特別簡單的 GBDT 模型，來區分兩個時間窗的樣本，通過特征重要性排序來排序分布偏移的大小。然后為了適應場景，對高階衍生特征和原始重要特征做了不同的處理。

另外，Meta_Learners 團隊本次設計了一套基于梯度提升樹（Gradient Boosting Tree）、概念遷移自適應的自動機器學習（AutoML）系統。在傳統 AutoML 框架基礎上，結合本次比賽的特點進行了針對性的設計。首先，在特征工程方面針對類別特征高基數、長尾分布的特點采用了頻數編碼；并設計了自動特征工程模塊，可以針對不同數據集的特點，高效地提取出有助于提升模型預測效果的多種特征組合；在概念遷移自適應方面，采用自適應的流式協同編碼技術，提高數據集的表征一致性，從而提升了預測性能。在超參數調節上，團隊設計了一種結合了先驗知識和自動搜索的層次化自動調參策略，從而保障整個系統運行的效率和魯棒性。

盡管本次大賽周期覆蓋了中國春節假期以及學生的期末放假時期，但是競爭非常激烈；同時，由于 NeurIPS 2018 的冠軍隊伍也公布了他們的方案，我們也看到這一屆的前三效果都遠遠超出了 NeurIPS 2018 年的冠軍解決方案效果；在整體方案上，這次前三在時序特征處理、不平衡數據處理以及對概念漂移問題的處理相比 NeurIPS AutoML 的解決方案都有了非常多的創新與進步。

近年來，AutoML 學術研究和應用逐漸從前沿研究邁入了行業主流發展的階段，越來越多的研究機構和企業都紛紛開始 AutoML 的研究工作。PAKDD 2019 AutoML 挑戰賽是今年 AutoML 的首場挑戰賽，接下來會迎來今年 KDD CUP 2019 AutoML 和 NeurIPS 2019 AutoDL 兩場 AutoML 年度大賽，其中 KDD CUP 是首次舉辦 AutoML 挑戰賽，不僅開創了該項賽事 22 年歷史的先河，更印證了 AutoML 進入學術研究和行業應用的上升期。

值得欣慰的是，AutoML 在國內的發展一直處于領先水平。本次 PAKDD 2019 AutoML 競賽前三名被中國隊包攬，充分展示了中國在 AutoML 領域的科研實力。

雷鋒網雷鋒網