<mark id="oztn4"></mark>
0
| 本文作者： nebula | 2023-09-22 14:13 |
科技促進產業數字化，是數字時代經濟發展的重要命題。本屆ATEC科技精英賽，通過考察選手對圖學習、隱私計算、多模態識別、智能推薦等核心技術的掌握能力，解決營銷數字化、產品數字化、融資數字化三大現實問題。幫助企業抵御安全風險、提升數字化運營能力，幫助從一個全新的數據維度來實現農作物的數字化，借助數字化技術提高農村金融的資金匹配效率、極大地助力農業產業的持續發展，做到了“科技助實”。
提高中小商家的數字化經營能力，是我國數字經濟做強做優做大的關鍵基礎，也是推動數字技術與實體經濟深度融合的關鍵路徑之一。中小商家通過數字消費券的配置與分發，為店鋪帶來了許多潛在的客戶，好的數字化運營策略可以幫助中小商家提升用戶的留存與消費意愿，同時帶來更好的收益與經營效率。本賽題便是圍繞營銷數字化的主題，考察選手如何從海量的用戶線上線下行為中挖掘可幫助中小商家進行數字化營銷的有效信息，幫助其提高商品的分發能力。
本賽題會向選手提供一段時間內消費券向用戶展示和被用戶領取的數據，并要求選手預測在這段時間以后不同用戶在多個中小商家的候選商品集合中，更有可能點擊哪些商品。除此以外，為了盡可能還原真實的工業數據環境，本賽題還會向選手提供用戶和消費券的基礎特征、支付寶全域用戶行為、實體間關聯圖譜等數據，同時確保這些數據的采集和構造都是發生在待預測時間段之前。所有的數據都經過了嚴格的脫敏，以保證用戶隱私信息的安全性。
和一般的點擊率預估任務不同，我們提供了十倍于私域行為（用戶在中小商戶內的交互行為）的全域用戶行為（例如搜索、賬單、足跡等），而比賽又是僅僅只有 9 小時的個人賽，這十分考驗選手的基本功，以及選手在如此豐富的數據類型下的模型選型與迭代思路，賽題講究快、準、穩，稍有遲疑便會落后。為了讓訓練速度不成為選手快速提分的瓶頸，我們提供了 12C92G + V100 的運行配置。
本次比賽的數據種類多，且時間緊張，選手如何快速的迭代并拿到收益決定著他是否能夠晉級并有機會拿到百萬大獎。比賽屬于個人賽，這非常考驗選手的基本功底，但能夠從線上賽的選拔中脫穎而出，也說明每一個選手都是有自己突出的優點。
在這些因素的限制下，幾乎所有的選手都選擇了將樹模型作為自己的基線，并通過對數據的一系列特征工程為該基線注入許多新的信息，從而幫助模型更好的預估用戶的點擊并達到提分的效果。相比于深度學習中模型調參與擬合 label 的過程，樹模型有著更方便、快捷、開箱即用的優點，且無需擔心像深度學習中由于參數或網絡層設計不合理而導致的模型效果差的問題。因此，樹模型的熱度在競賽圈也一直是名列前茅的。
在比賽中，更細致更全面的從各個角度來挖掘用戶與商品的潛在信息，也決定了該做法能帶來的增益大小。高排名的選手有著豐富的競賽經驗，無一例外地為比賽所提供的信息選擇了更適合處理它的策略。在實際業務中，不可避免的存在許多經過脫敏、缺失或無意義的信息在內，因此選手的數據素養與特征分析能力對比賽的良性迭代會起到非常關鍵的作用，高排名選手會在數據分析后通過清洗、去噪、加權等策略幫助模型對有效信息的充分利用。此外，快速的迭代也能夠幫助選手更快的找準提分的方向，并為下一階段的嘗試方向做好預估，這也是選手間能夠拉開比賽差距的重要原因。
本次比賽采用半封榜的機制，在前期每個選手僅能得知自己的排名是否處于賽道末位的四位，而在后期該信息完全不可知。選手在緊張的氛圍下承受著對自身排名不明確的雙重壓力，這也促使每個人不斷地向前。雙重壓力下，心態好的選手鎮定自如，即使處于淘汰邊緣也一心做題，而心態差的選手在后續比賽中頻繁失誤（不論是 bug 出現次數，或者是迭代進展變緩）。這也是每一個競賽選手必須經歷的考驗之一，百般磨煉，終能獨擋一面。
2019年，農業農村部提出數字農業農村發展規劃（2019-2025），明確提出以農業數字化為重點發展主線，全面提升農業農村生產智能化、經營網絡化、管理高效化、服務便捷化水平，以數字化引領驅動農業農村現代化，為實現鄉村全面振興提供有力支撐。這其中對核心主糧作物、經濟作物種植區域進行數字化建模是實現農業數字化的基礎一環。
依托現代衛星遙感技術，我們可以實現對豐富的農作物信息的識別與提取，例如農田植被狀況、土壤濕度、氣候變化等。對地物目標進行多光譜、多時段監測，可以獲取大量信號特征，同時基于不同農作物對不同波段光譜的特異性反射差異、生長周期特點，可以實現低成本、高精度、大范圍的農作物種類識別，為實現農業數字化生產、高效網格化經營提供基礎數據，從而應用于農業信貸、農業保險理賠、宏觀農業種植監控等領域。
本次賽題的圖像數據來自開源多光譜衛星提供的時序多光譜影像，農作物（水稻、玉米、大豆）標簽來自田野實地調查獲取的數據。主要目的是通過時序多光譜遙感數據序列，設計人工智能算法，識別出對應地點對應時間段的種植農作物種類。對于遙感農作物識別，光譜反射特性以及農作物生長周期特性是兩大關鍵特征。此外，數據中的地表分類層（SCL）字段中還包含了粗分類的標簽，包括云層、水體、植被，可以提供有效的先驗信息輔助識別。為了幫助選手理解賽題，我們另外提供了基于近紅外（NIR）和紅光（R），計算植被指數，這也是我們對于選手的“提示”，如何利用農業光譜知識設計特定特征來提升模型識別效果。
這是一道典型的時序預測賽題，比賽中大部分方案是基于先進的Transformer結構（例如BERT、RoBERTa等），訓練多個模型，再利用LGBM進行模型集成。另外對數據的處理上不同的選手也有不同的策略，最終結果除了單純模型因素之外，對數據和賽題的持續探索也起到了關鍵作用。
1) 時序建模：處理時序預測的基礎是建立一個能對時序數據進行有效建模的模型。在前期嘗試了LSTM、MLP、樹結構之后，大部分隊伍迅速收斂到基于Transformer的模型結構上。Transformer是目前處理序列數據比較成熟的方案，通過將序列中的每個元素看做token，按順序送入模型中進行self-attention和cross-attention計算，獲取有效的時序信息進行任務學習。大部分選手選擇BERT或者RoBERTa這類比較成熟的Transformer結構來使用。由于對模型的熟悉程度和具體實現的不同，效果有所差異
2) 特征構建：遙感領域對大部分選手來說都是首次接觸，其具有一定的領域特性。部分選手在前期進行了大量數據分析的工作，并得到了一些有效構建特征的方法。例如本次農作物識別的賽題，時間月份、云霧遮擋都會極大影響識別效果。通過對數據去云處理、構建時間月份相關的learnable embedding都可以有效提升識別效果。此外，遙感相關的一些特征，例如ndvi指數計算等，都可以作為有效的特征使用。
3) 模型集成：模型集成的方法在比賽中一般被認為是臟活累活，但卻是刷點的“神器”。利用LGBM對多個基礎模型結果進行集成學習，往往可以得到更好的結果。在比賽的最后3分鐘里，依然有選手在嘗試各種模型集成的組合和優化方式，并成功在最后時刻實現了反超。
在螞蟻的真實場景中，多光譜時序數據是農作物識別中最重要的數據源，此外我們還會使用高清影像、SAR雷達影像輔助農作物識別。在賽題中我們也提供了一部分沒有標注的影像數據用于無監督預訓練基礎識別模型。在實際場景中我們擁有海量的無標注影像數據，為預訓練提供了廣闊空間。在經濟作物識別場景，通過預訓練可以有效降低對標注數據的需求，并提升模型識別效果。
提升鄉村普惠金融服務覆蓋面和便利性，持續加大對“三農”領域的金融支持力度，是我國全面推進鄉村振興的重點工作之一。在農村振興相關領域貸款投放方面，金融機構發揮著重要的作用，通過向農村產業鏈的經營者發放貸款，可以滿足鄉村振興生產經營融資需求，緩解“融資難”等問題。
然而涉農經營者信貸風險管理有其特殊性，需根據特定的行業風險點，制定相應的風險評估防范策略，提升智能化風險管理水平。本賽題將探索農村金融中一個基礎問題，即如何利用數字化技術來識別農村經營者的經營狀況和經營風險，其也是幫助農村經營者進行融資的基礎能力之一。
基于這樣的背景，我們主要圍繞涉農經營者風險評估這一關鍵問題，考察選手如何利用涉農經營者特征以及非結構化數據，如用戶交互關系等，來幫助提高涉農經營者的風險評估模型的精度。
在本次賽題提供的數據中，不僅有部分涉農經營者的風險相關，如信貸行為信息；還提供了用戶多源的交互關系，如涉及用戶收付款相關的序列行為、用戶交互關系等。要求選手預測農村經營者在未來將存在的潛在經營風險。考慮到農村地區數字化程度普遍偏低，其數據基礎較薄，特征比較稀疏，因此選手們會如何充分利用非結構化數據做好建模以及提取到有效信息，是本賽題的一個重要考察點。
區別于前幾道賽題，本題目有幾個重要的特點：首先，正如實際業務中的情況，提供的特征數據內容比較稀疏，同時測試集ID不能用來對齊訓練和測試數據的，因此基礎的特征工程角度提升空間有限。其次，本賽題提供了豐富的用戶交易序列數據和交互行為數據，可以使用這些非結構化數據對用戶信息進行傳遞，因而可以考慮使用圖神經網絡進行建模。
實際上，一些典型的與用戶交易關系、操作行為相關的欺詐類風險檢測問題，包括和金融相關的風險，都通常可以使用圖神經網絡進行建模。圖神經網絡建模，一方面可以充分關系數據構圖，使用結構數據刻畫用戶之間的關系與相似性，此外沿著網絡拓撲結構對鄰居節點的特征進行傳播和聚合，還可以緩解特征缺失的問題，并且高階的關系數據也是對風險預測有很重要的作用的。
從對選手實際比賽中來看，在時間緊張的情況下，對圖神經網絡熟悉和結構數據熟悉的隊伍會有比較大的優勢。并且在實際操作過程中，幾乎所有選手都發現了充分利用非結構化數據構圖的必要性，但在實現上，兩隊分別采用了不同的策略，一隊能夠快速地搭建大規模數據下圖神經網絡的采樣、以及卷積的框架，另一隊則是以樹模型為主，人工聚合鄰居特征為輔的形式來替代圖神經網絡的卷積過程進行特征提取。
此外，該賽題全過程中采用封榜的機制，每隊選手僅能得知對方隊伍分數是否有提升，并不知道自己的排名，這為雙方選手均帶來了一定的心理壓力和競爭壓力。而對于采用不同策略和方法進行圖數據建模的選手，最終誰能夠在比賽中獲得勝利，也是令人期待的。
雷峰網(公眾號：雷峰網)
