<mark id="oztn4"></mark>
0
雷鋒網(wǎng)AI科技評論按：8 月 16 日，第二十八屆國際聯(lián)合人工智能大會（IJCAI 2019）在澳門成功閉幕。
本屆 IJCAI 正值 IJCAI50 周年，主辦方組織了一系列的主題活動。除了論文、Tutorial、Workshop、demo、展覽等常規(guī)環(huán)節(jié)之外，還舉辦了包括 IJCAI 50 周年紀念、AI in China、用戶數(shù)據(jù)隱私等極具特色的 panel 環(huán)節(jié)。而在這諸多內(nèi)容中，「聯(lián)邦學習」無疑是最值得關注的內(nèi)容之一。
在 8 月 12 日的 Workshop Day 中，由微眾銀行與 IBM 等機構(gòu)舉辦的「首屆聯(lián)邦學習國際研討會」成為了當天最受歡迎的 Workshop，研討會尚未開始就已爆滿，還有不少參會者擠在門外旁聽，聽眾的熱情超出了主辦方的預期。
雷鋒網(wǎng)了解，本次「首屆聯(lián)邦學習國際研討會」由微眾銀行、IBM Research 主辦，并得到了愛思唯爾、創(chuàng)新工場、松鼠 AI 的贊助和中國人工智能開源軟件發(fā)展聯(lián)盟（AIOSS）及 IEEE 等機構(gòu)的支持。
在 IJCAI 大會期間同時還舉辦了「IEEE P3652.1(聯(lián)邦學習基礎架構(gòu)與應用) 標準工作組第三次會議」，另外「AI 安全專題研討會」、「AI 與用戶隱私」圓桌會上微眾銀行也分享了聯(lián)邦學習的相關內(nèi)容。這恐怕也是自 2017 年聯(lián)邦學習概念提出以來，聯(lián)邦學習研究人員首次在人工智能國際頂會上如此密集的發(fā)聲，以微眾銀行為代表的諸多企業(yè)的參與也標志著聯(lián)邦學習已經(jīng)逐步從基礎研究走向落地應用，而「首屆聯(lián)邦學習國際研討會」的召開則標志了聯(lián)邦學習國際社區(qū)的正式成立，聯(lián)邦學習進入了一個新的階段。
2006 年以來，隨著深度學習神經(jīng)網(wǎng)絡的提出、算法改善和算力的提升、以及大數(shù)據(jù)的廣泛應用，人工智能迎來了一波新的高峰。2016 年的「人機大戰(zhàn)」AlphaGo 戰(zhàn)勝圍棋世界冠軍李世石，不僅展示了以大數(shù)據(jù)驅(qū)動的人工智能的巨大潛力，也讓人們更加期待一個人工智能在各行各業(yè)中得以實現(xiàn)的新時代的到來。
然而理想很豐滿，現(xiàn)實很骨感——在實際應用中，大多數(shù)應用領域均存在數(shù)據(jù)有限且質(zhì)量較差的問題，在某些專業(yè)性很強的細分領域（如醫(yī)療診斷）更是難以獲得足以支撐人工智能技術實現(xiàn)的標注數(shù)據(jù)。同時在不同數(shù)據(jù)源之間存在難以打破的壁壘，「大數(shù)據(jù)」往往只是越來越多的「數(shù)據(jù)孤島」的總稱。
同時隨著大數(shù)據(jù)的發(fā)展，重視數(shù)據(jù)隱私和安全已經(jīng)成為一種世界性的趨勢，而歐盟「數(shù)據(jù)隱私保護條例」（General Data Protection Regulation，GDPR）等一系列條例的出臺更是加劇了數(shù)據(jù)獲取的難度，這也給人工智能的落地應用帶來了前所未有的挑戰(zhàn)。
「聯(lián)邦學習」（Federated Learning）就是為解決傳統(tǒng)機器學習方法所面臨的數(shù)據(jù)困境的一種新的嘗試。這是一種在保護數(shù)據(jù)隱私、滿足合法合規(guī)要求的前提下，多參與方或多計算結(jié)點之間開展高效率的機器學習的新型人工智能基礎技術。聯(lián)邦學習具有以下特點：
在聯(lián)邦學習的框架下，各參與者地位對等，能夠?qū)崿F(xiàn)公平合作；
數(shù)據(jù)保留在本地，避免數(shù)據(jù)泄露，滿足用戶隱私保護和數(shù)據(jù)安全的需求；
能夠保證參與各方在保持獨立性的情況下，進行信息與模型參數(shù)的加密交換，并同時獲得成長；
建模效果與傳統(tǒng)深度學習算法建模效果相差不大。尤其在聯(lián)邦遷移學習過程中可做到「無損失」，避免了遷移學習的負遷移；
聯(lián)邦學習是一個「閉環(huán)」的學習機制。模型效果取決于數(shù)據(jù)提供方對自己和他人的貢獻，有助于激勵更多機構(gòu)加入數(shù)據(jù)聯(lián)邦。
聯(lián)邦學習的上述特點對于打破數(shù)據(jù)孤島、推動人工智能在更多的行業(yè)落地上有著重要的意義。為了給用戶提供更好的服務，在人工智能應用中需要多方整合數(shù)據(jù)迫切性達到了一個前所未有的程度。
但如果在公司間無法交換數(shù)據(jù)，除了少數(shù)幾家擁有海量用戶、具備產(chǎn)品和服務優(yōu)勢的「巨無霸」公司外，大多數(shù)企業(yè)難以以一種合理合法的方式跨越人工智能落地的數(shù)據(jù)鴻溝，或者對于他們來說需要付出巨大的成本來解決這一問題。
聯(lián)邦學習正是在現(xiàn)有的機制和流程無法改變的情況下，希望通過技術手段建立一個虛擬的共有模型，從而達到好像大家把數(shù)據(jù)聚合在一起建立的最優(yōu)模型一樣的效果。
值得一提的是，這種數(shù)據(jù)聚合并不是簡單地將各方數(shù)據(jù)進行合并，而是在各參與方自有數(shù)據(jù)不出本地、通過加密機制下的交換方式，從而在各參與方一端均建立起高質(zhì)量的模型（例如說，企業(yè) A 建立一個分類任務模型，企業(yè) B 建立一個預測任務模型）。相比起各數(shù)據(jù)主體擁有私有數(shù)據(jù)「各自為政」的傳統(tǒng)方式，「聯(lián)邦」包含著將多方以平等的地位團結(jié)起來，有「君子和而不同」的意義。
關于「聯(lián)邦學習」的名字還有一個故事：在早期國內(nèi)將「FederatedLearning」大多翻譯為「聯(lián)合學習」，現(xiàn)多稱為「聯(lián)邦學習」。其中的區(qū)別是，如果用戶是個人，確實是把他們的模型「聯(lián)合」起來學習；而如果用戶是企業(yè)、銀行、醫(yī)院等大數(shù)據(jù)擁有者，這種技術則更像是將諸多「城邦」結(jié)合起來，「聯(lián)邦」一詞則更為準確。這一名字的變化，也反映著聯(lián)邦學習的研究主體從理論轉(zhuǎn)向?qū)嶋H應用的變化趨勢。
2017 年，為解決安卓手機用戶個人終端設備上的模型（如輸入法預選詞的推薦模型）訓練引發(fā)的數(shù)據(jù)安全和大量數(shù)據(jù)傳輸問題，谷歌提出了一種新的數(shù)據(jù)聯(lián)合建模方案，使得用戶在使用安卓手機時在本地更新模型參數(shù)，并將參數(shù)上傳到云上，從而使得具有相同特征維度的數(shù)據(jù)方聯(lián)合建立模型。它能夠解決兩個數(shù)據(jù)集的樣本特征重疊部分較大、樣本重疊部分較小的數(shù)據(jù)集分布情況。這種聯(lián)合建模方案被稱為橫向聯(lián)邦學習，也是最早的聯(lián)邦學習的方式。
聯(lián)邦學習的分類
針對不同的數(shù)據(jù)樣本類型，除了橫向聯(lián)邦學習，還有縱向聯(lián)邦學習和聯(lián)邦遷移學習兩種不同的方式。
前者用于解決樣本重疊部分較大，而樣本特征重疊部分較小的數(shù)據(jù)集、需要縱向切分的情況，而針對數(shù)據(jù)集的樣本和樣本特征重疊部分都比較小、或沒有重疊部分的情況。
香港科技大學講席教授、微眾銀行首席人工智能官楊強教授帶領微眾銀行 AI 團隊將遷移學習和聯(lián)邦學習結(jié)合起來提出了聯(lián)邦遷移學習，不是通過對數(shù)據(jù)進行切分進行訓練，而是通過遷移學習進行訓練。
從業(yè)務場景上具體舉例來說，相同業(yè)務類型、不同區(qū)域的場景（如兩家不同地區(qū)的區(qū)域性銀行）適用橫向聯(lián)邦學習，同一區(qū)域、不同業(yè)務類型的場景（如深圳的一家銀行和超市）適合縱向聯(lián)邦學習，而區(qū)域和業(yè)務不同的機構(gòu)（如一家美國超市和一家中國的銀行）則通過引入聯(lián)邦遷移學習來解決單邊數(shù)據(jù)規(guī)模和標簽樣本不足的問題。
由此也可見，微眾銀行 AI 團隊提出的聯(lián)邦遷移學習針對的情景更加具有普適性，也更符合未來大數(shù)據(jù)、多企業(yè)、跨行業(yè)的應用需求。
楊強教授領導下的微眾銀行AI團隊則是成為了中國乃至國際聯(lián)邦學習的主要推動者。
從 2018 年起，微眾銀行 AI 團隊不僅在 CCAI、AAAI、CCF 青年精英大會、IJCAI 等各類學術交流會議上多次交流聯(lián)邦學習成果，還與 CCF、IEEE 等專業(yè)組織多次舉辦研討會，與業(yè)界共探聯(lián)邦學習的創(chuàng)新突破；在近期發(fā)表的多篇論文中，微眾 AI 團隊介紹的聯(lián)邦學習思路下針對有安全需求的有監(jiān)督學習、強化學習、決策樹的具體方法，包括安全的聯(lián)邦遷移學習、聯(lián)邦強化學習以及 SecureBoost 安全樹模型受到了研究者和業(yè)界的關注。
在技術落地上，微眾銀行還將聯(lián)邦學習應用于自身的信貸風控、客戶權(quán)益定價等多項金融業(yè)務流程；與此同時，微眾銀行還與鵬城實驗室、瑞士再保險、極視角等多家企業(yè)及機構(gòu)簽署合作，將聯(lián)邦學習技術推廣應用于更多領域。
微眾銀行 AI 團隊還致力于推動聯(lián)邦學習的標準化。這也是一項技術走向成熟并逐步落地時的必要過程，聯(lián)邦學習要想真正實現(xiàn)落地應用，就必須建立一種企業(yè)之間的對話語言，并且是得到國際法律法規(guī)體系支持的對話語言。
去年 10 月份微眾銀行 AI 團隊向 IEEE 標準協(xié)會提交了關于建立聯(lián)邦學習標準的提案——「Guide forArchitectural Framework and Application of Federated Machine Learning」(聯(lián)邦學習基礎架構(gòu)與應用標準)，并于 2018 年 12 月獲批。
隨后在楊強教授的主導下成立了 IEEE P3652.1(聯(lián)邦學習基礎架構(gòu)與應用) 標準工作組，工作組在今年 2 月和 6 月分別召開了第一次、第二次會議，分別梳理了各自領域內(nèi)的聯(lián)邦學習典型案例，對聯(lián)邦學習標準的具體形式及內(nèi)容進行了討論，對標準草案的制定提出了建設性意見。
在本次的 IJCAI 會議上，微眾銀行再次聯(lián)合 20 余家國內(nèi)外企業(yè)、單位共同舉辦了 IEEE P3652.1(聯(lián)邦學習基礎架構(gòu)與應用) 標準工作組第三次會議，這次會議的主要內(nèi)容是聚焦聯(lián)邦學習各項指標的評估如何量化、標準如何體現(xiàn)聯(lián)邦學習技術的合規(guī)性、聯(lián)邦學習應用案例的分類歸納等議題。
聯(lián)邦學習進入國際標準流程，其意義在于讓加入聯(lián)邦學習聯(lián)盟的企業(yè)能夠在同一個框架上對話，同時如果新的企業(yè)或機構(gòu)想要加入聯(lián)邦學習，也必須按照這一標準的規(guī)定應用同樣的框架，這樣反過來又能夠推動聯(lián)邦學習生態(tài)的擴大，可以說是給整個聯(lián)邦學習的生態(tài)建設打下了一個基石，意義巨大。
一直以來，金融行業(yè)是大數(shù)據(jù)與人工智能落地最具潛力的行業(yè)之一。金融行業(yè)是數(shù)據(jù)密集型行業(yè)，金融數(shù)據(jù)具有更高的實時性、安全性和穩(wěn)定性的要求，結(jié)構(gòu)化數(shù)據(jù)占比高，應用場景廣泛。但與此同時，金融行業(yè)還有賴于利用第三方數(shù)據(jù)來為客戶提供更好的服務，自身業(yè)務特點也對金融數(shù)據(jù)的數(shù)據(jù)安全和個人隱私保護帶來了極大的困難，數(shù)據(jù)孤島現(xiàn)象嚴重，這也是為何聯(lián)邦學習首先在微眾銀行這樣的創(chuàng)新金融企業(yè)落地和開花結(jié)果的原因。
但聯(lián)邦學習所適用的場景不僅僅是金融行業(yè)。在其他行業(yè)，數(shù)據(jù)孤島的問題也同樣普遍存在。如何利用聯(lián)邦學習的能力做到「學習如何學習」，在積累了很多領域的學習經(jīng)驗后將遷移的例子做成訓練集，讓人工智能來規(guī)劃如何在不同領域中實現(xiàn)遷移，對人工智能的落地具有指導性的意義。而在此過程中，積累的領域越多，可獲得的訓練集（即不同領域間相互遷移的例子）將會呈指數(shù)型的增長，因此建立一個聯(lián)邦學習的生態(tài)系統(tǒng)至關重要。
基于此種思考，微眾銀行 AI 團隊發(fā)起了一個旨在開發(fā)和推廣安全和用戶隱私保護下的 AI 技術及其應用的項目「聯(lián)邦學習生態(tài)」（FedAI Ecosystem）。項目在確保數(shù)據(jù)安全及用戶隱私的前提下，建立基于聯(lián)邦學習的 AI 技術生態(tài)，使得各行業(yè)更充分發(fā)揮數(shù)據(jù)價值，推動垂直領域案例落地。
對技術推進的另一種方式是開源。
今年 6 月份微眾銀行開源了工業(yè)級聯(lián)邦學習技術框架 Federated AI Technology Enabler（簡稱 FATE）。之所以稱之為「工業(yè)級」，在于它能夠解決包括計算架構(gòu)可并行、信息交互可審計、接口清晰可擴展在內(nèi)的三個工業(yè)應用常見問題。
FATE 項目并不僅僅提供了一系列開箱即用的聯(lián)邦學習算法、比如 LR、GBDT、CNN 等等，更重要的是給開發(fā)者提供了實現(xiàn)聯(lián)邦學習算法和系統(tǒng)的范本，大部分傳統(tǒng)算法都可以經(jīng)過一定改造適配到聯(lián)邦學習框架中來，通過項目開源，對相關機構(gòu)進行 AI 賦能，提升機構(gòu)自身的建模技術和能力，為工業(yè)界人員快速開發(fā)應用提供一種簡潔有效的解決方案，支持在多場景下的開拓和應用采用聯(lián)合共建、平臺服務等方式進行解決方案落地。
盡管聯(lián)邦學習為諸多之前人工智能難以落地的應用場景提供了一個可行的思路，在具體的落地上，不同行業(yè)也還存在一系列不同的問題。如在「首屆聯(lián)邦學習國際研討會」現(xiàn)場，一位來自華為的技術人員對雷鋒網(wǎng)表示，他來參加這個研討會的目的是希望解決他在實際應用中相關技術的兩個困惑，一是在智慧城市的場景中，如何利用有標注的數(shù)據(jù)，通過聯(lián)邦學習幫助利用本地攝像頭無標注數(shù)據(jù)進行學習，二是在醫(yī)療場景中，在拉通兩個醫(yī)院的交換模型之前，是否可能初步預測交換得到的性能得到提升。在聯(lián)邦學習進一步推廣的路上，還需要更多的人加入生態(tài)的建設。
令人欣喜的是，本次研討會收到了很多來自各高校機構(gòu)、企業(yè)的優(yōu)秀論文，聯(lián)邦學習的社區(qū)在進一步壯大。同時在研討會第二天，微眾銀行再次升級了 FATE，推出首個可視化聯(lián)邦學習工具 FATEBoard，以及聯(lián)邦學習建模 pipeline 調(diào)度和生命周期管理工具 FATEFlow，并對 FederatedML 進行了重大升級，在算法上也有了更新。新版的 FATE 還加入可部分支持多方的功能，在后續(xù)版本中，微眾銀行 AI 團隊將會對支持多方功能做進一步的加強
IJCAI 上舉辦的首屆聯(lián)邦學習國際研討會是聯(lián)邦學習的一個重要時間節(jié)點。
在此之前，盡管關于聯(lián)邦學習有過許多論文、演講和新聞報道，但外界幾乎沒有一個能夠一窺全貌的機會，聯(lián)邦學習的研究者也極少能有機會匯聚一堂了解聯(lián)邦學習當前發(fā)展的全貌。IJCAI 上開展的首屆國際聯(lián)邦學習研討會，是聯(lián)邦學習社區(qū)的第一次集中發(fā)聲，也同時吸引了大量各界人士的關注。而在今年 12 月在溫哥華舉行的機器學習頂會 NeurIPS 上，微眾銀行也將再度舉辦聯(lián)邦學習研討會，向大眾分享更多聯(lián)邦學習方面的研究進展及實踐經(jīng)驗。
自從 2012 年的第三波人工智能浪潮洶涌而來，在最初的新鮮勁褪去后，我們與人工智能已遭遇「七年之癢」式的審美疲勞。
盡管人工智能領域依然有持續(xù)性的進展，但在大眾的眼里，人工智能的承諾仍然大部分沒有實現(xiàn)。研究者已經(jīng)意識到，在人工智能領域的突破極度依賴標注數(shù)據(jù)，像 ImageNet 這樣的開放式高質(zhì)量數(shù)據(jù)集已經(jīng)成為創(chuàng)新的動力之源。
未來人工智能的挑戰(zhàn)依然在數(shù)據(jù)方面：隨著互聯(lián)網(wǎng)、5G 技術的進步和廉價傳感器的更多應用，未來的數(shù)據(jù)將會呈現(xiàn)海量碎片化的趨勢，在訓練數(shù)據(jù)集上要求更低的技術，包括生成對抗網(wǎng)絡、強化學習、遷移學習與聯(lián)邦學習，將會成為研究者們寄予厚望的方向。
那么，聯(lián)邦學習未來是否可期？
本次研討會爆滿的場面也是一個極強的信號，面向?qū)嶋H問題的人工智能解決方案要能有效解決數(shù)據(jù)不足、割裂、小數(shù)據(jù)的數(shù)據(jù)困境，更一定要解決安全、合規(guī)、隱私保護的問題，并且還要能夠提高模型的效率。目前這樣一個 AI 技術時代，用戶隱私保護將成為社會的一個強約束，越來越多的人和企業(yè)開始意識到「數(shù)據(jù)孤島」的嚴重性以及數(shù)據(jù)共享的迫切性。聯(lián)邦學習能夠同時兼顧解決這兩個問題（隱私保護與共享），為我們建立一個跨企業(yè)、跨數(shù)據(jù)、跨領域的大數(shù)據(jù) AI 生態(tài)提供了良好的技術支持，而連接更多行業(yè)和應用場景的聯(lián)邦學習生態(tài)系統(tǒng)，也將是聯(lián)邦學習得以脫穎而出的利器。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
