【武漢大學王騫分享】從數據視角看，如何安全地實現更好的AI

本文作者：嘉嘉

2022-06-29 18:33

專題：IEEE X ATEC科技思享會

導語：深度學習相關技術及其應用的發展令人矚目，人工智能離人類生活越來越近。毫不夸張地說，AI已“入侵”到人類生活的方方面面。

IEEE x ATEC

IEEE x ATEC科技思享會是由專業技術學會IEEE與前沿科技探索社區ATEC聯合主辦的技術沙龍。邀請行業專家學者分享前沿探索和技術實踐，助力數字化發展。

在社會數字化進程中，隨著網絡化、智能化服務的不斷深入，伴隨服務衍生出的各類風險不容忽視。本期分享會的主題是《網絡欺詐的風險與對抗》。五位嘉賓將從不同的技術領域和觀察視角，圍繞網絡欺詐場景下的風險及對抗技術展開分享。

以下是王騫教授的演講。

【武漢大學王騫分享】從數據視角看，如何安全地實現更好的AI

演講嘉賓 | 王騫

武漢大學教授、網絡安全學院副院長

ATEC科技精英賽高級咨詢委員會專家

《智能系統數據安全》

大家好，我是武漢大學的王騫，今天我給大家分享的題目是《智能系統數據安全》。隨著移動互聯網飛速發展、硬件設備持續升級、海量數據產生以及算法不斷更新，人工智能的發展已呈勢不可擋之勢，逐漸滲透并深刻改變著人類的生產生活。深度學習相關技術及其應用的發展令人矚目，人工智能離人類生活越來越近。毫不夸張地說，AI已“入侵”到人類生活的方方面面。

AI與安全的關系

人工智能和安全有著密不可分的聯系。一方面，人工智能技術能被運用到許多安全應用場景，提高其可用性和安全性；同時，AI技術也是一把雙刃劍，不法分子可以濫用AI技術破壞其他系統。另一方面，安全和隱私保護的相關技術也能進一步完善人工智能系統。毋庸置疑的是，AI可以作為安全性增強的武器。近年來我們見證了AI在網絡安全、安全態勢感知、智能安防、生物認證等多個領域的快速崛起。與此同時，AI 技術也可能被濫用，以deepfake為例，攻擊者可以利用深度偽造技術偽造圖片、視頻、音頻等，用于詐騙、傳播虛假的新聞，甚至偽造政治風險。此外，一些相對成熟的AI 技術，諸如人臉識別等，也有被濫用的趨勢，如惡意侵犯用戶的隱私、追蹤以及分析用戶隱私數據等。

盡管人工智能被認為是將深刻改變人類社會生活、改變世界的顛覆性技術，但是與任何一種先進技術發展和應用的過程類似，當面向用戶的服務越來越成熟，客戶資源逐漸增長，最終安全性會成為進一步廣泛部署人工智能系統的最大挑戰。以自動駕駛為例，自動駕駛車輛安全事故頻發，造成嚴重的經濟損失、甚至人員傷亡，對公共安全造成極大威脅。除此以外，其他針對AI自身安全的威脅，尤其是針對AI模型或數據的機密性、完整性甚至可用性等各類潛在威脅，也層出不窮。鑒于此，我們的研究將重點聚焦在AI自身安全方面，即如何安全地實現更好的AI。

在此，從信息安全的三要素CIA，也就是機密性、完整性、可用性的角度出發，廣義上理解AI安全的含義：機密性是指防止敏感數據泄露，在AI系統中，敏感數據可能是訓練數據、模型，或者用于推理的用戶數據。相關的研究方向主要有加密模型訓練與推理、推理攻擊及其防御等。完整性是指在傳輸、存儲信息或使用數據的過程中，確保它們不被未授權的篡改或在篡改后能夠被迅速發現。針對AI系統可能存在通過篡改輸入樣本使模型識別出錯的對抗樣本攻擊，或通過篡改訓練數據使訓練得到的模型功能異常的數據投毒等。可用性是指對AI系統的合法使用，其主要考慮針對智能系統的安全身份認證，即智能系統的訪問控制通過基于“智能”的身份認證，讓用戶合法使用數據或模型。

在AI系統中，數據的流轉過程主要分為以下幾個階段：在服務器端，訓練數據經訓練過程得到模型，服務器可將模型或其接口開放給用戶使用，或將模型再部署到智能系統上。在客戶端，用戶將其樣本輸入模型或智能系統，得到返回的識別結果。對應這個數據流轉過程的各個階段，按照CIA的概念，可將AI系統中已知的主要安全問題與研究方向大致歸為以下幾類：

針對訓練數據集，存在數據投毒與后門攻擊為代表的完整性的問題；

針對訓練過程，存在如何驗證結果正確性的完整性問題，與保護敏感數據的機密性問題；

針對模型以及部署了模型的AI系統，存在對抗性攻擊、傳感器欺騙等完整性問題，成員推理等機密性問題，以及關于系統合法使用的可用性問題。

在這些方向上，我們近幾年已取得了許多的成果，包括投毒、后門攻擊及其防御，隱私保護的模型訓練與推理，可驗證的模型訓練，對抗樣本攻擊及其防御，訓練數據竊取與模型竊取攻擊，智能系統身份認證攻防等。我們希望通過這一系列研究，能有助于整體上提高AI系統從構建到使用的安全性。在應用場景方面，我們的研究成果可用于提升包括語音、圖像、文本等多模態數據的識別分析系統安全能力，為從互聯網收集、傳感器采集等渠道獲取到數據的可靠分析提供充分的保障和支撐。

訓練階段

從模型流轉的整個過程來看訓練數據集所面臨的兩種安全風險：數據投毒和后門攻擊。訓練人工智能模型需要海量的數據，數據集的質量對模型的訓練起著至關重要的作用，一旦惡意數據被用于模型訓練，就可能影響模型部署時的性能。在現實場景下，海量數據來源多樣、采集過程難以管理、預處理過程復雜，這些會帶來數據集層面上的安全威脅。最近UC Berkeley團隊發現，當在聯邦學習中，有惡意的參與者僅投毒自己的子訓練數據集，并不控制其他人，就能夠實現擾亂最終模型的行為。具體來說，當模型學習有毒的數據后（即數據投毒），其性能會有大幅度的衰減（無差別攻擊）或者模型中嵌入了攻擊者設定的惡意后門（后門攻擊）。

數據投毒和后門攻擊既有聯系，也有區別。在概念上，投毒是一種攻擊的手段，數據投毒指的是通過篡改訓練數據來影響模型的所有攻擊形式的統稱。后門是一種攻擊的效果，后門攻擊指的是向模型中植入特定的模式，在模型推理階段，一旦模型中的后門被惡意數據觸發，模型就會按照攻擊者指定的方式工作。后門攻擊可以通過數據投毒的手段來實現，攻擊者可以通過向訓練數據中注入含有“觸發器”的惡意樣本來向模型中植入后門。后門攻擊也可以通過遷移學習、知識蒸餾等其他方式來實現模型到模型的傳播。投毒攻擊可以達到后門攻擊的效果，投毒可以將數據中的惡意模式植入模型。投毒攻擊也可以通過數據傾斜、反饋武器化、邏輯污染等其他形式實現，使模型的準確度或者在特定類別上的性能下降。數據投毒和后門攻擊兩種威脅也真實存在于現實生活中。數據投毒的典型案例有：2018年，有報告指出，多個垃圾郵件團體通過將大量垃圾郵件上報成正常郵件，來向谷歌郵件的垃圾郵件過濾器發起投毒攻擊；2017年，一群特朗普的支持者在多個應用商店平臺上給新聞媒體打低分，以此拉低新聞媒體應用在商店內的排名；2015年，有黑客組織向反病毒工具virustotal上報惡意樣本，試圖讓病毒檢測服務將正常文件錯誤識別成病毒文件。已有的后門攻擊案例包括：對人臉識別系統的后門攻擊，被攻擊的人臉識別神經網絡會將含有觸發器的人臉識別為特定人物；還有針對自動駕駛模擬器的后門攻擊，被攻擊的自動駕駛系統會對交通指示牌識別出錯，造成交通事故。

近年來，關于數據投毒攻擊和后門攻擊也取得了一些研究進展。數據投毒攻擊的研究可以分為針對無差別的攻擊研究和針對后門攻擊的研究，其中包含了針對特定系統的攻擊研究、針對投毒的數據集保護研究、還有新型投毒方式的研究等。后門攻擊的研究可以分為有污染數據和干凈訓練集兩種主要類型，其中包含了針對后門植入方式的研究、針對后門可遷移性的研究、還有新型觸發器形式的研究等。

與現有工作任意設置后門觸發器的位置形狀不同，我們精心設計了一個基于注意力機制的后門觸發器模具選擇算法，通過將觸發器放在對預測結果影響最顯著的關鍵區域，可以大大提高觸發器的影響。為了使后門觸發器更自然且不易察覺，我們在后門觸發器生成的損失函數中引入了體驗質量 (QoE) 項，并仔細調整了后門觸發器的透明度，從而達到規避人眼視覺檢查的作用。因考慮到后門攻擊中，攻擊者可以同時操縱輸入和模型，即觸發器擾亂輸入樣本、并將后門注入到模型，因此與現有方法（分割后門觸發器以及污染模型的步驟）不同，我們使用協同進化策略，同時優化后門觸發器和目標模型，進一步提高攻擊成功率。在協同優化后門觸發器的生成和后門注入的過程中，我們提出了一種交替再訓練策略(即不單一使用后門數據重訓目標模型注入后門，也間隔使用良性數據訓練目標模型），該策略被證明在提高干凈數據準確性和規避一些基于模型的防御方法如MNTD(2021 S&P) 方面是有效的。

我們通過對6個數據集的大量實驗來評估ATTEQ-NN。結果表明，當毒化比例較低時，與基線相比，ATTEQ-NN可以將攻擊成功率提高多達82%。我們證明了ATTEQ-NN在不同光照條件和拍攝角度下在物理世界中也是有效的，攻擊成功率達到了37.78%以上。ATTEQ-NN在遷移學習場景中也很有效，同時ATTEQ-NN 被證明可以避開最先進的防御方法，包括模型修剪、NAD、STRIP、NC 和 MNTD。

回顧AI系統中的數據流轉過程，在考慮過訓練數據集中存在的安全問題后，接下來是訓練過程中的安全問題。首先是訓練過程中的隱私風險與保護問題。如今互聯網公司大都會通過采集大量用戶個人信息訓練模型，以改進其服務質量的方式來盈利。而用戶數據往往會包含許多個人敏感信息，隨著人們隱私意識的提高以及相關法律法規的完善，規范化用戶數據采集已成為今后的趨勢。不僅如此，一旦用戶數據由于保管不當被泄露，將會造成惡劣的社會影響。除原始數據直接泄漏問題，一旦攻擊者能夠獲取訓練過程中模型參數或者梯度等信息的更新，它就能夠從中更容易地獲取到關于訓練數據的部分信息。典型的例子就是聯邦學習場景，參數服務器能夠獲取到所有參與者的參數更新情況，而對于參與者，也可能從服務器返回的聚合模型中推測出關于他人的一部分參數更新情況。現有研究已表明這些信息足以幫助攻擊者重建出關于受害者的部分訓練數據。因此，如何能夠在保證數據安全的前提下對其進行利用，是AI技術今后發展所面臨的一個重要問題。

當今實現隱私保護機器學習的主要途徑主要有四種：一是直接在密文數據上運行學習算法；二是借助可信硬件的機密性特性，將敏感數據放在可信環境中解密和運行學習算法；三是在訓練過程中添加差分隱私噪聲，防止模型泄漏訓練數據的信息；四是采用聯邦學習的方式，數據持有者在本地進行訓練而僅共享訓練結果。

在隱私數據竊取方面，我們探索了聯邦學習場景中，當服務器可能為惡意時的隱私泄露風險，并提出了一種基于GAN的用戶訓練數據重建攻擊。在訓練過程中，服務器在與參與者共同完成模型訓練任務的同時，額外訓練一個GAN，其中的生成器用于仿造用戶數據集中的樣本，判別器則幫助改進仿造的結果。在每一輪訓練中，服務器根據受害者上傳的參數首先構建出能與其獲得相似結果的數據表征，并連同更新參數一同用于訓練GAN中的判別器，以此不斷改進生成器重建出的樣本與原始訓練數據的相似程度。實驗結果顯示，對比其他的同類攻擊，我們的方案重建出的圖像與訓練數據更為相似。

除隱私問題之外，在訓練階段還存在著如何驗證AI算法正確執行的問題。即我們是否能夠驗證AI算法是否正確按照我們的想法去執行。不可信的AI服務提供商可能并沒有完成他們聲稱的任務，卻夸大了他們的工作來獲取不當利益，例如通過向用戶返回偽造的訓練模型或推理結果節省計算成本從而賺取更多利潤，或者夸大他們沒有實現的技術來吸引投資者等。現實中，這類問題已發生過多起。知名云計算服務亞馬遜AWS就曾出現過超額向用戶收費的問題；印度AI初創公司engineer.ai曾宣稱他們使用AI技術自動開發app以吸引投資，但實際上卻使用人力進行開發；谷歌的duplex語音助手也曾被指出約有四分之一的調用是由人類來回應的。因此，不管是個人用戶還是大型公司，在使用他人提供的AI技術時，都有著驗證該技術正確性的需求。

目前，關于如何實現可驗證的機器學習，現有研究還較少。目前主要有三種解決方法：第一種是采用基于密碼學的可驗證計算技術，能夠為全部計算步驟提供嚴格的完整性保障。第二種是采用統計分析的方式，通過分析模型訓練過程中不同迭代參數間的距離變化來確認計算的完整性。第三種是借助可信硬件的完整性特性，在可信執行環境內部運行學習算法。我們在該方向上做出了早期的探索，提出了首個基于密碼學的訓練過程完整性驗證方案，已發表在TPDS’21上。該方案的核心思路是計算方在訓練過程中生成關于中間結果的證明，驗證方則通過隨機抽取少量迭代步驟并使用zksnark技術來驗證相應證明的方式，從而以高概率快速驗證計算任務的完整性。相比重新執行一次完整計算任務的原始驗證方式，該方案所需的額外時間開銷要低一個數量級。此外，該方案同時也支持對模型推理的驗證、關于計算結果的公平交易等功能。

識別階段

關于識別階段的安全性威脅。在模型識別階段，我們可以進一步將攻擊面細化。以圖像和語音識別系統為例，在識別階段，物理世界下的數據通過傳感器轉化為數字化數據，再經過智能識別模型得到最終決策。根據目標攻擊對象的不同，可以分為兩類攻擊：一類是針對機器學習識別模型的對抗樣本攻擊，包括物理域/數字域攻擊、黑盒/白盒攻擊、圖像/語音/文本識別攻擊等；另一類是針對傳感器的sensor spoofing attacks（傳感器欺騙攻擊），他們的攻擊對象是傳感器，通常通過物理域攻擊手段，攻擊識別系統的物理部件，達到破壞識別的目的。我們也可以將這類攻擊稱為“擬”對抗樣本攻擊。抽象而言，對抗樣本攻擊是通過加入人眼無法察覺的細微擾動造成模型錯誤輸出。對抗樣本有兩個約束條件，其一是“隱蔽性”，即對抗樣本應該盡可能和原始樣本接近，以不被人察覺；其二是“對抗性”，即對抗樣本應該能使模型將其錯誤識別為目標類別。

對抗樣本能成功導致系統識別出錯的本質原因在于模型識別具有魯棒性。通常，由識別模型具有魯棒性，訓練模型的決策邊界和實際的決策邊界具有差異性，該差異性則成為了“對抗樣本”的攻擊面，在該范圍內的樣本，既滿足“對抗性”（識別出錯），又滿足“隱蔽性”（與正常樣本距離近）。

近些年來，已經有大量關于圖像對抗樣本的研究，涉及視覺、語音、NLP等多個領域。例如，在人臉識別系統中，可以通過在原本人臉上添加精心構造的對抗性鏡框圖案，使得目標系統識別成指定用戶。此外，另一個比較嚴重的安全隱患是攻擊者可以利用這種技術，偽裝成目標用戶，非法登錄以“刷臉”為認證手段的支付軟件，將其資金轉出，對經濟利益、個人利益造成巨大傷害。

除了視覺領域，語音領域同樣有許多關于語音對抗樣本的研究。尤其是近年來針對智能語音識別系統的攻擊。我們近期發表在CCS21的工作，也針對最新的知名智能語音系統，包括蘋果Siri，微軟Cortana，Google Assistant，Amazon Echo等，成功生成了基于語音的對抗樣本攻擊，并提出了相關防范的建議。類似地，語音對抗樣本也是在原始良性音頻上添加微小噪聲，使得模型將其識別為目標結果，同時保證人耳聽上去仍是原始音頻的含義。近兩年，在比較熱點的自動駕駛領域也有許多針對對抗樣本的研究工作相繼被提出。例如通過在交通指示牌上貼貼紙，便可以使得自動駕駛汽車識別錯誤，造成重大交通事故。

其他類似的惡意對抗樣本示例包括：針對車載語音識別系統，惡意注入語音控制命令，或者惡意擾亂車載路障檢測系統的正常運作等。對抗樣本的攻擊對象是識別模型，還有一類工作則是通過欺騙預處理階段的傳感器，從而達到識別出錯的目的。例如比較有代表性的工作是海豚音攻擊，它通過超聲波播放器把語音命令調制加載到超聲波信號中，利用麥克風本身的漏洞，在人耳無法察覺到的情況下攻擊目標語音識別系統。

針對圖像/語音/文本識別系統的對抗性攻擊這幾年已經得到了廣泛的研究。針對識別階段的對抗性攻擊大致可分為傳感器欺騙攻擊和對抗樣本攻擊，根據數據種類的不同，對抗樣本攻擊又可以細分為圖像對抗樣本、語音對抗樣本。圖像對抗樣本根據攻擊者的能力，可以簡單分為白盒攻擊和黑盒攻擊。白盒情況下攻擊者能夠獲知機器學習模型的參數。而黑盒情況下，攻擊者只能與機器學習的系統進行交互，不知道模型具體細節。在初期階段，大家主要研究白盒攻擊，但白盒的假設較強。為了提高實用性，近幾年大家重點研究黑盒情況下的對抗性攻擊。

語音對抗樣本方面，在我們CCS21的工作中，針對商業語音平臺，提出了兩種黑盒語音對抗攻擊方案—Occam和 NI-Occam。Occam的攻擊對象是云上語音識別API，能在只依賴識別結果的情況下，生成具有100%攻擊成功率的語音對抗樣本。Occam是首個decision-only的黑盒攻擊，在decision-only的條件下，我們面對的是離散的問題。針對這一挑戰，我們首先將對抗樣本構造轉換為一個直接在模型輸入空間上優化的方法，從而克服了非連續優化的難題。具體來說，我們將問題歸納為在輸入空間上的大規模全局優化問題，然后利用協同優化框架、cma-es等優化方法解決該復雜問題。Occam成功攻擊了包括谷歌、微軟、阿里等7個語音API，同時達到了100%的攻擊成功率。

針對物理域的語音控制設備，我們還提出了一種非交互式的黑盒攻擊——NI-Occam。在物理攻擊場景下，使用揚聲器播放的語音對抗樣本需要通過空氣信道傳播才能被語音控制設備接收。而來自物理信道的信號畸變，可能會導致對抗樣本失效。為了克服這一困難，在自然命令的靈感啟發下，我們發現，正常的語音不論在多么嘈雜的環境中傳輸，總能被語音控制設備正確識別，即正常語音天然地能抵抗物理信號失真。基于這一發現，我們可以在本地白盒模型上訓練一個對抗樣本，使它具有與自然命令相似的關鍵部分，且能夠不受物理通道影響成功被目標設備識別到。同時，受到模型反演的啟發，即我們可以從輸出恢復出模型的關鍵部分甚至是輸入。借助模型反演技術的思想，可以將原始音頻看作模型輸入，并將目標語音命令看作模型輸出。經過多輪迭代后，便可以“反演”出目標語音命令的關鍵部分，并將其“嵌入”到輸入音頻中。此時，該音頻具有對抗性，并能被目標設備識別成目標命令。我們的攻擊成功率達到了52%，成功攻擊了Apple siri、微軟Cortana等常見的語音助手。在客戶端，惡意的用戶也能通過查詢模型，來竊取服務器端的訓練數據或模型信息。

關于模型反轉攻擊：攻擊者想要通過模型恢復該模型的訓練數據，其利用模型預測結果來恢復出當前類的數據樣本。具體來說，通過查詢模型獲得預測結果，并使用優化的方式最大化目標類別的預測置信度，從而恢復出目標類別的原始特征。模型反轉攻擊泄露了模型的訓練數據信息，一方面對模型的隱私造成重大威脅，另一方面，模型反轉攻擊可以作為對抗樣本攻擊和后門攻擊的跳板，對模型的安全性造成重大威脅。除恢復數據集之外，攻擊者還想要判斷模型訓練是否使用了自己的數據，即成員推理攻擊。基于這樣一個事實，模型會記住訓練數據，因此訓練數據和非訓練數據會有著不同表現。因此，在判斷階段，將手中的數據樣本喂給模型，模型給出一個返回，然后基于這個返回來判別，當前樣本是否屬于訓練數據集。

前兩種攻擊更多的聚焦于訓練數據，其實模型本身是一種產品，具有知識產權，最近有許多研究嘗試去偷這樣的產品，即模型竊取。模型竊取是利用模型的預測結果構造一個與受害者模型相似的替代模型。攻擊者查詢黑盒模型API獲取預測結果，然后用此輸入輸出對訓練pre-trained模型即可得到替代模型。模型竊取攻擊違背了知識產權，一方面攻擊者可以省去再次查詢API的費用，另一方面模型竊取也能作為實現其他對抗性攻擊比如對抗樣本攻擊的跨板。這類攻擊實際上是對于其他類型的攻擊，在整個攻擊的環境當中，它可能會起到更加關鍵的作用。

回顧模型隱私的相關工作：基于不同的攻擊目標，不同的攻擊目標可分為模型反演，成員推理和模型竊取。其中模型竊取可以根據查詢樣本分為兩類，基于自然樣本以及基于合成樣本的攻擊。自然樣本是指直接從網上下載的公開數據集，比如imagenet。合成樣本比如對抗樣本。這個方向上，我們探索了模型隱私與數據隱私間的關系。例如我們發現利用模型反演攻擊獲得的數據能夠實現效果更好的模型竊取攻擊。因為反演樣本和原始數據更為相近，從而大大增加了替代模型與目標模型的相似程度。具體步驟分為四步，第一步是建立初始替代模型，然后利用此時的替代模型選取高置信度樣本去構建反演模型，之后輸入訓練樣本的置信度到反演模型即可得到反演樣本，最后利用反演樣本去進行模型竊取。實驗顯示，在10k查詢樣本的情況下，inversenet就可以達到較高的相似程度，大于80%。在小query budget下，如10k，替代模型的相似度比最先進的baseline (Activethief)替代模型的相似度高22%。

部署階段

最后，我們研究了關于系統可用性的問題，即如何授權合法的用戶使用智能系統。整個數據流轉在AI系統的生命周期中，最后一個是模型的部署階段。在此階段，也包含許多安全問題，但我們的focus在身份認證。隨AI系統越來越智能化，身份認證的方案也越來越智能化，大多采用基于生物特征的方案來進入智能系統中使用，這就是防控智能的過程。在此，我們集中考慮的是基于生物特征的身份認證方案。要進入現有的語音識別系統、人臉識別系統的，需經過身份認證，此身份認證需涉及多種方案。例如生物特征的方案，包括基于虹膜的、基于指紋的、基于語音的、基于人臉的，我們在此方向也做了大量工作。