<mark id="oztn4"></mark>
0
雷鋒網(wǎng) AI 科技評(píng)論按：隨著人工智能研究的不斷發(fā)展，由機(jī)器學(xué)習(xí)模型在背后提供支持的功能越來(lái)越多地開(kāi)始商業(yè)化，最終用戶(hù)的生活里機(jī)器學(xué)習(xí)能造成的影響也越來(lái)越大。這時(shí)候，機(jī)器學(xué)習(xí)的安全和隱私問(wèn)題也就越來(lái)越明顯，誰(shuí)都不想被自動(dòng)駕駛的車(chē)輛傷害，誰(shuí)也都不希望自己的語(yǔ)音助手泄露自己的私人信息。
GANs 的提出者、在谷歌大腦做人工智能研究的 Ian Goodfellow近期在Twitter上的動(dòng)向都是安全方面的。雷鋒網(wǎng) AI 科技評(píng)論剛剛給大家介紹了最新兩篇，一篇是他推薦的論文「Adversarial Example Defenses: Ensembles of Weak Defenses are not Strong」- 雷鋒網(wǎng)（“防御對(duì)抗性樣本：弱的防御方式組合起來(lái)也不強(qiáng)”），來(lái)自UC伯克利。另一篇是他發(fā)在Clever Hans博客的文章 「The challenge of verification and testing of machine learning」- 雷鋒網(wǎng)（“驗(yàn)證與測(cè)試，機(jī)器學(xué)習(xí)的兩大挑戰(zhàn)”）。
Clever Hans博客 （http://www.cleverhans.io/）大家可能不熟悉，但是其實(shí)這個(gè)博客去年就開(kāi)放了。這個(gè)博客是Ian Goodfellow和Nicolas Papernot兩人共同創(chuàng)建、更新的，還建立了cleverhans對(duì)抗性機(jī)器學(xué)習(xí)樣本庫(kù)目，他們的目的是與全世界的研究者們共同探索和改善機(jī)器學(xué)習(xí)模型在安全和隱私方面的表現(xiàn)。
而且這還不是 Ian Goodfellow和Nicolas Papernot第一次合作，實(shí)際上，兩人合作的論文「Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data」- 雷鋒網(wǎng)（用半監(jiān)督知識(shí)遷移解決深度學(xué)習(xí)中訓(xùn)練數(shù)據(jù)隱私問(wèn)題），就在ICLR2017上拿到了最佳論文獎(jiǎng)。
相比于絕大多數(shù)人機(jī)器學(xué)習(xí)領(lǐng)域的研究人員精力都還在設(shè)計(jì)模型、訓(xùn)練模型或者建立訓(xùn)練數(shù)據(jù)庫(kù)上，這兩人可謂是安全和隱私領(lǐng)域的急先鋒，自己研究探索的同時(shí)，也推廣著機(jī)器學(xué)習(xí)模型的安全和隱私意識(shí)，還積極促進(jìn)研究社區(qū)中的學(xué)術(shù)交流。
說(shuō)了這么多， Ian Goodfellow和Nicolas Papernot 對(duì)安全和隱私問(wèn)題的具體認(rèn)識(shí)是怎樣的？在他們看來(lái)這些問(wèn)題現(xiàn)在得到解決了嗎？以下雷鋒網(wǎng) AI 科技評(píng)論根據(jù)Clever Hans博客給大家做具體的講解。
如果讓 Ian Goodfellow和Nicolas Papernot 給出定義的話(huà)，一個(gè)可靠的、可以保證像預(yù)期那樣工作的系統(tǒng)，就是一個(gè)安全的系統(tǒng)。
為了達(dá)到系統(tǒng)的行為符合預(yù)期的目標(biāo)，設(shè)計(jì)系統(tǒng)的人心里就需要有一個(gè)威脅模型。“威脅模型”是一組經(jīng)過(guò)嚴(yán)格定義的任意一個(gè)可能希望“系統(tǒng)異常運(yùn)作”的攻擊者具有的能力和目標(biāo)的假設(shè)。
目前為止，多數(shù)的機(jī)器學(xué)習(xí)系統(tǒng)在設(shè)計(jì)的時(shí)候都只對(duì)應(yīng)了一個(gè)很弱的威脅模型，可以說(shuō)這樣的模型里是沒(méi)有什么具體成員的。這樣的機(jī)器學(xué)習(xí)系統(tǒng)的設(shè)計(jì)目標(biāo)只是為了在給與自然輸入的時(shí)候能夠正常工作。今天的設(shè)計(jì)者們應(yīng)當(dāng)開(kāi)始設(shè)計(jì)的系統(tǒng)，需要在面對(duì)惡意用戶(hù)和面對(duì)基于機(jī)器學(xué)習(xí)的惡意敵對(duì)方的時(shí)候還能正常工作。
舉例說(shuō)明，一個(gè)人工智能系統(tǒng)在訓(xùn)練時(shí)（學(xué)習(xí)階段）或者在進(jìn)行預(yù)測(cè)時(shí)（推理階段）都有可能被攻擊者盯上。攻擊者還會(huì)有各種不同的能力，其中很有可能包括對(duì)模型內(nèi)部結(jié)構(gòu)和參數(shù)，或者對(duì)模型輸入輸出的更改權(quán)限。
攻擊者的攻擊可以影響系統(tǒng)的保密性（confidentiality）、完整性（integrity）和可用性（availability），三者可以合稱(chēng)為安全領(lǐng)域的“CIA模型”。
保密性：機(jī)器學(xué)習(xí)系統(tǒng)必須保證未得到授權(quán)的用戶(hù)無(wú)法接觸到信息。在實(shí)際操作中，把保密性作為隱私性來(lái)考慮會(huì)容易得多，就是說(shuō)模型不可以泄露敏感數(shù)據(jù)。比如假設(shè)研究員們?cè)O(shè)計(jì)了一個(gè)可以檢查病人病歷、給病人做診斷的機(jī)器學(xué)習(xí)模型，這樣的模型可以對(duì)醫(yī)生的工作起到很大的幫助，但是必須要保證持有惡意的人沒(méi)辦法分析這個(gè)模型，也沒(méi)辦法把用來(lái)訓(xùn)練模型的病人數(shù)據(jù)恢復(fù)出來(lái)。
完整性：如果攻擊者可以破壞模型的完整性，那么模型的預(yù)測(cè)結(jié)果就可能會(huì)偏離預(yù)期。比如垃圾郵件會(huì)把自己偽裝成正常郵件的樣子，造成垃圾郵件識(shí)別器的誤識(shí)別。
可用性：系統(tǒng)的可用性也可以成為攻擊目標(biāo)。比如，如果攻擊者把一個(gè)非常難以識(shí)別的東西放在車(chē)輛會(huì)經(jīng)過(guò)的路邊，就有可能迫使一輛自動(dòng)駕駛汽車(chē)進(jìn)入安全保護(hù)模式，然后停車(chē)在路邊。
雖然目前研究者們還沒(méi)有展示很多成功進(jìn)行攻擊的案例，但是 Ian Goodfellow和Nicolas Papernot 表示 未在來(lái)的博文中會(huì)逐漸做更多介紹。
目前已經(jīng)可以明確表述的攻擊方式有三種：在訓(xùn)練時(shí)對(duì)模型進(jìn)行完整性攻擊，在推理時(shí)進(jìn)行完整性攻擊，以及隱私攻擊
攻擊者可以通過(guò)修改現(xiàn)有訓(xùn)練數(shù)據(jù)、或者給訓(xùn)練集增加額外數(shù)據(jù)的方法來(lái)對(duì)訓(xùn)練過(guò)程的完整性造成影響。比如假設(shè)莫里亞蒂教授要給福爾摩斯栽贓一個(gè)罪名，他就可以讓一個(gè)沒(méi)被懷疑的同伙送給福爾摩斯一雙獨(dú)特、華麗的靴子。當(dāng)福爾摩斯穿著這雙靴子在他經(jīng)常協(xié)助破案的警察面前出現(xiàn)過(guò)以后，這些警察就會(huì)把這雙靴子和他聯(lián)系起來(lái)。接下來(lái)莫里亞蒂教授就可以穿一雙同樣的靴子去犯罪，留下的腳印會(huì)讓福爾摩斯成為被懷疑的對(duì)象。
干擾機(jī)器學(xué)習(xí)模型的訓(xùn)練過(guò)程，體現(xiàn)的攻擊策略是當(dāng)用于生產(chǎn)時(shí)讓機(jī)器學(xué)習(xí)模型出現(xiàn)更多錯(cuò)誤預(yù)測(cè)。具體來(lái)說(shuō)，這樣的方法可以在支持向量機(jī)（SVM）的訓(xùn)練集中下毒。由于算法中預(yù)測(cè)誤差是以損失函數(shù)的凸點(diǎn)衡量的，這就讓攻擊者有機(jī)會(huì)找到對(duì)推理表現(xiàn)影響最大的一組點(diǎn)進(jìn)行攻擊。即便在更復(fù)雜的模型中也有可能找到高效的攻擊點(diǎn)，深度神經(jīng)網(wǎng)絡(luò)就是這樣，只要它們會(huì)用到凸優(yōu)化。
實(shí)際上，讓模型出錯(cuò)是非常簡(jiǎn)單的一件事情，以至于攻擊者都沒(méi)必要花功夫在訓(xùn)練機(jī)器學(xué)習(xí)模型參數(shù)的訓(xùn)練集中下毒。他們只要在推理階段（模型訓(xùn)練完成之后）的輸入上動(dòng)動(dòng)手腳，就可以立即讓模型得出錯(cuò)誤的結(jié)果。
要找到能讓模型做出錯(cuò)誤預(yù)測(cè)的干擾，有一種常用方法是計(jì)算對(duì)抗性樣本。它們帶有的干擾通常很微小，人類(lèi)很難發(fā)現(xiàn)，但它們卻能成功地讓模型產(chǎn)生錯(cuò)誤的預(yù)測(cè)。比如下面這張圖，用機(jī)器學(xué)習(xí)模型識(shí)別最左側(cè)的圖像，可以正確識(shí)別出來(lái)這是一只熊貓。但是對(duì)這張圖像增加了中間所示的噪聲之后得到的右側(cè)圖像，就會(huì)被模型識(shí)別成一只長(zhǎng)臂猿（而且置信度還非常高）。
值得注意的是，雖然人類(lèi)無(wú)法用肉眼分辨，但是圖像中施加的干擾已經(jīng)足以改變模型的預(yù)測(cè)結(jié)果。確實(shí)，這種干擾是在輸入領(lǐng)域中通過(guò)計(jì)算最小的特定模得到的，同時(shí)它還能增大模型的預(yù)測(cè)誤差。它可以有效地把本來(lái)可以正確分類(lèi)的圖像移過(guò)模型判定區(qū)域的邊界，從而成為另一種分類(lèi)。下面這張圖就是對(duì)于能分出兩個(gè)類(lèi)別的分類(lèi)器，出現(xiàn)這種現(xiàn)象時(shí)候的示意。
許多基于對(duì)抗性樣本的攻擊需要攻擊者知道機(jī)器學(xué)習(xí)模型中的參數(shù)，才能把所需的干擾看作一個(gè)優(yōu)化問(wèn)題計(jì)算出來(lái) 。另一方面，也有一些后續(xù)研究考慮了更現(xiàn)實(shí)的威脅模型，這種模型里攻擊者只能跟模型互動(dòng)，給模型提供輸入以后觀察它的輸出。舉例來(lái)講，這種狀況可以發(fā)生在攻擊者想要設(shè)計(jì)出能騙過(guò)機(jī)器學(xué)習(xí)評(píng)分系統(tǒng)從而得到高排名的網(wǎng)站頁(yè)面，或者設(shè)計(jì)出能騙過(guò)垃圾郵件篩選器的垃圾郵件的時(shí)候。在這些黑盒情境中，機(jī)器學(xué)習(xí)模型的工作方式可以說(shuō)像神諭一樣。發(fā)起攻擊的策略首先對(duì)神諭發(fā)起詢(xún)問(wèn)，對(duì)模型的判定區(qū)域邊界做出一個(gè)估計(jì)。這樣的估計(jì)就成為了一個(gè)替代模型，然后利用這個(gè)替代模型來(lái)制作會(huì)被真正的模型分類(lèi)錯(cuò)誤的對(duì)抗性樣本。這樣的攻擊也展現(xiàn)出了對(duì)抗性樣本的可遷移性：用來(lái)解決同樣的機(jī)器學(xué)習(xí)任務(wù)的不同的模型，即便模型與模型之間的架構(gòu)或者訓(xùn)練數(shù)據(jù)不一樣，對(duì)抗性樣本還是會(huì)被不同的模型同時(shí)誤判。
機(jī)器學(xué)習(xí)中的隱私問(wèn)題就不需要攻擊者也能講明白了。例如說(shuō)，機(jī)器學(xué)習(xí)算法缺乏公平性和透明性的問(wèn)題已經(jīng)引起領(lǐng)域內(nèi)越來(lái)越多人的擔(dān)心。事實(shí)上，已經(jīng)有人指出，訓(xùn)練數(shù)據(jù)中帶有的社會(huì)偏見(jiàn)會(huì)導(dǎo)致最終訓(xùn)練完成后的預(yù)測(cè)模型也帶有這些偏見(jiàn)。下面重點(diǎn)說(shuō)一說(shuō)在有攻擊者情況下的隱私問(wèn)題。
攻擊者的目的通常是恢復(fù)一部分訓(xùn)練機(jī)器學(xué)習(xí)模型所用的數(shù)據(jù)，或者通過(guò)觀察模型的預(yù)測(cè)來(lái)推斷用戶(hù)的某些敏感信息。舉例來(lái)說(shuō)，智能手機(jī)的虛擬鍵盤(pán)就可以通過(guò)學(xué)習(xí)用戶(hù)的輸入習(xí)慣，達(dá)到更好的預(yù)測(cè)-自動(dòng)完成效果。但是，某一個(gè)用戶(hù)的輸入習(xí)慣下的特定字符序列不應(yīng)該也出現(xiàn)在別的手機(jī)屏幕上，除非已經(jīng)有一個(gè)比例足夠大的用戶(hù)群也會(huì)打同樣的一串字符。在這樣的情況下，隱私攻擊會(huì)主要在推理階段發(fā)揮作用，不過(guò)要緩解這個(gè)問(wèn)題的話(huà)，一般都需要在學(xué)習(xí)算法中增加一些隨機(jī)性。
比如，攻擊者有可能會(huì)想辦法進(jìn)行成員推測(cè)查詢(xún)：想要知道模型訓(xùn)練中有沒(méi)有使用某個(gè)特定的訓(xùn)練點(diǎn)。近期就有一篇論文在深度神經(jīng)網(wǎng)絡(luò)場(chǎng)景下詳細(xì)討論了這個(gè)問(wèn)題。與制作對(duì)抗性樣本時(shí)對(duì)梯度的用法相反（這可以改變模型對(duì)正確答案的置信度），成員推測(cè)攻擊會(huì)沿著梯度方向?qū)ふ曳诸?lèi)置信度非常高的點(diǎn)。已經(jīng)部署的模型中也還可以獲得有關(guān)訓(xùn)練數(shù)據(jù)的更多總體統(tǒng)計(jì)信息。
Ian Goodfellow和Nicolas Papernot 兩人已經(jīng)一起試過(guò)幾個(gè)方法，為了提高機(jī)器學(xué)習(xí)模型面對(duì)對(duì)抗性樣本時(shí)魯棒性。
對(duì)抗性訓(xùn)練（Adversarial training）：對(duì)抗性訓(xùn)練的目標(biāo)是提高模型的泛化能力，讓模型在測(cè)試中遇到對(duì)抗性樣本的時(shí)候有更好的表現(xiàn)。做法是在模型的訓(xùn)練階段就主動(dòng)生成對(duì)抗性樣本，把它們作為訓(xùn)練過(guò)程的一部分。這個(gè)想法最初是由Szegedy提出的，但是可實(shí)施性很低，因?yàn)樯蓪?duì)抗性樣本需要的計(jì)算成本太高。Goodfellow展示過(guò)一種用快速梯度標(biāo)志的方法，可以低成本地生成對(duì)抗性樣本，計(jì)算效率已經(jīng)足以生成大批量的對(duì)抗性樣本用于模型訓(xùn)練。這樣訓(xùn)練出的模型對(duì)原樣本和對(duì)抗性樣本的分類(lèi)結(jié)果就是相同的。比如可以拍一張貓的照片，然后對(duì)抗性地進(jìn)行干擾，讓一般的模型照片識(shí)別成一只禿鷲，然后就告訴要訓(xùn)練的這個(gè)模型干擾后的照片還是一只貓。
防御性蒸餾（Defensive distillation）：攻擊者可能會(huì)利用模型判定區(qū)域的對(duì)抗方向發(fā)起攻擊，防御性蒸餾就可以讓這些方向變得更平滑。蒸餾（distillation）是一種訓(xùn)練方法，它要訓(xùn)練一個(gè)模型，讓這個(gè)模型預(yù)測(cè)更早訓(xùn)練的另一個(gè)模型的可能輸出結(jié)果。蒸餾的方法最初是由Hinton提出的，這個(gè)方法當(dāng)時(shí)的目標(biāo)是用一個(gè)小模型模仿大型的、計(jì)算量大的模型得到相似的結(jié)果。防御性蒸餾的目標(biāo)有所區(qū)別，它只是為了讓最終模型的輸出更平滑，所以即便模仿的和被模仿的兩個(gè)模型大小一樣也沒(méi)關(guān)系。不過(guò)這種方法有點(diǎn)反直覺(jué)，有兩個(gè)同樣架構(gòu)的模型，然后訓(xùn)練其中一個(gè)預(yù)測(cè)另一個(gè)的輸出結(jié)果。但是這種方法能奏效的原因是，先訓(xùn)練的那個(gè)模型（被模仿的）是用“絕對(duì)”標(biāo)簽訓(xùn)練的（可以100%確定圖像是狗，不是貓），然后它提供的用來(lái)訓(xùn)練后一個(gè)模型的標(biāo)簽就是“相對(duì)”的（比如95%的確定性認(rèn)為圖像更可能是狗）。這第二個(gè)蒸餾后的模型的魯棒性就高得多，對(duì)快速梯度標(biāo)志方法或者Jacobian的顯著圖方法這樣的攻擊的抵抗力高不少。
對(duì)抗性樣本防御起來(lái)很難是因?yàn)楹茈y對(duì)對(duì)抗性樣本的制作過(guò)程建立理論模型。對(duì)包括神經(jīng)網(wǎng)絡(luò)在內(nèi)的許多機(jī)器學(xué)習(xí)模型而言，對(duì)抗性樣本是優(yōu)化問(wèn)題的非線(xiàn)性、非凸性的解。因?yàn)闆](méi)有什么好的理論工具可以描述這些復(fù)雜優(yōu)化問(wèn)題的解，所以也就很難提出能夠?qū)Ω秾?duì)抗性樣本的增強(qiáng)理論作為防御方法。
換個(gè)角度看，對(duì)抗性樣本很難防御也因?yàn)樗鼈円髾C(jī)器學(xué)習(xí)模型對(duì)每一種可能的輸入都要給出好的結(jié)果。多數(shù)時(shí)候機(jī)器學(xué)習(xí)模型都能很好地工作，但是對(duì)所有可能的輸入而言，它們實(shí)際會(huì)遇到的輸入只是很小的一部分。就是因?yàn)榭赡艿妮斎胧呛Ａ康模O(shè)計(jì)一個(gè)真正有適應(yīng)性的防御方法就很難。
兩人在2016年底就已經(jīng)發(fā)現(xiàn)了許多可以對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行攻擊的方法，但是防御的方法幾乎看不到。他們希望在2017年底能夠看到一些高效的防御方法。他們博客的目的就是推動(dòng)機(jī)器學(xué)習(xí)安全和隱私方面的前沿發(fā)展，方法就是把最新的進(jìn)展記錄下來(lái)、在相關(guān)話(huà)題的研究社區(qū)中引發(fā)討論、以及啟發(fā)新一代的研究者們加入這個(gè)社區(qū)。
對(duì)對(duì)抗性樣本的研究很令兩人興奮，因?yàn)楹芏嘀匾獑?wèn)題都還沒(méi)有得到定論，理論方面和應(yīng)用方面都是。從理論角度，沒(méi)人知道想防御對(duì)抗性樣本的攻擊是不是徒勞（就像想要發(fā)現(xiàn)一種通用的機(jī)器學(xué)習(xí)算法那樣），或者能夠找到一種最佳的策略讓防御者占得先機(jī)（像加密學(xué)和差分隱私那樣）。從應(yīng)用角度，還沒(méi)人設(shè)計(jì)出來(lái)過(guò)強(qiáng)大到能夠抵抗多種不同對(duì)抗性樣本攻擊的防御算法。Ian Goodfellow和Nicolas Papernot兩人更希望讀者們閱讀文章以后可以得到靈感，一起來(lái)解決其中的一些問(wèn)題。
更多安全和隱私問(wèn)題的研究成果，以及Ian Goodfellow和Nicolas Papernot的最新研究動(dòng)向，請(qǐng)繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評(píng)論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
