神經網絡這么弱？改一個像素就懵圈了

雷鋒網按：這里是，雷鋒字幕組編譯的Two minutes paper專欄，每周帶大家用碎片時間閱覽前沿技術，了解AI領域的最新研究成果。

原標題 One Pixel Attack Defeats Neural Networks | Two Minute Papers #240

翻譯 | 于澤平  字幕 | 凡江    整理 | 李逸凡  吳璇

?每周一篇2分鐘論文視頻解讀

騙過神經網絡，我們最少需要改變多少像素(pixel)呢？猜猜是多少，可能你會覺得，怎么著都要100才夠，但論文證明了，攻擊大多數神經網絡只需要修改一個像素就行。

在這篇《One pixel attack for fooling deep neural networks》論文中，研究人員分析了一種在極端限制情形下（只修改一個像素）的攻擊。他們提出了一種基于差分進化（differential evolution）的單像素對抗干擾新方法。

結果表明，70.97%的自然圖像至少有一個分類目標會被干擾，而造成干擾只需要修改置信均值為97.47%的一個像素。因此，在極端限制情形下，攻擊探索出了不同的對抗機器學習方法。這也表明當前的深度神經網絡也容易受到這類低維攻擊。

神經網絡通常不直接判斷一個類別，而是通過一些置信值來判別。置信值代表神經網絡它有多確信看到的是只拉布拉多犬還是一只老虎貓。我們通常對比所有的置信值，并選出最高的，查看它們使神經網絡對正確類別的置信值下降了多少，接著我們拋棄效果不好的像素，并繼續搜索最有希望的像素，我們將這個過程稱為差異進化。

如果這個過程實現的很好，最終正確類別的置信值將會變的很低，因為神經網路將能預測另一個類別，一旦發生這種情況，代表神經網絡成功被欺騙了，這也意味我們需要查看神經網路，并獲得其置信值。

當然，也有大量關于訓練魯棒性的神經網絡的研究，使這些神經網絡可以承受更多對抗攻擊，對抗攻擊有著許多地方值得我們去挖掘以及探索。

論文：https://arxiv.org/abs/1710.08864

Github：https://github.com/Hyperparticle/one-pixel-attack-keras

雷鋒字幕組正在招募中，掃描下方二維碼，備注“雷鋒字幕組+姓名”加入我們。

雷鋒網雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。