機器學習算法進入深網和暗網，鎖定零日漏洞

漏洞也分三六九等，理論上有一些漏洞并不足以讓攻擊者去威脅你的系統，但是有一些漏洞，比如“零日漏洞”（Zero-day Exploit）就具有巨大的破壞力。有些人依靠這樣的漏洞，開發出惡意軟件，侵入人們的計算機系統，竊取重要的信息，這是如今網絡安全中最大的威脅之一。

發現漏洞，并阻止惡意軟件的產生，是網絡安全專家重要的工作。如今，亞利桑那州立大學的一個研究團隊，開發出一套機器學習算法，幫助監測和識別這些在黑市中交易的漏洞。

一個惡意軟件的誕生

2015年2月，微軟發現了Windows操作系統中一個嚴重的漏洞，這可能會讓黑客遠程操控目標計算機。該漏洞影響范圍巨大，包括了Vista、Win7、Win8及其他服務器系統。

微軟隨后立即發布了補丁，但是漏洞的細節很快在整個黑客社區傳播開來。

在4月，一個基于這個漏洞的攻擊程序（Exploit）在黑市售賣，售價1.5萬美元。7月，基于這個產品的第一個惡意軟件出現，是一個名為“ Dyre Banking”的木馬程序，可以攻擊全球用戶并盜取被感染設備上的信用卡號。

從上面這個事件里，我們可以看到惡意軟件誕生的基本過程。首先，黑客利用一個漏洞開發出可作攻擊使用的程序產品，在黑市上售賣，購買者利用它開發出惡意軟件，然后感染用戶設備。

在這個案例里，微軟自己發現了這個漏洞，并提前發布補丁。但是，如果惡意黑客們在軟件公司之前就發現了這個漏洞，那么這個漏洞就是“零日漏洞”了。“零日”這個詞用來諷刺軟件商和安全公司根本不知曉自己的漏洞：軟件商們知道這個漏洞有幾天呢？一天也沒有！而網絡安全專家的主要目標，就是在“零日漏洞”程序變成惡意軟件之前找到它們。

機器學習之下的深網和暗網

對亞利桑那州立大學的Eric Nunes和同事們來說，這次的Dyre Banking木馬事件給了它們一個重要的靈感，可以用一種全新的方法來應對這類網絡安全問題。

他們利用機器學習來研究深網（Deep Web） 和暗網（Dark Web）里的黑客論壇和交易市場，追蹤最新的漏洞線索。

先來說一下深網和暗網的概念。一般的網絡分三層，首先是表層網絡，即普通人平時熟悉和使用的網絡，任何搜索引擎都能抓取并輕松訪問。然后是深網：表層網之外的所有網絡我們都稱之為深網，搜索引擎無法對其進行抓取，它并沒有完全隱藏起來，只是普通搜索引擎無法發現它的行蹤。第三層是暗網：暗網是深網的一部分，但被人為地隱藏了起來。如果不是技術大牛，你很難打入這個網絡之中。

Nunes和他的同事們開發出一個爬蟲程序，從深網和暗網的HTML網頁上搜集信息，來監控這里的黑客的活動。 顯然，這一工作的關鍵在于為爬蟲程序找到最佳的起始頁面，而這個任務必須由熟悉深網的人來完成。

深網里的內容龐雜，Nunes的系統只提取與黑客活動有關的信息，而摒棄掉無關的類似毒品、武器交易等內容。所以，在建立數據庫的過程中，需要為信息貼上標簽，為算法指出哪些與黑客活動有關而哪些無關。在目前的訓練數據庫中，25%的標簽都是由人工完成，一個人每分鐘要給5個黑市產品或給一個論壇里的兩個話題貼上標簽。之后，他們用貼好標簽的數據來訓練算法，用未貼標簽的數據來測試學習成果。

研究成果

機器學習的成果十分有趣。Nunes和他的同事們表示，這個機器學習模型，對于黑市產品的識別準確率是92% ，對于論壇里惡意攻擊話題討論的識別準確率是80%。這是一個很高的準確度了。

而且這個系統已經揭露了一些惡意黑客行為。“在4周時間里，我們從黑市交易數據中發現了16個零日漏洞。”該團隊透露道。這其中包括一個安卓系統的嚴重漏洞，交易價格為2萬美元，還有一個IE 11瀏覽器的安全漏洞，價格為1萬美元。

該團隊也制作出了深網論壇和交易市場里的社交譜系。團隊表示，有751個深網用戶出現在不止一個交易市場中，其中有一個賣家在7個市場和1個論壇中十分活躍，并提供了80多個與惡意攻擊有關的產品。

這門生意真是獲利頗豐。“黑市客戶對這個賣家的評分在4.7到5.0之間，他進行過超過7000筆成功的交易，這表示他的產品非常可靠，并且在買家中很受歡迎。”Nunes和同事們說道。

目前，這個系統平均每周搜集305個高質量的網絡威脅警告，這吸引了很多商家的目光。實際上，團隊透露他們現在正準備把這個系統移交給一個商業合作伙伴。如果這個團隊繼續搜尋零日漏洞，趕在這些漏洞發展成為惡意程序之前，他們就可以幫助軟件開發者及時修復漏洞，這對網絡安全專家有很大的幫助。

當然，這也會變成網絡安全里“貓鼠游戲”的其中一環。現在黑客們已經知道自己正在被系統性地監視著，不知道他們將如何改變行為方式。 如果這個改變發生了，貓鼠游戲就會進入新的一輪。

Via MIT Technology Review

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。