<mark id="oztn4"></mark>
0
| 本文作者： 李尊 | 2016-08-09 19:10 |
導(dǎo)讀：美劇《紙牌屋》中提到——96%的互聯(lián)網(wǎng)數(shù)據(jù)無法通過標(biāo)準(zhǔn)搜索引擎訪問，其中大部分屬于無用信息，但隱藏在表層之下的有許許多多你無法想象的內(nèi)容，包括：兒童販賣、比特幣洗錢、致幻劑、系統(tǒng)漏洞、賞金黑客等等。
對于普通人來說，暗網(wǎng)（Darknet或Dark Web）、深網(wǎng)（Deepnet或Deep web）這兩個(gè)名詞可能從來沒有聽說過。暗網(wǎng)（Darknet或Dark Web）是指只使用非常規(guī)協(xié)議和端口以及可信節(jié)點(diǎn)進(jìn)行連接的私有網(wǎng)絡(luò)。與其他分布式點(diǎn)對點(diǎn)網(wǎng)絡(luò)不同的是，暗網(wǎng)的數(shù)據(jù)傳輸是匿名進(jìn)行的。當(dāng)今互聯(lián)網(wǎng)上的搜索服務(wù)可比喻為像在地球的海洋表面的拉起一個(gè)大網(wǎng)的搜索，巨量的表面信息固然可以通過這種方式被查找得到，可是還有相當(dāng)大量的信息由于隱藏在深處而被搜索引擎錯(cuò)失掉。絕大部分這些隱藏的信息是須通過動態(tài)請求產(chǎn)生的網(wǎng)頁信息，而標(biāo)準(zhǔn)的搜索引擎卻無法對其進(jìn)行查找。傳統(tǒng)的搜索引擎“看”不到，也獲取不了這些存在于深網(wǎng)的內(nèi)容，除非通過特定的搜查這些頁面才會動態(tài)產(chǎn)生。于是相對的，深網(wǎng)就隱藏了起來。所有暗網(wǎng)的集合組成了深網(wǎng)（Deepnet或Deep web）的一部分。據(jù)估計(jì)，深網(wǎng)要比表面網(wǎng)站大幾個(gè)數(shù)量級。
它其實(shí)與我們的網(wǎng)絡(luò)生活息息相關(guān)，特別是安全方面。讓我們先來看一個(gè)案例：
早在2015年2月，微軟在Windows操作系統(tǒng)中發(fā)現(xiàn)了一個(gè)嚴(yán)重的漏洞，該漏洞可能會導(dǎo)致惡意攻擊者遠(yuǎn)程控制目標(biāo)電腦（俗稱“肉雞”）。這個(gè)漏洞影響了大量的Windows操作系統(tǒng)（包括Vista,、7、8以及其他Windows Server服務(wù)器系統(tǒng)和Windows mobile系統(tǒng)）。
微軟馬上發(fā)布了補(bǔ)丁進(jìn)行修復(fù)，但是沒過多久這個(gè)漏洞就已經(jīng)在黑客社區(qū)傳播開了。
4月，網(wǎng)絡(luò)安全專家發(fā)現(xiàn)基于這個(gè)漏洞的exploit已經(jīng)在暗網(wǎng)（darknet）市場上進(jìn)行公開出售，要價(jià)在$15,000美元左右。7月，基于這個(gè)漏洞開發(fā)的惡意軟件被報(bào)告出現(xiàn)。該惡意軟件“Dyre Banking Trojan”目標(biāo)針對全世界的用戶，想從被感染的計(jì)算機(jī)上盜取用戶的信用卡相關(guān)信息。
暗網(wǎng)上某交易市場
這一案例恰好提供了惡意軟件從來源到發(fā)展成型的關(guān)鍵過程，在短短幾個(gè)月內(nèi)，黑客將一個(gè)漏洞變成了exploit，然后將其打包出售，再后就可以看到其變成了惡意軟件被釋放到全球的互聯(lián)網(wǎng)中。
在該案例中，微軟察覺并找出了那個(gè)漏洞，并在它被利用在惡意軟件中之前發(fā)布了一個(gè)補(bǔ)丁。但是如果惡意軟件利用的是軟件未知的漏洞，相關(guān)的開發(fā)者就必須馬上發(fā)布相應(yīng)的補(bǔ)丁（基本上是在同一天內(nèi)），所以也有個(gè)名字叫“0day攻擊”。
針對這一類型的網(wǎng)絡(luò)安全犯罪，對于網(wǎng)絡(luò)安全專家來說關(guān)鍵的目標(biāo)是在一個(gè)漏洞被惡意軟件利用之前0day內(nèi)將它找出來。Dyre Banking Trojan的案例對于Eric Nunes以及他在Arizona State University的同事來說，這給了他們重要的啟示。
今天他們宣布了一個(gè)新的智能采集系統(tǒng)，它能在暗網(wǎng)（dark web）和深網(wǎng)（deep net）中使用機(jī)器學(xué)習(xí)來研究黑客論壇以及他們的交易市場。該系統(tǒng)能搜尋潛在漏洞的線索。
他們的系統(tǒng)一開始的表現(xiàn)就十分亮眼，Nunes和他的同事提到“目前，系統(tǒng)平均每周都能找到超過305個(gè)高質(zhì)量的網(wǎng)絡(luò)威脅。”
使用深度學(xué)習(xí)的漏洞搜索引擎十分罕見，讓我們先來了解一下背景資料。那些黑客以及一些不懷好意的人一般傾向于將它們的論壇和交易市場在互聯(lián)網(wǎng)中隱藏起來，一般來說有好幾種方式。第一種是依賴于廣泛使用的Tor軟件（該軟件是著名的匿名代理工具，由 開發(fā)）來掩蓋自己在互聯(lián)網(wǎng)上的行跡，防止被追蹤。這個(gè)被稱為“暗網(wǎng)（Darknet或Dark Web）”
第二種使用的是那些開放網(wǎng)絡(luò)中沒有被搜索引擎收錄的地址，這個(gè)被稱為“深網(wǎng)（Deepnet或Deep web）”，這些網(wǎng)站一般很難被找到（也很難登錄上去）。
為了監(jiān)視黑客在這兩個(gè)地方上的活動，Nunes和他的同事開發(fā)了一個(gè)特定的爬蟲來抓取暗網(wǎng)（dark web）和深網(wǎng)（deep net）上的信息。顯然，這份工作中的關(guān)鍵步驟是給爬蟲指定的開始頁面，顯然這項(xiàng)任務(wù)必須由那些對這些暗網(wǎng)、深網(wǎng)信息十分熟悉的人來進(jìn)行。該研究小組隨機(jī)開始在暗網(wǎng)、深網(wǎng)中將與黑客行為相關(guān)的特征信息提取出來（要篩選掉那些毒品、槍支等等其他信息）。
最后，他們使用機(jī)器學(xué)習(xí)算法來檢測相關(guān)站點(diǎn)上的討論的物品和主題信息。他們使用的機(jī)器學(xué)習(xí)原理是通過手工標(biāo)記約25%的數(shù)據(jù)，表明哪些相關(guān)、哪些無關(guān)，然后該機(jī)器學(xué)習(xí)算法通過自主學(xué)習(xí)剩下的相關(guān)數(shù)據(jù)并進(jìn)行判斷。對于人類來說需要一分鐘來標(biāo)記五個(gè)交易市場或者相關(guān)論壇上的兩個(gè)主題，但是讓機(jī)器學(xué)習(xí)算法來干的話這個(gè)時(shí)間可以大大縮小。
利用機(jī)器學(xué)習(xí)查找暗網(wǎng)、深網(wǎng)中信息示意圖
最后的結(jié)果相當(dāng)有趣，Nunes和他的同事提到“使用機(jī)器學(xué)習(xí)模型之后，我們能夠以相當(dāng)高的精度查探到相關(guān)交易市場上92%的相關(guān)信息以及論壇中80%的與惡意攻擊有關(guān)的討論信息。”
這項(xiàng)技術(shù)早已揭露了大量的惡意攻擊活動，Nunes和他的同事提到“在過去的四個(gè)星期中，我們在交易市場數(shù)據(jù)中檢測到16個(gè)0day漏洞。”這其中包括一個(gè)重大的安卓（Android）漏洞（它被打包約20000美元出售）以及一個(gè)IE11瀏覽器的漏洞（它被打包月約10000美元出售）。
他們同樣發(fā)現(xiàn)了使用這些論壇和交易區(qū)的黑客的行蹤，據(jù)稱有751個(gè)用戶同時(shí)出現(xiàn)在一個(gè)交易區(qū)，并且有一個(gè)賣家同時(shí)出現(xiàn)在7個(gè)交易區(qū)中，在其中一個(gè)交易區(qū)中提供超過80個(gè)惡意軟件產(chǎn)品。“該賣家得到的評分平均在4.7/5.0，該評分由所有與他交易過的買家評價(jià)得來，根據(jù)相關(guān)信息他在暗網(wǎng)中曾進(jìn)行超過7000次交易。”Nunes和他的同事提到。
對于打擊網(wǎng)絡(luò)犯罪來說這是相當(dāng)關(guān)鍵的一步，目前使用該機(jī)器學(xué)習(xí)模型每周能識別超過300次網(wǎng)絡(luò)威脅，該系統(tǒng)早已吸引到相關(guān)業(yè)界公司的注意。如果他們的研究團(tuán)隊(duì)接下來能繼續(xù)在漏洞被惡意軟件利用之前0day識別出來的話，那么他們就能幫助相關(guān)的軟件開發(fā)者迅速開發(fā)出相應(yīng)的補(bǔ)丁，這對于安全專家來說是相當(dāng)重要的幫助。
道高一尺，魔高一丈。在網(wǎng)絡(luò)安全上這最終還是會否變成一個(gè)貓鼠游戲？我們不禁思考，當(dāng)黑客們意識到他們會被機(jī)器學(xué)習(xí)算法這樣監(jiān)測之后肯定會改變他們的活動方式，到那時(shí)機(jī)器學(xué)習(xí)算法是否還能高精度的進(jìn)行監(jiān)控識別呢？
via MIT Tech Review
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
