英特爾中國(guó)研究院深度學(xué)習(xí)領(lǐng)域最新成果——“動(dòng)態(tài)外科手術(shù)”算法

雷鋒網(wǎng)按：本文為英特爾中國(guó)研究院最新研究成果，主要介紹了一個(gè)名為“動(dòng)態(tài)外科手術(shù)”算法，有效地解決了處理大型網(wǎng)絡(luò)時(shí)重訓(xùn)練時(shí)間長(zhǎng)，誤剪枝率高的問(wèn)題。利用該算法，我們可以輕易地將LeNet和AlexNet這兩個(gè)經(jīng)典網(wǎng)絡(luò)的參數(shù)總量分別壓縮108倍和17.7倍。

英特爾中國(guó)研究院于近期提出了一種名為“動(dòng)態(tài)外科手術(shù)”的神經(jīng)網(wǎng)絡(luò)壓縮算法，獲得了業(yè)內(nèi)的廣泛關(guān)注以及國(guó)內(nèi)外專家的高度評(píng)價(jià)。利用該方法，研究人員可以在保證原始模型性能不降的前提下大幅度壓縮網(wǎng)絡(luò)結(jié)構(gòu)。讓我們帶您一起深入淺出地理解這一算法。

如果您有定期關(guān)注IT、互聯(lián)網(wǎng)新聞的習(xí)慣，想必不會(huì)對(duì)深度學(xué)習(xí)（deep learning）一詞感到陌生。深度學(xué)習(xí)的概念源于早期的針對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究，其理念的核心在于通過(guò)深層神經(jīng)網(wǎng)絡(luò)（deep neural networks）完成對(duì)樣本數(shù)據(jù)抽象表示的“學(xué)習(xí)”。自2006年深度學(xué)習(xí)的概念被首度提出，如今已經(jīng)極大程度地改變了人工智能乃至整個(gè)互聯(lián)網(wǎng)、IT領(lǐng)域的生態(tài)。經(jīng)過(guò)十年的發(fā)展，該技術(shù)在包括人臉識(shí)別、語(yǔ)音識(shí)別、物體檢測(cè)和自然語(yǔ)言處理在內(nèi)的多個(gè)領(lǐng)域都表現(xiàn)出了頂尖的性能。

主流的深度網(wǎng)絡(luò)之一：深度卷積神經(jīng)網(wǎng)絡(luò)

(圖片來(lái)源：A tutorial on deep learning [3])

然而，深度學(xué)習(xí)距離“天下無(wú)敵”也還有一定的距離。制約其發(fā)展的主要瓶頸之一是深度網(wǎng)絡(luò)極高的模型復(fù)雜度和消費(fèi)級(jí)電子產(chǎn)品極有限的硬件資源之間的矛盾。事實(shí)上，時(shí)下許多主流的深度網(wǎng)絡(luò)都包含千萬(wàn)級(jí)甚至是過(guò)億的學(xué)習(xí)參數(shù)，而如此海量的參數(shù)給模型的存儲(chǔ)和計(jì)算都帶來(lái)了相當(dāng)大的壓力。因而，如何對(duì)訓(xùn)練好的深度網(wǎng)絡(luò)進(jìn)行壓縮就成了困擾研究人員的一大難題。2015年的論文Learning both weights and connections for efficient neural networks提出了一種網(wǎng)絡(luò)剪枝（network pruning）算法，可以在保持?jǐn)?shù)據(jù)表示能力的前提下，將深度網(wǎng)絡(luò)中的學(xué)習(xí)參數(shù)壓縮10倍以上，在學(xué)界引起了廣泛討論。該論文也被發(fā)表在機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)國(guó)際會(huì)議神經(jīng)信息處理系統(tǒng)大會(huì)（Conference on Neural Information Processing Systems,以下簡(jiǎn)稱“NIPS”），獲得了巨大的影響力。

神經(jīng)網(wǎng)絡(luò)剪枝策略

(圖片來(lái)源：Learning both weights and connections for efficient neural networks [1])

今年，英特爾中國(guó)研究院認(rèn)知計(jì)算實(shí)驗(yàn)室郭怡文、姚安邦和陳玉榮三位研究員在深度學(xué)習(xí)領(lǐng)域取得突破性進(jìn)展。他們所提出的動(dòng)態(tài)外科手術(shù)（dynamic network surgery）算法，極其有效地解決了處理大型網(wǎng)絡(luò)時(shí)重訓(xùn)練時(shí)間長(zhǎng)，誤剪枝率高的問(wèn)題。利用該算法，我們可以輕易地將LeNet和AlexNet這兩個(gè)經(jīng)典網(wǎng)絡(luò)的參數(shù)總量分別壓縮108倍和17.7倍。

英特爾中國(guó)研究院認(rèn)知計(jì)算實(shí)驗(yàn)室郭怡文、陳玉榮和姚安邦

該算法采取了剪枝與嫁接相結(jié)合、訓(xùn)練與壓縮相同步的策略完成網(wǎng)絡(luò)壓縮任務(wù)。通過(guò)網(wǎng)絡(luò)嫁接操作的引入，避免了錯(cuò)誤剪枝所造成的性能損失，從而在實(shí)際操作中更好地逼近網(wǎng)絡(luò)壓縮的理論極限。

動(dòng)外科手術(shù)策略

（虛線代表當(dāng)前被切斷的網(wǎng)絡(luò)連接，而綠線代表通過(guò)嫁接重新建立的網(wǎng)絡(luò)連接[2]）

目前，該方法已被撰寫成文，并將發(fā)表在本年度的NIPS會(huì)議上。作為機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議，NIPS近年來(lái)一直保持著極低的論文接收率。而獲準(zhǔn)發(fā)表的論文也都會(huì)得到業(yè)內(nèi)人士的極大關(guān)注，從而對(duì)機(jī)器學(xué)習(xí)的發(fā)展產(chǎn)生相當(dāng)?shù)耐苿?dòng)作用。據(jù)悉，NIPS本年度收到的稿件總量約為2500篇，而接收率還不到23%。相信英特爾中國(guó)研究院的這項(xiàng)工作將會(huì)對(duì)學(xué)界和工業(yè)界產(chǎn)生巨大的影響。

圖片來(lái)源：

[1] Han, Song, et al. "Learning both weights and connections for efficient neural networks." Advances in Neural Information Processing Systems, 2015.

[2] Guo, Yiwen, Yao, Anbang and Chen, Yurong. “Dynamic network surgery for efficient DNNs.” Arixv preprint, arXiv:1608.04493v1, 2016.

[3] Yu, Kai. “A tutorial on deep learning.” China Workshop on Machine Learning and Applications, 2012.

雷鋒網(wǎng)注：本文由深度學(xué)習(xí)日記本er授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請(qǐng)聯(lián)系原作者，并注明作者和出處不得刪減內(nèi)容。