英特爾中國研究院深度學習領域最新成果——“動態外科手術”算法

雷鋒網按：本文為英特爾中國研究院最新研究成果，主要介紹了一個名為“動態外科手術”算法，有效地解決了處理大型網絡時重訓練時間長，誤剪枝率高的問題。利用該算法，我們可以輕易地將LeNet和AlexNet這兩個經典網絡的參數總量分別壓縮108倍和17.7倍。

英特爾中國研究院于近期提出了一種名為“動態外科手術”的神經網絡壓縮算法，獲得了業內的廣泛關注以及國內外專家的高度評價。利用該方法，研究人員可以在保證原始模型性能不降的前提下大幅度壓縮網絡結構。讓我們帶您一起深入淺出地理解這一算法。

如果您有定期關注IT、互聯網新聞的習慣，想必不會對深度學習（deep learning）一詞感到陌生。深度學習的概念源于早期的針對人工神經網絡的研究，其理念的核心在于通過深層神經網絡（deep neural networks）完成對樣本數據抽象表示的“學習”。自2006年深度學習的概念被首度提出，如今已經極大程度地改變了人工智能乃至整個互聯網、IT領域的生態。經過十年的發展，該技術在包括人臉識別、語音識別、物體檢測和自然語言處理在內的多個領域都表現出了頂尖的性能。

主流的深度網絡之一：深度卷積神經網絡

(圖片來源：A tutorial on deep learning [3])

然而，深度學習距離“天下無敵”也還有一定的距離。制約其發展的主要瓶頸之一是深度網絡極高的模型復雜度和消費級電子產品極有限的硬件資源之間的矛盾。事實上，時下許多主流的深度網絡都包含千萬級甚至是過億的學習參數，而如此海量的參數給模型的存儲和計算都帶來了相當大的壓力。因而，如何對訓練好的深度網絡進行壓縮就成了困擾研究人員的一大難題。2015年的論文Learning both weights and connections for efficient neural networks提出了一種網絡剪枝（network pruning）算法，可以在保持數據表示能力的前提下，將深度網絡中的學習參數壓縮10倍以上，在學界引起了廣泛討論。該論文也被發表在機器學習領域的頂級國際會議神經信息處理系統大會（Conference on Neural Information Processing Systems,以下簡稱“NIPS”），獲得了巨大的影響力。

神經網絡剪枝策略

(圖片來源：Learning both weights and connections for efficient neural networks [1])

今年，英特爾中國研究院認知計算實驗室郭怡文、姚安邦和陳玉榮三位研究員在深度學習領域取得突破性進展。他們所提出的動態外科手術（dynamic network surgery）算法，極其有效地解決了處理大型網絡時重訓練時間長，誤剪枝率高的問題。利用該算法，我們可以輕易地將LeNet和AlexNet這兩個經典網絡的參數總量分別壓縮108倍和17.7倍。

英特爾中國研究院認知計算實驗室郭怡文、陳玉榮和姚安邦

該算法采取了剪枝與嫁接相結合、訓練與壓縮相同步的策略完成網絡壓縮任務。通過網絡嫁接操作的引入，避免了錯誤剪枝所造成的性能損失，從而在實際操作中更好地逼近網絡壓縮的理論極限。

動外科手術策略

（虛線代表當前被切斷的網絡連接，而綠線代表通過嫁接重新建立的網絡連接[2]）

目前，該方法已被撰寫成文，并將發表在本年度的NIPS會議上。作為機器學習領域的頂級會議，NIPS近年來一直保持著極低的論文接收率。而獲準發表的論文也都會得到業內人士的極大關注，從而對機器學習的發展產生相當的推動作用。據悉，NIPS本年度收到的稿件總量約為2500篇，而接收率還不到23%。相信英特爾中國研究院的這項工作將會對學界和工業界產生巨大的影響。

圖片來源：

[1] Han, Song, et al. "Learning both weights and connections for efficient neural networks." Advances in Neural Information Processing Systems, 2015.

[2] Guo, Yiwen, Yao, Anbang and Chen, Yurong. “Dynamic network surgery for efficient DNNs.” Arixv preprint, arXiv:1608.04493v1, 2016.

[3] Yu, Kai. “A tutorial on deep learning.” China Workshop on Machine Learning and Applications, 2012.

雷鋒網注：本文由深度學習日記本er授權雷鋒網發布，如需轉載請聯系原作者，并注明作者和出處不得刪減內容。