<mark id="oztn4"></mark>
0
| 本文作者： 谷磊 | 2017-03-10 14:44 |
雷鋒網(wǎng)［AI科技評(píng)論］按：本文由雷鋒網(wǎng)編輯根據(jù)劉鐵巖博士在中國(guó)人工智能學(xué)會(huì)AIDL第二期人工智能前沿講習(xí)班＊機(jī)器學(xué)習(xí)前沿所作報(bào)告《迎接深度學(xué)習(xí)的“大”挑戰(zhàn)》編輯整理而來(lái)，發(fā)文前已得到劉鐵巖博士的親自刪減校正。
劉鐵巖
劉鐵巖博士，微軟亞洲研究院首席研究員，領(lǐng)導(dǎo)機(jī)器學(xué)習(xí)和人工智能方向的研究工作。同時(shí)他也是美國(guó)卡內(nèi)基-梅隆大學(xué)（CMU）客座教授、英國(guó)諾丁漢大學(xué)榮譽(yù)教授、中國(guó)科技大學(xué)、中山大學(xué)、南開(kāi)大學(xué)的博士生導(dǎo)師。劉博士的的先鋒性工作促進(jìn)了機(jī)器學(xué)習(xí)與信息檢索之間的融合，被國(guó)際學(xué)術(shù)界公認(rèn)為“排序?qū)W習(xí)”領(lǐng)域的代表人物，他在該領(lǐng)域的學(xué)術(shù)論文已被引用近萬(wàn)次，并受Springer出版社之邀撰寫了該領(lǐng)域的首部學(xué)術(shù)專著（并成為Springer計(jì)算機(jī)領(lǐng)域華人作者十大暢銷書(shū)之一）。近年來(lái)，劉博士在博弈機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、分布式機(jī)器學(xué)習(xí)等方面也頗有建樹(shù)，他的研究工作多次獲得最佳論文獎(jiǎng)、最高引用論文獎(jiǎng)、研究突破獎(jiǎng)；被廣泛應(yīng)用在微軟的產(chǎn)品和在線服務(wù)中、并通過(guò)微軟認(rèn)知工具包（CNTK）、微軟分布式機(jī)器學(xué)習(xí)工具包（DMTK）、微軟圖引擎（Graph Engine）等項(xiàng)目開(kāi)源。他曾受邀擔(dān)任了包括SIGIR、WWW、KDD、ICML、NIPS、AAAI、ACL在內(nèi)的頂級(jí)國(guó)際會(huì)議的組委會(huì)主席、程序委員會(huì)主席、或領(lǐng)域主席；以及包括ACM TOIS、ACM TWEB、Neurocomputing在內(nèi)的國(guó)際期刊副主編。他是國(guó)際電子電氣工程師學(xué)會(huì)（IEEE）院士，美國(guó)計(jì)算機(jī)學(xué)會(huì)（ACM）杰出會(huì)員，中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）學(xué)術(shù)工委，中文信息學(xué)會(huì)（CIPS）信息檢索專委會(huì)副主任。
以下為劉鐵巖博士所做的現(xiàn)場(chǎng)演講的第一部分，主要介紹了近年人工智能所取得的應(yīng)用成果；什么是深度神經(jīng)網(wǎng)絡(luò)以及它所帶來(lái)的挑戰(zhàn)等問(wèn)題。
劉鐵巖：非常榮幸今天有機(jī)會(huì)和大家分享我們的研究成果。我知道這幾天課程安排得特別滿，一天四場(chǎng)報(bào)告，大家有點(diǎn)廢寢忘食的感覺(jué)，非常辛苦。希望大家聽(tīng)了我們的報(bào)告，能夠有所收獲。
今天我們跟大家分享的題目是：“迎接深度學(xué)習(xí)的大挑戰(zhàn)”。
為什么要講這個(gè)題目呢？深度學(xué)習(xí)這幾年改變了很多行業(yè)的狀態(tài)，今天上午張老師應(yīng)該也講了很多關(guān)于神經(jīng)網(wǎng)絡(luò)的話題，包括怎么學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。今天我會(huì)從另一個(gè)角度看一看深度學(xué)習(xí)到底有哪些挑戰(zhàn)，這些挑戰(zhàn)怎么用學(xué)術(shù)研究的方式加以解決。
在此之前，我準(zhǔn)備了兩張PPT，介紹一下微軟亞洲研究院。
微軟亞洲研究院成立于1998年，有200多名全職的研究人員，和來(lái)自于各大高校的實(shí)習(xí)生。微軟亞洲研究院雖然隸屬于公司，但是日常運(yùn)營(yíng)的形式很像大學(xué)，有很多非常有水平的研究員做導(dǎo)師，有非常高質(zhì)量的學(xué)生跟我們做研究。我本人在微軟亞洲研究院負(fù)責(zé)人工智能和機(jī)器學(xué)習(xí)的領(lǐng)域，我們有十幾位全職的研究人員從事這方面的研究，如果大家對(duì)我們組感興趣或者想進(jìn)行合作，歡迎和我聯(lián)系。
我們組的研究方向很寬，包括排序?qū)W習(xí)、大規(guī)模機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、機(jī)器學(xué)習(xí)理論等等。除了發(fā)表了百余篇論文，被引用萬(wàn)余次以外，我們還致力于把研究成果分享給同仁，所以在過(guò)去幾年間我們主導(dǎo)、或者參與了多個(gè)開(kāi)源項(xiàng)目，比如微軟認(rèn)知工具包（CNTK），微軟分布式機(jī)器學(xué)習(xí)工具包（DMTK）、微軟圖引擎(Graph Engine) 等等。如果大家對(duì)我們的最新動(dòng)態(tài)感興趣，關(guān)注我們的公眾號(hào)、微博，了解很多新鮮出爐的微軟亞洲研究院的故事。
接下來(lái)我們進(jìn)入今天報(bào)告的正題。
我們這次整個(gè)AIDL都是關(guān)于人工智能和機(jī)器學(xué)習(xí)的，類似的PPT應(yīng)該已經(jīng)出現(xiàn)了很多次，所以關(guān)于什么是人工智能，人工智能曾經(jīng)走過(guò)什么道路，這里我不想再重復(fù)。總之，人工智能在過(guò)去的60年里，幾起幾落，每一次所謂的人工智能寒冬多半都是因?yàn)楣姾驼畬?duì)人工智能的期望值太高。因此，作為人工智能行業(yè)的參與者，我們有必要提醒公眾、提醒政府、提醒產(chǎn)業(yè)，對(duì)于人工智能技術(shù)保持冷靜，不要把它過(guò)早捧殺。
不過(guò)話說(shuō)回來(lái)，回顧過(guò)去的十幾年，人工智能確實(shí)取得了一些前所未有的成果。接下來(lái)我們就來(lái)看幾個(gè)例子。深度學(xué)習(xí)的成功最早是在類似語(yǔ)音圖像這些領(lǐng)域取得的。
首先，語(yǔ)音識(shí)別，因?yàn)橛辛舜罅康挠?xùn)練數(shù)據(jù)，有了Deep Learning的方案，逐步達(dá)到了人類的精度。這張PPT展示的是去年10月份我們微軟研究院對(duì)外宣布的一個(gè)語(yǔ)音識(shí)別方面的突破性進(jìn)展。
這是歷史上第一次，機(jī)器達(dá)到了和人沒(méi)有區(qū)別的程度，在個(gè)人對(duì)話的場(chǎng)景下，取得了非常低的錯(cuò)誤率（5.9%）。這個(gè)模型是用微軟認(rèn)知工具包（CNTK）訓(xùn)練出來(lái)的，大家如果對(duì)語(yǔ)音的研究有興趣，可以試用一下CNTK，它是語(yǔ)音識(shí)別領(lǐng)域被最廣泛使用的深度學(xué)習(xí)工具包。
其次，圖像方面最近也取得了很大的進(jìn)展、2015年，來(lái)自我們微軟亞洲研究院的ResNet技術(shù)，在ImageNet competition里取得了冠軍，并且超過(guò)了人類的識(shí)別精度。像ImageNet這樣包含上千個(gè)類別的圖像數(shù)據(jù)，識(shí)別起來(lái)其實(shí)還是有難度的。即便是人，看一眼也不一定都能分辨出來(lái)。
有研究表明，人類的錯(cuò)誤率大約是5.1%，而ResNet達(dá)到了將近3.5%的錯(cuò)誤率。也就是說(shuō)對(duì)于特定領(lǐng)域、特定類別的問(wèn)題，機(jī)器已經(jīng)超過(guò)了人的圖像識(shí)別能力。這個(gè)成功后來(lái)又延續(xù)到了圖像分割領(lǐng)域，圖像分割是比圖像識(shí)別更復(fù)雜的任務(wù)，不僅要告訴大家這張圖像有什么，還要把它圈出來(lái)、把邊界找到。2016年微軟亞洲研究院的技術(shù)再次在這個(gè)更難的任務(wù)上力拔頭籌、獲得冠軍。
上面提到的人工智能技術(shù)大多已經(jīng)被微軟產(chǎn)業(yè)化，下面給大家放一個(gè)視頻，是介紹微軟認(rèn)知服務(wù)的，之前網(wǎng)上幾個(gè)很出名的爆款應(yīng)用，比如How old測(cè)顏齡，都是基于微軟認(rèn)知服務(wù)開(kāi)發(fā)出來(lái)的。
視頻中展示場(chǎng)景，包括了前面提到的語(yǔ)音識(shí)別、圖像識(shí)別、文字識(shí)別等等。有了微軟認(rèn)知服務(wù)，大家如果想做一個(gè)創(chuàng)新應(yīng)用，就不需要對(duì)深度學(xué)習(xí)有非常深的了解，不需要在云上構(gòu)架一個(gè)龐大的服務(wù)器集群來(lái)訓(xùn)練模型，只要調(diào)用一下認(rèn)知服務(wù)的API，就可以實(shí)現(xiàn)很多神奇的功能。
除了前面提到的語(yǔ)音和圖像以外，在文本理解、機(jī)器翻譯等方面，人工智能技術(shù)最近也取得了很大的進(jìn)展。
微軟有很多與此相關(guān)的產(chǎn)品，比如Skype translator、Microsoft translator，可以同時(shí)支持多人、多點(diǎn)語(yǔ)音、多語(yǔ)言的實(shí)時(shí)同聲傳譯。接下來(lái)給大家展示的視頻是關(guān)于Skype translator的，講的是一個(gè)外國(guó)攝影師和他的中國(guó)向?qū)еg的故事。
其實(shí)這項(xiàng)技術(shù)早在2012年微軟亞洲研究院主辦的“21世紀(jì)計(jì)算大會(huì)”上就被展示過(guò)。當(dāng)時(shí)我們的研究副總裁Rick Rashid用英文做了一個(gè)主題演講，大家聽(tīng)到的是機(jī)器自動(dòng)同聲傳譯出來(lái)的中文表達(dá)，聽(tīng)起來(lái)就像他真的會(huì)講中文一樣。
除了上述認(rèn)知方面的進(jìn)展，最近人工智能在博弈方面也取得了很大的進(jìn)步。比如用人工智能來(lái)打電子游戲，用人工智能來(lái)下圍棋等等。當(dāng)年AlphaGo戰(zhàn)勝李世乭的時(shí)候街頭巷尾都在討論。而今master橫掃幾十位人類高手，又掀起了大家對(duì)人工智能的新認(rèn)識(shí)。
左邊這張圖是關(guān)于用人工智能技術(shù)來(lái)玩Atarti game的。當(dāng)使用強(qiáng)化學(xué)習(xí)技術(shù)不斷地嘗試玩這個(gè)游戲，一開(kāi)始機(jī)器只會(huì)學(xué)到一些基本技能，玩著玩著逐漸發(fā)現(xiàn)一些高級(jí)的策略，甚至獲取了超過(guò)常人的技巧，比如把小球打到磚塊上面去，通過(guò)不斷回彈實(shí)現(xiàn)得分。
右邊這張圖是關(guān)于圍棋的。圍棋本身的策略空間非常大，每落一子，棋盤上都有很多不同的選擇，如果再考慮到后手，則對(duì)應(yīng)于一個(gè)非常龐大的搜索樹(shù)。對(duì)這個(gè)搜索樹(shù)進(jìn)行遍歷是遠(yuǎn)遠(yuǎn)超過(guò)目前計(jì)算機(jī)的計(jì)算能力的，所以大家曾一度認(rèn)為在圍棋這件事情上機(jī)器很難戰(zhàn)勝人類。但是，最新的人工智能技術(shù)巧妙地回避了遍歷，像人一樣使用了value network來(lái)對(duì)搜索樹(shù)進(jìn)行有效的剪枝，從而在以高概率保留好棋的前提下，把計(jì)算的復(fù)雜度降低到計(jì)算機(jī)可以承受的范圍內(nèi)，并且最終戰(zhàn)勝了人類的世界冠軍。
前面回顧的所有這些人工智能領(lǐng)域的大事件，背后都離不開(kāi)“深度學(xué)習(xí)”技術(shù)。
深度神經(jīng)網(wǎng)絡(luò)及其優(yōu)化方法簡(jiǎn)介
那么什么是深度學(xué)習(xí)呢？雖然早期大家提DeepLearning這個(gè)概念的時(shí)候，會(huì)聯(lián)想到很多不同的模型，但是經(jīng)過(guò)多年的演化，目前最主流的深度學(xué)習(xí)模型就是所謂的深層神經(jīng)網(wǎng)絡(luò)。深層神經(jīng)網(wǎng)絡(luò)指的是一個(gè)有至少包含兩個(gè)隱層的神經(jīng)網(wǎng)絡(luò)。很多實(shí)用的深層神經(jīng)網(wǎng)絡(luò)甚至?xí)砂偕锨€(gè)隱層。
簡(jiǎn)單起見(jiàn)，我們先舉一個(gè)有三個(gè)隱層的深層神經(jīng)網(wǎng)絡(luò)作為例子。從圖中可以看到，神經(jīng)網(wǎng)絡(luò)包含很多神經(jīng)元，以及它們之間的拓?fù)溥B接。每個(gè)神經(jīng)元做的事情非常簡(jiǎn)單，就是把上一層所有跟它相連的神經(jīng)元的輸出放在一起，做加權(quán)求和，然后再進(jìn)行非線性變換（激活函數(shù)）。在神經(jīng)元，以及神經(jīng)元之間的連邊上都可以有參數(shù)，比如邊權(quán)和偏差等。
那么有了深層神經(jīng)網(wǎng)絡(luò)以后，怎么對(duì)它進(jìn)行學(xué)習(xí)呢？常用的方法叫做經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，也就是最小化神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集里所有樣本上的損失函數(shù)之和。為了最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)，一個(gè)最簡(jiǎn)單的方法是梯度下降法。但是，我們知道梯度下降法很容易陷入局部極小點(diǎn)，而且它的隨機(jī)版本可能不收斂，需要通過(guò)減小學(xué)習(xí)率來(lái)控制訓(xùn)練過(guò)程的收斂性。為了解決這些問(wèn)題，人們又提出了很多變種的優(yōu)化算法，比如SVRG等等。
兩種特殊的深度神經(jīng)網(wǎng)絡(luò)
了解了什么是深度神經(jīng)網(wǎng)絡(luò)，以及如何對(duì)其進(jìn)行優(yōu)化，我們來(lái)介紹兩種特殊的深層神經(jīng)網(wǎng)絡(luò)。
首先是卷積神經(jīng)網(wǎng)絡(luò)，之所以稱其為卷積神經(jīng)網(wǎng)絡(luò)，是因?yàn)樗囊恍┗締卧浅Ｏ裥盘?hào)處理里的卷積操作。其實(shí)，卷積神經(jīng)網(wǎng)絡(luò)的提出，也有很多仿生學(xué)的背景在里面。咱們回想一下自己做圖像識(shí)別的過(guò)程：
如果給你一幅很大的圖片，要在里面識(shí)別出某個(gè)特定的人，比如張三。假定我們的腦子里有張三的形象，但是不知道他到底在圖片的哪個(gè)部位，我們會(huì)怎么做呢？一個(gè)很簡(jiǎn)單的方式就是從這張圖像左上角開(kāi)始掃描，每次掃描都用我們腦子里的模式去匹配一下看有沒(méi)有張三，沒(méi)有的話往后移動(dòng)一個(gè)位置，再進(jìn)行下一次掃描。整個(gè)圖像掃描過(guò)程中，我們對(duì)張三識(shí)別的模式是沒(méi)有改變的，參數(shù)是固定的，只是在空間不斷平移，這其實(shí)是所謂卷積神經(jīng)網(wǎng)絡(luò)最基本的思想。
具體來(lái)講，卷積神經(jīng)網(wǎng)絡(luò)有三個(gè)特點(diǎn)：
一是使用卷積濾波器；
二是參數(shù)共享；
三是通過(guò)pooling操作實(shí)現(xiàn)平移不變性。
如果我們把卷積操作和Pooling操作級(jí)聯(lián)在一起，不斷循環(huán)往復(fù)地構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，這就會(huì)形成深層的卷積神經(jīng)網(wǎng)絡(luò)。給大家看一個(gè)例子，LeNet，它在輸入圖像的基礎(chǔ)上，進(jìn)行了多次卷積和pooling操作，最后在實(shí)現(xiàn)有效的信息抽取之后，使用全連接的網(wǎng)絡(luò)對(duì)這些信息進(jìn)行最終的分類。
第二個(gè)特殊的深層神經(jīng)網(wǎng)絡(luò)叫做循環(huán)神經(jīng)網(wǎng)絡(luò)。它的提出也和仿生學(xué)有關(guān)。咱們想一下自己是如何讀書(shū)看報(bào)的。我們一般是從每段文字的第一個(gè)字開(kāi)始，一邊往后看，腦子里一邊利用之前看過(guò)的內(nèi)容的記憶，對(duì)當(dāng)前看到的文字進(jìn)行理解。如此循環(huán)往復(fù)，最后把整個(gè)段落的意義全都弄清楚。循環(huán)神經(jīng)網(wǎng)絡(luò)也做了同樣的事情，它在標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引用了一個(gè)memory unit，用來(lái)存儲(chǔ)和之前輸入有關(guān)的信息，以幫助我們更好地理解未來(lái)的輸入。
為了更形象地理解循環(huán)神經(jīng)網(wǎng)絡(luò)，我們把它展開(kāi)來(lái)看。展開(kāi)之后這些輸入就帶有時(shí)間標(biāo)簽了，比如說(shuō)這個(gè)是你看到的第一個(gè)詞X0，接下來(lái)看到第二個(gè)詞X1，不斷的往下移動(dòng)。每次看到一個(gè)新輸入之后，就會(huì)對(duì)它做某種處理，產(chǎn)生一些對(duì)它的認(rèn)識(shí)，并且放到memory里，當(dāng)看到下一個(gè)詞的時(shí)候，不僅僅針對(duì)這個(gè)詞本身進(jìn)行理解，還會(huì)參照上一個(gè)詞對(duì)應(yīng)的memory；這樣不斷地循環(huán)下去，就得到了所謂的循環(huán)神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)有點(diǎn)類似，也會(huì)在不同階段共享參數(shù)。
理論上，循環(huán)神經(jīng)網(wǎng)絡(luò)可以展開(kāi)成無(wú)限深的網(wǎng)絡(luò)，但是這會(huì)帶來(lái)學(xué)習(xí)的麻煩。實(shí)踐中，我們通常進(jìn)行有限深度的展開(kāi)，也就是所謂的BPTT技術(shù)。展開(kāi)之后就可以把它當(dāng)成標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)用梯度下降的方法來(lái)進(jìn)行參數(shù)學(xué)習(xí)了。
到此為止，我們做了一個(gè)快速的神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介：我們介紹了什么是神經(jīng)網(wǎng)絡(luò)，兩個(gè)特殊的網(wǎng)絡(luò)結(jié)構(gòu)，以及如何學(xué)習(xí)它們的參數(shù)。不管是全連接的網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)還是循環(huán)網(wǎng)絡(luò)，實(shí)際中常常會(huì)用到很深的層次，比如成百上千層，那么當(dāng)深度增加的時(shí)候，有什么好處，又是否會(huì)帶來(lái)一些新的挑戰(zhàn)呢？
前面我們提到過(guò)神經(jīng)網(wǎng)絡(luò)的universal approximation theorem， 它似乎告訴我們只要有一個(gè)隱層，神經(jīng)網(wǎng)絡(luò)已經(jīng)可以具備幾乎無(wú)限的表達(dá)能力了。那為什么還要使用那么多的隱層呢？近幾年有很多的理論研究表明，當(dāng)層數(shù)增加時(shí)，想要取得同樣的表達(dá)能力，對(duì)隱節(jié)點(diǎn)總數(shù)的要求會(huì)變小很多，因此也就會(huì)帶來(lái)更高的學(xué)習(xí)效率和更小的學(xué)習(xí)難度。
反過(guò)來(lái)看，當(dāng)隱節(jié)點(diǎn)的個(gè)數(shù)相同的時(shí)候，深層網(wǎng)絡(luò)的表達(dá)能力會(huì)比淺層網(wǎng)絡(luò)更強(qiáng)，因此學(xué)習(xí)能力也就更強(qiáng)。當(dāng)然，天下沒(méi)有免費(fèi)的午餐，深層網(wǎng)絡(luò)的好處是有代價(jià)的，當(dāng)網(wǎng)絡(luò)很深的時(shí)候，用梯度下降來(lái)進(jìn)行學(xué)習(xí)時(shí)，常常會(huì)遇到一些技術(shù)難題。接下來(lái)這張PPT就展示了兩個(gè)常見(jiàn)的麻煩。
第一個(gè)麻煩是Overfitting，它和表達(dá)能力是一體兩面。當(dāng)你的網(wǎng)絡(luò)有非常強(qiáng)的表達(dá)能力的時(shí)候，就更容易過(guò)擬合訓(xùn)練數(shù)據(jù)，而在未見(jiàn)的測(cè)試數(shù)據(jù)上表現(xiàn)變差。
第二個(gè)麻煩叫Gradient vanishing，當(dāng)網(wǎng)絡(luò)很深的時(shí)候，預(yù)測(cè)誤差很難通過(guò)梯度有效地傳導(dǎo)到網(wǎng)絡(luò)的底層，從而使得網(wǎng)絡(luò)參數(shù)訓(xùn)練不充分。
為了更好地解釋這種現(xiàn)象，我給大家舉一個(gè)例子。這是一個(gè)細(xì)長(zhǎng)型的深度神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)參數(shù)包括邊權(quán)w和偏差b。我們以b1這個(gè)參數(shù)為例，損失函數(shù)對(duì)它求導(dǎo)的結(jié)果如圖所示。在這個(gè)連乘式里，sigma‘是激活函數(shù)的導(dǎo)數(shù)，每經(jīng)過(guò)一個(gè)隱層，就會(huì)出現(xiàn)一項(xiàng)sigma‘。
這里畫了一個(gè)常見(jiàn)的sigmoid function的導(dǎo)數(shù)，它的最高點(diǎn)是在輸入為0的時(shí)候取得的，最高點(diǎn)取值是0.25，如果你的輸入不是0，其取值會(huì)更小。大家知道，當(dāng)我們把一長(zhǎng)串很小的數(shù)連乘起來(lái)，它的結(jié)果會(huì)很快衰減到接近0，而在當(dāng)前的參數(shù)上加上一個(gè)幾乎為0 的梯度，對(duì)模型是不會(huì)有什么改變的，這就解釋了為什么深層網(wǎng)絡(luò)經(jīng)常訓(xùn)練不充分。
為了解決這兩個(gè)典型的麻煩，人們提出了一系列的技術(shù)手段。比如：
DropOut/DropConnect，其基本思想是在訓(xùn)練過(guò)程中引入一些隨機(jī)因素，讓神經(jīng)網(wǎng)絡(luò)模型不會(huì)那么狠地?cái)M合到訓(xùn)練集上去。為此，可以在訓(xùn)練過(guò)程中隨機(jī)刪除一些神經(jīng)元節(jié)點(diǎn)，或者隨機(jī)刪除一些連邊。有人證明了，通過(guò)DropOut，可以有效降低神經(jīng)網(wǎng)絡(luò)的容量（Rademacher Average），從而避免過(guò)擬合，取得更好的泛化能力。
另外一個(gè)技術(shù)是Batch Normalization，也可以有效緩解overfitting和Gradient vanishing的問(wèn)題。它其實(shí)是受到早期人們對(duì)神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行白化處理的啟發(fā)。不同點(diǎn)在于它對(duì)深層神經(jīng)網(wǎng)絡(luò)的每一層都進(jìn)行白化處理，而且是參數(shù)化的白化。也就是在一個(gè)mini batch里計(jì)算均值和方差，然后對(duì)信號(hào)進(jìn)行0均值、標(biāo)準(zhǔn)方差的變換。這樣做的好處是可以去除不同mini batch之間的差異，使得數(shù)據(jù)變得更加統(tǒng)一，提高泛化性能；同時(shí)，由于激活函數(shù)的輸入被0均值化，也會(huì)提高其導(dǎo)數(shù)的幅度，從某種程度上減緩gradient vanishing的問(wèn)題。
本文為劉鐵巖博士《迎接深度學(xué)習(xí)的“大”挑戰(zhàn)》主題報(bào)告（上），后續(xù)報(bào)告敬請(qǐng)持續(xù)關(guān)注雷鋒網(wǎng)［AI科技評(píng)論］的報(bào)道。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
