<mark id="oztn4"></mark>
1
| 本文作者： 楊曉凡 | 2019-08-14 22:13 | 專題：IJCAI：國際人工智能聯合會議 |
雷鋒網 AI 科技評論按：8 月 10 日至 16 日，IJCAI 2019 在中國澳門隆重召開。14 日下午，南京大學周志華教授進行特邀大會演講，演講主題是《Deep Learning: Why deep and is it only doable for neural networks?》。在演講中，周志華教授從自己的角度解讀了深度神經網絡之所以獲得成功的本質因素，以及如何在兼顧這些因素的同時，找到神經網絡之外的其它的深度模型。
雷鋒網 AI 科技評論把演講全文整理如下。
深度學習今天已經有各種各樣的應用，到處都是它，不管圖像也好，視頻也好，聲音自然語言處理等等。那么我們問一個問題，什么是深度學習？
我想大多數人的答案，就是深度學習差不多就等于深度神經網絡。有一個非常著名的學會叫 SIAM，是國際工業與應用數學學會，他們有一個旗艦的報紙叫 SIAM news。在去年的 6 月份，這個報紙的頭版上就有這么一篇文章，直接就說了這么一句話，說深度學習是機器學習中使用深度神經網絡的的子領域。所以如果我們要談深度學習的話，是繞不開深度神經網絡的。
首先我們必須從神經網絡說起。神經網絡其實并不是一個新生事物，神經網絡可以說在人工智能領域已經研究了超過半個世紀。但是以往的話，一般我們用的是很淺的神經網絡，就是中間只有一個隱層，或者有兩個隱層。在這樣的神經網絡里面，它的每一個連續的單元都是非常簡單、有條件的，這樣才能起作用。我們收到一些簡單的神經行為輸入，這些輸入通過一些計算得到輸出，成為后續的神經元的輸入。它就是這么一個非常簡單的公式。所謂的神經網絡，是很多這樣的公式經過嵌套迭代得到的一個系統，這叫做 M-P 模型。如今我們使用的神經網絡里的神經元就是這樣的，即便它是半個世紀前的產物。
那么今天當我們說用深度神經網絡的時候，它和以前的神經網絡的區別是什么？簡單來說，就是我們用的層數會很深很深，網絡有很多個隱層。在 2012 年深度學習、卷積神經網絡剛剛開始受到大家重視的時候，那時候 ImageNet 競賽的冠軍是用了 8 層的神經網絡。那么到了 2015 年是用了 152 層，到了 2016 年是 1207 層。如今，數千層深的網絡非常常見。這是個非常龐大非常巨大的系統，把這么一個系統訓練出來，難度是非常大的。
有一點非常好的消息，我們現在有很強大的計算設施。但是說到最基礎的層面，很幸運的是，神經網絡里面的計算單元，最重要的激活函數是連續的、可微的。比如說我們在以往常用這樣的 sigmoid 函數，它是連續可微的，現在大家常用的 ReLu 函數或者它的變體，也是這樣。這使得我們可以容易地進行梯度計算，這樣就可以很容易用著名的 BP（backpropagation，反向傳播）算法來訓練。通過這樣的算法，我們的神經網絡已經取得了非常多的勝利。
不過它的前提是依賴梯度。如果一個問題是不可微分的、不可計算梯度的，我們就無法為它訓練一個神經網絡。這非常重要。而且在 2006 年之前，也沒有人知道如何訓練深度超過 5 層的神經網絡，不是因為計算設施不夠強大，而是我們無法解決梯度消失的問題。Geoffery Hinton 等人做出了巨大的貢獻，他們表明通過逐層訓練（layer-by-layer precision）和預訓練（pre-training）我們可以克服梯度消失的問題。介紹這些都是為了說明神經網絡需要可微的函數、需要能夠計算梯度，這是最根本最重要的。雖然如今有一些研究不可微的函數的，但還是需要轉換成某種可微的。
但是實際上在學術界大家一直沒有想清楚一件事情，就是我們為什么要用這么深的模型，或者說為什么深的模型要比淺的模型表現好那么多？到今天為止，學術界都還沒有統一的看法。有很多的論述。我在這里面跟大家講一個我們前段時間給出的一個論述。這個論述其實主要是從模型的復雜度的角度來討論。
我們知道一個機器學習模型，它的復雜度實際上和它的容量有關，而容量又跟它的學習能力有關。所以就是說學習能力和復雜度是有關的。機器學習界早就知道，如果我們能夠增強一個學習模型的復雜度，那么它的學習能力能夠提升。
那怎么樣去提高復雜度，對神經網絡這樣的模型來說，有兩條很明顯的途徑。一條是我們把模型變深，一條是把它變寬。如果從提升復雜度的角度，那么變深是會更有效的。當你變寬的時候，你只不過是增加了一些計算單元，增加了函數的個數，在變深的時候不僅增加了個數，其實還增加了它的嵌入的程度。所以從這個角度來說，我們應該嘗試去把它變深。
那大家可能就會問了，既然你們早就知道要建立更深的模型了？那么現在才開始做？這就涉及到另外一個問題，我們把機器學習的學習能力變強了，這其實未必是一件好事。因為機器學習一直在斗爭的一個問題，就是經常會碰到過擬合（overfit）。這是一種什么樣的現象？你給我一個數據集，我做機器學習要把數據集里面的東西學出來，學出來之后，我希望學到的是一般規律，能夠用來預測未來的事情。但是有時候我可能把這個數據本身的一些獨特特性學出來了，而不是一般規律。錯誤地把它當成一般規律來用的時候，會犯巨大的錯誤。這種現象就是所謂的過擬合，就是因為模型的學習能力太強了。所以我們以往通常不太愿意用太復雜的模型。
那現在我們為什么可以用很復雜的模型？其實我們設計了許多方法來對付過擬合，比如神經網絡有 dropout、early-stop 等。但有一個因素非常簡單、非常有效，那就是用很大的數據。比如說我手上如果只有 3000 個數據，那我學出來的特性一般不太可能是一般規律，但是如果有 3000 萬、30 億的數據，那這個數據里面的特性可能本身就已經是一般規律。所以使用大的數據是緩解過擬合的一個關鍵的途徑。第二，今天我們有了很多很強大的計算設備，這使得我們能夠使用大規模數據訓練模型。第三，通過我們這個領域很多學者的努力，有了大量的訓練這樣復雜模型的技巧、算法，這使得我們使用復雜模型成為可能。總結一下就是：第一我們有了更大的數據；第二我們有強力的計算設備；第三我們有很多有效的訓練技巧。這導致我們可以用高復雜度的模型，而深度神經網絡恰恰就是一種很便于實現的高復雜度模型。
所以用這么一套理論，好像是能夠解釋我們現在為什么能夠用深度神經網絡，為什么深度神經網絡能成功？就是因為復雜度大。在一年多之前，我們把這個解釋說出來的時候，其實國內外很多同行也還很贊同，覺得還蠻有道理的。但是其實我自己一直對這個解釋不是特別的滿意，因為一個潛在的問題我們一直沒有回答。
如果從復雜度這個角度去解釋的話，我們就沒法說清楚為什么扁平的（flat），或者寬的網絡做不到深度神經網絡的性能？實際上我們把網絡變寬，雖然它的效率不是那么高，但是它同樣也能起到增加復雜度的能力。
實際上只要有一個隱層，加無限多的神經元進去，它的復雜度也會變得很大。但是這樣的模型在應用里面怎么試，我們都發現它不如深度神經網絡好。所以從復雜度的角度可能很難回答這個問題，我們需要一點更深入的思考。所以我們要問這么一個問題：深度神經網絡里面最本質的東西到底是什么？
今天我們的回答是，本質是表征學習的能力。這已經成為了學術界的新的共識，甚至有了專門的會議 ICLR。以往我們用機器學習解決一個問題的時候，首先我們拿到一個數據，比如說這個數據對象是個圖像，然后我們就用很多特征把它描述出來，比如說顏色、紋理等等。這些特征都是我們人類專家通過手工來設計的，表達出來之后我們再去進行學習。而今天我們有了深度學習之后，現在不再需要手工去設計特征了。你把數據從一端扔進去，結果從另外一端就出來了，中間所有的特征完全可以通過學習自己來解決。所以這就是我們所謂的特征學習，或者說表征學習。我們都認可這和以往的機器學習技術相比可以說是一個很大的進步，這一點非常重要。我們不再需要依賴人類專家去設計特征了。
這個過程中的關鍵點是什么呢？是逐層計算，layer-by-layer processing。
我引述最近非常流行的一本書——《深度學習》里面的一個圖：當我們拿到一個圖像的時候，我們如果把神經網絡看作很多層，首先它在最底層，好像我們看到的是一些像素這樣的東西。當我們一層一層往上的時候，慢慢的可能有邊緣，再網上可能有輪廓，甚至對象的部件等等。當然這實際上只是個示意圖，在真正的神經網絡模型里面不見得會有這么清楚的分層。但是總體上當我們逐漸往上的時候，它確實是不斷在對對象進行抽象。我們現在認為這好像是深度學習為什么成功的關鍵因素之一。因為扁平神經網絡能做很多深層神經網絡能做的事，但是有一點它是做不到的。當它是扁平的時候，它就沒有進行這樣的一個深度的加工。所以深度的逐層抽象這件事情，可能是很淺層神經網絡和深層神經網絡之間的關鍵區別。
當然了，這也是一種猜測，我們目前還無法從數學上證明。
「逐層計算」在機器學習里面也不是新東西。比如說決策樹就是一種逐層處理，這是非常典型的。決策樹模型已經有五六十年的歷史了，但是它為什么做不到深度神經網絡這么好呢？我想答案很簡單。首先它的復雜度不夠，決策樹的深度，如果我們只考慮離散特征的話，它最深的深度不會超過特征的個數，所以它的模型復雜度是有限的；而在神經網絡中，當我們想要增加模型復雜度的時候，我們增加任意數目的層，沒有任何的限制。第二，也是更重要的，在整個決策樹的學習過程中，它內部沒有進行特征的變換，從第一層到最后一層始終是在同一個原始特征空間里面進行的，這非常重要。我們相信這兩點對于深度神經網絡是非常重要的。
而當我們考慮到這兩件事情的時候，我們就會發現，其實深度模型是一個非常自然的選擇。有了這樣的模型，我們很容易就可以做上面兩件事。但是當我們選擇用這么一個深度模型的時候，我們就會有很多問題，它容易 overfit，所以我們要用大數據；它很難訓練，我們要有很多訓練的 trick；這個系統的計算開銷非常大，所以我們要有非常強有力的計算的設備，比如 GPU 等等。
實際上所有這些東西是因為我們選用了深度模型之后產生的一個結果，它們不是我們用深度學習的原因。所以這和以往的思考不太一樣，以往我們認為有了這些東西，導致我們用深度模型。其實現在我們覺得這個因果關系恰恰是反過來，因為我們要用它，所以我們才會考慮上面這些東西。這曾經是使用淺網絡的原因，如今也可以是使用很深的網絡的原因。
另外還有一點我們要注意的，當我們有很大的訓練數據的時候，這就要求我們必須要有很復雜的模型。否則假設我們用一個線性模型的話，給你 2000 萬樣本還是 2 億的樣本，其實對它沒有太大區別。它已經學不進去了。而我們有了充分的復雜度，恰恰它又給我們使用深度模型加了一分。所以正是因為這幾個原因，我們才覺得這是深度模型里面最關鍵的事情。
這是我們現在的一個認識：第一，我們要有逐層的處理；第二，我們要有特征的內部變換；第三，我們要有足夠的模型復雜度。這三件事情是我們認為深度神經網絡為什么能夠成功的比較關鍵的原因。或者說，這是我們給出的一個猜測。
那如果滿足這幾個條件，我們其實馬上就可以想到，那我不一定要用神經網絡。神經網絡可能只是我可以選擇的很多方案之一，我只要能夠同時做到這三件事，那我可能用別的模型做也可以，并不是一定只能是用深度神經網絡。
第一，凡是用過深度神經網絡的人都會知道，你要花大量的精力來調它的參數，因為這是個巨大的系統。那這會帶來很多問題。首先我們調參數的經驗其實是很難共享的。有的朋友可能說，你看我在第一個圖像數據集上調參數的經驗，當我用第二個圖像數據集的時候，這個經驗肯定是可以重用一部分。但是我們有沒有想過，比如說我們在圖像上面做了一個很大的深度神經網絡，這時候如果要去做語音的時候，其實在圖像上面調參數的經驗，在語音問題上基本上不太有借鑒作用。所以當我們跨任務的時候，這些經驗可能就很難共享。
第二個問題，今天大家都非常關注我們做出來的結果的可重復性，不管是科學研究也好，技術發展也好，都希望這個結果可重復。而在整個機器學習領域，可以說深度學習的可重復性是最弱的。我們經常會碰到這樣的情況，有一組研究人員發文章說報告了一個結果，而這個結果其他的研究人員很難重復。因為哪怕你用同樣的數據，同樣的方法，只要超參數的設置不一樣，你的結果就不一樣。
還有很多問題，比如說我們在用深度神經網絡的時候，模型復雜度必須是事先指定的。因為我們在訓練這個模型之前，我們這個神經網絡是什么樣就必須定了，然后我們才能用 BP 算法等等去訓練它。其實這會帶來很大的問題，因為我們在沒有解決這個任務之前，我們怎么知道這個復雜度應該有多大呢？所以實際上大家做的通常都是設更大的復雜度。
如果大家關注過去 3、4 年深度學習這個領域的進展，你可以看到很多最前沿的工作在做的都是在有效的縮減網絡的復雜度。比如說 RestNet 這個網絡通過加了 shortcuts，有效地使得復雜度變小。還有最近大家經常用的一些模型壓縮，甚至權重的二值化，其實都是在把復雜度變小。實際上它是先用了一個過大的復雜度，然后我們再把它降下來。那么我們有沒有可能在一開始就讓這個模型的復雜度隨著數據而變化，這點對神經網絡可能很困難，但是對別的模型是有可能的。還有很多別的問題，比如說理論分析很困難，需要非常大的數據，黑箱模型等等。
那么從另外一個方面，有人可能說你是做學術研究，你們要考慮這些事，我是做應用的，什么模型我都不管，你只要能給我解決問題就好了。其實就算從這個角度來想，我們研究神經網絡之外的模型也是很需要的。
雖然在今天深度神經網絡已經這么的流行，這么的成功，但是其實我們可以看到在很多的任務上，性能最好的不見得完全是深度神經網絡。比如說 Kaggle 上面的很多競賽有各種各樣的真實問題，有買機票的，有訂旅館的，有做各種的商品推薦等等，還有一些來自企業的真實的工業問題，他們只考慮模型的表現，我們就可以看到在很多任務上的勝利者并不是神經網絡，它往往是像隨機森林，像 xgboost 等等這樣的模型。深度神經網絡獲勝的任務，往往就是在圖像、視頻、聲音這幾類典型任務上，都是連續的數值建模問題。而在別的凡是涉及到混合建模、離散建模、符號建模這樣的任務上，其實深度神經網絡的性能可能比其他模型還要差一些。這也就是我們說的「沒有免費的午餐定理」，已經有數學證明，一個模型不可能在所有任務中都得到最好的表現。所以我們有必要探索神經網絡之外的深度模型。
那么，有沒有可能做出合適的深度模型，在這些任務上得到更好的性能呢？
我們從學術的觀點來總結一下，今天我們談到的深度模型基本上都是深度神經網絡。如果用術語來說的話，它是多層、可參數化的、可微分的非線性模塊所組成的模型，而這個模型可以用 BP 算法來訓練。
那么這里面有兩個問題。第一，我們現實世界遇到的各種各樣的問題的性質，并不是絕對都是可微的，或者用可微的模型能夠做最佳建模的。第二，過去幾十年里面，我們的機器學習界做了很多模型出來，這些都可以作為我們構建一個系統的基石，而中間有相當一部分模塊是不可微的。
現在我們遇到了這樣一個大挑戰，可不可以用不可微的模塊構建深度模型？這不光是學術上的，也是技術上的一個挑戰，就是我們能不能用不可微的模塊來構建深度模型？
這個問題一旦得到了回答，我們同時就可以得到很多其他問題的答案。比如說深度模型是不是就是深度神經網絡？我們能不能用不可微的模型把它做深，這個時候我們不能用 BP 算法來訓練，那么同時我們能不能讓深度模型在更多的任務上獲勝？
我們小組近期做出了一些成果，提出了一種新的模型結構 gcForest。這是一個基于決策樹森林的方法，是基于集成模型的深度模型；它也可以在除了大規模圖像數據之外的任務中獲得和深度神經網絡相似的表現。在大規模圖像數據任務中不能取勝，其中原因是我們目前沒有適當的硬件訓練足夠大的模型。
從名字可以看出，這個模型有兩個關鍵性質：級聯樹結構，以及多粒度。我今天主要介紹第一部分的一些要點，這也是這個方法的關鍵所在。
這是它的級聯樹結構。圖中我用紅色標出了原始的輸入特征向量。基于輸入的特征向量，我們可以訓練出一些森林，每個森林都是多個決策樹的集成模型。假設我們有三個分類需要預測，每個分類用一個 bit 來表示，那么每個森林的輸出就有 3 個 bit 長。在第一個標簽訓練完成后，我們把這 3bit 輸出和原始的輸入特征向量串聯起來，也就是說我們用更多的特征擴增了原始的輸入向量；接著，我們用擴增后的向量，訓練模型的下一層。這個過程可以不斷地重復，直到最后一個標簽，就可以對所有預測值取平均，得到最終的預測結果。模型的最終層數可以由各種指標決定，比如當你發現增加更多的層之后模型的表現并沒有提升，這時候你就可以停下來了。這樣，你就不需要在開始訓練前就設定好模型有多少層。另外，在工業應用中，當你的數據非常大的時候，你也可以用訓練誤差（training error）來控制這個過程什么時候停止：當訓練誤差不再繼續下降的時候，就可以停止。就這么簡單。
在這里，當你把輸出從第一層傳遞到第二層的時候，對集成方法比較熟悉的人能看出來這和層疊（stacking）有點像：這是一種 kaggle 比賽中常見的方法，先訓練一個模型，然后把輸入和第一個模型的預測結果一起輸入第二個模型，形成一個兩層的模型。但是，如果我們只是這樣簡單地做層疊的話，想要訓練一個超過 3 層的模型是非常困難的，原因是會發生非常嚴重的過擬合；即便是模型的第二層就會出現過擬合。
但我們做出了非常深的模型。這是不同模型表現隨層數變化的曲線，和 CNN、MLP 等其它模型做對比。隨著層數變多，模型的表現越來越好。當我們使用 cross-validation 的時候，模型的表現會停在這里。但如果我們可以有更好的辦法決定停止時機，也許我們可以停在更靠右的位置，模型的表現可以更好。但這并不重要，我們只需要知道模型可以有非常多層就夠了。
我們要如何做出有很多層的模型？關鍵是要有多樣性（diversity），決定整個模型表現的就是多樣性。有更好的多樣性，我們就可以有一個更深的模型。這也是來自集成學習的一個啟發，集成學習中我們就希望不同的學習者各自既準確又多種多樣。
在 gcForest 中，我們也設計了很多機制來提高多樣性。我舉一個例子說明，在這個模型的第一層中我們使用了兩種不同的森林，用兩種顏色表示。紅色的是隨機森林，是隨機樹的集成模型。我們都知道，對于決策樹，首先給定一系列特征，然后選擇最佳的特征用于分叉：比如你有 100 個不同的特征，在分叉時需要從其中選擇最好的那一個。在這個樹中，我們首先從 100 個特征里隨機挑選 10 個，然后從這 10 個特征中選擇最好的那個特征。通過這種方式，我們為模型引入了一些隨機性，可以鼓勵模型增加多樣性。藍色的就更有趣了，它是完全隨機的樹的集成，就是說完全隨機地選擇特征并用它們分叉。可以看到，我們構建這些樹和森林的過程中甚至都不需要用到任何的標注數據，只需要隨機選擇特征、隨機分配特征。
為什么我們要在模型的同一層使用這兩種不同的森林呢？如果把整個一層看作一個模型的話，這就是幾個集成模型組成的集成模型，其中的每個集成模型都有所不同，這就可以增加模型的多樣性。那么一個很自然的后續問題是，為什么不使用更多的模型、更多不同類型的樹？這當然是可以嘗試的，我們目前只是演示了一種輕微的改進，而它已經可以帶來一些好處。可以期待，當你使用更多種不同的模型、有了更好的多樣性，就可以得到更好的最終結果。我們還使用了其它的一些技巧，由于時間限制我就不展開介紹了。
這是模型的總體架構。給定數據以后，我們首先會做一些掃描，用窗口掃描一些樣本以后得到特征，并得到數據的表征。我們使用不同大小的窗口，也就是不同的粒度（grain）；對于每一種粒度，都有許多集成模型。所以全局來看，這就是一群級聯模型的級聯模型；每個級聯模型里有多種不同的粒度，每個粒度里含有集成模型的集成模型。模型的結構也許復雜，但是它可以做得很深。
這種模型也會涉及到一些超參數問題，比如，每個森林里有多少樹、樹生長到什么深度或者什么時間、掃描數據的時候要使用多少個不同的窗口，但總的來說涉及到的超參數的數量還是比神經網絡少。
我們也在許多種不同的任務上運行了實驗，除了大規模圖像數據之外，在其中的大多數任務上 gcForest 都可以獲得和深度神經網絡類似的表現。它的重要意義在于，這是首個不依賴梯度、不依賴反向傳播的深度模型。對于可微分的機器學習問題，我們可以把神經網絡的那一系列技巧都利用起來；基于決策樹的模型雖然無法轉換成神經網絡模型，但是可以解決不可微、無法計算梯度的問題。
Keras 作者 Fran?ois Chollet 曾說，可微分的層是當前的模型的基礎弱點；gcForest 不使用任何可微分的層。深度學習之父 Geoffery Hinton 說，他想把反向傳播扔掉、從頭再來；gcForest 就不使用反向傳播，連梯度都不使用。所以，從學術研究的角度講，研究 gcForest 這樣的不依賴梯度的深度模型將會是機器學習的重要分支。
有一些來自工業界的人可能會說，這當然是很好的學術新成果，但是它對實踐能起到什么幫助嗎？那么我來給大家匯報一個工業應用的成果，這是關于非法套現檢測的。中國的電子支付非常發達、交易量非常大，即便其中只有一小部分是非法的，也會造成很大的影響。和我們合作的這家公司有很強的技術功底，他們設計了大規模分布式的 gcForest，并且用在了他們的分布式機器學習系統中。下面我展示一個測試結果，這可能是非法套現檢測的最大規模的真實數據集，訓練數據超過 1.3 億條交易數據，測試數據也超過 5200 萬條；每條交易數據由超過 5000 個特征描述。
他們自己也有邏輯回歸、深度神經網絡和自研的模型，可以看到不論對于學術評價指標還是工業界指標，大規模分布式的 gcForest 都得到了最好的表現。這也印證了我們的猜測：gcForest 可以在某些任務中發揮很好的作用，尤其是在帶有離散信息、符號信息的任務中。在這里，用戶信息中的很多內容就是符號化的。
雖然 gcForest 有一些成功的應用，但我還是要提醒大家，不要立刻就對 gcForest 抱有過高的期待。實際上我們已經開源了適用于小規模、中等規模數據的代碼，但如果你希望下載代碼以后就直接應用，希望得到不錯的結果的話，那你的期待太高了。對于每種新技術，都要經歷很長的研發之路。如果你在筆記本上直接運行的話，你的內存很快就會用完。想要完全發揮這種技術的優點的途徑有兩種，一種是剛才這樣的大規模分布式部署，另一種是借助現代計算硬件。
相比于 CNN 已經經歷了 30 年的發展，gcForest 還在自己的幼年時期。下面我簡單介紹一些值得研究的挑戰、開放性問題。
剛才我介紹了 gcForest 代表了集成模型，其中的多樣性非常重要，實際上 gcForest 使用到了集成模型研究領域內的各種增加多樣性的方法。如果大家對集成模型感興趣的話，歡迎閱讀我的這本關于專著《Ensemble Methods: Foundations and Algorithms》，里面有一整章的內容是介紹如何增加多樣性的。
我們發現 gcForest 和神經網絡有一些相似性。在神經網絡的訓練中，我們希望避免梯度消失，而在 gcForest 中，我們希望避免多樣性消失。如果多樣性消失了，我們最多只能做出三層、四層的網絡。如何設計更多的機制給模型增加更多的多樣性，這將是 gcForest 研究的關鍵，就像研究如何避免梯度消失是神經網絡研究的關鍵一樣。
下一點是特征擴增。剛才我提到，如果要預測三個類、每個類用一個 bit 表示，那么每個森林只能在原來的特征向量的基礎上增加 3 個 bit。這是一個非常小的數字，比如當你有 1000 維的數據特征時，只增加 3 個 bit 太少了，很容易淹沒在原有的特征中。所以對于高維數據，我們需要設計新的機制，提取更多的特征來擴增原有的特征向量。
這一點非常重要，但在動手之前，我們也需要提出這個問題：森林是否能夠提取出足夠的信息，用來重構出有用的擴增特征。如果森林的提取能力不強，那么也許 3 個 bit 就夠用了。
我們也針對這個問題做了一些研究。我們發現，一個經過訓練的森林甚至可以被用作一個自動編碼器（AutoEncoder）。此前人們都認為「可以用作自動編碼器」是神經網絡模型專屬的一種特性，如今我們也可以用森林做到這一點。在給定數據上訓練完成一個森林模型以后，再拿一些新數據做預測，你可以找到新數據可以歸屬在下面的葉子節點。那么，對于葉子信息，你就可以幾乎完美地回溯、重建出原始數據。這就意味著，如果你有一個數據集、基于數據集構建了森林，你甚至可以丟棄整個數據集，它的信息都已經編碼在了森林模型里。它的重現表現很好，比如在圖像數據集上有很好的重建結果，在文本數據集上也比神經網絡更好，因為神經網絡處理符號信息之前需要先通過 word2vec 之類的方法把它轉換為數值信息，這就會帶來額外的偏倚。但樹模型就可以直接處理符號化信息，不需要任何轉換。所以，基于森林方法設計更好的特征增強方法其實有非常多的可能性等待我們探索。
除此之外，我們還發現一些以往人們認為神經網絡獨有的能力也可以在森林中實現。比如在這篇 NerIPS2018 論文中，我們表明了森林可以做層次化分布式表征學習。曾經這也被認為是神經網絡獨有的性質。這都意味著，許多我們以前認為的特殊性質，其實并不需要僅僅局限于神經網絡。未來也許我們還能找到更多可以實現這些能力的模型。
另一件事，對于提高模型的運行速度來說非常重要的，就是改進使用的硬件。這是來自我們實驗的圖表，可以看到，如果增加粒度數目，模型的表現總體是提升的；增加森林的數量、增加每個森林中的樹的數量，模型的表現都可以提升。就是說，更大的模型總的來說可以帶來更好的表現。不幸的是，我們沒法把模型做得更深，因為我們沒有適當的計算設備，就類似于做深度神經網絡需要有 GPU。
實際上，如果我們考慮訓練時的計算開銷的話，深度森林的開銷比深度神經網絡要小，然而深度神經網絡可以用 GPU 加速，因為其中的計算都可以轉換為矩陣運算；在深度森林中，大多數的樹生長過程是基于切換的，很難用 GPU 加速。所以，如果考慮到 GPU 的加速效果的話，深度神經網絡的效率要更高。
既然不能用 GPU 加速深度森林，那么我們就要問了，我們能用什么來加速深度森林呢？能不能設計適當的硬件來加速它呢？我們猜測英特爾的多核 KNL 芯片有一定的潛力，但我們還不確定它加速深度森林的效果是否能和 GPU 加速深度神經網絡的效果相同。最近英特爾也和我們（南京大學）聯合設立了一個人工智能研究中心，目標就是共同探索是否有可能設計新的人工智能芯片為深度森林提供加速。
另一個問題是算法本身。我們都知道深度神經網絡的研究已經進行了大約三十年了，有許多學者、研究員、從業者為深度神經網絡的發展做出了貢獻。深度森林還在自己的幼兒期，還有很多的研究工作需要做。
理論研究也不能忽視。我們都知道深度學習有一個很大的不便之處就是缺少理論基礎，所以深度神經網絡很難分析，尤其是從學習理論的角度；從這個角度來說，決策樹要好一些。但是對決策樹、對森林、集成模型做分析還是很難的，最近我們提出了一個新的方法，mdDF，它是深度森林的一種變體，我們也已經得到了一些初步的理論結果，這篇論文近期就會發表。不過，這件事仍然不簡單，還需要許多后續的深入研究。
需要克服的問題還有很多，不過所有這些付出都是值得的。因為，「沒有免費的午餐」，沒有哪個學習模型永遠都是最好的，盡管深度神經網絡很成功，我們還是要繼續探索其他類型的模型。我們猜測深度神經網絡確實是適用于數值建模問題的，但是當你面對的是符號化、離散、表格數據的時候，深度森林可以做得更好。
由于目前我們不知道深度森林可以發展到什么程度，因為我們還構建不出非常深的模型，但即便未來我們構建出很深的模型了、而且發現它的表現沒有我們預想的那么好，我們的研究也仍然是有價值的。因為深度森林的構建過程為我們的這幾個猜測提供了證據：當你用一個模型就可以做到逐層信號處理、特征變換、足夠的模型復雜度的時候，你就可以享受到深度模型的好處。這也就是深度森林比之前的各種森林都有更好的表現的原因。它也帶給我們新的啟示：我們是否有可能設計出同時兼顧到這幾點的新的模型？
最后總結一下，曾經我們認為深度學習是一個「小黑屋」，里面只有深度神經網絡。現在我們打開門，發現了里面有深度森林，也許未來還能發現更多別的東西。
謝謝大家！
（完）
雷鋒網聲明：本文未經周志華教授本人審閱，內容為根據周教授演講聽寫翻譯而成，僅供大家參考。
更多 IJCAI 2019 會議內容，更期待更多后續雷鋒網 AI 科技評論報道。議程直播及回放請訪問研習社社區。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
本專題其他文章
