<mark id="oztn4"></mark>
0
雷鋒網(wǎng)編者按：近年來，神經(jīng)網(wǎng)絡(luò)借鑒了生物學(xué)策略的相關(guān)理論知識(shí)，實(shí)現(xiàn)了大飛躍，完成了之前無法完成的任務(wù)。神經(jīng)進(jìn)化作為人工智能的一個(gè)研究領(lǐng)域，試圖通過進(jìn)化算法而非隨機(jī)梯度下降來設(shè)計(jì)和構(gòu)建神經(jīng)網(wǎng)絡(luò)。本文作者Paul Pauls，作為機(jī)器學(xué)習(xí)GDE和開源愛好者，他在Medium上寫了一篇關(guān)于神經(jīng)進(jìn)化算法的文章，詳細(xì)介紹了神經(jīng)進(jìn)化算法的基本概念，以及這幾年重要的研究成果。雷鋒網(wǎng) AI科技評(píng)論作了有刪改的編譯，請(qǐng)欣賞~
神經(jīng)進(jìn)化是人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)分支，它能夠改進(jìn)了人工神經(jīng)網(wǎng)絡(luò)，并且試圖通過進(jìn)化算法去尋找最優(yōu)神經(jīng)網(wǎng)絡(luò)。具體而言，就像大自然通過突變、交叉或移除一些潛在的遺傳密碼來提高大腦的功能一樣，人工神經(jīng)網(wǎng)絡(luò)通過進(jìn)化算法能夠產(chǎn)生越來越好的拓?fù)洹?quán)重和超參數(shù)。簡(jiǎn)單的說就是將進(jìn)化的思想使用到神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化的更迭中。
神經(jīng)進(jìn)化是一種機(jī)器學(xué)習(xí)技術(shù)，它使用基于群體的優(yōu)化方法能夠不斷提高群體中每個(gè)神經(jīng)網(wǎng)絡(luò)的質(zhì)量，從而根據(jù)其要解決的問題生成越來越好的神經(jīng)網(wǎng)絡(luò)。該種群中的每個(gè)個(gè)體的存儲(chǔ)方式并不是復(fù)雜的神經(jīng)網(wǎng)絡(luò)，而是存儲(chǔ)為基因組。基因組是一種簡(jiǎn)化的遺傳表示，可以映射到神經(jīng)網(wǎng)絡(luò)。
神經(jīng)進(jìn)化首先需要初始化一組上述基因組，然后將它們應(yīng)用于具體的問題環(huán)境中，然后根據(jù)神經(jīng)網(wǎng)絡(luò)解決應(yīng)用問題的能力為每個(gè)基因組分配一個(gè)適應(yīng)度分?jǐn)?shù)。例如，該適應(yīng)度分?jǐn)?shù)可以是圖像識(shí)別任務(wù)中實(shí)現(xiàn)的準(zhǔn)確度以及機(jī)械臂移動(dòng)實(shí)際軌跡和預(yù)期軌跡的差別等等。
一旦初始種群被創(chuàng)建，優(yōu)化循環(huán)開始，種群不斷地變異、重組、評(píng)估和經(jīng)歷自然選擇。
如果這些步驟是迭代進(jìn)行的，而整個(gè)種群一次只進(jìn)行一個(gè)步驟，那么所進(jìn)行的就是代際神經(jīng)進(jìn)化（generational neuroevolution）。
競(jìng)爭(zhēng)性共同進(jìn)化（competitive coevolution）則意味著神經(jīng)進(jìn)化算法的設(shè)計(jì)允許異步性，并且優(yōu)化循環(huán)在每個(gè)基因組的基礎(chǔ)上執(zhí)行。在代際神經(jīng)進(jìn)化和競(jìng)爭(zhēng)性共同進(jìn)化兩種情況下，其優(yōu)化過程都是不間斷的進(jìn)行引入創(chuàng)新、評(píng)估創(chuàng)新、然后對(duì)創(chuàng)新進(jìn)行分類，直到產(chǎn)生一個(gè)最佳實(shí)用性神經(jīng)網(wǎng)絡(luò)。
圖1：典型的代際神經(jīng)進(jìn)化過程圖解
神經(jīng)進(jìn)化過程也是一個(gè)“黑盒”，雖然它自己的進(jìn)化過程需要參數(shù)，但卻不為生成的神經(jīng)網(wǎng)絡(luò)規(guī)定任何特定超參數(shù)，而是根據(jù)實(shí)際問題的解決設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。這便為神經(jīng)網(wǎng)絡(luò)的權(quán)重、超參數(shù)等的選擇提供了范圍，此范圍也稱為搜索空間。雖然“黑盒”性提供了非常廣泛的搜索空間，但是為了提高遍歷搜索空間的速度，明智的做法是限制搜索空間的粒度。通過限制基因組編碼的復(fù)雜性，將基因組映射到搜索空間的粒度的能力也被稱為遺傳編碼。綜上所述，為了使搜索空間具有適當(dāng)?shù)牧６龋鶕?jù)實(shí)際問題的要求，設(shè)計(jì)遺傳編碼和相應(yīng)的神經(jīng)進(jìn)化算法非常重要。因此，我們我們先來回顧一下遺傳編碼的概念。
有效的神經(jīng)網(wǎng)絡(luò)是能夠進(jìn)行有效的變異和重組人工神經(jīng)網(wǎng)絡(luò)的前提。擁有強(qiáng)大表示能力的神經(jīng)網(wǎng)絡(luò)不用分析高度復(fù)雜的數(shù)據(jù)結(jié)構(gòu)就能夠快速的處理緊湊的遺傳密碼（compact genetic codes）。
換句話說，神經(jīng)進(jìn)化算法只在遺傳編碼上操作，而不是在機(jī)器學(xué)習(xí)框架中復(fù)雜的數(shù)據(jù)結(jié)構(gòu)上操作。當(dāng)然，基因編碼允許這兩種表示之間存在映射關(guān)系。基因組的這些有效的遺傳表示被稱為基因型（genotypes），而相應(yīng)映射的神經(jīng)網(wǎng)絡(luò)被稱為顯型（phenotypes）。這兩個(gè)術(shù)語是從遺傳進(jìn)化學(xué)科中化用的。畢竟神經(jīng)進(jìn)化也稱的上是遺傳進(jìn)化。另外注意，這里將所有顯型都限制為神經(jīng)網(wǎng)絡(luò)。
圖2：直接遺傳編碼
基因編碼一般可分為兩個(gè)子類：直接編碼和間接編碼。雖然還有第三類發(fā)展性編碼，但這種編碼我們先忽略不計(jì)，畢竟這兩年也沒啥進(jìn)展。直接編碼表示神經(jīng)網(wǎng)絡(luò)的各個(gè)方面，它們?cè)谶z傳表示中顯式編碼（如上圖2所示）。直接編碼直接在基因型中編碼每個(gè)連接及其相應(yīng)的權(quán)重，但通過排除神經(jīng)網(wǎng)絡(luò)中的偏差和激活函數(shù)的可能性來限制搜索空間。
這種直接編碼可以表示任意的前饋和遞歸拓?fù)洌材軌虍a(chǎn)生最優(yōu)的拓?fù)洹５巴負(fù)洹碧`活的話，粒度的搜索空間就會(huì)變得非常龐大。因此需要設(shè)計(jì)良好的神經(jīng)進(jìn)化算法才能快速遍歷該搜索空間。
圖3：間接遺傳編碼
間接編碼的功能是規(guī)定那些無法直接“翻譯”成人工神經(jīng)網(wǎng)絡(luò)的自定義編碼。也就是說為了將基因型映射到神經(jīng)網(wǎng)絡(luò)，需要一個(gè)由間接編碼規(guī)定單獨(dú)的“翻譯”能力。如果間接編碼設(shè)計(jì)得當(dāng)，那么即使神經(jīng)網(wǎng)絡(luò)非常復(fù)雜，也可以通過搜索空間實(shí)現(xiàn)有意義且快速的遍歷。
雖然可以從直接編碼快速創(chuàng)建人工神經(jīng)網(wǎng)絡(luò)，但是缺少間接編碼的翻譯能力卻會(huì)減慢處理速度，并且可能導(dǎo)致“粗粒度”。所以在決定使用哪種編碼之前，必須考慮兩種編碼的優(yōu)缺點(diǎn)。
但是兩種遺傳編碼都證明了遺傳編碼如何確定搜索空間的大小，例如。例如通過控制激活函數(shù)或某些層類型確定搜索空間。
有種遍歷搜索空間的方法被稱為繁殖的過程（the process of reproduction），這種方法與神經(jīng)進(jìn)化所使用的遺傳編碼密切相關(guān)。通常通過突變或重組基因組來創(chuàng)造新的基因組，新的基因組也繼承了舊的基因組。突變讓后代基因組探索人工神經(jīng)網(wǎng)絡(luò)新的結(jié)構(gòu)、權(quán)重和超參數(shù)。重組基因組本質(zhì)上是將兩個(gè)基因組及其獨(dú)特的特征合并。
突變與遺傳編碼緊密相關(guān)，因?yàn)樯窠?jīng)網(wǎng)絡(luò)的參數(shù)只能突變到以遺傳編碼表示的程度。因此，為神經(jīng)進(jìn)化算法定義突變有以下三種情況。1、遺傳編碼的哪一部分會(huì)發(fā)生突變？是拓?fù)洹?quán)重、還是超參數(shù)？2、基因組中選定的部分會(huì)發(fā)生多大程度的突變？例如，神經(jīng)進(jìn)化算法可以對(duì)低適應(yīng)度基因組使用較大的突變，對(duì)高性能基因組使用微小的突變。3、突變采用何種方式。是定向？還是隨機(jī)？
圖4：競(jìng)合公約問題圖解
重組并不會(huì)突變基因組，擁有創(chuàng)新可以通過將兩個(gè)親本基因組（ parent-genomes）及其獨(dú)特特征結(jié)合，并產(chǎn)生“新穎”的后代基因組。如果重組方法設(shè)計(jì)得當(dāng)，并且可以無損地融合兩個(gè)親本基因組的有益特征，將其在整個(gè)群體中傳播，提高所有現(xiàn)有基因組的適用性。
設(shè)計(jì)重組方法的核心在于“無損融合”，即不丟失任何基因特性的情況下融合。
例如在神經(jīng)進(jìn)化算法之前，NEAT算法（通過增強(qiáng)拓?fù)涞倪M(jìn)化神經(jīng)網(wǎng)絡(luò)（Evolving Neural Networks through Augmenting Topologies））利用直接編碼在進(jìn)行修改網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，包括新增節(jié)點(diǎn)和刪除節(jié)點(diǎn)等操作時(shí)會(huì)產(chǎn)生交叉損失。
如上圖競(jìng)合公約問題（ competing-conventions problem）所示。隨后，NEAT算法提出了一種“歷史標(biāo)記”的方法，該方法為每個(gè)突變提供了唯一的標(biāo)識(shí)符，從而最終實(shí)現(xiàn)了基因組的無損重組，使其為神經(jīng)進(jìn)化算法提供了基準(zhǔn)。
在總體優(yōu)化循環(huán)中，基于問題評(píng)估基因組似乎是最簡(jiǎn)單的。但這一步驟確是非常重要，不僅是能夠指出潛在的改進(jìn)和進(jìn)步。評(píng)估方法從根本上說是一個(gè)過程，即將基因組映射到由其遺傳編碼規(guī)定的神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于問題環(huán)境，然后根據(jù)神經(jīng)網(wǎng)絡(luò)的表現(xiàn)計(jì)算適應(yīng)值。一些神經(jīng)進(jìn)化算法的評(píng)估過程還包括將神經(jīng)網(wǎng)絡(luò)加權(quán)訓(xùn)練的附加步驟，雖然這種方法非常明智，但只有當(dāng)實(shí)際環(huán)境能夠清晰反映基本信息才有用。在整個(gè)評(píng)估過程中，盡管確定適應(yīng)度的方式完全取決于實(shí)際問題的具體情況，但可以進(jìn)行合理的修改。例如在圖像識(shí)別中可以設(shè)置為準(zhǔn)確度，游戲中可以設(shè)置為點(diǎn)數(shù)。在確定適應(yīng)度計(jì)算時(shí)，新穎性搜索也是一個(gè)需要考慮的重要概念。因?yàn)檫@個(gè)概念涉及用新的方法獎(jiǎng)勵(lì)基因組，能夠使其具有更高的適應(yīng)值。例如，在實(shí)際的電子游戲環(huán)境中的智能體如果進(jìn)入一個(gè)未知的區(qū)域會(huì)獲得體能提升，盡管總體上獲得的分?jǐn)?shù)較少，但也能促進(jìn)了基因庫的創(chuàng)新，從而促進(jìn)更有希望的進(jìn)化。
（雷鋒網(wǎng)）雖然繁殖方法定義了探索搜索空間的方式。但選擇哪些基因組將作為后代的“父母”？哪些基因組將從基因庫中移除？也是神經(jīng)進(jìn)化計(jì)劃的另一個(gè)非常重要的方面。
神經(jīng)進(jìn)化算法的種類決定了哪種基因能夠作為父母基因。在一代人的神經(jīng)進(jìn)化中，選擇適合下一代的基因組通常歸結(jié)為選擇當(dāng)前表現(xiàn)最好的基因組。選擇作為父母的基因組不一定與移除的基因組互補(bǔ)。基因組的選擇要足夠有希望保證創(chuàng)新突變的潛力，盡管在下一代可能會(huì)被移除。
神經(jīng)進(jìn)化算法的一個(gè)標(biāo)準(zhǔn)配置是選擇利用前20%的基因組作為父母，另外在下一次迭代中會(huì)去除90%表現(xiàn)最差的基因組。另外根據(jù)代際神經(jīng)進(jìn)化算法是否采用物種形成，親本選擇或基因組移除選擇也會(huì)發(fā)生了顯著變化。物種形成是一種代際神經(jīng)進(jìn)化的工具，它根據(jù)顯型中的拓?fù)湎嗨菩缘让黠@特征將群體中的個(gè)體聚集在一起；或根據(jù)或在實(shí)際環(huán)境中達(dá)到的特定狀態(tài)等隱藏特征聚集。
聚集后產(chǎn)生的集群被認(rèn)為是物種，物種的產(chǎn)生取決于物種的選擇方法，具體來說得繁殖過程可以通過將更多的后代分配給平均適應(yīng)度更高的物種來控制進(jìn)化，從而產(chǎn)生“優(yōu)秀”的后代。然而，設(shè)計(jì)得當(dāng)?shù)奈锓N形成也保護(hù)了基因庫中的創(chuàng)新，因?yàn)檫@些物種會(huì)將一些后代基因分配下去。因此，設(shè)計(jì)一種適當(dāng)?shù)摹⒒騿栴}解決的物種形成方法將種群中的個(gè)體分離到不同的物種中，可以成為神經(jīng)進(jìn)化方法中非常強(qiáng)大的工具，這種方法既可以引導(dǎo)進(jìn)化進(jìn)入有益的方向，也可以保護(hù)創(chuàng)新的新路徑。
另一方面，在競(jìng)爭(zhēng)的共同進(jìn)化方案（competitive coevolution scheme）中，基因組通常是隨機(jī)配對(duì)，其中更合適或更有創(chuàng)新的一個(gè)被選為“父母”，另一個(gè)從基因庫中移除。由于競(jìng)爭(zhēng)共同進(jìn)化的異步性，不可能同時(shí)對(duì)種群中的所有基因組進(jìn)行分類和分類，從而極大地限制了用物種形成等方法指導(dǎo)進(jìn)化的可能性。
（雷鋒網(wǎng)）神經(jīng)進(jìn)化是優(yōu)化人工神經(jīng)網(wǎng)絡(luò)的一種方法，是一個(gè)多功能的工具，不僅限于機(jī)器學(xué)習(xí)方面，還可以應(yīng)用于改進(jìn)計(jì)算機(jī)視覺、自然語言處理。創(chuàng)建神經(jīng)進(jìn)化算法時(shí)需要考慮很多東西，但最重要的是最有效地利用實(shí)際問題環(huán)境。
該算法不同于我們之前討論的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，它不僅會(huì)訓(xùn)練和修改網(wǎng)絡(luò)的權(quán)值，同時(shí)會(huì)修改網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，包括新增節(jié)點(diǎn)和刪除節(jié)點(diǎn)等操作。
NEAT通過突變和無損重組直接編碼，同時(shí)通過物種形成保護(hù)創(chuàng)新。由于其簡(jiǎn)單性和同步能力，NEAT可以被認(rèn)為是典型的神經(jīng)進(jìn)化算法。
1、A Hypercube-Based Encoding for Evolving Large-Scale Neural Networks, 2009
HyperNEAT是NEAT的變體，和NEAT具有相同的原理，但其所使用的是間接編碼，稱為組合模式產(chǎn)生網(wǎng)絡(luò)（CPPNs）。CPPNs允許神經(jīng)網(wǎng)絡(luò)對(duì)稱和重復(fù)，這不僅更準(zhǔn)確地反映了人類大腦的組成，而且還通過將其映射到網(wǎng)絡(luò)拓?fù)洌瑥亩脩?yīng)用問題中固有的幾何和結(jié)構(gòu)。
2、Evolving the Placement and Density of Neurons in the HyperNEAT Substrate, 2010
ES-HyperNEAT進(jìn)一步擴(kuò)展了HyperNEAT，在信息量較高的區(qū)域允許在CPPN編碼模式中使用更密集的基底（denser substrate）。雖然HyperNEAT將隱藏神經(jīng)元放置在何處的決定權(quán)留給了用戶（user），但ES-HyperNEAT采用四叉樹狀結(jié)構(gòu)來確定那些隱藏節(jié)點(diǎn)的密度和位置。ES-HyperNEAT在主要基準(zhǔn)測(cè)試中能夠勝過傳統(tǒng)的HyperNEAT。
3、A Neuroevolution Approach to General Atari Game Playing, 2014
通過使用CNE、CMA-ES、NEAT和HyperNEAT算法來解決61個(gè)Atari2600視頻游戲，展示了神經(jīng)進(jìn)化在通用視頻游戲(GVGP)中的潛力。雖然神經(jīng)進(jìn)化在這項(xiàng)研究之前已經(jīng)在GVGPI中進(jìn)行了部署。結(jié)果與預(yù)期不謀而合，因?yàn)樗鼈儽砻髦苯泳幋a方法在緊湊的狀態(tài)表示效果最好，間接編碼允許縮放到更高維的表示。
4、DLNE: A hybridization of deep learning and neuroevolution for visual control, 2017
通過將神經(jīng)進(jìn)化與CNN的圖像識(shí)別相結(jié)合，介紹了神經(jīng)進(jìn)化最有趣的用途之一。通過CNN進(jìn)行圖像識(shí)別，將識(shí)別出的圖像轉(zhuǎn)換為特征表示，然后將識(shí)別出的圖像送入神經(jīng)進(jìn)化優(yōu)化的神經(jīng)網(wǎng)絡(luò)。雖然這種方法的有效性在很大程度上取決于特征表示的質(zhì)量，但即使采用簡(jiǎn)單的方法也能有一個(gè)很有前途的研究方向。
5、Large-Scale Evolution of Image Classifiers, 2017
這篇論文對(duì)進(jìn)化算法進(jìn)行了改動(dòng)，使其可以用于NAS(神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索)，算法對(duì)于計(jì)算資源要求較高。算法一開始從沒有任何卷積的最簡(jiǎn)單的模型開始進(jìn)化，與之前看過的論文不同的是，神經(jīng)網(wǎng)絡(luò)架構(gòu)沒有固定的網(wǎng)絡(luò)深度（意味著搜索空間進(jìn)一步擴(kuò)大，算法運(yùn)行時(shí)間長(zhǎng)）。
利用這篇的自動(dòng)化方法得出的深度網(wǎng)絡(luò)結(jié)構(gòu)，已經(jīng)能在CIFAR-10上取得可以跟人工設(shè)計(jì)的網(wǎng)絡(luò)相媲美的結(jié)果。
6、Evolving Deep Neural Networks, 2018
CoDeepNEAT算法是近年來興起NEAT算法的擴(kuò)展。這篇論文首先定義了DeepNEAT，即以緊湊形式表示整個(gè)深層神經(jīng)網(wǎng)絡(luò)的層間接編碼(包括超參數(shù)等)。然后，這些DeepNEAT基因組被看做模塊，并與由多個(gè)重復(fù)模塊組成的藍(lán)圖共同進(jìn)化，這些藍(lán)圖是由數(shù)個(gè)節(jié)點(diǎn)組成的，節(jié)點(diǎn)指向表征了神經(jīng)網(wǎng)絡(luò)的特定模塊。另外該網(wǎng)絡(luò)在CIFAR-10數(shù)據(jù)集上進(jìn)行了基準(zhǔn)測(cè)試，產(chǎn)生了比較好的結(jié)果。
7、Regularized Evolution for Image Classifier Architecture Search, 2018
這篇論文中所用進(jìn)化算法的一大重要特征是采用了一種正則化形式：相比于移除最差的神經(jīng)網(wǎng)絡(luò)，他們移除了最老的神經(jīng)網(wǎng)絡(luò)（無論它有多好）。這提升了對(duì)任務(wù)優(yōu)化時(shí)所發(fā)生變化的穩(wěn)健性，并最終更可能得到更加準(zhǔn)確的網(wǎng)絡(luò)。其中一個(gè)原因可能是由于不允許權(quán)重繼承，所有的網(wǎng)絡(luò)必須都從頭開始訓(xùn)練。因此，這種形式的正則化選擇重新訓(xùn)練后依舊較好的網(wǎng)絡(luò)。也就是說，得到更加準(zhǔn)確的模型只是偶然的，訓(xùn)練過程中存在的噪聲意味著即使完全相同的架構(gòu)準(zhǔn)確率也可能不同。
8、Designing Neural Networks Through Neuroevolution, 2019
這篇文章是對(duì)現(xiàn)代神經(jīng)進(jìn)化的一個(gè)極好的回顧，由該領(lǐng)域四位最著名的研究人員合作成文。它即使它沒有引入新的概念，但總結(jié)和說明了神經(jīng)進(jìn)化的每一個(gè)重要方面。
9、Evolutionary Neural AutoML for Deep Learning, 2019
該論文介紹了功能強(qiáng)大的進(jìn)化AutoML框架LEAF，該框架利用了進(jìn)化算法CoDeepNEAT。雖然在論文中作者沒有透露他們的源代碼，但他們對(duì)其設(shè)計(jì)進(jìn)行了廣泛的討論，并提供了有價(jià)值的意見。
另外，在醫(yī)學(xué)圖像分類和自然語言分析任務(wù)中對(duì)進(jìn)化AutoML框架的性能進(jìn)行了評(píng)估，其結(jié)果超過了現(xiàn)有的最先進(jìn)的AutoML系統(tǒng)和手工神經(jīng)網(wǎng)絡(luò)解決方案。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
