<mark id="oztn4"></mark>
1
| 本文作者： WBLUE | 2019-01-08 11:48 | 專題：NeurIPS 2018 |
雷鋒網(wǎng) AI 科技評論按：神經(jīng)信息處理系統(tǒng)大會（NeurIPS）是人工智能領(lǐng)域最知名的學(xué)術(shù)會議之一，NeurIPS 2018 已于去年 12 月 3 日至 8 日在加拿大蒙特利爾市舉辦。來自 Zighra.com 的首席數(shù)據(jù)科學(xué)家在參加完此次會議之后，撰寫了一篇關(guān)于貝葉斯研究的參會總結(jié)，雷鋒網(wǎng) AI 科技評論編譯整理如下。
此次會議支持現(xiàn)場直播，所有講座的視頻內(nèi)容均可以在 NeurIPS 的 Facebook 主頁上找到，除此之外，NeurIPS 主頁上還有一些非常有趣的主題演講，其中最吸引我的是 Micheal Levin 教授講的神經(jīng)系統(tǒng)外的生物電計算、原始認(rèn)知和綜合形態(tài)學(xué)。其他值得關(guān)注還有，Joelle Pineau 教授演講主題：可重復(fù)，可重用和可強化的強化學(xué)習(xí)，David Spiegelhalter 演講主題：使算法值得信賴，以及 Kunle Olukotun 演講主題：為軟件 2.0 版本設(shè)計的計算機系統(tǒng)。還有一個非常有趣的研討會，主要討論機器學(xué)習(xí)在物理學(xué)領(lǐng)域的分子和材料中的應(yīng)用。
我關(guān)注 NeurIPS2018 主要是為了解貝葉斯推斷的最新研究動態(tài)及其在機器學(xué)習(xí)和人工智能領(lǐng)域中的應(yīng)用。正如預(yù)期的那樣，在為期 6 天的會議中，貝葉斯研究相關(guān)論文多達(dá) 70 多篇。David Dunson 教授關(guān)于可擴展貝葉斯推斷的導(dǎo)讀非常有用。本教程概述了使用貝葉斯統(tǒng)計方法分析海量數(shù)據(jù)集的最新方法。Dunson 教授討論了擴展常用馬爾可夫鏈蒙特卡羅（MCMC）算法的簡單方法，例如：高速并行（EP）MCMC，近似 MCMC，隨機近似，混合優(yōu)化和采樣以及模塊化。這些方法在計算廣告學(xué)，基因組學(xué)和神經(jīng)科學(xué)等領(lǐng)域均有應(yīng)用。
還有兩個與貝葉斯推斷相關(guān)的研討會。一個是貝葉斯深度學(xué)習(xí)，另一個是非參數(shù)化貝葉斯推斷，目前都是非常活躍的研究領(lǐng)域。
口頭報告和展板涵蓋了貝葉斯推斷的幾個方面，包括理論進(jìn)步和其在機器學(xué)習(xí)中的應(yīng)用。涵蓋的主題包括貝葉斯深度學(xué)習(xí)，貝葉斯強化學(xué)習(xí)，貝葉斯優(yōu)化，變分推斷，變分自動編碼器，馬爾可夫鏈蒙特卡羅（MCMC）方法，表示學(xué)習(xí)或元學(xué)習(xí)，認(rèn)知科學(xué)，差分隱私，近似貝葉斯方法和貝葉斯網(wǎng)絡(luò)。這一系列主題展示了貝葉斯方法在機器學(xué)習(xí)和人工智能中的重要性。
我將在這里總結(jié)一些我發(fā)現(xiàn)有趣的演講/展板，完整的演講/展板清單可以在 NeurIPS2018 會議論文頁面找到。
在這項工作中，作者開發(fā)了 NASBOT，這是一種基于高斯過程的貝葉斯優(yōu)化框架，用于神經(jīng)架構(gòu)搜索。作者在神經(jīng)網(wǎng)絡(luò)架構(gòu)的空間中提出了一個距離度量，可以通過最優(yōu)的傳輸程序進(jìn)行有效計算。
本文作者介紹了深度神經(jīng)網(wǎng)絡(luò)無監(jiān)督結(jié)構(gòu)學(xué)習(xí)的原理。他們提出了深度和層間連接的新解釋，其中輸入分布中的條件獨立性在網(wǎng)絡(luò)結(jié)構(gòu)中被分層編碼，這樣可以固有地確定網(wǎng)絡(luò)的深度。該方法將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)問題隱射為貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的問題。
在這項工作中，作者提出了一種新的技術(shù)方法，它增加了具有多個彈性網(wǎng)的貝葉斯非參數(shù)回歸混合模型。使用增強混合模型，可以通過全局近似提取目標(biāo)模型的泛化理解。
深度神經(jīng)網(wǎng)絡(luò)容易受到對抗性攻擊，標(biāo)準(zhǔn)的防御性方法是將其作為一個強大的優(yōu)化問題。本文則是最小化了從對抗數(shù)據(jù)生成分布中生成的最壞情況損失的點估計。這項工作提出了一種新的強大的訓(xùn)練框架，稱為貝葉斯魯棒學(xué)習(xí)，其中對對抗性數(shù)據(jù)生成分布進(jìn)行分配，以解釋對抗性數(shù)據(jù)生成過程的不確定性。
這項工作討論了一種用于在并行集群上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的高吞吐量算法。該算法在生成模型中使用平攤推理，以計算群集的特定方式執(zhí)行小批量梯度計算時間的聯(lián)合后驗預(yù)測推斷。特別地是，該算法在基于梯度的同步優(yōu)化中，通過選擇一個最優(yōu)的中斷（cutoff）來緩解算法中的掉隊問題。
在本文中，作者提出了一種新的貝葉斯模型不可知元學(xué)習(xí)方法，用于從小數(shù)據(jù)集中學(xué)習(xí)。該方法將原有的基于梯度的元學(xué)習(xí)與非參數(shù)變分推斷結(jié)合在一個有原則的概率框架中。
了解人類如何感知高維物體（如面部）的美感是認(rèn)知科學(xué)和 AI / ML 中的一個重要問題。從心理學(xué)文獻(xiàn)中可知，人類對面部吸引力的評估是依賴于環(huán)境的。在本文中，作者假設(shè)，當(dāng)一個對象的編碼成本較低時，特別是當(dāng)其感知的統(tǒng)計典型性較高時，人類對一個對象的喜好會增加，這與 Barlow 的開創(chuàng)性的編碼假設(shè)一致。
當(dāng)觀察任務(wù)演示時，人類學(xué)徒能夠先于獲得實際執(zhí)行該任務(wù)的專業(yè)知識之前就能知道給定任務(wù)是否正確執(zhí)行。作者提出了貝葉斯指數(shù)推斷，這是一種推斷任務(wù)規(guī)范作為時間邏輯公式的概率模型。作者將概率編程的方法與獨立于領(lǐng)域的似然函數(shù)結(jié)合起來，以定義它們的先驗，從而支持基于采樣的推斷。
當(dāng)似然函數(shù)難以處理時，近似貝葉斯計算（ABC）是貝葉斯推理的一種重要方法。在本文中，作者介紹了一種基于優(yōu)化的 ABC 框架，該框架解決了現(xiàn)有方法的不足。利用生成模型進(jìn)行后驗和聯(lián)合分布匹配，作者表明，ABC 可以被定義為鞍點問題，其目標(biāo)可以直接用樣本訪問。
在本文中，作者將貝葉斯模型與多個專家相組合，使其學(xué)習(xí)如何在訓(xùn)練過程中信任優(yōu)秀的專家組合。
許多在科學(xué)計算和機器學(xué)習(xí)中大熱的概率模型是很棘手的，需要求梯度或大量似然估計。作者在這里介紹了一種新的樣本推斷框架，即變分貝葉斯蒙特卡羅（VBMC）。 VBMC 將變分推斷與基于高斯過程的主動采樣貝葉斯積分相結(jié)合，使用后者有效地近似變分目標(biāo)中的難以求得的積分。
深度高斯過程（DGP）是高斯過程的分層推廣，其將良好校準(zhǔn)的不確定性估計與多層模型的高靈敏度相結(jié)合。這些模型面臨的最大挑戰(zhàn)之一是精確推斷是很難處理的。在這項工作中，作者提供了后驗的非高斯性質(zhì)的證據(jù)，并且他們應(yīng)用隨機梯度哈密頓蒙特卡羅方法從后驗分布生成樣本。
在這項工作中，作者引入了算法保證，即測試機器學(xué)習(xí)算法是否符合其預(yù)期設(shè)計目標(biāo)的問題。作者在數(shù)學(xué)上將此任務(wù)表述為昂貴的黑盒函數(shù)的優(yōu)化問題。他們使用基于貝葉斯優(yōu)化的主動學(xué)習(xí)方法來解決這個優(yōu)化問題。
作者探討了貝葉斯變分推斷的一個新的研究方向，即離散潛變量先驗，他們利用 Kronecker 矩陣代數(shù)進(jìn)行對數(shù)似然（證據(jù)）下界（ELBO）的高效精確計算。這導(dǎo)致后驗樣本由稀疏和低精度量化整數(shù)組成，其允許在硬件受限設(shè)備上快速推斷。
本文介紹了 Wasserstein 變分推理，一種基于最優(yōu)傳輸理論的近似貝葉斯推理的新形式。Wasserstein 變分推理使用一個新的分歧，包括 f-散度和 Wasserstein 距離作為特殊情況。該技術(shù)產(chǎn)生非常穩(wěn)定的訓(xùn)練方法，可以與隱式分布和概率程序一起使用。
通常很難解釋使用變分自動編碼器（VAE）學(xué)習(xí)的潛在空間表示。作者提出了一種基于 VAE 的生成模型，它能夠提取與數(shù)據(jù)中二進(jìn)制標(biāo)簽相關(guān)的特征，并在容易表示的潛在子空間中構(gòu)造它。
在強調(diào)化學(xué)應(yīng)用的同時，作者探索了學(xué)習(xí)生成符合訓(xùn)練數(shù)據(jù)中觀察到的分布的圖的任務(wù)。他們提出了一種變分自動編碼器模型，其中編碼器和解碼器都是圖結(jié)構(gòu)的。他們表明，通過使用潛在空間的大致形狀，該模型可以設(shè)計在所需特性（局部）中最佳的分子。
我可能在這里省略了在 NeurIPS2018 上提出的關(guān)于貝葉斯推斷的其他幾項重要工作。這在一定程度上是因為我的個人選擇，而且我可能也沒有在會議上提交的數(shù)百篇論文和展板中注意到它們。建議讀者通過 NeurIPS2018 會議論文搜索其他有趣的論文。
總之，在 NeurIPS2018 上提出的關(guān)于貝葉斯推斷的工作清單顯示了該主題在機器學(xué)習(xí)和人工智能時代的相關(guān)性。去年，貝葉斯推斷在后驗密度估計的更好算法方面取得了一些重要進(jìn)展，并在從深度學(xué)習(xí)模型的解釋到新分子設(shè)計等問題上得到了應(yīng)用。
via：https://medium.com/datadriveninvestor/bayesian-research-in-neurips2018-319cdbca71e9
雷鋒網(wǎng)雷鋒網(wǎng)
專題
