AAAI 2019 四個杰出論文獎?wù)撐慕視?

本文作者：楊曉凡

2019-01-29 15:40

專題：AAAI 2019

導(dǎo)語：一半都是強化學(xué)習(xí)論文

雷鋒網(wǎng) AI 科技評論按：人工智能頂級學(xué)術(shù)會議 AAAI 2019 （第 33 屆 AAAI）即將在美國夏威夷開幕，會議時間是 1 月 27 日到 2 月 1 日，其中正會內(nèi)容從 1 月 29 日開始。近日，AAAI 組委會在官網(wǎng)公布了幾個論文獎獎項的獲獎情況。雷鋒網(wǎng) AI 科技評論簡介如下。

AAAI 2019 杰出論文獎

How to Combine Tree-Search Methods in Reinforcement Learning

如何把樹搜索方法結(jié)合進強化學(xué)習(xí)中
論文地址：https://arxiv.org/abs/1809.01843
論文摘要：有限時長的前瞻策略方法在強化學(xué)習(xí)中有著廣泛的應(yīng)用，這類方法在實證研究中展現(xiàn)出了優(yōu)秀的表現(xiàn)。通常，前瞻策略方法在應(yīng)用的時候都會搭配一些具體的規(guī)劃方法，比如蒙特卡洛樹搜索（AlphaZero 中就是這樣做的）。對于看作是樹搜索的規(guī)劃問題，算法實現(xiàn)中的一種合理做法是只在葉子節(jié)點上備份值，同時在根節(jié)點上獲得的值只會用來更新策略。在這篇論文中，作者們質(zhì)疑了這種方法的表現(xiàn)。具體來說，這種做法并不具備一般化的收縮性，也無法保證收斂。作者們提出的改進方法思路直接而且簡單：用最優(yōu)的樹路徑的返回值備份根節(jié)點的子節(jié)點的值。這會帶來 γ^h 的收縮過程，其中 γ 是折扣系數(shù)，h 是樹的深度。為了表明這種方法的效果，作者們首次提出了一個名為「多步貪婪持續(xù)性」的想法。作者們編寫了兩個以上改進的算法實例，并在樹搜索階段和值估計階段都注入噪聲的狀況下提供了收斂速率結(jié)果。

AAAI 2019 杰出論文獎榮譽提名

Solving Imperfect-Information Games via Discounted Regret Minimization

通過折扣后悔最小化解決非完全信息博弈
論文地址：https://arxiv.org/abs/1809.04040
論文摘要：反事實后悔最小化（CFR）是一類最為火熱的迭代算法，而且在實際應(yīng)用中也是可以最快逼近解決大規(guī)模非完全信息博弈的方法。這篇論文中作者們提出了一種新的 CFR 變體，它的特點是，1，通過多種不同的方式，給較早的迭代中的后悔值打上折扣（在某些情況下，正值和負(fù)值的折扣比例會有所不同）；2，迭代得到輸出策略的過程中，通過多種不同的方式給不同的迭代賦予不同的權(quán)重；3，使用了一個非標(biāo)準(zhǔn)的后悔最小化優(yōu)化器；4，使用了「樂觀后悔匹配」。在多種設(shè)定下，這些改進都可以讓方法的表現(xiàn)得到大幅度提高。具體來說，作者們提出的某一種變體在所有測試了的博弈中都比此前的最佳表現(xiàn)算法 CFR+ 表現(xiàn)更好，包括在一些大規(guī)模的真實設(shè)定中。而此前，CFR+ 一直是一個令人敬畏的基準(zhǔn)模型，沒有任何別的模型表現(xiàn)比它更好。最后作者們也展示了，與 CFR+ 不同，根據(jù)作者們提出的改進點設(shè)計的新 CFR 變體與現(xiàn)有的許多非完全信息博弈中的剪枝策略都是兼容的，而且其中也有一種和博弈樹中的采樣兼容。

AAAI 2019 杰出學(xué)生論文獎

Zero Shot Learning for Code Education: Rubric Sampling with Deep Learning Inference

用于編程學(xué)習(xí)的零樣本學(xué)習(xí)：通過深度學(xué)習(xí)界面進行提示采樣
論文地址：https://arxiv.org/abs/1809.01357
論文摘要：在現(xiàn)代計算機科學(xué)教育中，大規(guī)模開放在線課程（MOOCs）在提供在線教育的同時也會記錄下數(shù)千小時的學(xué)習(xí)過程，其中包括了學(xué)生如何解決編程題目的過程。既然手握這么多數(shù)據(jù)，這些平臺也就引起了機器學(xué)習(xí)領(lǐng)域的研究人員們的興趣，他們開發(fā)了許多新的算法，嘗試以提供自動化反饋的方式幫助未來的學(xué)生們更好地學(xué)習(xí)。不過，提供了最初的幾十萬小時的訓(xùn)練數(shù)據(jù)的學(xué)生們怎么辦呢？在大多數(shù)教學(xué)場景下（比如教室），想要為課后作業(yè)設(shè)計監(jiān)督學(xué)習(xí)系統(tǒng)都會遇到歷史數(shù)據(jù)不足的問題。在這篇論文中，作者們提出了一種人參與其中的「提示采樣」方法，專門用來處理早期的「無樣本學(xué)習(xí)」問題。對于在入門難度的編程作業(yè)中提供自動反饋的任務(wù)，相比于以往的需要數(shù)據(jù)喂養(yǎng)的方法，作者們提出的新方法為第一批學(xué)生們提供的反饋有顯著的質(zhì)量提高，而且接近了人類級別的可信度。提示采樣需要老師付出的精力最小，可以提供和學(xué)生的回答的具體部分相關(guān)的反饋，而且可以使用指導(dǎo)者的語言指出學(xué)生的誤解之處。深度學(xué)習(xí)推理的使用，讓指示采樣在未來有更多基于不同的作業(yè)的學(xué)生數(shù)據(jù)可用時也能發(fā)揮出更好的表現(xiàn)。作者們從全世界最大的編程教育平臺 Code.org 采集了一個新數(shù)據(jù)集并在上面展示了方法的表現(xiàn)。

AAAI 2019 杰出學(xué)生論文獎榮譽提名

Learning to Teach in Cooperative Multiagent Reinforcement Learning

在多智能體合作強化學(xué)習(xí)中學(xué)習(xí)如何教學(xué)
論文地址：https://arxiv.org/abs/1805.07830
論文摘要：人類個體的創(chuàng)新行為可以通過溝通教會別的人，人類集體智慧的提升顯然從這種做法中受益匪淺。與人類社會群體類似，分布式學(xué)習(xí)系統(tǒng)中的智能體也許也可以從溝通中獲益，可以分享知識、教授技能。此前已經(jīng)有工作研究過如何通過教學(xué)的方式幫助智能體學(xué)習(xí)，但是這些方法做出的假設(shè)讓它們無法在一般的多智能體問題中進行教學(xué)，又或者先需要它們要解決的問題的領(lǐng)域知識。這種學(xué)習(xí)教學(xué)的問題本身就有很高的復(fù)雜度，而且還要測量教學(xué)的長期影響，這在標(biāo)準(zhǔn)的多智能體協(xié)調(diào)問題上又增加了許多難度。與現(xiàn)有研究不同，這篇論文首次為多智能體環(huán)境中的智慧智能體學(xué)習(xí)教學(xué)問題提出了一個通用的框架和算法。作者們提出的算法，「學(xué)習(xí)協(xié)調(diào)與學(xué)習(xí)強化」（LeCTR），針對的是合作多智能體強化學(xué)習(xí)中的點對點（peer2peer）教學(xué)。方法中的每個智能體都要學(xué)習(xí)如何指導(dǎo)、指導(dǎo)什么內(nèi)容，然后使用接收到的建議改進自己的學(xué)習(xí)。重要的是，這些角色并不是固定的；智能體們會學(xué)習(xí)在不同的時間決定別的智能體是學(xué)生還是老師的角色，對應(yīng)地提供指導(dǎo)或者接受指導(dǎo)，以便提高整個團體范圍內(nèi)的表現(xiàn)和學(xué)習(xí)能力。與當(dāng)前最好的方法之間的比較表明，作者們提出的教學(xué)智能體不僅顯著地學(xué)習(xí)更快，而且也可以在現(xiàn)有方法無法解決的問題中學(xué)會協(xié)調(diào)。