2021年11月12日凌晨，遲遲未公布的CoRL 2021論文獎名單終于揭曉。備受關注的論文大獎全部被華人學者包攬。來自麻省理工大學的Tao Chen, Jie Xu, Pulkit Agrawal(導師)拿下最佳論文獎；來自哥倫比亞大學的Huy Ha, 宋舒然(導師)拿下最佳系統(tǒng)論文獎。
本次獲提名獎的共有七篇論文，四篇最佳論文獎提名，三篇最佳系統(tǒng)論文提名。七篇佳作皆有華人學者參與。占比42.3%。
CoRL于11月8日——11日在倫敦舉行。同時在網(wǎng)絡上也開設了虛擬會場以饗諸位：PheedLoop主題演講、指導性建議和論文演講；gather.town 用于海報會議和交流。即使不能到現(xiàn)場的同學，也不用擔心錯過關注論文的演講了。
官網(wǎng)鏈接：https://www.robot-learning.org/program/awards_2021
Youtube直播鏈接：https://www.youtube.com/watch?v=5KjpZS4_RBs
榮獲CoRL 2021最佳論文獎的是：
麻省理工學院《A System for General In-Hand Object Re-Orientation》
論文鏈接：https://openreview.net/forum?id=7uSBJDoP7tY
作者：Tao Chen, Jie Xu, Pulkit Agrawal
論文介紹：
由于高維驅動空間以及手指與物體之間接觸狀態(tài)的頻繁變化，手持物體重新定向一直是機器人技術中難攻克的問題。Tao Chen等人提出一個簡單的框架，框架的核心是無模型強化學習：可被稱為“師生關系”的訓練法、重力課程設置和物體穩(wěn)定初始化。它可以解決復雜的問題，用機械手學習重新定向，讓2000多個不同物體的系統(tǒng)面朝上和朝下。該系統(tǒng)不需要物體或機械手模型、接觸動力學和任何特殊的感官觀察預處理。
過去的一些方法，如使用強大軌跡優(yōu)化法分析模型，雖然解決了重新定向問題，但結果主要是在模擬簡單的幾何形狀，無法拓展到現(xiàn)實中推廣到新對象，結果差強人意。
Tao Chen他們的研究首先在模擬中對“老師”無模型強化學習（model-free Reinforcement Learning）進行有關物體和機器人信息的訓練，為了確保機器人可在現(xiàn)實中運作，模擬中缺失的信息如指間的位置，強化學習智能體接受的知識被轉化為模擬外可用的數(shù)據(jù)，像攝像機捕獲的深度圖像等。為了提高性能，機器人先在零重力空間里學習，再在正常的重力環(huán)境中適應調(diào)控器?？此七`反直覺，但單個控制器可以重新定向大量它以前從未見過的物體。
作者介紹：
Chen Tao, 麻省理工學院EECS & CSAIL 博士，師從Pulkit Agrawal教授。本科畢業(yè)于上海交通大學機械工程及自動化專業(yè)，期間在普渡大學機械工程學院交換。讀研之前，Chen Tao曾是上海LX Robotics的研究工程師，從事目標檢測、圖像分割、機器人深度強化學習、SLAM等方面的研究。研究生畢業(yè)于卡內(nèi)基梅隆大學機器人學院，師從Abhinav Gupta 教授。主要研究機器人學習、操作和導航的交叉領域 。
個人主頁：https://taochenshh.github.io/
Jie Xu, 麻省理工學院CSAIL博士，師從計算設計和制造組(CDFG)的Wojciech Matusik教授。本科畢業(yè)于清華大學計算機科學與技術系。
研究主要方向機器人、仿真、機器學習的交叉領域。感興趣的主題: 機器人控制、強化學習、基于可微分物理的仿真、機器人控制和設計協(xié)同優(yōu)化、模擬現(xiàn)實。
個人主頁：https://people.csail.mit.edu/jiex/
Pulkit Agrawal, 麻省理工學院EECS助理教授。所在實驗室是計算機科學和人工智能實驗室(CSAIL)的一部分，隸屬于信息和決策系統(tǒng)實驗室(LIDS)，并與美國國家科學基金會人工智能和基本交互研究所(IAIFI)合作。
首要研究興趣是構建能夠自動且持續(xù)地了解其環(huán)境的機器。希望這種學習的最終結果將類似于人類所謂的常識的發(fā)展。Pulkit Agrawal將這方向的工作稱為“計算感覺運動學習”，它包括計算機視覺、機器人技術、強化學習和其他基于學習的控制方法。個人主頁：https://people.csail.mit.edu/pulkitag/榮獲CoRL 2021最佳系統(tǒng)論文獎的是：哥倫比亞大學的《FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding》論文鏈接：https://openreview.net/pdf?id=0QJeE5hkyFZ高速動態(tài)動作(如，亂扔或用力拋擲)通過提高自身效率和有效擴展物理接觸范圍，在我們與可變形物體的日?；又邪l(fā)揮著至關重要的作用。但之前的大多數(shù)工作都是使用單臂準靜態(tài)動作處理布料操作，這需要大量的交互來挑戰(zhàn)初始布料配置，并嚴格限制機器人可及范圍的最大布料尺寸。Huy Ha等人使用自監(jiān)督學習框架FlingBot演示了布料展開動態(tài)投擲動作的有效性。這個方法從從視覺觀察開始雙臂設置，學習如何展開一塊織物，從任意的初始配置使用拾取，拉伸，并投擲。最終系統(tǒng)在新布料上3個動作就能達到80%以上的覆蓋范圍，可以展開比系統(tǒng)覆蓋范圍更大的布料，雖然只在矩形布料上訓練過，但可以推廣到T恤上等。研究者們還在真實世界的雙臂機器人平臺上對FlingBot進行了微調(diào)。FlingBot的布料覆蓋面積比準靜態(tài)基線增加了4倍以上。FlingBot的簡單性和它優(yōu)于準靜態(tài)基線的性能證明了動態(tài)動作對可變形物體操作是十分有效的。Huy Ha, 哥倫比亞大學計算機科學系博士。師從宋舒然教授，是哥倫比亞人大學工智能與機器人 (CAIR) 實驗室的成員。個人主頁：https://www.cs.columbia.edu/~huy/宋舒然, 目前是哥倫比亞大學計算機科學系的助理教授， 本科就讀于香港科技大學計算機工程專業(yè)，碩士和博士均畢業(yè)于普林斯頓大學計算機科學系。研究重點是計算機視覺和機器人技術的交叉領域，研究興趣是開發(fā)能使智能系統(tǒng)在與物理世界的交互中學習、并自主獲得執(zhí)行復雜任務和協(xié)助人們的感知和操縱技能的算法。個人主頁：https://www.cs.columbia.edu/~shurans/- 達姆施塔特工業(yè)大學和華為英國研發(fā)中心合作的《Robot Reinforcement Learning on the Constraint Manifold》
論文鏈接：https://openreview.net/pdf?id=zwo1-MdMl1P作者：Puze Liu, Davide Tateo, Haitham Bou-Ammar and Jan Peters許多實際問題，像安全、機械約束和磨損等，在機器人技術中運用強化學習十分具有挑戰(zhàn)性。這些問題通常在機器人學習文獻中沒有被充分考慮到。在現(xiàn)實中應用強化學習的關鍵點在于安全探索，在整個學習過程中滿足物理和安全約束至關重要。要在這樣的安全環(huán)境中探索，利用諸如機器人模型和約束條件等已知信息，能更好地提供強有力的安全保障。Puze Liu等人提出了一種在模擬中能有效學習機器人任務的方法，能滿足學習過程中需要的約束條件。研究提出了作用于約束流形的切線空間新方法（ATACOM），智能體探索約束流形的切線空間，如圖中所示。它可以將約束強化學習問題轉化為典型的無約束強化學習問題。這個方法可以讓我們利用任何無模型 RL算法，同時能讓約束保持在容差以下。ATACOM 的優(yōu)點可以概括如下：(i) 它可以處理等式和不等式約束。每個時間步的所有約束都保持在容差以下。(ii) 不需要初始可行的策略，智能體可以從零開始學習。(iii) 不需要手動安全備份策略將系統(tǒng)移回安全區(qū)域。(iv)它可以應用于任何使用確定性和隨機策略的無模型強化學習算法。(v) 探索可以集中在低維流形上，而不是探索原始動作空間中的等式約束。(vi) 它具有更好的學習性能，因為不等式約束僅限于較小的可行狀態(tài)-動作空間。- 卡內(nèi)基梅隆大學的《Learning Off-Policy with Online Planning》
論文鏈接：https://openreview.net/pdf?id=1GNV9SW95eJ作者：Harshit Sikchi, Wenxuan Zhou, David Held低數(shù)據(jù)和風險敏感領域中的強化學習需要靈活高性能的部署策略，這些策略可以在部署過程中輕松整合約束。一類是半?yún)?shù)H步前瞻策略，它使用軌跡優(yōu)化對具有終值函數(shù)的固定范圍的動態(tài)模型進行軌跡優(yōu)化選擇動作。在這項工作中，Harshit Sikchi等人研究了一種新的 H步前瞻實例化，其中包含一個學習模型和一個由無模型離策略算法學習的終端值函數(shù)，名為 Learning Off-Policy with Online Planning (LOOP)。理論分析建議模型誤差和值函數(shù)誤差之間進行權衡，從經(jīng)驗而言這種權衡有利于深度強化學習。這篇論文還確定了該框架中的“Actor Divergence”問題，提出Actor 正則化控制 (ARC)，這是一種改進的軌跡優(yōu)化程序。研究人員在一組用于離線和在線強化學習機器人任務上評估LOOP。LOOP 在部署期間展示了將安全約束與導航環(huán)境結合起來的靈活性。由此證明 LOOP 是一個理想的機器人應用框架，基于它在各種重要的強化設置中的強大性能。- 斯坦福大學、谷歌機器人和加州大學伯克利分校合作的《XIRL: Cross-embodiment Inverse Reinforcement Learning》
論文鏈接：https://openreview.net/pdf?id=RO4DM85Z4P7作者：Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi本文研究了視覺跨實體模仿設置，其中智能體從其他智能體（例如人類）的視頻中學習策略，演示相同的任務，但他們在實施中存有明顯差異——形狀、動作、末端效應器動力學等。本文證明了從對差異具有魯棒性的跨實體演示視頻中自動發(fā)現(xiàn)和學習基于視覺的獎勵函數(shù)。通過提出跨實體逆強化學習 (XIRL) 的自監(jiān)督學習，利用時間周期一致性約束來學習深度視覺嵌入，這些嵌入可以從多個專家代理的離線演示視頻中捕獲任務進展，每個智能體執(zhí)行相同的任務因具體化而不同。此前，從自監(jiān)督嵌入產(chǎn)生獎勵通常需要與參考軌跡對齊，在實施差異下可是很難獲得的。如果嵌入了解任務進度，在學習的嵌入空間中簡單地取當前狀態(tài)和目標狀態(tài)之間的負距離作為強化學習訓練策略的獎勵是有作用的。研究證明學習獎勵函數(shù)不僅適用訓練期間看到的實施例，更可以推廣到全新的實施例。此外，當將真實世界的人類演示轉移到模擬機器人時，研究發(fā)現(xiàn)XIRL比當前的最佳方法更有效果。獲得CoRL 2021最佳系統(tǒng)論文提名的有：- 華盛頓大學和偉英達公司合作的《SORNet: Spatial Object-Centric Representations for Sequential Manipulation》
論文鏈接：https://openreview.net/pdf?id=mOLu2rODIJF作者：Wentao Yuan, Chris Paxton, Karthik Desingh順序操作任務要求機器人感知環(huán)境狀態(tài)，并計劃一系列行動以達到預期的目標狀態(tài)，其中從原始傳感器輸入推斷對象實體之間空間關系的能力至關重要。之前的工作依賴于明確的狀態(tài)估測，對新任務和對象端到端地學習對抗。在這項工作中，Wentao Yuan等人提出了SORNet(空間對象中心表示網(wǎng)絡)，它從以興趣對象的規(guī)范視圖為條件的RGB 圖像中提取以對象為中心的表示。結果表明，在空間關系分類、技能前提分類和相對方向回歸三種空間推理任務中，通過SORNet學習的對象嵌入方法可以將零樣本擴展到未見的對象實體，并顯著優(yōu)于基線。此外，我們進行了真實世界的機器人實驗，證明了學習對象嵌入在順序操作任務規(guī)劃中的使用。- 華盛頓大學和谷歌機器人合作的《Fast and Efficient Locomotion via Learned Gait Transitions》
論文鏈接：https://openreview.net/pdf?id=vm8Hr9YJHZ1作者：Yuxiang Yang, Tingnan Zhang, Erwin Coumans, Jie Tan, and Byron Boots本文主要研究四足機器人節(jié)能控制器的研制問題。動物可以用不同的速度主動切換步態(tài)，以降低能量消耗。在本文中，Yuxiang Yang等人設計了一個層次學習框架，在這個框架中，獨特的運動步態(tài)和自然的步態(tài)轉換以能量最小化獎勵自動出現(xiàn)。研究人員使用進化策略(ES)訓練高級步態(tài)策略，指定每只腳的步態(tài)模式，而低水平凸MPC控制器優(yōu)化電機命令，使機器人可以用期望步態(tài)模式的速度行走。在一個四足機器人上測試了這個學習框架，演示了隨著機器人速度的增加，從步行到小跑再到飛小跑的自動步態(tài)轉換。結果表明，學習層次控制器消耗的能量遠少于基線控制器在大范圍的運動速度。在CoRL官網(wǎng)，組委會這樣描述舉辦CoRL的緣由：CoRL是一個新的以機器人學和機器學習為主題的年度國際會議。第一次會議已于2017年11月13日至15日在加利福尼亞州山景城舉行，旨在匯聚約250名從事機器人學和機器學習領域的最優(yōu)秀的研究者參會。機器人技術，自主感知和控制領域正在經(jīng)歷一場機器學習革命，現(xiàn)在正是時候提供一個將機器學習的基本進展與機器人應用和理論的實證研究相結合的場所。我們的目標是使CoRL成為機器人（機器）學習研究的首選大會。
大會的組織者包括來自UC Berkrley、Google、Microsoft、CMU、MIT、ETH、Deepmind等知名院校和知名企業(yè)的研究者和從業(yè)者，同時CoRL大會的舉辦還得到了機器人國際機構“三巨頭”之一的國際機器人研究基金會（IFRR）和機器學習領域最好的期刊之一JMLR（Journal of Machine Learning Research）的支持。機器人學習大會（CoRL）自2017年推出以來，已迅速成為機器人技術與機器學習交叉領域的全球頂級學術盛會之一：“針對機器人學習研究的大會，涵蓋了機器人技術、機器學習和控制等廣泛主題，包括理論和應用各方面?！?/span>
雷鋒網(wǎng)
