<mark id="oztn4"></mark>
0
| 本文作者： 劉潔 | 2024-09-06 17:09 |
倒茶、疊衣服、整理書(shū)籍、丟垃圾，現(xiàn)在的家務(wù)機(jī)器人干活真是越來(lái)越熟練了。
不過(guò)，也不是每個(gè)家務(wù)機(jī)器人都能做到像動(dòng)圖里那么流暢的。
熟練家務(wù)的背后，是李飛飛團(tuán)隊(duì)琢磨出來(lái)的一種新辦法。
他們把任務(wù)動(dòng)作拆解后標(biāo)記出幾個(gè)關(guān)鍵點(diǎn)，再給到具體規(guī)則讓機(jī)器人知道這些點(diǎn)之間有什么聯(lián)系，要怎么操作比較好。除此之外，機(jī)器人還能自主學(xué)習(xí)，越練習(xí)越厲害。
以倒茶這個(gè)動(dòng)作為例，機(jī)器人會(huì)先用攝像頭確定茶杯茶壺等的位置、形狀等要素，再識(shí)別出關(guān)鍵點(diǎn)，比如茶杯的中心點(diǎn)和把手的中心點(diǎn)，ReKep 會(huì)給機(jī)器人編寫(xiě)出一系列規(guī)則，告訴它要用什么角度、怎么拿怎么傾倒、用多大力氣等，機(jī)器人只要按照規(guī)則行動(dòng)就能成功倒茶了。
不得不說(shuō)，這么一個(gè)簡(jiǎn)單的動(dòng)作想讓機(jī)器人做好是真的是太難了。要是沒(méi)有 ReKep 技術(shù)，想看到機(jī)器人熟練地干各種家務(wù)活還不知道要等到猴年馬月。
畢竟今年三月份的時(shí)候，李飛飛團(tuán)隊(duì)的家務(wù)機(jī)器人還是這樣的，只會(huì)擦擦桌子切個(gè)水果：
而半年后的今天，就已經(jīng)進(jìn)化成全能選手了：
目前，李飛飛團(tuán)隊(duì)關(guān)于 ReKep 技術(shù)的論文已在 arXiv 公開(kāi)，代碼也已開(kāi)源。
論文標(biāo)題：ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
論文地址：https://arxiv.org/pdf/2409.01652
項(xiàng)目網(wǎng)站：https://rekep-robot.github.io/
項(xiàng)目代碼：github.com/huangwl18/ReKep
李飛飛團(tuán)隊(duì)旨在解決與機(jī)器人操作任務(wù)相關(guān)的挑戰(zhàn)，這些任務(wù)涉及多個(gè)空間關(guān)系和時(shí)間依賴(lài)階段，需要對(duì)復(fù)雜的空間和時(shí)間關(guān)系進(jìn)行編碼。
他們希望開(kāi)發(fā)一個(gè)廣泛適用的框架，能夠適應(yīng)需要多階段、野外環(huán)境、雙手操作和反應(yīng)行為的任務(wù)，通過(guò)基礎(chǔ)模型的進(jìn)展在獲取約束方面具有可擴(kuò)展性，并能夠?qū)崟r(shí)優(yōu)化以產(chǎn)生復(fù)雜的操作行為。
現(xiàn)有的使用剛體變換表示操作任務(wù)約束的方法缺乏幾何細(xì)節(jié)，要求預(yù)定義的物體模型，并且無(wú)法處理可變形物體。
在視覺(jué)空間中直接學(xué)習(xí)約束的數(shù)據(jù)驅(qū)動(dòng)方法也在收集訓(xùn)練數(shù)據(jù)時(shí)面臨挑戰(zhàn)，因?yàn)榧s束的數(shù)量在物體和任務(wù)方面呈組合增長(zhǎng)。
李飛飛團(tuán)隊(duì)提出了一種名為關(guān)系關(guān)鍵點(diǎn)約束（ReKep）的方法，用于機(jī)器人操作。
ReKep 將操作任務(wù)編碼為約束，連接機(jī)器人與其環(huán)境，而無(wú)需手動(dòng)標(biāo)注。該方法利用Python函數(shù)將一組語(yǔ)義上有意義的三維關(guān)鍵點(diǎn)映射為數(shù)值成本，從而能夠表示復(fù)雜的空間和時(shí)間關(guān)系。
該框架旨在通過(guò)大型視覺(jué)模型和視覺(jué)-語(yǔ)言模型自動(dòng)生成約束，實(shí)現(xiàn)從自然語(yǔ)言指令和RGB-D觀測(cè)中高效地指定任務(wù)。
他們還提出了一種算法實(shí)例，可以實(shí)時(shí)高效地解決優(yōu)化問(wèn)題。
實(shí)驗(yàn)涉及多個(gè)任務(wù)，包括倒茶、回收罐、整理書(shū)籍、打包盒子、折疊衣物、裝鞋盒和協(xié)作折疊等。這些任務(wù)被設(shè)計(jì)來(lái)測(cè)試系統(tǒng)在不同方面的性能，如空間和時(shí)間依賴(lài)性、對(duì)環(huán)境的適應(yīng)性、雙手協(xié)調(diào)和與人類(lèi)的互動(dòng)。
輪式單臂平臺(tái)和固定式雙臂平臺(tái)的成功率
兩個(gè)機(jī)器人平臺(tái)在外部干擾下的成功率
ReKep 用于折疊不同類(lèi)別服裝的新型雙臂策略及其成功率
實(shí)驗(yàn)結(jié)果顯示，ReKep在多種任務(wù)上的成功率較高，證明了其在自動(dòng)化操控任務(wù)中的潛力。成功率根據(jù)任務(wù)的不同而有所差異，但總體上表現(xiàn)良好。
首先，他們定義了單個(gè)ReKep實(shí)例，并且假設(shè)已經(jīng)指定了一組 ? 個(gè)關(guān)鍵點(diǎn)。每個(gè)關(guān)鍵點(diǎn) ??∈?3 指的是場(chǎng)景表面上的一個(gè) 3D 點(diǎn)，其坐標(biāo)依賴(lài)于任務(wù)語(yǔ)義和環(huán)境（例如，手柄上的抓取點(diǎn)，壺嘴）。
本質(zhì)上來(lái)說(shuō)，一個(gè) ReKep 實(shí)例編碼了關(guān)鍵點(diǎn)之間的一個(gè)期望的空間關(guān)系，這些關(guān)系可能屬于機(jī)器人手臂、物體部分或其他代理。
然而，一個(gè)操作任務(wù)通常涉及多個(gè)空間關(guān)系，并且可能具有多個(gè)時(shí)間上依賴(lài)的階段，每個(gè)階段都涉及不同的空間關(guān)系。為此，他們將任務(wù)分解為 ? 個(gè)階段，并為每個(gè)階段 ?∈{1,…,?} 使用 ReKep 來(lái)指定兩類(lèi)約束：
子目標(biāo)約束
路徑約束
其中 ?sub-goal (?) 編碼階段 ? 結(jié)束時(shí)需要達(dá)到的關(guān)鍵點(diǎn)關(guān)系，而 ?path (?) 編碼階段 ? 內(nèi)部需要滿(mǎn)足的關(guān)鍵點(diǎn)關(guān)系。
如下圖所示的傾倒任務(wù)由三個(gè)階段組成：抓取、對(duì)齊和傾倒。
階段 1 的子目標(biāo)約束拉動(dòng)末端執(zhí)行器向茶壺手柄靠近。階段 2 的子目標(biāo)約束指定壺嘴需要位于杯口上方，階段 2 的路徑約束確保茶壺直立，以避免傾倒時(shí)溢出。最后，階段 3 的子目標(biāo)約束指定傾倒角度。
他們將末端執(zhí)行器姿態(tài)表示為 e∈ SE（3），將操控任務(wù)表述為一個(gè)優(yōu)化問(wèn)題，目標(biāo)是找到一系列滿(mǎn)足ReKep約束的末端執(zhí)行器（end-effector）姿態(tài)，并將控制問(wèn)題表述如下：
對(duì)于每個(gè)階段，優(yōu)化算法需要找到滿(mǎn)足子目標(biāo)約束的末端執(zhí)行器姿態(tài)，以及實(shí)現(xiàn)這些子目標(biāo)的路徑。
為了實(shí)時(shí)求解優(yōu)化問(wèn)題，他們采用了分解方法，僅優(yōu)化下一個(gè)子目標(biāo)及其對(duì)應(yīng)的路徑。
子目標(biāo)問(wèn)題：首先解決子目標(biāo)問(wèn)題，確定當(dāng)前階段的末端執(zhí)行器目標(biāo)姿態(tài)。
路徑問(wèn)題：在獲得子目標(biāo)姿態(tài)后，解決路徑問(wèn)題，規(guī)劃從當(dāng)前姿態(tài)到子目標(biāo)姿態(tài)的軌跡。
回溯：如果發(fā)現(xiàn)任何子目標(biāo)約束不再滿(mǎn)足，系統(tǒng)可以回溯到之前的階段進(jìn)行重新規(guī)劃。
為了使系統(tǒng)能夠在給定自由形式任務(wù)指令的情況下執(zhí)行野外任務(wù)，他們?cè)O(shè)計(jì)了一個(gè)使用大型視覺(jué)模型和視覺(jué)語(yǔ)言模型進(jìn)行關(guān)鍵點(diǎn)提議和ReKep生成的管道，并分成了兩個(gè)部分：
使用大型視覺(jué)模型（LVM），如DINOv2，來(lái)提取場(chǎng)景中的特征，并利用這些特征來(lái)識(shí)別潛在的關(guān)鍵點(diǎn)。這些關(guān)鍵點(diǎn)通常是場(chǎng)景中具有語(yǔ)義意義的3D點(diǎn)，例如物體的邊緣、角落或特定物體部分的中心。
結(jié)合關(guān)鍵點(diǎn)和任務(wù)指令，使用視覺(jué)-語(yǔ)言模型（VLM）來(lái)生成ReKep，這些約束將用于指導(dǎo)機(jī)器人的動(dòng)作規(guī)劃和執(zhí)行。這一步驟利用了視覺(jué)模型對(duì)場(chǎng)景的理解以及語(yǔ)言模型對(duì)指令的解釋能力。
李飛飛博士是斯坦福大學(xué)計(jì)算機(jī)科學(xué)系首任紅杉教授，也是斯坦福以人為本的人工智能研究所的聯(lián)席主任，曾擔(dān)任擔(dān)任谷歌副總裁和首席科學(xué)家，在多家上市公司或私營(yíng)公司擔(dān)任董事會(huì)成員或顧問(wèn)。
李飛飛主導(dǎo)的斯坦福AI實(shí)驗(yàn)室、斯坦福視覺(jué)與學(xué)習(xí)實(shí)驗(yàn)室(SVL)和斯坦福以人為本人工智能研究院涌現(xiàn)出大量?jī)?yōu)秀人才，包括 OpenAI 聯(lián)合創(chuàng)始人 Andrej Karpathy、國(guó)內(nèi)內(nèi)第一個(gè)堅(jiān)探索具身智能的盧策吾、前Google AI中國(guó)中心總裁李佳、前阿里自動(dòng)駕駛掌舵人王剛等。
她目前的研究興趣包括認(rèn)知啟發(fā)式人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、機(jī)器人學(xué)習(xí)和人工智能+醫(yī)療，尤其是用于醫(yī)療保健的環(huán)境智能系統(tǒng)。
Wenlong Huang 是斯坦福大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)的博士生，由李飛飛指導(dǎo)，也是斯坦福視覺(jué)與學(xué)習(xí)實(shí)驗(yàn)室 （SVL）的成員。他于 2018 年獲得加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)學(xué)士學(xué)位，指導(dǎo)老師是 Deepak Pathak、Igor Mordatch 和 Pieter Abbeel。
他的研究目標(biāo)是賦予機(jī)器人廣泛的泛化能力，使其能夠執(zhí)行開(kāi)放世界操控任務(wù)，尤其是在家庭環(huán)境中。研究興趣包括：
開(kāi)發(fā)能夠充分利用互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)或基于這些數(shù)據(jù)進(jìn)行訓(xùn)練的模型的抽象概念
開(kāi)發(fā)能夠表現(xiàn)出廣泛泛化行為的運(yùn)動(dòng)技能
Chen Wang是斯坦福計(jì)算機(jī)科學(xué)學(xué)院的博士生，導(dǎo)師是李飛飛和 C. Karen Liu。他本科就讀于上海交通大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)，是第一批加入盧策吾團(tuán)隊(duì)研究機(jī)器人具身智能的學(xué)生之一。
他的研究目標(biāo)是制造出具有與人類(lèi)一樣的靈活性和處理日常任務(wù)能力的機(jī)器人，因此專(zhuān)注于機(jī)器人學(xué)習(xí)，以實(shí)現(xiàn)靈巧操作、模仿人類(lèi)動(dòng)作以及長(zhǎng)期規(guī)劃和控制。
Yunzhu Li現(xiàn)在是哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)助理教授，曾是斯坦福視覺(jué)與學(xué)習(xí)實(shí)驗(yàn)室 (SVL）的博士后，與李飛飛、Jiajun Wu 一起工作。北京大學(xué)本科畢業(yè)后，他在麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）獲得博士學(xué)位，導(dǎo)師是 Antonio Torralba 和 Russ Tedrake。
目前他在機(jī)器人感知、交互和學(xué)習(xí)實(shí)驗(yàn)室（RoboPIL）進(jìn)行機(jī)器人技術(shù)、計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的交叉研究，專(zhuān)注于機(jī)器人學(xué)習(xí)，特別是直觀物理學(xué)、具身智能、多模式感知三個(gè)方向，旨在顯著擴(kuò)展機(jī)器人的感知和物理交互能力。
Ruohan Zhang是斯坦福視覺(jué)與學(xué)習(xí)實(shí)驗(yàn)室 (SVL)的研究員，和李飛飛、Jiajun Wu、Silvio Savarese 一起工作。他曾在在德克薩斯大學(xué)奧斯汀分校獲得博士學(xué)位，指導(dǎo)教授是 Dana Ballard 和 Mary Hayhoe。
他的長(zhǎng)期研究興趣是以人為本的人工智能：理解人類(lèi)智能以開(kāi)發(fā)受生物啟發(fā)的人工智能算法，以及使人工智能與人類(lèi)更加兼容。最近專(zhuān)注于以人為本的機(jī)器人技術(shù)：通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方法開(kāi)發(fā)可增強(qiáng)人類(lèi)福祉的機(jī)器人解決方案（系統(tǒng)和算法）。雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
