<mark id="oztn4"></mark>
0
| 本文作者： 陳淑瑜 | 2026-06-30 10:48 | 專題：RSS：機器人，科學與系統會議 |
來源：公眾號“極佳科技GigaAI”
原文鏈接：https://mp.weixin.qq.com/s?__biz=Mzg5OTkwMDM2Mg==&mid=2247488270&idx=1&sn=f21b1eecc01ac13200be5e407dfdf731&chksm=c16536831e796b1bc719128e63cae3d219a59532a69b3adea1ef0159175c217f1852a6bb8f15#rd
R2RGen 通過三項關鍵設計在最低人力代價下解鎖強空間泛化：
其一，將外置 / 腕部等不同相機配置的源演示統一解析到世界坐標系，完成幾何補全的場景解析與 motion / skill 軌跡分段；
其二，提出group-wise backtracking增強策略，把每個技能與一組目標 / 在手物體綁定、按因果順序回溯地施加群體一致變換，從而支持任意數量物體與復雜的空間耦合關系；
其三，引入camera-aware post-processing，通過投影 + Patch-wise Z-buffer + 邊緣填充，使增強后的 3D 觀測嚴格匹配真實 RGB-D 相機的分布。在僅使用1 條人類演示的極端設置下，R2RGen 在 8 個真實世界任務上的平均成功率達到 40.3%，可媲美 25 條人類演示訓練的策略，并完整支持移動操作、跨相機視角部署、雙臂任務與非剛體物體。
論文鏈接：https://arxiv.org/abs/2510.08547
項目主頁：https://r2rgen.github.io
代碼地址：https://github.com/r2rgen/R2RGen
背景
視覺運動策略借助模仿學習，能將視覺觀測直接映射為機器人動作，是當下機器人操作端到端學習的主流范式，但對人類演示數據的需求很高：即便像"把蘋果放到盤子"這樣物體和技能都固定的任務，也常常需要幾十到上百條演示去覆蓋物體的空間分布與機器人本體位姿的變化。移動操作場景進一步放大了數據需求——底盤位置變化會帶來視角變化，讓"采夠數據"變得更不現實。 空間泛化，因此成為機器人數據效率的根本瓶頸。
為緩解人力負擔，MimicGen 系列工作通過在仿真器中合成軌跡來擴展少量真實演示，但仍需要 on-robot rollout 才能拿到真實觀測，受限于 sim-to-real gap 與仿真器搭建成本。最近的 DemoGen 首次把數據生成搬到 3D 點云空間，做到 simulator- and rendering-free，但存在三個核心限制：1.僅支持固定底盤 + 外置相機，無法處理視角變化與腕部相機；2.對輸入假設過強——需要裁剪背景、每個技能只能涉及單一目標物體；3.大幅增強后產生 visual mismatch：該被觀測到的點缺失、該被遮擋的點卻存在。這些限制讓 DemoGen 在真實復雜任務上難以落地。
R2RGen 的目標，就是在移動 + 多相機 + 復雜物體交互的真實場景中，把"一條演示生成大量真實分布數據"做成可用的工程方案。
方法概覽
R2RGen 采用三階段流水線，將源演示從采集時的相機坐標系統一到共享世界坐標系內做增強，再轉換回部署時的相機坐標系：
1. 源演示解析：完整場景 + 結構化軌跡
為避免"裁剪背景 + 單目標"這種強假設，R2RGen 對源演示做完整解析：
場景解析：使用基于模板的 3D 物體跟蹤系統 FoundationPose，從首幀物體掩碼出發，輸出每幀 K 個物體的完整點云——即對 RGB-D 天然缺失的背面也進行幾何補全；環境點云通過手持掃描預先獲得，機器人手臂點云通過 URDF + 關節角度合成。完整幾何是支撐大幅空間增強的前提。
軌跡解析：通過一個輕量標注界面，每條演示不到 60 秒即可完成 skill 起止幀與該技能對應的 target / in-hand 物體 ID 的標注；技能段之間的軌跡自動歸類為 motion 段，便于后續用運動規劃重生成。
2. Group-wise 回溯增強：支持任意物體數量與空間耦合
先前方法是object-centric的：每個技能只能對應一個目標，全段軌跡按該目標的變換做單剛體變換。但像"build a bridge"，先放兩個橋墩、再把橋面蓋上，這類任務要求橋面 object-3 落下時兩個橋墩 object-1、object-2 保持特定相對距離——獨立增強會破壞這種空間耦合。
R2RGen 改成group-wise：每個技能綁定一組物體，即 target 與 in-hand 的并集，組內施加同一個 XY 平移 + Z 軸旋轉變換，從最后一個技能反向回溯到第一個。
每次決定是否能增強當前組前，與已“固定”集合取交集——若非空，則該組鎖定不動，保證已分配的空間約束不被后續步驟破壞；in-hand 物體在被抓之前與當前技能無關，因此可以從固定集合中釋放回可增強狀態。
技能段內部同步變換末端軌跡與目標點云；技能間的 motion 段通過 motion planning 重新規劃；此外，底盤位姿也可被增強——通過 IK 求解器 + URDF 重生成新的手臂點云，從而模擬視角變化。
3. Camera-aware 后處理：讓生成點云匹配真實 RGB-D 分布
WCS 中的增強點云存在兩個偏差：過完整，即每個表面都被填滿，而真實 RGB-D 只能看到正對相機的那一面；以及視角偏移，即底盤增強后投影范圍漂出圖像。R2RGen 用一套 camera-aware 后處理把分布拉回真實傳感器：
Crop：投影到圖像平面并裁掉越界像素；
Patch-wise Z-buffer：在 r 鄰域內僅保留最淺深度的點，有效遮擋背面，針對點云密度不高的真實場景；
Fill：通過裁剪圖像尺寸或擴展環境點云填補由于增強造成的邊緣空洞。
后處理后的點云在分布上與真實 RGB-D 幾乎一致，可直接喂給 3D 策略 iDP3 訓練，完全無需 sim-to-real 適配。
實驗驗證：性能與優勢
1. 單次演示模仿學習
在 8 個代表性真實任務上——2 個簡單、4 個復雜單臂、2 個雙臂——僅用1 條人類演示經 R2RGen 生成數據訓練的 iDP3 策略，平均成功率達到40.3%：
DemoGen 在復雜耦合任務上無法生成合理數據，而 R2RGen 在所有 8 項任務上都顯著超過 DemoGen，且 1 條演示的效果就已與 25 條人類演示訓練持平，在多個困難任務上甚至超過 40 條演示。
2. 跨相機配置：外置?腕部自由切換
在“訓練用外置、部署用腕部”以及“訓練用腕部、部署用腕部”兩種設置下，直接訓測錯配會產生災難性失敗，成功率接近 0。R2RGen 借助世界坐標系與相機坐標系之間的 3D 坐標變換天然消除域差，1 條演示即可拿到28–50%的成功率——印證了“在 3D 空間統一處理觀測與動作”相比“在 2D 圖像空間渲染”在跨視角部署上的根本優勢。
3. 移動操作落地
R2RGen 訓練出的 iDP3 策略可直接與導航系統 Moto 拼接構成完整移動操作流水線，即便底盤停靠點距離誤差超過5cm，策略仍能穩定完成任務。相比之下，DemoGen 依賴精確相機標定與背景裁剪，難以在移動場景中工作。
4. 性能-標注曲線與外觀泛化
隨著生成數據量增加，策略性能逐步飽和，主要受 iDP3 的 PointNet 編碼器容量限制；增加源演示數量會進一步抬升飽和上限，驗證了 R2RGen 的可擴展性。
在 2×2 外觀組合，即 2 種瓶子 × 2 種底座的 Place-Bottle 任務上，傳統 4×10=40 條人類演示僅獲 25.0%， R2RGen 用 4×1=4 條演示就達到43.8%——空間泛化作為基礎能力，可顯著降低同時獲得外觀泛化所需的數據量。
5. 非剛體擴展：與 SAM 3D 結合
借助 SAM 3D 作為統一的 3D 形狀重建模型，替代僅支持剛體的 FoundationPose，R2RGen 可無縫擴展到鉸鏈物體 Store-Box 與可形變物體 Cover-Object 兩類任務，1 條演示分別取得31.3% / 53.1%的成功率，已逼近 40 條人類演示。
總結
R2RGen 走出了一條“少數據、強泛化”的新路徑：不依賴仿真器堆疊、不依賴大模型先驗，而是通過在真實 3D 空間中直接編輯觀測與動作，再以 camera-aware 后處理把數據重新裝回 3D 傳感器的真實分布。它首次讓 real-to-real 數據生成同時支持移動底盤、多相機配置、任意數量物體、復雜物體耦合與非剛體，是面向真實部署的可擴展數據范式。我們期待 R2RGen 為機器人操作的端到端可擴展學習提供一個新的范式起點，歡迎社區基于此進一步探索外觀與任務兩個維度的泛化。
公司核心團隊包括清華、北大、中科院、中科大、WashU、CMU等全球知名院校頂尖研究人員，以及來自微軟、三星、地平線、百度、博世等全球知名企業高管，核心團隊在物理AI方向兼具業內領先的研究能力和大規模的產業落地經驗。
極佳視界是國內第一家布局世界模型的科技公司，以世界模型平臺 GigaWorld、通用具身大腦 GigaBrain、原生本體 Maker 構建閉環生態，致力實現10-100倍以上的數據、訓練、測試全鏈路效率提升，推動通用具身智能機器人、通用自動駕駛等物理AGI大規模爆發。
專題
