<mark id="oztn4"></mark>
0
來源： 騰訊新聞/新智元
原文鏈接： https://new.qq.com/rain/a/20260707A04GJR00
【新智元導讀】VLA大模型看似強大，卻被一個致命弱點扼住喉嚨——相機稍微挪動幾毫米，操作成功率就能暴跌一半。招商局先進技術研究院下屬實驗室提出新的移動數(shù)據(jù)范式，首次在真實機器人系統(tǒng)上證明：讓相機動起來采集數(shù)據(jù)，就能以極低成本破解 VLA 的空間泛化瓶頸，且效果普適于多種主流架構。
近年來，VLA 模型已成為機器人操作領域最火熱的研究方向。
無論是英偉達的 Gr00t 系列、Physical Intelligence 的 π 系列等模型都展現(xiàn)出了流暢準確的動作乃至復雜操作能力。
但有一個讓所有從業(yè)者頭疼的問題：這些模型極其「脆弱」。
當你把訓練好的機器人從實驗室 A 搬到實驗室 B，甚至只是不小心碰了一下相機——畫面里桌子的相對位置變了幾個像素——模型的表現(xiàn)就可能瞬間崩潰。
這不是個別現(xiàn)象。
國內外多個團隊的研究（斯坦福-谷歌聯(lián)合研究項目 Genralization-Gap、同濟-復旦等機構聯(lián)合研究項目 LIBERO-Plus 等）已經得出一致結論：VLA 模型在標準評測中動輒 90%+ 的成功率，在相機視角輕微變化后可能直接跌落到 30% 以下。
為什么？
招商局先進技術研究院下屬獅子山人工智能實驗室研究團隊（以下簡稱「研究團隊」）在新論文中給出了精準診斷與解決方案：問題的根源是捷徑學習（Shortcut Learning），而解決方案是混合動態(tài)數(shù)據(jù)采集策略（Hybrid Dynamic Data Collection）。
該論文已被 IROS 2026 接收。
論文地址：arxiv.org/abs/2607.02322
項目地址：
306327680.github.io/LionRockMultiViewPaperWeb
三重「隱性耦合」：
VLA 不是在學空間關系，而是在背相對位置
研究團隊識別出 VLA 模型普遍存在的三種捷徑學習模式，這些模式本質上都是不同物體（Object）之間的相對位姿關系：
耦合一：相機-基座耦合（Camera-Base Coupling）
模型并沒有真正學會「桌面上筆在哪里」，而是記住了例如「P 筆在畫面右下角 1/4 處」的某些固定規(guī)律。
一旦相機位置變了，畫面中的相對坐標全變了，模型立刻「失憶」。
這是所有從業(yè)者遇到的最普遍的問題：只要相機視角與訓練數(shù)據(jù)集中的視角不同，任務成功率可以直接暴跌一半（從 85% 降低至 43%）。
耦合二：相機-物體耦合（Camera-Object Coupling）
模型依賴特定角度來識別物體。從不同角度看到的同一個物體，對模型來說可能是「兩個完全不同的東西」。
耦合三：物體-位置耦合（Object-Position Coupling）
這是最隱蔽的一種——即使你用了多視角數(shù)據(jù)，如果筆和筆筒的相對位置始終固定，比如總是筆筒在筆的正右方 10cm，模型就會學到「往右邊 10cm 的地方放」這個捷徑，而非真正理解「放進筆筒」的語義。
以第三種耦合為例，研究團隊設計了如下實驗：針對「抓起筆放入筆筒」VLA 任務，在數(shù)據(jù)采集時故意保持筆筒在桌面上的位置固定不變。
訓練后測試發(fā)現(xiàn)，當筆筒處于該固定位置時，執(zhí)行任務成功率 95%；
僅將筆筒平移一個直徑的距離，成功率就從 95% 暴跌到 72%。
這說明模型根本沒有真正理解「把筆插進筆筒」，只是重復執(zhí)行「往那個固定坐標移動」的操作。
這是 VLA 的致命軟肋：你以為它「看懂了」，其實它只是「記住了」。
「運動之眼」
一個以移動視角數(shù)據(jù)為核心的新數(shù)據(jù)范式
既然問題出在數(shù)據(jù)中的虛假相關性上，那就從數(shù)據(jù)入手——讓相機獲得各種視角的 VLA 數(shù)據(jù)，在不斷的嘗試與總結中，研究團隊提出了層次化數(shù)據(jù)解耦策略（Hierarchical Data Decoupling），將數(shù)據(jù)采集分為三種相機配置：固定視角（Fixed View）、多固定視角（Multi-Fixed）與移動視角（Moving View）。
三種視角特征對比
為什么移動視角有效？
研究團隊認為，移動視角相對于多固定視角的核心優(yōu)勢在于它在同等數(shù)據(jù)量下提供了更稠密、近似均勻的多視角采樣。
當相機沿連續(xù)軌跡運動時，移動視角通過提供連續(xù)的視角變化，徹底打碎了三種耦合關系。
當相機在每一集數(shù)據(jù)中都沿著不同軌跡運動時，畫面中的背景、物體觀察角度、相對位置在幀與幀之間持續(xù)變化——模型再也無法依賴任何固定的視覺規(guī)律來「作弊」，只能老老實實學習真正的空間幾何關系。
三種數(shù)據(jù)采集視角范圍示意圖
研究團隊在真實機器人平臺上實現(xiàn)了這一范式。
系統(tǒng)由兩條機械臂協(xié)同工作：So-101 操作臂負責執(zhí)行抓取任務并配備腕部相機采集操作視角，求之（Airbot）機械臂則搭載環(huán)境相機，在進行移動數(shù)據(jù)采集時充當 6 自由度「運動之眼」，以 0.05m/s 線速度沿軌跡連續(xù)運動（平均視角角速度 0.198 rad/s），從不斷變化的角度觀察操作過程。
所有數(shù)據(jù)以 30FPS 連續(xù) MP4 視頻格式錄制，通過開源 LeRobot 數(shù)據(jù)采集管線完成采集。
雙臂系統(tǒng)與六自由度多離散固定視角示意圖
混合動態(tài)數(shù)據(jù)采集策略：
結合利用多種數(shù)據(jù)優(yōu)勢特點
研究團隊經初步實驗發(fā)現(xiàn)，如果單獨使用移動視角數(shù)據(jù)會帶來新的問題：
視覺輸入方差過大，策略難以收斂（Gr00t 模型純移動視角數(shù)據(jù)成功率僅 54.8%）；
另一方面純多固定視角數(shù)據(jù)收斂性好（成功率 80.5%），而且也能提供一定的數(shù)據(jù)多樣性。
于是最終解決方案是將多固定視角數(shù)據(jù)與移動視角數(shù)據(jù)按比例 1:k 混合，形成互補：
通過系統(tǒng)搜索，團隊發(fā)現(xiàn)了在 Gr00t 模型上的最優(yōu)配比（k = 3）取得了 89.0% 的最佳表現(xiàn)。
不同模型的最優(yōu)比例有所差異，但是大多是以多固定視角數(shù)據(jù)為主，結合部分移動視角數(shù)據(jù)組成混合數(shù)據(jù)集。
混合視角數(shù)據(jù)主要解決相機位姿相關的耦合問題，針對其他耦合，研究團隊還同時在數(shù)據(jù)采集中系統(tǒng)性地注入多維度多樣性，確保任何兩個物體的相對位姿無固定關系，從根本上消除了模型可以利用的虛假相關性。
「運動之眼」混合動態(tài)數(shù)據(jù)采集策略的
跨架構與跨任務普適性
研究團隊將混合數(shù)據(jù)方案應用于 ACT、Diffusion Policy、π0 等主流 VLA 模型，發(fā)現(xiàn)所有架構都受益——各類模型綜合性能最高提升 26.8%。
這證明空間泛化脆弱性和捷徑學習是 VLA 的普遍特征，不是某個模型的個別缺陷，而混合數(shù)據(jù)方案是通用解法。
更令人興奮的是，這項實驗揭示了一種全新的能力組合方式：空間感知能力可以跨任務「借用」！
想象這樣一個場景：你希望機器人能從任意角度抓取桌上的多個物體，但為每個物體都采集多視角數(shù)據(jù)成本太高。
本文的方法給出了一個巧妙的解法——只需要為一個「代表任務」（抓放筆）采集多視角混合數(shù)據(jù)，就能把這種空間感知能力「移植」到其他任務上。
具體而言，團隊將常規(guī)的固定視角多物體抓取數(shù)據(jù)與等量的多視角采集的抓放筆數(shù)據(jù)混合訓練，實驗結果令人驚喜：僅用固定視角數(shù)據(jù)的基線模型成功率只有 43%，而注入等量多視角筆任務數(shù)據(jù)后，成功率直接躍升至 83%——相當于用一半的數(shù)據(jù)就達到了原本需要全量采集才能達到的效果。
這個發(fā)現(xiàn)意味著：模型從筆任務中學到的「如何理解不同視角下的空間關系」，被泛化到了從未見過的多物體抓取場景中。空間感知能力不再綁定于某個具體任務，而是成為一種可遷移的通用「視覺素養(yǎng)」。
總結與應用展望
「運動之眼」混合數(shù)據(jù)采集范式的核心貢獻，可以歸納為三點：
一、問題診斷。
研究團隊首次系統(tǒng)性地揭示了 VLA 模型普遍存在的三重隱性耦合。
正是這些被忽視的虛假相關性，導致了模型在新環(huán)境下的災難性退化。
二、優(yōu)雅解法。
只需讓一臺環(huán)境相機運動起來，配合最優(yōu)比例的數(shù)據(jù)混合策略，就能在不修改任何模型結構的前提下，大幅提升空間泛化能力。
這一方法已在 ACT、Diffusion Policy、Pi0、Gr00t 等主流架構上得到驗證，證明了其普適性。
三、能力遷移。
空間感知能力不是某個任務的專屬屬性，而是一種可以從簡單任務「借用」到復雜任務的通用視覺素養(yǎng)。這為實際部署中降低數(shù)據(jù)采集成本開辟了一條全新路徑。
當前工作聚焦于桌面級操作任務，但這一范式的想象空間遠不止于此：
在家庭服務場景中，未來的家政機器人需要在不同家庭、不同光照、不同家具布局下完成抓取和整理。「運動之眼」范式讓機器人無需在每個家庭重新采集數(shù)據(jù)，就能具備對新環(huán)境的適應能力。
在工業(yè)精密裝配中，產線上的相機位置不可能每次都完美校準?；旌蠑?shù)據(jù)采集策略可以讓裝配機器人容忍相機安裝的微小偏差，降低部署精度要求。
在智能倉儲分揀中，貨物形態(tài)千變萬化，傳統(tǒng)方法需要為每種物品單獨采集海量數(shù)據(jù)。借助跨任務遷移能力，只需為少量代表物品采集多視角數(shù)據(jù)，就能將空間感知能力快速遷移到新品類上。
隨著主動視角規(guī)劃、自動化數(shù)據(jù)標注與模型訓練管線的深度融合，「運動之眼」有望從實驗室走向真實世界，為產業(yè)應用級 VLA 數(shù)據(jù)采集提供新范式——讓機器人真正擺脫固定視角的束縛，實現(xiàn)類人化的三維空間感知，加速通用機器人走進現(xiàn)實世界。
招商局先進技術研究院下屬獅子山人工智能實驗室：
讓機器人真正適配現(xiàn)實
事實上，此次 IROS 2026 頂會論文收錄，并非今年獅子山人工智能實驗室的首次重磅突破。
今年 6 月初，實驗室就在 ICRA 2026 官方 LeHome Challenge 機器人柔性衣物折疊賽事中斬獲全球冠軍，在全球頂尖高校與企業(yè)實驗室的激烈角逐中脫穎而出。
IROS 與 ICRA 并稱全球機器人領域兩大旗艦頂會，短期內接連在兩大會議拿出重磅成果，充分印證了該團隊在具身智能領域的頂尖研發(fā)實力。
作為 VLA 視覺泛化與感知魯棒性領域的原創(chuàng)技術突破，「運動之眼」范式與該團隊此前奪冠的柔性操作技術將形成能力互補，構建起更完善的機器人操作技術體系。
該成果可廣泛適配家庭柔性物品整理、工業(yè)精密裝配、微小零件插接、智能倉儲分揀等多元實景場景，適配真實環(huán)境動態(tài)、未知、多變的作業(yè)特性。
未來，隨著主動視角采集、自動化數(shù)據(jù)標注與模型訓練技術的深度融合，智能機器人將擺脫固定視角的技術束縛，真正實現(xiàn)類人化的三維空間感知與環(huán)境自適應能力，在家庭服務、工業(yè)智造等實景場景中完成更穩(wěn)定、更可靠的自主操作，加速通用機器人產業(yè)化落地進程，讓機器人真正「適配」現(xiàn)實，走進大眾生活。
關于 IROS 2026
IROS 全稱 IEEE/RSJ 國際智能機器人與系統(tǒng)會議，由 IEEE 機器人與自動化學會（RAS）與日本機器人學會（RSJ）聯(lián)合創(chuàng)辦，自 1988 年舉辦至今，已經成為國際公認的智能機器人、具身智能、視覺操作等方向最高學術平臺。
會議采用嚴苛的雙盲評審機制，不僅要求成果具備原創(chuàng)理論創(chuàng)新，更需通過真機實物驗證，僅有同時滿足完整系統(tǒng)設計、海量真實機器人實驗、可復現(xiàn)量化指標的研究才能被收錄，入選門檻極高。
盡管每年都能收到來各國頂尖團隊的數(shù)千篇投稿，但數(shù)據(jù)顯示，IROS 近年整體錄用率約 45%。
2026 年投稿量創(chuàng)下歷史新高，但最終錄用率僅 36%，為近 15 年最低，競爭激烈程度堪稱歷年之最。
