RSS 2026 | 別再讓機器人看錯重點，GuidedVLA給動作解碼器裝上可控可解釋的注意力專家

來源：公眾號“機器之心”

原文鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651038804&idx=3&sn=83dbed4ed25f6197c61d69a07f72ad88&chksm=852c7c866eef05b24566c7111b022e9cf26b3480d465aeb0c9dd73cfe627918ca23e6683a515#rd

具身智能要想真正走進(jìn)復(fù)雜真實場景，VLA（Vision-Language-Action，視覺 - 語言 - 動作）模型只會「看圖聽話再出動作」還不夠。更關(guān)鍵的問題是：當(dāng)機器人伸手之前，它到底看向了哪里？

如果模型真的盯住了目標(biāo)物，理解了當(dāng)前操作階段，也掌握了空間幾何，動作自然更穩(wěn)。但在很多端到端訓(xùn)練的 VLA 中，動作解碼器仍然像一個黑箱。它可能在關(guān)注杯子，也可能在關(guān)注背景紋理、相機偽影、光照變化，甚至只是記住了訓(xùn)練場景里的擺放習(xí)慣。

一換場景，就容易「看錯重點」。

針對這一問題，復(fù)旦大學(xué)可信具身智能研究院、上海交通大學(xué)、香港大學(xué) OpenDriveLab 等機構(gòu)提出了 GuidedVLA。它的核心思路非常直接：不要再讓動作解碼器自己在黑箱里「悟」該看什么，而是顯式指定不同 attention head 的職責(zé)，讓它們分別學(xué)習(xí)物體定位、空間幾何和任務(wù)階段。

說白了，GuidedVLA 給 VLA 的動作解碼器寫了一張「注意力分工表」。

這讓機器人動作生成不只是更強，也變得更可控、更可解釋：哪個頭看物體，哪個頭看深度，哪個頭判斷任務(wù)走到哪一步，都有明確分工。

目前，該工作已被 RSS 2026 接收，代碼、模型和數(shù)據(jù)集均已開源。

• 論文標(biāo)題：GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization

• 論文鏈接：https://arxiv.org/abs/2605.12369

• 項目主頁：https://guidedvla.github.io/project_page/

GuidedVLA 真機與仿真演示：研究團(tuán)隊把可控、可解釋的注意力頭專門化機制接入 π0 基座，在多類操作任務(wù)中驗證了其泛化能力。

01 機器人失敗時，它到底看錯了什么？

當(dāng)前 VLA 模型的主流路線，是把動作作為一種特殊模態(tài)接入視覺語言模型。模型接收圖像觀測和語言指令，再輸出機器人動作。

這條路線很強，也足夠簡潔。

但它有一個隱含前提：動作解碼器能夠自動學(xué)會哪些視覺和語言特征與任務(wù)真正相關(guān)。

現(xiàn)實并不總是這樣。

論文觀察到，在缺少顯式引導(dǎo)時，VLA 的 action decoder 容易過擬合偽相關(guān)（spurious correlations）。比如背景紋理、偶然的相機偽影、環(huán)境噪聲，都可能被模型當(dāng)成決策線索。某些 cross-attention head 偶爾會看向正確區(qū)域，但這種行為高度隨機，會隨著場景和 head 改變。

這就像一個學(xué)生做題時，偶爾能抓住關(guān)鍵詞，但并沒有形成穩(wěn)定的方法論。

研究團(tuán)隊在 LIBERO-Plus layout 擾動設(shè)定下量化了這一問題。π0 基線的物體注意力正確率僅為 26.5%；技能識別方面，linear probe 準(zhǔn)確率也只有 48.4%。

這組數(shù)字說明，VLA 的大腦里不缺視覺語言知識，真正不穩(wěn)定的是動作解碼這最后一環(huán)。

GuidedVLA 的科研問題也由此展開：如果動作解碼器總是在隱式學(xué)習(xí)，能不能直接告訴它該看什么？

02 給動作解碼器一張「注意力分工表」

GuidedVLA 的核心洞見，是把 action decoder 從一個「單體黑箱」拆成一組功能專家。

Transformer 的多頭注意力天然包含多個 attention head。過去，這些 head 的功能大多由端到端訓(xùn)練自己形成，研究者很難控制它們具體學(xué)到什么。GuidedVLA 則反過來做：人為指定部分 head 的任務(wù)，用不同輔助信號監(jiān)督它們捕捉不同的任務(wù)相關(guān)因子。

這套分工主要包含三類注意力專家。

Object Head：負(fù)責(zé)看對目標(biāo)物。

它監(jiān)督注意力圖集中到任務(wù)相關(guān)物體區(qū)域，比如要抓的物體、要放的位置，同時抑制干擾物和背景區(qū)域。對于雜亂桌面、小目標(biāo)或透明物體，這一步尤其關(guān)鍵。機器人很多時候不是不會抓，而是從第一眼就沒有穩(wěn)定地看對目標(biāo)。

Skill Head：負(fù)責(zé)知道現(xiàn)在做到哪一步。

很多機器人任務(wù)不是單步操作，而是長程序列。比如先抓取、再移動、再放置；先掃垃圾、再倒入托盤。如果模型不清楚當(dāng)前處在哪個階段，就可能提前跳步，或者在最后一步突然失敗。Skill Head 通過技能階段監(jiān)督，讓動作解碼器顯式感知任務(wù)進(jìn)度。

Depth Head：負(fù)責(zé)看懂 3D 幾何。

有些失敗并不是語義錯了，而是幾何不準(zhǔn)。按鈴、插入、套疊、對齊高度，都需要更可靠的空間信息。Depth Head 不通過額外 loss 監(jiān)督，而是結(jié)構(gòu)性地接入凍結(jié)深度編碼器的特征，讓特定 head 只 attend 到深度 keys/values 上，從而補上標(biāo)準(zhǔn) 2D 視覺編碼器缺少的幾何感。

三類 head 對應(yīng)機器人操作中的三個基礎(chǔ)問題：

• 目標(biāo)是誰？

• 當(dāng)前該做哪一步？

• 空間位置準(zhǔn)不準(zhǔn)？

這正是 GuidedVLA 可解釋性的來源：把動作決策拆成了可以指定、可以觀察、可以驗證的注意力分工。

03 為什么它能即插即用？

直接改造一個已經(jīng)預(yù)訓(xùn)練好的 VLA，很容易帶來另一個問題：新監(jiān)督還沒學(xué)好，原來的能力先被破壞了。

GuidedVLA 借鑒了 ControlNet 式殘差適配器來避免這一點。它保留原始主干注意力分支，同時新增一個 factor-specific 的控制分支。這個控制分支通過 zero-initialized projection 再與主分支融合。

由于 ZeroConv 在訓(xùn)練開始時初始化為 0，控制分支一開始不會干擾原模型行為；隨著訓(xùn)練推進(jìn)，它再逐步把 object、skill、depth 等任務(wù)相關(guān)偏置注入動作解碼器。

換句話說，它不是推倒重訓(xùn)，而是在 π0 這樣的基座模型上加一個可插拔控制層。

先保住原來的能力，再把該看的重點加進(jìn)去。

為了讓這套機制可擴展，團(tuán)隊還設(shè)計了自動因子標(biāo)注流水線。物體掩碼由 Qwen3-VL 給出前景點提示，再用 SAM2 在視頻段中傳播掩碼，最后進(jìn)行人工核驗；技能標(biāo)簽由 Qwen3-VL 按預(yù)定義技能表生成階段標(biāo)簽，并轉(zhuǎn)換為軟目標(biāo)；深度頭則直接使用凍結(jié)深度編碼器特征，不需要人工深度標(biāo)注。

效率提升也很明顯：92% 的 episode 無需人工修正。標(biāo)注 50 個 episode 時，自動流水線約需 4 分鐘，純?nèi)斯t約需 43.5 分鐘。

也就是說，GuidedVLA 并不是用高昂人工成本換來可解釋性，而是把「顯式引導(dǎo)」做成了一套可以規(guī)?；挠?xùn)練接口。

04 GuidedVLA 在泛化測試上真的能看對重點，提升穩(wěn)定性嗎？

GuidedVLA 真正要證明的是：這種可控、可解釋的分工，能否在分布偏移和真實機器人上帶來穩(wěn)定收益。

首先是 LIBERO-Plus。這個基準(zhǔn)專門評估機器人策略在分布偏移下的魯棒性，包含相機視角、機器人初態(tài)、語言變化、光照、背景、噪聲和布局 7 類擾動。

在總分上，π0 為 68.2，加入 object head 后達(dá)到 73.4，加入 skill head 后為 72.5，加入 depth head 后為 71.7。三類 head 全部加入后，GuidedVLA 達(dá)到 75.4，超過 DreamVLA 的 69.9、OpenVLA-OFT 的 69.6、RIPT-VLA 的 68.4 等對比方法。

LIBERO-Plus 結(jié)果表：GuidedVLA 在 7 類擾動維度和 4 類任務(wù)上整體表現(xiàn)更強，三類注意力專家疊加后平均成功率達(dá)到 75.4。

更有意思的是，不同 head 的優(yōu)勢和它們的職責(zé)高度吻合：object head 在 Object 套件上單頭最強，skill head 在 Goal 套件上單頭最強，depth head 在 Spatial 套件上單頭最強。

這證明了三類注意力專家真的在各自擅長的問題上發(fā)揮作用。

RoboTwin 2.0 結(jié)果：GuidedVLA 在 8 個隨機化、未見設(shè)定的操作任務(wù)中，將 π0 平均成功率從 77.38% 提升到 90.63%。

在 RoboTwin 2.0 上，這種分工也非常直觀。Click Bell 需要精確控制 Z 軸，depth head 將成功率從 35% 提升到 63%；Beat Hammer Block 需要高度對齊，成功率從 78% 提升到 96%；Lift Pot 涉及嚴(yán)格的抓取、穩(wěn)定、抬起序列，skill head 取得單頭最佳結(jié)果。

一個負(fù)責(zé)看準(zhǔn)，一個負(fù)責(zé)排步驟，一個負(fù)責(zé)補幾何。

這就是「注意力專家」的價值。

05 到真機上，還能扛住干擾物和光照變化嗎？

真實機器人實驗覆蓋兩個雙臂平臺：ALOHA AgileX 和 PSI-Bot RealMan。前者包括水果蔬菜分揀、疊碗放架、清潔桌面等家庭任務(wù)；后者包括燒杯放入加熱套、套疊燒杯、將燒杯放上加熱裝置等實驗室操作任務(wù)。

每個任務(wù)和模型進(jìn)行 20 次試驗。團(tuán)隊設(shè)置了三類泛化條件：物體位置變化的 In-Domain 設(shè)定、加入干擾物和雜亂場景的 Scene 設(shè)定，以及光強 / 色溫變化的 Lighting 設(shè)定。

結(jié)果顯示，GuidedVLA 在三類設(shè)定下都穩(wěn)定優(yōu)于 Base Policy：

• In-Domain：從 55.8% 提升到 75.8%；

• Scene：從 44.2% 提升到 67.5%；

• Lighting：從 57.5% 提升到 79.2%。

06 可解釋性驗證：因子質(zhì)量越高成功率越高

因子質(zhì)量與任務(wù)成功率的關(guān)系：Object、Skill、Depth 三類因子質(zhì)量越高，整體成功率越高。

GuidedVLA 進(jìn)一步回答了一個更有趣的問題：這些因子質(zhì)量真的和任務(wù)成功率相關(guān)嗎？

團(tuán)隊沒有只做「有無注意力頭」的二元對比，而是連續(xù)調(diào)節(jié)三類因子質(zhì)量，觀察成功率變化。

Object Head 方面，隨著落在物體區(qū)域內(nèi)的注意力比例從 0.25 增加到 1.0，成功率從 61.3% 提升到 77.4%。這說明動作 token 是否真正看向目標(biāo)物，會直接影響操作表現(xiàn)。

Skill Head 方面，隨著技能識別準(zhǔn)確率提高，成功率從 66.2% 提升到 77.7%。模型越清楚當(dāng)前任務(wù)階段，越不容易在長程任務(wù)中跳步或亂序。

Depth Head 方面，當(dāng)真實深度特征比例從 0 增加到 1.0，成功率從 15.0% 提升到 74.2%。對于精細(xì)操作，明確的 3D 幾何線索是任務(wù)能否成功的關(guān)鍵條件之一。

三類注意力專家的可視化結(jié)果：Object Head 聚焦目標(biāo)區(qū)域，Depth Head 編碼 3D 結(jié)構(gòu)，Skill Head 跟蹤任務(wù)階段變化。

更進(jìn)一步，論文還驗證了「分工」本身的重要性。一個自然想法是：既然 object、skill、depth 都有用，能不能讓所有 head 一起學(xué)習(xí)所有因子？

答案是否定的。

專門化分工優(yōu)于「一鍋燴」式混合訓(xùn)練。在 Spatial、Goal、Long 以及總體分?jǐn)?shù)上，GuidedVLA 都明顯領(lǐng)先 mixture 方案。

當(dāng)所有 head 混合學(xué)習(xí)所有目標(biāo)時，不同因子的特征會糾纏在一起，性能反而下降。t-SNE 可視化顯示，GuidedVLA 中專門化的 object、depth、skill head 形成了更清晰的分簇；而 mixture 方案中，不同 head 的表征明顯重疊。

左：GuidedVLA 的專門化注意力頭形成更清晰的特征分簇；右：Mixture 方案中，不同 head 的表示明顯重疊，因子之間更容易糾纏。

這說明 GuidedVLA 的關(guān)鍵不只是「多加監(jiān)督」，而是「讓不同監(jiān)督進(jìn)入不同專家」。

可控，來自可指定。

可解釋，來自可分工。

總結(jié)

GuidedVLA 最值得關(guān)注的地方，是它把動作解碼器中最黑箱的一部分，變成了可以被人為指定、觀察和驗證的結(jié)構(gòu)。

過去，VLA 輸出一個動作，研究者很難判斷它到底看對了目標(biāo)物、理解了任務(wù)階段，還是只是依賴某個視覺捷徑。GuidedVLA 則把這個過程拆成 object、skill、depth 三類注意力專家，讓動作決策出現(xiàn)了更清晰的內(nèi)部分工。

當(dāng)然，這項工作仍然依賴預(yù)定義因子。如何自動發(fā)現(xiàn)任務(wù)相關(guān)因子，尤其是在連續(xù)任務(wù)中自動發(fā)現(xiàn)技能結(jié)構(gòu)，仍是未來需要進(jìn)一步探索的問題。

但它給出了一條很務(wù)實的路線：讓 VLA 不只是變大，也要變得更可控、更可解釋。

讓每一次操控，都有跡可循。