<mark id="oztn4"></mark>
0
| 本文作者： 張璐 | 2026-07-15 11:27 | 專題：ICML：國際機器學習會議 |
作者丨張 璐
編輯丨齊鋮湧
一段普通的室內(nèi)視頻，讓以前的AI識別，十樣東西能認錯八樣；現(xiàn)在再看，準確率直接飆升到81.06%。
這種飛躍，沒靠激光雷達，也沒靠人工標注，全憑AI自己開悟。
這是Holi-Spatial在ScanNet++上的實測結(jié)果。該項工作由全華人頂尖團隊打造，論文已入選ICML 2026 Oral
Holi-Spatial與現(xiàn)有方法的核心指標對比。無需人工標注，3D檢測AP50在ScanNet上提升64%。
https://openreview.net/forum?id=UGAP2F6FfV
傳統(tǒng)的3D空間數(shù)據(jù)，獲取成本高得驚人。
硬件上依賴昂貴的激光雷達，標注上更是個體力活——標注員必須在復(fù)雜的3D點云里，人眼識別、手動調(diào)整每一個物體的三維邊界框（Bounding Box）。
工序極其繁瑣，錯標、漏標更是家常便飯。
這是整個行業(yè)卡了十年的硬傷。Holi-Spatial用純軟件管線繞開了這堵墻。
01
長期以來，業(yè)內(nèi)在訓練多模態(tài)大模型（VLM）時，大多是投機取巧。比如以偽深度信息替代真實幾何信息，或者直接在2D圖像上生成“偽3D”的問答對。
這種方法訓練出來的AI，根本無法理解三維空間中的拓撲結(jié)構(gòu)、視角轉(zhuǎn)換和相對距離。所以你問他問題，它只能瞎猜。
想要培養(yǎng)出真正的3D上帝視角，就必須擁有大規(guī)模的3D真值（Ground Truth）數(shù)據(jù)。然而，3D標注的成本高得令人發(fā)指。
1.設(shè)備門檻高：需要利用專業(yè)的三維掃描儀（如iPad Pro的LiDAR或更專業(yè)的工業(yè)掃描儀）在房間里四處走動掃描，光是數(shù)據(jù)采集階段就卡死了大部分普通開發(fā)者。
2.人工標注難：在三維點云（Point Clouds）或網(wǎng)格（Meshes）中拉3D包圍框（Bounding Box），不僅需要標注員在三維軟件里上下左右不斷調(diào)整切面，而且極其容易產(chǎn)生視覺疲勞，漏標、錯標是家常便飯。
3.語義范圍窄：ScanNet數(shù)據(jù)集折騰了幾年，最終也只敢提供50個常見物體的類別標注，一旦遇到冷門物體，AI的識別能力直接生效。
學術(shù)界曾嘗試用現(xiàn)成的“前向傳播算法（Feed-forward Models）”直接預(yù)測物體的三維包圍框。但在沒有幾何約束的前提下，這些模型生成的包圍框往往飄在半空中或者陷進地板里，完全違背了基本的物理定律。
既然人工標注走不通，而單純靠AI算法直接盲猜又不夠準，我們?yōu)槭裁床话堰@兩者的優(yōu)勢結(jié)合起來，用幾何物理規(guī)律去糾正AI的猜測，打造一個完全自動化的數(shù)據(jù)飛輪？
這就是Holi-Spatial的誕生契機。通過組合目前最先進的3D幾何重構(gòu)算法與大語言模型，它成功用純軟件的方式，將海量的2D網(wǎng)頁視頻流（Web Videos），高效且低成本地進化為結(jié)構(gòu)化的3D空間智能數(shù)據(jù)。
Holi-Spatial三階段數(shù)據(jù)精煉管線：幾何優(yōu)化→圖像級感知→場景級精煉，視頻進，3D標注出。
02
Holi-Spatial之所以能做到“零人工干預(yù)”，全憑其設(shè)計精妙的三階段數(shù)據(jù)精煉管線。
▎Stage 1：幾何級優(yōu)化（Geometric Optimization）
在處理視頻時，管線首先利用運動恢復(fù)結(jié)構(gòu)（Structure-from-Motion）計算出相機的精確內(nèi)參和外參。緊接著，算法引入了單目深度估計模型Depth-Anything-V3作為深度先驗。
單目深度估計（DA3）與GS優(yōu)化深度的對比。DA3深度圖存在明顯鬼影，GS優(yōu)化后邊界清晰。
但單目模型估計出的深度往往充斥著噪聲和突變，不同視角之間的深度甚至無法對齊。為了消除這些不確定性，Holi-Spatial在此處引入了三維高斯?jié)姙R（3D Gaussian Splatting, 3DGS）技術(shù)。
算法將前向深度圖與多視角渲染深度進行幾何一致性約束，在連續(xù)的視頻幀中優(yōu)化數(shù)百萬個具有不透明度和顏色特征的“高斯點”。這一步優(yōu)化，幾乎完全消除了邊緣的“虛影”和半空中的飄浮物，為后續(xù)的3D投影打下了堅實的物理地基。
多視角反投影點云對比。左為DA3直出，右為GS優(yōu)化后——漂浮物幾乎消失。
▎Stage 2：圖像級感知與2D-to-3D升維（Image-level Perception & Lifting）
有了干凈的幾何深度后，管線開始進行圖像級的語義感知。
1.幀級圖像描述：算法在視頻中均勻抽取關(guān)鍵幀，利用Gemini3-Pro這類強大的2D多模態(tài)模型對畫面進行細致描述。
2.構(gòu)建動態(tài)類名記憶庫（Dynamic Class-label Memory）：為了防止AI在第1幀把桌子認成“寫字臺”，在第5幀又認成“餐桌”，Holi-Spatial設(shè)計了一個動態(tài)記憶鏈條，強制各幀在類別命名上保持一致。
3.2D分割與3D投影：在類名指引下，2D分割界的新星SAM3生成極高質(zhì)量的實例面具（Mask），然后順著第一階段計算出的幾何深度，將每一個2D像素“反向投影（Back-project）”回3D空間中，生成初始的三維定向包圍框（OBB）。
2D Mask到3D包圍框的四步流程：深度投影→邊緣腐蝕→離群點過濾→OBB估計
在這項將2D面具提升到3D的過程中，SAM3容易產(chǎn)生邊緣鋸齒，進而引發(fā)3D包圍框的嚴重偏差。
為了攻克這一頑疾，Holi-Spatial設(shè)計了一套獨特的“邊緣腐蝕”策略：在投影前，自動將2D面具向內(nèi)收縮若干像素，只保留最置信的核心區(qū)域。同時，結(jié)合多視角生成的點云一致性濾網(wǎng)，徹底過濾掉突兀的離群點， 將3D包圍框的邊緣誤差壓縮到亞像素級別。
開放詞匯2D實例分割對比。Holi-Spatial在遮擋場景下邊界更完整，遠處鏡子等難例也能正確分割。
▎Stage 3：場景級精煉與AI Agent“監(jiān)考制”（Scene-level Refinement）
多視角投影出來的3D包圍框，不可避免地會存在重疊和碎片化（例如一個沙發(fā)因為被部分遮擋，被錯判成了兩個不相連的組件）。
為了解決這個問題，管線首先利用3D交并比（3D IoU）閾值（τmerge=0.2）將空間重疊度高的同類候選框合并。接著，算法祭出了極具新意的三級決策過濾器（Tri-level Decision Rule）：
置信度高于0.9的，直接保留；低于0.8的，直接丟棄。而對于介于兩者之間、模糊不清的，Holi-Spatial會調(diào)用一個由強大多模態(tài)大模型擔任的AI Agent進行人工式的核查。
這個智能體配備了“局部圖像縮放”和“重新分割”工具對細節(jié)進行二次確認，極大拉升了數(shù)據(jù)的準確率與召回率。
場景級精煉的逐步效果。從原始DA3深度到置信度過濾再到Agent召回，精度和召回率同步提升。
最后，確定下來的3D實體會被送進Qwen3-VL-30B中，自動生成對應(yīng)的長文本描述，并基于模板批量合成空間QA問答對。
ScanNet++上3D檢測結(jié)果對比。Holi-Spatial的包圍框更緊，類別標注更準，前三行基線方法漏檢明顯。
其他方法要么缺深度、要么缺 3D Det、要么缺 Grounding，只有 Holi-Spatial 一行全是 ?，優(yōu)勢一目了然。
各方法輸入輸出能力對比。只有Holi-Spatial同時覆蓋深度、
2D分割、3D檢測、Grounding和空間QA五項任務(wù)。
03
Holi-Spatial之所以能引發(fā)如此大的關(guān)注，是因為它同時回應(yīng)了兩個長期懸而未決的行業(yè)判斷。
第一個來自斯坦福大學教授、World Labs聯(lián)合創(chuàng)始人李飛飛。
2025年11月，李飛飛發(fā)表長文《From Words to Worlds: Spatial Intelligence is AI's Next Frontier》，文中明確提出：真正的智能不能只停留在語言層面，AI必須理解并駕馭三維物理世界——感知物體的位置、推理空間關(guān)系、預(yù)測物理交互。
在她看來，空間智能是通往具身智能的必經(jīng)之路，也是當前AI系統(tǒng)普遍缺失的核心能力。
Holi-Spatial正好在數(shù)據(jù)層面回應(yīng)了這個判斷。它證明了AI不需要依賴昂貴的硬件掃描儀，只靠普通的2D視頻輸入，就能自動生成大規(guī)模、高精度的3D空間標注數(shù)據(jù)——這恰恰是空間智能研究長期缺少的原料。
第二個來自Karpathy，Tesla前AI負責人。
在2021年Tesla AI Day上，Karpathy公開談到：人工標注成本極高且難以擴展，Tesla不得不建立一套用車隊數(shù)據(jù)自動生成標注的閉環(huán)機制來代替人工。他的判斷是，自動標注不是權(quán)宜之計，而是AI大規(guī)模擴展的必要條件。
Holi-Spatial的邏輯與這套判斷完全一致。區(qū)別只在于，Tesla解決的是2D駕駛場景的標注瓶頸，Holi-Spatial解決的是3D室內(nèi)空間的標注瓶頸——而后者的難度和價值，要高出一個量級。
04
那么，這套全自動管線提煉出來的數(shù)據(jù)，成色究竟如何？
聯(lián)合團隊在ScanNet++等多個最權(quán)威的3D空間智能基準上進行了嚴苛的量化測試。實驗數(shù)據(jù)呈現(xiàn)出了近乎斷層的領(lǐng)先：
在最核心的3D目標檢測任務(wù)中，此前最先進的3D多模態(tài)模型LLaVA-3D在ScanNet++上的AP25僅為12.2%，AP50僅為4.80%。
而經(jīng)過Holi-Spatial自動管線訓練出來的模型，其AP25飆升到了驚人的 81.06%，AP50達到了 70.05%！在沒有人工標注參與的前提下，其感知精度相比前代技術(shù)暴漲了5倍以上。
不僅如此，在空間推理問答任務(wù)中，利用Holi-Spatial-4M數(shù)據(jù)集微調(diào)后的Qwen3-VL-8B，在MindCube基準上的準確率從29.4%暴漲至49.1%，提升了近20個百分點；在3D Grounding任務(wù)上，AP50也直接實現(xiàn)了翻倍增長。
然而，在這份近乎完美的成績單背后，我們也需要保持客觀冷靜的學界思考。
Holi-Spatial的數(shù)據(jù)生成管線目前建立在一個非常溫和的“靜態(tài)烏托邦”假設(shè)之上——靜態(tài)室內(nèi)環(huán)境（Static Indoor Environment）。
整個管線底層的SfM運動恢復(fù)和3DGS幾何重建，均假定畫面中的沙發(fā)、茶幾、墻面等所有物體在視頻拍攝期間是絕對靜止不動的。這意味著：
1.無法處理動態(tài)畫面：如果輸入的視頻中包含走動的人、奔跑的寵物，或者正在移動的車輛，底層的3DGS就會產(chǎn)生嚴重的“重影（Ghosting）”和半空虛影，導(dǎo)致投影出的3D包圍框徹底變形。
2.算力開銷巨大：由于每個視頻場景都需要從頭訓練一次3DGS（Per-scene Optimization），其算力成本和處理時間極高，目前還無法做到實時、移動端的在軌標注。
但這并不妨礙Holi-Spatial成為空間智能領(lǐng)域的里程碑式工作。隨著4D高斯（4D-GS）以及動態(tài)變形場技術(shù)在學術(shù)界的快速演進，當算法能夠自動將“運動的貓咪”與“靜止的客廳”完美剝離時，Holi-Spatial所描繪的“數(shù)據(jù)飛輪”必將爆發(fā)出更恐怖的能量。
大模型在2D紙上談兵的時代正在終結(jié)，一個能夠真正看懂、聽懂并走入三維物理世界的“具身AI”時代，正在加速向我們走來。
05
在這項入選ICML 2026 Oral的重磅工作背后，是一支充滿活力的年輕科研力量。
為了進一步探尋Holi-Spatial誕生的臺前幕后，以及空間智能的未來演進，雷峰網(wǎng)(公眾號：雷峰網(wǎng))AI科技評論小組與上海交通大學人工智能學院副教授、Holi-Spatial團隊負責人鐘志航展開了一場深度對話。
▎Q：論文提到，目前空間智能嚴重受限于場景單一和數(shù)據(jù)稀缺。為什么這次會想到讓AI和各種工具進行系統(tǒng)性結(jié)合，甚至去挑戰(zhàn)超越人類的自動標注？這個靈感的源頭是什么？
A： 這個靈感并不是憑空出現(xiàn)的，更多是源于我們團隊長期的技術(shù)積累。我們下面有一個Team原本就是專門做3D和4D重建的。可以發(fā)現(xiàn)，這兩年的CVPR Best Paper幾乎都頒給了前向3D或4D重建相關(guān)的工作。但這一類幾何重建工作，跟基于大模型的空間智能之間，過去的隔閡很大，幾乎沒有什么交集。
直到去年和今年，我們突然意識到，隨著3D/4D重建管線的發(fā)展，再加上SAM3等語義處理工具的日趨成熟，這些工具的能力其實已經(jīng)跨過了某個臨界點。它們已經(jīng)足夠強大到可以串聯(lián)起來，反過來去為多模態(tài)大模型“造”數(shù)據(jù)——特別是造出帶有3D語義的高質(zhì)量數(shù)據(jù)，去培養(yǎng)AI的空間感知和規(guī)劃能力。在動手做之前我們其實也只有八成把握，但實際跑完整個管線后發(fā)現(xiàn)，在Agent的輔助下，這些零散的工具組合起來，在很多場景下產(chǎn)出的數(shù)據(jù)質(zhì)量確實大于等于人類標注的水平。
▎Q：作為一個復(fù)雜的系統(tǒng)工程，在構(gòu)建這個“數(shù)據(jù)飛輪”的過程中，有沒有遇到什么出乎意料的挑戰(zhàn)？
A： 坦白講，因為這是一個偏系統(tǒng)工程的項目，碰到的很多挑戰(zhàn)其實是“分布式”的，比如怎么hold住如此龐大的海量數(shù)據(jù)、怎么提升重建管線的整體效率等等，里面充斥著大量細枝末節(jié)的工程問題，并沒有某一個特別卡脖子的絕對難點。
如果說有什么最讓人意外的，那就是現(xiàn)在“Vibe Coding（氛圍編碼）”的工具和Agent能力太強了。我們這個工作從去年底開始做，整個研發(fā)過程中Vibe Coding的占比成分非常大。那些原本需要耗費大量精力去啃的工程細節(jié)和零碎的dirty work，Agent都能很好地輔助我們完成。這極大地釋放了生產(chǎn)力，也是我們能高效拼出這條完整管線的重要原因。
▎Q：論文的局限性部分提到，這種開放詞匯的語義標注可能會繼承基座模型本身的偏見和錯誤。如果把它應(yīng)用到更垂直的場景，這種偏見會如何表現(xiàn)？未來該怎么克服？
A： 我們文章里說的bias（偏見），準確地說是指在某些偏長尾的垂直領(lǐng)域，現(xiàn)有的通用基座模型會直接“抓瞎”或者識別錯誤。
舉個例子，比如在我們做化學或生物實驗的實驗室環(huán)境里，里面會有各種各樣特定型號、特定名稱的燒杯。你如果把這種高度專業(yè)的畫面交給SAM3或者通用的多模態(tài)大模型，它們是根本搞不定的。所以，現(xiàn)有的管線在客廳、臥室這種General（通用）的場景下非常work，但到了垂直細分領(lǐng)域確實存在難度。不過，現(xiàn)在大家也在如火如荼地搞工業(yè)大模型、自動化實驗室模型，隨著這些垂直模塊的成熟，把它們嵌進管線里，這種長尾語義的偏見和識別瓶頸就會被逐步克服。
▎Q：目前Holi-Spatial主要基于靜態(tài)室內(nèi)視頻。如果未來想把這套管線擴展到更宏大的室外開放世界（比如有行人、車輛的高動態(tài)場景），現(xiàn)有的技術(shù)架構(gòu)需要做出哪些攻堅？
A： 這是一個非常好的科研和技術(shù)問題，實際上我們團隊已經(jīng)在朝著這兩個方向布局了。
首先是觀測條件的“非完美”問題。現(xiàn)實中往往存在動作模糊、天氣不好有煙霧、或者光照太暗的情況。針對這種降級的魯棒性問題，我們已經(jīng)做了一項新工作掛在ArXiv上了，專門讓管線去模擬各種不完美的模糊觀察，以此來訓練大模型的空間魯棒性。
其次是室外的大場景和動態(tài)4D環(huán)境。室外環(huán)境非常開放，做過3D高斯的人都知道，前期的點云處理和深度估計在室外極其困難，而且網(wǎng)絡(luò)視頻的拍攝視角往往很稀疏，拍一圈根本覆蓋不到所有角落。對此，我們正在嘗試將重建手段與生成式模型結(jié)合，來攻克室外的稀疏難題。同時，針對行人和車輛，我們的學生也正在嘗試搭建4D高斯的管線。只有當數(shù)據(jù)從靜態(tài)走向物理意義上的“可交互”，批量產(chǎn)出可交互的4D空間數(shù)據(jù)，才能真正意義上全面賦能具身智能。
▎Q：論文的影響聲明中特別提到了隱私保護。如果未來全自動3D重建的門檻和算力成本進一步降低，一段無意間流傳的視頻就可能把個人的私密空間摸得一清二楚。您如何看待大規(guī)模重建與用戶隱私之間的界限？
A： 這確實是一個很有意思的話題。一個人的房間布局、物品擺放，其實能反映出很多個人信息，甚至能看出你的性格和“家裝MBTI”。
如果是用戶自己拍攝并上傳的視頻，大家自然會從自身角度保護好隱私。但我認為更值得思考的，是未來的具身設(shè)備，比如無時無刻不在陪伴你的家庭服務(wù)機器人、掃地機器人或者室內(nèi)無人機。它們在服務(wù)你的同時，確實有可能主動獲取一些不該獲取的場景隱私。如何防范這種主動式的設(shè)備泄密，將是未來的具身智能硬件廠商和公司需要深度思考與限制的端側(cè)底線問題。
▎Q：在你們的設(shè)想中，當這樣具備強大空間智能的大模型，真正裝進智能機器人的身體里，它為社會帶來的第一個應(yīng)用場景會是什么？
A： 如果空間智能的基座模型真的訓得足夠好了，第一應(yīng)用場景絕對是機器人。不過，目前第一版的Holi-Spatial所做的事情還遠遠不夠，它現(xiàn)在能實現(xiàn)的，更多是不需要物理交互的空間規(guī)劃、判斷或理解。
如果只基于現(xiàn)階段的能力，它能裝進設(shè)備里幫我們做些什么？也許是把你整個家掃一圈后，Maybe它能突然提醒你：“有一把鑰匙或者玩具掉在某個平時看不見的角落里了”，幫你把找不著的東西揪出來。但要真正走向具身智能，它必須學會和環(huán)境交互——比如我渴了，它能走過去打開冰箱，精準地拿出一杯冰可樂。這就需要我們正在攻堅的“物理意義上可交互的空間數(shù)據(jù)”。
▎Q：最后，作為這篇優(yōu)秀工作背后的掌舵人，有什么想對關(guān)注空間智能領(lǐng)域的年輕后浪們說的嗎？
A： 空間智能和世界模型這兩年之所以這么火，是因為以前做不到，缺了太多基礎(chǔ)工具。如今隨著3DGS、4D高斯等新表達的出現(xiàn)，工具鏈慢慢全了，大家自然而然都會著手往這個方向涌入。
我們團隊非常年輕，我是2026年3月剛?cè)肼毶虾＝煌ù髮W人工智能學院的。誰會拒絕更優(yōu)秀的碩士和博士生呢？（笑）我們在這個方向上還有很大的野心和很多好玩的Idea，非常歡迎對空間智能、三維多模態(tài)感興趣的優(yōu)秀同學聯(lián)系我，無論是實習還是申請碩博，我們一起去探索真正的具身世界。
一個人讀論文太孤單，一群人刷頂會才好玩。
ICML 2026 召開在即，我們正在召集一波含金量極高的 AI 研究者。群內(nèi)主打實時論文跟蹤與硬核技術(shù)探討，拒絕灌水。
? 進群傳送門： 掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關(guān)注的 AI 方向。
搞科研/搞技術(shù)，信息差很重要。
來，一起快人一步！
上車，帶你看遍全球 AI 頂會精華
可獨家暢覽：
專家演講PPT
大會報告全文
熱門論文解讀
學術(shù)新星訪談
掃描上方二維碼
或點擊「閱讀原文」關(guān)注專區(qū)。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
