ICML 精選 Spotlight Poster 匯總：Session 4-1

本文作者：陳淑瑜

2026-07-08 18:27

導(dǎo)語：把不可能變成可能。

7月8日，機器學(xué)習(xí)領(lǐng)域最具影響力的頂級學(xué)術(shù)會議ICML 2026進入正會第二天。本次大會共接收6352篇論文，其中Spotlight論文536篇（占投稿總數(shù)的 2.2%），Oral 論文168篇（僅占投稿總數(shù)的 0.7 %）。

在投稿量較去年翻倍、評審標(biāo)準經(jīng)歷深刻“重新校準”的背景下，這些脫穎而出的論文無疑是本屆會議最值得關(guān)注的學(xué)術(shù)精華。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))已派出報道小組赴首爾COEX會展中心參會。在會議現(xiàn)場，我們從Poster展區(qū)的數(shù)千張學(xué)術(shù)海報中精選出最具代表性的研究成果，以“一張圖+一段解讀”的方式呈現(xiàn)給未能親臨現(xiàn)場的讀者。

本期精選Poster Session 4 的十篇Spotlight論文，覆蓋高效卷積算子、離散擴散模型、低精度訓(xùn)練、偏好優(yōu)化理論、MoE路由、大模型魯棒性、黑盒優(yōu)化、3D點云補全、腦機接口和機器人記憶評估等多方面。

如果你也想讓你的研究成果出現(xiàn)在這里，請與我們聯(lián)系：

1. 大核卷積的“反常識”突破——窗口越大，速度越快

WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution

大核深度卷積在計算機視覺任務(wù)中表現(xiàn)優(yōu)異，但一直面臨一個效率困局：核尺寸越大，基于gather操作的不規(guī)則內(nèi)存訪問就越是拖累計算速度。現(xiàn)有的Large Kernel Acceleration（LKA）技術(shù)雖然在小特征圖上能幫上忙，到了大特征圖上反而適得其反，比不加速還慢。這就造成了一個尷尬的矛盾：模型需要更大的感受野來提升精度，但現(xiàn)有算子根本無法高效支持。

WBMM（Windowed Batch Matrix Multiplication）從根本上改變了游戲規(guī)則。它將輸入劃分為連續(xù)窗口，通過索引一個緊湊的相對位置偏置表來構(gòu)建權(quán)重矩陣，再用批量矩陣乘法實現(xiàn)規(guī)則化的內(nèi)存訪問。這一轉(zhuǎn)變帶來一個反直覺的特性：WBMM的吞吐量隨窗口增大而提升。這與深度卷積“窗口越大越慢”的退化規(guī)律截然相反。

算子級基準測試給出了硬核數(shù)據(jù)：使用14×14窗口的WBMM，在速度上超越5×5深度卷積基線，同時提供了7.8倍的單層感受野。配合跨窗口通信和分層窗口重參數(shù)化，WBMM在ImageNet-1K、COCO和ADE20K上以1.31-1.88倍訓(xùn)練加速實現(xiàn)了相當(dāng)或更高的精度，且在GPU、CPU和邊緣設(shè)備上均表現(xiàn)出跨硬件的一致性優(yōu)勢，無需任何專用加速內(nèi)核。

論文鏈接：https://arxiv.org/abs/2607.02097

2. 離散擴散模型的“左右互搏”——理解與生成終得兼

Balancing Understanding and Generation in Discrete Diffusion Models

離散生成建模領(lǐng)域長期被兩種范式割據(jù)：Masked Diffusion Language Models（MDLM）擅長語義理解和零樣本泛化，但在少步生成質(zhì)量上捉襟見肘；Uniform-noise Diffusion Language Models（UDLM）恰好相反，少步生成強勁，理解能力卻差強人意。魚與熊掌，從未兼得。

XDLM通過一個巧妙的靜態(tài)噪聲核（stationary noise kernel）架起了兩座孤島之間的橋梁。作者首先從理論層面證明，MDLM和UDLM均可視為該框架的特例，這是一種原則性的統(tǒng)一，而非簡單的工程縫合。在此基礎(chǔ)上，通過對后驗概率的代數(shù)簡化，XDLM有效緩解了離散擴散模型的內(nèi)存瓶頸。

實驗結(jié)果是全方位的：零樣本文本基準上比UDLM高出5.4分；少步圖像生成FID從MDLM的80.8降至54.1；在8B參數(shù)大語言模型上僅用32步即達到15.0 MBPP，將基線性能翻倍。更關(guān)鍵的是，訓(xùn)練動態(tài)分析表明XDLM在長期擴展方面展現(xiàn)出更優(yōu)潛力。這暗示著它可能是在理解與生成之間實現(xiàn)真正平衡的新起點。

論文鏈接：https://arxiv.org/abs/2602.01362

3. 把大模型訓(xùn)練壓進4-bit——振蕩抑制與異常值控制的雙重突破

TetraJet-v2: Accurate NVFP4 Training for LLMs with Oscillation Suppression and Outlier Control

大語言模型的訓(xùn)練成本正在成為制約AI研究普及的隱形天花板。4-bit全量化訓(xùn)練（FQT）若能實現(xiàn)近乎無損的精度，將帶來革命性的效率提升。NVFP4格式已經(jīng)在硬件層面提供了這種可能，但實際訓(xùn)練中兩個技術(shù)魔鬼始終陰魂不散：權(quán)重振蕩和異常值。

TetraJet-v2給出了系統(tǒng)性的回答。它首先提出無偏雙塊量化方法，在NVFP4線性層中實現(xiàn)近乎最優(yōu)的收斂性。針對權(quán)重振蕩這一此前未被充分重視的瓶頸，OsciReset首次有效抑制了這一現(xiàn)象。而OutControl則以混合精度策略專門守衛(wèi)異常值的精度，防止信息在4-bit表示中丟失。三者合璧，在所有線性層的激活、權(quán)重和梯度上均采用NVFP4，實現(xiàn)了端到端的4-bit全量化訓(xùn)練。

在370M參數(shù)、212B訓(xùn)練token的規(guī)模上，TetraJet-v2將FP4與BF16之間的性能差距平均縮小了51.3%，同時相比FP8實現(xiàn)了1.67倍的端到端加速。這意味著在保持接近全精度性能的前提下，訓(xùn)練成本可以大幅壓縮——對中小型團隊和研究機構(gòu)而言，這可能是通往大模型時代的“入場券”。

論文鏈接：https://arxiv.org/abs/2510.27527

4. DPO的等價性是一句“謊言”？——當(dāng)偏好優(yōu)化走向病態(tài)收斂

Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment

DPO（Direct Preference Optimization）因聲稱與RLHF理論等價且實現(xiàn)更簡潔，已經(jīng)成為對齊訓(xùn)練的主流選擇。但這篇論文給出了一個令人警醒的答案：這種等價性是有條件的，而非普遍成立的。等價性依賴于一個隱含假設(shè)，RLHF最優(yōu)策略必須偏好人類偏好的響應(yīng)，而這一假設(shè)在實踐中經(jīng)常被違反。

當(dāng)假設(shè)失效時，DPO出現(xiàn)了一種“病態(tài)收斂”：策略在降低DPO損失的同時，卻越來越偏好人類不偏好的響應(yīng)。換言之，損失在下降，行為在惡化。作者從理論上證明，此時DPO和RLHF實際上優(yōu)化的是根本不同的目標(biāo)函數(shù)，DPO追逐的是相對于參考策略的優(yōu)勢，而非與人類偏好的絕對對齊。論文還通過soft margin ranking給出了直觀的幾何解釋：DPO實現(xiàn)的是一種可能帶有負目標(biāo)的margin ranking。

治療“病態(tài)收斂”的藥方是CPO（Constrained Preference Optimization）：通過為RLHF添加約束來實現(xiàn)可證明的對齊保證，同時保持實現(xiàn)簡潔性。在標(biāo)準基準測試上，CPO達到了當(dāng)前最優(yōu)性能。這項工作的最大貢獻或許不在于提出了新方法，而在于它迫使整個社區(qū)重新審視一個曾被廣泛視為“已解決”的基礎(chǔ)問題。

論文鏈接：https://arxiv.org/abs/2605.20834

5. 給MoE路由器“退個休”——用特征向量實現(xiàn)零訓(xùn)練的專家路由

Eigenvectors of Experts are Training-free Non-collapsing Routers

稀疏專家混合（SMoE）架構(gòu)在提升大模型訓(xùn)練效率方面功不可沒，但專家坍縮（expert collapse）始終是其揮之不去的痛點。現(xiàn)有方案幾乎全在“改進路由器”上做文章，不僅需要從頭訓(xùn)練或微調(diào)，計算成本高昂，而且作者通過理論和實證證明：即便如此，在推進已充分預(yù)訓(xùn)練的SMoE模型時，坍縮問題依然存在。

這篇論文的洞察簡單而優(yōu)雅：專家權(quán)重矩陣的特征向量本身就編碼了豐富的語義信息，為什么還要訓(xùn)練一個額外的路由器？基于此，作者提出SSMoE（Singular Value Decomposition SMoE），一個完全無需訓(xùn)練的框架——它直接利用專家權(quán)重矩陣的譜屬性（特征向量/奇異值分解）來決定路由。不需微調(diào)，不需額外參數(shù)，不需計算開銷。

在多樣化的語言和視覺任務(wù)上，無論是干凈數(shù)據(jù)還是損壞數(shù)據(jù)，SSMoE都展現(xiàn)出強大的泛化能力和魯棒性。這項工作的意義遠超SMoE本身：它揭示了一個更深層的道理——模型內(nèi)部結(jié)構(gòu)所攜帶的信息，可能比我們重新訓(xùn)練一個組件來“學(xué)習(xí)”這些信息要有效得多。

論文鏈接：https://arxiv.org/abs/2605.30992

6. 讓大模型不再“玻璃心”——去偏置微調(diào)解鎖非對抗魯棒性

Harnessing Non-Adversarial Robustness in Large Language Models

大語言模型有一個鮮為人知的“玻璃心”特性：僅僅是換一種說法、調(diào)整一下措辭，語義完全不變，就可能導(dǎo)致模型輸出天差地別。這種非對抗性提示詞變體帶來的性能波動，在真實應(yīng)用中遠比精心構(gòu)造的對抗攻擊更為常見，也更難防范。問題在于：能否在不重新訓(xùn)練整個模型的前提下，賦予LLM面對這類自然擾動時的魯棒性？

答案藏在系統(tǒng)性偏置之中。作者通過理論分析揭示，影響模型魯棒性的關(guān)鍵因素是神經(jīng)網(wǎng)絡(luò)模塊輸出中的擾動誘導(dǎo)偏置。基于這一洞察，他們提出了一種極簡的去偏置微調(diào)方法：專門針對這一偏置進行校正，無需全量重訓(xùn)練，僅需輕量級微調(diào)即可顯著提升魯棒性。

更有價值的是，作者明確識別了去偏置方法的有效邊界，避免了“萬能藥”式的過度承諾。同時，該方法還能為隨機提示擾動提供形式化的魯棒性認證，從“經(jīng)驗有效”躍升到“可證明可靠”。這一理論驅(qū)動的高效方案，為大模型在真實世界中的穩(wěn)定部署提供了新的保障。

論文鏈接：https://arxiv.org/abs/2605.29816

7. 擴散語言模型跨界黑盒優(yōu)化——1.5個GPU小時登頂Design-Bench

Training Diffusion Language Models for Black-Box Optimization

離線黑盒優(yōu)化（BBO）是機器人和DNA設(shè)計等領(lǐng)域的核心問題：給定一組設(shè)計-標(biāo)簽對，如何發(fā)現(xiàn)性能更好的新設(shè)計？自回歸大語言模型雖然已被嘗試用于這一任務(wù)，但其從左到右的單向生成模式天然無法捕捉設(shè)計問題中強烈的雙向依賴關(guān)系，就像寫一個配方卻不能回頭修改前面的步驟。

這篇論文首次將擴散語言模型引入BBO，利用其雙向建模能力解決自回歸模型的單向生成局限。但擴散LLM的自然文本預(yù)訓(xùn)練與BBO的異質(zhì)信號之間存在領(lǐng)域鴻溝，為此作者設(shè)計了統(tǒng)一提示-響應(yīng)語料庫和分隔符標(biāo)記來顯式標(biāo)記字段邊界，并提出兩階段后訓(xùn)練框架：第一階段通過掩碼響應(yīng)預(yù)測進行監(jiān)督微調(diào)，第二階段以標(biāo)簽改進為獎勵信號進行強化學(xué)習(xí)優(yōu)化。

結(jié)果令人驚訝：在Design-Bench基準上達到最先進水平，而離散任務(wù)僅需1.5個H100 GPU小時即可完成訓(xùn)練。這個效率在LLM領(lǐng)域幾乎是不可思議的。在小數(shù)據(jù)場景下，該方法尤其展現(xiàn)出強大優(yōu)勢，為擴散語言模型在非自然語言領(lǐng)域的應(yīng)用打開了一扇新的大門。

論文鏈接：https://arxiv.org/abs/2603.17919

8. 跨模態(tài)連接為什么會“斷”？——高斯軟散點重塑2D-3D橋梁

SplAttN: Bridging 2D and 3D with Gaussian Soft Splatting and Attention for Point Cloud Completion

多模態(tài)學(xué)習(xí)推動了點云補全的進展，但其理論機制長期籠罩在迷霧之中。這篇論文給出了一個振聾發(fā)聵的診斷：標(biāo)準的硬投影（hard projection）非但沒有建立模態(tài)之間的連接，反而將它切斷了。當(dāng)稀疏點云被硬投影到圖像平面時，產(chǎn)生的支撐集極度稀疏，視覺先驗根本無法有效傳播，作者將這一失敗模式命名為“跨模態(tài)熵坍縮”（Cross-Modal Entropy Collapse）。

SplAttN的治療方案是將硬投影替換為可微分高斯散點（Differentiable Gaussian Splatting），將投影重新定義為連續(xù)密度估計。這一替換看似簡單，卻帶來了三個根本性改善：避免稀疏支撐坍縮、促進梯度順暢流動、提升跨模態(tài)連接的可學(xué)習(xí)性。2D和3D信息不再是名義上的“多模態(tài)”，而是真正做到了水乳交融。

在PCN和ShapeNet-55/34上拿下SOTA只是基本操作。真正令人信服的證據(jù)來自KITTI真實世界基準上的反事實評估：當(dāng)移除視覺信息后，基線方法直接退化為單模態(tài)模板檢索器。它們根本不在乎圖像還在不在；而SplAttN保持了魯棒的視覺依賴，證明其真正建立了有效的跨模態(tài)連接。這不是“看起來像多模態(tài)”，而是“確實是多模態(tài)”。

論文鏈接：https://arxiv.org/abs/2605.01466

9. 腦信號也有了自己的“分詞器”——離散擴散統(tǒng)一七大腦機任務(wù)

Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion

腦機接口領(lǐng)域長期被“一任務(wù)一模型”的思維定式所禁錮：編碼用一套模型，解碼用另一套，不同任務(wù)之間老死不相往來。這種專門化的范式不僅限制了模型的通用性，更致命的是完全忽視了任務(wù)間可能存在的協(xié)同效應(yīng)。一個既會編碼也會解碼的模型，理論上應(yīng)該比兩個各自為政的模型更強。

Mind-Omni首次將七個不同的腦信號編碼與解碼任務(wù)統(tǒng)一到一個離散擴散框架之下。其核心創(chuàng)新是一個精巧的Brain Tokenizer，將異構(gòu)、連續(xù)的腦信號轉(zhuǎn)化為標(biāo)準化的離散令牌，使得大腦信號、視覺、語言三種模態(tài)在共享語義空間中實現(xiàn)令牌級的直接交互。在此基礎(chǔ)上，作者還專門策劃了Brain Question Answering（BQA）指令微調(diào)數(shù)據(jù)集，解鎖了神經(jīng)信號的高級推理能力。

Mind-Omni不僅在多任務(wù)統(tǒng)一框架中建立了新的SOTA，更提供了多任務(wù)協(xié)同效應(yīng)的有力證據(jù)。統(tǒng)一訓(xùn)練后的模型在某些任務(wù)上的表現(xiàn)甚至超越了規(guī)模更大的專用模型。這不僅是一個技術(shù)突破，更是一個范式信號：神經(jīng)活動的基礎(chǔ)模型時代，或許已經(jīng)悄然到來。

論文鏈接：https://arxiv.org/abs/2605.29591

10. 機器人也需要“記憶力測試”——首個VLA記憶評估基準出爐

RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies

在長時程機器人操控中，記憶是不可或缺的，計數(shù)重復(fù)動作、記住被遮擋物體的位置，這些看似“常識”的能力對機器人而言卻是嚴峻考驗。近期視覺-語言-動作（VLA）模型雖已開始引入記憶機制，但一個根本性問題始終無人回答：我們?nèi)绾蜗到y(tǒng)性地評估和比較不同記憶方案的有效性？

RoboMME首次給出了一套標(biāo)準化答案。這個大規(guī)模基準包含16個操控任務(wù)，按照精心設(shè)計的分類法覆蓋時間記憶、空間記憶、物體記憶和程序記憶四個維度。研究團隊基于π0.5骨干網(wǎng)絡(luò)構(gòu)建了14種記憶增強VLA變體，系統(tǒng)性地探索了不同記憶表示形式和集成策略的組合空間。

最重要的發(fā)現(xiàn)是：記憶表示的有效性高度依賴任務(wù)類型，不存在“一刀切”的最優(yōu)方案。每種設(shè)計在不同任務(wù)上各擅勝場，也有各自的盲區(qū)。這個結(jié)論聽起來像“廢話”，但在缺乏標(biāo)準化評估的背景下，它恰恰擊中了當(dāng)前VLA研究的一個核心誤區(qū)：想用一個通用的記憶模塊解決所有問題。RoboMME的出現(xiàn)，為這個方向的系統(tǒng)性研究鋪平了道路。