超 1.2 萬人參加 CVPR 2024，谷歌研究院獲得最佳論文

作者：賴文昕 馬蕊蕾

編輯：陳彩嫻

北京時間今天凌晨，美國西雅圖正在召開的計算機視覺盛會 CVPR 2024 正式公布了最佳論文等獎項。今年共有 2 篇論文獲得了這份全球最重要的計算機視覺領域的大獎，團隊成員分別來自谷歌研究院、加州大學圣地亞哥分校、南加州大學、劍橋大學及布蘭迪斯大學。

本周（6.17-6.21），第四十一屆國際計算機視覺與模式識別會議（CVPR）在美國西雅圖拉開帷幕。根據CVPR官方的最新公告，CVPR 2024已經成為該會議歷史上規模最大、參與人數最多的一屆，截止6月19日，現場參會人數已超過一萬兩千人。

作為計算機視覺乃至人工智能領域最具學術影響力的三大頂會之一，第一屆 CVPR 會議要追溯到1983年美國華盛頓，自此每一年都會吸引全球的計算機研究者和行業領袖匯聚一堂，共同探討計算機視覺領域最新的科學進展和產業成果。

作為領先的計算機視覺盛會，會議每年都會錄用當前視覺領域的最新研究。早在2月27日，CVPR 官網就公布了今年的論文接收結果：CVPR 2024 共有 35691 位注冊作者，11532 篇提交論文，其中 2719 篇被接收，錄用率為 23.6%。

與之相比，CVPR 2023 共有 9155 篇論文被提交，2359 篇論文被接收，錄用率為 25.8%。今年的論文數量提高了20.6%，創下新高，而錄用率降低了 2.2%。另外，hightlights 和 Oral 兩種類型的論文展示分別有 324 篇（占2.81%）和 90 篇（占0.78%）論文獲選，由此可見，本屆會議的熱度、競爭難度與入選獲獎的含金量都有所上升。

CVPR 2024 頒獎環節

入圍 CVPR 2024 決賽圈的最佳論文有24篇，相比去年多了12篇。

AI 科技評論梳理了候選論文的基本情況：

從地理位置上來看，位列前三的國家依次為美國、中國和德國；從研究領域來看，主要聚焦在視覺與圖形、單視圖 3D 重建以及圖像與視頻合成等；從產業界來看，有三家機構入選，分別是 NAVER Cloud AI、Google Research 以及 NVIDIA；從學術界來看，高校依舊是研究的主要推動力，其中，國內入選的高校有北京大學、上海交通大學、中山大學和深圳大學。

最佳論文

本屆 CVPR 總共評選出 2 篇最佳論文。

第一篇最佳論文屬于谷歌研究院團隊的《Generative Image Dynamics 》。

論文鏈接：https://arxiv.org/pdf/2309.07906

代碼地址：http://generative-dynamics.github.io/

作者：Zhengqi Li, Richard Tucker, Noah Snavely, Aleksander Holynski

論文介紹：本文通過從真實視頻中提取自然振蕩動態的運動軌跡來學習圖像空間中的場景運動先驗。該方法利用傅里葉域對長期運動進行建模，通過單圖像預測頻譜體積，進而生成整個視頻的運動紋理，可應用于將靜態圖像轉化為循環視頻，或通過圖像空間模態基實現用戶與真實圖像中對象的交互，模擬其動態。

第二篇最佳論文頒給了由加州大學圣地亞哥分校、谷歌研究院、南加州大學、劍橋大學及布蘭迪斯大學 5 所機構共同發表的《Rich Human Feedback for Text-to-Image Generation 》。

論文鏈接：https://arxiv.org/pdf/2312.10240

代碼地址：https://github.com/google-research/google-research/tree/master/richhf_18k

作者：Youwei Liang, Junfeng He, Gang Li, Peizhao Li, Arseniy Klimovskiy, Nicholas Carolan, Jiao Sun, Jordi Pont-Tuset, Sarah Young, Feng Yang, Junjie Ke, Krishnamurthy Dj Dvijotham, Katherine M. Collins, Yiwen Luo, Yang Li, Kai J. Kohlhoff, Deepak Ramachandran, Vidhya Navalpakkam

論文介紹：許多生成的圖像仍然存在諸如不真實性、與文本描述不一致以及審美質量低等問題。本文通過選擇高質量的訓練數據進行微調來改進生成模型，或者通過創建帶有預測熱圖的掩模來修復問題區域。值得注意的是，這些改進可以推廣到用于收集人類反饋數據的圖像之外的模型（Muse）。

最佳學生論文

今年的最佳學生論文同樣有 2 篇工作獲選。

第一篇頒發給了來自德國圖賓根大學、圖賓根 AI 中心、上海科技大學及布拉格捷克技術大學共同發表的《Mip-Splatting: Alias-free 3D Gaussian Splatting》。值得注意的是，該篇論文的三位華人作者都是上海科技大學在讀或畢業的碩士、博士生。

論文鏈接：https://arxiv.org/pdf/2311.16493

代碼地址：https://github.com/autonomousvision/mip-splatting

作者：Zehao Yu , Anpei Chen, Binbin Huang , Torsten Sattler , Andreas Geiger

論文介紹：3D高斯點染技術在新視角合成方面取得了高保真度和效率的成果，但在改變采樣率時會出現偽影。為解決該問題，本文引入了基于最大采樣頻率的 3D 平滑濾波器，限制了高斯基元的大小，消除了放大時的高頻偽影。同時，用 2D Mip 濾波器替代 2D 膨脹，模擬 2D 盒濾波器，減輕了混疊和膨脹問題。評估結果顯示，在單尺度訓練和多尺度測試下，該方法有效。

第二篇最佳學生論文頒發給了來自美國俄亥俄州立大學、微軟研究院、加州大學歐文分校、倫斯勒理工學院共同發布的《BioCLlP: A Vision Foundation Model for the Tree of Life》。

論文鏈接：https://arxiv.org/abs/2311.18803

代碼地址：https://imageomics.github.io/bioclip/

作者：Samuel Stevens, Jiaman (Lisa) Wu, Matthew J Thompson, Elizabeth G Campolongo, Chan Hee (Luke) Song, David Edward Carlyn, Li Dong, Wasila M Dahdul, Charles Stewart, Tanya Berger-Wolf, Wei-Lun (Harry) Chao, Yu Su

論文介紹：自然界圖像的豐富性為生物信息學提供了寶貴數據源。盡管針對特定任務的計算方法和工具不斷涌現，但它們通常不易適應新問題或擴展到不同背景和數據集。為應對這一挑戰，本文創建了 TreeOfLife-10M 數據集，這是迄今為止最大和最多樣化的生物圖像數據集。BioCLIP 模型基于生命樹構建，利用 TreeOfLife-10M 的多樣化生物圖像和結構化知識，展現出在細粒度生物分類任務中的卓越性能，顯著超越現有基線方法，其內在評估揭示了 BioCLIP 的強泛化能力。

其他獎項

本屆黃煦濤紀念獎由 Andrea Vedaldi 獲得。

Andrea Vedaldi 是牛津大學計算機視覺和機器學習教授，也是 VGG（視覺幾何）組的成員。他的研究重點在于開發計算機視覺和機器學習方法，以自動理解圖像和視頻內容。此外，他還在 2012 年至 2023 年期間擔任 Facebook AI Research（FAIR）的研究科學家，并在2023年成為 Meta AI 的研究科學家。

圖像視頻生成占領C位

從近期喬治亞理工學院計算機學院（College of Computing, Georgia Institute of Technology）對 CVPR 2024 錄用數據的統計分析來看，論文主要涵蓋36個主題領域，排名前十的主題分別是：圖像和視頻合成與生成，三維視覺，人體行為識別，視覺、語言與語言推理，底層視覺，識別（分類、檢測、檢索），遷移學習與多模態學習。

其中，除了自動駕駛與三維視覺這兩位熱點常客外，今年排在首位的關鍵詞是圖像和視頻合成與生成（Image and video synthesis and generation），總計有 329 篇論文，成為了今年 CVPR 最火的研究主題。

熱門主題從去年的擴散模型（Diffusion models）轉變為今年的圖像和視頻合成與生成，也同 Sora 在春節打響的開門炮遙相呼應。

在被 CVPR 接收的圖像和視頻合成與生成相關論文中，有不少過去幾個月令人驚艷的新科研成果或產品，比如谷歌 DeepMind 和研究院發布的 Instruct-Imagen。

Instruct-Imagen 是一個能夠處理異構圖像生成任務并在未見過的任務上泛化的模型。有趣的是，谷歌團隊引入了多模態指令生成圖像的任務表示，以精確地表達一系列生成意圖，并使用自然語言將不同的模態（例如文本、邊緣、風格、主題等）融合起來，使得豐富的生成意圖可以在統一的格式中標準化。

華東理工大學提出的 DisenDiff 注意校準機制也被選為 Oral 文章，他們的工作旨在解決現有的文本到圖像（T2I）模型在個性化定制時無法保持視覺一致性和概念交叉影響的問題。

該方法通過引入與類別綁定的學習型修飾符來捕捉多個概念的屬性，并在交叉注意力操作激活后分離和加強類別，以確保概念的全面性和獨立性。此外，通過抑制不同類別的注意力激活來減少概念間的相互影響。

實驗結果表明，DisenDiff 在定性和定量評估中均優于現有技術，并能與 LoRA 和修復管道兼容，提供更豐富的交互體驗。

擴散模型在當下可以說主導了圖像生成這個領域，也對于大數據集展現出了強大的縮放性，由 NVIDIA 和 Aalto University 的研究人員撰寫的《Analyzing and Improving the Training Dynamics of Diffusion Models》，關注點在于改進擴散模型的訓練動態。

該篇研究者在不改變 high-level 架構的前提下，識別和糾正了流行的 ADM 擴散模型中的幾個訓練方面不均勻的原因。把 ImageNet 512×512 圖像生成任務的 FID 由原來的 2.41 降低到了 1.81，這是一個衡量生成圖像質量的重要指標，將生成質量和模型復雜度變得可視化。

研究者還提出了一種在訓練完成后設置EMA參數的方法，允許在不增加多次訓練成本的情況下精確調整EMA長度，并揭示了其與網絡架構、訓練時間和引導的驚人交互作用。

這些突破性的研究，預示著人工智能在圖像生成領域，正在以前所未有的速度重塑藝術創作和視覺上內容生產的邊界。

值得一提的是，今年恰好是生成對抗網絡（GANs）誕生的十周年。2014年，Ian Goodfellow 等人提出了深度學習領域的此項里程碑技術，不僅開辟了生成式模型的新領域，而且對無監督學習產生了深遠影響。

視覺基礎模型點燃現場

基于 Transformer，以及受到語言大模型的啟發，計算機視覺領域在 2023 年以來對視覺基礎模型（VFM）的研究熱情高漲。

視覺基礎模型 (VFM)，一般在特定的領域，像圖像分類、目標檢測和圖像生成等眾多下游任務中表現突出。例如，多模態 CLIP 模型擅長零樣本視覺語言理解，自監督學習模型DINOv2 擅長語義分割，自監督學習方法SAM 擅長開放詞匯實例分割。

CVPR 2024 共有 123 個 workshop 與 24 場 tutorial，在這個年度盛會的現場，AI 科技評論觀察到：盡管視覺基礎模型的相關工作在被接收論文數量中的占比不大，但超過 10 場研討會以視覺基礎模型為主題，開展了學習和應用視覺基礎模型最前沿方法的討論。

比如 6 月 17 日舉行的第二屆基礎模型研討會上，與會者分享了視覺基礎模型和大語言模型的理論洞察、高效架構設計以及卷積和圖混合網絡設計的研究，并探討了在圖像和視頻生成、不同監督學習設置、多模態模型等，還討論了如何將基礎模型的前沿研究成果應用于醫療、地球科學、遙感、生物、農業和氣候科學等多個領域，以彌合研究與實際應用之間的差距。

在「視覺基礎模型最新進展」的分享會中，嘉賓們討論了用于多模態理解和生成的視覺基礎模型，基準測試和評估視覺基礎模型，以及基于視覺基礎模型的智能體和其他高級系統。

分享嘉賓：Tiktok-Chunyuan Li

自 2020 年引入視覺 Transformers（ViT）以來，計算機視覺界見證了基于 Transformer 的計算機視覺模型的爆炸性增長，其應用范圍從圖像分類到密集預測（如目標檢測、分割）、視頻、自監督學習、3D和多模態學習。

因此，CVPR 2024 中的第三屆視覺 Transformer 研討會將會議重點放在了為視覺任務設計 Transformer 模型的機遇和其開放性挑戰之中。

機器遺忘（Machine Unlearning，也稱遺忘學習）對基礎模型的重要性同樣不言而喻，專注于從預訓練模型中剔除那些不再需要的數據，如個人隱私信息或違反法規的數據，并確保模型繼續發揮其應有的功能而不受影響，因此 CVPR 2024 中也有研討會集中討論視覺基礎模型中機器遺忘的運用。

而 3D 基礎模型的發展正成為自然語言處理和 2D 視覺之后的又一場技術革命，預示著在 3D 內容創作、AR/VR、機器人技術和自動駕駛等領域的廣泛應用前景。CVPR 2024 的研討會還邀請了 3D 視覺領域的專家，共同探討 3D 基礎模型的構建，包括數據集的選擇、模型應針對的3D任務、架構共識以及潛在應用。

此外，基礎模型還被視為構建更通用自主系統的新路徑，因其能夠從大量數據中學習并泛化到新任務。CVPR 2024 中有研討會關注自主系統，探究基礎模型對自主代理的潛力，與會者們認為未來在于可解釋的、端到端的模型，這些模型能夠理解世界并泛化到未訪問的環境中。

CVPR 2024 的現場中還有研討會探討了對抗性機器學習的最新進展和挑戰，重點關注基礎模型的魯棒性，該 workshop 還組織了一場針對基礎模型的對抗性攻擊挑戰。

有的研討會則聚焦于醫學成像領域基礎模型的集成和應用，討論涵蓋了各種醫學數據的最新技術，如超聲心動圖、眼底、病理學和放射學，以及在臨床環境中使用基礎模型的實際挑戰。

寫在最后

兩天前，Runway 時隔一年推出 Gen-3 Alpha，宣布視頻生成賽道王者歸來。在 CVPR 2024 的現場，AI 科技評論也聽到了關于 GPT-5 或于 3 個月后發布的消息，業內對其推理能力與多模態能力更是報以期待。

那么，計算機視覺還有哪些熱點會是未來趨勢？圖像、視頻生成與視覺基礎模型的下一步發展在哪里？3D 視覺、自動駕駛等往屆「花旦」又有何新動態？機器人與具身智能有無新亮點？

讓我們一起期待，CVPR 2024 的精彩仍在繼續。

本文雷峰網作者 anna042023 將持續關注AI大模型領域的人事、企業、商業應用以及行業發展趨勢，歡迎添加交流，互通有無。雷峰網(公眾號：雷峰網)

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。