<mark id="oztn4"></mark>
0
文 | 百度
編 | 賈偉
近日，計(jì)算機(jī)視覺(jué)領(lǐng)域“奧斯卡”CVPR 2020官方公布論文收錄結(jié)果，伴隨投稿數(shù)量激增，接收率開始經(jīng)歷了一個(gè)持續(xù)下降的過(guò)程。今年，在6656篇有效投稿中，共有1470篇論文被接收，接收率為22%左右，相較去年25%的入選率，同比下降3%。
本屆大會(huì)中，百度共有22篇論文入選，涉及主題涵蓋人臉檢測(cè)&識(shí)別、視頻理解&分析、圖像超分辨、及自動(dòng)駕駛中的車輛檢測(cè)、場(chǎng)景實(shí)例級(jí)分割等領(lǐng)域。以下為其中 15 篇入選論文介紹。
論文：HAMBox: Delving into Online High-quality Anchors for Detecting Outer Faces
近期，關(guān)于人臉檢測(cè)器利用錨點(diǎn)構(gòu)建一個(gè)結(jié)合分類和坐標(biāo)框回歸的多任務(wù)學(xué)習(xí)問(wèn)題，有效的錨點(diǎn)設(shè)計(jì)和錨點(diǎn)匹配策略使得人臉檢測(cè)器能夠在大姿態(tài)和尺度變化下精準(zhǔn)定位人臉。本次論文中，百度提出了一種在線高質(zhì)量錨點(diǎn)挖掘策略HAMBox, 它可以使得異常人臉（outer faces）被補(bǔ)償高質(zhì)量的錨點(diǎn)。HAMBox方法可以成為一種基于錨點(diǎn)的單步驟人臉檢測(cè)器的通用優(yōu)化方案。該方案在WIDER FACE、FDDB、AFW和PASCAL Face多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明了其優(yōu)越性，同時(shí)在2019年WIDER Face and Pedestrian Challenge上，以mAP 57.13%獲得冠軍，享譽(yù)國(guó)際。
論文：FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction
該論文發(fā)布大尺度高精度人臉三維模型數(shù)據(jù)庫(kù)FaceScape，并首次提出從單幅圖像預(yù)測(cè)高精度、可操控人臉三維模型的方法。FaceScape數(shù)據(jù)庫(kù)包含約18000個(gè)高精度三維面部模型，每個(gè)模型包含基底模型和4K分辨率的置換圖及紋理貼圖，能夠表征出面部極細(xì)微的三維結(jié)構(gòu)和紋理。與現(xiàn)有公開的三維人臉數(shù)據(jù)庫(kù)相比，F(xiàn)aceScape在模型數(shù)量和質(zhì)量上均處于世界最高水準(zhǔn)。在FaceScape數(shù)據(jù)庫(kù)的基礎(chǔ)之上，本文還探索了一項(xiàng)具有挑戰(zhàn)性的新課題：以單幅人臉圖像為輸入，預(yù)測(cè)高精度、表情可操控的三維人臉模型。該方法的預(yù)測(cè)結(jié)果能夠通過(guò)表情操控生成精細(xì)的面部模型序列，所生成的模型在新表情下仍然包含逼真的細(xì)節(jié)三維結(jié)構(gòu)。據(jù)悉，F(xiàn)aceScape數(shù)據(jù)庫(kù)和代碼將于近期免費(fèi)發(fā)布，供非商業(yè)用途的學(xué)術(shù)研究使用。
論文：Hierarchical Pyramid Diverse Attention Network for Face Recognition
目前主流的人臉識(shí)別方法很少考慮不同層的多尺度局部特征。為此，本文提出了一個(gè)分層的金字塔多樣化注意力模型。當(dāng)面部全局外觀發(fā)生巨大變化時(shí)，局部區(qū)域?qū)⑵鹬匾饔谩Ｗ罱囊恍┕ぷ鲬?yīng)用注意力模塊來(lái)自動(dòng)定位局部區(qū)域。如果不考慮多樣性，所學(xué)的注意力通常會(huì)在一些相似的局部塊周圍產(chǎn)生冗余的響應(yīng)，而忽略了其他潛在的有判別力的局部塊。此外，由于姿態(tài)或表情變化，局部塊可能以不同的尺度出現(xiàn)。為了緩解這些挑戰(zhàn)，百度團(tuán)隊(duì)提出了一種金字塔多樣化注意模塊，以自動(dòng)和自適應(yīng)地學(xué)習(xí)多尺度的多樣化局部表示。更具體地說(shuō)，開發(fā)了金字塔注意力模塊以捕獲多尺度特征；同時(shí)為了鼓勵(lì)模型專注于不同的局部塊，開發(fā)了多元化的學(xué)習(xí)方法。其次，為了融合來(lái)自低層的局部細(xì)節(jié)或小尺度面部特征圖，可以使用分層雙線性池化來(lái)代替串聯(lián)或添加。
論文：Associate-3Ddet: Perceptual-to-Conceptual association for 3D Point Cloud Object Detection
目標(biāo)檢測(cè)技術(shù)是機(jī)器人和自動(dòng)駕駛領(lǐng)域中最重要的模式識(shí)別任務(wù)之一。本文提出了一種領(lǐng)域自適應(yīng)的方法來(lái)增強(qiáng)稀疏點(diǎn)云特征的魯棒性。更具體地說(shuō)，是將來(lái)自真實(shí)場(chǎng)景的特征（感知域特征）和從包含豐富細(xì)節(jié)信息的完整虛擬點(diǎn)云特征（概念域特征）進(jìn)行了關(guān)聯(lián)。這種域適應(yīng)特征關(guān)聯(lián)的方法實(shí)際上是模擬在人腦進(jìn)行物體感知時(shí)的聯(lián)想關(guān)聯(lián)功能。這種三維目標(biāo)檢測(cè)算法在訓(xùn)練過(guò)程中增強(qiáng)了特征提取能力，在推理階段不需要引入任何額外的組件，使得該框架易于集成到各種三維目標(biāo)檢測(cè)算法中。
論文：Neural Message Passing and Attentive Spatiotemporal Transformer for Point Cloud Based 3D Video Object Detection
基于單幀點(diǎn)云的3D目標(biāo)檢測(cè)器通常無(wú)法應(yīng)對(duì)目標(biāo)遮擋、遠(yuǎn)距離和非均勻采樣等情況，而點(diǎn)云視頻（由多個(gè)點(diǎn)云幀組成）通常包含豐富的時(shí)空信息，可以改善上述情況下的檢測(cè)效果，因此本文提出一個(gè)端到端的在線3D點(diǎn)云視頻目標(biāo)檢測(cè)器。論文中的Pillar Message Passing Network（PMPNet），可將點(diǎn)云俯視圖下的非空柵格編碼為圖節(jié)點(diǎn)，并在節(jié)點(diǎn)間進(jìn)行信息傳遞以動(dòng)態(tài)改善節(jié)點(diǎn)感受野，PMPNet可以有效結(jié)合圖空間的非歐特性和CNN的歐式特性；在時(shí)空特征聚合模塊中，還提出空間和時(shí)間注意力機(jī)制來(lái)強(qiáng)化原始的Conv-GRU層，空間注意力機(jī)制對(duì)new memory進(jìn)行前景增強(qiáng)和背景抑制，時(shí)間注意力機(jī)制用以對(duì)齊相鄰幀中的動(dòng)態(tài)前景目標(biāo)。該3D點(diǎn)云視頻目標(biāo)檢測(cè)器在nuScenes大型基準(zhǔn)集上達(dá)到了領(lǐng)先效果。
論文：A Unified Object Motion and Association Model for Efficient Online Multi-object Tracking
利用單目標(biāo)跟蹤器（SOT）作為運(yùn)動(dòng)預(yù)測(cè)模型執(zhí)行在線多目標(biāo)跟蹤（MOT）是當(dāng)前的流行方法 ，但是這類方法通常需要額外設(shè)計(jì)一個(gè)復(fù)雜的相似度估計(jì)模型來(lái)解決相似目標(biāo)干擾和密集遮擋等問(wèn)題。本文利用多任務(wù)學(xué)習(xí)策略，將運(yùn)動(dòng)預(yù)測(cè)和相似度估計(jì)到一個(gè)模型中。值得注意的是，該模型還設(shè)計(jì)了一個(gè)三元組網(wǎng)絡(luò)，可同時(shí)進(jìn)行SOT訓(xùn)練、目標(biāo)ID分類和排序，網(wǎng)絡(luò)輸出的具有判別力的特征使得模型可以更準(zhǔn)確地定位、識(shí)別目標(biāo)和進(jìn)行多目標(biāo)數(shù)據(jù)關(guān)聯(lián)；此外，論文中提出了一個(gè)任務(wù)專屬注意力模塊用于強(qiáng)調(diào)特征的不同上下文區(qū)域，進(jìn)一步強(qiáng)化特征以適用于SOT和相似度估計(jì)任務(wù)。該方法最終得到一個(gè)低存儲(chǔ)(30M)和高效率(5FPS)的在線MOT模型，并在MOT2016和MOT2017標(biāo)準(zhǔn)測(cè)試集上取得了領(lǐng)先效果。
論文：ActBERT: Learning Global-Local Video-Text Representations
受到BERT在自我監(jiān)督訓(xùn)練中的啟發(fā)，百度團(tuán)隊(duì)對(duì)視頻和文字進(jìn)行類似的聯(lián)合建模， 并基于敘述性視頻進(jìn)行視頻和文本對(duì)應(yīng)關(guān)系進(jìn)行研究。其中對(duì)齊的文本是通過(guò)現(xiàn)成的自動(dòng)語(yǔ)音識(shí)別功能提供的，這些敘述性視頻是進(jìn)行視頻文本關(guān)系研究的豐富數(shù)據(jù)來(lái)源。ActBERT加強(qiáng)了視頻文字特征，可以發(fā)掘到細(xì)粒度的物體以及全局動(dòng)作意圖。百度團(tuán)隊(duì)在許多視頻和語(yǔ)言任務(wù)上驗(yàn)證了ActBERT的泛化能力，比如文本視頻片段檢索、視頻字幕生成、視頻問(wèn)題解答、動(dòng)作分段和動(dòng)作片段定位等，ActBERT明顯優(yōu)于最新的一些視頻文字處理算法，進(jìn)一步證明了它在視頻文本特征學(xué)習(xí)中的優(yōu)越性。
論文：Memory Aggregation Networks for Efficient Interactive Video Object Segmentation
該論文目的是設(shè)計(jì)一個(gè)快速的交互式視頻分割系統(tǒng)，用戶可以基于視頻某一幀在目標(biāo)物上給出簡(jiǎn)單的線，分割系統(tǒng)會(huì)把整個(gè)視頻中該目標(biāo)物分割出來(lái)。此前，針對(duì)交互式視頻分割的方法通常使用兩個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)，分別進(jìn)行交互幀分割、將分割結(jié)果傳導(dǎo)至其他幀。本文將交互與傳導(dǎo)融合在一個(gè)框架內(nèi)，并使用像素embedding的方法，視頻中每一幀只需要提取一次像素embedding，更有效率。另外，該方式使用了創(chuàng)新性的記憶存儲(chǔ)機(jī)制，將之前交互的內(nèi)容作用到每一幀并存儲(chǔ)下來(lái)，在新的一輪交互中，讀取記憶中對(duì)應(yīng)幀的特征圖，并及時(shí)更新記憶。該方式大幅提升分割結(jié)果的魯棒性，在DAVIS數(shù)據(jù)集上取得了領(lǐng)先的成績(jī)。
論文：Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation
盡管最近在完全監(jiān)督的領(lǐng)域上，動(dòng)作分割技術(shù)方面取得了進(jìn)步，但是其性能仍有不足。一個(gè)主要的挑戰(zhàn)是時(shí)空變化的問(wèn)題（例如不同的人可能以各種方式進(jìn)行相同的動(dòng)作）。因此，該論文中利用未標(biāo)記的視頻來(lái)解決此問(wèn)題，方法是將動(dòng)作分割任務(wù)重新設(shè)計(jì)為跨域（domain）問(wèn)題，而且該跨域問(wèn)題主要針對(duì)時(shí)空變化引起的域差異。為了減少差異，論文提出了“自我監(jiān)督的時(shí)域自適應(yīng)（SSTDA）”，其中包含兩個(gè)自我監(jiān)督的輔助任務(wù)（binary和sequential的域預(yù)測(cè)），以聯(lián)合對(duì)齊嵌入不同規(guī)模時(shí)域動(dòng)態(tài)的跨域特征空間，從而獲得比其他域適應(yīng)（DA）方法更好的效果。在三個(gè)具有挑戰(zhàn)性的公開數(shù)據(jù)集（GTEA、50Salads和Breakfast）上，SSTDA遠(yuǎn)遠(yuǎn)領(lǐng)先于當(dāng)前的最新方法，并且只需要65％的標(biāo)簽訓(xùn)練數(shù)據(jù)即可獲得與當(dāng)前最新方法可比的性能，這也表明該方法可以有效利用未標(biāo)簽?zāi)繕?biāo)視頻來(lái)適應(yīng)各種變化。
論文：Channel Attention based Iterative Residual Learning for Depth Map Super-Resolution
隨著深度信息的應(yīng)用范圍越來(lái)越大，深度圖像超分辨問(wèn)題引起了廣泛研究者的關(guān)注。深度圖像超分辨率是指由低分辨率深度圖像為基礎(chǔ)，獲取高質(zhì)量的高分辨率深度圖像。本文提出的是一種深度圖像超分辨率方法，同時(shí)對(duì)低分辨率深度圖像的產(chǎn)生方式進(jìn)行分析，并提出兩種模擬低分辨率深度圖像生成的方式：伴隨噪聲的非線性插值降采樣產(chǎn)生方式及間隔降采樣產(chǎn)生方式。
針對(duì)不同類型的低分辨率深度圖像，本文使用迭代的殘差學(xué)習(xí)框架以低分辨率深度圖像為輸入，以coarse-to-fine的方式逐步恢復(fù)高分辨率深度圖像的高頻信息；同時(shí)，使用通道增強(qiáng)的策略加強(qiáng)包含高頻信息較多的通道在整個(gè)學(xué)習(xí)框架中的作用；另外，還使用多階段融合的策略有效復(fù)用在coarse-to-fine過(guò)程中獲得的有效信息；最后，通過(guò)TGV約束和輸入損失函數(shù)進(jìn)一步優(yōu)化獲得的高分辨率深度圖像。此次提出的方法可以有效處理深度圖像超分辨率問(wèn)題，與目前已知的方法相比，效果顯著，優(yōu)勢(shì)明顯。
論文：3D Part Guided Image Editing for Fine-grained Object Understanding
在自動(dòng)駕駛場(chǎng)景中，準(zhǔn)確地感知“特殊”狀態(tài)的車輛對(duì)行駛安全至關(guān)重要（例如：車門打開可能有乘客下車，尾燈閃爍意味著即將變道）。針對(duì)此難題，本文提出了一個(gè)全新的數(shù)據(jù)合成（增強(qiáng)）方法，即通過(guò)對(duì)齊的部件級(jí)三維模型對(duì)二維圖像中的車輛進(jìn)行編輯，自動(dòng)生成大量“特殊”狀態(tài)（例如：開啟的車門、后備箱、引擎蓋，閃爍的前照燈、尾燈）的車輛圖像與語(yǔ)義標(biāo)注結(jié)果。針對(duì)生成的訓(xùn)練數(shù)據(jù)，本文設(shè)計(jì)了一個(gè)雙路骨干網(wǎng)絡(luò)使得模型可以泛化到真實(shí)的測(cè)試數(shù)據(jù)，與傳統(tǒng)的模型渲染方法相比，本方法平衡了域差異的問(wèn)題并且更加輕量便捷。
為了驗(yàn)證方法的有效性，本文構(gòu)建了CUS (Cars in Uncommon States) 數(shù)據(jù)集，標(biāo)注了約1400張真實(shí)街景下車輛處于特殊狀態(tài)的圖像。實(shí)驗(yàn)結(jié)果表明：本文提出的方法可以有效地對(duì)“特殊”狀態(tài)的車輛進(jìn)行檢測(cè)、整車的實(shí)例級(jí)分割、部件的語(yǔ)義分割以及狀態(tài)描述，對(duì)自動(dòng)駕駛的安全決策有著重要的意義。
論文：GP-NAS: Gaussian Process based Neural Architecture Search
通過(guò)對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行模型結(jié)構(gòu)自動(dòng)搜索， NAS（Neural Architecture Search）在各類計(jì)算機(jī)視覺(jué)的任務(wù)中都超越了人工設(shè)計(jì)模型結(jié)構(gòu)的性能。本論文旨在解決NAS中的三個(gè)重要問(wèn)題：（1）如何衡量模型結(jié)構(gòu)與其性能之間的相關(guān)性？（2）如何評(píng)估不同模型結(jié)構(gòu)之間的相關(guān)性？（3）如何用少量樣本學(xué)習(xí)這些相關(guān)性？為此，本論文首先從貝葉斯視角來(lái)對(duì)這些相關(guān)性進(jìn)行建模。
首先，通過(guò)引入一種新穎的基于高斯過(guò)程的NAS（GP-NAS）方法，并通過(guò)定制化的核函數(shù)和均值函數(shù)對(duì)相關(guān)性進(jìn)行建模。并且，均值函數(shù)和核函數(shù)都是可以在線學(xué)習(xí)的，以實(shí)現(xiàn)針對(duì)不同搜索空間中的復(fù)雜相關(guān)性的自適應(yīng)建模。此外，通過(guò)結(jié)合基于互信息的采樣方法，可以通過(guò)最少的采樣次數(shù)就能估計(jì)/學(xué)習(xí)出GP-NAS的均值函數(shù)和核函數(shù)。在學(xué)習(xí)得到均值函數(shù)和核函數(shù)之后，GP-NAS就可以預(yù)測(cè)出不同場(chǎng)景，不同平臺(tái)下任意模型結(jié)構(gòu)的性能，并且從理論上得到這些性能的置信度。在CIFAR10和ImageNet上的大量實(shí)驗(yàn)證明了我們算法的有效性，并且取得了SOTA的實(shí)驗(yàn)結(jié)果。
論文：BFBox: Searching Face-appropriate Backbone and Feature Pyramid Network for Robust Face Detector
本文提出的BFBox是基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法，同時(shí)搜索適合人臉檢測(cè)的特征提取器和特征金字塔。動(dòng)機(jī)是我們發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：針對(duì)圖像分類任務(wù)設(shè)計(jì)的流行的特征提取器已經(jīng)在通用目標(biāo)檢測(cè)任務(wù)上驗(yàn)證了其重要的兼容性，然而在人臉檢測(cè)任務(wù)上卻沒(méi)有取得預(yù)期的效果。同時(shí)不同的特征提取器與特征金字塔的結(jié)合也不是完全正相關(guān)的。首先，本文對(duì)于比較好的特征提取器進(jìn)行分析，提出了適合人臉的搜索空間；其次，提出了特征金字塔注意力模塊（FPN-attention Module）去加強(qiáng)特征提取器和特征金字塔之間的聯(lián)系；最后, 采取SNAS的方法同時(shí)搜出適和人臉的特征提取器和特征金字塔結(jié)構(gòu)。多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明了BFBox方法的優(yōu)越性。
論文：Gated Channel Transformation for Visual Recognition
本文針對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)提出了一種常規(guī)的、易應(yīng)用的變換單元，即Gated Channel Transformation (GCT) 模塊。GCT結(jié)合了歸一化方法和注意力機(jī)制，并使用輕量級(jí)的、易于分析的變量來(lái)隱式地學(xué)習(xí)網(wǎng)絡(luò)通道間的相互關(guān)系。這些通道量級(jí)的變量可以直接影響神經(jīng)元間的競(jìng)爭(zhēng)或者合作行為，且能方便地與卷積網(wǎng)絡(luò)本身的權(quán)重參數(shù)一同參與訓(xùn)練。通過(guò)引入歸一化方法，GCT模塊要遠(yuǎn)比SE-Nets的SE模塊輕量，這使得將GCT部署在每個(gè)卷積層上而不讓網(wǎng)絡(luò)變得過(guò)于臃腫成為了可能。本文在多個(gè)大型數(shù)據(jù)集上針對(duì)數(shù)種基礎(chǔ)視覺(jué)任務(wù)進(jìn)行了充分的實(shí)驗(yàn)，即ImageNet數(shù)據(jù)集上的圖片分類，COCO上的目標(biāo)檢測(cè)與實(shí)例分割，還有Kinetics上的視頻分類。在這些視覺(jué)任務(wù)上，引入GCT模塊均能帶來(lái)明顯的性能提升。這些大量的實(shí)驗(yàn)充分證明了GCT模塊的有效性。
論文：Label-Isolated Memory for Long-Tailed Visual Recognition
實(shí)際場(chǎng)景中的數(shù)據(jù)通常遵循“長(zhǎng)尾”分布。大量類別都是數(shù)據(jù)較少，而有少數(shù)類別數(shù)據(jù)充足。為了解決類不平衡問(wèn)題，本文引入了類別隔離記憶結(jié)構(gòu)（LIM）用于長(zhǎng)尾視覺(jué)識(shí)別。首先，LIM增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)快速學(xué)習(xí)尾部類別特征的能力。通過(guò)存儲(chǔ)每個(gè)類的最顯著的類別特征，獨(dú)立更新存儲(chǔ)單元，LIM進(jìn)一步降低了分類器學(xué)偏的可能。其次，本文為多尺度空間特征編碼引入了一種新穎的區(qū)域自注意力機(jī)制。為了提高尾類識(shí)別通用性，合并更多區(qū)別性強(qiáng)的特征是有好處的。本文提出以多個(gè)尺度對(duì)局部特征圖進(jìn)行編碼，同時(shí)背景信息也被融合進(jìn)來(lái)。配備LIM和區(qū)域自注意力機(jī)制，該方法在5個(gè)數(shù)據(jù)集上都取得了最好的性能。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
相關(guān)文章：
CVPR 2020 | 看圖說(shuō)話之隨心所欲：細(xì)粒度可控的圖像描述自動(dòng)生成
CVPR 2020 Anti-UAV Workshop征稿啦，“反無(wú)人機(jī)”挑戰(zhàn)賽等你來(lái)戰(zhàn)！
古有照妖鏡，今有換臉識(shí)別機(jī)，微軟 CVPR 2020力作，讓偽造人臉無(wú)處遁形
CVPR 2020接收論文公布：錄用1470篇，接收率“二連降”，僅22% !
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
