CVPR 2019 | 視頻內(nèi)容消除新突破——「Deep Flow-Guided」（含開源代碼）

雷鋒網(wǎng) AI 科技評論按：視頻內(nèi)容消除的關(guān)鍵在于對視頻缺失區(qū)域的填充，但由于視頻相比圖片多了時(shí)間維度，因此難以保持視頻內(nèi)容空間與時(shí)間的一致性，當(dāng)前該項(xiàng)技術(shù)仍極具挑戰(zhàn)性。但本文將展示由香港中文大學(xué)的周博磊等研究學(xué)者們，提出的一種新型 Deep Flow-Guided 方法進(jìn)行視頻內(nèi)容消除。該技術(shù)不再是直接填充每個(gè)幀的 RGB 像素，而是將其轉(zhuǎn)化為像素點(diǎn)擴(kuò)充問題，這項(xiàng)研究成果被選入 CVPR 2019 論文之列。

圖 1 視頻內(nèi)容消除

具體實(shí)現(xiàn)步驟

第一步，使用新設(shè)計(jì)的深度光流場合成神經(jīng)網(wǎng)絡(luò)（DFC-Net）在視頻幀上合成表示空間與時(shí)間關(guān)系的光流場，即整個(gè)視頻圖像中各像素點(diǎn)隨時(shí)間的運(yùn)動情況；然后將這個(gè)光流場作為像素?cái)U(kuò)充的導(dǎo)向，使其精確填充視頻中的缺失區(qū)域。DFC-Net 在合成光流場的過程中遵循粗略到精細(xì)的細(xì)化原則，結(jié)合光流量的難樣本挖掘，整個(gè)神經(jīng)網(wǎng)絡(luò)的質(zhì)量得到了進(jìn)一步的提高。

最終，以合成光流場作為導(dǎo)向則可精確填充缺失的視頻區(qū)域。將這個(gè)方法在 DAVIS 和 YouTube-VOS 數(shù)據(jù)集上進(jìn)行定性和定量評估，結(jié)果顯示其運(yùn)行質(zhì)量和速度都表現(xiàn)出了超常的技術(shù)水平。

框架結(jié)構(gòu)

圖 2 Flow-Guided Frame Inpainting

此方法框架包含兩步——第一步是合成缺失的光流場，第二步是以合成光流場為導(dǎo)向，對像素點(diǎn)進(jìn)行擴(kuò)充。

在第一步中，DFC-Net 用來對光流場進(jìn)行由粗略到精細(xì)的合成。DFC-Net 由名為 DFC-S 的三個(gè)類似的子網(wǎng)絡(luò)組成；第一個(gè)子網(wǎng)以相對粗略的比例估計(jì)光流量，并將它們反饋到第二個(gè)和第三個(gè)子網(wǎng)絡(luò)中進(jìn)一步細(xì)化。在第二步中，以合成的光流場為導(dǎo)向，通過不同幀的光流對已知區(qū)域中的像素點(diǎn)進(jìn)行擴(kuò)充，從而填充大部分缺失區(qū)域。然后采用傳統(tǒng)的圖像修復(fù)神經(jīng)網(wǎng)絡(luò)來填充在整個(gè)視頻中剩余的一些細(xì)節(jié)區(qū)域。

正是因?yàn)樵诘谝徊街羞@個(gè)方法對光流的估計(jì)較為精確，所以可以很容易得到部分視頻內(nèi)容消除后連貫的完整視頻。

消除結(jié)果

圖 3 視頻消除過程展示

圖 3 展示了使用 Deep Flow-Guided 進(jìn)行視頻內(nèi)容消除的過程。對于每個(gè)輸入序列（奇數(shù)行），圖片上顯示了帶有缺失區(qū)域覆蓋掩膜的代表幀；在偶數(shù)行中則顯示了最終的消除結(jié)果。

圖 4 與其他方法的結(jié)果對比

圖 4 則向我們展示了 Deep Flow-Guided 方法與 Huang et al 方法進(jìn)行視頻內(nèi)容消除后的結(jié)果對比，可以看出該方法的消除結(jié)果更加精準(zhǔn)，消除部分的銜接更加自然。

更多內(nèi)容，雷鋒網(wǎng) AI 科技評論將其整理如下：

原文鏈接

https://nbei.github.io/video-inpainting.html

論文地址

https://arxiv.org/abs/1905.02884?context=cs

Github 開源地址

https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting

雷鋒網(wǎng) AI 科技評論

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。