霧霾太重？深度神經(jīng)網(wǎng)絡(luò)教你如何圖像去霧

雷鋒網(wǎng)按：本文作者蔡博侖，華南理工大學(xué)在讀博士研究生。主要研究方向，機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺，圖像處理等。

導(dǎo)讀

北京城被中度污染天氣包圍，到處都是灰蒙蒙一片——霧霾天又來(lái)了。從11日起，霧霾天氣就開始出現(xiàn)，根據(jù)北京環(huán)境監(jiān)測(cè)中心最新預(yù)報(bào)，這一輪霧霾短期內(nèi)不會(huì)明顯好轉(zhuǎn)，尤其是今明兩天，北京空氣質(zhì)量維持在4級(jí)中度污染，霧霾會(huì)一直持續(xù)到本周日。

霧霾是特定氣候與人類活動(dòng)相互作用的結(jié)果。高密度人口的經(jīng)濟(jì)生產(chǎn)及社會(huì)活動(dòng)會(huì)排放大量細(xì)顆粒物，一旦排放量超過(guò)大氣循環(huán)和承載能力，懸浮顆粒受靜穩(wěn)天氣的影響持續(xù)積聚，極易出現(xiàn)大范圍的霧霾。

一、圖像去霧的核心

現(xiàn)有的圖像去霧（Image Dehazing）技術(shù)離不開一個(gè)簡(jiǎn)單的自然模型——大氣散射模型（Atmospheric Scattering Model）。大氣散射模型描述了，在霧霾和光照的共同作用下的成像機(jī)制：

陽(yáng)光在物體表面形成反射光 J(x)，反射光在穿過(guò)霧霾的過(guò)程發(fā)生散射，只有部分能量 J(x)t(x) 能到達(dá)攝像頭。與此同時(shí)，陽(yáng)光也在懸浮顆粒表面散射形成大氣光 α 被攝像頭接收。因此，攝像頭中的成像 I(x) 可由兩部分組成，透射的物體亮度 J(x)t(x) 和散射的大氣光照 α(1－t(x))：

其中，t(x) 是媒介透射率（medium transmission），顧名思義表示能順利透過(guò)霧霾到達(dá)攝像頭的比率。因此，透射率跟物體與攝像頭距離 d(x) 成反比，離攝像頭越遠(yuǎn)的物體受霧霾影響更大。當(dāng)距離 d(x) 趨于無(wú)窮大時(shí)，透射率 t(x) 趨于零，I(x) 趨近于 α，α=max_{y∈{x|t(x)≤t0}}I(y)。綜上所述，去霧的核心是如何更精確地估計(jì)媒介透射率 t(x)。

二、基于人工特征

手工特征是傳統(tǒng)機(jī)器視覺的基礎(chǔ)，講究的是熟能生巧，依賴的是實(shí)踐出真知。通過(guò)“觀察→經(jīng)驗(yàn)→設(shè)計(jì)”構(gòu)建各式各樣的特征來(lái)滿足各式各樣的任務(wù)需求。圖像去霧技術(shù)也是沿著手工特征逐步地發(fā)展起來(lái)。

（1）暗通道先驗(yàn)^[2]（Dark Channel Prior，DCP）

說(shuō)起去霧特征，不得不提起的暗通道先驗(yàn)（DCP）。大道之行在于簡(jiǎn)，DCP作為CVPR 2009的最佳論文，以簡(jiǎn)潔有效的先驗(yàn)假設(shè)解決了霧霾濃度估計(jì)問題。

觀察發(fā)現(xiàn)，清晰圖像塊的RGB顏色空間中有一個(gè)通道很暗（數(shù)值很低甚至接近于零）。因此基于暗通道先驗(yàn)，霧的濃度可由最暗通道的數(shù)值近似表示：

（2）最大對(duì)比度^[3]（Maximum Contrast，MC）

根據(jù)大氣散射模型，霧霾會(huì)降低物體成像的對(duì)比度：Σ_x‖ΔI(x)‖=tΣ_x‖ΔJ(x)‖≤Σ_x‖ΔJ(x)‖。因此，基于這個(gè)推論可利用局部對(duì)比度來(lái)近似估計(jì)霧霾的濃度。同時(shí)，也可以通過(guò)最大化局部對(duì)比度來(lái)還原圖像的顏色和能見度。

（3）顏色衰減先驗(yàn)^[4]（Color Attenuation Prior，CAP）

顏色衰減先驗(yàn)（CAP）是一種與暗通道先驗(yàn)（DCP）相似的先驗(yàn)特征。觀察發(fā)現(xiàn)霧霾會(huì)同時(shí)導(dǎo)致圖像飽和度的降低和亮度的增加，整體上表現(xiàn)為顏色的衰減。根據(jù)顏色衰減先驗(yàn)，亮度和飽和度的差值被應(yīng)用于估計(jì)霧霾的濃度：

三、基于深度智能

人的視覺系統(tǒng)并不需依賴這些顯式的特征變換，便可以很好地估計(jì)霧的濃度和場(chǎng)景的深度。DehazeNet是一個(gè)特殊設(shè)計(jì)的深度卷積網(wǎng)絡(luò)，利用深度學(xué)習(xí)去智能地學(xué)習(xí)霧霾特征，解決手工特征設(shè)計(jì)的難點(diǎn)和痛點(diǎn)。

（1）   特征提取（Feature Extraction）

特征提取有別于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，DehazeNet采用“卷積+Maxout^[5]”的結(jié)構(gòu)作為網(wǎng)絡(luò)第一層：

并且可以證明，“卷積+Maxout”等價(jià)于傳統(tǒng)的手工去霧特征：

當(dāng)W₁是反向（Opposite）濾波器,通道的最大等價(jià)于通道的最小值，等價(jià)于暗通道先驗(yàn)（DCP）；當(dāng)W₁是環(huán)形（Round）濾波器, 等價(jià)于對(duì)比度提取，等價(jià)于最大對(duì)比度（MC）；當(dāng)W₁同時(shí)包含反向（Opposite）濾波器和全通（All-pass）濾波器，等價(jià)于RGB到HSV顏色空間轉(zhuǎn)換，等價(jià)于顏色衰減先驗(yàn)（CAP）。

此外，從機(jī)器學(xué)習(xí)角度看，Maxout是一種樣條函數(shù)，具有更強(qiáng)的非線性擬合能力，如下圖（d）。

（2）   多尺度映射（Multi-scale Mapping）與局部極值（Local Extremum）

多尺度特征會(huì)提高不同分辨率下特征提取的魯棒性。傳統(tǒng)去霧方法中也會(huì)采用不同尺度的濾波器（均值、中值、最小值）來(lái)增強(qiáng)特征在不同尺度下的魯棒性。借鑒于GoogLeNet中的inception結(jié)構(gòu)，采用3組不同尺度（3×3，5×5，7×7）的濾波器實(shí)現(xiàn)DehazeNet的尺度魯棒性：

局部極值（MAX Pooling）是深度卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典操作。局部極值約束了透射率的局部一致性，可以有效抑制透射率的估計(jì)噪聲。此外，局部極值也對(duì)應(yīng)于暗通道先驗(yàn)（DCP）的局部最小值和最大對(duì)比度（MC）的局部最大值。

（3）   非線性回歸（Non-linear Regression）

大氣透射率是一個(gè)概率（0到1），不可能無(wú)窮大，也不可能無(wú)窮小。受到Sigmoid和ReLU激勵(lì)函數(shù)的啟發(fā)，提出雙邊糾正線性單元（Bilateral Rectified Linear Unit，BReLU），在雙邊約束的同時(shí)，保證局部的線性。

BReLU的非線性回歸對(duì)應(yīng)于傳統(tǒng)去霧方法中的邊緣抑制操作（如DCP和CAP）。雙邊約束引入先驗(yàn)信息縮小參數(shù)搜索空間，使得網(wǎng)絡(luò)更加容易訓(xùn)練；局部線性避免Sigmoid函數(shù)梯度不一致帶來(lái)的收斂困難。

DehazeNet基于手工特征，又超出傳統(tǒng)方法，從人工到智能。因此，DehazeNet取得了更好的去霧結(jié)果，更多的對(duì)比實(shí)驗(yàn)和代碼資源：

• 項(xiàng)目主頁(yè)

• GitHub代碼

• BReLU+Caffe

• 其他復(fù)現(xiàn)（1）；（2）

參考文獻(xiàn)

[1] Cai B, Xu X, Jia K, et al. DehazeNet: An End-to-End System for Single Image Haze Removal [J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[2] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(12): 2341-2353.

[3] Tan R T. Visibility in bad weather from a single image[C]//Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. IEEE, 2008: 1-8.

[4] Zhu Q, Mai J, Shao L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[5] Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. ICML (3), 2013, 28: 1319-1327.

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。