基于百度EasyDL定制化圖像識別平臺的海洋魚類識別方法

本文作者：范偉亞

【目的】魚類識別對漁業(yè)資源的開發(fā)利用有著重要的意義。針對海底環(huán)境惡劣、拍攝環(huán)境亮度低、場景模糊的實際情況導(dǎo)致海底觀測視頻品質(zhì)差，視頻中的魚類識別難的問題以及現(xiàn)有魚類識別方法存在的魚類標注數(shù)據(jù)集過少導(dǎo)致訓(xùn)練的深度模型準確度不高的問題。

【方法】本文提出了一種基于百度EasyDL定制化圖像識別平臺的海底魚類識別方法。首先使用伽馬校正法和暗通道先驗算法對圖片數(shù)據(jù)進行預(yù)處理，提高圖片亮度和清晰度，接著利用百度EasyDL定制化圖像識別平臺構(gòu)建初魚類識別模型，再使用數(shù)據(jù)增強等方法對模型進行調(diào)優(yōu)，提高模型識別能力。

【結(jié)果】實驗結(jié)果表明，與其他識別方法相比，該方法可以有效提高魚類識別的準確率。

1  引言

魚類不但有一定的食用價值，而且還有很高的藥用價值，所以世界各國對魚類資源的開發(fā)和利用都非常重視，在對魚類資源開發(fā)過程中，必須對魚類進行識別，了解其分布情況，但魚的種類繁多，形狀大小相似，識別起來較為困難。因此研究魚類識別的方法，對我國漁業(yè)資源的開發(fā)利用具有重要的學(xué)術(shù)價值和經(jīng)濟價值，對于魚類的分布情況，傳統(tǒng)的研究方法以出海捕撈為主，使用延繩釣探捕、拖網(wǎng)探捕等常用捕撈技術(shù)。這種傳統(tǒng)調(diào)研方式固然有效，但是對于相關(guān)科研人員來說，由于調(diào)研過程周期長，耗費資源太多，而且結(jié)果存在一定的延遲性，大大影響研究人員研究成果的質(zhì)量。還有基于聲吶系統(tǒng)的方法，對魚體回波信號進行處理分析，從聲學(xué)信號中提取適于分類的特征進行識別，但是由于聲吶系統(tǒng)會對魚類造成一定的傷害，所以也不能頻繁實施，針對上述問題，國家于“十二五”期間提出將全面推動國家海底觀測平臺的建設(shè)，其中就包括通過部署水下攝像器材來實時監(jiān)控關(guān)鍵海洋生物的重要務(wù)，這樣就可以通過分析觀測視頻來代替出海調(diào)研，而且保證了獲得數(shù)據(jù)的實時性，能夠極大地提高科研人員的研究效率。

傳統(tǒng)的機器學(xué)習(xí)方法用于魚類識別的實現(xiàn)過程為：獲取魚圖像、提取特征、構(gòu)建分類器，將特征向量輸入分類器以實現(xiàn)種類識別。如：Phenoix等人[1]采用貝葉斯和高斯核混合模型對魚類特征進行分層分類的方法來實現(xiàn)魚的分類識別；杜偉東等人[2]提出了一種提取多方位聲散射數(shù)據(jù)的小波包系數(shù)奇異值、時域質(zhì)心及離散余弦變換系數(shù)特征,并進行特征融合，最后用支持向量機分類的魚識別方法；雖然這些方法都可以實現(xiàn)魚類識別，但是這些方法這類方法已不適用于當前的視頻或圖片數(shù)據(jù)，并且方法嚴重依賴于人工選擇特征，而人工選擇特征往往只能選擇表層特征，很難挖掘出有鑒別力的特征。

和傳統(tǒng)機器學(xué)習(xí)方法相比，近年來崛起的深度學(xué)習(xí)方法以數(shù)據(jù)為驅(qū)動，能夠從大量數(shù)據(jù)中通過卷積等操作自動學(xué)習(xí)特征表示，很好的解決了人工選擇特征的問題。Abdelouahid等人[3]和顧?quán)嵠降热薣4]都提出了采用深度網(wǎng)絡(luò)模型進行魚類識別的方法，雖然這些方法在識別性能上都取得了引人矚目的效果，但是依然存在以下問題：模型識別性能的提高需要大量的魚類標注數(shù)據(jù)集用于學(xué)習(xí)訓(xùn)練，而標注數(shù)據(jù)工作費時且昂貴，故在實際應(yīng)用中難以滿足。

為此，針對以問題，本文提出了一種基于百度EasyDL定制化圖像識別平臺的海底魚類識別方法。利用百度EasyDL定制化圖像識別平臺解決目標數(shù)據(jù)集訓(xùn)練數(shù)據(jù)過小和數(shù)據(jù)分布差異問題，而且通過引入伽馬校正法和暗通道先驗算法對數(shù)據(jù)進行預(yù)處理，使數(shù)據(jù)特征具有更好的辨別能力，同時使用數(shù)據(jù)增強方法對模型進行調(diào)優(yōu)，使得訓(xùn)練得到的模型的泛化性更強。

2  相關(guān)工作

2.1　海洋魚類識別系統(tǒng)

圖 1 海底觀測平臺

海底觀測平臺的系統(tǒng)結(jié)構(gòu)如圖1所示，位于海面以下的水下接駁器統(tǒng)一接收來自各個傳感器的采集數(shù)據(jù)，包括水下攝像器材采集的視頻數(shù)據(jù)，然后將數(shù)據(jù)傳輸至位于陸地上的岸基站。岸基站接收并緩存所有來自海底的數(shù)據(jù)，按約定的協(xié)議和規(guī)則轉(zhuǎn)發(fā)給大數(shù)據(jù)中心。大數(shù)據(jù)中心由多個子系統(tǒng)構(gòu)成，負責對不同類型數(shù)據(jù)的轉(zhuǎn)化、存儲、處理、分析，其中包括本文將要研究的海洋魚類識別系統(tǒng)，負責對海底觀測視頻的處理分析。本文采用開源計算機視覺工具軟件OpenCV來讀取視頻數(shù)據(jù)，將視頻分解為圖片幀，同時使用背景差分算法過濾無用幀后，針對每一幀進行預(yù)處理和識別分析。

2.2  數(shù)據(jù)預(yù)處理

由于海底圖像對各種噪聲和干擾是比較敏感的,在不同光照條件下,懸浮物等都對最終成像和識別有很大的影響。而且從圖像的形成過程考慮,圖像采集是將一個三維目標映射成為一幅二維圖像,不可避免會有信息的丟失,所以本質(zhì)上圖像就具有一種模糊性。另一方面由于海水的能見度低, 透明度只有空氣的千分之一,使得采集到的圖像信噪比較低、紋理模糊。再次由于海洋中各種懸浮物的存在, 也會對光波(也就是電磁波)產(chǎn)生散射和吸收作用 ,導(dǎo)致采集到的海底圖像產(chǎn)生嚴重的灰白效應(yīng)。再加上海流的影響以及攝像機鏡頭的抖動等因素, 造成圖像部分失真現(xiàn)象等因素都會影響最終識別的效果。

下面是幾幅比較典型的海底魚類圖像,我們可以看到,采集的圖像的對比度都較低,圖像較為模糊：

   

圖1 海底魚類圖像圖

因此，本文先使用提高亮度、提高清晰度對數(shù)據(jù)進行預(yù)處理的方法，盡可能消除亮度低和模糊帶來的影響。對于提高亮度的方法，本文選擇伽馬校正法[5]，使用指數(shù)函數(shù)調(diào)整每個灰度單元，計算公式如下：

                                                                 （1）

亮度的變化由參數(shù)γ來控制：當γ<1時，pi,j[k]的值會變小，亮度會提高。反之，則pi,j[k]的值會變大，亮度會降低。

對于提高清晰度的方法，通過參考基于暗通道先驗算法去霧的研究[6]。該研究認為霧天拍攝圖片的模糊是由空氣中的雜質(zhì)對光的散射造成的。而海底拍攝圖片的模糊也恰好是由水中的雜質(zhì)對光的散射造成的，于是可以將其適用于海底拍攝圖片，所以在該研究的基礎(chǔ)上，針對海底環(huán)境的特點作了改進，對每個灰度單元進行優(yōu)化，計算公式如下：

    （2）

綜合上述提高亮度和清晰度的過程，預(yù)處理的步驟如下：

圖3所示展示預(yù)處理方法對圖片品質(zhì)的提升效果:

        a原始圖                       b預(yù)處理后圖片

圖2 預(yù)處理效果對比圖

從圖3中可以看出，本文提出的預(yù)處理方法可以比較有效地提高圖片的亮度以及清晰度。但是面對品質(zhì)極差的圖片，預(yù)處理方法也顯露出了局限性，無法將其品質(zhì)提高到魚類各項關(guān)鍵特征都清晰的程度。

2.3  模型構(gòu)建及訓(xùn)練

本文以臺灣電力公司、臺灣海洋研究所和墾丁國家公園在2010年10月1日至2013年9月30日期間，在臺灣南灣海峽、蘭嶼島和胡比湖的水下觀景臺收集的魚類圖像數(shù)據(jù)集合--Fish4Knowledge(F4K)數(shù)據(jù)集[7]作為實驗數(shù)據(jù)。該數(shù)據(jù)集包括23類魚種，共27370張魚的圖像，數(shù)據(jù)集如圖4所示。

圖3 Fish4Knowledge(F4K)數(shù)據(jù)集

將實驗數(shù)據(jù)上傳至百度EasyDL數(shù)據(jù)中心，如圖4所示，采用百度EasyDL定制化圖像識別平臺構(gòu)建魚類圖像識別模型，由于魚類形狀大小相似，品種差異小，可辨識性較小，故選擇AutoDL Transfer算法進行模型訓(xùn)練，AutoDL Transfer模型是百度研發(fā)的AutoDL技術(shù)之一，結(jié)合模型網(wǎng)絡(luò)結(jié)構(gòu)搜索、遷移學(xué)習(xí)技術(shù)、并針對用戶數(shù)據(jù)進行自動優(yōu)化的模型，與通用算法相比，雖然訓(xùn)練時間較長，但更適用于細分類場景。如圖5所示。

圖4 數(shù)據(jù)上傳

圖5 模型構(gòu)建

2.3  預(yù)處理有效性實驗

為了證明本文所提預(yù)處理方法的有效性，本文在F4K數(shù)據(jù)集上做了原始的數(shù)據(jù)和基于預(yù)處理的方法的數(shù)據(jù)模型性能對比實驗，實驗在參數(shù)相同的條件下，使用百度EasyDL定制化圖像識別平臺對數(shù)據(jù)進行訓(xùn)練，評估對比結(jié)果如表1所示：

表2性能對比

表1的結(jié)果顯示，在魚類識別上本文所提的預(yù)處理方法比使用原始數(shù)據(jù)有更好的識別性能，準確率及召回率等各項指標都要遠遠好于使用原始數(shù)據(jù)訓(xùn)練的模型。

2.4  模型進一步調(diào)優(yōu)

為了更好的提高模型識別的準確率，本文采用數(shù)據(jù)增強的方法對數(shù)據(jù)進行擴充，增加數(shù)據(jù)的規(guī)模，提高模型的泛化性能。以前，若想對訓(xùn)練數(shù)據(jù)進行數(shù)據(jù)增強的操作，需要手動調(diào)整圖片來對模型訓(xùn)練樣本進行擴展，例如旋轉(zhuǎn)、移動、縮放、翻轉(zhuǎn)圖片等方式，過程如圖6所示。

圖6 數(shù)據(jù)增強處理

如今，EasyDL的圖像分類模型訓(xùn)練中，可以通過平臺提供的調(diào)參功能來自動執(zhí)行上述增強操作，優(yōu)化數(shù)據(jù)豐富度，開發(fā)者再也不用手工重復(fù)處理原始數(shù)據(jù)啦！

表3 數(shù)據(jù)增強后數(shù)據(jù)集大小

表4 數(shù)據(jù)增強后性能對比

 

2.5  模型對比實驗

為了進一步證明本文模型的優(yōu)勢，將本文模型與其他模型，包括目前流行的深度網(wǎng)絡(luò)模型VGGnet16、VGGnet19以及文獻[3]中的PreCNN-SVM魚類識別方法和文獻[4]中Alex-FT-SVM魚類識別方法，在F4K數(shù)據(jù)集上進行性能評估和比較，實驗對比結(jié)果如表2所示。

表5不同方法的魚類識別性能比較

 

表2的各種方法對比結(jié)果來看，本文的方法相對于其他方法識別準確率有較大提升，獲得了99.6%的魚類識別精度。本方法充分利用百度EasyDL定制化圖像識別平臺優(yōu)勢，可以很好地解決魚類識別任務(wù)訓(xùn)練數(shù)據(jù)不足的問題，同時通過引入伽馬校正法和暗通道先驗算法對數(shù)據(jù)進行預(yù)處理，使數(shù)據(jù)特征具有更好的辨別能力，使用數(shù)據(jù)增強方法對模型進行調(diào)優(yōu)，進一步提高了模型識別的準確率。

3　結(jié)束語

海底觀測環(huán)境亮度低、場景模糊，導(dǎo)致采集的視頻品質(zhì)差，直接識別視頻中的海洋魚類效果不好。本文提出了預(yù)處理方法提高圖片品質(zhì)、百度EasyDL定制化圖像識別等方法，實現(xiàn)對較差品質(zhì)圖片的準確識別。針對亮度低和場景模糊的問題，在預(yù)處理時首先使用伽馬校正法提高了圖片的亮度，然后參考基于暗通道先驗算法的去霧研究針對海底環(huán)境的特點作了改進，提高了圖片的清晰度。由于目前還沒有大量標記數(shù)據(jù)，本文使用百度EasyDL定制化圖像識別及AutoDL Transfer算法，解決了訓(xùn)練數(shù)據(jù)少導(dǎo)致模型效果差的問題。從實驗結(jié)果可以看出，本文所提方法可以以高達99.6%的準確率識別海底魚類的圖片，驗證了方法的有效性。然而，本文的方法還存在不足，其中的關(guān)鍵在于海底環(huán)境的特殊性，提高圖片品質(zhì)的預(yù)處理方法還沒有完全結(jié)合海底環(huán)境的特點，提高圖片品質(zhì)的能力有限。下一步的研究工作將是深入分析、挖掘海底環(huán)境的特點，提出針對性更強的、更有效的預(yù)處理方法。

參考文獻：

[1]Huang, Phoenix X., Bastiaan J. Boom, and Robert B. Fisher. "Hierarchical classification with reject option for live fish recognition." Machine Vision and Applications 2015,26(1): 89-102.

[2]杜偉東, 李海森, 魏玉闊, 等. 基于 SVM 的多方位聲散射數(shù)據(jù)協(xié)作融合魚分類與識別[J]. 農(nóng)業(yè)機械學(xué)報, 2015，61(3):39-43.

[3]Tamou A B, Benzinou A, Nasreddine K, et al. Underwater Live Fish Recognition by Deep Learning[C]//International Conference on Image and Signal Processing. Springer, Cham, 2018,171(6): 275-283.

[4]顧?quán)嵠剑烀?基于深度學(xué)習(xí)的魚類分類算法研究[J].計算機應(yīng)用與軟件，2018，35(1):200-205.

[5]蔣明敏.基于FPGA的LCD伽馬校正研究[D].南京,南京林業(yè)大學(xué),2016:25-27.(JIANG M M.Research on LCD Gamma Correction Based on FPGA[D].Nanjing,NanjingForestryUniversity,2016:25-28.)

[6]HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(12): 2341-2353.

[7]B J, Huang P X, He J, etal. Supporting ground-truth annotation of image datasets using clustering[C]//ICPR. 2012,21(1): 1542-1545.