AAAI2022丨創(chuàng)新奇智提出雙注意力機制少樣本學習 助力工業(yè)場景細粒度識別

近日，創(chuàng)新奇智關(guān)于雙注意力機制少樣本學習的研究論文《Dual Attention Networks for Few-Shot Fine-Grained Recognition》被全球人工智能頂會AAAI 2022接收為Main Track論文。

AAAI（The National Conference on Artificial Intelligence）是人工智能領(lǐng)域的主要學術(shù)組織之一國際先進人工智能協(xié)會（American Association for Artificial Intelligence），主辦的A類人工智能學術(shù)會議。今年會議共收到9251篇投稿，最終經(jīng)過大量的篩選，錄取率僅為15.0%，創(chuàng)下歷史新低。創(chuàng)新奇智投稿的論文脫穎而出，得益于一直以來在計算機視覺領(lǐng)域深厚的創(chuàng)新力。

創(chuàng)新奇智此次論文中提出的雙注意力機制少樣本學習主要針對少樣本細粒度圖像識別任務。

此方法可用于制造業(yè)等領(lǐng)域標注樣本極少的情況下區(qū)分屬于不同子類的圖像，如不同車型的汽車、不同類型的零件、零件上不同種類的缺陷等，減少實際應用場景中對數(shù)據(jù)量的依賴，并提高識別正確率。

由于細粒度屬性，該識別任務的難度在于需要獲取有限訓練數(shù)據(jù)中細小但具有辨識性的部件級別模式，這使得此問題較為挑戰(zhàn)。

創(chuàng)新奇智提出的由硬/軟雙注意力流構(gòu)成的雙注意力網(wǎng)絡（DUAL ATT-NET），在三個常用的細粒度基準數(shù)據(jù)集上的結(jié)果明顯優(yōu)于其他的現(xiàn)有先進方法。

 論文解讀

概述：

細粒度圖像識別是計算機視覺和模式識別領(lǐng)域的基礎(chǔ)研究課題，但是大量優(yōu)質(zhì)細粒度圖像數(shù)據(jù)的獲取和標注需要耗費大量的人力和財力，這為細粒度圖像識別的推廣和使用帶來了巨大的障礙。

少樣本學習是目前研究的熱門方向之一，能夠極大地減少細粒度圖像識別對于標注樣本的依賴，故少樣本的設(shè)定下進行細粒度圖像識別的相關(guān)研究，內(nèi)容和成果均符合實際應用的需求。

本文通過卷積神經(jīng)網(wǎng)絡與注意力機制提取圖像中的部件與全局特征，通過基于圖的多示例學習對局部特征進行建模，豐富了細粒度部分的內(nèi)在結(jié)構(gòu)相關(guān)性，通過注意力機制發(fā)掘?qū)毩６葓D像識別有用的微妙全局信息，從而得到更高的少樣本細粒度圖像識別的準確率。

主要貢獻

1、提出了一種由雙注意力流構(gòu)成的元學習方式的新型少樣本細粒度框架，以獲取細粒度定制圖像嵌入表示。

2、開發(fā)了包含硬/軟注意力機制的雙注意力網(wǎng)絡，不僅實現(xiàn)細粒度物體部分間重要關(guān)聯(lián)的顯式構(gòu)建，而且能夠隱式獲取細微但有辨識性的細節(jié)。

3、基于三個常用的細粒度基準數(shù)據(jù)集進行了綜合的實驗，本文提出的模型在識別準確性上明顯優(yōu)于其他解決方案。

這是一種基于雙注意力流的少樣本細粒度圖像識別方法，包括以下步驟：

步驟1：提取樣本的特征圖（feature map），生成特征圖的空間注意力圖（spatial attention map）引導，利用注意力引導機制，生成用于軟注意力流的加權(quán)特征圖，同時篩選出用于硬注意力流的深度描述符（deep descriptor）。

步驟2：加權(quán)特征圖使用全局聚合操作得到全局嵌入特征；將一個樣本篩選出的所有深度描述符建模為一個多示例學習（multi-instance learning）的包（bag）, 使用基于圖的多示例學習方法挖掘樣本部件之間的關(guān)系，得到部件嵌入特征。

步驟3：將兩個注意力流得到的全局嵌入特征和部件嵌入特征拼接得到樣本最終的嵌入表示，基于原型表示和最近鄰方法進行類別預測和模型訓練。

本方法與現(xiàn)有技術(shù)相比，其顯著優(yōu)點為：

（1）本方法使用了兩個注意力流分別得到了部件級別的關(guān)鍵信息和全局聚合信息，不僅對細粒度圖像識別提供了區(qū)分新的部件級信息，也補充了對細粒度圖像識別有用的微妙全局信息。

（2）對于硬注意力流，使用多示例方法將篩選出的有用深度描述符建模為包，并基于圖的方法對包進行編碼一體化得到對應細粒度部件的深度描述符的整體表示，豐富了細粒度部分的內(nèi)在結(jié)構(gòu)相關(guān)性。

（3）與基于雙線性池的方法相比，我們的方法復雜度更低更加易于訓練且有更高的識別效率。

 試驗結(jié)果

在三個常用的少樣本細粒度圖像識別數(shù)據(jù)集 (CUB Birds，Stanford Dogs和Stanford Cars) 上進行了實驗，上圖實驗結(jié)果表明，論文提出的方法幾乎在所有數(shù)據(jù)集上均明顯優(yōu)于其他基準方法。

上圖結(jié)果顯示出我們的模型對語義簇數(shù)的魯棒性，并且當簇數(shù)為3時識別的準確率最高。

我們提出的基于MIL的聚合方法與原始MIL池化方法的效果，上表結(jié)果顯示無論是否與全局特征進行連接，我們的方法均表現(xiàn)出較好的效果。

從上表結(jié)果可見，引入本文中考慮細粒度部件間關(guān)系的方法會顯著提高少樣本低粒度識別的準確性。

最后，我們將實驗中一些硬/軟注意力樣例進行可視化，上圖中第一排為輸入圖像；第二排為硬注意力選取的深度描述符的位置，可見均對應物體的細粒度部分，如頭、耳、尾、輪胎等；第三排展示軟注意力，更多的細節(jié)細粒度模式能夠被軟注意力關(guān)注到。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))