「合并」 樣本和標(biāo)簽? IBM 為多標(biāo)簽小樣本圖像分類帶來新進(jìn)展！| CVPR 2019

雷鋒網(wǎng) AI 科技評論按：目前大多數(shù)關(guān)于圖像小樣本分類的研究工作都是研究單標(biāo)簽場景，每個訓(xùn)練圖像只包含一個對象，然而現(xiàn)實中的場景中以多對象多標(biāo)簽居多，因此對于多標(biāo)簽小樣本的圖像分類研究更 具現(xiàn)實意義。IBM 的研究人員對多標(biāo)簽小樣本的圖像分類進(jìn)行了研究，并在 CVPR 2019 大會上進(jìn)行了論文分享，相關(guān)成果發(fā)表在 IBM 官網(wǎng)博客上，雷鋒網(wǎng) AI 科技評論編譯如下。

當(dāng)我們將人工智能和機(jī)器學(xué)習(xí)擴(kuò)展到面向企業(yè)和工業(yè)界應(yīng)用的更廣泛的任務(wù)集時，從更少的數(shù)據(jù)集中學(xué)到更多是必要的。數(shù)據(jù)增強是一個重要的工具，特別是在沒有足夠的訓(xùn)練數(shù)據(jù)的情況下，它通過自動合成新的訓(xùn)練樣本來改進(jìn)學(xué)習(xí)。小樣本學(xué)習(xí)就是這樣的一個例子，其每個類別只有一個或很少的樣本可用。之前大多數(shù)關(guān)于圖像小樣本分類的研究工作都是研究「單標(biāo)簽」場景，其中每個訓(xùn)練圖像只包含一個對象，因此只有一個類別標(biāo)簽。然而，更具有挑戰(zhàn)性和現(xiàn)實意義的場景是多標(biāo)簽、小樣本的圖像分類，其訓(xùn)練數(shù)據(jù)樣本較少，圖像具有多個標(biāo)簽，而之前的研究工作尚未對該場景進(jìn)行廣泛的研究探索。

為了研究上述課題，我們在 2019 年 6 月舉行的 IEEE 計算機(jī)視覺與模式識別（CVPR 2019）大會上發(fā)表了相關(guān)論文，對多標(biāo)簽、小樣本圖像分類進(jìn)行了研究。本論文題目為《LaSO：面向多標(biāo)簽小樣本學(xué)習(xí)的標(biāo)簽設(shè)置操作網(wǎng)絡(luò)》（「LaSO：Label-Set Operations networks for multi-label few-shot learning」，論文地址：https://www.research.ibm.com/artificial-intelligence/publications/paper/?id=LaSO:-Label-Set-Operations-Networks-for-Multi-label-Few-shot-Learning），提出了一種訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的新方法，即將圖像樣本對與一定的標(biāo)簽集相結(jié)合，合成具有「合并」標(biāo)簽的新樣本。例如，考慮圖 1 中的兩幅圖像，一幅描繪的是「一個人遛羊和狗」，另一幅描繪的是「一個人抱著一只狗和一只貓」。第一張圖片的標(biāo)簽是「人」、「羊」和「狗」，第二張是「人」、「狗」和「貓」。通過給定的這兩幅圖像，LaSO 網(wǎng)絡(luò)合成了新的訓(xùn)練樣本，這些樣本通過對標(biāo)簽執(zhí)行聯(lián)合、交叉和減法操作而產(chǎn)生。「聯(lián)合」生成了一個標(biāo)有「人」、「狗」、「貓」和「羊」的樣本，「交叉」和「減法」生成了分別標(biāo)有「人」、「狗」和「羊」的多個樣本。LaSO 網(wǎng)絡(luò)直接在深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征空間進(jìn)行操作。 

圖 1：在兩幅圖像上進(jìn)行 LaSO 網(wǎng)絡(luò)操作的案例

作為一個單一的多任務(wù)網(wǎng)絡(luò)，LaSO 網(wǎng)絡(luò)通過使用特定的損失函數(shù)共同訓(xùn)練，以使其操作適應(yīng)相應(yīng)的標(biāo)簽集操作任務(wù)（圖 2）。 

圖 2：支持交叉、聯(lián)合和減法操作標(biāo)簽集的 LaSO 網(wǎng)絡(luò)體系結(jié)構(gòu)

多任務(wù)網(wǎng)絡(luò)是在一個大規(guī)模的多標(biāo)簽數(shù)據(jù)集上進(jìn)行訓(xùn)練的，每個圖像的多個標(biāo)簽與出現(xiàn)在圖像上的目標(biāo)相對應(yīng)。我們通過使用不同的方法對產(chǎn)生的 LaSO 網(wǎng)絡(luò)進(jìn)行了測試，以評估它們在操作多標(biāo)簽內(nèi)容方面的潛力。這些測試包括使用在真實、留存的多標(biāo)簽數(shù)據(jù)上經(jīng)過預(yù)訓(xùn)練的分類器對生成的示例進(jìn)行分類，以及使用 LaSO 網(wǎng)絡(luò)合成的特征向量來測試源自留存的測試集的檢索（圖 3）。 

圖 3：基于合成 LaSO 向量進(jìn)行的圖像檢索的定性結(jié)果

LaSO 網(wǎng)絡(luò)被設(shè)計成直接在圖像表征進(jìn)行操作，而不需要任何額外的輸入來控制操作。換句話說，就是不需要人工干預(yù)來指示它們要操作哪些標(biāo)簽。因此，在訓(xùn)練過程中，它們可以潛在地泛化到包含尚未見過的新類別的圖像上。在這方面，LaSO 網(wǎng)絡(luò)可以用來挑戰(zhàn)多標(biāo)簽小樣本的分類任務(wù)。在這種情況下，LaSO 網(wǎng)絡(luò)從所提供的訓(xùn)練樣本隨機(jī)對中合成新的訓(xùn)練樣本。在本文中，我們將 LaSO 網(wǎng)絡(luò)的這種能力應(yīng)用到一個新的多標(biāo)簽小樣本分類基準(zhǔn)中，希望能引起對這一重要問題的更多研究。通過使用 LaSO 網(wǎng)絡(luò)在所給出的基準(zhǔn)上進(jìn)行數(shù)據(jù)增強的結(jié)果表明，將其推廣到新的類別具有很強的潛力（圖 4）。

 

圖 4：LaSO 增強表現(xiàn)（底部四行）VS 基準(zhǔn)（頂部三行）

多標(biāo)簽小樣本分類是一項全新的、具有挑戰(zhàn)性和實用性的研究工作。我們?yōu)檫@個研究工作提出了第一個基準(zhǔn)。在該基準(zhǔn)上利用神經(jīng)網(wǎng)絡(luò)對 LaSO 標(biāo)簽集操作進(jìn)行了評估，結(jié)果表明 LaSO 具有很好的應(yīng)用潛力。我們希望本次工作能激勵更多的研究人員去研究這個有趣的問題。

via :  https://www.ibm.com/blogs/research/2019/06/few-shot-learning/   雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。