<mark id="oztn4"></mark>
0
| 本文作者： 奕欣 | 2018-10-10 14:54 |
雷鋒網(wǎng) AI 科技評論按：本文由上海交通大學副教授牛力為 AI 科技評論提供的獨家稿件，未經(jīng)許可不得轉載。
在傳統(tǒng)的機器學習中，訓練和測試都在相同的種類集合上進行。而在零示例學習 (zero-shot learning) 中，訓練種類集合和測試種類集合沒有重合，即在屬于訓練種類集合的數(shù)據(jù)上訓練模型，然后在屬于測試種類集合的數(shù)據(jù)上進行預測。訓練種類和測試種類需要通過所有種類的語義信息建立聯(lián)系，才能把在訓練種類的分類模型用于測試種類。常見的種類語義信息包括屬性 (attribute) 和詞向量 (word vector) 等等。其中屬性需要人工標注，但是更精確，因而效果更好。我們把圖像的視覺特征稱為視覺空間 (visual space)，把種類的語義信息稱為語義空間 (semantic space)。現(xiàn)有的一大類零示例學習的方法是把視覺空間映射到語義空間，或者把語義空間映射到視覺空間，或者把兩者映射到共同的子空間。其中學習到的映射稱為視覺語義映射 (visual-semantic mapping)。比如語義空間有一種屬性是 has_tail，我們需要學習從視覺空間到該屬性的映射，這樣給定一張新的動物圖片，我們就可以判斷它有沒有尾巴。在這種情況下，視覺語義映射相當于由若干個屬性分類器構成。但是對于不同種類來說，視覺語義映射有很大的差異。比如斑馬和豬都有尾巴，但是它們尾巴的視覺呈現(xiàn)差別很大，因而對應的屬性分類器差異也很大。如果對于所有種類使用相同的視覺語義映射，在測試種類上得到的效果就會大打折扣。這個問題被稱為零示例學習中的映射域遷移 (projection domain shift) 問題。
之前大多數(shù)解決映射域遷移的方法都是在訓練階段使用未標注的測試種類數(shù)據(jù)，為訓練種類和測試種類學習一個共同的映射，或者為訓練種類和測試種類分別學習一個映射。但是由于各個種類的映射之間差異性都很大，僅僅學習一個或兩個映射是遠遠不夠的。所以我們提出為每一個種類都學習一個不同的視覺語義映射 (category-specific visual-semantic mapping)，文章發(fā)表在期刊 Transaction on Image Processing (T-IP) . 具體來說，我們先提出了一種傳統(tǒng)的方法 AEZSL，利用種類之間的相似關系為每一個測試種類訓練一個視覺語義映射。但是對于大規(guī)模任務來說這種訓練成本十分高昂，所以我們又提出一種基于深度學習的方法 DAEZSL，只需要訓練一次就可以應用到任意測試種類。下面分別介紹 AEZSL 和 DAEZSL。
我們的方法基于 Embarrassingly Simple Zero-Shot Learning (ESZSL)。ESZSL 的表達式如下，
其中 X 是視覺特征，A 是語義信息，W 是視覺語義映射，Y 是種類標簽信息。ESZSL 為所有種類學習一個相同的視覺語義映射 W。我們在 ESZSL 的基礎上稍作修改，利用每一個測試種類和所有訓練種類的相似關系（根據(jù)種類的語義信息計算得到），為每一個測試種類學一個單獨的視覺語義映射，表達式如下：
其中 Wc 是第 c 個測試種類的視覺語義映射，Sc 是第 c 個測試種類和所有訓練種類的相似矩陣。這樣就可以利用種類之間的相似關系把視覺語義映射遷移到各個測試種類。但是我們的 AEZSL 需要對每一個測試種類都訓練一個視覺語義映射，對于大規(guī)模的任務訓練成本非常高昂。因此我們又提出了一種基于深度學習的方法 Deep AEZSL (DAEZSL)，只需要在訓練種類上訓練一次就能應用到任意測試種類，具體介紹如下。
我們旨在學習一個從語義信息到視覺語義映射的映射函數(shù)，這樣給定任意一個種類的語義信息，我們就能很方便地獲得該種類的視覺語義映射。但是這樣一個映射函數(shù)復雜度較高，所以我們采取一種替代的方式，假設每一個種類都存在學習視覺特征權重，然后學習從語義信息到視覺特征權重的映射函數(shù)。學習針對每個種類的視覺特種權重相當于隱性地學習針對每個種類的視覺語義映射，具體解釋請參考論文。我們設計的網(wǎng)絡結構如下圖。在訓練階段，假設共有 C 個訓練種類，在上面的子網(wǎng)絡中，訓練圖片的視覺特征被復制成 C 份，在下面的子網(wǎng)絡中，所有種類的語義信息通過 MLP 產(chǎn)生所有種類的視覺特征權重，作用于復制了 C 份的視覺特征。加權后的視覺特征通過全連接層（相當于視覺語義映射）后和所有種類的語義信息相乘得到最終的預測值。在測試階段，測試圖片通過上面的子網(wǎng)絡，所有測試種類的語義信息通過下面的子網(wǎng)絡，相乘得到該測試圖片的預測值。
我們在三個小規(guī)模數(shù)據(jù)庫 CUB, SUN, Dogs 和一個大規(guī)模數(shù)據(jù)庫 ImageNet 上做了大量的實驗，實驗結果表明我們的方法在小規(guī)模和大規(guī)模數(shù)據(jù)庫上均取得了最優(yōu)的結果。除了定量結果，我們也提供了深入的定性分析。我們選擇了兩張「flea market」種類的圖片，這兩張圖片被我們的 AEZSL 方法成功分類，卻被 ESZSL 錯分為「shoe shop」。通過對比「flea market」和「shoe shop」的語義信息，「cloth」和「cluttered space」這兩個屬性更能代表「flea market」。我們在下圖列出了兩張圖片通過 ESZSL 和 AEZSL 方法得到的在「cloth」和「cluttered space」兩屬性上的投影值。從下圖可以看出我們的方法 AEZSL 在兩個屬性上有更高的投影值，也就是說我們的方法能更好地捕獲「flea market」種類在「cloth」和「cluttered space」兩屬性上的語義信息。
為了更好的解釋說明，我們列舉了同樣包含「cloth」屬性的兩個種類「badminton court」和「bedchamber」, 以及同樣包含「cluttered space」屬性的兩個種類「recycling plant」和「landfill」。從下圖可以看出，同一個屬性在不同種類上的視覺呈現(xiàn)和語義信息大相徑庭。
對于「flea market」種類，我們列舉了和它最相近的幾個種類 bazaar, thrift shop, market, general store（如下圖所示）。可見對于「cloth」和「cluttered space」兩個屬性，「flea market」和上述種類更為接近。我們的方法通過關聯(lián)和「flea market」相近的幾個種類，更好地捕獲了「flea market」種類的「cloth」和「cluttered space」屬性的語義信息，學到了更契合該種類的視覺語義映射。
總結一下，我們提出了為每一個種類學習單獨的視覺語義映射，更好地捕獲每個種類的語義信息，從而解決零示例學習中的映射域遷移問題。具體來說，我們提出了傳統(tǒng)的 AEZSL 方法和基于深度學習的 DAEZSL 方法。AEZSL 方法為每個測試種類訓練得到一個視覺語義映射，而 DAEZSL 只需要在訓練種類上訓練一次便可應用到任意測試種類。在四個數(shù)據(jù)庫上的定量結果和定性分析充分展示了我們方法的優(yōu)越性。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
