美圖AAAI 2018論文：視頻語義理解的類腦智能

雷鋒網 AI 科技評論按：近日，美圖云視覺技術部門與中科院自動化所共同合作研發，提出一種基于類腦智能的無監督的視頻特征學習和行為識別的方法 NOASSOM (Hierarchical Nonlinear Orthogonal Adaptive-Subspace Self-Organizing Map based Feature Extraction for Human Action Recognition)，該方法不依賴于標簽信息，可以自適應地、無監督地學到視頻的特征表示，相關成果已發表在 AAAI 2018 上，并以 oral 的形式在大會上進行了報告。

視頻語義理解一直是學術界的研究熱點之一。近兩年隨著短視頻領域的火爆發展，圍繞短視頻的業務場景應用也在增長，工業界應用場景都對視頻內容理解提出了迫切的落地需求。與學術界用的確定性數據集不同，工業界業務產生的視頻數據具有如下特點：首先，數據量大，每天都會有成千上百萬的視頻被上傳；其次，內容未知，現實生活中的場景是很復雜的，尤其對于 UGC 內容，無法確定用戶上傳的視頻中的主體和場景，行為更是無法預測；再次，時效性，在不同的時間段內視頻的主題、場景以及行為是不同的，它可能會隨著時間發生變化進行轉移。因此，在這樣的數據集上人工建立標簽體系非常困難。NOASSOM 算法的提出有效解決了算法模型在訓練過程中無標簽輸入的問題。

NOASSOM 是通過模擬視覺皮層中表面區域的結構來構建的，以數據驅動自組織更新，恢復基本視覺皮層中的神經元對輸入刺激的反應。NOASSOM 是對 ASSOM 方法的改進。ASSOM 是一種特征提取方法，它可以從輸入數據中學習統計模式，并對學到的模式進行自組織排列，從而進行特征表示。但是 ASSOM 只能處理有標簽的數據，并且只對線性化的數據有效，無法勝任其他復雜情形。NOASSOM 的提出解決了 ASSOM 的這兩個重要問題。首先，NOASSOM 通過引入一個非線性正交映射層，處理非線性的輸入數據，并使用核函數來避免定義該映射的具體形式。其次，通過修改 ASSOM 的損失函數，使輸入數據的每個樣本可以獨立地貢獻于損失函數，而不需要標簽信息。這樣，NOASSOM 可以有效地、無監督地學習數據的統計模式和本征表示。圖 1 示意了 NOASSOM 與 ASSOM 的網絡結構區別。

 

圖 1 NOASSOM 與 ASSOM 網絡結構

ASSOM 由輸入層、子空間層、輸出層組成。NOASSOM 比 ASSOM 增加一個非線性正交映射層，用于實現輸入層和子空間層的非線性正交映射。為保證映射后的子空間基向量仍然保持正交性，NOASSOM 采用正交約束的核函數：

輸出層使用輸入在子空間的投影表示：

使用投影殘差構建損失函數：

原始的 ASSOM 的損失函數表示如下：

通過修改損失函數使每個樣本獨立地貢獻于損失函數，而不必使用 Class-specific 的數據進行有監督訓練。NOASSOM 使用隨機梯度下降法對網絡進行訓練。

在每次迭代之后，重新對基向量進行正交化處理。算法流程圖如下：

NOASSOM 論文進一步還提出一個層級的 NOASSOM 來提取高層的抽象特征，有效地描述視頻中行為軌跡的表觀和運動信息，構建了一個層級的 NOASSOM 結構提取視頻中的局部行為特征，并使用 FISHER VECTOR 進行聚合編碼，采用 SVM 進行分類，如圖 2 所示。

圖 2 層級 NOASSOM 特征提取框架

訓練得到的基向量的可視化結果如圖 3 所示，左邊是表觀信息濾波器，右邊是運動信息濾波器?？梢钥闯霰碛^信息濾波器可以學到一些類似邊緣檢測的濾波器，這樣類型的濾波器對圖像的水平邊沿和垂直邊沿能進行檢測，從而提取良好的輪廓紋理信息。右邊的運動信息濾波器學到了一些類似 Gabor 濾波器的濾波器，這樣的濾波器對運動信息更加敏感，實現對運動信息進行良好的提取。

圖 3 NOASSOM 中基向量的可視化結果

NOASSOM 中訓練得到的基向量的可視化結果如圖 2 所示，左邊是表觀信息濾波器，右邊是運動信息濾波器?？梢钥闯霰碛^信息濾波器可以學到一些類似邊緣檢測的濾波器，這樣類型的濾波器能對圖像的水平邊沿和垂直邊沿進行檢測，從而提取良好的輪廓紋理信息。右邊的運動信息濾波器學到了一些類似 Gabor 濾波器學到的信息，這樣的濾波器對運動信息更加敏感，實現對運動信息地魯棒性提取。

NOASSOM 在國際公開大型數據集 UCF101, HMDB51 和小型數據集 KTH 上進行了評測，獲得了 93.8%，69.3% 和 98.2% 的識別率。在 UCF101 和 HMDB51 上，分別超出使用手工特征的 iDt+HSV 基準方法 5.9% 和 8.2%，并且分別超出使用卷積神經網絡模型的 iDt+CNN 方法 2.3% 和 3.4%，在 KTH 上超過 iDT+MBH 的基準方法 3.2% 以及基于 3D CNN 的方法 8.0%。公開數據集上的實驗結果表明，這種方法優于之前基于手工特征的方法和大多基于深度特征的方法。此外，在小數據庫上，性能更加優于基于 CNN 的方法。更多的技術細節和實驗結果請參考原始論文。

NOASSOM 方法的獨特優勢在于，可以從大量沒有標簽的數據進行更加快速的訓練，并且獲得和其他基于有標簽數據方法性能相當甚至更加優越的性能。基于這項技術的輸出將被應用于美拍短視頻多個業務場景中，如相似視頻的推薦和大規模視頻檢索，基于短視頻內容的用戶聚類和畫像，以及基于短視頻內容的運營標簽挖掘等等。

附：

美圖云視覺技術部門，專注于文本、圖像和視頻等領域的視覺算法研發和平臺構建。部門主導研發的 AI 視覺分析平臺 DeepNet，提供檢測、分類、語義理解、哈希、OCR 等多個方向的技術支撐，正在為美圖各產品和業務，如美拍短視頻運營、商業化廣告、推薦業務、搜索業務和安全審核等提供算法支撐。視覺部門長期招納視覺領域相關人才，方向不限，有意者請發簡歷至 lili.zhao@meitu.com