<mark id="oztn4"></mark>
0
雷鋒網 AI 開發者按：近日，Lifelong Robotic Vision 挑戰賽在澳門 IROS 2019 大會上成功舉辦。本次競賽吸引到共 150 個參賽隊，實際提交 40 個有效成績。
多位機器人領域大咖來到現場進行特邀報告和圓桌討論，包括：意大利技術研究院科學主任 Giorgio Metta 教授、漢堡大學張建偉教授、浙江大學章國鋒教授等知名學者，演講主題從 Lifelong Learning 算法到 SLAM 均有涉獵；同時，決賽入圍團隊——海康威視、新加坡南洋理工大學、香港中文大學等也在現場向大家分享了賽事算法報告，雷鋒網 AI 開發者將賽事內容及冠軍方案整理如下。
IEEE 智能機器人與系統國際會議（IROS）是智能機器人與自動化領域的兩個頂級國際會議之一，而 IROS 2019 則是 IROS 成功舉辦的第 32 屆會議，由全球最大的非營利性專業技術學會 IEEE、IEEE 機器人與自動化學會、IEEE 工業電子學會、日本機器人學會、儀器與控制工程師學會以及新技術基金會聯合贊助。
大會期間，約 4000 名來自世界各地的機器人、自動化系統及人工智能等領域的領軍人物、頂尖研究團隊代表及企業界人士齊聚澳門，共同探索智能機器人與系統領域的前沿科技，并分享并討論相關領域的最新進展。
IROS 2019 包括了主題演講、技術報告、研討會、競賽、論壇和展覽等多個部分。其中，終生機器視覺數據集全球挑戰賽則屬于 IROS 2019 競賽環節，其中 Lifelong/Continual Learning for Object Recognition 是其中一個 Channel 的比賽。
本次挑戰賽將目光聚焦于機器視覺前沿領域，旨在通過比賽探索，賦予 AI 終生學習能力。其中，終生學習能力于人類而言，則是持續從環境和經驗中學習知識和技能；于機器人而言，則是以適應變化的環境和任務終生學習能力 ；而于計算機視覺，則需要從預先建好的數據集中一次性學習。三者關系如下圖所示：
一、機器人視覺面臨的挑戰
近年來，計算機視覺領域發展迅速，與此同時大規模數據集如 ImageNet、COCO 等的進展使得基于深度學習的計算機視覺技術在精準度和實用性能方面得到顯著提高。
目前基于大量數據集的物體檢測，分割和識別的計算機視覺應用也在人臉識別、智能家居、輔助工業制造等領域做出了突出貢獻。然而機器人視覺對于視覺算法的開發和落地提出了新的挑戰。
通常情況下，基于深度學習的計算機視覺算法需要數據符合獨立同分布 (i.i.d) 的假設，也意味著需要訓練數據的任務單一化、樣本分布同質化、難度統一化。
但是在機器人真實應用場景中，隨著時間推移，通常呈現出任務多樣性、樣本分布差異大、難度多變性等特征。因此在機器人視覺應用場景中，智能體需要采取連續/終生學習 (continual/lifelong leanring) 的策略去使用環境等因素的改變。
二、終身學習突破關鍵
目前，終生學習主要面臨兩大挑戰：
第一是災難性遺忘 (catastropic forgetting)，由此誕生了著名的穩定性-可塑性定理 (stability-plasticity dilemma)。該定理指出，一個完備穩定的模型可以保證系統學習到的舊知識不被忘記，但無法學習新知識；而一個完全可塑的模型可以充分適應新的知識領域，但是會忘卻舊的知識。
基于深度學習的 Lifelong/Continual Learning 算法對比
第二是概念漂移 (concept drift)，主要是智能體所接觸到數據類型不同于傳統的靜態數據 (static data)，而是一種體量大、實時性強的流數據 (data stream)。常見的動態流數據則是不獨立同分布的，隨著時間的推移，智能體需要漸進地適應不同分布的流式數據。
不同類型的概念漂移（圖片來源于 Block-based and Online Ensembles for Concept-drifting Data Streams, 2015. Ph.D. Thesis from Dariusz Brzeziński）
第三則是模型能夠自適應地改變其復雜度，由于機器人獲取的數據在動態變化，無法提前獲取所有的外界數據信號 (例如機器人每天接觸感知的人、物體和周圍環境都在變化)，所以最終運用的模型必須具備復雜度自適應可變的特點。加之概念漂移的問題，我們常常需要增加模型的復雜度來處理不同分布的數據。
一、數據集采集
OpenLORIS-Object 數據集由若干個地面機器人模擬人類視覺采集而成，采集地點為平時活動的辦公室和家庭環境，攝影部分由 Intel RealSense D435i 和 T265 組成。
在不同光照、遮擋、物體大小、相機-對象距離/角度、雜亂程度，以及不同的場景信息下，機器人主動記錄目標對象的視頻。數據集記錄了機器人在拍攝過程中通常會面臨的不同環境挑戰，比如：
光照 在實際應用中，照明會隨時間變化很大，例如晝夜差異。我們的數據集主要是從正常的日光收集的，包括弱光，正常光和強光，每個占每個場景下物體的 10％。隨著燈光變弱，分類任務變得更具挑戰性。
遮擋 當一個對象的一部分被一個或多個對象隱藏，或者在視場中僅顯示該對象的一部分時會產生遮擋現象。由于可能隱藏了對象的獨特特征，因此遮擋使分類任務更具挑戰性。
物體大小 小物體或者細長的物體，如干電池或膠棒，會使分類任務更具挑戰性。
相機-對象角度/距離 攝像機的角度會影響從對象檢測到的屬性，距離會影響目標物體的大小。
雜亂程度 是指在考慮的對象附近存在其他對象。同時存在多個對象可能會干擾分類任務。
場景信息 環境信息是學習過程中的另一個因素，例如在廚房的場景下可以提高刀、炊具等物體的識別能力。先前的大多數研究都忽略了場景信息對于上下文識別的重要性。
技術細節和數據集可參考：
Qi She et al.,「OpenLORIS-Object: A Dataset and Benchmark towards Lifelong Object Recognition」, https://arxiv.org/abs/1911.06487
二、數據集描述
為了使物體分類任務與日常生活場景相結合，數據在多個生活場景下采集，比如客廳、廚房、臥室等，物體的放置也考慮日常生活場景，被放置在桌面、地面、墻面、床上等。
已發布的的數據集由 69 種物體組成，包含 7 個場景下的 19 類日常必需品。每種物體被記錄為 17 秒（每秒 30 幀）的視頻（即共 500 幀 RGB-D 圖像），由 4 個環境影響因素（包含光照，遮擋程度，目標對象的像素大小，雜亂程度），每個因素由 3 種等級控制分類任務的實現難度。見下圖（基于環境影響因素，每種物體共有 12 個子類）：
每個等級下的每種物體對應了 260 個樣本。即：對于每種物體，總共有 3120 個樣本。因此數據集共包含了：260(樣本數/種物體實例) * 69(物體實例) * 4(環境影響因素/個等級) * 3(難度等級)=215,280 個樣本。
數據集概況及下載地址：
https://lifelong-robotic-vision.github.io/dataset/Data_Object-Recognition
三、數據集的可視化
執行物體分類任務時呈現時序一致性可提供圖像信息在時間上的平滑度，從而簡化目標識別的過程，改善分類準確性，更好地解決半監督（或無監督）場景。下圖為隨機選取的數據樣本：
示例中的每列圖片為目標對象所處的不同雜亂環境（從第一行到第三行分別展示簡單，正常和復雜的雜亂場景），遮擋程度（0%，25%，50%），像素大小（<30*30，30*30?200*200，>200*200），以及光照程度（弱光，正常光，強光）。
比賽中，參賽選手不僅要考慮連續學習情境下物體識別的準確度，更要兼顧模型的大小、模型對數據量的依賴性、模型部署中的預測速度等性能。
除此之外，參賽選手還需對更具有挑戰性的測試集進行采集，包括：更多物體姿態角度、光照環境和更加復雜的背景信息。具體的模型評分標準如下所示：
在決賽的數據集中，測試集有 21520 個樣本，驗證集有 21520 個樣本，訓練集有 172200 個樣本，賽方根據不同的影響因素隨機打亂數據集。
數據集被分為 12 個批次，每個批次的樣本來自一個子類，總共有 12 個子類，即：4(環境影響因素/等級) * 3(難度等級)，包含 7 個生活場景下的 69 種物體。下圖為每個批次下不同影響因素的概覽：
來自海康威視的 HIKVISION 團隊榮獲 Lifelong Robotic Vision Competition 冠軍，該方案采取知識蒸餾 (knowledge distillation) 和網絡擴展 (network expand) 的方式來緩解災難性遺忘。
該方法會計算對于每一次增量任務與先前學習任務的領域差異 (domain gap) 來判斷任務相似性，對于相似性大的任務采用知識蒸餾方案在學習新任務的同時記住舊任務的特征，相似小的任務采用網絡結構擴充來學習新任務。其方案模型如下圖所示：
基于知識蒸餾與網絡擴展方案
來自 University of Bologna 的 unibo 團隊提出了隱層結構回放 (latent rehearsal) 模型，該模型獲得綜合評分第二名的成績。
不同于其他方案針對原數據樣本進行重采樣，該方法對舊樣本的隱層信息進行重采樣。實驗證明該方案可以在確保高準確率的同時，減少內存使用和計算量。目前該方案可以部署在移動端設備進行訓練。
基于隱層結構回放模型方案
此外，來自韓國電子通信研究院 (ETRI) 的 HYDRA-DI-ETRI 團隊提出了選擇性特征學習 (selective feature learning) 方案去減少噪聲物體對目標物體的干擾。該隊伍在口頭報告中得到最高分。
由于在真實的機器人視覺識別任務中，目標物體的周圍環境趨向于雜亂無規律，存在較多的噪聲物體，這可能會對識別的準確率產生影響。該團隊采用 Single Shot MultiBox Detector (SSD) 去對選擇出第一個任務的數據集中的目標物體，后再進行連續的物體識別任務。
基于選擇性特征學習方案
為了進一步推廣 Lifelong Robotic Vision 項目，吸引更多的學術工業界的研究開發人員，英特爾中國研究院作為主辦方之一 在 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2020 舉辦了「Continual Learning in Computer Vision Workshop」。
該 workshop（研討會）主要探究計算機視覺問題中的 Continul Learning 的能力。在計算機視覺系統中，如何在多個連續任務中保證算法的穩定性，如何有效的克服神經網絡中災難性遺忘的問題，如何進行知識在不同任務中的遷移，以及如何在硬件受限情況下優化 Continual Learning 的綜合表現。
研討會主要分為研討會文章收錄，現場專家報告，Continual learning in Computer Vision 挑戰賽。目前確認 9 位專家會在現場進行口頭報告討論 Continual Learning 在計算機視覺中的研究前景以及潛力，包括：Google Deepmind 研究科學家 Razvan Pascanu、Facebook AI Research 研究科學家 Marc’Aurelio Ranzato、INRIA 研究總監 Cordelia Schmid等。
研討會主要關注 Continual Learning 的話題，目前已開放公眾提交平臺，錄用的文章將加入 CVPR 2020 workshop 的文集，
更多提交詳情可查看：
https://cmt3.research.microsoft.com/CONTVISION2020
Lifelong Robotic Vision Github 詳情：
雷鋒網 AI 開發者
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
