<mark id="oztn4"></mark>
0
| 本文作者： 我在思考中 | 2022-03-28 10:51 |
編譯 | OGAI
編輯 | 陳彩嫻
鉸接物體在我們的生活中無處不在。全面理解這些鉸接物體的外觀、結構、物理性質和語義，對于研究社區是大有助益的。
目前的鉸接物體理解方法通常是基于不考慮物理特性的 CAD 模型的合成物體數據集，這不利于視覺和機器人任務中從仿真環境到實際應用的泛化。
為了彌補這一差距，我們提出了AKB-48：一個大規模的鉸接物體知識庫，它包含 48 個類別的 2,037 個真實世界中的三維鉸接物體模型。
我們通過鉸接知識圖譜 ArtiKG 描述每個物體。為了構建 AKB-48，我們提出了一個快速鉸接知識建模流程（FArM），可以在 10-15 分鐘內構建鉸接物體的 ArtiKG，在很大程度上降低了在現實世界中對物體建模的開銷。在該數據的基礎上，我們提出了一個新穎的集成網絡框架 AKBNet，用于類別級的視覺鉸接操作（C-VAM）任務。我們提出了三個對比基準子任務，即姿態估計，物體重建和控制。
代碼地址：https://liuliu66.github.io/articulationobjects/
鉸接物體是由多個關節連接的剛性部分組成的，可以在三維空間中進行旋轉或平移運動。有關鉸接物體的知識對于許多研究社區（如計算機視覺、機器人和具身人工智能）都是有所助益的。現有的鉸接物體數據集包括 PartNet-Mobility、ReArt-48、RBO 等。
然而，這些數據集大多更加關注結構信息（例如，部位分割、運動結構），但是很少注意外形（例如，紋理、細致的幾何信息），也很少注意物理特性（例如，每個部位的質量、慣量、材料和摩擦力），也很少涉及語義（例如，類別、功能可供性）。然而，有一些重要的任務非常依賴于這些信息，例如：目標檢測依賴于「紋理」，三維重建依賴于「細致幾何信息」，目標控制依賴于「物理特性」，缺乏這些物體知識不利于學習模型的泛化。
為了推動對鉸接物體的研究，本文提出了 AKB-48：一個包含 48 個類別、2,037 個實例的大規模真實鉸接知識庫。對于每個實例，我們根據相應的真實物體掃描出物體的模型，并手動細化。物體知識會被組織到一個鉸接知識圖譜（ArtiKG）中，它包含各種物體屬性和特征的詳細標注。為了在大數據集上進行掃描和標注，我們提出了快速鉸接知識建模（FArM）流程。
具體而言，我們利用三維傳感器和轉臺、集成了結構和語義標注的 GUI、用于物理屬性標注的標準真實世界實驗開發了一個物體記錄系統。該系統節省了大量用于建模現實世界鉸接物體的時間和金錢和成本（每個物體的標注成本為 3 美元，耗時 10-15 分鐘)。本文對比了 CAD 建模與反向掃描。總而言之，該流程的資金和時間預算分別僅為前者的 1/33 和 1/5。
我們利用 AKB-48 數據集提出了AKBNet，這是一種用于類別級視覺鉸接控制（C-VAM）任務的新型集成架構。為了解決 C-VAM 任務，視覺系統 AKBNet 需要能夠估計物體的姿態，重建物體的幾何形狀，并在推理類別級的控制策略。因此，它由三個感知子模塊組成：
（1）用于類別級鉸接物體姿態估計的「姿態模塊」：該模塊旨在估計某類中未曾見過的鉸接物體的每個部位的 6D 姿態。然而，以往的研究通常針對于運動類別，定義某個類別的物體具有相同的運動結構。我們的姿態模塊將「類別」的概念擴展到「語義類別」，同一類物體可以具有不同的運動結構。
（2）用于鉸接物體重建的「形狀模塊」：獲得姿態后，我們再對輸入圖像進行形狀編碼，重建每個部位的形狀。完整的幾何信息對于決定在哪里進行交互控制至關重要。
（3）用于鉸接物體控制的「控制模塊」：通過感知獲得鉸接信息（例如，部位分割、各部位姿態、鉸接屬性、完整網格）后，就可以根據觀察結果推斷出交互策略。我們設置了「打開」和「拉動」的操作任務，分別對應于轉動鉸接和移動鉸接。
針對每個模塊評估時，我們假設模塊的輸入是上一個模塊的 Ground Truth。針對整個系統評估時，輸入是上一個模塊的輸出。顯然，我們不能對 AKB-48 支持的所有任務進行基準測試。我們希望它能成為未來計算機視覺和機器人領域中的鉸接研究的良好平臺。
本文的貢獻包括以下三點：
（1）提出了 AKB-48 數據集，它包含 48 個類別的 2,037 個鉸接模型，我們采用了一個多模態知識圖 ArtiKG 來組織豐富的標注信息。該數據集有助于縮小當前的視覺和具身人工智能研究之間的差距。據我們所知，這是第一個從現實世界收集到的具有豐富標準信息的大規模鉸接數據集。
（2）提出了一種快速鉸接知識物體建模流程 FArM，使得從現實世界中收集鉸接物體信息更加容易。在構建真實世界的三維模型數據集時，該流程可以大大降低時間和金錢成本阿。
（3）提出了一種用于整體類別級視覺鉸接操作（C-VAM）任務的新型架構 AKBNet。實驗表明，該架構的各個部件和整體模型在現實世界中是有效的。
在構建知識庫時，我們需要回答三個問題：（1）我們應該標注物體的什么類型的知識？（2）我們應該標注什么物體，物體來自真實世界還是模擬世界?（3）如何高效地標注物體知識？
鉸接式物體知識圖譜 ArtiKG
不同的任務需要不同種類的物體知識，為了統一標注的表征，我們將其組織成一個多模態知識圖譜 ArtiKG。ArtiKG 由四個主要部分組成，即外觀、結構、物理屬性和語義。
圖注：AKB-48 數據集中定義的鉸接只是圖譜（ArtiKG）。
外觀
我們將每個實例的形狀與網格數據結構以及紋理存儲在一起。從現實世界中掃描對象時，我們也會收集對象的多視圖 RGB-D 快照。
結構
鉸接物體和剛體物體的關鍵區別在于運動結構。被鉸接的物體有關節和部位這樣的概念，這些概念對于剛體來說是沒有意義的。對于每個關節，我們標注了關節的類型、參數和運動限制。對于每個部位，我們將每個運動部位分割出來。
語義
在對基本的幾何和結構信息進行標注之后，我們以從粗到細的過程為物體賦予語義信息。我們為每個實例賦予了一個 uuid。接著，我們根據 WordNet 為物體分配類別。此外，我們還標記了部位的語義。雖然我們已經標注了運動學上的部位，但它與語義部位并不完全相同。以帶把手的馬克杯為例，把手并不是通過關節附著在馬克杯本體上，因此它不是一個運動學上的部位，而是一個語義上的部位，因為它表明了人類通常抓取馬克杯的位置。
物理屬性
真實的物體存在于物理世界中，通常具有物理屬性，這對于精確仿真、真實世界中的控制和鉸接物體的交互是很重要的。因此，我們為模型存儲物理屬性的標注，包括每個部位的質量、慣量、材料和表面摩擦力。
本文從標注的準確性、時間和金錢成本兩個方面對比真實世界掃描和 CAD 建模。
標注準確性
根據 ArtiKG 的內容，我們可以看到，相較于 CAD 建模，從真實世界中掃描的物體具有很多優勢（例如，外觀和物理性質）。但不可否認的是，CAD 模型可以模擬內部結構，而掃描技術更多地關注物體表面。幸運的是，大多數日常用品都可以拆卸，所以掃描技術可以很好地處理它們。
時間與金錢成本
在研究新的類別或運動學結構時，ShapeNet 類型的模型收集范式局限于構建手工 CAD 模型所需的大量時間和金錢成本。另一方面，日常生活中，許多鉸接物體價格偏移，可以被外行人掃描。就 CAD 而言，淘寶上的外包服務價格如下表所示（單位：美元）。
模型獲取設備
為了高效收集現實世界的鉸接模型，我們設置了一個如下圖所示的記錄系統：
圖注：（1）用于多尺度物體的旋轉轉臺（2）是一個跟蹤標記（3）吸光項（4）升降支架（5）Shining 3D 掃描儀（6-8）用于捕獲多視圖物體數據的英特爾 RealSenseL515相機。
關節建模
我們為標注開發了一個鉸接物體建模的三維 GUI。建模過程包含三個部分：物體對齊、部位分割、關節標注（詳情請參閱原文）。
物理標注
現實世界中的鉸接物體存在于物理世界中，具有物理屬性。為了使 AKB-48 可以被用于現實世界的機器人控制和交互任務，我們還為鉸接物體的每個部分標注了以下物理屬性：各部位質量、各部位慣性力矩、各部位材料和摩擦力。
數據集分析
物體類別
在構建 AKB-48 數據集的過程中，我們考慮了以下要求：（1）通用性。AKB-48 能夠涵蓋日常生活中常見場景中的大部分鉸接物類別。（2）多樣性。每個類別中的物體有各種各樣的形狀，形變能力、紋理和運動結構。（3）用例。所選物體應該包含各種使用上的功能。此外，完成控制性能的能力是需要優先考慮的。
統計信息
圖注：AKB-48 與其它流行的模型數據集對比。
我們的 AKB-48 數據集在 ArtiKG 中提供了四種豐富的標注信息：外觀、結構、語義和物理屬性。AV：平均頂點數。AT：三角形的平均數目。ST：語義分類。PS：各部位語義標簽。PM：各部位質量。PI：各部位慣性力矩。PF：各部位的摩擦力。
AKBNet
AKBNet 是一個用于 C-VAM 任務的集成架構。AKBNet 的輸入是單張帶有檢測到的二維邊界框的 RGB-D 圖像。AKBNet 中構建了三個子模塊，旨在估計各部位的 6D 姿態，重構鉸接物體的完整幾何形狀，并根據感知信息推理交互策略。
圖注：AKBNet 架構示意圖。
姿態模塊
給定帶有二維邊界框的圖像，我們可以獲取部分點云 P。我們首先通過 Pointnet++提取點云特征，然后建立了用于預測逐點分割 S 和部位級歸一化物體坐標空間（NOCS）圖的兩個分支。為了解決為止運動結構和關節類型的問題，我們在特征提取器上引入了三個分支，根據相應的部位對關節類型分類，并預測關節的屬性（位置，軸）。最后，我們通過帶有運動約束的姿態優化算法恢復出每個剛性部位的 6D 姿態。
形狀模塊
給定部分點云 P，形狀模塊旨在恢復出完整的幾何外形和相應的關節狀態。我們利用 A-SDF 構建了一個特征提取器用來處理連接后的部分點云和高斯初始化的形狀嵌入、關節嵌入。
控制模塊
控制模塊執行兩項任務：分別對應于鉸接結構中的轉動關節和移動關節的打開和拉動。為了完成這些任務，我們訓練了兩個強化學習智能體。
我們給出了兩種狀態表征：（1）對象狀態（2）智能體狀態。動作包括智能體末端執行器的三維平移和夾持器的打開寬度。獎勵函數是轉動關節沿目標部件關節軸方向的旋轉角度，移動關節沿目標部件關節軸方向的移動距離。我們使用兩種常用的強化學習基線（帶有 HER 的 TQC 和 SAC）訓練。
姿態模塊性能
我們在真實世界測試集上評估了 NPCS、A-NCSH 和 AKBNet 在類別級關節姿態估計任務中的作用。
圖注：類別級鉸接姿態估計結果。
在姿態估計方面，AKBNet 在旋轉、平移和 3D IoU 指標上的誤差分別為 9.8、0.021 和 53.6，高于 NPCS 和 A-NCSH。在關節相關的評估方面，AKBNet 可以精確預測未見過的鉸接物體的關節類型，準確率為 94.6%。此外，AKBNet 在關節軸和位置預測方面分別具有 8.1 和 0.019 的誤差。
形狀模塊性能
圖注：鉸接物體重建結果。
給定真實的關節狀態，形狀模塊可以以 4.2 Chamfer-l1 距離重建出關節物體。另一方面，在給定預測關節狀態的情況下，系統地評估形狀模塊，該狀態是由姿態模塊預測的相連的兩部分的姿態推導出來的。Chamfe-l1 距離比真實的關節狀態下高 3.3，說明所預測的姿態對重建性能影響較大。
控制模塊性能
圖注：鉸接物體控制任務的成功率。
我們比較了 TQC+HER 訓練算法與 SAC+HER 訓練算法在 AKBNet 控制模塊上進行打開和拉動任務的性能。給定真實的物體狀態時，AKBNet 完成打開和拉動任務的成功率分別為 72.5% 和 98.7%。然而，當使用預測的物體狀態時，我們的方法只有 40.2% 和 44.6% 的成功率。
雷峰網(公眾號：雷峰網)
