ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

本文作者：我在思考中

2021-09-06 14:30

導語：該工作由北京大學前沿計算研究中心陳寶權課題組與斯坦福大學/北京大學王鶴等合作完成，論文共同一作翁伊嘉為2021屆圖靈班學生。

導讀：本文是計算機視覺領域頂級會議 ICCV入選論文《基于點云的類級別剛體與帶關節物體位姿追蹤（CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds）》的解讀。該工作由北京大學前沿計算研究中心陳寶權課題組與斯坦福大學/北京大學王鶴等合作完成，論文共同一作翁伊嘉為2021屆圖靈班學生。

項目主頁：
https://yijiaweng.github.io/CAPTRA/

論文地址：
https://arxiv.org/abs/2104.03437

1

引言

物體位姿包含相機坐標系下物體的三維平移與三維旋轉，在計算機視覺與機器人學中有著廣泛應用，如指導機器人抓取與操縱物體，在增強現實中將虛擬內容疊加在真實物體上等。

不同于只能應用于已知物體的實例級別位姿估計，[1] 提出的類級別物體位姿估計問題要求對來自已知物體類別、與訓練物體存在幾何差異的未知測試物體進行九自由度的位姿估計，即估計物體的三維尺寸、三維平移、三維旋轉，更適用于實際應用中形狀外觀各異的真實物體。[2] 進一步將對剛性物體的位姿估計拓展到帶關節物體（如筆記本電腦、抽屜、眼鏡）上，為理解和模仿人類與帶關節物體之間的復雜互動奠定了基礎。

目前，大部分類級別物體位姿估計的工作聚焦于單幀位姿估計，而我們希望能對連續多幀觀測進行時序上平滑的物體位姿追蹤，從而更好地服務于增強現實、基于實時反饋的閉環控制等應用。

我們提出了首個可以同時應用于剛性物體和帶關節物體，運行在類級別場景下的九自由度位姿追蹤框架。給定當前幀的深度點云與上一幀的物體位姿估計，本文提出的框架能通過端到端的訓練，準確地更新位姿估計，在估計準確率與運行速度上都超過了已有的最好方法。

2

方法簡介

ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

圖1. 類級別物體位姿追蹤任務

如上圖，給定包含實例

O

的實時深度點云流

\{X_t\}_{t\geq 0}

，其逐部件初始位姿估計

\{{\mathtt{P}^{(j)}_o\}}_j

，我們希望在線地追蹤其各部件位姿

\{{\mathtt{P}^{(j)}_t\}}_j

。具體來說，我們逐幀進行位姿估計，在

t+1

幀，基于第

t

幀的各部件位姿估計

\{{\mathtt{P}^{(j)}_t\}}_j

與第

t+1

幀的深度點云觀測

X_{t+1}

，估計第

{t+1}

幀的各部件位姿

\{{\mathtt{P}^{(j)}_{t+1}\}}_j

。

仿照[1]，我們將九自由度位姿

\mathtt{P}^{(j)} = {d^{(j)}, R^{(j)}, T^{(j)}}

進一步分解為七自由度相似變換

\mathcal{T}^{(j)} = {s^{(j)}, R^{(j)}, T^{(j)}}

與三維長寬高比例

\hat{d^{(j)}} = d^{(j)} / s^{(j)}

，以下主要討論

\mathcal{T}^{(j)}

的估計，細節請參見論文。

位姿估計存在兩類主流方法，基于坐標預測的方法首先為觀測點預測其對應物體點在歸一化物體坐標系中的坐標，利用觀察坐標與歸一化物體坐標之間的對應關系，使用 RANSAC 擬合物體位姿，得益于 RANSAC 對離群點的有效移除，該方法通常能獲得更為準確與魯棒的預測，但 RANSAC 算法中的假設采樣較為耗時，其過程也不可微，無法直接針對位姿進行優化。

基于位姿回歸的方法進行端到端可微的直接預測，能夠達到很高的運行速度，但容易產生更大的預測誤差。我們希望結合兩類方法的優勢，建立一個端到端可微、精度與速度兼備的位姿追蹤系統。

如下圖所示，我們的模型由位姿正規化（Pose Canonicalization）、旋轉回歸網絡（RotationNet）與坐標預測網絡（CoordinateNet）組成。

ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

圖2. 我們的位姿追蹤框架

位姿正規化（Pose Canonicalization）

為了簡化將輸入點云坐標

X_{t+1}

映射到輸出相似變換

\mathcal{T}^{(j)}_{t+1}

的學習問題，我們將前一幀位姿估計

\mathcal{T}^{(j)}_t

的逆變換與輸入點云

X_{t+1}

相乘，得到位姿正規化點云 ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

作為模型輸入，令模型輸出

Z_{t+1}^{(j)}

中部件

j

的位姿

\hat{\mathcal{T}}^{(j)}_{t+1} =\{ {\hat{s}^{(j)}_{t+1}, \hat{R}^{(j)}_{t+1}, \hat{T}^{(j)}_{t+1}}\}

，再間接計算

\mathcal{T}^{(j)}_{t+1}

。

由時序連續性，可以推出 ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

，這意味著

Z_{t+1}^{(j)}

中部件

j

總是接近正規位姿（canonical pose），

\hat{\mathcal{T}}^{(j)}_{t+1}

接近恒等變換，原問題的輸入與輸出被同時正規化，從而大大降低了網絡預測位姿的難度。

旋轉回歸網絡（RotationNet）

以位姿正規化的點云

Z_{t + 1}^{(j)}

為輸入，我們訓練旋轉回歸網絡，直接對

\hat{R}_{t+1}^{(j)}

進行回歸，再計算原始旋轉 ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

總在恒等變換附近，直接回歸就能實現準確估計。

坐標預測網絡（CoordinateNet）

由于點云

Z_{t+1}^{(j)}

不完整，存在平移與尺寸上的歧義（舉例來說，當一支鉛筆的一端被遮住時，鉛筆的長度無法確定，其中心的平移也無法確定），直接回歸

\hat{s}_t^{(j)}

和

\hat{T}_t^{(j)}

仍然很困難。我們轉而訓練坐標預測網絡，從

Z_{t+1}^{(j)}

預測部件在歸一化坐標系下的坐標

Y_{t+1}^{(j)}

，這一稠密的預測目標要求網絡能捕捉到類級別的物體幾何先驗知識，包含了更為準確的有關物體平移、物體尺寸的信息。

基于歸一化坐標

Y_{t+1}^{(j)}

與原始點云

X_{t+1}

的對應關系與旋轉回歸網絡的預測

R_{t+1}

，我們解析地計算物體的平移與尺寸。在位姿正規化模塊的幫助下，我們預測的

Y_{t+1}^{(j)}

相當準確，無需 RANSAC 就能達到高精度的位姿估計，從而實現一個快速、端到端可微，能直接以 9DoF 位姿準確度為優化目標的計算框架。

3

結果展示

我們的方法在類級別剛性物體位姿估計數據集 NOCS-REAL275 [1]、基于 SAPIEN [3] 的類級別帶關節物體位姿估計數據集、BMVC [4] 上均超過了已有方法，以下展示部分定性結果，詳細實驗設定與定量結果請參見論文。

剛性物體位姿追蹤

我們在 NOCS-REAL275 真實世界數據集上與類級別剛性物體追蹤算法 6-PACK 進行比較，使用三維包圍盒表示九自由度位姿估計，綠色表示追蹤誤差≤5o5cm，紅色表示追蹤誤差>5o5cm。我們產生的追蹤結果更加準確。

ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

圖3. NOCS-REAL275上的類級別剛性物體位姿追蹤

帶關節物體位姿追蹤

由于沒有現成的類級別帶關節物體位姿追蹤數據集，我們基于 SAPIEN [3] 生成了一個合成數據集，并在其上對比我們的方法與類級別帶關節物體位姿估計算法 ANCSH [2]。我們的追蹤結果更加準確、平滑，對自遮擋更加魯棒。

ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

圖4. SAPIEN合成數據集上的類級別帶關節物體位姿追蹤

我們進一步在真實世界的帶關節物體數據上測試我們的模型。在 BMVC [4] 數據集的筆記本電腦序列、我們采集的剪刀序列、機械臂操縱抽屜序列上，我們僅在合成數據上訓練的模型均能成功泛化，達到對物體的準確追蹤。

ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

圖5. 上：BMVC數據集中的筆記本電腦序列；下：我們采集的剪刀序列

ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤

圖6. 機械臂操縱抽屜序列

4

結語

本文提出了一個端到端可微的位姿追蹤框架，能同時處理類級別剛性物體與帶關節物體九自由度位姿追蹤問題，在多個數據集上達到了 SOTA 效果。未來可能的研究方向包括對關節限制的進一步利用，向部件個數不固定、部件連接關系不固定的帶關節物體類別拓展等。

參考文獻

[1] He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin, Shuran Song, and Leonidas J Guibas. Normalized object coordinate space for category-level 6D object pose and size estimation. CVPR 2019.

[2] Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. CVPR 2020.

[3] Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, Li Yi, Angel X. Chang, Leonidas J. Guibas, and Hao Su. SAPIEN: A simulated part-based interactive environment. CVPR 2020.

[4] Frank Michel, Alexander Krull, Eric Brachmann, Michael Ying Yang, Stefan Gumhold, and Carsten Rother. Pose estimation of kinematic chain instances via object coordinate regression. BMVC 2015.

ICCV 2021 Oral | 基于點云的類級別剛體與帶關節物體位姿追蹤