<mark id="oztn4"></mark>
0
| 本文作者： 李尊 | 2016-06-29 15:01 |
針對(duì)基于深度人物識(shí)別的遞歸注意力模型
協(xié)同編譯：陳?ài)凇⒄旅簟lake
摘要
鑒于缺失RGB信息時(shí)，人體的形態(tài)和運(yùn)動(dòng)方式可用于確認(rèn)個(gè)人，我們提出了一種基于注意力的模型。這種方法充分利用了獨(dú)特的四維時(shí)空簽名來(lái)解決跨天的識(shí)別問(wèn)題。制定一個(gè)強(qiáng)化學(xué)習(xí)任務(wù)，這個(gè)模型是在結(jié)合卷積和遞歸神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上識(shí)別小的部分，判別人體的區(qū)域指示。同時(shí)我們證明了該模型，在發(fā)布的幾個(gè)只給出深度圖像數(shù)據(jù)集中，產(chǎn)生了最好的結(jié)果。另外，我們進(jìn)一步學(xué)習(xí)了模型對(duì)于視角，外觀和體積變化的魯棒性。最后，在從模型的時(shí)空注意力收集到的可解釋的2D，3D和4D可視化方面，分享了我們的見(jiàn)解。
1.簡(jiǎn)介
快速的部分視圖足以用于辨別一個(gè)人的身份。對(duì)于現(xiàn)代計(jì)算機(jī)視覺(jué)系統(tǒng)，這種不尋常的能力是難以實(shí)現(xiàn)的。但是，它在安全認(rèn)證，跟蹤，公共安全，和基于角色的行為理解方面表現(xiàn)出了非常有價(jià)值的任務(wù)。
當(dāng)給出一個(gè)輸入圖像時(shí)，人體識(shí)別的目的是給圖像中的個(gè)體分配識(shí)別標(biāo)簽。盡管前期工作中做了大量的努力，該問(wèn)題仍然有很大一部分尚未得到?jīng)]有解決。由于內(nèi)部分級(jí)的不同，在沒(méi)有準(zhǔn)確的空間或時(shí)間限制下，單獨(dú)的視覺(jué)功能在匹配跨越時(shí)間的個(gè)人時(shí)，內(nèi)部往往很薄弱。而光照，視角和姿勢(shì)產(chǎn)生的額外差異，進(jìn)一步惡化了這個(gè)問(wèn)題。 據(jù)生理學(xué)和心理學(xué)的研究結(jié)果表明，每個(gè)人的步姿都是獨(dú)特的。基于該發(fā)現(xiàn)，我們致力于學(xué)習(xí)每個(gè)人獨(dú)特的身體形態(tài)和運(yùn)動(dòng)特征（如圖1所示）。并且，受啟于到最近深度模式的成功，我們的目的是從深度圖像或者視頻中獲得一個(gè)識(shí)別標(biāo)簽。
圖1：每個(gè)人的步姿是獨(dú)一無(wú)二。我們提出了一個(gè)四維性注意力模型以便學(xué)習(xí)時(shí)空特征并且從深度圖像來(lái)識(shí)別個(gè)人。
該目標(biāo)的一大挑戰(zhàn)是設(shè)計(jì)模型，它不僅要豐富到足以解釋運(yùn)動(dòng)和身體形態(tài)，還得有強(qiáng)大的內(nèi)部分級(jí)變化。第二大挑戰(zhàn)是人體識(shí)別本質(zhì)上是由大量的，每一級(jí)只經(jīng)過(guò)很少訓(xùn)練實(shí)例（在某些情況下，一個(gè)單一的訓(xùn)練例子）的類(lèi)組成。現(xiàn)有的數(shù)據(jù)集總是收集外表不變的正臉視圖（例如衣服類(lèi)似的集合）。盡管，這使得識(shí)別問(wèn)題變得更加容易，我們?nèi)匀幌氩还苓@些假設(shè)，以便完成更大眾，適用于更廣泛群體的識(shí)別任務(wù)。
我們的核心觀點(diǎn)是，不管培訓(xùn)稀少的輸入，利用原始深度視頻，制定一個(gè)類(lèi)似于強(qiáng)化學(xué)習(xí)問(wèn)題的任務(wù)，來(lái)解決上述的挑戰(zhàn)。該方法涉及處理高維輸入空間并專(zhuān)注于細(xì)小的部分，以及沒(méi)有視覺(jué)和時(shí)間假設(shè)時(shí)判別的區(qū)域。具體的說(shuō)，我們的成就是：
（I）我們開(kāi)發(fā)了一個(gè)基于深度視頻識(shí)別個(gè)人的遞歸注意力模型。該模型利用了一個(gè)4D輸入，而且它對(duì)外觀和體積變化具有魯棒性。通過(guò)結(jié)合稀疏化技術(shù)和強(qiáng)化學(xué)習(xí)任務(wù)，我們的遞歸注意力模型進(jìn)入了具有高的保真度的小時(shí)空區(qū)域，同時(shí)避免少信息的區(qū)域（見(jiàn)第3節(jié)）。
（II）我們重新審視了人體識(shí)別任務(wù)，并且建立一個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集，用于考核現(xiàn)有的方法（見(jiàn)圖4）。通過(guò)改變視角和在不同訓(xùn)練樣例中進(jìn)行測(cè)試，我們把模型推向了極限，在這些樣例中，人拿著不同的物體（如咖啡或筆記本電腦）或佩戴著帽子和背包。
在第4部分，展現(xiàn)了模型在現(xiàn)存數(shù)據(jù)集中達(dá)到的最好效果。另外，我們吸取了遞歸注意力模型的優(yōu)點(diǎn)，解釋了關(guān)于hard attention 2D，3D，4D的可視化。我們的研究在個(gè)體之間的體積和運(yùn)動(dòng)差異方面揭露了新的見(jiàn)解。同時(shí)，為了有助于未來(lái)的研究，我們將會(huì)公開(kāi)出版所有的代碼，數(shù)據(jù)和注釋。
2.相關(guān)工作
基于RGB的方法
識(shí)別的初級(jí)挑戰(zhàn)是類(lèi)內(nèi)方差。這包括照明，視角、姿勢(shì)和遮擋導(dǎo)致的外表變化。我們已經(jīng)嘗試許多方法解決這個(gè)問(wèn)題，如通過(guò)改善特征表示和探索新的相似性度量。基于輪廓的方法完全忽略了色彩，它使用了人體測(cè)量或測(cè)身體部位之間距離的方法。
基于深度的方法
根據(jù)基于輪廓方法的模式，基于深度的學(xué)習(xí)已經(jīng)應(yīng)用了人體測(cè)量和三維人體骨骼軟生物識(shí)別方法。有幾篇論文中充分利用了深度相機(jī)的力量，將三維點(diǎn)云用于個(gè)人識(shí)別的研究。雖然這些方法成功了，但它們依靠了手工制作特征（例如，手臂長(zhǎng)度、寬度）或低級(jí)的RGB特征（如SURF，SIFT）。
時(shí)空表示
目前為止介紹的方法，在很大程度上忽略了時(shí)空信息。在參考文獻(xiàn)[26]中最初提出步姿能量圖和ifigts變型，通過(guò)平均輪廓視頻的所有幀，將時(shí)間信息嵌入到二維圖像。測(cè)試時(shí)間預(yù)測(cè)是從K附近查詢(xún)得到的。
最近，步姿能量圖通過(guò)深度傳感器被擴(kuò)展成3D圖。空間體積和高維張量已用于行為識(shí)別，醫(yī)學(xué)圖像分析，機(jī)器人學(xué)和人類(lèi)的行為分析，但在個(gè)人識(shí)別領(lǐng)域沒(méi)有得到深入的探討。
識(shí)別深度學(xué)習(xí)
部分研究已經(jīng)探討了深層神經(jīng)網(wǎng)絡(luò)對(duì)個(gè)人識(shí)別的適用性。在參考文獻(xiàn)[73]中，Yi等人。提出了一種用于相似性度量學(xué)習(xí)的暹羅卷積神經(jīng)網(wǎng)絡(luò)。在參考文獻(xiàn)[41]中Li等人。提出了類(lèi)似的方法，通過(guò)使用濾波器來(lái)模擬光度和幾何變換。根據(jù)這些工作，Ding等人,制定了一個(gè)三重包含正確和不正確參考圖像的輸入。在中,Ahmed等人，介紹了交叉輸入鄰域的差異。
我們的工作與上述工作有幾個(gè)關(guān)鍵的區(qū)別：首先，我們致力于深度模式并且不利用任何的RGB信息。其次上述的方法攝取了幾個(gè)圖像作為輸入，并且計(jì)算這些輸入之間的相似性。他們通過(guò)使用非重疊相機(jī)視圖捕獲的圖像，把識(shí)別問(wèn)題變成了圖像相似性度的問(wèn)題。而我們的模型使用了一個(gè)單一的圖像作為輸入，并且不依賴(lài)度量的學(xué)習(xí)。
我們的模型使用了一個(gè)單一的圖像作為輸入，并且不依賴(lài)度量的學(xué)習(xí)。
注意力模型
深度學(xué)習(xí)模型的可解釋性，在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域變得越來(lái)越重要。通過(guò)測(cè)量輸出變量對(duì)輸入方差的靈敏度，注意力模型被應(yīng)用于圖像分類(lèi)，圖像字幕，目標(biāo)檢測(cè)以及跟蹤，這已經(jīng)揭秘了卷積和遞歸網(wǎng)絡(luò)的方方面面。這些方法利用輸入的空間結(jié)構(gòu)來(lái)理解中心網(wǎng)絡(luò)表示。時(shí)序數(shù)據(jù)，另一方面，要求時(shí)間注意力模型根據(jù)輸入數(shù)據(jù)去理解命令。最近的論文，在語(yǔ)音識(shí)別，視頻字幕和自然語(yǔ)言處理方面，探討了在時(shí)間域中注意力的概念。
許多深度學(xué)習(xí)模型強(qiáng)加了對(duì)輸入的限制。鑒于高維的圖像（即高像素?cái)?shù)），預(yù)處理通常包括恢復(fù)和/或裁剪原始輸入圖像。視頻通常截?cái)嗟揭粋€(gè)固定長(zhǎng)度用于訓(xùn)練。但由于計(jì)算的限制，信息的損失對(duì)于約束運(yùn)行時(shí)間來(lái)說(shuō)是難免的。在下一章節(jié)中，我們的描述了實(shí)驗(yàn)?zāi)Ｐ鸵约叭绾瓮ㄟ^(guò)運(yùn)用視覺(jué)“瞥見(jiàn)”平衡這種權(quán)衡，,用高保真度處理小的4D區(qū)，并且用更低的細(xì)節(jié)成長(zhǎng)到更大的區(qū)域。
3.我們的模型
我們的目標(biāo)是從深度圖像或者視頻中識(shí)別個(gè)人。模型（圖2）計(jì)算hard attention區(qū)域用于預(yù)測(cè)識(shí)別標(biāo)簽。這一部分中，在探討完關(guān)注模型之后，我們描述了4D輸入表示。
圖2：我們的整體模型，虛線箭頭表示跨時(shí)間步驟的信息交換。固體箭頭指示信息在時(shí)間步長(zhǎng)內(nèi)交換。兩個(gè)時(shí)間的步驟顯示從左到右發(fā)生的一系列事件。注：RAM時(shí)間t，指的是模式中的“迭代”并不是指輸入視頻的時(shí)間。所有其他變定義在第3.2節(jié)。
3.1.輸入表示
高維空間投影到較低的空間會(huì)導(dǎo)致信息丟失。這是我們使用4D數(shù)據(jù)的動(dòng)機(jī)：我們希望盡可能多的保留信息，然后讓我們的模型決定相關(guān)的區(qū)域。四維數(shù)據(jù)由一個(gè)三維點(diǎn)云（例如，X，Y，和Z相關(guān)）和時(shí)間τ組成。簡(jiǎn)單的說(shuō)，圖2顯示了輸入作為從深度圖像構(gòu)建出的三維點(diǎn)云。每個(gè)訓(xùn)練示例（X，Y）由一個(gè)可變大小的四維張量x和對(duì)應(yīng)的標(biāo)簽y組成。由于視頻長(zhǎng)度的可變，張量也是可變的。讓f表示數(shù)字在視頻中的幀i，讓X，Y和Z表示張量平方的寬度，高度，和深度的尺寸。
C是級(jí)數(shù)。平均視頻包含500個(gè)幀，扁平化X導(dǎo)致的特征向量2.5x109，為了對(duì)比，一張227x227RGB圖像（一個(gè)典型的卷積網(wǎng)絡(luò)），結(jié)果是1.2x106。這意味著，我們的模型必須在一個(gè)輸入空間大于公共卷積網(wǎng)絡(luò)三個(gè)數(shù)量級(jí)的情況下工作，因此，我們的模型必須被設(shè)計(jì)成，能夠智能地導(dǎo)航該高維空間的模型。
3.2遞歸注意力模型模型
鑒于這種高維深度表示，我們希望我們的模型集中在較小的，輸入空間中可判別的區(qū)域。Minh等人，最近提出了周期性注意模型（RAM）用于圖像分類(lèi)和強(qiáng)化學(xué)習(xí)問(wèn)題。他們表現(xiàn)出有前途的結(jié)果，他們有幾個(gè)優(yōu)勢(shì):
首先訓(xùn)練數(shù)據(jù)豐富，圖像分類(lèi)已得到很好的研究并且存在幾個(gè)大的基準(zhǔn)。動(dòng)態(tài)環(huán)境如基于控制的視頻游戲，當(dāng)游戲在玩時(shí)它可以在飛行中產(chǎn)生數(shù)據(jù)。
其次，這些問(wèn)題的輸入維數(shù)是比較小的：MNIST是28x28當(dāng)控制游戲時(shí)是24x24。
個(gè)人識(shí)別，另一方面，不喜歡這些優(yōu)點(diǎn)。相反，我們的任務(wù)是有限的，高維的訓(xùn)練數(shù)據(jù)。圖2顯示了我們提出模型的概述。它包括一個(gè)瞥見(jiàn)層向下采樣的輸入，一個(gè)編碼階段作為額外的降維工具，和一個(gè)核心RAM網(wǎng)絡(luò)負(fù)責(zé)時(shí)空學(xué)習(xí)。
瞥見(jiàn)層
瞥見(jiàn)層的目標(biāo)是雙重的：（I）它必須避免（或大大限制）信息丟失而且（II）必須避免處理大的輸入。在一個(gè)給定的時(shí)間長(zhǎng)度T，我們的模型沒(méi)有完全訪問(wèn)輸入X，而是提取一個(gè)部分觀察或“一瞥”記為（x，T）。一瞥用高分辨率編碼t周?chē)膮^(qū)域，而不是逐步降低t中點(diǎn)的分辨率。
編碼器
掠影層包含大量目標(biāo)特征（大約有1×106）。在掠影用于有數(shù)據(jù)限制的人物識(shí)別任務(wù)時(shí)，我們必須進(jìn)行壓縮。為實(shí)現(xiàn)這一目標(biāo)，我們使用編碼層進(jìn)一步壓縮特征所占空間，在我們的模式中使用的是4D卷積編碼。此編碼層是脫機(jī)進(jìn)行訓(xùn)練且與RAM分離。
核心RAM單元
如上文所提到一樣，與4D輸入相關(guān)的特征大概有1×109個(gè)。傳統(tǒng)的深度學(xué)習(xí)方法不能探索虛實(shí)，也不能從輸入中學(xué)到什么。受此啟發(fā)，我們使用循環(huán)注意力模式。RAM的目標(biāo)有兩個(gè)：第一，模式的可解釋性是本項(xiàng)研究的關(guān)鍵。通過(guò)基于圖像的輸入，以注意為基礎(chǔ)的模式能讓我們看到人的形態(tài)和活動(dòng)。第二，RAM通過(guò)簡(jiǎn)化空間輸和關(guān)注可辨別的區(qū)域，簡(jiǎn)化了計(jì)算。如圖二所示，我們的模式是一個(gè)循環(huán)網(wǎng)絡(luò)：它由一個(gè)長(zhǎng)的短時(shí)記憶單元（LSTM）和兩個(gè)副網(wǎng)絡(luò)組成。
副網(wǎng)絡(luò)系統(tǒng)
在RAM進(jìn)行下一個(gè)循環(huán)之前，我們的模式必須采取兩個(gè)步驟：第一，決定下一個(gè)掠影位置；第二，為當(dāng)前時(shí)間步驟貼上可預(yù)測(cè)的識(shí)別標(biāo)簽。我們是通過(guò)兩個(gè)副網(wǎng)絡(luò)系統(tǒng)進(jìn)行運(yùn)算：定位網(wǎng)絡(luò)和動(dòng)作網(wǎng)絡(luò)。
3.3訓(xùn)練和優(yōu)化
構(gòu)想。深度視頻是本質(zhì)上是一個(gè)大的特征集合。為避免探索整個(gè)輸入空間，我們把訓(xùn)練任務(wù)當(dāng)做是在鞏固問(wèn)題研究。
優(yōu)化
我們模式的政策是涵蓋所有可能的掠影路徑。目標(biāo)是將反饋功能最大化。
但是計(jì)算預(yù)期牽扯到未知的環(huán)境參數(shù)，讓問(wèn)題變得難以處理。把任務(wù)用公式表示為部分可見(jiàn)的Markov決定過(guò)程，讓我們能計(jì)算樣本的相似性，其公式為REINFORCE準(zhǔn)則。
我們用交叉熵?fù)p失函數(shù)訓(xùn)練動(dòng)作網(wǎng)絡(luò)，用REINFORCE訓(xùn)練位置網(wǎng)絡(luò)。這兩個(gè)公式能讓我們的模式關(guān)注重要3D區(qū)域的空間和時(shí)間。
表1：數(shù)據(jù)比較。DPI-T是最新收集的數(shù)據(jù)。我們列舉了用于訓(xùn)練和測(cè)試的目標(biāo)，圖像和視頻的數(shù)目。測(cè)試數(shù)據(jù)在括號(hào)中。外觀特征是由一個(gè)人的衣著和長(zhǎng)相決定的。
優(yōu)點(diǎn)
這兩個(gè)公式的最大優(yōu)點(diǎn)是能限制訓(xùn)練數(shù)據(jù)。我們的模式是在掠影（例如，部分輸入）上，而不是整個(gè)視頻中進(jìn)行訓(xùn)練。因此，每一視頻中適用于我們模式的有效訓(xùn)練實(shí)例大約有1×106到1×109。除非只輸入一個(gè)視頻，我們的模式從未見(jiàn)過(guò)兩個(gè)相同的訓(xùn)練實(shí)例。模式受限于訓(xùn)練數(shù)據(jù)的數(shù)量，但公式讓數(shù)量變得不是那么重要。
4.試驗(yàn)
首先，我們描述數(shù)據(jù)集和評(píng)價(jià)指標(biāo)。接著討論實(shí)驗(yàn)，超參數(shù)和超參數(shù)選擇。然后是單幀和多幀人物識(shí)別的結(jié)果。最后我們會(huì)展示2D，3D，4D視覺(jué)效果圖，以及總結(jié)模式的不足之處。
4.1數(shù)據(jù)集
我們的目標(biāo)是通過(guò)由深度攝像捕捉到的人體3D形狀和活動(dòng)完成人物識(shí)別任務(wù)。大部分的人類(lèi)RGB-D數(shù)據(jù)集都能用于人類(lèi)活動(dòng)分析和行為識(shí)別。因?yàn)镽GB-D數(shù)據(jù)集一般是由一些主體的的姿勢(shì)構(gòu)成，所以不能用于人物識(shí)別。因此我們用一些現(xiàn)存的深度辨別數(shù)據(jù)集和收集的新數(shù)據(jù)進(jìn)一步測(cè)試我們的模式。
我們用一些現(xiàn)存的深度辨認(rèn)模式對(duì)我們的模式進(jìn)行探究：如BIWI，IIT PAVIS和IAS-Lab。這些數(shù)據(jù)集分別包括50個(gè)人，79個(gè)人和11個(gè)人。對(duì)于BIWI，我們使用所有的訓(xùn)練集和Walking測(cè)試集。對(duì)于PAVIS，我們使用Walking1 和Walking2作為訓(xùn)練和測(cè)試集。對(duì)于IAS-Lab，我們使用所有的訓(xùn)練集和部分測(cè)試集。
現(xiàn)存的的數(shù)據(jù)集為簡(jiǎn)化人物識(shí)別難題增加了限制（例如，每一個(gè)人有不同的衣服，前方景象不一樣或是較慢的走路速度）。我們收集了新的數(shù)據(jù)集：從高處（DPI-T）的深度人物識(shí)別，這與此前的數(shù)據(jù)集都不一樣。
圖3：來(lái)自（DPI-T）深度人物識(shí)別的樣本圖像。每一行都是不同的人。左邊的三列是RGB映像，右邊的一列是深度映像。
為每一個(gè)人都提供更多的觀察資料。平均算來(lái)，每個(gè)人幾天之內(nèi)大概出現(xiàn)在25個(gè)視頻之內(nèi)。在這期間每個(gè)人肯定會(huì)換衣服---大概是5套左右。從圖三可以看出在我們數(shù)據(jù)集中的三個(gè)人穿著不同衣服。此外，他們的步行速度會(huì)隨著每天或是每周時(shí)間的不同而發(fā)生變化。
挑戰(zhàn)高處視角
在現(xiàn)實(shí)生活中（如便利店和醫(yī)院）的攝像頭一般會(huì)置于天花板上朝下錄像，與我們現(xiàn)存數(shù)據(jù)集中的清晰，超前或是超兩側(cè)的錄像剛好相反。這會(huì)造成自我遮擋的麻煩或是不完整的3D云再現(xiàn)。
人類(lèi)一般攜帶著物體
現(xiàn)存數(shù)據(jù)集從控制的場(chǎng)景中收集的數(shù)據(jù)。在我們的數(shù)據(jù)集中，人們都是“在外面”，一般會(huì)帶著食物，咖啡或是筆記本。此外，由于我們收集的數(shù)據(jù)時(shí)間跨度較長(zhǎng)，人們一般會(huì)帶著帽子，包，或是雨傘（見(jiàn)圖三）。
4.2評(píng)價(jià)指標(biāo)
“單鏡頭”方法，一個(gè)映像一個(gè)標(biāo)簽，或是“多鏡頭”方法平衡框架特征和時(shí)間特征。通過(guò)這兩個(gè)方法都能解決人物識(shí)別的問(wèn)題。此外，我們會(huì)提供“單鏡頭”和“多鏡頭”的評(píng)價(jià)結(jié)果。
表2：?jiǎn)午R頭的辨別表現(xiàn)。上文所提及的方法只使用了空間信息。兩種方法都有在測(cè)試集上進(jìn)行過(guò)計(jì)算。數(shù)值越大越好。破折號(hào)表示沒(méi)用可用信息。（*）表示盡管這樣比較不公平，為了完整性，我們進(jìn)行RGB和RGB-D方法的比較。
圖4：（a-c）漸增的曲線是在不同的數(shù)據(jù)集和模式中的測(cè)試表現(xiàn)。
4.3試驗(yàn)設(shè)置
對(duì)于3D或是4D輸入，我們通過(guò)增加高斯噪音來(lái)擴(kuò)大數(shù)據(jù)，云圖中的每一點(diǎn)平均會(huì)產(chǎn)生0cm至5cm的不同。在原始或是隨機(jī)框定的0.8×和1.2×范圍內(nèi)的圖像和張量都移動(dòng)了0至+/-5cm。CNN在增加的實(shí)例中比RAM先進(jìn)行訓(xùn)練。
4.4 基準(zhǔn)線
單鏡頭識(shí)別。我們比較了循環(huán)模式和一些深度模式。表2向我們展示了單鏡頭識(shí)別人物的一些方法和結(jié)果：（1）我們使用統(tǒng)一隨機(jī)的方法計(jì)算表現(xiàn)。（2）四個(gè)人手動(dòng)完成識(shí)別任務(wù)。每個(gè)人可看見(jiàn)一張測(cè)試圖片和所有的訓(xùn)練數(shù)據(jù)。（3-5）框架之間的區(qū)別可看做是人工添加的特征。（6）三維的CNN模式在3D云圖中運(yùn)行。（7）二維的RAM在深度圖像中運(yùn)行。（8）三維RAM在3D點(diǎn)云中運(yùn)行。（9）使用面部描述符。（10）點(diǎn)傾斜變焦相機(jī)對(duì)圖像不同部分變焦。（11）面部描述符在框架之間的距離連接起來(lái)。（12）在3D點(diǎn)云和框架距離間分?jǐn)?shù)相近。
多次識(shí)別
表3列舉了一些多點(diǎn)方式：（1-2）使用隨機(jī)人類(lèi)表現(xiàn)作為基準(zhǔn)。（3-4）評(píng)估步態(tài)能量圖和容量。（5-6）使用手動(dòng)框架距離和幀間表決系統(tǒng)。（7）一堆框架間距離（和5-6一樣）放入LSTM中。（8）隨時(shí)間平均化的一個(gè)3D CNN網(wǎng)絡(luò)。（9）在3D點(diǎn)云中運(yùn)行的3D LSTM。（10）最終的RAM模型。（11-12）面部描述在表決系統(tǒng)中的運(yùn)用。（13）一系列圖片中多重成分差異計(jì)算。（14）RGB-D點(diǎn)云與手動(dòng)特性協(xié)同使用識(shí)別。
表3
4.5 單次識(shí)別表現(xiàn)
學(xué)會(huì)編碼能提升表現(xiàn)。
為了更好的理解表現(xiàn)的原因，我們減少了RAM輸入的維度同時(shí)評(píng)估了一個(gè)2D和3D變量。這些2D和3D模型是單次任務(wù)評(píng)估的。從2D到3D，隨著輸入維度的增加，RAM的表現(xiàn)也單調(diào)增加了（見(jiàn)圖4）。與之相反的是步態(tài)能量的變化（見(jiàn)表2）。從2D到3D，步態(tài)能力實(shí)現(xiàn)了相似的轉(zhuǎn)移，但是在高維狀態(tài)下表現(xiàn)更差。這表明我們的學(xué)會(huì)編碼的模型能從高維輸入保存相當(dāng)?shù)男畔ⅲ綉B(tài)能量體沒(méi)有編碼能力則不行。
RAM比深度學(xué)習(xí)基準(zhǔn)表現(xiàn)得要好。
為了進(jìn)一步驗(yàn)證我們模型的表現(xiàn)，我們預(yù)估了一個(gè)3D卷積神經(jīng)網(wǎng)絡(luò)。對(duì)兩者3D CNN和3D RAM進(jìn)行3D點(diǎn)云輸入。如表2所示，3D RAM比3D CNN要表現(xiàn)好。這個(gè)確認(rèn)了我們的猜想，我們的RAM能人為夠影響提升訓(xùn)練樣本數(shù)量的片段同時(shí)提高表現(xiàn)水準(zhǔn)。
4.6 多次識(shí)別表現(xiàn)
我們的最終模型（4D RAM）比現(xiàn)有的人類(lèi)基準(zhǔn)和深度方法都要優(yōu)秀。Munaro和Barbosa都在使用框架間隔距離作為一個(gè)特性。我們?cè)诒?中列舉了一些手工特性的表現(xiàn)。結(jié)果表明這些特性不能推斷復(fù)雜的潛在變量。我們的4D RAM在表3中同樣超過(guò)了RGB-D。使用了上述框架距離特性，方法（13）計(jì)算了一個(gè)標(biāo)準(zhǔn)的3D點(diǎn)云表現(xiàn)。雖然方法（13）影響了RGB學(xué)習(xí)，它表明整個(gè)點(diǎn)云可能包含外來(lái)噪音。我們的模型能夠通過(guò)選擇包含有效學(xué)習(xí)的片段來(lái)避免噪音。
4.7重點(diǎn)關(guān)注區(qū)域
這是3D和4DRAM之間最大的不同之處。在3D模式下，我們的模型必須“注意”每一幀的區(qū)域。然而，在4D的模式下，我們的模型沒(méi)有這方面的要求，因?yàn)樗亲杂蓞?shù)。我們的模型在要“注意”那些框架方面有充分的自由裁量權(quán)，并可以根據(jù)需要向前和向后移動(dòng)時(shí)間。我們?cè)趫D5中做出了分析。整個(gè)視頻過(guò)程中，p(? yt = y) 在變化。我們的模型不僅可以改變每個(gè)幀中一瞥的空間位置，也可以改變大小。雖然我們的模型沒(méi)有關(guān)注程度的明確概念，但它可以間接模仿概念。為了減少給對(duì)于定幀K注意力的大小，我們的模型移動(dòng)一瞥中心至一個(gè)遠(yuǎn)離K的框架。雖然每一次關(guān)注整體的“大小”是不變的，但它對(duì)K的關(guān)注量已減少。
如圖5所示，我們的模型開(kāi)始于1，“盯著”人的肩膀，跳到一個(gè)不同的框架，并繼續(xù)“盯著”的肩膀。對(duì)此的解釋是我們的模型已經(jīng)學(xué)會(huì)了識(shí)別循環(huán)周期。有趣的是，生物學(xué)中證明，男性行走時(shí)肩膀表現(xiàn)出較強(qiáng)的旋轉(zhuǎn)位移。[46]我們模型的關(guān)注證明了這一說(shuō)法。然后模型在時(shí)間點(diǎn)向后跳躍并且出現(xiàn)在3的底部。這表明腿運(yùn)動(dòng)（即步態(tài)）可能提供身份的痕跡。這特別的一瞥路徑很有可能被采納，因?yàn)槲覀儗W(xué)到的政策根本沒(méi)有探索其他路徑，但我們的模型訓(xùn)練過(guò)許多不同最初一憋位置的時(shí)代，以便減少這種可能性。
圖5
我們將在2D圖像上展示4D關(guān)注，圖6A顯示我們模型瞥見(jiàn)的路徑，注意它幾乎總是訪問(wèn)一個(gè)主要的骨架關(guān)節(jié)。圖6b顯示一個(gè)注意所有像素的熱圖，它說(shuō)明了不同的身體部位吸引不同程度的注意。我們的模型很容易識(shí)別獨(dú)特的鞋或頭發(fā)款式。此外，它確定了女性左邊的臀部為一個(gè)可識(shí)別區(qū)域，如生物力學(xué)文獻(xiàn)中所確定的[ 15 ]，女性在髖關(guān)節(jié)區(qū)表現(xiàn)出強(qiáng)烈的橫向搖擺。對(duì)于一些女性，這一點(diǎn)可以成為獨(dú)特的運(yùn)動(dòng)標(biāo)簽。
圖6
5. 結(jié)論
本文中我們介紹了一種遞歸注意力模型，它能在深度視頻中判斷并識(shí)別里面的時(shí)空和地域，進(jìn)而解決人類(lèi)識(shí)別問(wèn)題。我們的模型從一種高維4D輸入空間學(xué)會(huì)了一種獨(dú)特的空間標(biāo)記方法。通過(guò)微小的片段和解碼器來(lái)減少維度，這使得我們訓(xùn)練出一種LSTM模型的遞歸網(wǎng)絡(luò)。利用在二維、三維、四維空間的輸入表現(xiàn)，對(duì)我們的模型進(jìn)行評(píng)估，證明我們的注意力模型已經(jīng)取得了在“多個(gè)人物識(shí)別數(shù)據(jù)組”中的最佳表現(xiàn)。并將我們的注意力模型視覺(jué)化，這為未來(lái)在計(jì)算機(jī)視覺(jué)、生物力學(xué)、生理學(xué)等領(lǐng)域提供了新的見(jiàn)解。
Via CVPR2016 Recurrent Attention Models for Depth-Based Person Identification
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
