ICCV 2019 | 一種基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員和安全帶檢測(cè)的靈活體系結(jié)構(gòu)

作者 | BBuf

下面要介紹的論文始發(fā)于ICCV2019，題為「NADS-Net: A Nimble Architecture for Driver and Seat Belt Detection via Convolutional Neural Networks」，axriv地址為：https://arxiv.org/abs/1910.03695 。雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))  AI 科技評(píng)論編輯如下。

在本文中，我們提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)（CNN）結(jié)構(gòu)，用于二維駕駛員/乘客姿態(tài)估計(jì)和安全帶檢測(cè)。與其他通用的姿態(tài)估計(jì)算法相比，新的結(jié)構(gòu)更加靈活，因此更適合車(chē)內(nèi)檢測(cè)任務(wù)。這種新的結(jié)構(gòu)稱(chēng)為NADS-Net，網(wǎng)絡(luò)在一個(gè)新的數(shù)據(jù)集上得到驗(yàn)證，該數(shù)據(jù)集包含為本研究收集的50個(gè)駕駛會(huì)話(huà)中的100個(gè)駕駛員的視頻片段。還分析了不同人口學(xué)、外觀和光照條件下的檢測(cè)性能。本文的研究結(jié)果可為自主駕駛研究界和汽車(chē)工業(yè)提供有意義的見(jiàn)解，為今后的算法開(kāi)發(fā)和數(shù)據(jù)采集提供參考。

 

1. 研究背景

全球交通事故報(bào)告顯示大多數(shù)交通事故時(shí)由于駕駛員分心引起的。分心駕駛的例子包括使用手機(jī)，和乘客對(duì)話(huà)，喝飲料等與駕駛無(wú)關(guān)的行為。瞌睡，疲勞，服藥等其他一些生理問(wèn)題也可能導(dǎo)致危及生命的情況。

另一個(gè)重大的駕駛安全隱患是不當(dāng)使用安全帶。這可能導(dǎo)致嚴(yán)重的人身傷害和死亡。根據(jù)美國(guó)國(guó)家公路交通安全管理局(NHTSA)的數(shù)據(jù)，2016年有10428名未系安全帶的駕駛員和乘客在道路上葬生。

因此，車(chē)載監(jiān)控系統(tǒng)(IVMS)迅速成為消費(fèi)類(lèi)車(chē)輛的標(biāo)準(zhǔn)技術(shù)，因?yàn)樗梢酝ㄟ^(guò)提醒分心的駕駛員和自適應(yīng)調(diào)整安全機(jī)制，在預(yù)防和減少交通事故的發(fā)生中發(fā)揮關(guān)鍵作用。此外，在即將到來(lái)的自動(dòng)駕駛時(shí)代，IVMS技術(shù)更加關(guān)鍵。例如，當(dāng)車(chē)輛系統(tǒng)在自動(dòng)駕駛模式下檢測(cè)到異常時(shí)，IVMS可以向駕駛員報(bào)警，以便駕駛員可以在系統(tǒng)出現(xiàn)故障時(shí)接管車(chē)輛的控制權(quán)。對(duì)于IVMS，基于視覺(jué)的傳感技術(shù)是其核心。在IVMS系統(tǒng)中檢測(cè)并跟蹤了來(lái)自臉部，眼睛，頭姿勢(shì)，手勢(shì)和身體姿勢(shì)的視覺(jué)信息。基于視覺(jué)傳感技術(shù)的目標(biāo)是識(shí)別汽車(chē)中人類(lèi)的各種狀態(tài)，例如前排乘客的身體姿態(tài)以及是否正確系好安全帶，這也是本文的主要目標(biāo)。具體來(lái)說(shuō)，本文提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)用于駕駛員和乘客的二維姿態(tài)估計(jì)和安全帶檢測(cè)。NADS-Net以特征金字塔網(wǎng)絡(luò)FPN作為骨干網(wǎng)絡(luò)，后面接了關(guān)鍵點(diǎn)檢測(cè)頭，親和力場(chǎng)檢測(cè)頭和安全帶檢測(cè)頭。和SOAT算法[4]相比，該網(wǎng)絡(luò)表現(xiàn)出了相似的精度，同時(shí)更加簡(jiǎn)潔高效。

2. 相關(guān)工作

2.1 人體姿態(tài)估計(jì)

在自動(dòng)駕駛領(lǐng)域中，人體姿態(tài)估計(jì)算法因其不需要任何傳感儀器就能捕獲人的運(yùn)動(dòng)姿態(tài)的能力得到了越來(lái)越多的關(guān)注。現(xiàn)在人體姿態(tài)估計(jì)方法大概可以分為自上而下和自下而上的方法。

2.1.1 自上而下的方法

自上而下的方法首先檢測(cè)人的邊界框。然后將每個(gè)邊界框分解為身體關(guān)鍵點(diǎn)和骨骼。[25]使用Faster RCNN首先預(yù)測(cè)人的邊界框，然后利用殘差網(wǎng)絡(luò)預(yù)測(cè)每個(gè)框中的熱力圖和偏移矢量以定位關(guān)鍵點(diǎn)。何凱明等提出了Mask-RCNN，它在Faster-RCNN的邊界框檢測(cè)頭進(jìn)行擴(kuò)展，使它支持實(shí)例分割和關(guān)鍵點(diǎn)檢測(cè)。此外，他們將骨干網(wǎng)絡(luò)改成了FPN，使得準(zhǔn)確率和速度都得到了提升。Chen等提出由兩個(gè)階段組成的級(jí)聯(lián)金字塔網(wǎng)絡(luò)(CPN)：GlobalNet和RefineNet。CPN首先檢測(cè)一個(gè)人的邊界框，然后將裁剪的邊界框傳遞到GlobalNet，在其中使用FPN主干網(wǎng)絡(luò)預(yù)測(cè)關(guān)鍵點(diǎn)。然后，RefineNet完善GlobalNet預(yù)測(cè)的關(guān)鍵點(diǎn)，進(jìn)而實(shí)現(xiàn)更精確的遮擋或不可見(jiàn)關(guān)鍵點(diǎn)檢測(cè)。

2.1.2 自下而上的方法

自下而上的方法首先檢測(cè)所有的人體關(guān)鍵點(diǎn)，然后解析它們的連接和成員關(guān)系以構(gòu)造人的實(shí)例。DeepCut是自下而上方法的一個(gè)例子，該方法可以檢測(cè)身體部位以及每個(gè)身體部位之間的關(guān)系。然后將這些輸出用于回歸檢測(cè)到的關(guān)鍵點(diǎn)的位置偏移并連接骨架實(shí)例。Newell等介紹了一種可以同時(shí)輸出關(guān)鍵點(diǎn)位置和逐像素嵌入的方法，將關(guān)鍵點(diǎn)檢測(cè)結(jié)果自動(dòng)分組為單獨(dú)的姿勢(shì)。Cao[4]等提出了部分親和力字段(PAF)，該字段包含指示如何連接各個(gè)關(guān)鍵點(diǎn)的矢量字段。他們使用PAF預(yù)測(cè)頭增強(qiáng)了卷積姿態(tài)機(jī)算法，并使用了二分圖匹配算法貪心的連接骨架實(shí)例。

2.2 安全帶

基于計(jì)算機(jī)視覺(jué)的安全帶檢測(cè)研究一直在進(jìn)行。Zhou[39]等將邊緣檢測(cè)算法，顯著梯度圖和徑向基函數(shù)組合到一個(gè)統(tǒng)一的網(wǎng)絡(luò)結(jié)構(gòu)中，以判斷圖像中是否存在安全帶。Zhou[38]等使用帶BN層的AlexNet來(lái)識(shí)別安全帶。Elihos等提出了一種方法，該方法首先使用SSD裁剪乘客區(qū)域，然后用CNN檢測(cè)是否使用了安全帶。本文提出的安全帶檢測(cè)算法試圖在檢測(cè)結(jié)果中增加更多的細(xì)粒度，以便檢測(cè)結(jié)果不僅能提供安全帶是否使用的信息，而且還可以通過(guò)安全帶相對(duì)于檢測(cè)到的身體的相對(duì)位置來(lái)進(jìn)一步反饋。

 

3. 方法

在本文中，我們提出了新的NADS-Net結(jié)構(gòu)，可以同時(shí)進(jìn)行姿態(tài)估計(jì)和安全帶檢測(cè)。

3.1 問(wèn)題概述

通用的姿態(tài)估計(jì)問(wèn)題都是在公共數(shù)據(jù)集例如MS COCO,PoseTrack上進(jìn)行訓(xùn)練和驗(yàn)證的。但是這些數(shù)據(jù)一般是在白天和明亮的室內(nèi)拍攝的，且由于車(chē)輛有夜間紅外圖像，所以姿態(tài)估計(jì)算法在夜間紅外圖像上表現(xiàn)也值得懷疑。且關(guān)鍵點(diǎn)是駕駛員和乘客在車(chē)內(nèi)的姿勢(shì)非常有限，且背景較為簡(jiǎn)單，人的數(shù)量也少，所以較小的淺層模型就可以滿(mǎn)足車(chē)內(nèi)駕駛員和乘客的姿態(tài)估計(jì)。

3.2 數(shù)據(jù)集

這項(xiàng)研究的主要挑戰(zhàn)之一是缺乏適當(dāng)?shù)臄?shù)據(jù)集。上面提到，一些人體姿態(tài)的公開(kāi)數(shù)據(jù)集是不適合車(chē)輛監(jiān)控環(huán)境的。特別的，我們需要安全帶標(biāo)注樣本，人口統(tǒng)計(jì)信息，夜間紅外圖像，在駕駛時(shí)處于動(dòng)態(tài)光照變化下的人體姿態(tài)和手勢(shì)。

數(shù)據(jù)收集 我們收集了沃爾沃XC90研究車(chē)輛中駕駛員和乘客的視頻。這次收集歷時(shí)7個(gè)月，共有100名受試著隨機(jī)分配到一個(gè)汽車(chē)駕駛會(huì)話(huà)中。要求受試者進(jìn)行某些指定的行為，如玩手機(jī)，打哈欠，把手伸出窗戶(hù)，喝酒等等。我們給汽車(chē)配備了紅外燈和兩個(gè)攝像頭。其中一個(gè)攝像頭安裝臺(tái)后視鏡下，另外一個(gè)安裝在中央媒體控制板上。紅外燈安裝在儀表盤(pán)上和遮陽(yáng)板后面。Figure2展示了設(shè)備的安裝方式。

Figure 2

統(tǒng)計(jì)信息 除了駕駛視頻之外，我們還收集了如年齡，性別，種族等人口統(tǒng)計(jì)信息，這些總結(jié)在Table1中。需要注意的是，所有的駕駛場(chǎng)景均由一名研究人員陪同。因此，視頻中包含了一些重復(fù)出現(xiàn)的研究人員。為了最大程度的減少數(shù)據(jù)的潛在偏差，研究人員在整個(gè)駕駛過(guò)程中輪流陪同。根據(jù)安全要求，研究人員必須在車(chē)輛行駛時(shí)坐在前排乘客座椅上，但是當(dāng)車(chē)輛在停車(chē)時(shí)，他們盡可能地移動(dòng)到不同的座椅位置，以最大程度地減少數(shù)據(jù)偏差。此外，要求研究人員每次穿不同的衣服和配件。最后，駕駛路線(xiàn)包括鄉(xiāng)村道路，市區(qū)和高速公路，以實(shí)現(xiàn)背景和照明的多樣化。

 

數(shù)據(jù)標(biāo)注 對(duì)于剪輯視頻的每張圖像，將所有可見(jiàn)的安全帶部分做分割標(biāo)簽，并對(duì)可見(jiàn)的身體關(guān)鍵點(diǎn)的坐標(biāo)(x, y)進(jìn)行標(biāo)記。這項(xiàng)研究的研究人員在每次標(biāo)注人員提交作業(yè)時(shí)都進(jìn)行了最終檢查，以確保數(shù)據(jù)的質(zhì)量。標(biāo)注結(jié)果示例如Figure1所示：

Figure 1

3.3 模型

Figure 3

如Figure3所示，我們的網(wǎng)絡(luò)模型有三個(gè)頭，用來(lái)生成熱力圖，PAF圖和安全帶分割，其中骨干網(wǎng)絡(luò)是特征金字塔網(wǎng)絡(luò)。NADS-Net的骨干網(wǎng)絡(luò)由ResNet-50組成，為后面的檢測(cè)分支產(chǎn)生金字塔特征。ResNet-50的結(jié)構(gòu)可以產(chǎn)生原始分辨率1/4,1/8,1/16,1/32的特征圖。例如對(duì)于我們的輸入分辨率384*384,ResNet-50骨骼網(wǎng)絡(luò)產(chǎn)生4層特征金字塔，每層大小分別為96*96，48*48,24*24,12*12。同時(shí)特征圖的通道數(shù)分別為256,512,1024,2048。然后進(jìn)一步使用1*1卷積將通道數(shù)都?jí)嚎s到256。最后縮減后的特征金字塔再進(jìn)行兩次3*3卷積和上采樣(特征圖大小為96的不用上采樣了)，以生成一個(gè)96*96*512的特征圖用于三個(gè)頭完成身體關(guān)鍵點(diǎn)和安全帶檢測(cè)。

每個(gè)檢測(cè)分支使用兩個(gè)3*3卷積核1*1卷積來(lái)預(yù)測(cè)逐像素概率分布。對(duì)于關(guān)鍵點(diǎn)檢測(cè)頭，像素的概率表示該點(diǎn)為關(guān)鍵點(diǎn)的置信度。由于我們對(duì)背景遮擋的關(guān)節(jié)點(diǎn)也有興趣，所以關(guān)鍵點(diǎn)頭會(huì)產(chǎn)生10個(gè)大小為96*96的特定類(lèi)概率圖，每個(gè)概率圖都與我們感興趣的9個(gè)關(guān)節(jié)點(diǎn)以及背景有關(guān)。對(duì)于PAF頭，我們產(chǎn)生尺寸為96*96的矢量場(chǎng)，該矢量場(chǎng)編碼了身體關(guān)節(jié)的成對(duì)信息。最后安全帶頭產(chǎn)生大小為96*96的概率圖，代表每個(gè)像素為安全帶的概率，然后根據(jù)閾值產(chǎn)生安全帶分割結(jié)果。

4. 結(jié)果

我們將[4]中的PAF模型作為基準(zhǔn)線(xiàn)和我們NADS-Net比較。對(duì)于身體關(guān)鍵點(diǎn)的檢測(cè)精度，我們采用正確關(guān)鍵點(diǎn)概率(PCK)作為標(biāo)準(zhǔn)。在通用的人體姿態(tài)估計(jì)中，人體頭部的PCK(PCKh)被作為PCA的參考。這在圖像中人的像素高度急劇變化情況下是合理的。但是，在本文的車(chē)載監(jiān)控任務(wù)中，我們發(fā)現(xiàn)這種通用方法可能會(huì)妨礙模型性能的精確表征，因?yàn)轭^部大小會(huì)根據(jù)頭部的空間位置而大大變化，而身體其他部位(如手)到攝像機(jī)的距離保持不變。因此，我們可以通過(guò)使用頭枕大小作為PCK測(cè)量的參考值。首先，從攝像機(jī)到頭枕的距離幾乎相同，這可以為PCK評(píng)估提供更穩(wěn)定的參考。此外，頭枕的大小與人的頭部大約相同，因此PCK值的范圍與其他人的姿勢(shì)估計(jì)文獻(xiàn)相似。這樣可以更直觀地解釋分析結(jié)果。因此，我們使用修改后的PCKh度量標(biāo)準(zhǔn)（mPCKh），其中將頭枕的對(duì)角線(xiàn)長(zhǎng)度用作參考，如圖Figure4所示：

Figure 4

對(duì)于安全帶檢測(cè)任務(wù)，沒(méi)有可用的基線(xiàn)模型進(jìn)行比較。所以，我們只報(bào)告模型的敏感性，特異性，準(zhǔn)確率，F(xiàn)1得分和交叉結(jié)合（IOU）。

Table2展示了我們的NADS-Net和[4]的方法在姿態(tài)估計(jì)準(zhǔn)確率上的對(duì)比結(jié)果。

Table3展示了安全帶檢測(cè)結(jié)果。

 

從實(shí)驗(yàn)結(jié)果來(lái)看，相比于[4]的SOAT結(jié)果，NADS-Net的準(zhǔn)確率更高。且我們?cè)贑ore-i7 CPU，1080Ti主機(jī)進(jìn)行了速度測(cè)試，我們前向推理速度為18fps，而基準(zhǔn)模型是12fps，且我們的模型參數(shù)量比基準(zhǔn)模型減少了25%。

 

5. 結(jié)論

在本文中，我們提出了一種新的CNN體系結(jié)構(gòu)，稱(chēng)為NADS-Net，用于駕駛員和乘客的姿態(tài)估計(jì)以及車(chē)輛中的安全帶檢測(cè)。在估計(jì)人體姿態(tài)和安全帶檢測(cè)時(shí)，NADS-Net能夠與SOAT工作[4]擁有相似的準(zhǔn)確度，同時(shí)減少了計(jì)算參數(shù)和擁有更快的推理速度。我們細(xì)分了性能，并在不同方面提供了深入的分析，包括性別，種族，衣服和光照條件。這些結(jié)果可能會(huì)為將來(lái)的學(xué)術(shù)研究和工業(yè)產(chǎn)品開(kāi)發(fā)提供有用的參考。

 

[4] Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh. Realtime multiperson 2D pose estimation using part affinity fields. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7291–7299, 2017.

雷鋒網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。