深瞐科技 CTO 王建輝： 4 級結構化系統+ 4 大產品，助力云到端的視頻結構化丨AI 安防峰會 2018

3月31日，由雷鋒網主辦的AI盛會 ——「2018中國人工智能安防峰會」，在深圳科興科學園國際會議中心落下帷幕。

大會現場，深瞐科技CTO王建輝發表了主題演講：《從云到端的視頻結構化》。

王建輝在演講中表示，現有傳統安防監控體系往往無法消化攝像頭不斷產生的海量數據，這致使視頻監控產品已經無法滿足行業提出的新需求。

雷鋒網了解到，針對這一現狀，深瞐科技從視頻結構化系統入手，在視頻里面提取行人、車輛、非機動車特征，并分析車輛的信息和司機行為。在深圳交警的一次測試中，深瞐科技取得了大貨車檢出率、車牌檢出率和車牌識別正確率三項第一，表現搶眼。

談及“AI+安防”的行業現狀與未來，王建輝給出三點看法：首先，云端視頻結構化的解碼能力已經成為性能瓶頸；其次，邊緣計算已經能夠滿足視頻結構化所需的計算能力。未來，視頻結構化運算會慢慢地向前端轉化。

以下為王建輝演講實錄，雷鋒網做了不改變原意的編輯：

大家好，我是北京深瞐科技有限公司的CTO王建輝，今天演講的主題是“從云到端的視頻結構化”。

首先介紹一下我們公司，我要說這個瞐字，很多人第一眼都以為我們公司叫“深晶”。瞐由三個目組成，它代表的是美麗深邃的眼睛，從這個字也能理解出我們公司主要是做計算機視覺相關的工作，同時我們希望做守護世界的第三只眼，主要是在安防產業發展。

大家都知道，現在中國的攝像頭非常多。據行業的統計數據是有1.76億攝像頭，未來三年會增加到6億多，每秒鐘產品的數據量是66TB。這樣大的數據量，傳統的基于肉眼的安防監控已經越來越不能滿足安防行業的需求。

傳統的安防設備產生的是沒有經過結構化的數據，現在主要是進行一些威懾、偵查取證的作用，我們如何利用這些數據來發現犯罪行為，然后進行一些分析？

下圖是深瞐科技現在的視頻結構化系統，它可以在視頻里面提取出行人、車輛、非機動車，同時會分析出它非常詳細的屬性。

我們的視頻結構化系統分為四級，首先我們會從加油站、停車場、卡口、道路監控設備里面提取視頻數據，然后對它進行一級結構化。

一級結構化主要是對行人、自行車、兩輪摩托車、三輪摩托車、轎車、面包車、卡車、大型客車這8類目標的檢測識別追蹤：

每一個目標從進入視場到出視場，我們會對目標進行擇優去重，獲取一張最適合進行二級結構化的圖片，去進行二級結構化。

這是我們針對車輛的二級結構化的示意圖：

我們目前支持的車輛品牌型號，車頭是5500多種，車尾是3500多種，已經基本上涵蓋了目前中國路面上所有行駛的車輛。

同時，我們的車牌識別可以支持全屬性識別，我們還會識別駕駛員的違法行為，比如說未系安全帶、開車打電話。同時我們還會識別車輛更特征化的屬性，比如說年檢標是怎么排列的，遮陽板有沒有放下來，紙巾盒、天窗、備胎等等屬性我們全部都要識別出來。

針對人，我們需要提取性別、年齡、發型和胡須、上衣顏色、褲子顏色、款式等等屬性。

深瞐科技識別人和車的屬性一共有40多種，現在這套系統的應用范圍非常廣：

去年深圳安博會上，一號館里展示過視頻結構化技術的公司共13家，其中7家的后臺技術由深瞐提供。

這是我們前段時間在深圳交警的一個測試：

我們需要進行大貨車的檢測以及大貨車車牌識別，深圳交警關注的三項技術指標我們全部獲得了第一，從這個測試結果里面我們大概可以看到，我們現在車輛的檢出率都在97%到99%。這個測試集一共是100萬張圖片。

以下是一些行業應用的示例：

這是一個假套牌車的識別案例：

深瞐與西安交警合作，協助他們實時識別出路面上5輛出租車用的是同一個牌照。

我們也針對駕駛員的違法駕駛行為進行預警和布控，比如說沒有系安全帶、開車打電話等等。同時在一些危化品車輛方面也可以進行布控和預警。

針對車輛的犯罪里面還有一類是同行車輛的挖掘，比如說搶劫案件和同伙作案，它們都會涉及到車輛的同行，我們會通過車輛的軌跡重現以及同行車輛的挖掘來解決問題。

深瞐科技的視頻結構化主要布置在安防行業的四大類產品中：結構化智能相機、嵌入式視頻分析器、智能存儲、集中式分析服務器。

從云端到前端，我們都有相應的解決方案。

剛才講到去年安博會一號館中的7家大型安防公司在使用深瞐科技基于GPU環境下的云端解決方案。

那么在云端解決方案里，一張TeslaP4的卡，如果只是針對結構化的計算，我們可以對48路1080P視頻進行結構化，如果考慮到1080P視頻的解碼，解碼也非常消耗計算量。

如果把解碼和結構化全部考慮進去，現在一張P4的卡只支持24路1080P 30幀解碼，加上24路的視頻結構化運算。這樣可以發現，我們公司目前在視頻結構化方面，系統性能并不是受限于視頻結構化算法的效率，而是視頻解碼的效率。

為了尋找解碼和計算能力上的匹配，后來我們采用了英偉達的TX2。

TX2具有8路1080P硬解的能力，計算能力滿足我們公司進行8路視頻結構化的運算，而且TX2有一個優點是我們原來在GPU上的算法可以非常方便的移植到TX2這個平臺上。

另外，深瞐團隊還做了一個嵌入式的盒子：

這個采用了海思Hi3559A解決方案的盒子可以接到安防攝像頭的后面，能夠滿足8路視頻編解碼的能力，同時它的NNIE也能滿足8路視頻結構化的運算能力。

我們也做了一些智能前端的解決方案，這套方案基于海思3516和賽靈思7020 FPGA芯片。在Zynq上搭建了一個神經網絡加速器，可以滿足1080P 30幀每秒一級結構化的運算，檢出率在95%以上，功耗僅為5瓦。

最后，我來做一總結，目前在云端視頻結構化里，解碼的性能會越來越多地成為性能瓶頸，之前大家都覺得深度學習是瓶頸，實際上經過優化之后，它的計算會非常快。另外，邊緣計算已經能滿足視頻結構化計算所需要的能力，所以我們覺得將來視頻結構化運算會慢慢地由云端向前端去轉化。雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。