Video++張奕：人工智能在消費級視頻場景中的應用丨雷鋒網(wǎng)公開課（附PPT）

雷鋒網(wǎng)按：視頻直播行業(yè)在前幾年迎來了井噴式爆發(fā)，隨著人工智能技術(shù)的逐漸成熟，視頻的解決方案也在不斷完善，例如大數(shù)據(jù)、智能追蹤、直播互動、廣告精準推薦等，這些都在潛移默化中提升視頻的用戶體驗，并且也給視頻行業(yè)帶來了新的商業(yè)模式。

那么人工智能在視頻應用場景中究竟能發(fā)揮哪些作用？二者結(jié)合能帶來哪些新的商業(yè)應用？

本期硬創(chuàng)公開課，雷鋒網(wǎng)邀請到了Video++人工智能事業(yè)部研發(fā)Team Leader張奕為大家講解人工智能在消費級視頻場景中的應用。

嘉賓簡介

 

張奕：Video++人工智能事業(yè)部研發(fā) Team Leader，中科院博士，研究領(lǐng)域包括深度學習、多媒體、計算機視覺、模式識別及視頻處理，原美國Autodesk研究院計算機視覺專家，擁有數(shù)項技術(shù)發(fā)明專利，在ICPR、ICVR等知名國際會議及Journal of Multimedia等國際期刊中發(fā)布過數(shù)篇論文。

Video++專注于消費級視頻大流量場景的AI科技公司，以視覺識別和大數(shù)據(jù)為基礎(chǔ)，實現(xiàn)視頻場景匹配和廣告自動投放，實現(xiàn)在視頻中的購物，百科，虛擬植入，卡牌互動，投票，發(fā)紅包等互動功能，為觀眾提供新型的互動體驗。

截至日前，服務的10000多家企業(yè)包括樂視視頻、芒果TV、愛奇藝、風行網(wǎng)、浙江衛(wèi)視中國藍等綜合平臺，斗魚直播、戰(zhàn)旗直播、熊貓直播等直播平臺，以及Zealer、日日煮、小李子足球等垂直網(wǎng)站和社區(qū)，每月為平臺提供超過101億次的服務。

以下內(nèi)容整理自本期公開課，雷鋒網(wǎng)做了不改變原意的編輯：

大家好，我是來自Video++團隊的張奕。Video++成立2年多來，一直致力于消費級視頻領(lǐng)域的技術(shù)產(chǎn)品的研發(fā)，利用人工智能技術(shù)實現(xiàn)視頻內(nèi)容的分析和識別。今天就給大家分享一下Video++團隊利用人工智能技術(shù)在消費級視頻垂直領(lǐng)域的應用的技術(shù)和心得。

一、消費級視頻的特點

消費級視頻作為視頻的一個子類，當然具有相對于靜態(tài)圖像所具有的特點。即在時間維度上，能夠?qū)?nèi)容識別提供重要的幫助，是統(tǒng)計算法斟酌如何有效利用的重要因素。具體有以下特點：

數(shù)據(jù)量大

類別多樣

場景復雜

一般而言，視頻一般分為兩大類：消費級視頻和工業(yè)級視頻。工業(yè)級視頻指的是利用固定設(shè)備在固定條件、固定場景下拍攝的視頻。常見的有安防視頻。很顯然，消費級視頻相對于前者而言更加復雜。下面就來看一下其相對于其他視頻產(chǎn)品的不同。

1、數(shù)據(jù)量大

這是消費級視頻的第一個特點。隨著互聯(lián)網(wǎng)的發(fā)展壯大，很多產(chǎn)品的數(shù)據(jù)都通過互聯(lián)網(wǎng)和云端進行傳輸和存儲。數(shù)據(jù)量大也使得消費級視頻的商業(yè)價值的潛力變得巨大，與此同時這也給人工智能算法處理提出了更高的要求。算法運行時，必須考慮到計算的速度，且要在合理的時間里對大量的數(shù)據(jù)進行分析和處理。

2、類別多樣

再來看消費級視頻的第二個特點。其實其本身可分為很多種類，如電影、綜藝、體育和廣告，還有這兩年非常火的直播、短視頻等等。這些子類的消費者視頻的內(nèi)容形式之間又存在著很大的差異，所以也給不同子類的通用算法提出巨大的挑戰(zhàn)。

3、場景復雜

上文也提到，工業(yè)級視頻由于條件固定，所以場景單一，而消費者視頻則來源多樣，后期還有很多加工，從而場景更加復雜。在消費者視頻里，經(jīng)常能看到場景的切換、縮放和拼接，還有字幕，淡入淡出等功效設(shè)置。在很多消費者視頻中，如舞臺綜藝節(jié)目的頻繁移動，交接的改變，都會對整體或者局部產(chǎn)生模糊。以上因素都會對人工智能分析視頻內(nèi)容產(chǎn)生一定程度的干擾，這就要求人工智能算法需要具備更高的魯棒性，以減少這些因素帶來的干擾。

二、人工智能的發(fā)展與消費級視頻的分析

再來了解一下人工智能技術(shù)在消費級視頻領(lǐng)域的應用，以及過去、現(xiàn)在和將來會達到什么程度。

人工智能在消費級視頻中最重要的功能是目標追蹤、檢測和識別。與工業(yè)級視頻相比，消費級視頻最大的區(qū)別在于其需要編輯、策劃和互動，這是我們可以介入的地方。像娛樂綜藝、在線直播等還有很大的剩余價值有待開發(fā)。利用人工智能技術(shù)對物體、人臉、場景、品牌進行系列結(jié)構(gòu)篩選后，就能得到這個視頻里在何時何地出現(xiàn)了什么人物、物體、場景和品牌的信息。然后再在這一基礎(chǔ)上對物體進行結(jié)構(gòu)化，就能產(chǎn)生極大的商業(yè)價值。

目前來看，在視頻中加入廣告等都需要人工操作，如果采用人工智能技術(shù)來完成這些工作，則能很大程度節(jié)省時間，降低成本。建立視頻結(jié)構(gòu)化數(shù)據(jù)庫以后，經(jīng)過關(guān)鍵詞的篩選，用戶可以批量化、精準化地進行廣告投放，這套系統(tǒng)就能將應用市場、廣告電商和消費者關(guān)聯(lián)起來，實現(xiàn)視頻商業(yè)的結(jié)構(gòu)。

從以上可以看出，人工智能在消費級視頻領(lǐng)域具有巨大的商業(yè)價值。但是，要實現(xiàn)以上的應用設(shè)計，還必須依賴技術(shù)的發(fā)展。人工智能技術(shù)從上世紀30年代伊始，至今已有80年的發(fā)展歷程，也經(jīng)歷了好幾次的技術(shù)飛躍。具體如上表所示，其中最近也是最重要的一次飛躍是在2010年——深度學習技術(shù)在識別中的應用。

在深度學習技術(shù)應用之前，人工智能識別技術(shù)也在不斷發(fā)展，但是在實際應用中，算法準確率與產(chǎn)品商業(yè)化要求之間還存在較大的差距。深度學習技術(shù)的出現(xiàn)，極大的提升了算法的準確率，拉低了其與產(chǎn)品商業(yè)化要求的差距，使得人們看到了人工智能技術(shù)近年來在消費級視頻等相關(guān)領(lǐng)域應用的希望。

三、如何構(gòu)建基于深度學習的消費級視頻分析系統(tǒng)

在這一部分，我將從Video++在消費級視頻領(lǐng)域運用人工智能技術(shù)的相關(guān)實例和心得為大家講述如何構(gòu)建基于深度學習的消費級視頻分析系統(tǒng)。

大體來看，構(gòu)建這一系統(tǒng)需要設(shè)計算法框架和工程化框架。其中，算法框架是基礎(chǔ)。

1、構(gòu)建基于深度學習的消費級視頻分析系統(tǒng)的要素

構(gòu)建基于深度學習的消費級視頻分析系統(tǒng)主要包括三種算法。

首先第一個是深度學習算法。如圖所示，其中就包括樣本的選擇、識別和標注，模型的設(shè)計以及訓練測量。

其次是計算機視覺&圖像處理。因為這里涉及消費級視頻領(lǐng)域，所以必須借助這一算法對視頻進行必要的預處理，從而為深度學習做儲備。那么這其中就包括目標檢測、跟蹤和圖像變換。

此外還包括其他一些算法，如統(tǒng)計模型等。

以上算法都是涉及構(gòu)建消費級視頻分析系統(tǒng)需要借助的基礎(chǔ)算法，那么，選擇算法的標準又是什么？主要與以下兩個因素有關(guān)：

準確率

速度

消費級視頻分析系統(tǒng)除了對準確率要求高之外，由于要分析規(guī)模龐大的數(shù)據(jù)，對處理速度要求也非常的高。不過，這兩項指標本身是存在沖突的。因為準確率更高的系統(tǒng)通常需要消耗更高的計算時間，而處理速度快的算法相對而言準確率會更低，所以在設(shè)計算法框架時需要在二者之間找到最優(yōu)的平衡點。

下面我將從深度學習算法框架開始，具體談談這個算法中的設(shè)計要點。

1）深度學習：樣本采集和標注

在研究深度學習算法中，往往最主要關(guān)注深度神經(jīng)網(wǎng)絡(luò)模型的設(shè)計，而訓練和測試樣本一般是采用公共的數(shù)據(jù)集，以便和其他的算法進行比較。所以訓練樣本的采集和標注也不是那么的重要。但是在消費級視頻分析系統(tǒng)運用到具體場景的應用中，訓練樣本的采集和選擇就顯得尤為重要。這是由深度學習的特點來決定的。

訓練一個深度學習模型，需要大量經(jīng)過良好訓練標注的樣本。這些樣本的質(zhì)量直接決定了訓練所得到的模型的泛化的程度。沒有足夠多的標注的數(shù)據(jù)，即使有好的網(wǎng)絡(luò)模型，也是巧婦難為無米之炊，無法訓練出好的結(jié)果。

Video++在數(shù)據(jù)收集和標注上積累了大量的數(shù)據(jù)。數(shù)據(jù)的收集包括兩類重要的方式，一是由專業(yè)的團隊進行離線的數(shù)據(jù)收集和標注，作為初始模型的訓練數(shù)據(jù)。二是由離線收集的訓練數(shù)據(jù)得到初始模型，然后在線上測試得到反饋數(shù)據(jù)，從中挑選錯分的樣本，再經(jīng)過人工的標注后，將其加入訓練數(shù)據(jù)集里面，對模型模型進行持續(xù)的訓練和分析。我們認為在不久的將來，待標注的數(shù)據(jù)將成為一項技術(shù)壁壘，因為它直接決定了訓練模型得到的數(shù)據(jù)的準確率。

樣本的收集中還有一個值得注意的問題采集的訓練樣本必須與應用環(huán)境中的樣本分布盡量保持一致。以消費級視頻分析為例，訓練樣本必須盡量從消費級視頻里收集，最大限度地使訓練樣本與應用環(huán)境樣本分布保持一致。如果從其他數(shù)據(jù)源，如工業(yè)級視頻或靜態(tài)圖像中獲取訓練樣本，則會降低在消費級視頻的測試的準確率。

2）深度學習：模型的選擇與設(shè)計

標注樣本數(shù)據(jù)之后，我們就要針對應用的類別和樣本的特點選擇對應的模型類型和訓練方式。如單禎的分類應用通常選擇卷積神經(jīng)網(wǎng)絡(luò)模型，時間序列建模相關(guān)的分類應用則選擇遞歸神經(jīng)網(wǎng)絡(luò)模型。選定模型類別之后，根據(jù)應用的復雜程度和訓練樣本的大小選擇模型的深度。

原則上來說，越深的模型應用效果更好，但前提是要有足夠多的樣本來支持。另外，更深的模型也會對硬件容量大小提出更高的要求。對于硬件愛好者或者創(chuàng)業(yè)初期的公司來說，硬件條件也是選擇訓練模型的深度需要考量的一個因素。

而訓練方式中面臨的一個困難選擇在于，是用訓練樣本從頭開始訓練模型，還是在大規(guī)模訓練集上得到的通用訓練模型的基礎(chǔ)之上，再用樣本進行數(shù)據(jù)的微調(diào)。這個微調(diào)是由訓練收集的樣本大小來決定的。如果訓練樣本規(guī)模不足，那么可以考慮采用以通用模型作為初始化參數(shù)，然后再在收集的樣本上進行數(shù)據(jù)微調(diào)的方案。具體有哪些層的參數(shù)可以進行微調(diào)呢？也是由訓練樣本規(guī)模和應用問題來決定的。

2、視頻分析算法總體框架的設(shè)計

在訓練好了深度學習模型之后，我們并不能完整解決消費級視頻的問題。一個端到端的視頻分析系統(tǒng)，必須需要計算機視覺和深度學習識別技術(shù)的配合。

計算機視覺算法主要負責視頻的預處理，包括

視頻結(jié)構(gòu)的分割

目標軌跡的提取

目標圖像的處理

識別結(jié)果的處理

這些工作為深度學習網(wǎng)絡(luò)模型提供數(shù)據(jù)輸入、計算機視覺和統(tǒng)計算法，還負責對深度網(wǎng)絡(luò)模型輸出的結(jié)構(gòu)進行后處理，生成最真的視頻分析結(jié)果。

3、工程化

在有了算法架構(gòu)之后，已經(jīng)能夠?qū)崿F(xiàn)應用所要求的功能，做成演示系統(tǒng)，但要滿足產(chǎn)品化的要求還需要精心設(shè)計后的工程構(gòu)架。工程化的構(gòu)架所要解決的問題是讓算法在生產(chǎn)的高密發(fā)狀態(tài)下生成快速的運行，提供穩(wěn)定的服務。為了達到這一目的，工程化可以從以下方面進行優(yōu)化：

首先是算法的并行化。這其中就包括單一算法內(nèi)部代碼的優(yōu)化和多算法模塊之間的并行化。

此外，為了處理高并發(fā)，需要設(shè)置有效的分布式系統(tǒng)和多任務調(diào)度系統(tǒng)。

由于不同的算法模塊對GPU/CPU的計算資源分配不同，需要對算法模塊進行分割，分配不同的GPU/CPU資源。

最后還要還需要設(shè)置合理的任務優(yōu)先級處理程序，對高優(yōu)先級的任務進行及時的相應。

4、以消費級視頻中的人臉識別為例

前面談到了很多設(shè)計思路，下面我想要借助消費級視頻中的人臉識別技術(shù)來說明下前面提到的設(shè)計原則是如何在場景具體應用的。

我們在拿到一個具體應用中，需要明確系統(tǒng)的“輸入”和“輸出”。其實“輸入”很簡單，就是消費級視頻具有場景多樣、數(shù)據(jù)量大等特點，系統(tǒng)的“輸出”是視頻結(jié)構(gòu)化的信息，結(jié)構(gòu)化的基準是人臉的軌跡和軌跡識別標簽。整個輸出是整個人臉的一個列表，列表中的每一個元素就是一條人臉軌跡。每條人臉軌跡可用一系列的標簽來描述，如起始禎號、軌跡長度、人臉坐標列表、識別結(jié)果標簽和識別結(jié)果置信度等。總結(jié)這些屬性，總共包括兩方面。一是軌跡出現(xiàn)的位置和時間，第二是軌跡識別的標簽。

由此我們可以想到，一個初步的算法設(shè)計框架，由計算機視覺的人臉檢測跟蹤算法來獲得人臉軌跡的位置時間信息，再由深度學習神經(jīng)網(wǎng)絡(luò)來識別人臉的標簽。

在開始算法設(shè)計前，需要牢記消費級視頻場景負責、數(shù)據(jù)量大、類別多樣的特點，以及識別準確率和處理速度的要求。

1）模塊一：視頻結(jié)構(gòu)化，將視頻用鏡頭分割

對于消費級視頻而言，鏡頭的切換非常頻繁，而任何軌跡目標的提取都應該在單一鏡頭里面進行的。所以鏡頭分割成為一項重要的預處理環(huán)節(jié)。在設(shè)計鏡頭分割模塊算法的時候，我們依然要權(quán)衡準確率和處理數(shù)據(jù)速度的指標。

在這一環(huán)節(jié)中，通常采用全局特征和局部特征相結(jié)合的方法。全局特征檢測全局顏色的分布突變，然后借用局部特征獲得的人臉識別的跟蹤結(jié)果、跟蹤軌跡的斷續(xù)來判斷視頻是否具有鏡頭切換。跟蹤來判斷鏡頭切換有一個很大的優(yōu)點，因為后續(xù)的步驟也會采用相似的算法，所以這一步驟所需的算法是可以重復使用的。

2）模塊二：人臉軌跡提取

完成了鏡頭分割以后，就可以分割好的單一鏡頭里進行人臉軌跡提取。在軌跡提取的算法上，同樣要考慮準確率和速度的指標。要實現(xiàn)速度和準確率的平衡，可以有以下兩種途徑：

1. 間隔采樣 or 逐幀處理

2. 檢測 & 跟蹤的配合

間隔采樣僅僅需要處理時間點上的幀，這樣就能大大降低處理的數(shù)據(jù)量，從而提升處理的速度。但是這一方法也同時丟失了時間序列的前后幀的關(guān)聯(lián)信息，會影響后續(xù)視頻的準確率。由于消費級視頻場景復雜的特點，單幀圖像的質(zhì)量往往比較差，所以我們摒棄了提取關(guān)鍵幀作為識別依據(jù)的做法，所以我們采用檢測跟蹤和逐幀的處理整條人臉軌跡進行分析。

我們的設(shè)計思路是盡量獲得更多的幀，來彌補單禎質(zhì)量的不足。而在逐幀處理的策略下，我們采用的是跟蹤模塊，能夠最大限度地利用時間信息來降低獲取人臉位置的開銷。因為跟蹤比檢測的計算量要小很多。

接下來，我們設(shè)計了檢測和跟蹤算法的配合策略，同樣是為了實現(xiàn)準確率和速度的平衡。在等間隔時間等量進行人臉的檢測，以發(fā)現(xiàn)新出現(xiàn)的人臉目標，然后對其進行跟蹤。在跟蹤的時候，會在跟蹤框周圍進行簡單的檢測，用檢測框?qū)z測結(jié)果進行修正，提高檢測的準確度。從而在這一情況下實現(xiàn)速度和準確率的平衡的目標。

然而，在人臉軌跡提取中還存在一些復雜情況。一個是多目標，另一個是要注意尺度的變化。這些情況在消費級視頻中還挺常見，需要額外的計算開銷，這也是在算法設(shè)計中需要權(quán)衡的變化。

3）模塊三：人臉識別

有了人臉軌跡之后，我們就可以開始進行人臉的識別了。但是在將人臉數(shù)據(jù)輸入深度網(wǎng)絡(luò)之前，還需要對其進行必要的變換和處理。其中一部分變換在針對人臉這一部分非常重要，尤其是在消費級視頻里，那就是人臉的對齊。人臉對齊是利用人臉的特征點檢測定位，將各種姿勢的人臉圖像還原矯正為正臉的過程。這需要對齊的原因是，人臉識別的模型是從人的正臉圖片訓練得到的。為了讓訓練模型保持和應用的一致性，人臉對齊在消費級視頻里是必不可少的步驟。

在識別之前，對人臉數(shù)據(jù)的預處理還包括人臉質(zhì)量的評估。這一模塊的設(shè)計也是與消費級視頻的特點息息相關(guān)的。由于消費級視頻里的圖片同樣出現(xiàn)參差不齊的現(xiàn)象，所以一些低質(zhì)量的人臉識別的結(jié)果是不可信的，這將干擾最終的視頻結(jié)果。因此我們在算法框架中，加入了人臉質(zhì)量評估的算法，以過濾低質(zhì)量的人臉圖片，保證人臉數(shù)據(jù)的準確率。

傳統(tǒng)的人臉質(zhì)量評估，包括客觀評價指標和主觀評價指標。就此，我們采用深度學習神經(jīng)網(wǎng)絡(luò)來進行評估。主要分為三個步驟。

1. 標注人臉數(shù)據(jù)。從互聯(lián)網(wǎng)獲取到有信息量的圖片，截取出人臉框，根據(jù)角度、旋轉(zhuǎn)、尺度、光照等因素對樣本的質(zhì)量進行打分，記錄分值，并將人臉截圖和分值配對，建立訓練處理集。
   

2. 利用標注的人臉數(shù)據(jù)離線訓練深度學習神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入是人臉框，輸出是質(zhì)量評估分值。神經(jīng)網(wǎng)絡(luò)采用后續(xù)可以使用人臉識別相同的結(jié)果，這樣可以共享部分的權(quán)值。

3. 將每一張待輸入的人臉圖片直接輸入到質(zhì)量評估網(wǎng)絡(luò)里，再把網(wǎng)絡(luò)的輸出作為該圖片的質(zhì)量評分。這一評分可用于后續(xù)人臉識別樣本的過濾和置信度的參考。

經(jīng)過一系列的人臉識別和變換，現(xiàn)在可以開始訓練人臉識別模型。樣本的準備依然是模型訓練最基礎(chǔ)也是最重要的一個環(huán)節(jié)。

針對消費級視頻里的女性識別這一應用，我們征集了超過6000位女性一共50萬張圖片進行標注。另外還采用了公開人臉數(shù)據(jù)集，大約涉及1萬人，50萬樣本，總的數(shù)據(jù)規(guī)模超過100萬張。根據(jù)不同的應用要求，選擇不同的卷積神經(jīng)網(wǎng)絡(luò)模型，以平衡計算的難度和精確度。

由于新的樣本達到了足夠的規(guī)模，可以采用直接訓練的方式。Video++利用訓練得到的模型對人臉樣本進行特征提取，在測試的時候，在視頻中檢測到的人臉后，同樣將其輸入到生成的特征向量里，與人臉互動的特征向量進行匹配，從而找到在特征空間中最接近的一個樣本。

4）模塊四：識別結(jié)果融合

以上提到的人臉識別都是針對單幀識別的圖片而言的，之前說到的系統(tǒng)識別結(jié)果都是針對整個人臉軌跡而言。因此，最后需要將人臉識別的結(jié)果與整條人臉軌跡融合起來，得到整個軌跡的識別結(jié)果。

識別結(jié)果的融合策略也有很多。簡單的有投票策略，即將尾幀的識別結(jié)果是為一票，識別結(jié)果票數(shù)最高者則為軌跡的最終識別結(jié)果。也有用神經(jīng)網(wǎng)絡(luò)來實現(xiàn)這一融合，可以訓練一個時間維度上的神經(jīng)，將每一幀識別出的特征向量作為網(wǎng)絡(luò)的輸入，經(jīng)過在時間維度上的一系列的參數(shù)變換得到最終的特征向量。

總結(jié)各個模塊，可以得到消費級視頻中明星產(chǎn)品——人臉識別的總體框架。總而言之，可有四個步驟：

1. 視頻結(jié)構(gòu)的預處理，目的是把視頻按鏡頭瓜分；
   

2. 人臉軌跡的生成。用監(jiān)測跟蹤結(jié)合的策略生成單一鏡頭內(nèi)人臉的軌跡；

3. 人臉的識別。人臉圖像經(jīng)過對齊、質(zhì)量評估后，輸入人臉識別網(wǎng)絡(luò)，生成單幀識別的結(jié)果；

4. 對軌跡上各幀的識別結(jié)果進行融合，得到軌跡的最終識別結(jié)果。

（關(guān)于技術(shù)講解的部分就到這里，下面第四部分的內(nèi)容則由Video++視頻產(chǎn)品負責人魏傳勇先生來為大家分享）

四、基于人工智能的消費級視頻分析產(chǎn)品

Video++在技術(shù)領(lǐng)域已經(jīng)投入了很多，也有了一定的研發(fā)實力，所以給大家分享一下我們團隊已經(jīng)商業(yè)化的AI產(chǎn)品。

Video++現(xiàn)在的AI應用主要集中在一些國內(nèi)主流的視頻平臺，像芒果TV、樂視TV、搜狐視頻等，也有一些直播平臺，如斗魚、熊貓等。

如張奕博士在前文提及到的，Video++團隊在消費級視頻里借用人工智能技術(shù)，通過對人臉進行識別以及跟蹤監(jiān)測，從而將廣告與視頻建立起相應的關(guān)聯(lián)性，算出廣告插入的最佳時間以及位置，從而增加用戶對該品牌的好感度。

這是Video++本次分享帶來的第一個產(chǎn)品——“劇情卡牌”。該產(chǎn)品利用人工智能技術(shù)對視頻中的場景、物體等進行辨識，然后去抓住與場景節(jié)點可以結(jié)合的點去設(shè)置劇情任務。

如這張圖片所示，該視頻中顯現(xiàn)的是一個辦公場景，所以“劇情卡牌”可能會從場景中挑選出現(xiàn)在鏡頭里的某個品牌的產(chǎn)品，設(shè)置一個與大家生活契合的主題，擬三個簡單的問題以供用戶作答。

以該視頻中某個鏡頭舉例，有一個場景是女主角在下雨天邊講電話邊撐傘奔跑，那么“劇情卡牌”就會針對女主角手中的手機作為任務問題，讓用戶答題。事實上，該手機品牌正是Video++服務的一家企業(yè)。

上圖演示的即為Video++的產(chǎn)品——關(guān)聯(lián)云圖。簡單來說，就是關(guān)聯(lián)視頻內(nèi)容推出與之匹配的動態(tài)效果廣告，以可視的方式告知用戶其使用該品牌商的產(chǎn)品，可以在哪些場景下使用。

 “穿屏貼”也同樣是一則與消費級視頻的廣告投放相關(guān)的AI產(chǎn)品。即將物品與視頻內(nèi)容建立關(guān)聯(lián)性，從而推送動效廣告，點擊后可觀看小窗貼片。用戶在觀看視頻的過程中，看見這樣的廣告可能不致于反感，還能建立相關(guān)的趣味性。

此外，“情境中插”也是與前面提到的案例相似的產(chǎn)品。不同的在于，其能同時分析影視劇與TVC，在匹配度最高的節(jié)點播放中插入廣告。

Video++視頻還有一個產(chǎn)品，名為“關(guān)聯(lián)海報”。意如其名，關(guān)聯(lián)視頻內(nèi)容推送提示窗，點擊提示窗可觀看窗口貼片和品牌信息。

精彩問答

Q1：Video++有開放SDK嗎？

答：Video++的AI產(chǎn)品其實分為兩部分。一部分是對場景的辨識，這一塊是不需要SDK的，只需要達到用戶能夠辨識的使用程度。還有就是可以在播放器上增加可預選的信息，同時提供更新的服務。另一方面就是SDK，這一部分可以實現(xiàn)各種各樣的開源信息。

Q2：算法現(xiàn)在只是針對GPU和CPU進行優(yōu)化嗎？

答：現(xiàn)在不僅僅是針對GPU和CPU優(yōu)化。我們需要在線上的基礎(chǔ)上建立多方面的提取，所以不僅要優(yōu)化GPU和CPU的訂單，還要處理各個集群之間的內(nèi)容，還有任務之間的調(diào)配。

Q3：老師提到，采集的訓練樣本必須要與應用環(huán)境中的樣本分布盡量保持一致，但深度學習的訓練需要采集大量的數(shù)據(jù)，那么在數(shù)據(jù)收集方面您有哪些好的建議？

答：由于針對某一具體應用，我們不可能收集到大量的訓練樣本，所以在這種情況下就可以采用一個有效的方式：在一個基礎(chǔ)的訓練之上，首先訓練一個基礎(chǔ)模型，然后再去收集跟你應用相關(guān)的數(shù)據(jù)，再在這一訓練模型上利用相關(guān)數(shù)據(jù)進行參數(shù)微調(diào)。這樣就能用少量的標注樣本達到目的。

Q4：Video++現(xiàn)在的人臉識別的準確率能達到多少？

答：70%左右。包括人臉對齊，人臉檢測的多個環(huán)節(jié)。

Q5：Video++除了廣告推薦以外，還有其他的產(chǎn)品嗎？

答：廣告推薦是我們的一個方向，因為現(xiàn)在一些產(chǎn)品在這一領(lǐng)域的商業(yè)化也比較成熟。未來還會往新的方向去研究。

Q6：Video++支持多個人臉識別嗎？那這一塊的準確率是多少呢？

答：Video++本身設(shè)計的就是以多人臉識別的算法。如前文提到的，準確率在70%左右。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。