攜程李翔：深度學(xué)習(xí)在酒店圖像智能化上的一系列應(yīng)用

雷鋒網(wǎng) AI 研習(xí)社按，旅行或出差，訂酒店是必要步驟，隨著線上預(yù)訂越來(lái)越普及，對(duì) OTA（Online Travel Agent）行業(yè)提出不少挑戰(zhàn)。作為我國(guó) OTA 領(lǐng)軍企業(yè)，攜程擁有全球百萬(wàn)家酒店數(shù)以億計(jì)的圖像，面對(duì)海量圖像，如何挖掘出圖像信息，節(jié)省成本，為用戶和酒店創(chuàng)造價(jià)值，這些都是亟待解決的問(wèn)題。

攜程酒店研發(fā)部圖像技術(shù)負(fù)責(zé)人李翔對(duì)雷鋒網(wǎng) AI 研習(xí)社表示，目前攜程大部分的酒店圖像處理工作都是計(jì)算機(jī)在做，需要人工完成的圖像處理任務(wù)主要集中在部分用戶上傳圖像的內(nèi)容審核環(huán)節(jié)，因?yàn)橛脩羯蟼鞯膱D像內(nèi)容很不可控，同時(shí)又非常多元化。（攜程憑借此次專訪，在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評(píng)論旗下數(shù)據(jù)庫(kù)項(xiàng)目「AI 影響因子」中增加 8 分。）

李翔介紹道，攜程每天需處理的圖像達(dá)到數(shù)十萬(wàn)張，主要有如下四個(gè)來(lái)源：1）攜程酒店商家拍攝；2）攜程業(yè)務(wù)工作人員采集；3）攜程的合作方提供；4）用戶上傳圖像。而在海量圖像處理過(guò)程中，酒店圖像智能化起到關(guān)鍵作用。

酒店圖像智能化主要包括兩方面內(nèi)容：

• 一是圖像的智能處理與挖掘——在圖像進(jìn)入攜程的過(guò)程中，對(duì)圖像進(jìn)行審核、質(zhì)量提升和信息挖掘，目的是大幅減少圖像的人工干預(yù)。

• 二是圖像智能應(yīng)用——在圖像對(duì)外公開(kāi)的過(guò)程中，對(duì)圖像進(jìn)行智能展示，目的是改善用戶獲取酒店信息的速度、準(zhǔn)確性和完整性，提高用戶的滿意度。

如上所述，酒店圖像智能化主要圍繞圖像的智能處理與挖掘和圖像智能應(yīng)用兩方面展開(kāi)。圖像智能處理與挖掘包括圖像預(yù)審核、圖像質(zhì)量提升和圖像信息挖掘三個(gè)環(huán)節(jié)。圖像智能應(yīng)用包括圖像智能展示、圖文智能結(jié)合和酒店視頻等應(yīng)用場(chǎng)景。圍繞圖像的智能處理與挖掘，雷鋒網(wǎng) AI 研習(xí)社與李翔展開(kāi)一系列討論。

圖像的智能處理與挖掘

• 圖像預(yù)審核

圖像預(yù)審核包括相似圖像去重和水印檢測(cè)等步驟。這里重點(diǎn)討論水印檢測(cè)。

李翔表示，水印自動(dòng)檢測(cè)在保護(hù)版權(quán)上非常重要，但是當(dāng)前缺乏大規(guī)模的水印目標(biāo)檢測(cè)數(shù)據(jù)集用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練。為了能夠更好地解決水印檢測(cè)任務(wù)，他們構(gòu)建了第一個(gè)大規(guī)模的水印圖像數(shù)據(jù)集。

在制作水印圖像數(shù)據(jù)集的過(guò)程中，他們收集了近百種常見(jiàn)的水印圖案和十余萬(wàn)張無(wú)水印的圖像，對(duì)于每種水印，他們以不同的尺寸、透明度、旋轉(zhuǎn)角度和位置添加到圖像中，并在制作過(guò)程中自動(dòng)記錄水印的信息。通過(guò)上述方式，他們以較小的人力投入建立了一個(gè)多元化的大規(guī)模水印目標(biāo)檢測(cè)數(shù)據(jù)集，為訓(xùn)練魯棒的水印檢測(cè)網(wǎng)絡(luò)提供了基礎(chǔ)。

他也向雷鋒網(wǎng) AI 研習(xí)社透露，近期將提供可以公開(kāi)的版本供大家下載。

基于該水印檢測(cè)數(shù)據(jù)集，他們進(jìn)一步對(duì)比了 FasterR-CNN、SSD 和 YOLOv2 三種主流的目標(biāo)檢測(cè)方法，在對(duì)性能和效果進(jìn)行綜合評(píng)估之后，他們最終選擇在 YOLOv2 的基礎(chǔ)上進(jìn)行改進(jìn)，實(shí)現(xiàn)最終的水印圖像檢測(cè)器。

YOLOv3 于今年 4 月份公開(kāi)，在公開(kāi)后，他們也第一時(shí)間將其應(yīng)用到水印檢測(cè)任務(wù)中，測(cè)試結(jié)果表示 YOLOv3 的效果在 IoU0.5 的時(shí)候和 YOLOv2 一樣，Map 都接近 100%。除了 YOLOv3，他們也實(shí)踐了 Retina Net 等當(dāng)前最新的檢測(cè)網(wǎng)絡(luò)。他表示，近期他們會(huì)將包括水印檢測(cè)在內(nèi)和水印相關(guān)的一系列探索和研究結(jié)果在 arXiv 上公開(kāi)，希望能夠?qū)ヂ?lián)網(wǎng)圖像提供方避免濫用有版權(quán)圖像方面有所幫助。

• 圖像質(zhì)量提升

為了讓用戶能夠看到更真實(shí)清晰的酒店圖像，需要進(jìn)行圖像去模糊、小圖放大和圖像美化處理，這樣能獲取最有用的酒店信息。

由于將小圖放大的超分辨率網(wǎng)絡(luò)使用的損失函數(shù)一般是最小均方誤差（MSE），該函數(shù)使重建結(jié)果有較高的信噪比，但是缺少高頻信息，會(huì)使圖像出現(xiàn)過(guò)度平滑的紋理。為此，他們采用 VGGNet 計(jì)算網(wǎng)絡(luò)的感知損失（Perceptual Loss），使網(wǎng)絡(luò)輸出的圖像更加自然。

此外，真實(shí)的低分辨率酒店圖像往往存在有損壓縮，圖像本身具有塊效應(yīng)，直接使用超分辨率網(wǎng)絡(luò)恢復(fù)細(xì)節(jié)，會(huì)使圖像的塊效應(yīng)更加嚴(yán)重。為此，他們利用深度殘差全卷積網(wǎng)絡(luò)建立一個(gè)圖像去塊效應(yīng)模型進(jìn)行圖像的預(yù)處理。

他們還構(gòu)建了針對(duì)酒店圖像超分辨率和去塊效應(yīng)的數(shù)據(jù)集。李翔表示，通過(guò)將高質(zhì)量酒店圖像進(jìn)行質(zhì)量壓縮和降采樣，可以快速得到大量的訓(xùn)練圖像對(duì)，這比水印檢測(cè)數(shù)據(jù)集的構(gòu)建要便捷。

針對(duì)圖像美化，李翔對(duì)雷鋒網(wǎng) AI 科技評(píng)論說(shuō)道，「更確切地說(shuō)，圖像美化指的是圖像視覺(jué)上的改善，主要是對(duì)部分拍攝不理想的圖像進(jìn)行自動(dòng)優(yōu)化，并不涉及對(duì)圖像的真實(shí)內(nèi)容的改變?！顾麄兿Ｍ軌蛲ㄟ^(guò)美化來(lái)降低在圖像拍攝中由于設(shè)備不佳、操作不當(dāng)和環(huán)境變化等因素對(duì)酒店圖像蘊(yùn)含的真實(shí)信息的影響。李翔表示，這一問(wèn)題可以看作是一個(gè)圖像到圖像的轉(zhuǎn)換問(wèn)題，通過(guò)基于深層卷積網(wǎng)絡(luò)的編解碼器進(jìn)行建模，并進(jìn)一步在輸入和輸出之間加入跳躍連接，確保美化后的圖像的真實(shí)性。

攜程現(xiàn)在已經(jīng)實(shí)現(xiàn)了圖像亮度、對(duì)比度和色彩等的自適應(yīng)改善和曝光區(qū)域的自動(dòng)恢復(fù)，力求讓用戶獲取更客觀的酒店信息。

• 圖像信息挖掘

圖像信息挖掘包括圖像內(nèi)容分類、圖像多目標(biāo)檢測(cè)和圖像質(zhì)量評(píng)價(jià)等等。雷鋒網(wǎng) AI 研習(xí)社與李翔重點(diǎn)討論了圖像內(nèi)容分類環(huán)節(jié)。

酒店圖像是對(duì)酒店各方面信息的直觀展示，為了幫助用戶方便快捷地發(fā)現(xiàn)他們想要瀏覽的圖像內(nèi)容，攜程將酒店圖像分為了外觀、大堂、餐廳、會(huì)議室、室內(nèi)/室外泳池、健身房、公共區(qū)域、房間、衛(wèi)生間和其他等類別，分類準(zhǔn)確率已經(jīng)達(dá)到 99% 以上。

為了能夠?qū)崿F(xiàn)在標(biāo)注少量酒店圖像的情況下達(dá)到良好的分類效果，他們利用深度網(wǎng)絡(luò)有效的遷移學(xué)習(xí)能力，對(duì)在大規(guī)模數(shù)據(jù)集上已經(jīng)預(yù)訓(xùn)練的網(wǎng)絡(luò)權(quán)重進(jìn)行微調(diào)。

在實(shí)際應(yīng)用中，由于 ImageNet 數(shù)據(jù)集圖像的內(nèi)容和酒店圖像差異過(guò)大，影響了網(wǎng)絡(luò)遷移學(xué)習(xí)的效果，為了盡可能提升網(wǎng)絡(luò)的遷移學(xué)習(xí)能力，他們借助與酒店圖像內(nèi)容最為接近的自然場(chǎng)景圖像數(shù)據(jù)集上預(yù)訓(xùn)練的 VGGNet 作為初始設(shè)置，結(jié)果表明分類效果得到了較大提升。

在選擇的過(guò)程中，他們也測(cè)試了 ResNet 和 Inception 等一系列網(wǎng)絡(luò)，最終，綜合復(fù)雜度和準(zhǔn)確率等多方面考慮選擇 VGGNet。

在訓(xùn)練過(guò)程中，訓(xùn)練數(shù)據(jù)集主要是依靠攜程內(nèi)部人員對(duì)真實(shí)酒店圖像進(jìn)行分類標(biāo)注獲得，每個(gè)類別他們標(biāo)注了 1k 張酒店圖像，酒店涉及高星/低星、民宿/品牌等不同類型。同時(shí)，他們?cè)谟?xùn)練過(guò)程中進(jìn)一步利用水平翻轉(zhuǎn)、隨機(jī)裁剪和色彩抖動(dòng)等方式對(duì)自己標(biāo)注的小規(guī)模酒店圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。

接下來(lái)，他們會(huì)對(duì)圖像內(nèi)容做進(jìn)一步的精細(xì)化分類，讓酒店圖像的類別更加的豐富，用戶獲取酒店信息更加快速。

• 模型評(píng)估與優(yōu)化

在圖像智能化的過(guò)程中，涉及到分類、檢測(cè)、質(zhì)量評(píng)價(jià)和超分辨率等多個(gè)模型，面對(duì)如此多樣化的模型，他們對(duì)模型的評(píng)估分為客觀和主觀兩種情況：對(duì)于分類和檢測(cè)這些客觀的圖像任務(wù)，根據(jù)攜程所建立數(shù)據(jù)集中的測(cè)試集進(jìn)行模型的直接評(píng)估。對(duì)于質(zhì)量評(píng)價(jià)和超分辨率這些主觀的圖像任務(wù)，除了利用測(cè)試集進(jìn)行評(píng)估，還需要進(jìn)一步借助人工來(lái)進(jìn)行主觀評(píng)估。

對(duì)模型的優(yōu)化分為如下三個(gè)方面：

1）數(shù)據(jù)集的不斷完善。李翔表示，數(shù)據(jù)是基礎(chǔ)，建立一個(gè)適合自己特定圖像任務(wù)的數(shù)據(jù)集至關(guān)重要。但是數(shù)據(jù)集的構(gòu)建很多時(shí)候并不能一蹴而就，需要充分理解數(shù)據(jù)，以水印檢測(cè)為例，他們?cè)谒》N類、透明度、尺寸和角度等多個(gè)方面進(jìn)行了多次優(yōu)化，水印檢測(cè)的效果也隨著數(shù)據(jù)集的不斷完善而持續(xù)提升。

2）針對(duì)自身任務(wù)的模型調(diào)優(yōu)。當(dāng)前學(xué)術(shù)界流行的技術(shù)更多是面向常規(guī)的圖像問(wèn)題，然而在實(shí)際應(yīng)用中要解決的圖像任務(wù)各式各樣，都有自身的特點(diǎn)。將這些技術(shù)直接應(yīng)用過(guò)來(lái)，效果不一定盡如人意，往往需要針對(duì)不同任務(wù)的特性進(jìn)行改進(jìn)，包括網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)以及一系列訓(xùn)練的技巧等等，根據(jù)實(shí)驗(yàn)結(jié)果和 bad case 不斷調(diào)整，使其更加貼合自身的任務(wù)。

3）不同模型的對(duì)比分析和迭代。當(dāng)前深度學(xué)習(xí)發(fā)展非?？?，各種網(wǎng)絡(luò)層出不窮，需要不斷學(xué)習(xí)新技術(shù)，對(duì)比實(shí)踐不同的方法，從中選取更適合自身任務(wù)的方法。

與學(xué)界最大的不同在于數(shù)據(jù)

對(duì)于與學(xué)術(shù)界研究的不同，李翔如是說(shuō)道，

「從自身經(jīng)歷來(lái)看，我覺(jué)得不同點(diǎn)首先在于數(shù)據(jù)。感謝一大批優(yōu)秀的數(shù)據(jù)集如 ImageNet、COCO、VOC 和 Places 等，使得大部分人的學(xué)術(shù)研究可以專注于模型的創(chuàng)新。然而在實(shí)際中遇到的圖像問(wèn)題往往都沒(méi)有現(xiàn)成的數(shù)據(jù)集可用，需要在充分理解圖像數(shù)據(jù)的基礎(chǔ)上，根據(jù)問(wèn)題自身的特性來(lái)收集、清洗和標(biāo)注圖像數(shù)據(jù)。

為此在酒店圖像智能化過(guò)程中，我們嘗試了多種方式來(lái)提升不同任務(wù)的數(shù)據(jù)集的構(gòu)建效率和質(zhì)量。在數(shù)據(jù)集準(zhǔn)備好之后，大部分學(xué)術(shù)研究更重視解決問(wèn)題的角度和思路，讓自己的研究更加有意義和新穎。但我們更加關(guān)心的是模型的精度、速度以及上線部署的難度，力求以簡(jiǎn)單而有效的方法來(lái)解決實(shí)際業(yè)務(wù)問(wèn)題?！?/p>

他進(jìn)一步表示，對(duì)于精度和速度之間的權(quán)衡，需要根據(jù)具體的圖像任務(wù)來(lái)定。對(duì)于面向用戶和商戶的圖像任務(wù)，速度更加重要，在損失可接受精度的范圍內(nèi)，滿足實(shí)時(shí)性需求，提升用戶體驗(yàn)。對(duì)于面向自身的圖像任務(wù)，由于實(shí)時(shí)性需求不迫切，在速度可接受范圍內(nèi)，他們會(huì)優(yōu)先考慮精度，保證圖像處理的質(zhì)量，圖像信息挖掘的完整性和準(zhǔn)確性。

從 0 到 1 的智能化建設(shè)之路

在采訪的最后，李翔談到攜程圖像智能化系統(tǒng)的建設(shè)之路，他表示，攜程酒店圖像智能化系統(tǒng)經(jīng)歷的迭代和改進(jìn)其實(shí)是一條從 0 到 1 的建設(shè)之路。

最初他們的重心圍繞如何減少酒店圖像的人力成本投入。從第一個(gè)酒店圖像去重模塊開(kāi)始，他們相繼上線了酒店圖像分類、水印檢測(cè)和小圖放大等等一系列模塊。在大幅降低了人工對(duì)酒店圖像的干預(yù)后，他們的重心逐漸向如何為用戶和商戶創(chuàng)造價(jià)值上轉(zhuǎn)移，以豐富的酒店圖像信息挖掘模塊為基礎(chǔ)，他們相繼上線包括首圖優(yōu)選、圖文結(jié)合和酒店視頻在內(nèi)的一系列圖像智能化應(yīng)用。他對(duì)雷鋒網(wǎng)說(shuō)道，在這一系列功能上線之后，用戶預(yù)訂訂單轉(zhuǎn)化率和間夜量得到了多次顯著上升，用戶瀏覽費(fèi)力度也得到顯著下降，實(shí)現(xiàn)了用戶和商戶的雙贏，取得了很好的反響。

李翔表示，下一步，他們會(huì)繼續(xù)堅(jiān)持以用戶為中心，將更多的優(yōu)秀 AI 技術(shù)真正落地，從 1 到 N 為用戶展現(xiàn)更多更好的圖像應(yīng)用，讓酒店圖像創(chuàng)造出更大的價(jià)值。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。