云從科技 OCR 新突破：端到端的深度學(xué)習(xí)文本檢測(cè)框架 Pixel-Anchor

雷鋒網(wǎng) AI 科技評(píng)論消息，日前，云從科技在自然場(chǎng)景 OCR 中的文本檢測(cè)這個(gè)環(huán)節(jié)取得了技術(shù)突破，在檢測(cè)準(zhǔn)確率和檢測(cè)效率兩個(gè)綜合維度上，獲得了至今為止最好的結(jié)果。這一事件在雷鋒網(wǎng)旗下學(xué)術(shù)頻道 AI 科技評(píng)論數(shù)據(jù)庫(kù)項(xiàng)目「AI 影響因子」中有相應(yīng)加分。以下為他們對(duì)此次使用的深度學(xué)習(xí)文本檢測(cè)框架 Pixel-Anchor 的解讀。

背景導(dǎo)讀

OCR 技術(shù)有著悠久的發(fā)展歷史，從上世紀(jì) 60 年代第一個(gè)識(shí)別英文字母的 OCR 產(chǎn)品面世以來(lái)，OCR 的識(shí)別領(lǐng)域逐步擴(kuò)展到數(shù)字、符號(hào)，進(jìn)而其他語(yǔ)言，譬如拉丁語(yǔ)系中的法文、德文、意大利文等，東亞語(yǔ)系中的中文、日文、韓文等。OCR 一般包含兩個(gè)基本模塊，文本檢測(cè)和文本識(shí)別。在深度學(xué)習(xí)技術(shù)發(fā)展之前，傳統(tǒng) OCR 的文本檢測(cè)依賴于一些淺層次的圖像處理方法或者圖像分割方法以及一些復(fù)雜繁瑣的后處理技術(shù)進(jìn)行文字定位，譬如早期基于二值化的連通域提取，或者后期基于極大穩(wěn)定區(qū)域的字符區(qū)域提取，之后再配合這些被提取區(qū)域進(jìn)行一系列的連接操作來(lái)完成最終的文本定位。因?yàn)檫@些技術(shù)的使用，傳統(tǒng) OCR 所處理的對(duì)象往往局限于成像清晰，背景干凈，字體簡(jiǎn)單而同時(shí)又排列規(guī)整的文檔圖像。

隨著深度學(xué)習(xí)的發(fā)展，在 OCR 的文本檢測(cè)領(lǐng)域中，也涌現(xiàn)出一系列端到端的深度學(xué)習(xí)檢測(cè)框架，OCR 所能處理的對(duì)象逐步從高質(zhì)量的文檔圖像擴(kuò)展到成像質(zhì)量高低不等、背景復(fù)雜、字體多樣、文本方向任意的自然場(chǎng)景中。應(yīng)用范圍也從文檔識(shí)別擴(kuò)展到圖片廣告過(guò)濾、場(chǎng)景理解、商品識(shí)別、街景定位、票據(jù)識(shí)別等廣泛的領(lǐng)域。下圖是幾個(gè)自然場(chǎng)景文本檢測(cè)的例子。

目前基于深度學(xué)習(xí)的文本檢測(cè)框架可以分為兩類，一類是基于像素級(jí)別的圖像語(yǔ)義分割，另一類是來(lái)源于通用的物體檢測(cè)框架，譬如基于錨 (anchor) 的檢測(cè)和回歸。

基于像素分割的文本檢測(cè)框架首先通過(guò)圖像語(yǔ)義分割獲得可能的文本像素，之后通過(guò)像素點(diǎn)直接回歸或者對(duì)文本像素的聚合得到最終的文本定位；而基于錨檢測(cè)回歸的文本檢測(cè)框架是在通用物體檢測(cè)的基礎(chǔ)之上，通過(guò)設(shè)置更多不同長(zhǎng)寬比的錨來(lái)適應(yīng)文本變長(zhǎng)的特性，以達(dá)到文本定位的效果。

基于像素分割的文本檢測(cè)往往具有更好的精確度，但是對(duì)于小尺度的文本，因?yàn)檫m用的文本像素過(guò)于稀疏，檢出率通常不高，除非以犧牲檢測(cè)效率為代價(jià)對(duì)輸入圖像進(jìn)行大尺度的放大；基于錨檢測(cè)回歸的文本檢測(cè)對(duì)文本尺度本身不敏感，對(duì)小文本的檢出率高，但是對(duì)于大角度的密集文本塊，錨匹配的方式會(huì)不可避免的陷入無(wú)法適從的矛盾之中，此外，由于這種方法是基于文本整體的粗粒度特征，而并不是基于像素級(jí)別的精細(xì)特征，它的檢測(cè)精度往往不如基于像素分割的文本檢測(cè)。對(duì)于中文這樣文本長(zhǎng)度跨度很大的語(yǔ)言，目前的這兩種方法在長(zhǎng)文本上的效果都不盡人意。

針對(duì)這些問(wèn)題，云從科技提出了一種端到端的深度學(xué)習(xí)文本檢測(cè)框架 Pixel-Anchor，通過(guò)特征共享的方式高效的把像素級(jí)別的圖像語(yǔ)義分割和錨檢測(cè)回歸放入一個(gè)網(wǎng)絡(luò)之中，把像素分割結(jié)果轉(zhuǎn)換為錨檢測(cè)回歸過(guò)程中的一種注意力機(jī)制，使得錨檢測(cè)回歸的方法在獲得高檢出率的同時(shí)，也獲得高精確度。

此外，對(duì)于如中文這樣文本長(zhǎng)度跨度很大的語(yǔ)言，在 Pixel-Anchor 中，云從科技提出了一個(gè)自適應(yīng)的預(yù)測(cè)層，針對(duì)不同層級(jí)的特征所對(duì)應(yīng)的感受野范圍，設(shè)計(jì)不同的錨以及錨的空間位置分布，以更高的效率更好的適應(yīng)變化的文本長(zhǎng)度。如前所述，在兩個(gè)具有挑戰(zhàn)性的自然場(chǎng)景文本檢測(cè)測(cè)試集 ICDAR2015 以及 ICDAR2017 MLT，Pixel-Anchor 在檢測(cè)準(zhǔn)確率和檢測(cè)效率兩個(gè)綜合維度上，獲得了至今為止最好的結(jié)果（具體結(jié)果見(jiàn)下面 Table 1，Table 2 和 Table 3）。該框架在滿足生產(chǎn)環(huán)境實(shí)時(shí)性要求的基礎(chǔ)上獲得了很高的檢測(cè)準(zhǔn)確率，目前已在云從科技的證件票據(jù)識(shí)別系統(tǒng)和圖片廣告過(guò)濾系統(tǒng)中上線。

Pixel-Anchor 這套文本檢測(cè)框架，和目前主流的文本檢測(cè)框架相比，提出了兩個(gè)大的改進(jìn)點(diǎn)：

第一點(diǎn)是提出了把像素級(jí)別的圖像語(yǔ)義分割以及基于錨的檢測(cè)回歸方法高效融合在一起，可端到端訓(xùn)練的檢測(cè)網(wǎng)絡(luò)。在該網(wǎng)絡(luò)中，像素級(jí)別的圖像語(yǔ)義分割以及基于錨的檢測(cè)回歸方法共享基礎(chǔ)特征，而像素級(jí)別的圖像語(yǔ)義分割結(jié)果作為一種注意力機(jī)制，用以監(jiān)督錨檢測(cè)回歸的執(zhí)行過(guò)程，在有效保證文本檢出率的同時(shí)，提升了文本檢測(cè)的精度。

總體框架見(jiàn)上圖，Pixel-Anchor 采用學(xué)術(shù)界通用的 ResNet-50 作為特征提取主干網(wǎng)絡(luò)，提取出 1/4,1/8,1/16 的特征圖作為像素級(jí)別語(yǔ)義分割模塊（Figure 5）以及錨檢測(cè)回歸模塊（Figure 6）的基礎(chǔ)特征，同時(shí)語(yǔ)義分割模塊的輸出結(jié)果以熱力圖的形式注入到錨檢測(cè)回歸模塊中。整個(gè)網(wǎng)絡(luò)簡(jiǎn)單輕巧，可通過(guò) ADAM 優(yōu)化方法進(jìn)行端到端的訓(xùn)練。

第二點(diǎn)是在錨檢測(cè)回歸這個(gè)模塊中引入了自適應(yīng)預(yù)測(cè)層「Adaptive Predictor Layer」，該預(yù)測(cè)層連接在不同層級(jí)的特征圖之后，根據(jù)各特征圖感受野的不同，調(diào)整錨的長(zhǎng)寬比，卷積核的形狀以及錨的空間密度（anchor density，見(jiàn) Figure 7），用以高效的獲得各特征圖上的文本檢測(cè)結(jié)果，進(jìn)而對(duì)文本長(zhǎng)度的變化獲得更好的適應(yīng)性。自適應(yīng)預(yù)測(cè)層在檢測(cè)水平長(zhǎng)文本上的性能非常出色，和經(jīng)典的 CTPN 方法相比，這一方法不需要復(fù)雜的后處理，更魯棒的同時(shí)效率更高。

論文地址：https://arxiv.org/abs/1811.07432

（完）