論文解讀：對端到端語音識別網(wǎng)絡(luò)的兩種全新探索

雷鋒網(wǎng) AI 科技評論按：語音識別技術(shù)歷史悠久，早在上世紀(jì) 50 年代，貝爾研究所就研究出了可以識別十個英文數(shù)字的簡單系統(tǒng)。從上世紀(jì) 70 年代起，傳統(tǒng)的基于統(tǒng)計的 HMM 聲學(xué)模型，N 元組語言模型的發(fā)明，已經(jīng)使得語音識別技術(shù)可以在小規(guī)模詞匯量上使用。在新世紀(jì)伊始，GMM-HMM 模型的序列鑒別性訓(xùn)練方法的提出又進(jìn)一步提升了語音識別的準(zhǔn)確率。最近 5-10 年間，隨著深度學(xué)習(xí)的快速發(fā)展，算力的快速增長，數(shù)據(jù)量的急速擴(kuò)張，深度學(xué)習(xí)開始大規(guī)模應(yīng)用于語音識別領(lǐng)域并取得突破性進(jìn)展，深度模型已經(jīng)可以在干凈標(biāo)準(zhǔn)的獨白類音頻上達(dá)到 5% 以下的錯詞率。此外，端到端的模型可以輕松的將各種語言揉合在一個模型中，不需要做額外的音素詞典的準(zhǔn)備，這將大大推動業(yè)界技術(shù)研究與應(yīng)用落地的進(jìn)度。

在現(xiàn)在主流的利用深度學(xué)習(xí)的語音識別模型中仍在存在多種派系，一種是利用深度學(xué)習(xí)模型取代原來的 GMM 部分，即 DNN-HMM 類的模型，另一種則是端到端的深度學(xué)習(xí)模型。

第一種模型需要先實現(xiàn) HMM 結(jié)構(gòu)與語音的對齊，然后才能進(jìn)一步地訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。除此之外，在訓(xùn)練這一類的模型時，訓(xùn)練樣本的標(biāo)注不僅僅是原本的文本，還需要對文本進(jìn)一步拆解成為音素投入訓(xùn)練，這對于標(biāo)注部分的工作就會造成極大的挑戰(zhàn)。在解碼的時候，這種模型同樣還需要依賴這個發(fā)音詞典。

端到端的模型旨在一步直接實現(xiàn)語音的輸入與解碼識別，從而不需要繁雜的對齊工作與發(fā)音詞典制作工作，具有了可以節(jié)省大量的前期準(zhǔn)備時間的優(yōu)勢，真正的做到數(shù)據(jù)拿來就可用。

端到端的模型的另一個優(yōu)點是，更換識別語言體系時可以利用相同的框架結(jié)構(gòu)直接訓(xùn)練。例如同樣的網(wǎng)絡(luò)結(jié)構(gòu)可以訓(xùn)練包含 26 個字符的英文模型，也可以訓(xùn)練包含 3000 個常用漢字的中文模型，甚至可以將中英文的詞典直接合在一起，訓(xùn)練一個混合模型。

此外，最重要的一點是，端到端的模型在預(yù)測時的速度更快，對于一個 10 秒左右的音頻文件，端到端的模型在一塊 GPU 的服務(wù)器上僅需 0.2 秒左右的時間便可給出預(yù)測結(jié)果。

現(xiàn)在的語音識別問題有如下幾個難點：

• 對自然語言的識別和理解；

• 語音信息量大。語音模式不僅對不同的說話人不同，對同一說話人也是不同的，一個說話人在隨意說話和認(rèn)真說話時的語音信息是不同的；

• 語音的模糊性。說話者在講話時，不同的詞可能聽起來是相似的；

• 單個字母或詞、字的語音特性受上下文的影響，以致改變了重音、音調(diào)、音量和發(fā)音速度等。

端到端的模型由于不引入傳統(tǒng)的音素或詞的概念，直接訓(xùn)練音頻到文本的模型，可以有效地規(guī)避上述難點。

云從科技基于端到端的語音識別網(wǎng)絡(luò)進(jìn)行了兩種方法的探索，一種是基于原有的 CNN-RNN-CTC 網(wǎng)絡(luò)的改進(jìn)，一種是基于 CTC loss 與 attention loss 結(jié)合機(jī)制的網(wǎng)絡(luò)。下面是對這兩種方法的詳細(xì)解讀。 

第一種方法

地址：https://arxiv.org/abs/1810.12001

作者基于百度之前提出的 Deep Speech 2 的模型框架結(jié)構(gòu)，提出了三個改進(jìn)的點。

第一是把循環(huán)神經(jīng)網(wǎng)絡(luò)中的長短時記憶層（LSTM）變成了雙向的殘差長短時記憶層（resBiLSTM）。此舉可以更好地保留之前卷積神經(jīng)網(wǎng)絡(luò)所提取出的音素信息和之后每一個雙向的殘差長短時記憶層更好的結(jié)合。因為循環(huán)神經(jīng)網(wǎng)絡(luò)中的每一層主要是負(fù)責(zé)提取句子中的語義信息，但語義信息的理解也和音素信息緊密相關(guān)。隨著循環(huán)神經(jīng)網(wǎng)絡(luò)的深入，原本更底層的層很難接收到卷積神經(jīng)網(wǎng)絡(luò)所給出的信息，對于復(fù)雜的長句子中音素和語義信息的結(jié)合較差，新提出的殘差網(wǎng)絡(luò)可以較好地修正這一問題。

第二點是引入了級聯(lián)的訓(xùn)練結(jié)構(gòu)，即對于第一個網(wǎng)絡(luò)中難分（分錯）的樣本進(jìn)行二次訓(xùn)練。在實驗中我們發(fā)現(xiàn)，在第一層網(wǎng)絡(luò)結(jié)構(gòu)中被分錯的樣本比全部的樣本的平均句長多出了 11% 以上。隨著句子的變長，強語法和語義相關(guān)的單詞會距離更遠(yuǎn)，那么對于較淺的循環(huán)神經(jīng)網(wǎng)絡(luò)來說就會更難捕捉到這一個信息。在發(fā)現(xiàn)這一區(qū)別后，作者在在第二層的級聯(lián)結(jié)構(gòu)中使用了更深的循環(huán)神經(jīng)網(wǎng)絡(luò) (7 層到 13 層），但同時縮減了每一層的隱含節(jié)點數(shù)（對應(yīng)樣本量的減少，防止出現(xiàn)復(fù)雜模型的過擬合問題)。下圖是對這兩點改進(jìn)后具體的模型圖。

最后一點，是作者提出了新的訓(xùn)練方式來提升訓(xùn)練速度。深度學(xué)習(xí)中的模型一般都會采用隨機(jī)梯度下降的方式來訓(xùn)練，每一次只訓(xùn)練其實其中一批數(shù)據(jù)（mini batch）。原來的訓(xùn)練模式是固定批量的大小從一而終。但是對于語音識別這樣的問題來說，輸入的數(shù)據(jù)是不定長的，這就會導(dǎo)致訓(xùn)練時，每一批和每一批的數(shù)據(jù)中最長的那一條是不一樣的。為了防止訓(xùn)練時內(nèi)存溢出，固定批量的方式必然需要遷就數(shù)據(jù)集中最長的那一個音頻。在我們的訓(xùn)練數(shù)據(jù)集中，最長的音頻是最短的音頻的 10 倍左右，這樣就會帶來在訓(xùn)練短音頻時的內(nèi)存浪費。作者提出一種對全部訓(xùn)練集從低到高排序的方式，每次取排序后的一批音頻，之后根據(jù)批次內(nèi)最長的音頻片段來實時調(diào)整批量的大小，從而提升內(nèi)存利用率并使得訓(xùn)練時間下降了約 25%。在 LibriSpeech 960 小時的訓(xùn)練數(shù)據(jù)集上，利用在 8 塊 1080Ti 上訓(xùn)練一次的時間從 24500 秒降到 18400 秒左右，減少 25%。且此方法并未因排序失去數(shù)據(jù)選取的隨機(jī)性而顯得效果變差。

作者在前處理上仍舊采用傳統(tǒng)簡單的快速傅里葉變換（FFT）來提取頻譜特征輸入改進(jìn)后的深度學(xué)習(xí)網(wǎng)絡(luò)，并采取了基于統(tǒng)計的 N 元組語言模型來對模型輸出的文本進(jìn)行解碼和修正。選取這兩種方法的原因是處理簡單且不需要經(jīng)過復(fù)雜的訓(xùn)練。作者提出的語音模型配合簡單的前后處理機(jī)制仍舊可以取得很好的效果，更進(jìn)一步證明了語音模型的優(yōu)勢。最終，在語音識別數(shù)據(jù)集 Librispeech 上，取得了 3.41% 的錯詞率。

在語音識別領(lǐng)域，LibriSpeech 是朗讀語音類的主流數(shù)據(jù)集，包含 960 小時的訓(xùn)練集數(shù)據(jù)。錯詞率（Word Error Rate）則是衡量語音識別技術(shù)的關(guān)鍵指標(biāo)。預(yù)測文本通過替換、刪除、增加單詞這三種操作可以達(dá)到與標(biāo)注文本完全一致所需要的操作步數(shù)即為該句子的錯詞數(shù)，錯詞率=錯詞數(shù)/總詞數(shù)。

第二種方法

地址：https://arxiv.org/abs/1810.12020

目前比較流行的端到端的語音識別模型主要包括：單獨依賴 CTC 解碼的模型，單獨依賴 attention 解碼的模型，以及混合 CTC 與 attention 共同解碼的模型。純 CTC 解碼通過預(yù)測每個幀的輸出來識別語音，算法的實現(xiàn)基于假設(shè)每幀的解碼保持彼此獨立，因而缺乏解碼過程中前后語音特征之間的聯(lián)系，比較依賴語言模型的修正。純 attention 解碼過程則與輸入語音的幀的順序無關(guān)，每個解碼單元是通過前一單元的解碼結(jié)果與整體語音特征來生成當(dāng)前的結(jié)果，解碼過程忽略了語音的單調(diào)時序性。為了兼顧兩種方法的優(yōu)缺點，作者采用混合解碼的框架模型。網(wǎng)絡(luò)結(jié)構(gòu)是卷積層加 BiLSTM 層的 Encoder 結(jié)構(gòu)后分別連接基于 Attention 以及 CTC 的 Decoder 結(jié)構(gòu)，由兩種解碼器共同輸出識別結(jié)果。

混合模型的 Loss 計算是 CTC-Loss 與 Attention-Loss 做權(quán)重相加。作者在實驗中發(fā)現(xiàn)，在混合模型中 CTC 權(quán)重越低效果會越好。當(dāng)把 CTC-Loss 的權(quán)重降低時，整體網(wǎng)絡(luò)在計算反向梯度時由 Attention 部分得到的梯度會占主要部分，這樣的結(jié)果就是網(wǎng)絡(luò)優(yōu)先朝著優(yōu)化 Attention 解碼的方向進(jìn)行參數(shù)調(diào)整，最后訓(xùn)練得到的 CTC 解碼效果就相對較差。考慮這一點，作者在 CTC 解碼器部分單獨增加了一個 BiLSTM 層，該層不與 Attention 部分共享，單獨依靠 CTC-Loss 的反向梯度進(jìn)行優(yōu)化，從而彌補了 CTC 權(quán)重低帶來的不足，使 Attention 解碼效果最優(yōu)的情況下盡可能提升 CTC 部分的效果。

在本文中，作者使用了基于子詞（subword）的編解碼方式。子詞是介于字母與單詞之間的一種表征方式。由于英文單詞中的常常出現(xiàn)不發(fā)音的字母，在不同單詞中相同字母的發(fā)音也千差萬別，這就給基于字母的編解碼模型帶來了不小的麻煩，這種模型也更需要依賴語言模型的修正。基于單詞的模型則只能解碼出參與訓(xùn)練的已有標(biāo)簽的單詞，因而完全無法解決 OOV 的問題。將文本按照子詞分割開來，就可以同時改善以上兩種方法中存在的問題。另一方面，作者為了網(wǎng)絡(luò)更好的適應(yīng)對子詞的解碼，使用了 smoothing-attention 的方法:

通常的 attention 方法（包括本文使用的 Loc-Aware）在計算 attention energy 中會使用 softmax，這樣使得 attention 得分的分布變得比較尖銳，最終從 attention 得到的特征會集中在某一幀的位置上。和字母級別的解碼相比，子詞需要相對更寬的上下文特征。作者將 attention 中的 softmax 改為 sigmoid，使 attention 得分的分布變得相對平滑，從而使解碼器每個 LSTM 單元的輸入特征包含更多的語音上下文特征信息。

最后，作者使用基于 14600 本書的 Librispeech 公開語言模型擴(kuò)充數(shù)據(jù)集訓(xùn)練了兩層 LSTM 作為語言模型（LM），在語音識別數(shù)據(jù)集 Librispeech 上，取得了目前已公開的端到端語音識別網(wǎng)絡(luò)中的最好效果。目前 Espnet 在 github 的模型，使用該擴(kuò)充語言模型數(shù)據(jù)集訓(xùn)練的 LM 后在 test-clean 的表現(xiàn)為 WER=4.0%。相比之下，作者的方法效果提升 16.5%。

（完）