EMNLP2021 Findings｜字節(jié)火山翻譯提出：基于自修正編碼器的神經機器翻譯

隨著網絡上各種信息的指數級增長，以及跨語言獲取信息的需求不斷增加，機器翻譯逐漸成為網上沖浪??♀?時必不可少的工具。網頁翻譯讓我們在 Reddit 等外國論壇里和網友談笑風生；火山同傳等智能字幕翻譯系統(tǒng)讓我們無需等待字幕組，直接觀看“生肉”劇集；聊天翻譯讓我們建立跨國貿易，結交外國友人。

然而，上面提到的場景往往有一個共同點，那就是被翻譯的文本往往是不規(guī)范的。無論是聊天時手誤導致的錯別字，還是視頻語音原文識別的錯誤，都會極大地影響譯文質量。因此，實際應用場景下的機器翻譯對翻譯模型的魯棒性有很高的要求。

今天就為大家介紹一篇由字節(jié)跳動人工智能實驗室火山翻譯團隊發(fā)表在 EMNLP 2021 Findings 的短文 - Secoco: Self-Correcting Encoding for Neural Machine Translation。這篇論文讓翻譯模型在學習翻譯任務的同時，學習如何對輸入的帶噪文本進行糾錯，從而改善翻譯質量。

論文地址：https://arxiv.org/abs/2108.12137

代碼地址：https://github.com/rgwt123/Secoco

1

研究背景和動機

神經機器翻譯在近些年取得了很大進展，但是大部分工作都是基于干凈的數據集。在現實生活中，神經機器翻譯系統(tǒng)面對的輸入往往都是包含噪聲的，這對翻譯模型的魯棒性提出了很大挑戰(zhàn)。

之前的翻譯魯棒性工作主要分為三類：

• 第一類是針對模型生成對抗樣例，這些生成的對抗樣例被用于一起重新訓練模型。

• 第二類是針對訓練數據，通過過濾訓練數據中的噪聲來提升模型質量。

• 第三類則是專注于處理輸入中包含的天然噪聲，他們使用規(guī)則，回翻等方法來合成噪聲，并混合到原始數據中一起訓練。

可以看到，大部分的工作都專注于如何生成噪聲，很少探究如何進一步使用它們；本文則想要通過建模從噪聲數據到干凈數據的修正過程，從而增強模型的魯棒性。

圖1 一個簡單的修正過程

如圖 1 所示，如果想要把一個帶噪序列 "abbd" 修正為 "abcd" ，那么可以先刪除第三個位置的 "b"，再在第三個位置插入 "c"。也就是說，可以將對帶噪文本的修正轉化為插入和刪除的序列，并在編碼器端顯式地建模這一過程。

2

自修正模型Secoco

作者針對神經機器翻譯提出了具有魯棒性的自修正框架Secoco (Self-correcting Encoding)。

圖2 整體模型架構

正如圖2左側所示，Secoco 和普通的翻譯模型不同之處在于 Secoco 有兩個修正操作的預測模塊，這些預測模塊基于輸入序列的表示生成相應的操作序列。刪除預測器 (Deletion Predictor) 根據當前詞的表示預測是否要刪除，而插入預測器 (Insertion Predictor) 則根據兩個連續(xù)的詞的表示預測中間是否要插入新的詞。

雖然這種迭代編輯的過程每一步都需要前面的操作，但是為了簡化訓練過程，插入預測器和刪除預測器都是相互獨立的，并與普通的翻譯任務同時進行訓練。

一個關鍵的問題是如何生成這些訓練數據？關鍵點在于獲取從帶噪數據轉化為干凈數據的編輯操作。作者提供了兩種方式。一種是針對有帶噪數據和對應干凈 reference 數據的情況，一種是沒有帶噪數據的情況。

對于有reference的數據，可以使用類似計算最短編輯距離的方法，獲取從帶噪數據轉化為干凈數據的最短編輯過程，然后將替換操作轉化為刪除-插入操作。

對于沒有reference的數據，可以使用基于規(guī)則的方法生成偽數據。針對不同的場景，可以設計對應的規(guī)則，然后從干凈的數據中生成帶噪數據，最后反向這個過程就可以得到編輯過程。

訓練完成后，便可以進行解碼。正如圖2右側展示的，Secoco 有兩種解碼方式。第一種是僅使用編碼器-解碼器結構直接進行翻譯 (Secoco-E2E)，另一種則是對輸入進行迭代編輯后再進行翻譯 (Secoco-Edit)。

3

性能一覽

作者在三個測試集進行了實驗，包括一個基于電視劇的中英對話測試集，一個內部的中英語音翻譯測試集，以及加入人工噪聲的英德WMT14測試集。

表1  測試集統(tǒng)計

如表1所示，對話測試集包含主語省略，標點省略，錯別字等問題；語音測試集包含口語詞，錯別字等 ASR 引起的問題；WMT14 則包含由規(guī)則構造的隨機插入，隨機刪除，重復等問題。

實驗結果如表2所示。除了 Secoco 之外，作者還和3種方法進行了對比，分別是將合成的噪聲數據加入原始數據中一起訓練 (BASE+synthetic)；使用修復模型加上翻譯模型的 pipeline 級聯結構 (REPAIR)；以及多編碼器-單解碼器的結構 [1] (RECONSTRUCTION)?？梢钥闯?，所有的方法相較于基線模型都有所提升。Secoco 在三個測試集上都獲得了最好的效果。

表2 實驗結果

此外，在這三個測試集中，對話測試集明顯包含更多的噪聲，Secoco 最多可以帶來3個 BLEU 的提升。語音測試集由于是由 ASR 導出的，因此最好的結果也僅有12.4。

表3 迭代編輯樣例

表格3中給出了一些迭代編輯的具體例子。針對每一句輸入，模型對其進行迭代刪除和插入操作，直到文本不再發(fā)生變化。從例子中可以看到，一次編輯操作可以同時刪除或者插入多個詞。此外，對于上述的測試集，平均每個句子需要2-3次編輯操作。

4

總結

針對互聯網中非規(guī)范輸入帶來的魯棒性問題，本文主要介紹了一個具有自我修正能力的神經機器翻譯框架 Secoco，該框架通過兩個獨立的編輯操作預測器建模修正帶噪輸入的過程。實驗表明，Secoco 在多個測試集上都優(yōu)于基線模型，增強了翻譯模型的魯棒性，并提供了一定的可解釋性。

[1] Shuyan Zhou, Xiangkai Zeng, Yingqi Zhou, Antonios Anastasopoulos, and Graham Neubig. 2019. Improving robustness of neural machine translation with multi-task learning. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pages 565–571.

雷峰網(公眾號：雷峰網)