谷歌翻譯里程碑：基于單一模型的 Zero-Shot 系統(tǒng)正式上線

本文作者：三川

2016-11-23 14:25

導(dǎo)語：谷歌翻譯今日上線 Zero-Shot 系統(tǒng)！神經(jīng)機(jī)器翻譯的一小步，是 AI 翻譯的一大步，翻譯所有語種從此只須一個(gè)模型。

在過去的十年里，谷歌翻譯（Google Translate）從最初僅支持幾種語言發(fā)展到今天的 103 種，每天翻譯的字詞超過 1400 億個(gè)。為了做到這一點(diǎn)，在任意兩種語言之間，谷歌翻譯都要運(yùn)行多個(gè)翻譯系統(tǒng)，這帶來巨大的計(jì)算成本。如今，許多領(lǐng)域都正在被神經(jīng)網(wǎng)絡(luò)技術(shù)顛覆。谷歌確信他們可以利用神經(jīng)網(wǎng)絡(luò)進(jìn)一步提升翻譯質(zhì)量。這要求谷歌重新思考谷歌翻譯的算法架構(gòu)。

今年九月，谷歌發(fā)表聲明，基于神經(jīng)機(jī)器翻譯的谷歌翻譯全新上線。（GNMT，Google Neural Machine Translation)。神經(jīng)機(jī)器翻譯是端到端的學(xué)習(xí)架構(gòu)，它能從數(shù)百萬的實(shí)例中學(xué)習(xí)，提供大幅提升的翻譯效果。雖然功能得到了改善，但是讓谷歌翻譯把當(dāng)下支持的 103 種語言全部采用神經(jīng)機(jī)器翻譯技術(shù)，卻是一項(xiàng)巨大的挑戰(zhàn)。

一周前，谷歌的工程師門發(fā)表了一篇論文 “谷歌的多語言神經(jīng)機(jī)器翻譯系統(tǒng)：使 Zero-Shot 翻譯成為可能”（“Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation”），雷鋒網(wǎng)在論文發(fā)表后第一時(shí)間做了覆蓋。其中，Zero-Shot 翻譯是指在完成語言 A 到語言 B 的翻譯訓(xùn)練之后，語言 A 到語言 C 的翻譯不需要再經(jīng)過任何學(xué)習(xí)。 它能自動把之前的學(xué)習(xí)成果轉(zhuǎn)化到翻譯任意一門語言，即便工程師們從來沒有進(jìn)行過相關(guān)訓(xùn)練。

通過 Zero-Shot，谷歌解決了把神經(jīng)機(jī)器翻譯系統(tǒng)擴(kuò)展到全部語言的難題。有了它，一套系統(tǒng)就可以完成所有語言的互翻。從前兩種語言之間都需要多個(gè)翻譯系統(tǒng)的情況，從此成為了歷史。這套架構(gòu)在翻譯其他語言時(shí)，不需要在底層 GNMT 系統(tǒng)做任何改變。只需在輸入語句的開頭插入一個(gè)輸出語種標(biāo)記，就可以把結(jié)果翻譯為任意語言。

下面這幅動圖對該 Zero-Shot 系統(tǒng)的運(yùn)作做了示意。

谷歌翻譯里程碑：基于單一模型的 Zero-Shot 系統(tǒng)正式上線

假設(shè)谷歌訓(xùn)練該系統(tǒng)做日語英語、韓語英語的互譯，圖中用藍(lán)色實(shí)線來代表。 GNMT 系統(tǒng)就可以分享這四組翻譯（日英，英日，韓英，英韓）的參數(shù)。這允許它把任意一組語言的翻譯經(jīng)驗(yàn)轉(zhuǎn)到其他語言上去。學(xué)習(xí)成果轉(zhuǎn)移和多語言翻譯的要求，迫使該系統(tǒng)更好地使用建模的能力。

這啟發(fā)了工程師們設(shè)想：我們能否讓系統(tǒng)翻譯一組它從來沒有翻譯過的語言？這可以用韓語日語互譯的例子來說明。雖然該系統(tǒng)從未處理過韓日互譯，但它利用之前的韓英、日英翻譯學(xué)習(xí)成果，能進(jìn)行水平不錯(cuò)的韓日互譯。谷歌把這個(gè)過程稱為 “zero-shot” 翻譯，圖中用黃虛線表示。谷歌宣稱，這是世界上首例應(yīng)用在機(jī)器翻譯上的學(xué)習(xí)成果轉(zhuǎn)移。

Zero-shot 翻譯的成功帶來了另外一個(gè)重要問題：這個(gè)系統(tǒng)是否在學(xué)習(xí)語言的通用表達(dá)（不管是翻譯成什么語種，相同含義的語句都被系統(tǒng)使用相似的表達(dá)方式）？——類似于“國際語”或者中介語言？工程師們使用了 3D 圖像展示系統(tǒng)的內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)，以了解它在處理日、韓、英的任意互譯組合時(shí)是如何運(yùn)作的。

谷歌翻譯里程碑：基于單一模型的 Zero-Shot 系統(tǒng)正式上線

上方圖片 a 部分（左）展示了這些翻譯的幾何結(jié)構(gòu)。意義一致的語句用顏色相同的點(diǎn)代表。比方說，英譯韓和日譯英的兩句話如果意思一致，就會是圖上顏色相同的兩個(gè)點(diǎn)。通過這種方式，我們可以很容易地區(qū)分不同顏色（含義）的點(diǎn)。b 部分放大了紅色區(qū)的點(diǎn)，c 部分則對源語言進(jìn)行區(qū)分。在同一組顏色的點(diǎn)里，我們看到含義相同但從屬不同語種的句子。這意味著該系統(tǒng)必然對句子的語義進(jìn)行了編碼，而不是記憶一個(gè)短語到另一個(gè)短語的翻譯。谷歌的工程師把這看作是系統(tǒng)中存在中介語言的標(biāo)志。

谷歌在論文里面展示了更多的分析結(jié)果。他們希望這些發(fā)現(xiàn)不但對機(jī)器學(xué)習(xí)和機(jī)器翻譯的研究人員們有用處，也能對語言學(xué)家和對單一系統(tǒng)怎么處理多語言學(xué)習(xí)感興趣的人有價(jià)值。

今日（美國時(shí)間 11 月 22 日），基于 Zero-Shot 的多語言神經(jīng)機(jī)器學(xué)習(xí)系統(tǒng)正式登陸谷歌翻譯。它目前被應(yīng)用于新增加的 16 個(gè)語言組中的 10個(gè)，帶來更高的翻譯質(zhì)量和簡化的系統(tǒng)架構(gòu)。我們可以期待在不久的將來，該系統(tǒng)會逐步支持更多的谷歌翻譯語種。

via googleblog

【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時(shí)間提供海外科技動態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。工作地點(diǎn)深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實(shí)習(xí)均可。