ACL 2017 最佳長(zhǎng)論文，帶你創(chuàng)造一門優(yōu)雅的新語言

雷鋒網(wǎng) AI科技評(píng)論按：在昨天結(jié)束的ACL 2017大會(huì)的正會(huì)上，分別公布了今年的終身成就獎(jiǎng)和五篇最佳論文獎(jiǎng)。本篇文章雷鋒網(wǎng)將帶你一塊兒來解讀其中的最佳長(zhǎng)論文《Probabilistic Typology: Deep Generative Models of Vowel Inventories》。

在了解這篇文章之前，首先需要了解一些語言類型學(xué)的知識(shí)。根據(jù)語言類型學(xué)的研究，發(fā)現(xiàn)任何一種人類語言都有元音，例如英語中的[i], [u], [?]等，把所有語言中的這些元音收集起來（目前收集的大概有600多個(gè)獨(dú)立的元音）就構(gòu)成了一個(gè)元音集合。這些元音通常情況下可以用其音頻的前兩個(gè)共振峰 (F1, F2)來表示，這樣就構(gòu)成了一個(gè)2維的元音空間。在這個(gè)空間中，每一個(gè)元音都可以用一個(gè)向量f(F1,F2)來表示。

在語言類型學(xué)中對(duì)于元音有兩個(gè)基本的定律：

其一，在一門語言中元音的音位必須相對(duì)較為分散，這樣才能讓聽者能夠很容易地辨別出它們，也即分散性。

其二，在所有語言中，并不是所有的元音都會(huì)出現(xiàn)，有些元音出現(xiàn)的頻次較高，而有些則只在個(gè)別語言中出現(xiàn)或不出現(xiàn)，即聚焦性。

本篇論文即想要通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法來對(duì)元音空間構(gòu)建一個(gè)可訓(xùn)練的生成概率型分布方法，從而來研究語言類型學(xué)中的元音的分散性和聚焦性問題。

那么具體如何來研究呢？其實(shí)很簡(jiǎn)單，就是選定一種概率評(píng)分方法。作者考察了三種評(píng)分方法，分別為伯努利點(diǎn)過程（BPP）、馬科夫點(diǎn)過程（MPP）和特征值點(diǎn)過程（DPP）。

其中第一種方法（伯努利點(diǎn)過程 ）只是元音概率的乘積，所以只考慮了元音的聚焦性，而沒有考慮元音之間的分散程度。其公式為

第二種評(píng)分方法中，元音概率和前一種方法一致，但是同時(shí)考慮了元音之間的聚合程度，這種方法就彌補(bǔ)了前一種方法分散性的問題。其公式為

第三種評(píng)分方法，基本的考慮就是把兩個(gè)元音向量乘積所得作為其評(píng)分標(biāo)準(zhǔn)。整體來考慮的話就是所有元音向量乘積構(gòu)成的矩陣（稱為Gram矩陣）的行列式構(gòu)成其評(píng)分標(biāo)準(zhǔn)。其公式為

但是其中的向量e(vi)如何獲得呢？在此之前人們通常是使用人工的方法，通過一種音頻能量最優(yōu)解之類的方法來獲得。而作者此處選擇了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法。首先，作者選用國(guó)際音標(biāo)中的53個(gè)音標(biāo)作為學(xué)習(xí)訓(xùn)練的數(shù)據(jù)集。然后分別選用三種神經(jīng)網(wǎng)絡(luò)嵌入學(xué)習(xí)方法——神經(jīng)嵌入（u）、可解釋神經(jīng)嵌入（i）、基于原型嵌入（p）。我們以神經(jīng)嵌入為例，文章中選用下面這個(gè)公式來獲得前饋神經(jīng)網(wǎng)絡(luò)

其中的f(vi)為元音向量，其他幾個(gè)參數(shù)向量都將是通過學(xué)習(xí)訓(xùn)練獲得，而e(vi)就是神經(jīng)嵌入學(xué)習(xí)的結(jié)果。

通過嵌入學(xué)習(xí)方法獲得的元音空間流形則能夠更好地反映每個(gè)元音的概率型。將嵌入學(xué)習(xí)的結(jié)果e(vi)代入到前面的評(píng)分標(biāo)準(zhǔn)中，即可以評(píng)價(jià)每一個(gè)元音的聚焦性和每一種語言中元音的分散性。

其試驗(yàn)結(jié)果如下圖所示（第一行中數(shù)值越小越好，下面百分比則是越大越好），其中u代表沒有使用可解釋的神經(jīng)嵌入，i表示可解釋神經(jīng)嵌入，p表示基于原型的神經(jīng)嵌入。

在這篇文章之前，學(xué)者們研究元音的這兩個(gè)問題（分散性和聚焦性）通常是基于能量最優(yōu)化的方法，即認(rèn)為元音的前兩個(gè)音頻能量差越小聚焦性就越大，不過這種方法沒法同時(shí)考慮分散性問題。而這篇文章通過概率打分可以輕而易舉地同時(shí)分析這兩個(gè)問題。

另外，為什么大部分語言包含的元音個(gè)數(shù)在5-7個(gè)之間呢？這也是傳統(tǒng)人工方法所不能解決的，而在這里通過競(jìng)爭(zhēng)的方法可以挑選出所有潛在較優(yōu)（概率較大）的元音集。

當(dāng)然，這篇文章中只使用了53種語言的元音作為數(shù)據(jù)集，而地球上目前有7105種語言，文章中的結(jié)果可能并不代表人類語言中元音的基本規(guī)律。不過沒關(guān)系，只要有數(shù)據(jù)，按照同樣的范式做再做一遍就好了。

同樣的，這種使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練來生成概率的方法不是只能使用在人類語言中元音問題上的，它更具有普適性，我們可以用同樣的思路來研究語言中的輔音、詞性、句式等等?；蛟S，這篇文章將是我們用人工智能方法來研究、優(yōu)化甚至創(chuàng)造語言的新起點(diǎn)。

我們知道在《權(quán)利的游戲》中東方大陸草原上有一個(gè)戰(zhàn)斗民族多斯拉克，他們說著我們誰都聽不懂的多斯拉克語。這種語言在《權(quán)利的游戲》播出之前是從來沒有在地球上出現(xiàn)過。它是由當(dāng)時(shí)年僅28歲的語言學(xué)家大衛(wèi)·彼得森所創(chuàng)立。也許以后某一天，我們使用人工智能可以創(chuàng)造出更優(yōu)雅的新語言。

雷鋒網(wǎng)（公眾號(hào)：雷鋒網(wǎng)）：查看原文

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。