科大訊飛在機(jī)器閱讀理解SQuAD比賽中奪得第一

雷鋒網(wǎng)7月31日消息  近日，在最近一場由斯坦福大學(xué)發(fā)起的SQuAD（Stanford Question Answering）挑戰(zhàn)賽中，科大訊飛與哈工大聯(lián)合實(shí)驗(yàn)室(HFL)提交的系統(tǒng)模型奪得第一，打敗了包括微軟亞洲研究院、艾倫研究院、IBM、Salesforce、Facebook、谷歌以及卡內(nèi)基·梅隆大學(xué)、斯坦福大學(xué)在內(nèi)的全球?qū)W術(shù)界和產(chǎn)業(yè)界的研究團(tuán)隊(duì)，這是中國本土研究機(jī)構(gòu)首次取得該賽事的第一名。

科大訊飛在最新一次SQuAD（Stanford Question Answering）挑戰(zhàn)賽中奪得第一（圖/雷鋒網(wǎng)）

據(jù)雷鋒網(wǎng)了解，SQuAD挑戰(zhàn)賽被譽(yù)為“機(jī)器閱讀理解界的ImageNet”，來自全球產(chǎn)業(yè)界和學(xué)術(shù)界的頂尖團(tuán)隊(duì)都有參與其中，如艾倫研究院、IBM、Salesforce、Facebook、Google、微軟研究院，以及CMU和斯坦福大學(xué)等。

SQuAD機(jī)器閱讀理解挑戰(zhàn)賽的具體運(yùn)行過程是這樣的。該比賽通過眾包的方式構(gòu)建了一個(gè)大規(guī)模的機(jī)器閱讀理解數(shù)據(jù)集（包含10萬個(gè)問題），可將一篇幾百詞左右的短文給人工標(biāo)注者閱讀，讓標(biāo)注人員提出最多5個(gè)基于文章內(nèi)容的問題并提供正確答案；短文原文則來源于500多篇維基百科文章。參賽者提交的系統(tǒng)模型在閱讀完數(shù)據(jù)集中的一篇短文之后，再來回答若干個(gè)基于文章內(nèi)容的問題，然后與人工標(biāo)注的答案進(jìn)行比對(duì)，得出精確匹配（Exact Match）和模糊匹配（F1-score）的結(jié)果。

科大訊飛向雷鋒網(wǎng)透露，這個(gè)比賽是一個(gè)持續(xù)性的挑戰(zhàn)賽，參賽者可以進(jìn)行調(diào)優(yōu)提交。然后主辦方再定期更新成績。在該輪測試中，科大訊飛與哈工大聯(lián)合實(shí)驗(yàn)室提交的系統(tǒng)模型——Interactive AoA Reader（基于交互式層疊注意力模型），精確匹配達(dá)77.845%，模糊匹配達(dá)85.297%，兩項(xiàng)成績均排名首位。

事實(shí)上，科大訊飛在機(jī)器閱讀理解的研究很早就開始。2015年5月，哈工大訊飛聯(lián)合實(shí)驗(yàn)室開始啟動(dòng)研究機(jī)器閱讀理解技術(shù)，是國內(nèi)較早啟動(dòng)該項(xiàng)研究的團(tuán)隊(duì)。后來其又啟動(dòng)內(nèi)部項(xiàng)目 “六齡童閱讀理解”，以期機(jī)器在認(rèn)知智能上能達(dá)到六歲兒童的智力。

據(jù)科大訊飛透露，對(duì)機(jī)器閱讀理解而言，其最大的難點(diǎn)在于：

“對(duì)機(jī)器來說，記憶海量知識(shí)并進(jìn)行淺層推理，是一個(gè)相對(duì)較容易的工作，之前很多相關(guān)的工作證明了機(jī)器不比人類差，但精準(zhǔn)的理解并實(shí)現(xiàn)推理，是一個(gè)相對(duì)更難的任務(wù)，為此目前全球最優(yōu)秀的AI團(tuán)隊(duì)都在進(jìn)行類似的研究。”

此前，機(jī)器閱讀理解在研究領(lǐng)域也經(jīng)常遇到以下兩個(gè)難題：

1、數(shù)據(jù)問題：目前基于深度學(xué)習(xí)模型等統(tǒng)計(jì)方法的機(jī)器閱讀理解，在研究上離不開大量的被人工標(biāo)注的數(shù)據(jù)，但是固有的數(shù)據(jù)集則往往存在規(guī)模較小、質(zhì)量不佳等問題。這種情況下，很難基于這些數(shù)據(jù)量做出優(yōu)秀、有效的模型。

2、算法問題：傳統(tǒng)的NLP在做閱讀理解或自動(dòng)問答時(shí)，會(huì)采用分拆任務(wù)的方式將其分成問題分析、篇章分析、關(guān)鍵句抽取等一些步驟，但這種方法容易造成級(jí)聯(lián)誤差的積累，很難得到很好的效果。如，分目標(biāo)的結(jié)果整合最后和終極目標(biāo)不能完全吻合；局部優(yōu)化不當(dāng)可能造成研究進(jìn)展緩慢等。

所以，目前在機(jī)器閱讀理解領(lǐng)域中，則多采用完全端到端的神經(jīng)網(wǎng)絡(luò)建模，消除了分步驟產(chǎn)生的級(jí)聯(lián)誤差。除此之外，采用神經(jīng)網(wǎng)絡(luò)的方法能夠通過大量的訓(xùn)練數(shù)據(jù)學(xué)習(xí)到泛化的知識(shí)表示，對(duì)篇章和問題從語義層面上高度抽象化。

據(jù)科大訊飛向雷鋒網(wǎng)介紹，其在這一問題上也同樣采用了端到端的神經(jīng)網(wǎng)絡(luò)模型，但把精力更多的放在如何能夠模擬人類在做閱讀理解問題時(shí)的一些方法。此次在測試中奪得第一的“Interactive AoA Reader”，其主要是根據(jù)給定的問題對(duì)篇章進(jìn)行多次的過濾，同時(shí)根據(jù)已經(jīng)被過濾的文章進(jìn)一步篩選出問題中的關(guān)鍵提問點(diǎn)。通過“交互式”地逐步精確答案的范圍，該模型從而可得到不錯(cuò)的成績。

科大訊飛智能閱卷技術(shù)工作流程

科大訊飛向雷鋒網(wǎng)透露，AoA Reader模型是其去年提出并在arXiv上預(yù)先放出并最終被ACL 2017錄用為口頭發(fā)表的長文。“針對(duì)SQUAD類型的任務(wù)，我們對(duì)該模型做了一定的改進(jìn)，并稱之為Interactive AoA Reader模型”。

那么，該模型后續(xù)還有繼續(xù)優(yōu)化的空間嗎？科大訊飛方對(duì)此表示：

“雖然目前層出不窮的閱讀理解模型逐步接近該數(shù)據(jù)集上人類的答題效果，但目前的數(shù)據(jù)集中大多數(shù)問題仍然沒有達(dá)到需要“推理”的級(jí)別，對(duì)于機(jī)器閱讀理解的“能理解會(huì)思考”的終極目標(biāo)來說，現(xiàn)在還只是萬里長征的開始。對(duì)自然語言的更深層次的歸納、總結(jié)、推理，一定是未來機(jī)器閱讀理解不可缺少的部分。”

在雷鋒網(wǎng)問及該模型預(yù)計(jì)什么時(shí)候被應(yīng)用時(shí)，科大訊飛回應(yīng)說：“機(jī)器閱讀理解技術(shù)擁有廣闊的應(yīng)用場景，我們認(rèn)為精準(zhǔn)問答是一個(gè)重要的趨勢，例如在產(chǎn)品信息的精準(zhǔn)問答、使用手冊(cè)的精準(zhǔn)問答、基于司法電子卷宗的精準(zhǔn)問答、病歷的精準(zhǔn)問答等上都會(huì)起到有力的支撐作用。同時(shí)，此技術(shù)的進(jìn)步也會(huì)推動(dòng)NLP很多相關(guān)領(lǐng)域的進(jìn)步，如知識(shí)的表示、上下文篇章理解、知識(shí)推理等。”

目前，科大訊飛和哈工大聯(lián)合實(shí)驗(yàn)室的研發(fā)成果已被逐漸運(yùn)用在教育領(lǐng)域，如通過機(jī)器給考卷的主觀題評(píng)分，從而達(dá)到輔助人工閱卷，減少人員投入，降低人工閱卷中疲勞、情緒等因素的影響，進(jìn)一步提升人工閱卷評(píng)分的效率、準(zhǔn)確性和公平性。

近幾年，科大訊飛在智能閱卷技術(shù)上也一直在全國各中小學(xué)頻設(shè)試點(diǎn)，并和一些教育機(jī)構(gòu)牽手合作。如，2015年11月以前，科大訊飛就利用機(jī)器閱卷技術(shù)在安慶、合肥等地設(shè)立試點(diǎn)，經(jīng)過對(duì)人機(jī)評(píng)分結(jié)果的分析，計(jì)算機(jī)在評(píng)分一致率、平均分差、相關(guān)度以及與仲裁分更接近的比例等指標(biāo)方面都已達(dá)到或超過人工評(píng)分水平。而在今年的湖北省的中考中，襄陽市引進(jìn)的智能評(píng)卷系統(tǒng)也來自科大訊飛的機(jī)器智能閱卷技術(shù)。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。