作者 | 青 暮、陳大鑫
編輯 | 蔣寶尚
作為ACL和ISCA所屬的關(guān)于對話系統(tǒng)的興趣小組的年度會議，SIGDIAL 2020已經(jīng)開幕。其中，清華COAI小組拿到了SIGDIAL2020最佳論文。這篇論文的第一作者是清華大學(xué)研二學(xué)生高信龍一，論文的題目是《Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation》。中文譯為《你的目標(biāo)導(dǎo)向型對話模式表現(xiàn)得很好嗎？系統(tǒng)評價的實證分析》。近年來，目標(biāo)（任務(wù)）導(dǎo)向型對話系統(tǒng)引起許多研究者的關(guān)注。一個目標(biāo)型對話系統(tǒng)可包括多個模塊，例如一個傳統(tǒng)的流水線模型包括語言理解、狀態(tài)追蹤、對話策略、語言生成四個模塊，而各個模塊均有大量的新算法和模型被提出。
然而，大部分工作忽視了去評價一個完整的對話系統(tǒng)的性能。這些新算法基本只在相應(yīng)模塊內(nèi)進行比較驗證，而沒有評估該算法嵌入一個對話系統(tǒng)中的表現(xiàn)。根據(jù)細粒度和具體模型不同，各個模塊和模型之間可以有多種拼接方式組成一個對話系統(tǒng)。
此外，模塊內(nèi)的評價基本只是在單論對話的設(shè)定下進行，而一個完整的對話應(yīng)當(dāng)由系統(tǒng)和用戶進行多輪交互達成的。故在論文中，作者嘗試比較了不同模塊、不同細粒度、不同配置下各個目標(biāo)導(dǎo)向型對話系統(tǒng)，以作系統(tǒng)級的性能評估。搭建完的對話系統(tǒng)通過與模擬用戶或真實用戶進行多輪對話交互，并使用對話級別的評價指標(biāo)進行實驗。
據(jù)清華大學(xué)黃民烈教授介紹到，論文的二作是同組的朱祺博士，此外還得到了微軟合作者和朱老師的支持。。論文視頻介紹?
注：SIGDIAL為學(xué)術(shù)界和行業(yè)研究人員提供定期的論壇，介紹話語和對話領(lǐng)域的前沿研究。該會議由SIGdial組織贊助，該組織屬于ACL和ISCA的話語和對話特別興趣小組。具體來說，SIGDIAL接收正式的、基于語料庫的、實現(xiàn)、實驗或分析性工作，包括但不限于以下主題：話語處理、對話系統(tǒng)、語料庫、工具、方法論、語用和/或語義建模、對話與話語處理技術(shù)的應(yīng)用。面向目標(biāo)的智能對話系統(tǒng)通常需要多個回合的對話完成用戶要求的復(fù)雜任務(wù)。與開放域?qū)υ捪到y(tǒng)不同，面向目標(biāo)的對話系統(tǒng)可以訪問外部數(shù)據(jù)庫，在該數(shù)據(jù)庫上向復(fù)雜任務(wù)的用戶查詢信息。面向目標(biāo)的對話系統(tǒng)可以分為三類，基于它們的體系結(jié)構(gòu)，如下圖所示。第一類是pipeline（或模塊化）系統(tǒng)，通常由四個部分組成：自然語言理解（NLU）、對話狀態(tài)跟蹤（DST）、對話策略（Policy）和自然語言生成（NLG）。第二類是端到端（或統(tǒng)一）系統(tǒng)，直接從對話歷史中生成系統(tǒng)響應(yīng)。第三類介于上述兩種類型之間，有些系統(tǒng)使用結(jié)合了四種對話框組件中的某些（但不是全部）的運動類型模型。（例如，聯(lián)合詞級DST模型結(jié)合了NLU和DST，聯(lián)合詞級策略模型結(jié)合了對話策略和NLG。）雖然人們設(shè)計了許多方法來評估和改進單個對話組件的性能，但是對于不同組件如何對對話系統(tǒng)的整體性能做出貢獻，還缺乏全面的實證研究。據(jù)論文介紹，作者進行了系統(tǒng)的評估，并對不同設(shè)置下由不同模塊組成的不同類型的對話系統(tǒng)進行了實證分析。（1）使用不同組件級別的細粒度監(jiān)控信號訓(xùn)練的pipeline對話系統(tǒng)通常比使用粗粒度標(biāo)簽訓(xùn)練的聯(lián)合或端到端模型的系統(tǒng)獲得更好的性能。（2）單輪、模塊內(nèi)的評估結(jié)果并不總是與多輪、系統(tǒng)級的整體性能一致。（3）盡管模擬用戶和真實用戶之間存在差異，但模擬評估仍然是昂貴的人工評估的有效替代，特別是在開發(fā)的早期階段。
表1中的數(shù)據(jù)表明，與在聯(lián)合模型和端到端系統(tǒng)相比，pipeline系統(tǒng)通?？梢垣@得更好的總體性能，因為在組件級別使用細粒度標(biāo)簽可以幫助pipeline系統(tǒng)提高任務(wù)成功率。表1：具有不同配置和模型的系統(tǒng)級仿真評估，這里使用SYSTEM-表示配置的縮寫。
通過比較表1和表2中的結(jié)果表明驗證組件評估是否與系統(tǒng)評估一致很重要。可以觀察到有時它們是一致的（例如表2a中的BERT> MILU，而SYSTEM-1> SYSTEM-2），但并非總是一致的（例如表中的TRADE> SUMBT 2b，但SYSTEM-6> SYSTEM-7）。組件評估與系統(tǒng)評估之間有差異，使用檢索模型系統(tǒng)的優(yōu)越性可能意味著，在面向目標(biāo)的對話系統(tǒng)中，NLG中較低的SER比較高的BLEU更為關(guān)鍵。表2：每個模塊的組件性能。?表示來自MultiWOZ排行榜的結(jié)果。其中，NLG為：自然語言生成模塊從對話行為表示生成自然語言響應(yīng)。E2E為：端到端模型將用戶的話語作為輸入，直接以自然語言輸出系統(tǒng)響應(yīng)。表3和表4中的結(jié)果表明，所有系統(tǒng)的整體性能隨任務(wù)域的不同而變化，并且隨著任務(wù)復(fù)雜度的增加而顯著下降，而pipeline系統(tǒng)對任務(wù)復(fù)雜性則相對魯棒。表3：不同單域的性能。與“吸引力”相比，大多數(shù)系統(tǒng)在“餐廳”和“火車”中的性能更高。
表4：不同域數(shù)下的性能。隨著域數(shù)的增加，所有系統(tǒng)的性能都會下降。表5顯示了5個對話系統(tǒng)的人工評估結(jié)果。與表1中的模擬評估相比，可以看到大多數(shù)系統(tǒng)的Pearson相關(guān)系數(shù)都在0.5到0.6之間，這表明模擬評估與人類評估的相關(guān)性中等。表5：對人類用戶的系統(tǒng)評估，最后一列展示了模擬評估與人工評估之間的相關(guān)系數(shù)。
表6顯示了模擬評估中SYSTEM-1和SYSTEM-6之間的會話比較。表7表明現(xiàn)有的對話系統(tǒng)容易受到人類語言變化的影響，例如表7中棕色突出顯示的句子，這表明在處理真實的人類對話時缺乏穩(wěn)健性。需要明確的是，作者在論文中用的評價指標(biāo)有兩個：任務(wù)效率：使用對話的次數(shù)，平均所有對話會話，來衡量完成一項任務(wù)的效率。用戶話語和隨后的系統(tǒng)話語被視為一個對話回合。系統(tǒng)應(yīng)幫助每個用戶在20輪內(nèi)完成目標(biāo)，否則視為失敗。任務(wù)成功率：用Inform F1和匹配率衡量，其中informf1評估所有信息請求是否得到滿足，匹配率評估所提供的實體是否滿足用戶目標(biāo)中指定的所有約束。當(dāng)且僅當(dāng)Inform F1和匹配率均為1時，對話框才會標(biāo)記為成功。此外，還有一些其他結(jié)果：詞級DST預(yù)測的對話狀態(tài)只記錄當(dāng)前回合的用戶約束，導(dǎo)致動作選擇（通過對話策略）的信息丟失，如下圖所示。詞級DST與字級策略相結(jié)合可以獲得更好的整體性能，例如SYSTEM-13的成功率為40.4%，而SYSTEM-6的成功率為27.8%，如下圖所示。所有這些聯(lián)合方法在傳統(tǒng)的pipeline系統(tǒng)中仍然表現(xiàn)不佳，而通過聯(lián)合訓(xùn)練策略和NLG模塊可以改善響應(yīng)生成：在使用聯(lián)合模型的所有系統(tǒng)中，SYSTEM-16獲得了最高的成功率（48.5%）和第二高的匹配率（59.67%）（SYSTEM-5～14）。這篇論文的第一作者高信龍一，原來是清華大學(xué)計算機系計55班。在大二的時候，也就是2016年10月份進入智能技術(shù)與系統(tǒng)國家重點實驗室交互式人工智能(CoAI)課題組，在黃民烈老師的指導(dǎo)下進行科研訓(xùn)練。主要研究方向為對話系統(tǒng)、推薦系統(tǒng)和強化學(xué)習(xí)。目前已在ACL，EMNLP，WWW，AAAI等頂級會議上以第一作者發(fā)表數(shù)篇長文。高信同學(xué)進大學(xué)前專注于數(shù)學(xué)競賽，沒有絲毫計算機編程方面的基礎(chǔ)，在清華讀本科期間，一開始也是跟隨實驗室的馮珺學(xué)姐從事一些簡單的科研工作，主要做一些baseline的實現(xiàn)和分析。在學(xué)姐和老師的輔助下，一點點掌握科學(xué)實驗和結(jié)果分析等獨立科研能力。大三的時候，高信龍一由于人工神經(jīng)網(wǎng)絡(luò)課程和其他兩名本科生一起合作完成了一個項目，在里面又體會到了團隊合作時的一些心得，例如如何溝通、如何分配工作和時間。他的科研經(jīng)歷也并不是一帆風(fēng)順，據(jù)高信龍一回憶：他為了完成第一個項目，整個暑假都和同學(xué)一起泡在實驗室里，期間在實驗上有過無數(shù)的嘗試和修正，從一次次失敗中分析其中的原因，汲取其中的經(jīng)驗。2019年，他成為清華大學(xué)計算機系碩士生，交互式人工智能組（CoAI）成員，算是正式“拜師”黃民烈教授。所以，高信龍一算是“土生土長”清華學(xué)子，但從過往經(jīng)歷，可以看到，清華學(xué)子的科研路也是一步一步走出來的，例如他從大二就動了科研的念頭，大三組織團隊完成科研任務(wù)，再到2019年攻讀碩士，以及今天的這篇最佳論文。高信龍一同學(xué)的科研路可謂踏踏實實，一步一個腳印。1.這次獲得最佳論文，你心情如何？有沒有什么研究建議想給大家分享的？答：挺開心的，很榮幸自己的工作能得到學(xué)界的認可，很感謝身邊的老師、同學(xué)和同事給我的支持。我希望現(xiàn)在人工智能方向的研究者能靜下心來研究一些真正有意義、有深度的課題。2.獲獎的這篇論文思路是什么樣的？主要解決了什么問題？答：隨著近年來人工智能新模型和新算法層出不窮，我希望能讓學(xué)界重新重視一下對話評價的問題，思考一下對話模型的實用性。本次工作針對各類模型、各類配置、各類設(shè)定的多輪任務(wù)型對話系統(tǒng)進行全面的系統(tǒng)評測和分析，為對話系統(tǒng)的研究者和開發(fā)者提供了一些重要的借鑒。3.其他研究者目前主要關(guān)注改進的點是哪些方面？答：可能更加關(guān)注于每個模塊內(nèi)的性能提升。例如在任務(wù)型對話中，對話狀態(tài)追蹤就是一個比較熱門的方向。4.為什么要選擇對話系統(tǒng)這一領(lǐng)域？一開始并沒有明確的方向，所以先從算法入手，著眼到了強化學(xué)習(xí)上。后來隨著對組里的研究方向有了進一步了解之后，對對話這種人機交互的形式比較有興趣，同時也有一些場景可以利用到強化學(xué)習(xí)，所以選擇了對話系統(tǒng)這個領(lǐng)域，其中我個人相對專攻任務(wù)型對話系統(tǒng)。5.現(xiàn)在在清華學(xué)習(xí)過程中有沒有一些經(jīng)驗分享？更多的把精力放到科研上了。平時要注意對文獻的閱讀積累，帶著問題去閱讀一些論文。6.清華的培養(yǎng)機制，對你來說受益最大的是哪一方面？可能是多元化的校園生活。只要用心，每個人都能在清華找到適合自己的環(huán)境。像是對科研感興趣的同學(xué)，大二的時候就可以借助計算機系里的“學(xué)術(shù)新星”計劃，提前進入實驗室接觸科研方面的知識。此外，和實驗室的教師和同學(xué)的學(xué)術(shù)探討也給我提供了很大的幫助。聽聽音樂，看看植物，和家人或好朋友聊聊天，其他基本就是在閉目養(yǎng)神了（笑）。8.黃民烈老師說，這篇文章有微軟合作者的支持，請問畢業(yè)之后是打算去微軟么？原本微軟研究院邀請我在今年春季過去參加實習(xí)的，但由于全球疫情爆發(fā)之后，沒能去成西雅圖那邊，所以現(xiàn)在還沒有確定畢業(yè)之后的去向。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
