<mark id="oztn4"></mark>
0
| 本文作者： 楊曉凡 | 2019-07-29 22:52 | 專題：ACL 2019 |
雷鋒網(wǎng) AI 科技評論按：2019 年 7 月 28 日，自然語言處理領(lǐng)域的頂級學術(shù)會議 ACL2019 在意大利佛羅倫薩召開。作為文藝復興時期的重要藝術(shù)城市、如今的旅游勝地，在盛夏時節(jié)來到佛羅倫薩的不止有世界各地的計算語言學學者與 NLP 應(yīng)用開發(fā)者們，當然還有許多游客們。佛羅倫薩市內(nèi)的大街小巷也十分熱鬧。
ACL2019 的會議地址是 Fortezza da Basso，它是文藝復興時期的代表建筑之一。公元十六世紀修建它時是作為一個守衛(wèi)佛羅倫薩的堡壘，如今已經(jīng)成為佛羅倫薩的主要會議舉辦地點。大會演講、論文報告、專題研討會等都會在這里的各個場館內(nèi)進行。
會議第一天 28 日為 Tutorial 日，集中了 9 個不同主題的 Tutorial（教學講座）；7 月 29 日至 7 月 31 日為正會，有大會開幕式、2 個特邀演講、所有的論文口頭報告、論文海報展示、論文 demo、ACL 論文獎以及個人榮譽獎頒獎。8 月 1 日、2 日的內(nèi)容是 workshop（專題研討會）。
大會簽到也是從 28 日開始。簽到處也有文藝復興元素，大會準備了兩個來自著名畫作的照相版供參會者合影留念。
ACL 2019 有眾多贊助商，不僅可以在展位區(qū)的贊助商展示牌上看到，更可以沉甸甸地感受到：簽到時發(fā)放的資料袋里有贊助企業(yè)們的 ACL 宣傳材料，攤開可以擺滿一桌子；內(nèi)容以介紹本屆 ACL 中的收錄論文和規(guī)劃的活動為主。當然了，ACL2019 官方的會議手冊也是厚厚一大本。
雷鋒網(wǎng) AI 科技評論記者參與了下午的無監(jiān)督的跨語言表征學習（Unsupervised Cross-Lingual Representation Learning）教學講座，包括「NLP 網(wǎng)紅」Sebastian Ruder 在內(nèi)的三位講者進行演講。
他們從跨語言 NLP 課題的緣起和字詞表征普及之前的時代講起，詳細介紹了雙語、多語表征學習模型的發(fā)展，比較了有監(jiān)督與無監(jiān)督學習方法、不同的無監(jiān)督學習方法之間的異同，講解了方法應(yīng)用各個步驟中的要點，討論了現(xiàn)有方法在穩(wěn)定性、可用性、語言對以及數(shù)據(jù)量方面的限制，以及說明了無監(jiān)督跨語言表征學習對于后續(xù)任務(wù)和應(yīng)用的有效幫助。這里的鴿子又多又不怕人，甚至有一只都飛到了這個講座的會場里來「聽講」了。
一天的教學講座結(jié)束后，晚上有一個歡迎酒會，給參會者們提供社交空間。我們也在閑聊中驚喜地發(fā)現(xiàn)了來自國內(nèi)外的數(shù)位 AI 研習社內(nèi)容的關(guān)注者。
我們把全部教學講座的內(nèi)容概要介紹如下。文末附有全部 9 個教學講座的 PPT 的下載鏈接。
教學講座 1: Latent Structure Models for Natural Language Processing，用于自然語言處理的隱含結(jié)構(gòu)模型
對于處理復合數(shù)據(jù)、挖掘語言學結(jié)構(gòu)、構(gòu)建NLP數(shù)據(jù)處理流水線來說，隱含結(jié)構(gòu)模型是一類非常有效的工具。它們有兩大優(yōu)點：它們可以在訓練的時候集成結(jié)構(gòu)偏倚，這可以讓模型更加準確；它們也能夠找到隱含的語言學結(jié)構(gòu)，這帶來了更好的可解釋性。
這個教學講座會介紹離散隱含結(jié)構(gòu)模型在近幾年中的發(fā)展情況。內(nèi)容具體為，首先介紹一些現(xiàn)有方法的動機、潛力和限制，然后詳細討論設(shè)計這類模型的三種策略：梯度逼近（gradient approximation），強化學習，以及端到端的可微分方法。講座中將會重點介紹這些方法之間的聯(lián)系，并歷數(shù)它們的優(yōu)缺點。講解到的這些方法都已經(jīng)使用在了情感分析、自然語言推理、語言建模、機器翻譯、語意解析等等許多NLP任務(wù)中。隨著示例和評價結(jié)果的講解，NLP實踐者將會更了解哪種方法是適合解決自己的問題的。
教學講座 2: Graph-Based Meaning Representations: Design and Processing，基于圖的意思表征：設(shè)計以及處理
（北京大學孫薇薇老師也是這個教學講座的演講者之一）
在過去的幾年中，以有標簽的有向圖（labeled directed graphs）的形式編碼并處理句子意思的方法得到了極大的關(guān)注。這個方向上的做出成果的研究框架有不少，包括抽象含義表征（Abstract Meaning Representation）、最小遞歸語意的基于圖的呈現(xiàn)（graph-based rendering of Minimal Recursion Semantics）、雙向詞法語意依賴性圖（Bilexical Semantic Dependency Graphs），以及通用感知認知標注（Universal Conceptual Cognitive Annotation）。
作為語句意思的高級別向量表征的補充，解析為圖表征這樣的具有層次化結(jié)構(gòu)且離散的語意表征也從一開始就是NLP研究的重要基石，未來也將繼續(xù)在自然語言的理解中起到重要作用。這個教學講座將首先簡要回顧正式語意和語言學語意方面的相關(guān)背景，然后半正式地為不同的語義圖和相關(guān)詞匯進行統(tǒng)一的抽象定義介紹，接著對比綜述常見的基于圖的意思表征框架以及現(xiàn)有的圖庫，最后從技術(shù)角度介紹如何選擇不同的具有代表性的解析方法。這個教學講座的最終目的是為不同的語義圖庫以及對應(yīng)的解析研究提供一個統(tǒng)一的視角，也就可以為入門水平的自然語言處理開發(fā)者和使用者們掃清運用最新技術(shù)、最佳用例的障礙。
教學講座 3: Discourse Analysis and Its Applications，話語分析及其應(yīng)用
話語處理是從文本中提取多種不同級別的語言學結(jié)構(gòu)的一系列NLP任務(wù)，可以用來支持許多文本挖掘應(yīng)用。它包括在一組對話內(nèi)容中識別話題結(jié)構(gòu)、識別一致性結(jié)構(gòu)、識別互關(guān)聯(lián)結(jié)構(gòu)以及識別對話結(jié)構(gòu)。提取出的這些結(jié)構(gòu)可以用來推理出文本總結(jié)、文章打分、情感分析、機器翻譯、信息抽取、問答以及線索重建。
這個教學講座將首先介紹論述分析中的基本概念：單向文本&對話，同步&非同步對話，以及論述分析中的關(guān)鍵語言學結(jié)構(gòu)。然后將會將會介紹傳統(tǒng)的機器學習方法以及一些最新的基于深度學習的方法，并且在評測數(shù)據(jù)上比較它們的表現(xiàn)。對于提及的每種話語結(jié)構(gòu)，講座中都會介紹它在下游的文本挖掘任務(wù)中的使用，也會詳細介紹評價它們的方式和指標。最后還會討論這個領(lǐng)域未來的挑戰(zhàn)以及發(fā)展機會。
教學講座 4: Computational Analysis of Political Texts: Bridging Research Efforts Across Communities，政治文本的計算性分析：溝通不同領(lǐng)域的研究成果
用計算性方法研究政治內(nèi)容的文本的做法經(jīng)歷了快速發(fā)展，如今在政治學研究中也形成了逐漸壯大的“以文本為數(shù)據(jù)”的研究員群體。NLP方法在許多分析和任務(wù)中得到了廣泛的使用，包括從文本記錄中推測某人的政治立場，檢測政治文本中的觀點，以及分析政治溝通中的文體運用（比如制定政治議程過程中語意模糊性起到的作用）。政治學研究者們構(gòu)建了許多資源，并使用一些NLP方法處理文本數(shù)據(jù)；這個過程很大程度上是獨立于NLP研究人員們的。
同時，NLP研究人員們也研究了許多非常相近的任務(wù)，比如選舉結(jié)果預測、思想分類、立場檢測。這兩群研究者們互相之間幾乎沒有什么了解，NLP研究人員們幾乎不知道政治學中的這些有趣的應(yīng)用場景，政治學家們也不知道有哪些最新的NLP方法可以用來解決他們的問題。這個教學講座將會全面展示政治文本的計算性分析這一領(lǐng)域的研究成果，也會介紹NLP研究人員們目前在相關(guān)&類似任務(wù)上的研究進展。
教學講座 5: Wikipedia as a Resource for Text Analysis and Retrieval，把維基百科作為文本分析和檢索的資源
維基百科中由眾多網(wǎng)友們參與貢獻形成的文章不僅反映了大眾或者說網(wǎng)民們越來越廣泛的興趣，也很可能是目前為止最大的公開的、去中心化的非結(jié)構(gòu)化或者半結(jié)構(gòu)化知識庫。這個教學講座分析了維基百科作為一個文本庫，能在文本分析和檢索中起到什么樣的作用。維基百科能起到積極作用的文本分析任務(wù)包括共指解析、字義及實體去模糊以及信息提取。
對于信息檢索任務(wù)，對于查詢指令的結(jié)構(gòu)和意義有更好的理解，也可以幫助更好地匹配文檔查詢、聚合查詢結(jié)果、為熱門實體的查詢提供知識檢索。這個教學講座將會對比維基百科與其他人工收集的知識庫的特性以及優(yōu)缺點，將會介紹把維基百科中的半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)后的導出資源，以及介紹維基百科及其導出資源在文本分析以及增強信息檢索中能起到的作用。
教學講座 6: Deep Bayesian Natural Language Processing，深度貝葉斯自然語言處理
這個教學講座將會介紹用于自然語言處理的深度貝葉斯學習的發(fā)展，以及它在語音識別、文本總結(jié)、文本分類、文本分割、信息提取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統(tǒng)、問答、機器翻譯等等許多任務(wù)中的廣泛應(yīng)用。傳統(tǒng)上，我們用“深度學習”形容推理和優(yōu)化過程基于真實值的確定性模型，然而單詞、句子、實體、動作以及文檔中提取出的“語意結(jié)構(gòu)”可能無法用數(shù)理邏輯或者計算機程序準確地表達或者正確地優(yōu)化。在離散或者連續(xù)隱變量自然語言模型中的“分布函數(shù)”可能是無法適當?shù)胤纸饣蛘哳A測的。
這個教學講座介紹了統(tǒng)計模型和神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，并將重點講解一系列高級的貝葉斯模型以及深度模型。這些模型之間的聯(lián)系、能在自然語言的許多符號化表示和復雜模式中發(fā)揮作用的原因也會得到介紹。教學講座的內(nèi)容還包括：為了解決復雜模型的優(yōu)化問題而提出的變化推理和采樣方法，把詞表征、句表征、聚合和協(xié)作聚合與語言學限制、語意限制相結(jié)合，為了分別解決深度貝葉斯學習和理解中的不同問題而進行的案例研究，以及討論未來研究的一些方向和展望。
教學講座 7: Unsupervised Cross-Lingual Representation Learning，無監(jiān)督的跨語言表征學習
在這個教學講座中，我們對弱監(jiān)督、無監(jiān)督跨語言詞表征領(lǐng)域的最新最前沿成果進行一次完整的綜述。在簡單介紹跨語言詞表征的發(fā)展歷史之后，我們會重點介紹以下內(nèi)容：1，如何在資源非常有限以至于無法保證雙語監(jiān)督的情況下引入弱監(jiān)督以及無監(jiān)督的跨語言詞表征；2，在無監(jiān)督方法無法高效運行的情況下檢驗不同訓練條件和要求的效果；3，用于弱關(guān)聯(lián)性語言之間的更魯棒的方法能夠改善不穩(wěn)定以及表現(xiàn)不佳的問題；4，如何全面地評價這些表征；5，介紹能從跨語言詞表征中獲得收益的實際應(yīng)用。
教學講座 8: Advances in Argument Mining，爭論挖掘領(lǐng)域的進步
爭論和辯論是文明社會以及智慧生活的基石。對爭論的處理支持了政府的運行、構(gòu)建了科學進步并形成了宗教信念。隨著我們對爭論的形成方式、解釋以及造成影響的方式都有了更好的理解，現(xiàn)在也可以提出計算性的問題，探討如何讓機器建模并復制針對自然語言爭論的識別、重建、解釋、評價、推理過程。
這個講座的目標是向?qū)W生們介紹這個在過去三年中經(jīng)歷了巨大進展的領(lǐng)域，講解這段時間內(nèi)的重要研究成果。爭論挖掘建立在觀點挖掘、情感分析的基礎(chǔ)上，和它相關(guān)的不僅僅是提取出人們的想法，還有為什么他們會持有這些想法。這個領(lǐng)域如今有上百篇論文、數(shù)百萬美元的商業(yè)和科研投資。
教學講座 9: Storytelling from Structured Data and Knowledge Graphs : An NLG Perspective
在這個講座中，我們將討論把結(jié)構(gòu)化數(shù)據(jù)以及知識庫轉(zhuǎn)換成自然語言話語的基礎(chǔ)知識、方法論以及系統(tǒng)開發(fā)方法。這個講座的內(nèi)容包括了自然語言生成（NLG）任務(wù)的挑戰(zhàn)和方法，尤其重點介紹了從（結(jié)構(gòu)化）數(shù)據(jù)到文本的轉(zhuǎn)換范式。
我們預計聽眾將有這些收獲：1，如何用基礎(chǔ)的以及最流行的NLP與NLG技術(shù)描述以及總結(jié)非語言化的或者有結(jié)構(gòu)的文本數(shù)據(jù)；2，對一些開放性的問題有自己的見解，未來也許能夠引向重要的科研成果。我們將對從數(shù)據(jù)到文本這一任務(wù)設(shè)定下的從數(shù)據(jù)表示技巧到領(lǐng)域適應(yīng)方案等等的各種做法做整體的介紹，也會討論傳統(tǒng)的基于規(guī)則的、啟發(fā)式的方法，以及現(xiàn)代的數(shù)據(jù)驅(qū)動的深度學習架構(gòu)，以及對評價和質(zhì)量預計進行簡單的討論。
9 個教學講座 PPT 打包下載鏈接：https://ai.yanxishe.com/page/resourceDetail/919
ACL2019 正會第一天開幕式的內(nèi)容播報也已經(jīng)出爐，請參見這篇文章。
更多 ACL 2019 會議內(nèi)容報道，未來更多頂會消息，請繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
