編譯 | 吳彤
校對(duì) | 青暮
編輯 | 琰琰
長(zhǎng)期以來(lái)，我們一直在與機(jī)器溝通：編寫(xiě)代碼--創(chuàng)建程序--執(zhí)行任務(wù)。
然而，這些程序并非是用人類“自然語(yǔ)言“編寫(xiě)的，像Java、Python、C和C ++語(yǔ)言，始終考慮的是"機(jī)器能夠輕松理解和處理嗎？"
“自然語(yǔ)言處理”(Natural Language Processing，NLP)的目的與此相反，它不是以人類順應(yīng)機(jī)器的方式學(xué)習(xí)與它們溝通，而是使機(jī)器具備智力，學(xué)習(xí)人類的交流方式。其意義更為重大，因?yàn)榧夹g(shù)的目的本來(lái)就是讓我們生活得更輕松。
人工智能與子領(lǐng)域
自然語(yǔ)言處理，實(shí)際上是人工智能和語(yǔ)言學(xué)的交叉領(lǐng)域，但多年來(lái)，僅在語(yǔ)音轉(zhuǎn)錄、語(yǔ)音命令執(zhí)行、語(yǔ)音關(guān)鍵詞提取的工作上兢兢業(yè)業(yè)，規(guī)規(guī)矩矩，應(yīng)用到人機(jī)交互，就顯得十分吃力。
因?yàn)樵谡Z(yǔ)料預(yù)處理階段，NLP通常直接給出“斷句”，比如 "訂一張明天從北京到杭州的機(jī)票，國(guó)航頭等艙"，經(jīng)過(guò)NLP模型處理后，機(jī)器給出的輸出如下：
盡管準(zhǔn)確率高，但在這背后，我們并不知道機(jī)器理解了什么。由于足夠好用，人們也就不多問(wèn)了。
而在更加復(fù)雜的任務(wù)中，比如機(jī)器翻譯，基于深度學(xué)習(xí)的編碼、解碼架構(gòu)會(huì)將原句子轉(zhuǎn)換成我們根本不熟悉的樣子，也就是在無(wú)窮維空間中的點(diǎn)。
一旦機(jī)器翻譯出錯(cuò)，我們打開(kāi)這個(gè)空間的時(shí)候，才發(fā)現(xiàn)這些點(diǎn)和周圍其他點(diǎn)（其他句子）構(gòu)成的形態(tài)，猶如荒蕪宇宙里零落的星星那樣縹緲和神秘。
研究人員試圖向神經(jīng)網(wǎng)絡(luò)添加參數(shù)以提高它們?cè)谡Z(yǔ)言任務(wù)上的表現(xiàn)，然而，語(yǔ)言理解的根本問(wèn)題是“理解詞語(yǔ)和句子下隱藏的含義“。
近日，倫斯勒理工學(xué)院的兩位科學(xué)家撰寫(xiě)了一本名為《人工智能時(shí)代語(yǔ)言學(xué)》的書(shū)，探討了目前的人工智能學(xué)習(xí)方法在自然語(yǔ)言理解(Natural Language Understanding，NLU)中的瓶頸，并嘗試探索更先進(jìn)的智能體的途徑。
AI必須從“處理”自然語(yǔ)言到“理解”自然語(yǔ)言
機(jī)器“記錄”了數(shù)據(jù)并不意味著“理解”了數(shù)據(jù)。近幾十年來(lái)，機(jī)器學(xué)習(xí)算法一直嘗試完成從NLP 到 NLU 的轉(zhuǎn)型。過(guò)去，機(jī)器學(xué)習(xí)曾長(zhǎng)期承載著轉(zhuǎn)型使命的榮光。
機(jī)器學(xué)習(xí)模型是一種知識(shí)精益系統(tǒng)，它試圖通過(guò)統(tǒng)計(jì)詞語(yǔ)映射來(lái)回答上下文關(guān)系。在這些模型中，上下文是由詞語(yǔ)序列之間的統(tǒng)計(jì)關(guān)系形成的，而非詞語(yǔ)背后的含義。自然，數(shù)據(jù)集越大、示例越多樣化，機(jī)器對(duì)上下文關(guān)系的理解越精確。
但作者認(rèn)為，機(jī)器學(xué)習(xí)終將失寵，因?yàn)樗鼈冃枰嗟乃懔蛿?shù)據(jù)來(lái)自動(dòng)設(shè)計(jì)特征、創(chuàng)建詞匯結(jié)構(gòu)和本體，以及開(kāi)發(fā)將所有這些部分結(jié)合在一起的軟件系統(tǒng)。而且，機(jī)器人也不知道自己在做什么，以及為什么這樣做。它們解決問(wèn)題的方法不像人類--不依賴與世界、語(yǔ)言或自身的互動(dòng)。因此，它們無(wú)法理解兩個(gè)人長(zhǎng)時(shí)間對(duì)話時(shí)，對(duì)同一件事情的描述越來(lái)越簡(jiǎn)短的情景，也就是文本缺失現(xiàn)象。
巨大人工成本使機(jī)器學(xué)習(xí)陷入瓶頸，并迫使人們尋求其他方法來(lái)處理自然語(yǔ)言， 并導(dǎo)致了自然語(yǔ)言處理中經(jīng)驗(yàn)主義范式（認(rèn)為語(yǔ)言理解起源于感覺(jué)）的出現(xiàn)。
具有“感覺(jué)”的人工智能，或許會(huì)在自然語(yǔ)言處理上有三個(gè)突破：
通過(guò)語(yǔ)言交流激活感覺(jué)模型，并以此承載記憶，從而可以應(yīng)對(duì)人類之間交流時(shí)的文本缺失現(xiàn)象，實(shí)現(xiàn)“默契”（正確）的解碼；
理解語(yǔ)言的上下文相關(guān)含義，并從單詞和句子的歧義中找到合適的理解，以及從感覺(jué)世界中尋找更強(qiáng)的約束和限制；
向它們的人類合作者解釋它們的想法、行動(dòng)和決策；
與人類一樣，機(jī)器也需要在世界互動(dòng)時(shí)保持終身學(xué)習(xí)。而機(jī)器學(xué)習(xí)由于將可壓縮性和可學(xué)習(xí)性對(duì)等起來(lái)，并且限于表面的符號(hào)統(tǒng)計(jì)關(guān)系理解，以及不可解釋性等原因，不可避免丟失背景信息，而做不到上述層次的理解。
總之，機(jī)器要理解自然語(yǔ)言，感覺(jué)經(jīng)驗(yàn)是必不可少的。這與 Jürgen Schmidhuber在虛擬的游戲環(huán)境中設(shè)計(jì)的智能體是類似的邏輯，研究人員不會(huì)讓智能體學(xué)習(xí)局限于單一的決策輸出，而是逐步通過(guò)與虛擬世界互動(dòng)，首先建立對(duì)虛擬世界的表征模型，再基于表征模型去進(jìn)行決策。
正如 McShane 和 Nirenburg 在他們的書(shū)中指出的那樣，“ 語(yǔ)言理解不能與整體的認(rèn)知過(guò)程區(qū)分開(kāi)來(lái)，啟發(fā)機(jī)器人理解語(yǔ)言也要運(yùn)用其他感知（例如視覺(jué)、觸覺(jué)）。”正如在現(xiàn)實(shí)世界中，人類也是利用他們豐富的體態(tài)動(dòng)作來(lái)填補(bǔ)語(yǔ)言表達(dá)的空白。
經(jīng)驗(yàn)和數(shù)據(jù)驅(qū)動(dòng)的革命
20世紀(jì)90年代初，一場(chǎng)統(tǒng)計(jì)革命席卷了人工智能 (AI)，并在 2000 年代達(dá)到高潮。神經(jīng)網(wǎng)絡(luò)化身為現(xiàn)代深度學(xué)習(xí) (DL) 凱旋歸來(lái)，并席卷了人工智能的所有子領(lǐng)域。盡管深度學(xué)習(xí)最具爭(zhēng)議的應(yīng)用是自然語(yǔ)言處理 (NLP)，但仍舊帶來(lái)了經(jīng)驗(yàn)主義的轉(zhuǎn)向。
NLP 中廣泛使用數(shù)據(jù)驅(qū)動(dòng)的經(jīng)驗(yàn)方法有以下原因：符號(hào)和邏輯方法未能產(chǎn)生可擴(kuò)展的 NLP 系統(tǒng)，導(dǎo)致 NLP （EMNLP，此指數(shù)據(jù)驅(qū)動(dòng)、基于語(yǔ)料庫(kù)的短語(yǔ)，統(tǒng)計(jì)和機(jī)器學(xué)習(xí)方法）中所謂的經(jīng)驗(yàn)方法的興起。
這種向經(jīng)驗(yàn)主義轉(zhuǎn)變的動(dòng)機(jī)很簡(jiǎn)單：在我們深入了解語(yǔ)言如何運(yùn)作以及如何與我們口語(yǔ)談?wù)摰膬?nèi)容相關(guān)之前，經(jīng)驗(yàn)和數(shù)據(jù)驅(qū)動(dòng)的方法可能有助于構(gòu)建一些實(shí)用的文本處理應(yīng)用程序。
正如EMNLP的先驅(qū)之一肯尼思·丘奇（Kenneth Church）所解釋的，NLP數(shù)據(jù)驅(qū)動(dòng)和統(tǒng)計(jì)方法的擁護(hù)者對(duì)解決簡(jiǎn)單的語(yǔ)言任務(wù)感興趣，其動(dòng)機(jī)從來(lái)不是暗示語(yǔ)言就是這樣運(yùn)作的，而是"做簡(jiǎn)單的事情總比什么都不做好"。
丘奇認(rèn)為，這種轉(zhuǎn)變的動(dòng)機(jī)被嚴(yán)重誤解，他們以為這個(gè)“可能大致正確的”（ Probably Approximately Correct ，PAC）范式將擴(kuò)展到完全自然的語(yǔ)言理解。
“新一代和當(dāng)代的NLP研究人員在語(yǔ)言學(xué)和NLP的理解上有差別，因此，這種被誤導(dǎo)的趨勢(shì)導(dǎo)致了一種不幸的狀況：堅(jiān)持使用"大語(yǔ)言模型"（LLM）構(gòu)建NLP系統(tǒng)，這需要巨大的計(jì)算能力，并試圖通過(guò)記住海量數(shù)據(jù)來(lái)接近自然語(yǔ)言。
這幾乎是徒勞的嘗試。我們認(rèn)為，這種偽科學(xué)方法不僅浪費(fèi)時(shí)間和資源，而且引誘新一代年輕科學(xué)家認(rèn)為語(yǔ)言只是數(shù)據(jù)。更糟糕的是，這種方法會(huì)阻礙自然語(yǔ)言理解（NLU）的任何真正進(jìn)展。
相反，現(xiàn)在是重新思考 NLU 方法的時(shí)候了。因?yàn)槲覀兇_信，對(duì) NLU 的"大數(shù)據(jù)"方法不僅在心理上、認(rèn)知上甚至計(jì)算上都是難以操作的，而且這種盲目的數(shù)據(jù)驅(qū)動(dòng) NLU 方法在理論和技術(shù)上也有缺陷。
雖然 NLP（自然語(yǔ)言處理）和 NLU（自然語(yǔ)言理解）經(jīng)常互換使用，但兩者之間存在巨大差異。事實(shí)上，認(rèn)識(shí)到它們之間的技術(shù)差異將使我們認(rèn)識(shí)到數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法。雖然機(jī)器學(xué)習(xí)可能適合某些 NLP 任務(wù)，但它們幾乎與 NLU 無(wú)關(guān)。
考慮最常見(jiàn)的"下游 NLP"任務(wù)：
綜述--主題提取--命名實(shí)體識(shí)別（NER）--（語(yǔ)義）搜索--自動(dòng)標(biāo)記--聚類
上述所有任務(wù)都符合所有機(jī)器學(xué)習(xí)方法的基礎(chǔ)可能大致正確（PAC） 范式。具體來(lái)說(shuō)，評(píng)估一些NLP系統(tǒng)在上述任務(wù)的性能是相對(duì)主觀的，沒(méi)有客觀標(biāo)準(zhǔn)來(lái)判斷某些系統(tǒng)提取的主題是否優(yōu)于另一個(gè)主題。
然而，語(yǔ)言理解不承認(rèn)任何程度的誤差，它們要充分理解一個(gè)話語(yǔ)或一個(gè)問(wèn)題。
舉個(gè)例子，針對(duì)這句話，自然語(yǔ)言理解就需要考慮多種可能：我們有一個(gè)退休的BBC記者，曾在冷戰(zhàn)期間駐扎在一個(gè)東歐國(guó)家嗎？
某些數(shù)據(jù)庫(kù)對(duì)上述查詢將只有一個(gè)正確的答案。因此，將上述內(nèi)容轉(zhuǎn)換為正式的結(jié)構(gòu)化查詢語(yǔ)言查詢是巨大的挑戰(zhàn)，因?yàn)槲覀儾荒芨沐e(cuò)任何錯(cuò)誤。
這個(gè)問(wèn)題背后的"確切"思想涉及：
- 正確解釋"退休的BBC記者"——即作為所有在BBC工作的記者，現(xiàn)在退休了。
- 通過(guò)保留那些在某個(gè)"東歐國(guó)家"工作的"退休BBC記者"，進(jìn)一步過(guò)濾上述內(nèi)容。
除了地理限制之外，還有一個(gè)時(shí)間限制，即這些"退休的BBC記者"的工作時(shí)間必須是"冷戰(zhàn)期間"。- 以上意味著將介詞短語(yǔ)為"在冷戰(zhàn)期間"，而不是"一個(gè)東歐國(guó)家"（如果"冷戰(zhàn)期間"被替換為"具有華沙成員資格"，就要考慮不同的介詞短語(yǔ)')
- 做正確的量化范圍：我們正在尋找的不是在 "一些" 東歐國(guó)家工作的記者， 而是“任何”在“任何”東歐國(guó)家工作的記者。
上述具有挑戰(zhàn)性的語(yǔ)義理解功能都不能"大致"或"可能"正確——而是應(yīng)該絕對(duì)正確。換言之，我們必須從對(duì)上述問(wèn)題的多種可能解釋中得到一個(gè)唯一的含義。總而言之，對(duì)普通口語(yǔ)的真正理解與單純的文本（或語(yǔ)言）處理是完全不同的問(wèn)題。在文本（或語(yǔ)言）處理中，我們可以接受近似正確的結(jié)果。這時(shí)候，我們應(yīng)該可以清楚地明白：為什么NLP與NLU不同，為什么NLU對(duì)機(jī)器來(lái)說(shuō)是困難的。但是NLU 的困難根源究竟是 什么？首先是"缺失文本現(xiàn)象"（MTP），我們認(rèn)為它是自然語(yǔ)言理解中所有挑戰(zhàn)的核心。語(yǔ)言交流如下圖所示：演講者將思想“編碼”為某種自然語(yǔ)言中的話語(yǔ)，然后聽(tīng)眾將話語(yǔ)“解碼”為演講者打算/希望傳達(dá)的思想。"解碼"過(guò)程是NLU中的"U"--即理解話語(yǔ)背后的思想。
說(shuō)話者和聽(tīng)者的思想語(yǔ)言交流此外，"解碼"過(guò)程中需要沒(méi)有任何誤差，才能從說(shuō)話者的話語(yǔ)中，找出唯一一種意在傳達(dá)的含義。這正是NLU困難的原因。在這種復(fù)雜的通信中，有兩種優(yōu)化通信的方案：1.說(shuō)話者可以壓縮（和最小化）在思想編碼中發(fā)送的信息量，并且聽(tīng)者做一些額外的工作解碼（解壓縮）話語(yǔ)；
2.演講者多做一部分工作，把所有想要傳達(dá)的思想信息告訴聽(tīng)者，減少聽(tīng)者的工作量；
這兩種過(guò)程都在發(fā)生和演進(jìn)，最后似乎也得到了不錯(cuò)的平衡嗎，說(shuō)話者和聽(tīng)者的總體工作都得到了同樣的優(yōu)化。該優(yōu)化減少了說(shuō)話者的編碼信息，忽略了假設(shè)聽(tīng)眾已知的其他信息，但不會(huì)造成對(duì)話的背景信息丟失。舉個(gè)例子，對(duì)比下面黃色框中的未優(yōu)化的文本和綠色框中優(yōu)化的（等效但小得多的）文本。綠色框中較短的信息（我們通常就是這樣說(shuō)話的）傳達(dá)了與較長(zhǎng)的盒子相同的思想。通常，我們不會(huì)明確說(shuō)明所有其他內(nèi)容，因?yàn)槲覀兌贾馈＿@種技能幾乎花了人類20萬(wàn)年的進(jìn)化。但這就是NLU的問(wèn)題所在：機(jī)器不知道我們遺漏了什么，它們不知道我們都知道什么。最終結(jié)果是NLU非常困難，如果它們不能以某種方式"整理"我們?cè)捳Z(yǔ)的所有的含義，那么軟件程序?qū)⒂肋h(yuǎn)不能完全理解我們?cè)捳Z(yǔ)背后的想法。NLU的挑戰(zhàn)，并不是解析，阻止，POS標(biāo)記，命名實(shí)體識(shí)別等, 而是解釋或揭示那些缺失的信息。并隱含地假定為共享和共同的背景知識(shí)。在此背景下，我們現(xiàn)在提供三個(gè)原因，說(shuō)明為什么機(jī)器學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)的方法不會(huì)為自然語(yǔ)言理解提供解決方案。1、ML 方法甚至與 NLU 無(wú)關(guān)：ML 是壓縮的，語(yǔ)言理解需要解壓縮上述討論（希望）是一個(gè)令人信服的論點(diǎn)，即機(jī)器的自然語(yǔ)言理解由于MTP（媒體傳輸協(xié)議，Media Transfer Protocol）而變得困難，因?yàn)槲覀內(nèi)粘？谡Z(yǔ)被高度壓縮，因此"理解"的挑戰(zhàn)在于未壓縮（或發(fā)現(xiàn)）缺失的文本。機(jī)器的語(yǔ)言理解是困難的，因?yàn)闄C(jī)器不知道我們都知道什么。但 MTP 現(xiàn)象正是為什么數(shù)據(jù)驅(qū)動(dòng)和機(jī)器學(xué)習(xí)方法雖然在某些 NLP 任務(wù)中可能很有用，但與 NLU 甚至不相關(guān)的原因。在這里，我們提出這個(gè)證據(jù)：機(jī)器可學(xué)習(xí)性（ML） 和可壓縮性（COMP）之間的等價(jià)性已在數(shù)學(xué)上建立。即已經(jīng)確定，只有在數(shù)據(jù)高度可壓縮（未壓縮的數(shù)據(jù)有大量冗余）時(shí)，才能從數(shù)據(jù)集中學(xué)習(xí)，反之亦然。
雖然可壓縮性和可學(xué)習(xí)性之間的證明在技術(shù)上相當(dāng)復(fù)雜，但其實(shí)很容易理解：學(xué)習(xí)是關(guān)于消化大量數(shù)據(jù)并在多維空間中找到一個(gè)"覆蓋"整個(gè)數(shù)據(jù)集（以及看不見(jiàn)的的函數(shù)具有相同模式/分布的數(shù)據(jù)）。因此，當(dāng)所有數(shù)據(jù)點(diǎn)都可以壓縮時(shí)，就會(huì)發(fā)生可學(xué)習(xí)性。但是 MTP 告訴我們 NLU 是關(guān)于解壓縮的。因此，我們梳理出以下內(nèi)容：機(jī)器學(xué)習(xí)是關(guān)于發(fā)現(xiàn)將大量數(shù)據(jù)概括為單一函數(shù)。另一方面，由于MTP，自然語(yǔ)言理解需要智能的"不壓縮"技術(shù)，可以發(fā)現(xiàn)所有缺失和隱含的假定文本。因此，機(jī)器學(xué)習(xí)和語(yǔ)言理解是不兼容的——事實(shí)上，它們是矛盾的。
2、ML 方法甚至與 NLU 無(wú)關(guān)：統(tǒng)計(jì)上的無(wú)意義ML 本質(zhì)上是一種基于在數(shù)據(jù)中找到一些模式（相關(guān)性）的范式。因此，該范式的希望是在捕捉自然語(yǔ)言中的各種現(xiàn)象時(shí)，發(fā)現(xiàn)它們存在統(tǒng)計(jì)上的顯著差異。但是，請(qǐng)考慮以下事項(xiàng)）：獎(jiǎng)杯不適合在手提箱，因?yàn)樗翘?：1a.小 ；1b.大
請(qǐng)注意，"小"和"大"（或"打開(kāi)"和"關(guān)閉"等）等反義詞/反義詞以相同的概率出現(xiàn)在相同的上下文中。這樣，（小）和（大）在統(tǒng)計(jì)上等效的，但即使是一個(gè)4歲（小）和（大）是顯著不同："它"在（小）是指"手提箱"而在（大）中它指的是"獎(jiǎng)杯"。基本上，在簡(jiǎn)單的語(yǔ)言中，(1 a ) 和 (1 b ) 在統(tǒng)計(jì)上是等價(jià)的，盡管在語(yǔ)義上遠(yuǎn)非如此。因此，統(tǒng)計(jì)分析不能建模（甚至不能近似）語(yǔ)義——就這么簡(jiǎn)單！人們可以爭(zhēng)辯說(shuō)，有了足夠的例子，一個(gè)系統(tǒng)可以確立統(tǒng)計(jì)學(xué)意義。但是，需要多少個(gè)示例來(lái)"學(xué)習(xí)"如何解決結(jié)構(gòu)中的引用（如 （1）中的引用）？在機(jī)器學(xué)習(xí)/數(shù)據(jù)驅(qū)動(dòng)的方法中，沒(méi)有類型層次結(jié)構(gòu)，我們可以對(duì)"包"、"手提箱"、"公文包"等進(jìn)行概括性陳述，所有這些聲明都被視為通用類型"容器"的子類型。因此，以上每個(gè)模式，在純數(shù)據(jù)驅(qū)動(dòng)的范式中，都是不同的，必須在數(shù)據(jù)中分別"看到"。如果我們?cè)谡Z(yǔ)義差異中加入上述模式的所有小語(yǔ)法差異（例如將"因?yàn)?quot;更改為"雖然"，這也更改了"它"的正確引用），那么粗略計(jì)算告訴我們，機(jī)器學(xué)習(xí)/數(shù)據(jù)驅(qū)動(dòng)系統(tǒng)需要看到上述 40000000 個(gè)變體，以學(xué)習(xí)如何解決句子中的引用。如果有的話，這在計(jì)算上是不可信的。正如Fodor和Pylyshyn曾經(jīng)引用著名的認(rèn)知科學(xué)家喬治.米勒（ George Miller），為了捕捉 NLU 系統(tǒng)所需的所有句法和語(yǔ)義變化，神經(jīng)網(wǎng)絡(luò)可能需要的特征數(shù)量超過(guò)宇宙中的原子數(shù)量！這里的寓意是：統(tǒng)計(jì)無(wú)法捕捉（甚至不能近似）語(yǔ)義。3、ML 方法甚至與 NLU 無(wú)關(guān)：意圖邏輯學(xué)家們長(zhǎng)期以來(lái)一直在研究一種語(yǔ)義概念，試圖用語(yǔ)義三角形解釋什么是"內(nèi)涵"。一個(gè)符號(hào)用來(lái)指代一個(gè)概念，概念可能有實(shí)際的對(duì)象作為實(shí)例，但有些概念沒(méi)有實(shí)例，例如，神話中的獨(dú)角獸只是一個(gè)概念，沒(méi)有實(shí)際的實(shí)例獨(dú)角獸。類似地，"被取消的旅行"是對(duì)實(shí)際未發(fā)生的事件的引用，或從未存在的事件等。因此，每個(gè)"事物"（或認(rèn)知的每一個(gè)對(duì)象）都有三個(gè)部分：一個(gè)符號(hào)，符號(hào)所指的概念以及概念具有的具體實(shí)例。我有時(shí)說(shuō)，因?yàn)楦拍?quot;獨(dú)角獸"沒(méi)有"實(shí)際"實(shí)例。概念本身是其所有潛在實(shí)例的理想化模板（因此它接近理想化形式柏拉圖）一個(gè)概念（通常由某個(gè)符號(hào)/標(biāo)簽所指）是由一組屬性和屬性定義，也許還有額外的公理和既定事實(shí)等。然而，概念與實(shí)際（不完美）實(shí)例不同，在數(shù)學(xué)世界中也是如此。因此，例如，雖然下面的算術(shù)表達(dá)式都有相同的擴(kuò)展，但它們有不同的語(yǔ)氣：內(nèi)涵決定外延，但外延本身并不能完全代表概念。上述對(duì)象僅在一個(gè)屬性上相等，即它們的值在許多其他屬性上是不同的。在語(yǔ)言中，平等和同一性不能混淆，如果對(duì)象在某些屬性值中是平等的，則不能認(rèn)為對(duì)象是相同的。
因此，雖然所有的表達(dá)式評(píng)估相同，因此在某種意義上是相等的，但這只是它們的屬性之一。事實(shí)上，上述表達(dá)式有幾個(gè)其他屬性，例如它們的語(yǔ)法結(jié)構(gòu)、操作員數(shù)量、操作次數(shù)等。價(jià)值（這只是一個(gè)屬性）稱為外延，而所有屬性的集合是內(nèi)涵。雖然在應(yīng)用科學(xué)（工程，經(jīng)濟(jì)學(xué)等），我們可以安全地認(rèn)為它們相等僅屬性，在認(rèn)知中（尤其是在語(yǔ)言理解中），這種平等是失敗的！下面是一個(gè)簡(jiǎn)單的示例：
假設(shè)（1）是真的，即假設(shè)（1）真的發(fā)生了，我們看到了/ 見(jiàn)證了它。不過(guò)，這并不意味著我們可以假設(shè)（2）是真的，盡管我們所做的只是將 (1) 中的 '1b' 替換為一個(gè)（假設(shè)）等于它的值。所以發(fā)生了什么事？我們?cè)谡鎸?shí)陳述中用一個(gè)被認(rèn)為與之相等的對(duì)象替換了一個(gè)對(duì)象，我們從真實(shí)的東西中推斷出并非如此的東西！雖然在物理科學(xué)中，我們可以很容易地用一個(gè)屬性來(lái)替換一個(gè)等于它的物體，但這在認(rèn)知上是行不通的！下面是另一個(gè)可能與語(yǔ)言更相關(guān)的示例：通過(guò)簡(jiǎn)單地將"亞歷山大大帝的導(dǎo)師"替換為與其相等的值，即亞里士多德，我們得到了（2），這顯然是荒謬的。同樣，雖然"亞歷山大大帝的導(dǎo)師"和"亞里士多德"在某種意義上是平等的（它們都具有相同的價(jià)值作為指稱），這兩個(gè)思想對(duì)象在許多其他屬性上是不同的。那么，這個(gè)關(guān)于"內(nèi)涵"的討論有什么意義呢？自然語(yǔ)言充斥著內(nèi)涵現(xiàn)象，因?yàn)檎Z(yǔ)言具有不可忽視的內(nèi)涵。但是機(jī)器學(xué)習(xí)/數(shù)據(jù)驅(qū)動(dòng)方法的所有變體都純粹是延伸的——它們以物體的數(shù)字（矢量/緊張）表示來(lái)運(yùn)作，而不是它們的象征性和結(jié)構(gòu)特性，因此在這個(gè)范式中，我們不能用自然語(yǔ)言來(lái)模擬各種內(nèi)涵。順便說(shuō)一句，神經(jīng)網(wǎng)絡(luò)純粹是延伸的，因此不能表示內(nèi)涵，這是它們總是容易受到對(duì)抗性攻擊的真正原因，盡管這個(gè)問(wèn)題超出了本文的范圍。我在本文中討論了三個(gè)原因，證明機(jī)器學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)方法甚至與 NLU 無(wú)關(guān)（盡管這些方法可用于某些本質(zhì)上是壓縮任務(wù)的文本處理任務(wù)）。以上三個(gè)理由本身都足以結(jié)束這場(chǎng)夸張的自然語(yǔ)言理解的數(shù)字工程。人類在傳達(dá)自己的想法時(shí)，其實(shí)是在傳遞高度壓縮的語(yǔ)言表達(dá)，需要用大腦來(lái)解釋和"揭示"所有缺失但隱含假設(shè)的背景信息。語(yǔ)言是承載思想的人工制品，因此，在構(gòu)建越來(lái)越大的語(yǔ)言模型時(shí)，機(jī)器學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)方法試圖在嘗試找到數(shù)據(jù)中甚至不存在的東西時(shí)，徒勞地追逐無(wú)窮大。我們必須認(rèn)識(shí)到，普通的口語(yǔ)不僅僅是語(yǔ)言數(shù)據(jù)。https://thegradient.pub/machine-learning-wont-solve-the-natural-language-understanding-challenge/
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
