微軟全球執(zhí)行副總裁沈向洋博士：理解自然語言：表述，對話，意境（附PPT和專訪） | CNCC 2017

雷鋒網(wǎng) AI科技評論按，由中國計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，福州市人民政府、福州大學(xué)承辦，福建師范大學(xué)、福建工程學(xué)院協(xié)辦的2017中國計(jì)算機(jī)大會(huì)（CNCC2017）于今日（10.26）在福州·海峽國際會(huì)展中心正式開幕。今年大會(huì)的主題是“人工智能改變世界（AI Changes the World）”，在上午的特邀報(bào)告環(huán)節(jié)，美國國家工程院院士、微軟全球執(zhí)行副總裁、ACM/IEEE Fellow沈向洋博士帶來了主題為《理解自然語言：表述，對話，意境》的分享。雷鋒網(wǎng)作為獨(dú)家戰(zhàn)略合作媒體，在現(xiàn)場進(jìn)行獨(dú)家跟蹤報(bào)導(dǎo)。

以下為他的分享內(nèi)容：

非常高興今天來到美麗的福州，感謝大家的邀請。我今天的主題是《理解自然語言：表述，對話，意境》，今天主要給大家講的是人工智能中我個(gè)人覺得最重要的研究方向。

得益于大計(jì)算，大數(shù)據(jù)和精準(zhǔn)模型，人工智能在近年來快速發(fā)展，特別是在深度學(xué)習(xí)方面。

另外還有感知和認(rèn)知，感知中的視覺和語音進(jìn)展飛速，而認(rèn)知和語言、理解的發(fā)展速度有限。

我們感知研究的飛速發(fā)展，有兩個(gè)方面，一是計(jì)算機(jī)視覺圖像識別，二是計(jì)算機(jī)語音識別合成。

我們先來講語音識別，微軟目前在標(biāo)準(zhǔn)測試上的精度已經(jīng)達(dá)到人類水平，最新的誤差率到5.1%。大家都知道，就算是人類的誤差率，也分普通人的誤差還是專家的誤差。我們今天做的這個(gè)效果非常好，誤差率比專家的水平都要低。

下面是我們研究的152層殘差神經(jīng)網(wǎng)絡(luò)，我們在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候遇到了很多困難，比如到底要多少層才能做到最優(yōu)的結(jié)果。    

深度學(xué)習(xí)在圖象識別中的總體趨勢是更深更準(zhǔn)。下面有一個(gè)簡單的介紹，可以看到，這幾年隨著模型的深度越來越深，誤差也越來越低。

前面都是我的鋪墊，接下來進(jìn)入正題。我認(rèn)為，在下一個(gè)十年里，人工智能的突破在自然語言的理解，我最近老講的一句話就是“懂語言者懂天下”。

我們自己理解自然語言的三層層次是機(jī)器學(xué)習(xí)、機(jī)器智能、機(jī)器意識。第一層是怎么去表述，我們用機(jī)器學(xué)習(xí)就可以學(xué)到很多東西。第二層就到了機(jī)器智能領(lǐng)域，對話以及提問，這一步就比較困難了。第三點(diǎn)就是到了機(jī)器意識，意境，比如說為什么有的人講的東西你覺得比較有深度，就是從這個(gè)角度來講。實(shí)際上這三個(gè)層次的東西是可以轉(zhuǎn)換的。我們小的時(shí)候?qū)懽魑模谝徊绞怯洈ⅲ诙绞钦撟C，第三步就是當(dāng)你文章開始寫得有點(diǎn)水平了，我們就開始寫詩歌，寫散文。

我今天有機(jī)會(huì)從這三個(gè)方面和大家探討。第一步就是已經(jīng)做的相當(dāng)不錯(cuò)的機(jī)器語言，我用兩個(gè)微軟的工作來介紹，第一個(gè)就是微軟認(rèn)知服務(wù)，第二個(gè)就是微軟應(yīng)用軟件。

第一步我簡單介紹一下什么是API，這里有一張圖片，這張照片上面有關(guān)于這個(gè)人的表述，這個(gè)人的動(dòng)作、表情等。

大家有興趣也可以到微軟的網(wǎng)頁上看到更多介紹，我們還有很多其他視覺的服務(wù)。

我想跟大家解釋一下這里面研究的問題是什么，其實(shí)就是圖像的描述，以及它想解決什么樣的問題。首先你要有一個(gè)語義空間，要把圖像與文字聯(lián)結(jié)起來。通過深度結(jié)構(gòu)語義模型把圖像和文字均表征成語義空間內(nèi)的向量，在此空間中進(jìn)行語義相似度計(jì)算。

就算我們有很好的想法，如果不去做系統(tǒng)，那么大家就看不到你的問題在哪里。我們有一個(gè)項(xiàng)目，里面會(huì)有很多用戶提供問題，其中很好的一點(diǎn)就是用戶會(huì)幫助你提供建議，以及發(fā)現(xiàn)系統(tǒng)的問題。比如在系統(tǒng)中的有些場景下，我們覺得不好，但是用戶覺得好，或者我們覺得還行，但是用戶覺得也不行，另外也有我們和用戶都覺得不行的部分。

在做大數(shù)據(jù)的時(shí)候，大家要明白，一定要去分析數(shù)據(jù)。其好處就是不斷迭代，接下來會(huì)越來越好。微軟的圖像描述服務(wù)系統(tǒng)已經(jīng)根據(jù)收集到的用戶數(shù)據(jù)進(jìn)行了多次迭代。

圖像描述目前在現(xiàn)實(shí)生活中也有應(yīng)用，比如微軟每天服務(wù)數(shù)百萬微軟辦公軟件用戶，并應(yīng)用Seeing AI軟件服務(wù)盲人。我覺得從描述這件事情上，就可以有很多應(yīng)用。

接下來我想講的就是機(jī)器智能。第一就是對話即智能，從回答問題到提出問題，從一問一答到連續(xù)對話，之前是機(jī)器閱讀理解，之后是問答對話生成。

在閱讀文本及提問時(shí)，首先要深度理解語言，不僅要回答問題，還要能提出問題，閱讀并找出關(guān)鍵點(diǎn)，圍繞關(guān)鍵點(diǎn)生成問題。比如講讀了一段文字以后，對它的理解怎么體現(xiàn)出來，或者我讀了這篇文章我可以自己提問，另外還可以回答。

我再簡單解釋一下，這里有一個(gè)記憶機(jī)制，并且需要端到端對話生成模型。要在回復(fù)生成的過程中提煉主要的觀點(diǎn)，然后綜合對話情感，用戶畫像以及記憶，一個(gè)對話往往會(huì)發(fā)生多次話題的轉(zhuǎn)換，時(shí)間越長的對話，越有機(jī)會(huì)被自然地引導(dǎo)入期望的話題。

第三點(diǎn)就是我上面提到的，理解和表達(dá)意境。從機(jī)器描述到機(jī)器對話，到底智能體現(xiàn)在哪里？講圖片的時(shí)候，你可以理解和表達(dá)意境，可以有意識的腦補(bǔ)。圖片評論就是從客觀描述到主觀評論，但再到天馬行空的意境，就是只可意會(huì)，不可言傳的境界。

到現(xiàn)在，人工智能的研究是通過人做一些東西，再加上環(huán)境，有這個(gè)的一個(gè)表征。通過你的輸入，機(jī)器把這些輸入進(jìn)來的信息做成機(jī)器語言，再進(jìn)行深度學(xué)習(xí)。今天絕大多數(shù)人工智能的科研都是停留在這一步，真正有意義的、對人類有貢獻(xiàn)的，就是要對機(jī)器的結(jié)果進(jìn)行反向推理。我們來看一下Image  Caption的進(jìn)步，它的表述和評論都充滿了人情味。

微軟最近上線的一個(gè)比較激動(dòng)人心的消息就是小冰寫詩，下面就是講生成詩歌的過程。生成單句詩：前向RNN模型+反向RNN模型；生成整句詩：基于遞歸神經(jīng)網(wǎng)絡(luò)的層級生成模型。

下面是小冰寫詩的兩個(gè)例子，這是由照片到詩歌的創(chuàng)作過程：

我再講講微軟對話式人工智能產(chǎn)品的布局，第一個(gè)就是智能搜索，第二個(gè)是智能助理，第三個(gè)是智能客服，第四個(gè)是智能聊天。

我覺得每一次時(shí)代的變遷，都是在重新定義人類和世界的關(guān)系。

現(xiàn)在人類到世界之間，AI最了不起的就是對我們?nèi)四X的理解，可以從IQ和EQ兩個(gè)方面說起。任何一個(gè)時(shí)代你都要思考什么改變了我們的生活。

最后講一下，小冰目前已經(jīng)登陸中日美印尼五個(gè)國家，具體如下圖所示。

最后我要強(qiáng)調(diào)一句：“懂語言者得天下”。“不要人夸顏色好，只留清氣滿乾坤”。我的演講到此結(jié)束，謝謝大家。

演講結(jié)束之后，沈向洋博士與媒體進(jìn)行了簡短的交流，以下為媒體提問。

問：沈老師您好，微軟上個(gè)月先是和Facebook一起推出ONNX，然后又聯(lián)手亞馬遜，推出了一個(gè)深度學(xué)習(xí)庫Gluon。與這些企業(yè)聯(lián)手，對于微軟有什么重大的意義？

沈向洋：我覺得道理很簡單，就像前面提到的，傳統(tǒng)以為計(jì)算機(jī)大會(huì)都像微軟或者是真正做計(jì)算機(jī)軟硬件的企業(yè)為主，其實(shí)我們今天看了一下，有很多自然學(xué)科、基礎(chǔ)學(xué)科的公司也都參與其中了。融合是一個(gè)大趨勢。這個(gè)事情的發(fā)展剛才梅院士也提到了，這個(gè)世界到今天只有開放，開放合作才是王道，因?yàn)榻裉煺麄€(gè)這樣的發(fā)展，要向前走。

最近針對深度學(xué)習(xí)，微軟做了三件事情：

1、我們和Facebook（現(xiàn)在已經(jīng)有很多其他的公司也加入了）的合作，包括Intel等等，我們做了一個(gè)中間層的東西，其實(shí)就是一個(gè)格式（ONNX），大家都轉(zhuǎn)化成這樣一個(gè)格式以后，你把深度學(xué)習(xí)的模型編譯到任何的系統(tǒng)上，運(yùn)算的能力效率都會(huì)非常高，我們已經(jīng)做了，還再繼續(xù)向前推。

2、開始深度學(xué)習(xí)的時(shí)候，你要去搭建深度學(xué)習(xí)的模型，用的界面是什么？包括TensorFlow、MXNet、Microsoft CNTK等等，大家做了很多東西，其實(shí)這樣反而令程序員不知道到底要什么，很多人覺得谷歌的TensorFlow做得好，事實(shí)上，其他的系統(tǒng)也有很多的優(yōu)勢。

所以，我們幾家大的公司就站在一起，大家覺得還是應(yīng)該合作，做一個(gè)公用的界面系統(tǒng)。所以我們最近也做了Gluon，大家粘在一起。

3、還是要有一個(gè)大家熟悉的編程環(huán)境，所以我們最近做了Microsoft Studio，希望有一個(gè)非常熟悉的編程環(huán)境，大家進(jìn)來之后就是一些模型，可以Copy，一直編程到底層去。

我們會(huì)繼續(xù)和其他的公司以非常開放合作的心態(tài)。

問：您剛才提到Google的TensorFlow，TensorFlow現(xiàn)在覆蓋率很廣，微軟會(huì)和Google在這方面展開合作嗎？

沈向洋：會(huì)展開合作，我們一直都在合作，比如說ONNX，我們非常希望TensorFlow也把它做成中間層，我們都很Open，如果我們做這樣一個(gè)開放的系統(tǒng)的話，對任何的公司都是開放的。

問：沈老師，您在演講中提到微軟小冰，微軟小冰在微軟人工智能生態(tài)的地位是怎么樣的？

沈向洋：我剛才已經(jīng)講了，對話是人工智能產(chǎn)品線的話有四條線，我們現(xiàn)在都在做：智能搜索、智能助理、智能客服、智能聊天機(jī)器人。所以，對于小冰來講，實(shí)際上很多人覺得小冰好像不是很有用，只是隨便聊聊天，我個(gè)人的看法是完全相反的，它真正智能的地方是連續(xù)對話的能力在所有其他產(chǎn)品的能力之上。

問：傳統(tǒng)上，我們會(huì)以為計(jì)算機(jī)大會(huì)是以微軟或者是真正做計(jì)算機(jī)軟硬件的企業(yè)為主，但現(xiàn)場有很多自然學(xué)科、基礎(chǔ)學(xué)科的公司也都參與其中，現(xiàn)在越來越多的領(lǐng)域都會(huì)在一起，這種融合現(xiàn)象是未來的趨勢嗎？

沈向洋：這是必須的，我1980年上大學(xué)的時(shí)候，很多大學(xué)還沒有計(jì)算機(jī)系，中國的計(jì)算機(jī)系差不多是在1979-1981年這個(gè)階段才成立的。以前提到計(jì)算機(jī)是在哪里呢？通常要么是在數(shù)學(xué)系弄理論，要不然就是在自動(dòng)化系做應(yīng)用，或者是電子系，后來才真正成立了計(jì)算機(jī)系，美國最早成立計(jì)算機(jī)系也就是60年代中后期。

融合是毫無疑問的，但是接下來我覺得更加激動(dòng)人心的地方是人工智能在向后的發(fā)展。現(xiàn)在這幾年的發(fā)展，我覺得更多的是人工智能在各個(gè)學(xué)科的融合，特別是腦科學(xué)、心理學(xué)、哲學(xué)，在這些方面我覺得會(huì)有更多的發(fā)展。腦科學(xué)是我自己最看重的一個(gè)領(lǐng)域，我覺得在基礎(chǔ)科研方面大家的投入還遠(yuǎn)遠(yuǎn)不夠，認(rèn)識還遠(yuǎn)遠(yuǎn)不夠深刻，當(dāng)然對于這個(gè)的研究我不是很深入。腦科學(xué)現(xiàn)在作為一項(xiàng)科學(xué)，還不那么科學(xué)，科學(xué)就是你要做實(shí)驗(yàn)，要有大量的數(shù)據(jù)，要重復(fù)實(shí)驗(yàn)。而腦科學(xué)則很難，今天還沒有到這個(gè)階段。我相信以后10年、20年，腦科學(xué)家、AI是最基本的。

包括我今天講的自然語言的理解，我們對自然語言理解的不是很清楚，腦在處理這些東西的時(shí)候能夠給我們一些建議。

問：這次大會(huì)的主題是人工智能改變一切，您覺得現(xiàn)在已經(jīng)開始改變了嗎？而且您覺得下一個(gè)爆發(fā)點(diǎn)可能在哪個(gè)領(lǐng)域？

沈向洋：我剛才在演講里面講到了，實(shí)際上這個(gè)世界人工智能是有兩個(gè)方向的：

一是感知，二是認(rèn)知。

最近感知方面的發(fā)展非常神速，主要是在計(jì)算機(jī)識別、計(jì)算機(jī)語音方面的。人之所以有智能，首先是我們能夠感知這個(gè)世界。大家可能不太清楚，比如說人的信息處理，進(jìn)到腦子里面信息量的處理91%是視覺的信息，然后是聽覺的信息，其他的觸覺相對比較小。

認(rèn)知現(xiàn)在的發(fā)展還相對比較慢，首先第一步是自然語言的發(fā)展，包括很多推理，這些東西對世界和人、社會(huì)的理解都還有很遠(yuǎn)的路要走。

最近的爆發(fā)點(diǎn)就是感知方面的意義，比如說像計(jì)算機(jī)視覺，最近“刷臉”在技術(shù)上越來越可行了，還有語音的合成，也有很多發(fā)展機(jī)會(huì)。我們做的一個(gè)激動(dòng)人心的項(xiàng)目就是機(jī)器翻譯，實(shí)際上未來會(huì)有非常巨大的市場。大家可能不見得知道，全世界有6000種語言，一個(gè)人不可能都學(xué)會(huì)，學(xué)兩種語言已經(jīng)很了不起了，講三種語言講得很好的人，這個(gè)世界上幾乎沒有。

問：目前來說，做哪些事情可以吸引更多的海外人才回歸？

沈向洋：我覺得海外人才回歸是大趨勢，很多人現(xiàn)在都回來了，不光是剛剛念完書的人，也有工作了很多年的人回來，包括我的很多同事都看到國內(nèi)有非常多的機(jī)會(huì)，例如BAT。除了BAT，其他一些新的AI創(chuàng)業(yè)公司也有很多這樣的海歸人才。我覺得這非常正常，今天已經(jīng)沒有地區(qū)性人才這個(gè)概念了，人才都是全局性的人才，你有能力去哪里都一樣。舉個(gè)例子，RestNet的研究員賀凱明從微軟去了美國Facebook，他最近得了獎(jiǎng)，我們都覺得非常自豪，我們培養(yǎng)出了這樣的人才，這樣之后中國就損失了一個(gè)人才嗎？我覺得也不必要這樣看，可能我們從Facebook、微軟和其他地方拉回中國的人會(huì)更多。

政府方面的話，這一年，政府和高校、研究機(jī)構(gòu)從“”開始，做了很多事情，我的教授朋友基本上跟國內(nèi)的合作都做得非常好，例如今天演講的丘成桐院士的數(shù)學(xué)研究中心，也是一批非常優(yōu)秀的中心。

雷鋒網(wǎng) AI科技評論編輯整理。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。