「LSTM之父」 Jürgen Schmidhuber訪談：暢想人類和AI共處的世界 | WAIC 2019

雷鋒網(wǎng) AI 科技評(píng)論按：2019 年 8 月 29 日，世界人工智能大會(huì) WAIC 2019 在上海世博中心舉行。瑞士 USI 和 SUPSI 教授，NNAISENSE 聯(lián)合創(chuàng)始人兼首席科學(xué)家，「LSTM 網(wǎng)絡(luò)之父」 Jürgen Schmidhuber 也受邀出席大會(huì)。

8月30日，雷鋒網(wǎng) AI 科技評(píng)論和多家社會(huì)媒體一同對(duì) Schmidhuber 教授（圖中右側(cè)）進(jìn)行了采訪，松鼠 AI 首席架構(gòu)師 Richard Tong（圖中左側(cè)）在現(xiàn)場(chǎng)幫忙翻譯。雖然這次采訪中來(lái)自社會(huì)媒體提出的許多問(wèn)題不那么「技術(shù)」，但是 Richard Tong 介紹道 Schmidhuber 不僅是計(jì)算機(jī)科學(xué)家，更是一位哲學(xué)家，在這些問(wèn)題的回答中我們確實(shí)看到了 Schmidhuber 對(duì)事理和人類社會(huì)的哲學(xué)思考，甚至有「我們可以像理解人一樣理解 AI」的味道。Schmidhuber 教授的語(yǔ)言風(fēng)格也溫文爾雅，不疾不徐，娓娓道來(lái)。

提問(wèn)：有人把 LSTM 網(wǎng)絡(luò)稱作「機(jī)器學(xué)習(xí)界的 AK-47」，因?yàn)樗?jiǎn)單，而且可以用于很多不同的任務(wù)。您知道這個(gè)說(shuō)法嗎？如今，BERT 以及基于 BERT 的模型也被用在很多任務(wù)中，仿佛要成為新一代的「AK-47」。您覺(jué)得這是一個(gè)好的趨勢(shì)嗎？

Schmidhuber：Transformer 和 BERT 模型能在一些任務(wù)中帶來(lái)非常好的表現(xiàn)，比如某些翻譯任務(wù)。但是如果你看看全局，比如看看語(yǔ)音識(shí)別領(lǐng)域里發(fā)生的事情的話，目前最新的，2019 年的谷歌語(yǔ)音識(shí)別系統(tǒng)仍然是基于 LSTM 的。曾經(jīng)這些系統(tǒng)需要在服務(wù)器上運(yùn)行，你需要有網(wǎng)絡(luò)連接才能使用，現(xiàn)在電腦變得越來(lái)越便宜，這樣的系統(tǒng)也已經(jīng)可以直接在手機(jī)上運(yùn)行。再比如 DeepMind 的 AlphaStar，這個(gè)玩星際爭(zhēng)霸的 AI，它的核心是一個(gè)深度 LSTM 模型；OpenAI 的 DOTA2 AI 也把深度 LSTM 模型作為核心。如果你想要構(gòu)建一個(gè)有通用能力的 AI，你就會(huì)需要類似循環(huán)神經(jīng)網(wǎng)絡(luò)、LSTM 這樣的網(wǎng)絡(luò)結(jié)構(gòu)；Transformer 模型還不夠好。工業(yè)界的實(shí)踐還是以 LSTM 為主。

提問(wèn)：很多人擔(dān)心隨著機(jī)器人變得越來(lái)越先進(jìn)，他們的工作會(huì)被機(jī)器人取代。李開(kāi)復(fù)曾經(jīng)說(shuō)人類要更多地做善解人意和富有同情心的工作，以及未來(lái)我們也要?jiǎng)?chuàng)造更多這樣的工作，讓人們有工作可做。您認(rèn)可他的說(shuō)法嗎？您的觀點(diǎn)如何？

Schmidhuber：幾十年以前，當(dāng)工業(yè)機(jī)器人剛剛出現(xiàn)的時(shí)候，就有人說(shuō)機(jī)器人會(huì)把所有人類的工作都代替了。結(jié)果后來(lái)呢，在那些大量使用機(jī)器人的國(guó)家，曾經(jīng)有數(shù)百名人類工人的汽車流水線如今使用數(shù)百臺(tái)工業(yè)機(jī)器人，然后只有幾個(gè)人看著這些機(jī)器人。然而這些有很多機(jī)器人的國(guó)家有更多的資本，有很低的失業(yè)率，因?yàn)槌霈F(xiàn)了很多當(dāng)時(shí)的人們預(yù)計(jì)不到的新職業(yè)。三十年前，沒(méi)有人想得到現(xiàn)在可以做視頻博主掙錢，諸如此類。人們喜歡玩樂(lè)，不喜歡沒(méi)有工作，所以人類一直在創(chuàng)造新的工作。這些新的工作往往需要人和人之間的互動(dòng)，像記者、視頻博主等等。我猜測(cè)，隨著 AI 在中國(guó)以及全球得到更多的使用，工作的數(shù)量只會(huì)增加，而不會(huì)減少，失業(yè)率也會(huì)大致保持不變。因?yàn)樾碌墓ぷ鲿?huì)出現(xiàn)。

提問(wèn)：您在 2018 年提出了 World Model 的概念，可以多跟大家解釋一下嗎？

Schmidhuber：這個(gè)想法我在1990年就有了。它里面首先有一個(gè) RNN 模型，可以接收視覺(jué)、聲音、文本和傳感器輸入，然后它可以產(chǎn)生動(dòng)作，比如動(dòng)一動(dòng)機(jī)器人的手指、眼睛。這樣它就是一個(gè)控制器，把輸入的信號(hào)轉(zhuǎn)換成動(dòng)作輸出。除此之外它還有一個(gè)進(jìn)行預(yù)測(cè)的網(wǎng)絡(luò)，它能觀察到控制器的動(dòng)作、能觀察到世界的輸入，然后預(yù)測(cè)控制器的動(dòng)作會(huì)對(duì)外面的環(huán)境造成什么樣的改變。也就是說(shuō)它學(xué)習(xí)判斷動(dòng)作的結(jié)果。

所以它也就能夠?qū)W習(xí)對(duì)這個(gè)世界建模，比如學(xué)習(xí)到蘋果會(huì)掉到地下，學(xué)習(xí)到蘋果掉下的時(shí)候有什么樣的加速度。在學(xué)習(xí)到蘋果的運(yùn)動(dòng)規(guī)律的同時(shí)，也就學(xué)到了重力的法則。

在這樣的 World Model 設(shè)計(jì)中，預(yù)測(cè)模型會(huì)幫助控制器變得更好，控制器也可以在執(zhí)行動(dòng)作之前先借助預(yù)測(cè)模型進(jìn)行提前規(guī)劃，選擇能得到最高回報(bào)的動(dòng)作；執(zhí)行一系列預(yù)計(jì)會(huì)有很高回報(bào)的動(dòng)作，然后得到這一系列預(yù)計(jì)到的高回報(bào)。最終，控制器就可以做整個(gè)模型認(rèn)為「好」的事情。其實(shí)我們自己就是這樣的，正在學(xué)習(xí)這個(gè)世界的小孩更是這樣的。

這個(gè)概念是1990年提出的，控制器模型和預(yù)測(cè)模型就像人的左腦右腦一樣相互配合、相互促進(jìn)改進(jìn)。這個(gè)概念不僅是一個(gè)有長(zhǎng)遠(yuǎn)影響的通用框架，在實(shí)際應(yīng)用中也有好的效果。

提問(wèn)：為什么現(xiàn)在人們沒(méi)有普遍在手機(jī)上使用語(yǔ)音識(shí)別技術(shù)？IoT 設(shè)備上會(huì)有更大的使用空間嗎？

Schmidhuber：實(shí)際上，在谷歌搜索接收到的所有搜索請(qǐng)求里，有 1/3 都是由 LSTM 網(wǎng)絡(luò)處理的語(yǔ)音查詢輸入。對(duì)于中國(guó)人沒(méi)有普遍使用它的原因，據(jù)我所知，中國(guó)人沒(méi)有那么擔(dān)心隱私，美國(guó)人有一點(diǎn)擔(dān)心，歐洲人則非常擔(dān)心。所以歐洲人不使用語(yǔ)音識(shí)別的原因是他們知道大公司會(huì)把所有東西都存儲(chǔ)下來(lái)，然后把這些語(yǔ)音作為改進(jìn)語(yǔ)音識(shí)別系統(tǒng)的訓(xùn)練樣本。比如有的人講話有口音，但是當(dāng)前的 LSTM 網(wǎng)絡(luò)沒(méi)有在足夠多的帶口音的樣本上訓(xùn)練，語(yǔ)音識(shí)別的效果不好，那么企業(yè)就會(huì)把這些語(yǔ)音記錄下來(lái)，研究正確的識(shí)別結(jié)果應(yīng)該是什么樣的，并讓 LSTM 學(xué)習(xí)。因?yàn)槿藗冎纴嗰R遜之類的大公司會(huì)做這樣的事情、會(huì)存儲(chǔ)語(yǔ)音，所以他們會(huì)擔(dān)心、會(huì)猶豫。我自己就不使用谷歌的語(yǔ)音識(shí)別，即便它就是基于 LSTM 的；不過(guò)使用它的人也有很多。我覺(jué)得關(guān)鍵在于，你能不能接受企業(yè)用你的數(shù)據(jù)來(lái)改進(jìn)模型的這件事。有一些地方的人對(duì)隱私是比較在意的，我覺(jué)得中國(guó)的一大優(yōu)勢(shì)就是這里的人沒(méi)有那么在意隱私。

就技術(shù)本身而言，之前的很長(zhǎng)一段時(shí)間里語(yǔ)音識(shí)別的效果一直都不好，大的變化發(fā)生在 2015 年。那年谷歌切換到了基于 LSTM 的語(yǔ)音識(shí)別系統(tǒng)，然后語(yǔ)音搜索就很快增加到了所有搜索的大概 1/3。Siri 最初使用的也不是 LSTM，后來(lái)切換到 LSTM 的時(shí)候也遇到了訓(xùn)練數(shù)據(jù)不足的問(wèn)題。但現(xiàn)在所有人都在用 LSTM了。以及還有一個(gè)因素是訓(xùn)練數(shù)據(jù)有多少。

我想問(wèn)大家一個(gè)問(wèn)題，Alexa、Echo 之類的設(shè)備很流行，中國(guó)有類似的嗎？

現(xiàn)場(chǎng)記者七嘴八舌地：小米、百度、天貓

Schmidhuber：它們好用嗎？

記者們：我們只用來(lái)問(wèn)問(wèn)天氣、放音樂(lè)，更多的時(shí)候是直接關(guān)掉的。我們還是擔(dān)心它們一直偷聽(tīng)我們的對(duì)話，比如聊天聊到某個(gè)商品，緊接著就會(huì)在購(gòu)物網(wǎng)站的廣告里看到）

Schmidhuber：有時(shí)候是這樣的，有些用戶協(xié)議里就會(huì)允許這樣的事情。所以技術(shù)有好的一面也有壞的一面，就像火，可以保暖、可以烹飪食物，也可以燒死別人；甚至有一點(diǎn)和 AI 一樣，如果人類不做什么干預(yù)的話就會(huì)廣泛傳播開(kāi)來(lái)。不過(guò)，人們發(fā)現(xiàn)火帶來(lái)的好處要比麻煩多多了，所以人們一直在提升改進(jìn)使用火的技術(shù)。這樣人類才一直走到了今天。

提問(wèn)：現(xiàn)在的人工智能有意識(shí)了嗎？和人類的意識(shí)相同嗎？

Schmidhuber：剛才說(shuō)到的 World Model 里的預(yù)測(cè)模型，它只能根據(jù)過(guò)去的信息、動(dòng)作和它的觀察進(jìn)行預(yù)測(cè)，但是只要你可以預(yù)測(cè)，就可以看做作是已經(jīng)了解它了，就沒(méi)有必要存儲(chǔ)更多的關(guān)于它的信息了。你只需要存儲(chǔ)超出意料之外的事情。

而所有這些預(yù)測(cè)，它們的本質(zhì)都是壓縮。只要你可以預(yù)測(cè)一個(gè)數(shù)據(jù)，你就可以壓縮這個(gè)數(shù)據(jù)。是怎么壓縮的呢？在 RNN 網(wǎng)絡(luò)里有一些小的結(jié)構(gòu)，它們可以存儲(chǔ)環(huán)境里頻繁出現(xiàn)的東西。比如你的環(huán)境里經(jīng)常會(huì)出現(xiàn)很多人臉，那么從數(shù)據(jù)壓縮的角度來(lái)看，一種很高效的記錄方法就是先有一個(gè)人臉的樣板，然后記錄不同的人臉和這個(gè)樣板的不同在哪里。這種過(guò)程在 RNN 里持續(xù)地進(jìn)行著，世界中的各種物體，云彩、房子、窗戶、手機(jī)都有相似且反復(fù)出現(xiàn)的結(jié)構(gòu)，RNN 都可以對(duì)它們進(jìn)行編碼，也就是進(jìn)行壓縮。

不過(guò)有一點(diǎn)，在這個(gè)智能體的整個(gè)活動(dòng)周期中，由于它和環(huán)境進(jìn)行互動(dòng)、它也是整個(gè)環(huán)境的一部分，所以預(yù)測(cè)模型的學(xué)習(xí)會(huì)有一個(gè)副產(chǎn)品，就是在它的網(wǎng)絡(luò)中會(huì)有一個(gè)子網(wǎng)絡(luò)用來(lái)表示它自己，比如存儲(chǔ)智能體常做的事情，就能讓預(yù)測(cè)模型更好地預(yù)測(cè)、更好地壓縮數(shù)據(jù)。這樣你就全自動(dòng)地在模型網(wǎng)絡(luò)內(nèi)得到了一個(gè)有自我符號(hào)的、能自我表示的子網(wǎng)絡(luò)。剛才我說(shuō)控制器可以用預(yù)測(cè)模型做未來(lái)的規(guī)劃、得到更高的回報(bào)。在這個(gè)過(guò)程中，都可以激發(fā)網(wǎng)絡(luò)內(nèi)表示它自己的子網(wǎng)絡(luò)，來(lái)考慮自己。從這個(gè)角度，可以說(shuō)它有一定的「意識(shí)」。只不過(guò)，這種人造的意識(shí)要比人類的意識(shí)簡(jiǎn)單很多。如今最大的人造網(wǎng)絡(luò)有十億數(shù)量級(jí)的參數(shù)，但人類大腦中神經(jīng)元之間的連接是千萬(wàn)億數(shù)量級(jí)的，要比目前最大的 LSTM 的參數(shù)還要多一百萬(wàn)倍。不過(guò)，電腦的價(jià)格在快速下降，性能在快速提升，也許再過(guò)幾年、十幾年我們就會(huì)有可以和人類大腦比擬的LSTM網(wǎng)絡(luò)，能在手機(jī)這么大的設(shè)備上運(yùn)行，而且還會(huì)比現(xiàn)在的網(wǎng)絡(luò)更快。

提問(wèn)：既然人工智能已經(jīng)有意識(shí)了，那么它們未來(lái)會(huì)有自我價(jià)值（ego）嗎？

Schmidhuber：它們會(huì)有，而且現(xiàn)在就有。比如我們讓機(jī)器人學(xué)習(xí)的時(shí)候，我們會(huì)給它安裝痛覺(jué)傳感器，因?yàn)槲覀兿Ｍ靼姿龅哪男┦虑槭菚?huì)傷害自己的，比如遇到障礙的時(shí)候不要猛地撞上去、不要把手放在熱灶臺(tái)上等等，那么只有當(dāng)機(jī)器人有痛覺(jué)傳感器的時(shí)候它才能學(xué)到這些。讓機(jī)器人學(xué)習(xí)的目標(biāo)就可以是減小所有痛覺(jué)傳感器接受到的痛覺(jué)信號(hào)的總和，以及最大化所有愉悅信號(hào)的總和；愉悅信號(hào)哪里來(lái)呢，可以來(lái)自于電量低的時(shí)候在充電站充電。也許就像人一樣，人一天要吃三頓飯，機(jī)器人可以一天充三次電（現(xiàn)場(chǎng)記者笑）。沒(méi)有痛覺(jué)的機(jī)器人很難學(xué)習(xí)到什么事情對(duì)它們是不好的，就像人類小孩的痛覺(jué)感受可以幫他們更好地學(xué)習(xí)。

從純粹工程的角度講，我們給機(jī)器人自我意識(shí)也是有好處的，讓它能躲避疼痛的事、做更多愉快的事。通過(guò)足夠多的訓(xùn)練，機(jī)器人就能學(xué)會(huì)如何在環(huán)境里行動(dòng)，學(xué)會(huì)躲開(kāi)障礙物、找到充電站充電。再比如，如果有個(gè)人每次見(jiàn)到機(jī)器人都會(huì)打機(jī)器人一拳，那么許多次以后，由于機(jī)器人要躲避疼痛的事情，它也許就會(huì)學(xué)會(huì)用人臉識(shí)別辨認(rèn)這個(gè)人，當(dāng)他來(lái)以后就躲在窗簾后面。這在別人看來(lái)就仿佛機(jī)器人在害怕，好像是有了自我意識(shí)。所以，為了讓機(jī)器人學(xué)習(xí)，可以說(shuō)我們一開(kāi)始就設(shè)計(jì)了自我價(jià)值。

提問(wèn)：那么機(jī)器人的道德呢？它們會(huì)遇到道德困境嗎？

Schmidhuber：我們平時(shí)討論的人類會(huì)遇到的道德困境，機(jī)器人也會(huì)遇到。道德行為來(lái)自哪里呢？當(dāng)許多個(gè)個(gè)體，許多人或者許多機(jī)器人組成社會(huì)的時(shí)候，他們各自都有躲避疼痛、追求愉悅的目標(biāo)。然后他們發(fā)現(xiàn)，在許多情況下，互相幫助能讓他們都更好地達(dá)到各自的目標(biāo)。自我意識(shí)可以自然地帶來(lái)利他行為，這就是社會(huì)中道德的來(lái)源。如果有一個(gè)社會(huì)，其中的個(gè)體最好都遵守一些規(guī)則，比如不可以傷害別人；宗教也有類似的作用，通過(guò)對(duì)其中的個(gè)人的行為增加一些限制，這些個(gè)體可以受益，整個(gè)群體也可以受益。這樣的規(guī)律適用于人類，也同樣適用于機(jī)器人。

提問(wèn)：機(jī)器人會(huì)有個(gè)性嗎？他們的個(gè)性來(lái)自哪里？

Schmidhuber：機(jī)器人的個(gè)性來(lái)自訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)不同，個(gè)性就不同。就像如果一個(gè)人在貧困、混亂的地方長(zhǎng)大，那么他的性格和追求就會(huì)和富足的家庭里長(zhǎng)大的小孩完全不同。對(duì)機(jī)器人來(lái)說(shuō)，在不同的訓(xùn)練數(shù)據(jù)上最小化疼痛、最大化愉悅得到的策略也是不一樣的。所以，不管對(duì)人類還是對(duì)于機(jī)器人來(lái)說(shuō)，他們的性格發(fā)展都受到環(huán)境的很大影響。如果一個(gè)機(jī)器人殺人以后你會(huì)給它獎(jiǎng)勵(lì)，那它就會(huì)學(xué)會(huì)變成一個(gè)壞的機(jī)器人；如果它救人以后你給它獎(jiǎng)勵(lì)，它就會(huì)學(xué)會(huì)做一個(gè)很好的機(jī)器人；就像養(yǎng)小孩一樣。未來(lái)的編程也會(huì)更像教小孩一樣，讓機(jī)器人學(xué)習(xí)，而不是直接執(zhí)行人類設(shè)計(jì)好的規(guī)則。

提問(wèn)：富人和窮人擁有的資源不一樣，那他們擁有的 AI 也會(huì)不同，這會(huì)不會(huì)增大社會(huì)差距？

Schmidhuber：我覺(jué)得最重要的是，AI 會(huì)讓大家的生活變得更好。未來(lái)也許每個(gè)人都有很多 AI，可以用AI幫他們做各種各樣的事情，就像今天每個(gè)人都有智能手機(jī)一樣。我講個(gè)趣事，40年以前我曾經(jīng)遇到一個(gè)人，他開(kāi)一輛保時(shí)捷，而且車?yán)镉幸徊渴謾C(jī)；這可是40年前，手機(jī)很罕見(jiàn)，只有很富的人才買得起。但今天手機(jī)很便宜了，今天很窮的人買到的手機(jī)都會(huì)比當(dāng)年那個(gè)人的手機(jī)更好。AI 也是一樣的，也會(huì)變得更便宜，讓窮的人也收益。

提問(wèn)：相比于 AI 為日常生活帶來(lái)好處，我看到更多的是人們沉迷于 AI 娛樂(lè)，年輕人經(jīng)常連續(xù)刷抖音或者社交平臺(tái)好幾個(gè)小時(shí)，因?yàn)?AI 會(huì)一直推薦他們感興趣的內(nèi)容，讓他們停不下來(lái)。

Schmidhuber：這些確實(shí)不是好事，就像沉迷玩游戲也不是好事。但小孩是有父母的，父母要幫助管理自己的小孩，防止他們沉迷于電腦游戲、社交網(wǎng)絡(luò)、毒品等等。不過(guò)長(zhǎng)期來(lái)看，很多人都會(huì)從AI受益，或者已經(jīng)從AI受益了。2012年的時(shí)候AI就可以幫助診斷乳腺癌風(fēng)險(xiǎn)，到今天，AI的成本又降低了許多，更窮的地方可以用上AI，或者用一樣的成本可以做更多的醫(yī)療，這對(duì)整個(gè)醫(yī)療體系都是革命性的幫助，大家都會(huì)從中受益。

雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。