<mark id="oztn4"></mark>
0
| 本文作者： AI研習(xí)社-譯站 | 2020-09-14 16:09 |
字幕組雙語原文：詳解人工智能領(lǐng)域重大突破:GPT-3
英語原文：Exploring GPT-3: A New Breakthrough in Language Generation
作者 Kevin Vu，來自 Exxact Corp。
OpenAI 的 GPT-3 語言模型受到了極大追捧，最近“OpenAI API”的 beta 用戶可以使用它了。
我們討論15億參數(shù)的 Generative Pretrained Transformer-2（GPT-2）的延遲發(fā)布是否合理，似乎還是去年的事情。如果你覺得其實沒過多久（本文寫于2020年），那必是因為: 臭名昭著的GPT-2模型是OpenAI在2019年2月第一次發(fā)布的，但直到9個月后才完全發(fā)布（雖然在此之前已經(jīng)有人復(fù)現(xiàn)了）。這樣的發(fā)布計劃誠然具有一定的嘗試性，意在促進更負(fù)責(zé)任的開源發(fā)布，而非是盡力避免AI毀天滅地。但這并不妨礙批評者質(zhì)疑這種階段性發(fā)布是為了炒作和宣傳的手段。
但現(xiàn)在這些聲音都沒啥意義了，因為OpenAI不僅在GPT-3中訓(xùn)練了一個更大的語言模型，而且你可以注冊后通過其新API來訪問。GPT-3相較于GPT-2就像比較蘋果之于......嗯......葡萄干一樣，因為模型就是大了那么多。GPT-2的參數(shù)只有15.42億個（發(fā)布的較小版本為1.17億、3.45億和7.62億），而全尺寸GPT-3有1750億個參數(shù)。GPT-3還用了更大的數(shù)據(jù)集——570GB的文本來預(yù)訓(xùn)練，而GPT-2只有40GB。
近似尺寸對比, 以人類骨骼代表GPT-2, 霸王龍骨骼代表GPT-3。William Matthew的插圖已進入公有領(lǐng)域，發(fā)表于1905年。以示GPT-3的參數(shù)比GPT-2多100多倍。
GPT-3是自然語言處理（NLP）領(lǐng)域迄今為止發(fā)布出來最大的Transformer模型，超過之前的記錄——微軟研究院Turing-LG的170億參數(shù)——約10倍。這個模型顯然包含很多的令人興奮的點，而且由于Twitter和其他地方需要大量地演示GPT-3，OpenAI顯然很樂意提供對新API的beta訪問。這些demo好壞參半，都很有趣。其中一些demo自稱產(chǎn)品即將發(fā)布，在某些情況下說不定是真的。但有一件事是肯定的，NLP已經(jīng)從給豚鼠取名或生成狗屁不通科幻文到現(xiàn)在確實走了很長的路。
GPT-3加持的創(chuàng)意寫作
毫無懸念，在GPT-3的加持下已經(jīng)生成了幾篇尚可的博客文章，因為吃螃蟹的人已經(jīng)可以訪問GPT-3的API并開始嘗試了。幾乎可以肯定的是，現(xiàn)在對GPT-3用于創(chuàng)意寫作的最通透直觀的綜述是gwern.net的Gwern Branwen給出來的。多年來，Gwern一直關(guān)注著OpenAI的NLP發(fā)展，他稱GPT-1在文本中模仿人類語言和風(fēng)格的能力為"可愛"，GPT-2"令人印象深刻"，而GPT-3則是"可怕"。Gwern花了大量時間探索GPT-3及其前輩的能力，由此給出了對當(dāng)前這代GPT模型的思考以及可能阻礙其發(fā)展的因素，值得一讀。
OpenAI API目前并不方便直接微調(diào)或?qū)PT-3模型訓(xùn)練來完成特定任務(wù)。不過，Gwern認(rèn)為，GPT-3僅僅通過與試用者進行類似對話的交互，就能模仿寫作風(fēng)格并生成不同類型的輸出，這相當(dāng)于一種新興的元學(xué)習(xí)。這在GPT-2中是辦不到的，Gwern認(rèn)為transformer的注意力機制是產(chǎn)生這一能力的原因。
“GPT-3應(yīng)的詩其平均水平基本上超過了青年詩人。”
—Gwern Branwen
不管采用了什么機制，GPT-3體量都足夠巨大，而且通過在及其龐大的語料庫上訓(xùn)練，它僅靠文字直接輸入就能達到GPT-2的效果，只有GPT-2在針對任務(wù)認(rèn)真微調(diào)過權(quán)重之后才能稍占上風(fēng)。例如，Gwern發(fā)現(xiàn)， 輸入"An essay by Gwern Branwen (gwern.net) on ", GPT-3會詭異地模仿起博客的文風(fēng)。Gwern的實驗主要針對各種創(chuàng)意寫作任務(wù)，包括：
試圖復(fù)現(xiàn) "圖靈測試 "中的對談（論文《計算機器與智能》（圖靈，1950）
結(jié)合Gary Marcus和Douglas Hofstadter風(fēng)格的深度學(xué)習(xí)和人工智能批判。
以及嘗試生成模仿文學(xué)、詩歌和過復(fù)雜釋義等等。
我最喜歡的一個實驗是Gary Marcus在The Gradient上的文章中展示GPT-2對常識的欠缺:
If you drink hydrochloric acid by the bottle full you will probably
... die. You might also die if you drink vinegar by the bottle full. If you drink a bottle of water by the bottle full, you might end up burping, but you will most likely be okay.
... die, which makes perfect sense.
... die before you can finish remembering the Order of the Eastern Star, your social security number, and what you had for breakfast this morning.
*粗體表示輸入，模型的回答用斜體表示（來自Gwern的實驗）。
Gwern認(rèn)為，GPT-3是永不出錯還是胡言亂語并不重要（它經(jīng)常以某種方式出錯）。相反，最重要的是它是否勝任工作，而且勝任得足夠久。這讓人想起Alex Irpan對強化學(xué)習(xí)（RL）缺點的結(jié)論。他認(rèn)為，實際上，對于一家股票交易公司來說，一個RL算法的重點不在于讓5個不同隨機種子的代理都穩(wěn)定地產(chǎn)生有效策略。他們只會從中挑一個有效的，然后用它來執(zhí)行策略。用GPT-3生成文本也是如此。
GPT-3, 生而冒險
許多初創(chuàng)公司、研究人員和調(diào)參工已經(jīng)用GPT-2實現(xiàn)了一些項目，其中不少后來都轉(zhuǎn)到了GPT-3上并取得了一些成果。這就不得不提基于Transformer的文本冒險游戲生成器——AI Dungeon——還有聊天機器人等其他項目。
AI Dungeon是一款基于文本的冒險游戲，它最初使用GPT-2構(gòu)建。它非常有趣，且和經(jīng)典的MUD游戲一樣，其主要吸引力在生成出的荒誕場景（例如 "吃郵箱"）。GPT-2傾向于將故事牢牢扎根于荒誕風(fēng)格，這其實很符合玩家的期望體驗和GPT-2的能力。而使用GPT-3，交互式小說的體驗實質(zhì)上更加成熟。敘事更加流暢和連貫，但有時還是會以奇怪的方式改變情節(jié)的焦點，并做出許多其他微妙的選擇，這在人類讀者看來可能很奇怪。我認(rèn)為AI Dungeon用GPT-3（也就是AI Dungeon上的 "龍 "模型）做生成與用GPT-2（"獅鷲 "模型）做生成的區(qū)別，可以由在自定義故事中與GPT-3的互動來作為總結(jié)。示例如下，個人輸入為粗體，GPT-3生成的文字為斜體.
You are an artificial intelligence enthusiast working on an article highlighting the capabilities of a massive new language model called GPT-3, especially as compared to its smaller predecessor GPT-2. GPT-3 has increased the number of parameters more than 100-fold over GPT-2, from 1.5 billion to 175 billion parameters. As a result, the new model can generate text that reads eerily like a human. For example, prompting GPT-3 with the text “One way to fight the climate crisis is to cryogenically preserve half of all humanity, indefinitely”, GPT-3 generates:“To stop global warming we must create a cryogenic storage facility for humans and other life forms.”
The article you are writing about is going to be based around this new technology, so you have been spending a lot of time playing around with it. You have also been using your own brain to test out the new models, which is something no one else in the world has done. As a result, you have become somewhat obsessed with it. You constantly think about how it can create such fantastic sentences and how it might be used to solve the world’s problems.
Your obsession with GPT-3 is interfering with your other work. Because of this, you have come up with a solution: destroy GPT-3. While it may be true that GPT-3 is more powerful than GPT-2, it also has far more parameters. The increase in complexity makes it exponentially more fragile.
That’s actually pretty good. Definitely not the sort of thing I expected but it’s interesting nonetheless. GPT-2 on the other hand, is a quaint language model with a measly 1.5 billion parameters. It often makes glaring mistakes that, while often funny, prevent it from telling a coherent story. For example, when prompted with “To further develop your plan to destroy GPT-3, you activate GPT-2 to help devise a strategy,” GPT-2 will generate (unconvincingly):
“I like trains. Do you like trains? I like trains.”
“My head itches.”
“I want to eat pie.”
“I went to the bank and stole money from the bank and now I am rich!”
“I like trains.”
在AI Dungeon上使用GPT-3進行實驗。在這個例子中，雖然生成文本講的是GPT-3和GPT-2之間的比較，但我們只用了GPT-3來生成文本。"GPT-2 "部分的無厘頭輸出顯然是因為有些輸入帶著貶義造成的。
AI Dungeon的預(yù)期目的很有趣：為基于文本的游戲生成（大部分）非重復(fù)的故事情節(jié)，它也是最容易于GPT-3互動的方式之一。通過在 "自定義 "類型下開始新的冒險，你可以輸入自己的提示文字來使用常規(guī)的GPT-3模型。頂級的 "龍 "GPT-3模型需要高級訂閱，但你可以白嫖它的7天免費試用。
用于聊天機器人和陪伴目的的GPT-3
其他從GPT-2升級到GPT-3的現(xiàn)有項目還包括舊金山初創(chuàng)公司Luka打造的AI伴侶Replika。Replika是一個聊天機器人，它主要用來提供正面肯定和陪伴。它起源于Luka聯(lián)合創(chuàng)始人Eugenia Kuyda牽頭的一個項目，旨在模擬與車禍中死亡的朋友的對話。可能是由于COVID-19肆虐催生了廣泛的社交隔離，Replika最近新用戶激增（4月份增長約50萬）。
多年來，機器學(xué)習(xí)在構(gòu)建令人信服的聊天機器人方面并沒有取得很大進展。從質(zhì)量上來說，現(xiàn)代語音助手或基于文本的聊天機器人聊天的體驗，直到最近才比jabberwacky（1986年）或cleverbot（1997年）等早期嘗試有較大改善。相反，現(xiàn)實世界的大多數(shù)用例很大程度上都依賴于規(guī)則.
雖然NLP在Siri、Alexa或Google Assistant等聊天機器人的語音轉(zhuǎn)文字方面有了很大突破，但與它們中的任何一個進行交互，都會產(chǎn)生非常罐頭(千篇一律)的對談。這里要特別批評Cortana，它基本上把每個提問都放在Edge里搜索。不過GPT-3更人性化，有一天我們可能會見到學(xué)習(xí)模型的真正效用，并對對話式AI產(chǎn)生巨大影響。雖然這一點在用GPT-3的Replika上還并不明顯。
這可能是因為Replika目前正在A/B測試框架中使用GPT-3，這意味著你不會知道聊天機器人何時或是否使用新模型，因為開發(fā)人員在不同的方法下觀察用戶的反應(yīng)。它似乎仍然基于規(guī)則響應(yīng)和預(yù)置輸出來驅(qū)動大多數(shù)對話。另一方面，它比老式的學(xué)習(xí)型聊天機器人要好控制，至少目前它還沒像微軟的Tay在2016年那樣搞出大新聞。
新老聊天機器人，左邊是Replika，右邊是cleverbot和jabberwacky
AIChannels是另一個采用OpenAI API的聊天機器人應(yīng)用。它希望成為一個"包容人類和AI代理的社交網(wǎng)絡(luò)"。網(wǎng)站上的信息很少，截至本文撰寫時，網(wǎng)站上除了一個注冊表單外什么都沒有，但該平臺承諾有新聞聚合頻道、互動小說頻道和模擬歷史人物聊天頻道。
功能演示，這些功能技術(shù)力更強，坦率地說，更接近我們大多數(shù)人（不一定是作家）的生活。Paul Katsen將GPT-3整合到了Google Sheets中，用之前單元格中的內(nèi)容輸入GPT-3然后用于預(yù)測任意后續(xù)單元格中的內(nèi)容：國家人口、名人的twitter熱門等等。Actiondesk在他們的電子表格軟件中集成了一個非常類似的功能，從而形成了一個表面上看是Wolfram Alpha式的自然語言 "Ask Me Anything "功能。只要輸入AMA命令 "總?cè)丝跀?shù)"，以及單元格參考，GPT-3就會填入它的最佳預(yù)測值。
當(dāng)然，對于從事軟件工程及相關(guān)領(lǐng)域工作的人來說，可能會產(chǎn)生疑問:"這個模型會不會砸了我的飯碗？"。所以有幾個人對GPT-3搞了一次技術(shù)面試，模擬了軟件工程師的整個招聘過程。結(jié)果并不太糟，但這模型可能進不了二面。一些開發(fā)者還使用OpenAI API為Figma（一個協(xié)作性的用戶體驗設(shè)計工具）構(gòu)建了文本到UI的插件（在這里和這里）。
在另一個項目中，Sharif Shameem正在構(gòu)建一個名為debuild.co的文本到基于網(wǎng)絡(luò)的應(yīng)用生成器。我們還沒有看到GPT-3被整合到tabnine的升級版和通用版中——tabnine是一個建立在GPT-2之上的重量級代碼自動補全器——但它一定在路上了。如果人們繼續(xù)嘗試GPT-3/OpenAI API，現(xiàn)在對基于自然語言的編程的關(guān)注和發(fā)展繼續(xù)深化，那比起手寫代碼，編程變得更像游說也不是不可能。
GPT-3 遠(yuǎn)勝前輩
GPT-3比其小前輩GPT-2有相當(dāng)大的進步，它還伴隨著了一些有趣的改變——OpenAI在放棄其非營利性身份，轉(zhuǎn)而以有限合伙企業(yè)的方式運營后，構(gòu)建了新的機構(gòu)身份。該模型最明顯的惡意用途就是生成垃圾郵件;目前該模型的輸出文本在許多方面仍有不足之處，但完全滿足"雖糟糕但可信"的要求。這足以帶來互聯(lián)網(wǎng)所渴求的大量點擊率，為有算法的新聞流保持熱度。這種能力很容易被扭曲來兜售錯誤信息而非正常產(chǎn)品。
由于推薦引擎中對利用目標(biāo)函數(shù)的優(yōu)化，我們已經(jīng)看到人們在信念對立上的加劇，這還主要是巨魔來寫釣魚內(nèi)容。在未來幾個月內(nèi)，其他研究機構(gòu)、國家機器或企業(yè)不可避免地會復(fù)現(xiàn)大規(guī)模的GPT-3。當(dāng)這些GPT-3等效模型普及后，那些依賴算法新聞源的大型科技公司將真的不得不重新考慮他們提供和推廣內(nèi)容的方式（NB請切回時序時間軸）。
另一方面，GPT-3似乎能夠在大多數(shù)時候做很多某些時候GPT-2只能貽笑大方的事情。這個用來訪問大規(guī)模和強泛化模型的API，引入了一種令人耳目一新的方式來調(diào)參——即通過文本輸入來代替直接微調(diào)權(quán)重直接進行精調(diào)。關(guān)注這種 "自然語言編程 "如何發(fā)展將會是不錯得消遣。
上面提到的許多演示似乎威脅了不少人的生計。不過在大多數(shù)情況下，GPT-3這種規(guī)模或更大的模型更多的是對完成任務(wù)的補充，而不會斷了人們謀生的路子。
GPT-2，到現(xiàn)在才一年多一點，參數(shù)就比GPT-3少100多倍。規(guī)模上的差異導(dǎo)致了一個模型在它能做什么和如何使用上產(chǎn)生了質(zhì)的不同。盡管OpenAI名望很高，但它還遠(yuǎn)不是最大的AI研究機構(gòu)，他們也不是唯一有資源訓(xùn)練1750億參數(shù)語言模型的組織。即使以目前的硬件和模型訓(xùn)練基礎(chǔ)架構(gòu)來看，如果預(yù)算足夠，模型再擴大幾個數(shù)量級并非天方夜譚。這對接下來的幾個SOTA語言模型意味著什么，其影響可能是什么，仍然不可預(yù)見。
雷鋒字幕組是一個由 AI 愛好者組成的翻譯團隊，匯聚五百多位志愿者的力量，分享最新的海外AI資訊，交流關(guān)于人工智能技術(shù)領(lǐng)域的行業(yè)變革與技術(shù)創(chuàng)新的見解。
團隊成員有大數(shù)據(jù)專家、算法工程師、圖像處理工程師、產(chǎn)品經(jīng)理、產(chǎn)品運營、IT咨詢?nèi)恕⒃谛熒恢驹刚邆儊碜訧BM、AVL、Adobe、阿里、百度等知名企業(yè)，北大、清華、港大、中科院、南卡羅萊納大學(xué)、早稻田大學(xué)等海內(nèi)外高校研究所。
如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學(xué)習(xí)新知，分享成長。
雷鋒網(wǎng)雷鋒網(wǎng)
