<mark id="oztn4"></mark>
0
| 本文作者： 我在思考中 | 2022-08-09 10:00 |
編輯 | 陳彩嫻
近日，一項(xiàng)新研究發(fā)布于PNAS，再次刷新了神經(jīng)網(wǎng)絡(luò)的能力。這次神經(jīng)網(wǎng)絡(luò)被用來解決了高等數(shù)學(xué)題，而且還是麻省理工數(shù)學(xué)課程難度的數(shù)學(xué)題！
在這項(xiàng)新研究中，研究團(tuán)隊(duì)證明了 OpenAI 的 Codex 模型可以進(jìn)行程序合成從而解決大規(guī)模的數(shù)學(xué)問題，并通過小樣本學(xué)習(xí)自動(dòng)解決數(shù)據(jù)集中 81%的數(shù)學(xué)課程問題，并且 Codex 在這些任務(wù)的表現(xiàn)上達(dá)到了人類水平。
這項(xiàng)研究的出現(xiàn)，顛覆了人們普遍認(rèn)為神經(jīng)網(wǎng)絡(luò)無法解決高等數(shù)學(xué)問題的共識(shí)。研究團(tuán)隊(duì)指出，Codex 之所以能做到實(shí)現(xiàn)這樣的能力，正是因?yàn)閳F(tuán)隊(duì)進(jìn)行了一大創(chuàng)新，過去那些不成功的研究只使用了基于文本的預(yù)訓(xùn)練，而此次現(xiàn)身的 Codex 神經(jīng)網(wǎng)絡(luò)不僅要基于文本進(jìn)行預(yù)訓(xùn)練，并且還對(duì)代碼進(jìn)行了微調(diào)。
研究的問題數(shù)據(jù)集選用來自 MIT 的六門數(shù)學(xué)課程和哥倫比亞大學(xué)的一門數(shù)學(xué)課程，從七門課程中隨機(jī)抽取 25 個(gè)問題：MIT的單變量微積分、多變量微積分、微分方程、概率與統(tǒng)計(jì)概論、線性代數(shù)和 計(jì)算機(jī)科學(xué)數(shù)學(xué)和哥倫比亞大學(xué)的 COMS3251 計(jì)算線性代數(shù)。
同時(shí)，研究團(tuán)隊(duì)使用了一個(gè)用于評(píng)估數(shù)學(xué)推理的最新高級(jí)數(shù)學(xué)問題基準(zhǔn) MATH，用 MATH 來檢測(cè)OpenAI Codex 的能力，MATH 從6大數(shù)學(xué)板塊：初級(jí)代數(shù)，代數(shù)，計(jì)數(shù)和概率，中級(jí)代數(shù)，數(shù)論，和初級(jí)微積分中各抽取15個(gè)問題。
研究顯示，Codex 解決了問題數(shù)據(jù)集和 MATH 數(shù)據(jù)集中的 265 個(gè)問題，其中有 213 個(gè)是自動(dòng)解決的。
在 Transformer 發(fā)布后，基于 Transformer 的語言模型在各種自然語言處理 (NLP) 任務(wù)，包括在零樣本和少樣本語言任務(wù)中取得了巨大成功。但是因?yàn)?Transformer 僅在文本上進(jìn)行了預(yù)訓(xùn)練，所以這些模型基本上不能解決數(shù)學(xué)問題，GPT-3就是一個(gè)典型例子。
后來，通過小樣本學(xué)習(xí)（few-shot learning）和思維鏈 (Chain-of-thought， CoT) 提示，GPT-3 的數(shù)學(xué)推理能力得到了提高；然而，在沒有代碼的情況下，即便有小樣本學(xué)習(xí)和 CoT 提示， GPT-3 在大學(xué)水平數(shù)學(xué)問題和 MATH 基準(zhǔn)測(cè)試中仍然無能為力。
過去關(guān)于解數(shù)學(xué)題的研究，可能在相對(duì)簡(jiǎn)單的數(shù)學(xué)水平上有一定成績(jī)。舉個(gè)例子，基于協(xié)同訓(xùn)練輸出來驗(yàn)證或預(yù)測(cè)表達(dá)式樹的技術(shù)，比如MAWPS 和 Math23k，能夠以超過 81% 的準(zhǔn)確率解決小學(xué)級(jí)別的數(shù)學(xué)問題，但是其不能解決高中、奧林匹克數(shù)學(xué)或大學(xué)難度的課程。協(xié)同訓(xùn)練與圖神經(jīng)網(wǎng)絡(luò) (GNN) 相結(jié)合以預(yù)測(cè)算術(shù)表達(dá)式樹，能夠以高達(dá) 95% 的準(zhǔn)確率解決機(jī)器學(xué)習(xí)中的大學(xué)水平問題。但是這項(xiàng)工作也僅限于數(shù)字答案，并且產(chǎn)生了過擬合，不能推廣到其他課程。
而這項(xiàng)工作的最大創(chuàng)新點(diǎn)之一就是，不僅對(duì)Codex 這種Transformer 模型進(jìn)行了文本上的預(yù)訓(xùn)練，還在代碼上進(jìn)行了微調(diào)，使得其可以生成大規(guī)模解決數(shù)學(xué)問題的程序。
研究團(tuán)隊(duì)從數(shù)據(jù)集中隨機(jī)選擇不需要輸入圖像或證明的問題樣本來進(jìn)行測(cè)試。其中，僅對(duì)文本進(jìn)行預(yù)訓(xùn)練的語言模型 (GPT-3 text-davinci-002) 僅自動(dòng)解決了課程問題中的18%和 MATH基準(zhǔn)測(cè)試問題中的25.5%。
相比之下，使用零樣本學(xué)習(xí)和對(duì)文本進(jìn)行預(yù)訓(xùn)練并在代碼上進(jìn)行微調(diào)的神經(jīng)網(wǎng)絡(luò)（OpenAI Codex code-davinci-002）合成的程序可以自動(dòng)解決課程問題中的 71%和 MATH 基準(zhǔn)測(cè)試問題中的72.2%。
而使用相同的神經(jīng)網(wǎng)絡(luò) Codex 再加上少樣本學(xué)習(xí)，便可自動(dòng)解決課程中81%的問題和 MATH 基準(zhǔn)測(cè)試中81.1%的問題。而其余模型無法自動(dòng)解決的19%的課程問題和18.9%的MATH基準(zhǔn)問題，最后通過手動(dòng)提示解決。
小樣本學(xué)習(xí)方式的補(bǔ)充，則是這項(xiàng)研究的第二大創(chuàng)新點(diǎn)。從上圖中可以看出，當(dāng)零樣本學(xué)習(xí)無法解答問題時(shí)，便會(huì)使用（問題，代碼）對(duì)（pair）執(zhí)行小樣本學(xué)習(xí)：
1） 使用 OpenAI 的 text-similarity-babbage-001 嵌入引擎嵌入所有問題；
2） 使用嵌入的余弦相似度從其課程中計(jì)算與未解決問題最相似的已解決問題；
3） 將最相似的問題及其相應(yīng)的代碼作為小樣本問題的示例。
圖注：4種方式的自動(dòng)解題率對(duì)比
上圖分別是Codex的零樣本學(xué)習(xí)、小樣本學(xué)習(xí)和GPT-3的零樣本學(xué)習(xí)、小樣本學(xué)習(xí)4種方式的自動(dòng)解題率對(duì)比。圖上可以看出，橙色條狀所代表的小樣本學(xué)習(xí) Codex 在自動(dòng)解題率上的優(yōu)秀表現(xiàn)，基本上在每個(gè)數(shù)學(xué)領(lǐng)域上的表現(xiàn)都強(qiáng)于其他3種方式。
這項(xiàng)研究的第三大創(chuàng)新點(diǎn)，便是提供了一條解決數(shù)學(xué)問題和解釋為何如此解答的管道，下圖展示了MIT 5門數(shù)學(xué)課程中管道的執(zhí)行流程。
以 18.01 單變量微積分問題為例，給定一個(gè)問題和自動(dòng)生成的前綴“使用 SymPy”，Codex 被提示并輸出一個(gè)程序。運(yùn)行程序會(huì)產(chǎn)生正確答案的方程式。然后，程序會(huì)自動(dòng)提示再次輸入 Codex，從而生成生成的代碼解釋。
除了解決數(shù)學(xué)問題和解釋答案，Codex 也被用于為每門課程生成新問題。
為了評(píng)估生成的問題水平，團(tuán)隊(duì)在參加過這些課程或者同水平課程的MIT學(xué)生中做了調(diào)查，主要是比較機(jī)器生成的問題和人工編寫問題的質(zhì)量和難度。
在MIT的6門課程中，每門選擇5個(gè)人工編寫問題和5個(gè)模型生成問題混合起來并且隨機(jī)呈現(xiàn)。對(duì)于 60 個(gè)問題中的每一個(gè)問題，參與調(diào)查的學(xué)生都需要回答 3 個(gè)調(diào)查問題：
1）你認(rèn)為這個(gè)問題是人工編寫的還是機(jī)器生成的？
2）你認(rèn)為這個(gè)問題適合還是不適合特定課程？
3 ) 在 1（最簡(jiǎn)單）和 5（最難）之間，你認(rèn)為這個(gè)問題的難度級(jí)別是多少？
在收回的問卷中，學(xué)生調(diào)查結(jié)果總結(jié)如下：
機(jī)器生成和人工編寫的問題難度相似。
人工編寫的問題比機(jī)器生成的問題更適合課程。
人工編寫的答案很難被識(shí)別錯(cuò)，而機(jī)器生成的問題被學(xué)生認(rèn)為既可能是機(jī)器生成的，也可能是人工編寫的。
機(jī)器生成的問題已經(jīng)能讓學(xué)生無法辨別，說明Codex 在生成新內(nèi)容方面已達(dá)到了人類的表現(xiàn)水平。
但是，該模型也有無法解決的問題，比如，如果問題以圖像或其他非文本形式出現(xiàn)，它就無法回答；帶有需要證明的解決方案的問題，或者計(jì)算上難以解決的問題，比如分解非常大的素?cái)?shù)，該模型也無法解決。不過，最后一種問題也不應(yīng)出現(xiàn)在任何數(shù)學(xué)課程作業(yè)中，因?yàn)榫退闶钦嫒藢W(xué)生也沒法回答。
https://dataspace.princeton.edu/bitstream/88435/dsp01g445ch067/1/Sun_princeton_0181D_13173.pdf
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
