<mark id="oztn4"></mark>
0
大模型正在走進一片沒有地圖的深水區。
Scaling Law開始撞墻、高質量數據接近枯竭、AI解釋性問題依然沒有解決，行業逐漸進入后Scaling時代。
越來越多人開始意識到，那些最關鍵的瓶頸，單靠工程經驗已經無法突破了。
問題擺在眼前，能回答它的人開始登場。
5月30日，賓夕法尼亞大學沃頓商學院統計學教授蘇煒杰宣布加入OpenAI，參與模型訓練相關工作。
他是2026 COPSS會長獎得主，統計學界40歲以下最高榮譽14年來第一位華人獲得者，剛剛完成從副教授到正教授的晉升。
站在學術生涯的頂峰時刻，他卻轉身走進行業最深處的風暴眼。
時機不像是巧合。
蘇煒杰告訴雷峰網(公眾號：雷峰網)，促成他這次加入OpenAI的直接契機，是去年12月的一通Zoom視頻。
“OpenAI 的研究員 Sebastien Bubeck 聯系了我，問我有沒有興趣加入OpenAI。很多年前他還在學術界時，就關注過我在優化問題方面的工作。”
一句話，藏著兩條信息。
一是OpenAI對理論研究的關注并非新近才有。二是蘇煒杰在優化領域的工作，在AI圈早已廣受關注。
蘇煒杰的學術履歷橫跨高維統計、機器學習理論、因果推斷、差分隱私與生成式AI。
2007年，他考入北大數院，以年級第一畢業，隨后赴斯坦福統計系，師從統計學傳奇人物Emmanuel Candès。
這般扎實的學術背景，從根本上塑造了他看待問題的方式：尋找復雜系統里的結構，而不只是得出一個可運行的結果。
國內數學圈，常把蘇煒杰所在的北大數院2007級稱為“黃金二代”。
這一級出了蘇煒杰、鄧煜、王虹、唐云清等后來橫跨數學、統計、AI前沿的優秀學者。
對此，蘇煒杰有他自己的解讀，既不夸大，也不回避。
“回想起來，我們這一級確實很強，在北大時已經展現出日后的潛力，只是當時沒有意識到。”
他認為，其實北大數院前后幾個年級都非常出色，很大原因來自北大數學培養模式的成功，以及一群真正對數學感興趣的同學聚在一起產生的群體激勵效應。
“對我而言，我的底色是數學。數學訓練給人的不是某個固定工具，而是在復雜問題里尋找結構的能力。”
但他也強調，自己并非一開始就奔著應用方向去的。
“因為各種機緣巧合，我本科時在微軟亞洲研究院的實習，之后到斯坦福讀博，比較早的接觸到了機器學習和人工智能，這些經歷奠定了我日后做應用數學研究的學術品味。”
提及當下去向選擇，他的回答十分坦誠。
“到了我這個職業階段，身邊很多學術界的朋友已經在創業。”
但他選擇投身OpenAI的原因，還是讓人好奇。
蘇煒杰解釋道，很多自己長期關心的基礎問題，今天正在大模型最前沿以非常真實、非常大規模的方式出現。
“在學校，我們組提出過不少關于AI算法的想法，但受限于算力和Infra，很難做大規模的實驗驗證。而在Frontier Lab，就沒有這些問題。”
這番回答，傳遞出了一個清晰的思考。
他去OpenAI，不是為了離開學術，而是為了把學術問題研究做得更徹底，更多觀點，歡迎添加作者微信IHAVEAPLANB-溝通交流。
談及入職OpenAI后負責的具體內容，蘇煒杰表示暫時不便透露。
但他堅信，未來理論功底不錯的人，開發AI模型的優勢會被放大。
蘇煒杰的判斷，主要基于兩個原因：
第一，Frontier Lab的Infra已經比較成熟，Coding Agent在研發中已經普及使用。
“這并不是說工程能力不重要，而是工程能力的重心發生了變化，idea的重要性會提升。稀缺的是提出好假設、設計好實驗、定義好eval、及時的反饋、并判斷能不能scale的能力。”
第二，大模型的性能提升已經進入深水區。
“普通對話能力對各家來說都已經飽和，拉開差距的突破點，在于高難度任務在復雜環境下能力的穩健性。這個時候，對數據的深刻理解會變得尤為重要，特別是對數據分布、泛化能力、和評估不確定性的洞察。”
他表示，也正是由于上述原因，現在有越來越多的統計學家、應用數學家、和物理學家活躍在 AI 領域。
蘇煒杰所描述的不是一個人的職業判斷，而是整個行業正在發生的能力重心遷移，不同見解，歡迎添加作者微信IHAVEAPLANB-溝通交流。
過去三年，AI行業最核心的競爭，在于誰擁有更多GPU、更大的數據中心、更強的工程團隊。
但是在今天，新的問題正在浮現。
對齊稅怎么算？
合成數據的崩潰風險如何量化？
訓練過程的收斂性能不能被嚴格證明？
......
這些問題，已經逐漸超出傳統工程優化能夠解釋的范圍，越來越像數學問題。
在采訪蘇煒杰之前，雷峰網梳理了他過去幾年的論文方向，發現一個有趣的現象：
他的研究重點，與當下大模型在訓練和應用中遇到的某些瓶頸高度相關。
這并非巧合，兩條路徑都指向了同一個核心問題，不確定性。
統計學研究的本質就是處理不確定性，而今天的大模型，恰恰建立在諸多不確定性之上。
以下是他對幾個核心問題的判斷：
Scaling Law真的存在絕對上限嗎？
硅谷過去幾年篤信Scaling Law，認為算力、數據、參數只要指數級堆上去，AGI就會自然涌現。
但當下，回報率在下降的信號越來越明顯，Scaling Law真的要撞墻了嗎？
這個問題蘇煒杰兩年前就思考過，他認為不會有一個完備答案。
“算力和參數量相對是良定義的，但數據不是一個良定義的單一變量。兩份同樣大小的數據，信息密度、任務結構、長尾覆蓋、可驗證性可能完全不同，Scaling Law可能在一個數據上成立，而另一個不成立。”
他還指向了一個被很多人忽略的維度。
“因為AI引擎的普及，這個世界產生數據的速度比任何時期都快。真正的問題是，這些新生成數據的智力密度，和早期更自然、更原生的數據相比，能不能維持模型能力繼續scale上去，這個問題需要實證研究。”
越對齊越變笨，是眼下AI行業最令人頭疼的問題之一。
為了讓模型符合人類的安全和道德規范，RLHF（人類反饋強化學習）會破壞模型的微觀數據分布，導致推理和生成能力下降。
這就好比你讓一個天生自由奔跑的機器狗學會走直線，它的速度和敏捷性不可避免地會受到限制，這就是所謂的對齊稅。
那么這個問題真的無解嗎？
“‘對齊稅’直覺上很容易理解，沒有兩全其美的事，不同指標之間確實存在一定此消彼長。但越對齊越變笨一定程度上是可以緩解的。隨著模型能力增強，對齊對能力下降的影響是可以降低的。”蘇煒杰表示。
至于有沒有可能在數學層面推導出一個完美邊界，他打了一個物理學的比方：
“大模型由于規模巨大、結構復雜，其實有點像一個巨大的物理系統。理論比較容易成功指導的，往往是微觀和宏觀兩個尺度：微觀上，像Muon優化器這類方向；宏觀上，比如Scaling Law。”
蘇煒杰認為，真正難的是介于二者之間的中間尺度，那里有數據、模型、任務和人類反饋的復雜相互作用。就像物理在高能粒子物理和宇宙學上很成功，但對介觀尺度的生物系統解釋起來難度很大。
“有志于為 AI 建立有實際指導價值理論框架的同學，可以參考這個物理類比。”
當人類高質量數據被大模型吃光，行業開始大規模用AI生成的合成數據訓練下一代模型。
隨之而來的警告是，這也許會導致模型崩潰。
對這個問題，蘇煒杰的判斷干脆利落。
他認為，模型崩潰主要來自直接、不加任何處理地反復使用合成數據。從理論上講，這幾乎是必然的。因為反復直接用合成數據，AI模型就成了一個沒有跟真實世界互動的封閉系統。
“這樣的話數據分布就會越來越窄，借用一個不完全嚴格的說法，這有點像熵增，封閉系統最終會走向退化。”
但蘇煒杰認為，這并不意味著合成數據這條路走不通，更多一手采訪資料，歡迎添加作者微信IHAVEAPLANB-溝通交流。
“關鍵不在于數據是不是AI生成的，而在于生成和篩選數據時有沒有加入外部信息。現在已經有很多工作在研究，怎樣在合成數據時小心地加入人類先驗和環境反饋，這樣合成數據就成了一個帶反饋的開放系統。”
思維鏈帶來的模型推理躍升，在很多人眼里仍然是個謎。
蘇煒杰直言，他曾經甚至想過思維鏈的反面：
能不能減少token，要求模型直接輸出答案，通過提高訓練難度來提升模型推理能力。現在看，這個想法可能是錯的。
“因為很多復雜問題里，正確答案未必以一個很清晰的形式存在，需要通過大量思考找到相對合理的答案；即使正確答案存在，也往往需要經過很多看起來不正確的路徑，最后才能找到。”
對此，他給出了一個偏哲學的解讀：
“這是世界不完美、絕對理性不存在的一個例證。”
外界常有一種刻板印象，認為學術界和業界之間存在著一堵高墻。
尤其是在AI這樣節奏極快的領域里，兩者之間的文化摩擦似乎必然存在。
蘇煒杰指出，其實美國高校“象牙塔”的圍墻，并沒有大家想象的那么高。
“學校經費大多來自政府和業界的資助，因此盡管學校層面賦予教授充分的自由，許多教授仍會自發地將科研與業界發展、尤其是AI緊密結合。即便是純數學領域，也有不少學者開始主動擁抱AI，這一點與歐洲學術界形成了鮮明對比。”
從賓大沃頓到OpenAI，在他看來，雖然工作模式有所變化，但所追求的東西并沒有根本性不同。
“就目前而言，AI的智能呈現出"博遠超人類，精不及專家"的特點。涉獵之廣遠超個人所能，但在專業縱深上尚不及頂尖的知識工作者。而學術界恰恰相反，精益求精有余，廣博略顯不足，二者構成了極好的互補。”
蘇煒杰預計，未來 AI 的持續進化，尤其是專業領域能力的進一步提升，將離不開與學術界的深度協作。
這種互補，或許也是理解他這次選擇的另一個角度。
“象牙塔”并沒有倒，但它和外部世界之間的通道，正在變得越來越寬。
當一位統計學家決定走進風暴眼，他看到的，或許正是那些工程師還沒來得及定義的問題。
注：文中所載蘇煒杰觀點僅代表個人立場，不代表 OpenAI 官方立場。
本文作者長期追蹤海外AI行業動態，更多深度信息，歡迎添加作者微信IHAVEAPLANB-溝通交流。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
