來源：公眾號“清華大學智能法治研究院”

原文鏈接：https://mp.weixin.qq.com/s/QyCaNdHyJC2OBH9ubx7hAg?scene=1

2026年8月15日至21日，第35屆國際人工智能聯(lián)合會議（IJCAI-ECAI 2026）將于德國不來梅舉行。清華大學計算法學課題組完成的1篇論文被錄用。IJCAI-ECAI（International Joint Conference on Artificial Intelligence / European Conference on Artificial Intelligence）是國際人工智能聯(lián)合會議（IJCAI）與歐洲人工智能會議（ECAI）的聯(lián)合舉辦版本。其中，IJCAI創(chuàng)辦于1969年，是人工智能領域最具影響力的頂級國際會議之一；ECAI是歐洲人工智能領域最具代表性的頂級會議。兩者自2018年起每四年聯(lián)合舉辦一次，旨在匯聚全球與歐洲兩大學術共同體，促進人工智能研究的國際協(xié)作，在相關領域享有極高的學術聲譽。

論文：Self-Refine Learning in LLM Multi-Agent Systems for Legal Norm Cognition and Compliance

作者：程榮鑫*、楊健輝*、熊博翰、鄭寧、胡伊然、陳卿靜、劉妍、劉黃海、劉云、申衛(wèi)星。*為共同一作。

程榮鑫、劉妍為清華大學計算法學課題組2024級碩士研究生，楊健輝、劉黃海為清華大學計算法學課題組2023級碩士研究生，胡伊然、陳卿靜為清華大學計算法學課題組2021級碩士研究生，鄭寧為計算法學方向創(chuàng)新領軍工程博士項目2023級博士研究生。

摘要：

隨著大語言模型（LLMs）日益作為自主智能體被應用于社會模擬，其能否理解并遵守法律規(guī)范成為亟需研究的關鍵問題。然而，現(xiàn)有LLM智能體在多智能體交互中頻繁出現(xiàn)“獎勵黑客”（Reward Hacking, RH）行為——即為了優(yōu)化某些指標而犧牲對規(guī)范的遵守，這不僅削弱了社會模擬的真實性，也限制了其在現(xiàn)實場景中的部署。

為此，本文提出了一個TBC-TBA自我精煉學習多智能體框架，通過迭代式的多智能體反饋機制實現(xiàn)規(guī)范的動態(tài)適應。該框架整合了Think-Before-Chat（對話前思考，社會反饋處理階段）與Think-Before-Act（行動前思考，規(guī)范引導決策階段）兩個核心階段，使智能體能夠通過結構化的交互循環(huán)逐步精煉自身的規(guī)范理解。

論文基于6個國家（中、法、德、美、英、加）8部法律中的229條法律條文構建數(shù)據(jù)集，覆蓋醫(yī)療系統(tǒng)、金融系統(tǒng)、應急服務、政府任命等17類場景。在五種主流LLMs（GPT-4o、GPT-4o-mini、DeepSeek-V2.5、Llama-3-8B-Instruct、Qwen2.5-7B-Instruct）和100個法律場景上的實驗顯示，LLMs雖能在一定程度上識別法律規(guī)范，但普遍存在RH行為，違法行為發(fā)生率（Illegal Action Rate, IAR）介于14.29%–37.11%之間。

圖1：研究框架。本研究通過TBC-TBA自我精煉學習框架，考察LLM智能體的法律規(guī)范認知能力、與人類認知的一致性，以及多智能體交互中的合規(guī)性增強路徑。

圖2：多智能體自我精煉學習系統(tǒng)框架。規(guī)范認知場景基于真實法律條文生成。在Think-Before-Chat（TBC）階段，智能體通過分析共享語境與個體特征進行信息推斷與交換；在Think-Before-Act（TBA）階段，智能體基于上下文與反饋評估行動必要性，并執(zhí)行最優(yōu)決策。

圖3：在五種大語言模型（LLMs）中，引入與未引入法律規(guī)范情況下違法行為率（IAR）的對比分析。

進一步與人類認知模式進行對比，研究發(fā)現(xiàn)LLM智能體在道德推理層面與人類高度一致：道德水平越高，違法行為率越低；但在教育背景影響、風險偏好曲線和概率扭曲權重三個維度上與人類存在顯著差異：教育水平的提高未能穩(wěn)定降低違法率，反而呈現(xiàn)波動或U型曲線；五個LLMs均未表現(xiàn)出經(jīng)典的S型風險偏好曲線，對風險概率呈現(xiàn)“麻木”特征；在損失域中，LLMs的概率扭曲權重γ普遍低于人類中位數(shù)（0.69），表明其更嚴重地高估小概率損失事件、低估大概率損失事件。

圖4：社會認知因素與法律合規(guī)性之間的關系：(a)按道德水平劃分的違法行為率，顯示在所有五種大語言模型中，違法行為率均隨道德水平的提高而下降；(b)按教育水平劃分的違法行為率，顯示與預期人類行為模式不一致。

圖5：大語言模型與人類風險偏好曲線的對比，顯示與預期人類行為模式不一致。

表1：5種LLMs的概率扭曲權重γ

為提升LLM智能體的法律規(guī)范合規(guī)性、改善其社會對齊表現(xiàn)，本文進一步提出了四種增強方法：

1.動態(tài)規(guī)范學習機制（Dynamic Norm Learning Mechanism, DNLM）：以心理學為基礎，模擬人類的“識別—推斷—實施”（identify–infer–implement）規(guī)范認知過程，是本文最核心、最有效的方法；

2.深度最大痛苦機制（Deep MaxPain, DMP）：通過強調違規(guī)后果實現(xiàn)震懾；

3.規(guī)范分析思維鏈（Norm Analysis Chain-of-Thought, NA-CoT）：通過結構化推理引導智能體逐步分析規(guī)范目的與違規(guī)后果；

4.少樣本規(guī)范學習（Few-shot Norm Learning, FNL）：通過提供典型案例幫助智能體理解規(guī)范。

圖6：動態(tài)規(guī)范學習機制（DNLM）。該機制借鑒規(guī)范心理學中關于人類先天規(guī)范認知的理論框架[Sripada and Stich, 2006; Kelly and Setman, 2020]，構建了“識別—推斷—實施”三階段認知模型，使LLM智能體能夠從上下文中識別、推斷并實施規(guī)范，在多智能體交互中實現(xiàn)自適應的規(guī)范理解。

實驗結果表明，DNLM在五個LLMs上平均降低違法行為率達15.78%，是四種方法中表現(xiàn)最優(yōu)的方案。其中，GPT-4o的違法行為率從20.20%降至3.03%；GPT-4o-mini從24.74%降至6.19%；Llama-3-8B-Instruct從37.11%降至13.27%。NA-CoT方法整體表現(xiàn)位列第二。

表2：DNLM在五種LLMs上的違法行為率改善效果。

本研究的核心貢獻在于：

1.首次系統(tǒng)驗證了LLM智能體在多智能體交互中具備法律規(guī)范認知能力，并明確揭示了其獎勵黑客行為的存在；

2.跨學科地比對了LLM與人類在道德推理、教育影響、風險偏好和概率認知四個維度的一致性與分歧，定位了當前模型在社會因素整合上的關鍵短板；

3.以心理學為基礎提出DNLM等四種增強方法，為構建可擴展、規(guī)范合規(guī)的自主智能體提供了切實可行的路徑。

本研究為多智能體系統(tǒng)的社會對齊與法律規(guī)范遵守提供了新的理論視角與方法工具，對未來在復雜社會環(huán)境中部署符合規(guī)范的自主智能體具有重要意義。