<mark id="oztn4"></mark>
0
作者丨鄭佳美
編輯丨馬曉寧
Kimi K3 發布開放權重，最搶眼的數字有三個：2.8T 總參數、104B 激活參數，以及 100 萬 token 上下文。
這些數字當然重要，但讀完 47 頁技術報告會發現，它們更多是技術改造后的結果，而不是這份報告真正值得關注的部分。
Kimi K3 想解決的是一個更實際的問題：當模型繼續變大、上下文繼續變長，Agent 一次工作幾個小時以后，原來的 Transformer 架構和訓練系統還能不能撐住？
上下文變長，KV Cache 會持續膨脹；網絡變深，前面幾層的信息會被不斷混合；專家數量增加，路由、通信和設備負載容易失控；Agent 軌跡越來越長，強化學習又會被少數慢任務拖住。
這些問題顯然不能只靠增加 GPU 解決。
Kimi K3 的技術主線，是把原本會隨著規模不斷膨脹的計算和狀態，改造成可以壓縮、可以調度、可以暫停和恢復的結構。它不是簡單把 Kimi K2 放大了接近 3 倍，而是在重新設計大模型怎樣保存信息、怎樣調用計算資源，以及怎樣持續完成長任務。
01
Kimi K3 最核心的三項架構變化，分別處理 Transformer 在序列、深度和寬度上的擴展問題。
先看序列。傳統注意力需要保存歷史 token 的 Key 和 Value。上下文越長，KV Cache 越大。
這相當于閱讀材料時，把看過的每一頁都攤在桌面上。材料不多時，查找很準確；材料達到幾十萬頁后，存儲、搬運和讀取成本都會迅速增加。
Kimi Delta Attention，也就是 KDA，采用固定大小的遞歸狀態保存歷史。模型不會完整保留每個 token，而是在閱讀過程中不斷更新一份壓縮記憶。序列繼續增長，這份狀態不會按照相同比例膨脹。
但壓縮記憶一定會損失部分細節。全注意力保存的是原始檔案，可以直接回看某個具體位置；KDA 保存的更像一份持續更新的摘要，信息在反復寫入時可能被覆蓋。
所以，Kimi K3 沒有完全使用 KDA，而是在每個模塊中安排 3 層 KDA 和 1 層 Gated MLA，并在模型末尾保留全局注意力。
兩者的分工很明確：KDA 負責低成本地更新長期狀態，MLA 定期重新檢查完整上下文。一個負責壓縮，一個負責查找，在效率和信息容量之間取平衡。
Kimi K3 還調整了 KDA 的衰減參數范圍。此前某些衰減值可能變得過小，累計計算后容易超出 BF16 的安全范圍，迫使部分計算采用效率較低的特殊 kernel。Kimi K3 給衰減設置了下界，使相關計算可以統一轉換成 Tensor Core 擅長的稠密矩陣乘法。
這個改動沒有提出新的注意力概念，卻很能說明 Kimi K3 的技術思路：算法不能只在復雜度公式中更漂亮，還要真正適合 GPU。雷峰網(公眾號：雷峰網)
100 萬 token 也不能簡單理解成“模型能夠準確記住 100 萬 token”。Kimi K3 使用了從 8K、64K、256K 到 1M 的漸進式訓練，并專門構造關鍵信息分散在不同位置的長上下文數據。
上下文窗口代表模型能夠處理多長的輸入，不代表窗口內的信息都能被無損利用。KDA 解決的是長上下文能否持續運行，而不是徹底消除長距離信息損失。
序列變長以后，信息會被壓進遞歸狀態；網絡變深以后，也存在類似的信息壓縮問題。
標準殘差連接會把每一層的輸出不斷加到同一個隱藏狀態中。這種方式訓練穩定，但隨著網絡加深，前面不同層的信息會逐漸混在一起。
到了后面的層，模型拿到的是幾十次計算疊加后的結果，很難單獨取回早期的詞法信息、中間層的結構信息，或者某個階段形成的局部特征。
Attention Residuals，也就是 AttnRes，讓當前層能夠對前面不同深度的表示進行加權選擇。
普通殘差連接像是把所有修改都覆蓋到同一份文件里，只保留最終版本。AttnRes 則保留若干中間版本，后面的網絡可以根據需要重新調用。
這個思路與 Transformer 取代 RNN 有些相似。RNN 把所有歷史 token 壓進一個狀態，Transformer 允許當前 token 直接讀取不同歷史位置；AttnRes 則把這種選擇機制從序列維度帶到了網絡深度。
為了控制顯存和通信成本，Kimi K3 并沒有保留全部 93 層的獨立輸出，而是按照約 12 層一個 Block 進行聚合，再對不同 Block 的表示進行選擇。
這是一種折中。模型可以重新調用不同深度的信息，但只能定位到某一組層，不能精確讀取其中的任意一層。雷峰網
AttnRes 使用的查詢也主要是每層學習得到的偽查詢，并不像標準注意力那樣完全由當前 token 動態生成。它比固定殘差連接靈活得多，但還不是毫無限制的跨層全注意力。
即便如此，AttnRes 仍然可能是 Kimi K3 中最容易被其他模型采用的設計。它不依賴 2.8T 參數，也不必須搭配 KDA 或 MoE，解決的又是所有深層網絡都可能遇到的問題。
不過，目前還不能斷言它會成為新的標準結構。Kimi K3 報告將整體效率提升歸因于架構、數據和訓練配方的共同變化，沒有完整拆分 AttnRes 的獨立貢獻。它的實際價值，還需要更多外部模型驗證。
處理完序列和深度之后，還剩下模型寬度。
Kimi K3 每層擁有 896 個路由專家，每個 token 選擇其中 16 個。更大的專家池可以增加模型容量，但也會同時增加通信、顯存讀取、激活異常和負載不均衡的風險。
普通 MoE 會把完整隱藏狀態發送給被選中的專家。激活專家越多，需要傳輸的數據也越多。
Kimi K3 使用 LatentMoE，先把 7168 維隱藏狀態壓縮到 3584 維，讓路由專家在較窄的空間中計算，再映射回完整維度。
這樣一來，模型可以同時增加專家總數和每個 token 激活的專家數量，又不必讓通信量按照完整隱藏維度增長。
不過，連續的降維、專家計算和升維容易放大異常激活。Kimi K3 因此在專家聚合后加入 RMSNorm，并使用 SiTU-GLU 代替 SwiGLU。
SiTU-GLU 可以理解成一個平滑的限幅裝置。數值正常時，它盡量保留 SwiGLU 的特性；數值過大后，增長會逐漸受到限制，從而降低低精度訓練中的溢出風險。
數值穩定之后，還要解決設備負載。
如果大量 token 同時選擇少數熱門專家，這些專家所在的 GPU 會排隊，其他設備卻在等待。MoE 的實際速度往往不由平均計算量決定，而由最慢的設備決定。
傳統方法一般根據專家當前是過載還是空閑，以固定步長調整路由偏置。專家數量接近 900 后，步長小了調整太慢，步長大了又可能在過載和空閑之間反復震蕩。
Kimi K3 提出的 Quantile Balancing，會根據整批路由分數的分位數，直接估計每個專家需要怎樣的偏置，才能接近目標負載。
它不是一點點試，而是根據當前分布直接重新計算“錄取線”。
不過，負載均衡解決的是計算效率，不是專家的能力質量。每個專家收到相近數量的 token，只能避免部分專家過熱、部分專家幾乎沒有訓練，不能證明 896 個專家都形成了清晰、有價值的專業分工。
在訓練系統中，MoonEP 還會為熱門專家創建動態副本，使不同設備接收到相同數量的 token。Quantile Balancing 負責算法層面的路由，MoonEP 負責硬件層面的執行，兩者一起解決極端稀疏 MoE 最現實的瓶頸。
把這三項技術放在一起看，Kimi K3 的架構思路其實很統一：KDA 壓縮序列狀態，AttnRes 重新調用深度信息，Stable LatentMoE 壓縮專家通信。
它們分別處理模型變長、變深和變寬之后的信息流問題，目標都是用有限的運行成本，支撐更大的模型容量。
02
架構決定模型能夠容納多少信息和能力，但要讓 Agent 連續工作幾個小時，真正困難的部分往往發生在強化學習系統里。
真實 Agent 任務很少在幾步內結束。
編程 Agent 需要閱讀代碼、運行測試、修改文件、等待編譯并繼續排錯；研究 Agent 可能要搜索網頁、下載資料、制作表格，再不斷核對結論。一條軌跡可能包含數百甚至數千次工具調用。
傳統同步強化學習會等待同一批任務全部完成。只要其中有幾個任務特別慢，整批 GPU 就會被拖住。
Kimi K3 使用 partial rollout。只要一部分軌跡完成，系統就先使用這些數據更新模型；尚未完成的軌跡暫停，之后再恢復執行。
這讓長任務不再阻塞整批訓練，卻也產生了數據陳舊問題。一條軌跡可能跨過數次模型更新，前半段和后半段不再來自完全相同的策略。
Kimi K3 通過逐 token 正則限制每次策略變化，讓訓練能夠容忍這種高度 off-policy 的數據。它接受長程 Agent 訓練必然存在異步和延遲，而不是強行維持一個整齊的同步流程。
更復雜的問題是保存外部環境。保存聊天記錄并不能恢復 Agent 的工作現場。模型可能已經修改了文件、安裝了軟件、啟動了進程，或者生成了大量中間結果。任務恢復時，文件系統和進程狀態也需要一起恢復。
Kimi K3 的 AgentENV 使用 Firecracker microVM，支持暫停、恢復、復制和快照。報告披露，訓練和評估期間一共創建了超過 5100 萬個 sandbox。
真正重要的不是這個數量，而是 sandbox 可以在等待模型推理時暫停，避免持續占用 CPU 和內存，并在模型生成下一步動作后快速恢復。
這使數小時的 Agent 軌跡能夠反復暫停和繼續，長程任務也因此可以真正進入強化學習，而不只是停留在產品演示中。
這種長程執行能力，在 Kernel 優化任務上表現得更直觀。面對 AttnRes Kernel，Kimi K3 不是一次生成代碼就結束，而是在十幾個小時內持續嘗試、測試和修改，不斷刷新當前最好結果，最終將相對 FLA Triton 基線的加速幅度提升到 59.7%。
這類任務考驗的不是單次代碼生成，而是模型能否在長期執行中保留進度，并根據每次運行結果繼續調整方案。
DSA Kernel 優化任務進一步說明，Kimi K3 的長程能力并不只是把任務“拖得更久”，而是在持續執行中不斷積累有效改進。
橫軸記錄的是 Agent 的實際工作時間，圓點代表刷新最好成績，叉號則代表一次次未能突破的嘗試。
Kimi K3 在接近 24 小時的過程中持續編寫代碼、運行測試、分析性能瓶頸并調整方案，最終將相對 FLA Triton 基線的加速幅度提升到 55.1%，僅次于 Claude Fable 5 的 57.3%，同時高于 GPT-5.6 Sol、Claude Opus 4.8 和 GPT-5.5。
這里體現的重點不是某一次代碼生成得有多好，而是模型能否利用大量失敗結果，持續修正方向，并把一個復雜工程任務一步步推到更高水平。
而在 MLA Kernel 優化任務上，Kimi K3 同樣表現出了持續推進復雜工程任務的能力。
Kimi K3 在多輪編寫、測試和調整后，將性能逐步提高到 518 TFLOPS，高于 Claude Fable 5 的 493 TFLOPS，以及 Claude Opus 4.8、GPT-5.5 和 GPT-5.6 Sol。
相比一次性生成代碼，這更能證明長程 Agent 的價值：它可以保留此前找到的有效方案，再通過后續實驗不斷抬高當前最好結果。
在 KDA-GPGPU Kernel 優化任務中，Kimi K3 的優勢更加明顯。
它在超過 20 小時的持續實驗中不斷編寫代碼、測試性能并調整方案，最終將相對 FLA Triton 基線的加速幅度提升到 73.6%，高于 GPT-5.6 Sol 的 66.7%、Claude Opus 4.8 的 57.0% 和 Claude Fable 5 的 56.5%。
這說明，長程 Agent 的價值不只是延長工作時間，而是能保留此前的有效結果，在多輪嘗試中繼續尋找更好的實現。
但長程 Agent 只會保存狀態還不夠，它還需要判斷自己做得對不對。這也是 Kimi K3 原生多模態設計的重要價值。
Kimi K3 的視覺編碼器 MoonViT-V2 從零開始訓練，沒有先使用 SigLIP 等對比學習模型初始化。報告中的實驗顯示，使用預訓練視覺編碼器時，聯合訓練會出現更高、更頻繁的梯度尖峰；從零訓練的 MoonViT-V2 更穩定，同時最終視覺能力接近預訓練初始化方案。
這項設計的意義不只是讓模型“會看圖”。Kimi K3 的多模態數據包含大量代碼與渲染結果的配對，例如網頁、SVG、游戲、3D 資產和 CAD 圖形。模型可以先編寫代碼，運行后查看截圖，再根據實際畫面繼續修改。
視覺在這里不是一個獨立功能，而是 Agent 的反饋通道。
模型不再只能根據代碼文本猜測結果是否正確，而是能夠真正看到自己生成的界面、圖形或視頻，再發現偏差并繼續修正。
因此，Kimi K3 的 Agent 訓練形成了一個完整閉環：保存任務狀態，持續執行工具，觀察真實結果，再根據反饋調整下一步動作。
03
值得一提的是，官方報告稱 Kimi K3 相比 Kimi K2 獲得了約 2.5 倍的整體 scaling efficiency。
這個數字表示，在擬合出的 scaling law 中，達到相同驗證損失所需的計算量更少，或者在相同計算量下能夠獲得更低的損失。
它不等于 Kimi K3 的總訓練成本只有 Kimi K2 的 40%，也不意味著模型推理速度提高了 2.5 倍。
Kimi K3 的總參數從約 1.04T 增加到 2.78T，激活參數從 32.6B 增加到 104.2B，層數從 61 層增加到 93 層。無論訓練還是部署，它仍然是一個更重、更昂貴的模型。
而且，這個 2.5 倍來自 KDA、AttnRes、Stable LatentMoE、數據處理、優化器和超參數搜索的共同作用。報告沒有公開完整的逐項消融，也沒有披露全部訓練 token 數和總訓練 FLOPs。
因此，這個數字證明的是 Kimi K3 找到了一條更好的整體擴展曲線，不能用來證明某一個單獨模塊帶來了 2.5 倍提升。
這種更高的擴展效率，最終確實轉化成了很強的模型能力。
Kimi K3 已經進入當前模型的第一梯隊，尤其擅長編程、搜索、專業工作流和長程工具調用。但它的優勢通常建立在較高的推理投入之上。
模型會執行更多步驟，使用更多輸出 token，并花更長時間檢查和修正結果。這與它的訓練方向一致。Kimi K3 追求的不是盡快給出一個答案，而是持續工作，直到交付一個相對完整的結果。
對于軟件工程、數據分析和復雜研究，這種行為很有價值；對于簡單問答，則可能顯得緩慢、冗長和昂貴。
官方評測還混合使用了 Kimi Code、Claude Code、Codex 等不同 Agent Harness，部分結果來自內部數據集。相關成績更接近“模型加工具系統”的綜合表現，而不是完全控制工具、上下文管理和推理預算之后的裸模型比較。
這并不削弱 Kimi K3 的成績，只是說明進入 Agent 階段后，模型能力已經很難與運行環境徹底分開。
一個模型是否強，不再只取決于參數和權重，還取決于它使用了什么工具、怎樣管理上下文、能夠運行多少步，以及系統愿意投入多少時間和計算成本。
04
綜合來看，Kimi K3 最值得關注的，不是某一個孤立的模型技巧，而是它把架構、訓練和 Agent 基礎設施連接成了一套完整系統。
在架構上，KDA、AttnRes 和 Stable LatentMoE 分別處理序列、深度和寬度的信息流問題，讓模型在上下文更長、網絡更深、專家更多以后，仍然能夠控制緩存、通信和數值穩定性。
在后訓練上，partial rollout、外部 KV Cache 和可恢復 microVM，讓持續數小時的真實任務能夠進入強化學習。原生視覺能力又讓 Agent 可以看到自己的執行結果，而不只是生成下一步文字。
這才是 Kimi K3 相比單純擴大參數更值得關注的地方。
當模型開始連續工作數小時，真正決定能力上限的，就不只是“下一句話生成得有多好”，而是它能否保存已經完成的工作，保留執行現場，看到實際結果，發現錯誤，并繼續把任務做完。
參考鏈接：
https://www.kimi.com/blog/kimi-k3
上車，帶你看遍全球 AI 頂會精華
可獨家暢覽：
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
掃描上方二維碼
或點擊「閱讀原文」關注專區。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
