<mark id="oztn4"></mark>
0
過去幾年，大模型幾乎都依賴 Transformer，它支撐了 GPT、Claude、Gemini 等一眾前沿模型的進步，但也一直被詬病：一旦文本變長，計算量和內存消耗就會成倍膨脹，百萬級 token 幾乎不可承受。與此同時，大模型訓練幾乎完全依賴 NVIDIA 的 GPU 體系。從算力到軟件棧，整個行業被牢牢綁定在 CUDA 上，硬件自主化成了遲遲邁不過去的門檻。
正因為如此，業界一直在尋找“下一條路”。有人嘗試混合架構，有人研究稀疏專家，也有人試水類腦計算。但這些探索往往停留在小規模實驗，很少能真正跑到大模型層面。
直到最近，中科院團隊拋出了一篇新論文，提出了一個全新系列的類腦大模型 SpikingBrain。他們通過引入 spiking 神經元、線性注意力和稀疏專家機制，不僅在超長文本處理上實現了 百倍加速，還首次在 國產 GPU 平臺 MetaX 上穩定訓練出 76B 規模的模型。
同時，SpikingBrain 的問世也證明了大模型并不是只能依賴 Transformer + NVIDIA 的組合，另一條通往未來的道路正在被打開。
論文鏈接：https://www.arxiv.org/pdf/2509.05276
在實驗中，研究團隊在超長上下文任務上取得了突破性成果。以 SpikingBrain-7B 為例，當輸入長度達到 400 萬 token 時，其 Time-to-First-Token（首個 token 生成延遲）比傳統 Transformer 快了 100 倍。換句話說，原本需要長時間等待的超長文本任務，如今幾乎可以做到即時響應。
由于脈沖神經元只在必要時才會“放電”，模型在推理過程中保持了 69.15% 的稀疏激活率——也就是說，大多數神經元在大部分時間處于靜默狀態，不參與計算。相比始終全量激活的 lf，這種機制顯著降低了算力消耗和能耗。
在訓練規模上，研究團隊共使用 1500 億 token，先后訓練了兩個核心模型：SpikingBrain-7B 和 SpikingBrain-76B。盡管所用數據量遠少于許多主流開源大模型，這兩款模型在多項基準測試中的表現依然能夠接近，甚至在部分任務上追平傳統 Transformer。雷峰網(公眾號：雷峰網)
更關鍵的是，這些訓練完全在 國產 MetaX C550 GPU 集群上完成。實驗結果顯示，7B 模型在該平臺上達到了 23.4% 的 FLOPs 利用率，充分證明了它在非 NVIDIA 硬件環境下依舊能夠保持穩定高效的運行。
為了實現這些結果，研究團隊在模型結構、訓練方法和系統工程三個層面都做了實驗探索。
在架構實驗中，團隊對傳統 Transformer 做了關鍵改造。首先，他們將全連接注意力替換為 線性注意力和混合注意力，從根本上緩解了計算復雜度隨序列長度平方級增長的瓶頸。
與此同時，他們引入了 spiking 神經元，讓模型像大腦一樣“按需放電”：只有在需要時才被激活，大多數時間保持靜默。這種類腦機制帶來了天然的稀疏性，大幅降低了無效計算，是 SpikingBrain 在能效上實現提升的關鍵所在。
而在系統實驗中，最棘手的挑戰來自硬件環境。團隊沒有沿用 NVIDIA 的成熟體系，而是選擇在國產 MetaX GPU 集群上完成全部訓練。
為了讓大模型在這一平臺穩定運行，他們對底層系統進行了大規模優化：重寫關鍵算子庫，改造分布式通信機制，并針對長時間訓練中常見的內存溢出與死鎖問題設計了專門的解決方案。
憑借這些工程改造，SpikingBrain 不僅在數百張 MetaX GPU 上成功完成了 7B 模型的穩定訓練，還順利擴展到 76B 參數規模，并在此基礎上引入 MoE 稀疏專家機制，進一步提升了模型的性能與效率。
到了訓練實驗環節，為了讓新架構真正跑通，團隊設計了一個 conversion-based pipeline，把 Transformer 成熟的訓練經驗遷移到 SpikingBrain。配合事件觸發的 spike 編碼，模型中的脈沖神經元依然可以通過反向傳播學習，避免了“不可微”帶來的訓練障礙。通過這種遷移式實驗設計，他們在保證穩定性的同時，也逐步擴展了模型規模。
總體來看，SpikingBrain 的價值不只是跑通了一個新模型，而是用系統性的嘗試回應了當下大模型最核心的幾個痛點。它在百萬級 token 的長文本上實現了數量級的加速，說明類腦機制在大規模模型里并不是紙上談兵，而是能帶來真實收益的方向。雷峰網
同時，它第一次在國產 GPU 上完成了 76B 規模訓練，讓人看到大模型不一定要綁死在 CUDA 上，硬件路線其實有多種可能。再加上稀疏激活機制顯著降低了能耗，SpikingBrain 給“大模型能否可持續”這個老問題提供了一個新答案。
當然，SpikingBrain 暫時還不能取代 Transformer，它更像是給行業提供了一個全新的實驗樣本：證明大模型還有其他路徑可走。至于它能否在更復雜任務、更大規模下保持穩定，以及類腦機制能否發展成成熟的工具鏈，還需要時間和進一步驗證。”
但至少現在，我們已經看到，大模型的發展并不是只有一條路，新的路徑正在一點點被點亮。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
