把512 GiB閃存搬到xPU旁邊，HBF能打破推理內(nèi)存墻？

HBM已經(jīng)證明，通過(guò)堆疊和共封裝把存儲(chǔ)介質(zhì)遷移至GPU附近，可以緩解AI計(jì)算中的數(shù)據(jù)搬運(yùn)瓶頸。

現(xiàn)在，SK海力士聯(lián)合閃迪，將類(lèi)似的思路正式應(yīng)用到NAND上，通過(guò)HBF將大容量閃存放到包括GPU在內(nèi)的各類(lèi)xPU旁，以緩解AI推理內(nèi)存墻問(wèn)題。

近日，雙方通過(guò)OCP發(fā)布《High Bandwidth Flash（HBF）High-Level Base Die Specification, Version 0.7.0》。谷歌和Tenstorrent在致謝中被列為規(guī)范的反饋與建議提供方。

這份約130頁(yè)的規(guī)范，首次明確了HBF的位置、邊界與代價(jià)：

• 介于HBM與SSD之間，HBF是緊鄰xPU、由Base Die和主機(jī)軟件共同管理的大容量閃存。

• 應(yīng)用范圍從靜態(tài)模型權(quán)重進(jìn)一步延伸至KV Cache、多模型、MoE和Agent工作負(fù)載。

• NAND的寫(xiě)入、耐久性和管理上的物理約束并未被消除。這些約束帶來(lái)的復(fù)雜性，最終轉(zhuǎn)移到了Base Die和加速器的軟件棧上。

在不改變規(guī)范原意的基礎(chǔ)上，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))對(duì)此進(jìn)行編譯和整理，重點(diǎn)解讀HBF的系統(tǒng)定位、高帶寬緣起、推理應(yīng)用場(chǎng)景以及NAND介質(zhì)帶來(lái)的工程約束。

內(nèi)存墻問(wèn)題從CPU時(shí)代一直延續(xù)到當(dāng)今以數(shù)據(jù)為中心的計(jì)算系統(tǒng)中。當(dāng)GPU的性能提升速度持續(xù)快于內(nèi)存響應(yīng)時(shí)間，數(shù)據(jù)搬運(yùn)也就越來(lái)越成為性能瓶頸。

與此同時(shí)，大語(yǔ)言模型規(guī)模和上下文長(zhǎng)度的增長(zhǎng)，對(duì)更高的內(nèi)存帶寬和大幅增加的內(nèi)存容量都提出了需求。

AI處理所涉及的數(shù)據(jù)大致可分為兩類(lèi)：一類(lèi)包括模型輸入和連續(xù)處理層生成的中間結(jié)果，這些數(shù)據(jù)是動(dòng)態(tài)的，通常被稱(chēng)為激活值；另一類(lèi)包括定義模型的權(quán)重（參數(shù)）。

在推理運(yùn)行期間，模型權(quán)重一般保持不變。然而，它們的總量可能遠(yuǎn)超單顆處理芯片或其本地緩存所能容納的規(guī)模。

對(duì)于足夠大的模型來(lái)說(shuō)，部分權(quán)重可能存儲(chǔ)在機(jī)架內(nèi)的SSD上，或位于距離處理器更遠(yuǎn)的網(wǎng)絡(luò)附加存儲(chǔ)中。

這就形成了一條多層級(jí)的數(shù)據(jù)路徑：非易失性存儲(chǔ)提供長(zhǎng)期容量，計(jì)算所需的權(quán)重被帶入DRAM（可能是HBM），然后緩存在處理器側(cè)的SRAM中。

因此，一個(gè)權(quán)重第一次被訪問(wèn)時(shí)，數(shù)據(jù)可能要穿過(guò)好幾層存儲(chǔ)層級(jí)才能到達(dá)處理器。如果這個(gè)權(quán)重后來(lái)被擠出緩存，而之后又需要用到它，那同樣的路徑就得再走一遍。

HBF背后的構(gòu)想與催生HBM的思路相似：通過(guò)堆疊和共封裝，將存儲(chǔ)介質(zhì)移近計(jì)算單元。

但二者使用的介質(zhì)和承擔(dān)的角色不同。HBM以DRAM提供低延遲、高讀寫(xiě)帶寬的工作內(nèi)存；HBF則試圖利用容量更大的NAND，在保持較高聚合讀取帶寬的同時(shí)，承接部分原本存放在SSD或網(wǎng)絡(luò)存儲(chǔ)中的大規(guī)模、以讀取為主的數(shù)據(jù)，例如模型權(quán)重。

在部分系統(tǒng)設(shè)計(jì)中，預(yù)先存入HBF的模型權(quán)重可以繞過(guò)傳統(tǒng)的DRAM暫存環(huán)節(jié)，直接向處理器側(cè)緩存?zhèn)鬏?。這樣的設(shè)計(jì)盡管會(huì)使緩存和內(nèi)存管理變得復(fù)雜，但的確省掉一部分從外部存儲(chǔ)到DRAM的傳輸開(kāi)銷(xiāo)。

正如Expedera首席科學(xué)家兼聯(lián)合創(chuàng)始人Sharad Chole所描述的，HBF旨在彌合“高帶寬訪問(wèn)與高存儲(chǔ)容量”之間的鴻溝。這個(gè)定位比簡(jiǎn)單地將HBF描述為更快的SSD或基于閃存的HBM更為精確。

HBF將模型權(quán)重放入處理器封裝內(nèi)的一種概念架構(gòu)

圖源Bryon Moyer / Semiconductor Engineering

而OCP規(guī)范將HBF正式定義為一個(gè)非一致性的、以?xún)?nèi)存為中心的閃存設(shè)備，緊鄰GPU、TPU或其他xPU。其目的是通過(guò)在處理器附近附加TB級(jí)的額外內(nèi)存容量來(lái)增強(qiáng)HBM。

因此，HBF既不是直接取代了HBM，也不是簡(jiǎn)單為后者增加容量。它在高帶寬內(nèi)存與傳統(tǒng)存儲(chǔ)之間增加了另一個(gè)內(nèi)存層級(jí)，使更大比例的模型數(shù)據(jù)在物理上保持更靠近計(jì)算單元。

一個(gè)HBF設(shè)備由三個(gè)主要元素構(gòu)成：

• 一個(gè)Base Die；

• 一個(gè)NAND Core Die堆疊；

• 連接Base Die與NAND堆疊的TSV通道。

Base Die不只是一個(gè)無(wú)源互連層。在與主機(jī)xPU保持通信的同時(shí)，Base Die管理UCIe協(xié)議并控制主機(jī)接口與NAND die之間的數(shù)據(jù)移動(dòng)。

此外，它還負(fù)責(zé)處理主機(jī)和NAND命令、ECC編碼和解碼、錯(cuò)誤報(bào)告、傳輸調(diào)度、讀/寫(xiě)/擦除狀態(tài)、NAND初始化和TSV冗余映射。

這種分工讓HBF與“直接把閃存die放在處理器旁邊”有了本質(zhì)區(qū)別：NAND堆疊提供容量，而B(niǎo)ase Die為堆疊提供了作為片上封裝內(nèi)存設(shè)備所需的控制、接口和可靠性機(jī)制。

HBF Base Die、NAND Core Die堆疊與xPU連接

圖源OCP規(guī)范

xPU通過(guò)UCIe 3.0跟HBF連接，這是一種用于封裝內(nèi)die-to-die互連的標(biāo)準(zhǔn)。在UCIe（Universal Chiplet Interconnect Express）接口之上，用AXI作為通信協(xié)議。簡(jiǎn)單來(lái)說(shuō)，UCIe負(fù)責(zé)物理層和鏈路層的基礎(chǔ)，AXI則承載主機(jī)和HBF之間的讀寫(xiě)操作。

規(guī)范里對(duì)UCIe協(xié)議層、Flit格式和AXI通道有非常詳細(xì)的描述。但如果只關(guān)心HBF在系統(tǒng)里的角色，關(guān)鍵在于它需要一套專(zhuān)用的片上封裝接口，xPU和HBF兩邊都得有對(duì)應(yīng)的鏈路層實(shí)現(xiàn)，而不是像PCIe SSD那樣，隨便接到現(xiàn)有加速器上就能用的。

一個(gè)HBF堆疊最多可支持16個(gè)主機(jī)通道。每個(gè)通道使用獨(dú)立的UCIe鏈路并提供對(duì)其自身NAND資源的訪問(wèn)。通過(guò)一個(gè)通道發(fā)出的請(qǐng)求不能訪問(wèn)連接到另一個(gè)通道的數(shù)據(jù)。

每個(gè)通道也有自己連續(xù)的本地地址空間。Base Die將該本地地址空間映射到物理NAND存儲(chǔ)體、die和塊上。在系統(tǒng)層面，主機(jī)軟件負(fù)責(zé)將主機(jī)的全局地址映射到可用HBF通道的本地地址空間上。

其結(jié)果并非一個(gè)單一的、自動(dòng)統(tǒng)一的閃存池，而是一種通道化架構(gòu)，其性能部分取決于主機(jī)如何在多個(gè)獨(dú)立資源之間分布數(shù)據(jù)和請(qǐng)求。

這種區(qū)別很重要，因?yàn)橐?guī)范還要求HBF和HBM在同一個(gè)系統(tǒng)中使用時(shí)必須分開(kāi)管理。HBF不會(huì)自動(dòng)成為HBM一致性地址空間的一部分。軟件必須決定哪些數(shù)據(jù)屬于哪個(gè)內(nèi)存層級(jí)，以及數(shù)據(jù)應(yīng)如何移動(dòng)、分區(qū)和訪問(wèn)。

規(guī)范定義了三個(gè)性能等級(jí)：

規(guī)范給出的參考配置采用16顆NAND Die、每通道16個(gè)Bank和4KiB NAND頁(yè)，總?cè)萘繛?12GiB（GiB按二進(jìn)制計(jì)量，GB按十進(jìn)制計(jì)量，約合550 GB），并允許更高容量的HBF堆疊。

最高約3TB/s的帶寬目標(biāo)，并不是因?yàn)閱晤wNAND獲得了接近HBM的性能，而是通過(guò)16條主機(jī)通道，以及多Die、多Bank和多陣列并行匯聚而成。最高配置下，每條通道采用64位接口，每條數(shù)據(jù)lane速率最高為32GT/s。

要真正利用這些并行資源，數(shù)據(jù)需要分布在足夠多的通道、Die和Bank中，主機(jī)也必須維持足夠的請(qǐng)求并發(fā)性，由Base Die完成相應(yīng)調(diào)度。

因此，約3TB/s更準(zhǔn)確地說(shuō)是最高配置下的規(guī)范目標(biāo)，而非真實(shí)芯片或推理負(fù)載的實(shí)測(cè)結(jié)果。

即使聚合讀取帶寬進(jìn)入HBM量級(jí)，HBF也不等同于HBM。二者在延遲、寫(xiě)入能力、訪問(wèn)粒度、耐久性和內(nèi)存語(yǔ)義上仍有明顯差異。

HBF的核心優(yōu)勢(shì)，是以大容量NAND配合高并行讀取，而不是在所有工作負(fù)載下獲得與DRAM相同的表現(xiàn)。

模型權(quán)重仍然是HBF最自然的工作負(fù)載。

它們的范圍可從數(shù)GiB達(dá)到數(shù)十乃至數(shù)百GiB，必須在Token生成期間被獲取，且在推理期間通常保持不變。這使得它們比必須持續(xù)重寫(xiě)的數(shù)據(jù)更適合讀取優(yōu)化、高容量的NAND層級(jí)。

正如內(nèi)存分析師Jim Handy所總結(jié)的區(qū)別：“訓(xùn)練不斷改變模型權(quán)重，而推理通常使它們保持不變”。

然而，OCP規(guī)范賦予HBF的范圍超越了靜態(tài)權(quán)重存儲(chǔ)。其應(yīng)用章節(jié)包括單一LLM服務(wù)、存儲(chǔ)和切換多個(gè)LLM、混合專(zhuān)家模型、多模態(tài)模型、智能體工作負(fù)載、AI參數(shù)加載和KV Cache讀寫(xiě)。

對(duì)于單一模型，規(guī)范描述了將模型參數(shù)分布到所有主機(jī)通道上，以便它們可以被并行讀取。對(duì)于多個(gè)模型，它提供了兩種可能的布局：

• 將每個(gè)模型交錯(cuò)在所有通道上，使活動(dòng)模型能夠使用完整的聚合帶寬。

• 將不同模型分配到專(zhuān)用的通道組，允許多個(gè)模型被訪問(wèn)而不會(huì)爭(zhēng)用相同的通道。

在HBF中保持多個(gè)模型，也可以減少當(dāng)活動(dòng)模型切換時(shí)從外部SSD重新加載整個(gè)模型的需求。雖然這并不意味著模型切換沒(méi)有延遲，但它可以消除傳統(tǒng)部署中單獨(dú)的SSD到加速器加載步驟。

MoE、多模態(tài)和智能體工作負(fù)載，在HBF上的數(shù)據(jù)放置可以沿用多模型案例的兩種策略：要么把數(shù)據(jù)打散到所有通道上以追求最大帶寬，要么把數(shù)據(jù)放在指定通道里優(yōu)先考慮容量分配和工作負(fù)載隔離。

更重要的擴(kuò)展，是KV Cache。

在Prefill預(yù)填充階段，模型各層會(huì)計(jì)算并寫(xiě)入KV Cache；進(jìn)入Decode（解碼）階段后，注意力模塊（Attention）讀取先前生成的KV Cache，并在生成后續(xù)Token時(shí)添加新的緩存內(nèi)容。

因此，與推理期間基本保持不變的模型權(quán)重相比，KV Cache會(huì)在推理過(guò)程中持續(xù)增長(zhǎng)，并不斷發(fā)生讀寫(xiě)。

規(guī)范期望主機(jī)理解LLM或AI工作負(fù)載的結(jié)構(gòu)，并安排KV Cache數(shù)據(jù)以?xún)?yōu)化讀寫(xiě)性能。因此，HBF不僅被定義為一個(gè)參數(shù)加載設(shè)備，還被定義為推理運(yùn)行時(shí)生成數(shù)據(jù)的一個(gè)可能的存儲(chǔ)目標(biāo)。

這擴(kuò)大了HBF的潛在價(jià)值，尤其是在更長(zhǎng)的上下文和智能體工作負(fù)載增加內(nèi)存容量需求的情況下。但它也使該架構(gòu)直接接觸到NAND最弱的特性——頻繁寫(xiě)入。

盡管HBF改變了閃存的位置、接口和內(nèi)部并行性，其底層介質(zhì)仍然是NAND。

NAND閃存的物理結(jié)構(gòu)決定了它的讀寫(xiě)方式。閃存芯片內(nèi)部被劃分為若干塊（block），每個(gè)塊又進(jìn)一步分為若干頁(yè)（page）。

規(guī)范中使用的是4 KiB大小的NAND頁(yè)，并支持4 KiB對(duì)齊的突發(fā)寫(xiě)入。小于4 KiB的寫(xiě)入請(qǐng)求不會(huì)立即寫(xiě)入NAND Core Die，而是先在Base Die中緩存，湊滿(mǎn)一個(gè)完整的4 KiB頁(yè)面后再寫(xiě)入。

在NAND塊內(nèi)部，HBF要求順序?qū)懭搿Ｋ恢С謱?duì)已編程頁(yè)面的直接隨機(jī)覆蓋寫(xiě)入。要重寫(xiě)一個(gè)塊里的任何數(shù)據(jù)，不能直接覆蓋，必須先把整個(gè)塊擦除，然后從頭開(kāi)始，按規(guī)定的頁(yè)面順序重新寫(xiě)入一遍。

這些規(guī)則與大型、預(yù)定的模型權(quán)重布局相對(duì)兼容——權(quán)重是一次寫(xiě)入、反復(fù)讀取的數(shù)據(jù)，寫(xiě)入時(shí)按順序以完整頁(yè)面寫(xiě)入即可。

但對(duì)于動(dòng)態(tài)生成的數(shù)據(jù)來(lái)說(shuō)卻是一件困難的事，其大小、生命周期和更新模式在推理期間隨時(shí)可能變化。

像KV Cache這類(lèi)需要頻繁進(jìn)行小粒度寫(xiě)入的數(shù)據(jù)，規(guī)范并未聲稱(chēng)所有KV Cache工作負(fù)載都能在HBF上表現(xiàn)良好，實(shí)際性能將取決于主機(jī)如何組合小寫(xiě)入、布局KV Cache頁(yè)面，并避免產(chǎn)生NAND塊低效使用的模式。

因?yàn)槟Ｐ蜋?quán)重和KV Cache具有不同的讀寫(xiě)模式，規(guī)范也指出，將兩者混合在同一區(qū)域可能會(huì)降低耐久性和容量利用率。因此，它建議以通道粒度對(duì)HBF進(jìn)行分區(qū)，并提供兩種示例策略：

• 均勻分區(qū)將通道均勻劃分，簡(jiǎn)化了主機(jī)控制的磨損管理。

• 非均勻分區(qū)僅分配足夠的通道來(lái)存儲(chǔ)活動(dòng)模型權(quán)重，并將剩余容量分配給KV Cache。

模型權(quán)重與KV Cache之間的通道分區(qū)

圖源OCP規(guī)范

這也說(shuō)明HBF的數(shù)據(jù)布局不能完全交給硬件自動(dòng)完成。主機(jī)必須了解工作負(fù)載的特點(diǎn)，估算權(quán)重和KV Cache各需要多少容量，再?zèng)Q定給兩邊各分配多少帶寬和耐久性預(yù)算。

由主機(jī)參與管理的方式，還延伸到KV Cache之外。

由于各條HBF通道擁有獨(dú)立的地址空間，主機(jī)軟件還需要將全局地址映射到不同通道，決定數(shù)據(jù)如何交錯(cuò)，并分別管理HBF與HBM。

對(duì)NAND介質(zhì)本身的維護(hù)，也并非全部封裝在Base Die內(nèi)部。磨損均衡既可以由Base Die完成，也可以由主機(jī)通過(guò)區(qū)域重映射進(jìn)行控制。

主機(jī)可以調(diào)整邏輯地址與物理位置之間的映射，使編程和擦除次數(shù)更均勻地分布，但重映射命令不會(huì)自動(dòng)遷移已有數(shù)據(jù)。主機(jī)需要先停止相關(guān)訪問(wèn)，再將數(shù)據(jù)重新寫(xiě)入新的位置。

數(shù)據(jù)保持和讀取干擾同樣需要定期處理。Base Die負(fù)責(zé)檢測(cè)并上報(bào)NAND狀態(tài)，主機(jī)則可能需要刷新數(shù)據(jù)、重試讀取、隔離故障容量，或等待設(shè)備完成恢復(fù)操作。

不過(guò)，HBF并未將傳統(tǒng)SSD控制器承擔(dān)的全部功能轉(zhuǎn)移給主機(jī)軟件。Base Die仍負(fù)責(zé)NAND命令、ECC、請(qǐng)求調(diào)度和錯(cuò)誤檢測(cè)，但數(shù)據(jù)布局、部分磨損管理和異常恢復(fù)需要主機(jī)共同參與。

因此，HBF的職責(zé)劃分也不同于HBM和傳統(tǒng)SSD。基于DRAM的前者，無(wú)需面對(duì)NAND存在的管理復(fù)雜度；后者雖然同樣使用NAND，但地址轉(zhuǎn)換、垃圾回收和磨損管理通常由SSD控制器完成，上層軟件基本感知不到這些管理過(guò)程。

HBF則處于另一種狀態(tài)：Base Die保留了設(shè)備側(cè)控制能力，但沒(méi)有將所有NAND介質(zhì)管理完全封裝起來(lái)。為了充分利用其容量和并行帶寬，xPU主機(jī)及其軟件仍需理解通道、數(shù)據(jù)布局和部分介質(zhì)狀態(tài)。

這正是HBF最核心的取舍：它把大容量NAND移到更靠近計(jì)算的位置，同時(shí)也要求硬件、固件、運(yùn)行時(shí)軟件與工作負(fù)載的數(shù)據(jù)布局進(jìn)行更緊密的協(xié)同。

作者長(zhǎng)期關(guān)注AI芯片上下游，更多信息可添加微信 Evelynn7778 交流。

都叫3D芯片，為什么是三門(mén)不同的生意？

2026-08-05

獨(dú)家丨把芯片設(shè)計(jì)交給AI，上海AI Lab李林陽(yáng)創(chuàng)業(yè)獲數(shù)千萬(wàn)元首輪融資

2026-07-09