HBM 高带宽内存详解：结构、参数、制造难点、芯片与技术路线

HBM 怎样工作：用“宽”换带宽

传统 DDR 或 GDDR 把多个独立内存封装焊在 PCB 上，数据要经过芯片焊盘、封装走线和较长的板级线路。HBM 则把 DRAM 裸片垂直堆叠，并与计算芯片一起放在硅中介层或其他高密度互连结构上。物理距离缩短后，系统可以布置成百上千条较低速数据线，而不必让少量线路运行在极高频率。

图 1：HBM 的简化剖面。DRAM 层之间由 TSV 与微连接贯通，底部逻辑 die 负责通道、测试、修复和接口功能；中介层把 HBM 的宽总线接到计算芯片。实际产品的堆叠层数、基底逻辑和封装结构因代际与厂商而异。[1]

TSV：垂直穿过硅片的导线

TSV（Through-Silicon Via，穿硅通孔）是在硅中刻蚀深孔、形成绝缘层并填入导体。它让上层 DRAM 不必把信号绕到裸片边缘，而能沿垂直方向穿过整叠芯片。

微凸点与键合：把层与层接起来

传统 HBM 使用微凸点配合热压键合、NCF 或模塑底填材料。互连节距继续缩小时，铜到铜混合键合会成为重要候选，因为它能提高连接密度并减少寄生电阻和电容。

逻辑基底：内存堆叠的“交通层”

最底部的 base die / base logic die 汇聚垂直通道，承担接口、时钟、测试与修复。HBM4 开始强化先进逻辑工艺和定制基底的作用，使内存更贴近某一代 GPU 或 ASIC 的需求。

2.5D 封装：让宽总线真正可布线

HBM 与 GPU 通常并非上下堆叠，而是并排放在中介层上，因此被称为 2.5D 集成。中介层提供远高于普通 PCB 的线宽、间距和凸点密度，是 HBM 系统不可分割的一部分。

为什么“宽”比一味提高频率更有效

内存理论峰值带宽由接口宽度与每 pin 传输速率共同决定。忽略编码和协议开销时，可以用下面的式子快速估算：

带宽（Byte/s） = 每 pin 传输速率（bit/s） × 数据位宽（bit） ÷ 8

例如，一组 1024-bit 接口、每 pin 6.4 Gb/s 的 HBM，理论带宽是 6.4 × 1024 ÷ 8 = 819.2 GB/s。HBM4 把接口扩大到 2048-bit；即便按 8 Gb/s 的基准速率计算，单 stack 也能达到约 2 TB/s。三星公布的 HBM4 产品最高可到 13 Gb/s，对应约 3.3 TB/s 的单 stack 峰值。[2][3]

带宽不是延迟。HBM 能在同一时间并行搬运大量数据，但一次随机读取的首字节延迟并不会按带宽倍数下降。小批量、分支密集、数据相关性强的任务可能更在意缓存命中率和延迟；只有拥有足够并行度、能持续发出大量内存请求的工作负载，才容易吃满 HBM 带宽。

看 HBM 规格时，真正关键的参数

参数	它回答的问题	常见误区
容量（GB/stack）	一组堆叠能容纳多少权重、激活或 KV cache	单 stack 容量不等于整颗加速器容量
数据位宽（bit）	每次能并行传输多少 bit；HBM3 为 1024-bit，HBM4 扩至 2048-bit	pin 数增加会同时放大封装与功耗难度
pin speed（Gb/s）	每一条数据线每秒传多少 bit	Gb/s 不能直接当成 GB/s
单 stack 带宽	位宽 × pin speed ÷ 8，是代际比较的基础	持续应用带宽通常低于理论峰值
封装总带宽	多个 stack 和控制器共同可提供的峰值	不能把单 stack 和整颗 GPU 的数字混比
堆叠高度（8H/12H/16H）	垂直叠了多少层 DRAM die，影响容量与封装厚度	层数越多不代表一定更快，散热和良率会更难
能效（pJ/bit）	搬运每 bit 数据消耗多少能量	必须在相近速率、容量和测量口径下比较
ECC 与 RAS	发生软错误、通道或 die 故障时如何检测和恢复	“支持 ECC”不足以说明完整系统可靠性

代际数字要怎样读

代际	接口位宽	典型/公开 pin speed	单 stack 峰值	解读
HBM2E	1024-bit	约 3.2–3.6 Gb/s	约 410–461 GB/s	仍用于部分 AI、HPC 加速器和带 HBM 的 CPU
HBM3	1024-bit	最高 6.4 Gb/s（标准更新）	最高 819 GB/s	通道数增加，刷新、RAS 与堆叠能力增强
HBM3E	1024-bit	产品常见约 8–9.6 Gb/s	约 1–1.23 TB/s	行业常用名称，更像 HBM3 的增强产品阶段
HBM4	2048-bit	标准基准 8 Gb/s；产品已超过 11 Gb/s	2 TB/s 起；公开产品可超过 2.8 TB/s	位宽翻倍，并强化先进逻辑 base die 与客户定制

表中是便于理解的代表范围，不是采购规格。不同密度、层数、速度等级和厂商产品会有差异；HBM3E 也不是与 HBM3 完全割裂的独立 JEDEC 架构代际。HBM4 产品数据参考三星与 Micron 的公开规格。[3][12]

技术难点：HBM 为什么不是“把 DRAM 叠起来”这么简单

HBM 的难度横跨存储器前道工艺、TSV、晶圆减薄、键合、材料、封装、测试和系统协同。任何一项失控，都可能让一组昂贵的 HBM 或整个 GPU + HBM 封装报废。

01 TSV 的深宽比与一致性

深孔刻蚀需要在整片晶圆上保持孔径、侧壁和深度一致；绝缘衬层、阻挡层与铜填充不能留下空洞。TSV 的电阻、电容和应力还会影响邻近 DRAM 单元，制造后需要校准并屏蔽缺陷通道。

02 裸片减薄与翘曲

为了在封装高度限制内堆 8、12 甚至 16 层，DRAM die 必须被磨得很薄。薄硅片更容易破裂、翘曲和发生搬运损伤，临时载片、解键合和颗粒控制都会影响良率。

03 数以万计连接点的键合

每一层都要在极小误差内对准。微凸点、NCF、TCB 或 MR-MUF 工艺需要同时控制压力、温度、底填流动和空洞；堆叠越高，累积偏差与热机械应力越难管理。

04 复合良率与已知良品

如果 12 层 DRAM、一个逻辑基底和数万连接中任一关键部分失败，整组 stack 都可能失效。因此必须在堆叠前筛出 known-good die，并在中间与最终阶段进行高速测试、老化、修复和分档。

05 热从堆叠内部出来

靠近 GPU 的逻辑基底和 I/O 区产生热量，上层 DRAM 又形成较长导热路径。温度上升会增加漏电、降低数据保持时间并加速材料老化；更高 pin speed 与更多层数会让热设计进一步恶化。

06 信号完整性与电源完整性

HBM4 有 2048 条数据 I/O，宽接口同时翻转时会带来电源噪声、串扰和时序偏差。base die、interposer、封装电源网络和 GPU 内存控制器必须联合仿真，不能各自独立设计。

07 大尺寸先进封装

多组 HBM 围绕大 GPU 放置，会推高中介层面积、封装基板层数、凸点数量和封装翘曲风险。问题不只是“HBM 能否做出来”，还包括整个 CoWoS 类模块能否以可接受的良率和产能交付。

08 客户认证周期

HBM 与特定加速器的 PHY、base die 和封装高度深度耦合。速度、功耗、温度循环与长期可靠性都要在客户平台上验证，能做出样品不等于已经获得大规模量产资格。

哪些场景真正需要 HBM

AI 训练：反复读取参数、激活与优化器状态

大模型训练中的矩阵乘法需要持续从内存读取权重与激活，再写回梯度和优化器状态。容量决定一个设备能放下多少模型状态，带宽则决定计算单元能否保持忙碌。多 GPU 训练还要同时平衡 HBM 带宽与 GPU 间网络带宽。

AI 推理：权重带宽与 KV cache 容量

低 batch 的自回归生成往往是 memory-bound：每生成一个 token，都可能需要扫描大量模型权重。长上下文又会扩大 KV cache。此时增加 FLOPS 未必能等比例提高 token/s，而更大的 HBM 容量和带宽可以减少分片、通信与 cache 换入换出。

科学计算与工程仿真

天气预报、计算流体力学、分子动力学、有限元、地震成像和稀疏线性代数会流式访问大数组，算术强度可能不高。HBM 能提高 stencil、FFT、稀疏矩阵和图算法的数据供给速度，但具体收益仍取决于访问局部性和并行度。

CPU + HBM 与统一内存加速器

HBM 不只属于独立 GPU。Intel Xeon CPU Max 把 HBM2E 放进 CPU 封装，AMD MI300A 则让 CPU 与 GPU 共享 HBM3 地址空间。这类设计适合希望减少 CPU–GPU 数据复制，或直接加速带宽受限 CPU 代码的 HPC 系统。

为什么消费级设备通常不用

网页、办公、普通游戏和移动应用更看重成本、容量扩展、待机功耗与板级灵活性。GDDR、LPDDR 和 DDR 已足够，而且无需昂贵的大尺寸中介层。HBM 只有在带宽、能效或封装面积的价值足以覆盖复杂度时才划算。

已经使用 HBM 的代表芯片

HBM 已从早期图形卡扩展到 AI GPU、定制 AI ASIC、HPC APU 和通用 CPU。下面选择的是架构与应用有代表性的现有产品，而不是完整清单。

芯片/加速器	HBM 配置	公开峰值带宽	说明
NVIDIA H200	141 GB HBM3E	4.8 TB/s	Hopper 架构，面向生成式 AI 与 HPC[4]
NVIDIA B200 / B300	180 GB / 288 GB HBM3E	最高 8 TB/s	Blackwell 系列；具体容量随平台和版本变化[5]
AMD Instinct MI300X	192 GB HBM3	5.3 TB/s	8 组 HBM，面向 AI 训练、推理和 HPC[6]
AMD MI325X / MI350 系列	256 GB / 288 GB HBM3E	6.0 / 8.0 TB/s	以更大 HBM 容量承载大模型和 KV cache[7]
Intel Gaudi 3	128 GB HBM2E	—	AI 训练与推理加速器，同时采用标准以太网扩展[8]
Google TPU v5p	每 chip 95 GB HBM	2.765 TB/s	Google Cloud 的训练型 TPU Pod 节点[9]
Intel Xeon CPU Max	最高 64 GB HBM2E	最高约 1 TB/s	把 HBM 集成到通用 x86 CPU 封装的代表[10]

横向比较时要看产品形态：整颗加速器的总带宽取决于 stack 数量、内存控制器和封装，不能用它直接代表某一颗 HBM stack 的能力。峰值也不等于所有模型都能达到的持续带宽。

哪些厂商掌握了 HBM 技术

如果“掌握”指的是能独立设计 DRAM、完成 TSV 与多层堆叠、通过客户验证并大规模供货，那么公开市场的核心供应商集中在 SK hynix、Samsung Electronics 与 Micron 三家。HBM 供应链还有大量关键参与者，但它们不应与 HBM DRAM 原厂混为一谈。

SK hynix

长期处于 HBM 产品化前列，量产 HBM3E，并在 2026 年初确认 HBM4 已启动大规模生产；同年 6 月又送出最高 16 Gb/s 的 12 层 HBM4E 样品。其差异化能力包括 MR-MUF 堆叠材料与工艺、热设计以及与加速器客户协同开发。[11][14]

Samsung

同时拥有 DRAM、先进逻辑代工与封装能力。三星在 2026 年宣布 HBM4 已量产并商业出货，采用 1c DRAM 与 4 nm 逻辑基底；其路线还覆盖定制 HBM、HBM-PIM 和下一代 HBM4E。[3][17]

Micron

已形成 HBM3E 产品与客户供货，并在 2026 年推进 36 GB 12H HBM4 量产。其公开 HBM4 规格为 2048-bit、超过 11 Gb/s 和超过 2.8 TB/s，16H 48 GB 产品也已进入送样阶段。[12]

供应链角色要分开：TSMC 等厂商提供 CoWoS 类先进封装、硅中介层与 HBM4 逻辑基底工艺；设备、材料、EDA 和 OSAT 厂商则解决键合、测试、底填、载片与量产设备问题。它们掌握 HBM 生态中的关键技术，但并不等于它们生产 HBM DRAM。类似地，NVIDIA、AMD、Google 设计使用 HBM 的计算芯片，也不直接制造 HBM 堆叠。

对任何“某厂已突破 HBM”的消息，都应至少追问四件事：是 DRAM die、逻辑 base die 还是封装？做出的是测试芯片、客户样品还是量产产品？通过了哪一代加速器认证？是否能以稳定良率和规模连续交付？

下一步会突破什么，谁正在做

HBM 的下一阶段不是单纯把数字从 3 改成 4。接口、逻辑、封装、冷却和系统内存层级正在一起变化。下面把已经公开的产品路线与仍在研究中的方向分开说明。

1. HBM4 / HBM4E：2048-bit 接口与更高 pin speed

HBM4 先把 I/O 位宽从 1024-bit 翻倍到 2048-bit，再通过更先进的 PHY 与 base die 提高每 pin 速率。SK hynix、三星和 Micron 均已公布 HBM4 量产信息；三星与 SK hynix 又分别在 2026 年 5 月和 6 月公布最高 16 Gb/s、约 4 TB/s 的 12 层 HBM4E 样品。继续提速的难点会从 DRAM 单元转向 D2D PHY 功耗、供电噪声、封装布线与散热。[3][12][14][20]

2. 定制 HBM：base die 变成系统协同设计的一部分

先进逻辑 base die 可以放入客户定制的 PHY、测试、RAS、功耗控制，甚至部分数据处理功能。TSMC 已公开 N12 与 N3 HBM4 base die 工艺，并规划更大的 CoWoS 平台，以在一个封装中容纳 12 组以上 HBM。内存供应商、晶圆代工厂和 GPU/ASIC 设计公司的边界因此会比 HBM3 时代更紧密。[13]

3. 从 micro-bump 走向 Cu-Cu 混合键合

更细的混合键合能缩短互连、降低寄生并提高垂直连接密度，是未来 memory-on-logic 和 memory-on-memory 的候选技术。imec 已展示 2 µm pad pitch 的 die-to-wafer 混合键合，并继续向 1 µm 推进；IBM Research 也在研究亚 10 µm 互连的电迁移、断裂和长期可靠性。当前难点不是“能不能连上”，而是大面积量产时的表面洁净度、对准、空洞、已知良品与寿命。[16][19]

4. 把散热结构直接放进 HBM

堆叠继续增高后，只从顶部或 GPU 冷板间接导热会越来越困难。SK hynix 在 2026 年公布 iHBM 概念，把绝缘、导热的集成冷却元件放入 HBM 封装的热点区域，厂商称可把热阻降低 30%。这类方案说明热结构正在从系统附件变成内存封装自身的一部分。[15]

5. Processing-in-Memory：少搬数据，而不是无限加宽

HBM-PIM 把适合并行的数据处理放到内存 bank 或近内存逻辑中，减少数据来回穿过接口。三星已在 HBM2 平台上公开可编程 PIM 原型并与 AMD 系统联合评估。PIM 的长期难点包括编程模型、缓存一致性、通用性、精度支持和软件生态，因此它更可能先加速特定算子，而不是取代 GPU。[17]

6. HBM 之外增加新的容量层

模型和 KV cache 增长速度可能继续快于 HBM 容量。系统因此会组合 HBM、CXL DRAM、低功耗扩展内存和 SSD/flash，而不是要求所有数据永久驻留 HBM。SK hynix 与 Sandisk 已推动 HBF（High Bandwidth Flash）标准化，目标是在 HBM 与 SSD 之间增加更高容量的推理内存层；它仍处在标准化和前期产业化阶段，不应当成已量产的 HBM 替代品。[18]

7. 3D HBM-on-GPU：把内存从“旁边”移到“上面”

2.5D HBM 仍要在中介层上横向传输。若把 HBM 垂直堆到 GPU/ASIC 上方，可以进一步缩短互连并提高计算密度，但 GPU 热量会穿过 DRAM，形成比今天更严峻的热点。imec 的系统协同仿真显示，必须同时改变裸片布局、加入热硅与双面冷却，并配合频率和工作负载管理，温度才可能接近现有 2.5D 方案。它是研究路线，不是已经量产的 HBM 产品。[21]

8. SPHBM4：用更窄的封装接口降低系统成本

JEDEC 在 2026 年 7 月发布 SPHBM4 标准：沿用 HBM4 DRAM core die，但通过新 base die 把外部数据线从 2048 条降至 512 条，再用 4:1 串行化维持 HBM4 级总吞吐。更宽松的 bump pitch 有望让内存直接安装在有机基板上，减少对昂贵硅中介层的依赖；代价是更高频 PHY、SerDes 功耗、延迟和长距离信号完整性压力。目前它是新标准，不是已量产产品。[22]

目前是谁在推进这些前沿方向？

SK hynix、Samsung 和 Micron 负责 16H、HBM4E、定制 base die、堆叠材料与散热的产品工程；TSMC 与 Samsung Foundry 推进先进逻辑 base die、CoWoS/I-Cube 和更大系统封装；imec 与 IBM Research 研究细间距混合键合、3D 热设计和可靠性；JEDEC 负责 HBM4、SPHBM4 等接口标准；GPU、ASIC 与云厂商则通过控制器、封装和软件共同决定这些技术能否变成实际吞吐。这里没有一家厂商能独立完成整条技术链。

图 2：未来突破不会只来自 DRAM 制程。接口、逻辑基底、键合、散热和内存层级必须协同推进；其中 HBM4 已进入产品阶段，HBM4E 处于送样阶段，PIM、3D HBM-on-GPU、封装内冷却、HBF 与 SPHBM4 则处于不同程度的研究、验证或标准化阶段。

怎样判断一颗芯片是否真的受益于 HBM

不要只看“用了第几代 HBM”。更有效的判断顺序是：工作集能否装进显存；算法每做一次运算需要搬多少数据；访问是否足够并行；实测带宽占峰值多少；多芯片通信是否先成为瓶颈；最后再看每 token、每次仿真或每项任务的能耗和成本。

HBM 是把内存放得更近、接口做得更宽的一项系统工程。它显著缓解了内存墙，却没有消灭缓存、互连、软件调度和容量层级问题。真正专业的 HBM 设计，不是追求一张规格表里最大的 TB/s，而是在容量、带宽、功耗、热、良率、封装面积和应用吞吐之间找到可量产的平衡。

参考资料

说明：产品峰值和改进比例来自各厂商公开资料，代表其测试口径或产品声明，不等同于所有应用的独立实测结果。标准、样品、量产准备与商业出货在文中分别表述。