文：王世权 编辑：练怡萍
2024年4月12日，由华强电子网主办的“2024半导体产业发展趋势大会暨2023年度（第十六届）华强电子网优质供应商&电子元器件行业优秀国产品牌颁奖盛典”在深圳南山华侨城洲际大酒店圆满举办！冯明宪博士受邀参加芯榜承办的分论坛之“芯片与智能硬件融合创新论坛”，并做“AI时代HBM产业发展探讨”主题报告。
在报告中，冯明宪博士提出：HBM是AI半导体性能进一步提升并突破算力瓶颈的关键，随着AI技术加速创新应用，HBM市场规模也将急剧增长，2026年有望达到230亿美元，进而带动存储市场进入新一轮的上涨周期。报告对HBM技术、产业发展进行了系统分析，并对以HBM为代表的存储产业为基础的两岸AI半导体合作及投资机遇进行了展望。
下面就冯明宪博士的报告内容与大家分享：
二、HBM技术、工艺、市场分析
高带宽存储器，简称HBM，即High Bandwidth Memory，采用了3D堆叠技术，将多个DRAM芯片堆叠在一起，从而实现了更高容量，更大的存储带宽和更低的延迟，被广泛应用于高性能计算、数据中心等领域。
目前HBM大都采用了标准化设计：HBM存储器堆栈通过微凸块连接到 HBM 堆栈中的硅通孔（TSV 或连接孔），并与放置在基础封装层上的中间件相连，中间件上还安装有处理器，提供 HBM 到处理器的连接。与此同时，HBM通过控制芯片对多个DRAM芯片进行控制，使它们能够同时读取或写入数据，从而提高了存储带宽和数据处理能力。这样的设计与普通的DRAM相比，能够同时垂直连接多个DRAM并显著提升数据处理速度，这也是HBM具备更高存储带宽和更低延迟的关键所在。
自2013年第一代HBM诞生以来，随着技术的不断发展，HBM也经历了HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的顺序迭代，最新的HBM3E是HBM3的扩展版本，速率达到了8Gbps。
1、HBM关键技术
在HBM 设计制造过程中，先进封装是最关键技术，包括 TSV（硅通孔）、Bumping（凸点制造）、堆叠键合等技术，另外在与逻辑芯片共封时又另外使用中介层、CoWoS等技术。
HBM结构及相关技术图示
（1）TSV工艺
TSV硅通孔是实现容量和带宽扩展的核心，根据国际半导体技术发展路线图（ITRS），TSV定义为：连接硅圆片两面并与硅衬底和其他通孔绝缘的电互连结构。由此可见，TSV是一种垂直互连结构，特点是穿透硅衬底，并实现从对应电路层一面到另一面的电气连接。根据硅通孔的定义，可以知道，TSV的基本结构包括穿透硅衬底的导电通道，以及与衬底之间的绝缘隔离层。并且，为了实现衬底上下面的电气连接，还需要正面和背面的互连层，以实现信号的互连和再分布。
TSV概念最早可以追溯到1958年，威廉·肖克利（William Shockley）提出了一份专利申请“Semiconductive wafer and method of making the same”首次提出了硅通孔（TSV）结构，并获得专利批准。肖克利提出的TSV主要作用有两个，其一，实现芯片正反之间的电导通，其二，是有利于热管理，即更好的释放热量并提高热管理性能。经过几十年的发展，目前应用最广泛的是Cu-TSV，即硅通孔（TSV）中填充铜，而使用铜作为TSV填充材料的3D集成封装，主要是日本超级先锋协会首创电子技术联盟（1999-2003年）率先实现的。
2006年，三星电子发布了较为简单的存储芯片堆叠示意图，这些芯片大部分属于DRAM（动态随机存取存储器）或者I/O数量少于100的NAND闪存（I/O数量比较确切的是78个）。这种存储芯片附在有机基板上，即使采用8个芯片堆叠，它们总体的厚度（560μm）仍然小于普通芯片的厚度，但是考虑到综合生产成本与引线键合技术的成熟封装量产的竞争，使用硅通孔（TSV）技术的存储器芯片堆叠并未进行大规模量产。
在HBM设计制造中，通过在整个硅晶圆厚度上打孔，在芯片正面和背面之间形成数千个垂直互连。在HBM中多层DRAMdie堆叠，通过硅通孔和焊接凸点连接，且只有最底部的die能向外连接到存储控制器，其余管芯则通过内部TSV实现互连。
TSV工艺包含晶圆的表面清洗、光刻胶图案化、干法/湿法蚀刻沟槽、气相沉积、通孔填充、化学机械抛光等几种关键工艺，运用到晶圆减薄机、掩膜设备、涂胶机、激光打孔机、电镀设备、溅射台、光刻机、刻蚀机，同时配套的电镀液、靶材、特种气体、塑封料等。
TSV工艺流程
HBM中的TSV结构
（2）微凸块技术
凸块制造技术（Bumping）是一项关键的先进封装技术，它通过在芯片表面制造金属凸块来提供电气互连的“点”接口。这一技术在多个先进封装应用领域广泛应用，包括FC、WLP、CSP、以及3D封装等。
凸块指的是定向生长在芯片表面的金属凸起结构，它们与芯片焊盘直接或间接相连，具备金属导电特性。凸块工艺位于整个产业链的关键位置，处于集成电路制造和封装测试之间，因此被视为先进封装领域的核心技术之一。
其技术的基本原理如下：
晶圆制程后的加工：Bumping技术通常在晶圆制程的后阶段进行。晶圆制程包括完成IC电路部分的加工，而Bumping则在此之后进行，用以在晶圆的I/O端口的Pad上形成焊料凸点。
凸点形成过程：在Bumping过程中，通常会将焊料材料（通常是锡合金）涂覆或以其他方式添加到晶圆的特定区域，这些区域通常是I/O端口的Pad。随后，焊料会被加热，以形成小型的凸点，这些凸点用于连接晶片和其他封装组件，如基板（substrate）。
用途：Bumping技术的主要目标是确保晶片与其他封装组件之间的可靠连接。这种连接可以通过焊接等方法来实现，以便有效传输信号和能量。
随着封装技术的演进，凸块技术也向着更高密度、更小微间距方向发展。因此，在2.5D与3D先进封装中，凸块的尺寸至关重要，一般铜微凸块比焊球/凸块更小，可在封装中实现更多 I/O。当前，先进封装技术的微凸块间距最小达40μm，这相当于20μm至25μm的凸块尺寸，裸晶上相邻凸块之间的间距为15μm。
对于小于400μm的间距，在封装上有另外一些选择，即首先可以使用现有的凸块技术研发新的封装技术，以突破技术瓶颈，将当前400μm间距向下微缩至100μm。或者，另一种选择是被称为铜混合键合的新技术。在混合键合技术中，裸晶的连接并非通过封装中的凸块。相反，该技术利用微小的铜对铜互连，实现比传统封装具有更多I/O的更窄间距封装。对于封装技术来说，混合键合的间距至少在10μm及以下。
在第一种方案中，随着焊料/铜凸点技术逐渐向更窄间距微缩，对于新材料、新工艺和新工具的需求越来越多，随之挑战也大幅增加。而第二种方案，则面临着成本高昂技术苦难的局面，仅能应用在高端产品上，有较大的技术研发与应用局限。
铜柱凸块制程示意图
（3）键合工艺
在HBM产品开发之初，HBM主要采用“TSV+Bumping”+TCB键合方式堆叠（TSV一般由晶圆厂完成，封测厂可在堆叠环节进行配套）。
其中，热压键合TCB是由贝尔实验室的三位科学家 O. L. Anderson、H. Christensen 和 P. Andreatch 在 1955-58 年期间开发完成的。相关资料介绍，热压键合主要用于创建原子级金属键合。它利用力和热量来促进原子在晶格之间迁移，从而形成清洁、高导电性和坚固的键合。通常，TCB被用于垂直集成器件的 CMOS 工艺、金引线和表面之间固态键合的顺应键合（compliant bonding）、用于将芯片凸块键合到基板的倒装芯片应用以及用于连接微型组件的热压键合。
但随着堆叠层数的增加散热效率很差，TCB不再满足需求，海力士率先引入MR-MUF回归大规模回流焊工艺，即芯片之间用液态环氧模塑料作为填充材料，导热率比TC-NCF中的非导电薄膜高很多。
MR-MUF工艺流程
MR-MUF（Mass Reflow Molded Underfill )是将半导体芯片堆叠后，为了保护芯片和芯片之间的电路，在其空间中注入液体形态的保护材料，并固化的封装工艺技术。与每堆叠一个芯片铺上薄膜型材料的方式对比 工艺效率高，散热方面也更有效。
其具体步骤如下：
1）连接芯片的微凸块采用金属塑封材料；
2）一次性融化所有的微凸块，连接芯片与电路；
3）芯片与芯片之间或者芯片与载板之间的间隙填充，绝缘和塑封同时完成。
MR-MUF不仅能提高生产力，还能带来更高性能的 HBM。在芯片之间，环氧模塑料用作间隙填充材料，其导热率比 TC-NCF 中的非导电薄膜高得多。在SK海力士和三星电子、美光的HBM市场竞争中，SK海力士领先三星电子和美光的关键就在于MR-MUF工艺。三星电子从HBM生产之初就一直采用热压缩非导电薄膜（TC-NCF）工艺，而SK海力士采用的则是批量回流模制底部填充（MR-MUF）工艺。技术路线图显示，从HBM2e开始，海力士放弃了TC-NCF工艺，改用MR-MUF工艺，实现了更低的键合应力和更优的散热性能。海力士HBM3e将采用改进的MR-MUF工艺，降低键合应力，提升散热性能，增加堆叠层数。HBM4有可能采用混合键合（Hybrid bonding）工艺，进一步降低TSV DRAM层与层之间的间隙，实现更高层数堆叠。
海力士MR-MUF工艺和三星TC-NCF工艺比较
然而，TCB技术仍有着一定的优势，即是因为这项技术解决了标准倒装芯片（standard flip chip）的几个主要问题：例如热量从芯片顶部施加，因此只有芯片和 C4 焊料连接会升温，可以最大限度地减少任何基板翘曲问题；同时，这种键合方式确保均匀粘合，没有间隙变化或倾斜；最后，这种粘合几乎没有空隙，也没有污染。
因此，目前HBM市场暂时处于TCB与MR-MUF共存的时期。然而，无论是TCB技术还是MR-MUF工艺均存在着一定的局限性，难以实现更小的间距，混合键合Hybrid Bonding方案由此登上了舞台。
混合键合，是指在一个键合步骤中同时键合电介质（dielectric）和金属键合焊盘（metal bond pads）。具体而言，混合键合有两种类型：一种是晶圆到晶圆（wafer-to-wafer：W2W）键合，这种方式更加成熟，但限制了相同芯片尺寸的组合；另一种是芯片到晶圆（die-to-wafer：D2W）键合，它涉及更多的工艺步骤以及将芯片单独放置在载体晶圆或玻璃上（集体芯片到晶圆方法）。
在这两种情况下，通过BEOL 金属化处理的两片晶圆都会经历键合电介质的 CVD、阻挡层的镶嵌沉积，然后铜填充、电介质的平坦化（带有轻微的铜凹进）、等离子体激活以准备键合、对准、室温键合，并退火以形成铜焊盘的电连接。然后将硅晶圆背面研磨至最终厚度（通常
与微凸块（microbumps）相比，过渡到混合键合的原因相当简单。那就是3D内存堆栈和异构集成（超越摩尔时代的两个参与者）需要极高的互连密度，如上所述，混合键合可以满足这一需求；与本身支持高密度互连方案的微凸块相比，混合键合可提供更小尺寸的 I/O 端子和减小间距的互连。每个芯片之间的间隔距离取决于微凸块的高度，但在混合键合中该距离几乎为零。
因此，混合键合互连方案可以显著降低整体封装厚度，在多芯片堆叠封装中甚至可能高达数百微米。为此，自十多年前在CMOS 图像传感器中首次亮相，混合键合逐渐走向了3D NAND，甚至连DRAM和HBM，也对混合键合产生了兴趣。今年二月更是有消息传出，英特尔下一代 Xeon“Clearwater Forest”CPU 采用一个名为“Foveros Direct”的混合键合的3D 堆叠技术。
而在去年12月举办的IEDM 2023上，SK海力士宣布，其已确保HBM制造中使用的混合键合工艺的可靠性。消息表示，HBM 芯片的标准厚度为 720 µm。预计将于 2026 年左右量产的第 6 代 HBM（HBM4）需要垂直堆叠 16 个 DRAM，这对当前的封装技术满足客户满意度来说是一个挑战。因此，Hybrid Bonding工艺在下一代HBM中的应用被业界认为是必然的。
SK海力士堆叠键合技术路线图
而据了解，包括台积电、英特尔、三星、SK海力士、美光、索尼、豪威科技、铠侠、西部数据、Besi、芝浦电子、东京电子、应用材料、EV Group、SUSS Microtec、SET和博世等厂商都对混合键合产生了兴趣，众多产业链大厂的加入，势必将加速混合键合的研发应用速度。
（4）CoWoS技术
CoWoS（Chip On Wafer On Substrate）是一种2.5D的整合生产技术，由CoW和oS组合而来：先将芯片通过Chip on Wafer（CoW）的封装制程连接至硅晶圆，再把CoW芯片与基板（Substrate）连接，整合成CoWoS。
Cowos技术的结构
CoWoS技术的核心概念是将多颗不同的芯片堆叠在同一块硅中介层上，以实现它们之间的互联。在这个硅中介层中，台积电采用微凸块（μBumps）和硅穿孔（TSV）等先进技术，代替了传统的引线键合方式，用于连接不同芯片，这显著提高了互联密度和数据传输带宽。通过CoWoS技术，台积电实现了提升系统性能、降低功耗和缩小封装尺寸的目标，使其在封装技术领域保持领先地位，为超越摩尔定律奠定了坚实的基础。
CoWoS是台积电的一种2.5D封装技术，其中多个有源硅芯片（通常包括逻辑芯片和HBM堆栈）被整合到无源硅中介层上。这个中介层充当了顶部有源芯片之间的通信层，然后将中介层和有源硅连接到包含I/O接口的封装基板上，最终用于系统的PCB上。
HBM和CoWoS技术是相互补充的。由于HBM需要高密度焊盘和短距离连接，这种要求只能通过2.5D封装技术，例如CoWoS来实现，而无法在常规的PCB或封装基板上实现。CoWoS以相对合理的成本提供了最高的互连密度和最大的封装尺寸。目前，几乎所有的HBM系统都采用CoWoS封装，而几乎所有领先的数据中心GPU都是台积电采用CoWoS技术封装的。这使得台积电在这一领域保持了领先地位。
以HBM2为例，下图显示了两种不同平面图布置的 CoW后和基板上 (oS) 后的实样。
CoW晶圆和 CoWoS 封装视图显示了两种类型的中介层平面图。(a-1) 和 (a-2) 一个 SoC 和四个 HBM2，即“1 + 4”。(b-1) 和 (b-2) 一个 SoC 和六个 HBM2，或“1 + 6”
下图则显示了封装横截面图像的全局视图，其中包含 HBM2、片上系统 (SoC)、中介层和基板的所有组件。
封装的光学横截面图像显示了所有组件和良好控制的封装共面性
下图显示了 CoWoS-2 中硅中介层上 uBump、TSV、C4 Cu 凸块的主要特征。
SEM横截面图像显示 uBump、硅中介层、TSV、C4 Cu凸块、基板、球栅阵列和先进节点 SoC 以及 CoWoS-2 封装中的 HBM2
2、HBM历代产品及技术发展路线
目前，HBM已经演变到了第五代，在SK海力士、三星、美光三大DRAM大厂推动下，性能表现持续提升，HBM的层数、容量、带宽指标不断升级，目前最先进的HBM3e版本，理论上可实现16层堆叠、64GB容量和1.2TB/s的带宽，分别为初代HBM的2倍、9.6倍和4倍。
迭代HBM 芯片参数对比
对比HBM的五代产品，从HBM1到HBM3e都保留了相同的1024位（每个堆栈）接口，即具有以相对适中的时钟速度运行的超宽接口，为了提高内存传输速率，预计下一代HBM4可能需要对高带宽内存技术进行更实质性的改变，即从更宽的2048位内存接口开始。
相关报道显示，HBM4在DRAM堆叠方面，2048位内存接口需要大幅增加内存堆叠的硅通孔数量。同时，外部芯片接口需要将凸块间距缩小到远小于55微米，而HBM3目前的凸块总数（约）为3982个，因此需要大幅增加微型凸块的总数。
除此之外，业界还将打算在一个模块中堆叠多达16个内存模块，即所谓的16-Hi堆叠，这将使得内存供应商能够显著提高其HBM堆叠的容量。当然，HBM4将面临着更大的技术挑战，芯片的生产难度也将更大。
为此，台积电就曾表示，由于HBM4不是将速度提高了一倍，而是将接口引脚增加了一倍。因此台积电要与所有三家合作伙伴合作，确保三星、美光、海力士等的HBM4（采用台积电的先进封装方法）符合标准，并确保RDL或interposer或任何介于两者之间的产品都能支持HBM4的布局和速度。
在HBM的技术发展路线上，SK海力士、三星电子、美光也有着明显的不同。
海力士正在研究HBM与逻辑处理器直接连接的概念，在混合使用的半导体中将GPU芯片与HBM芯片一起制造。这个想法涉及内存和逻辑制造商共同设计芯片，然后由台积电（TSMC）等晶圆厂运营商制造。
三星正在研究在中间件中使用光子技术，光子通过链路的速度比电子编码的比特更快，而且耗电量更低。除此之外，三星还将HBM堆栈更直接地连接到处理器，这意味着随着时间的推移，HBM堆栈可以升级，以提供更大的容量，但这需要一个涵盖该领域的行业标准才有可能实现。
美光目前正在生产HBM3e gen-2内存，采用8层垂直堆叠的24GB芯片。12层垂直堆叠36GB芯片计划于2024年开始出样。此外，美光正与半导体代工运营商台积电合作，将其gen-2 HBM3e 用于人工智能和 HPC 设计应用。
3、HBM市场竞争格局
当前，在HBM市场， 只有 SK 海力士、三星电子和美光三大存储巨头能够量产，因而市场呈现 " 三分天下 " 的局面。根据TrendForce，2022年三巨头分别占据了 53%、38% 和 9%的市场份额。SK海力士由于先发优势，占据优势地位，然而随着三星电子与美光的全力切入，海力士的市场份额将有所下降，预计2024年市场份额分别为SK海力士48%，三星44%，在2025年进一步演变为SK海力士47%，三星45%的市场份额。
在HBM市场份额方面，根据高盛发布研报，受到生成式人工智能强劲需求的推动，HBM（高带宽内存）市场规模将从2022年的23亿美元增长至2026年的230亿美元。高盛认为，HBM市场供不应求的情况未来几年将持续，SK海力士、三星和美光等主要玩家将持续受益，其中海力士在未来2-3年将保持其50%以上的市场份额。
在更强劲的人工智能需求推动下，AI服务器出货量增加，每个GPU的高带宽内存（HBM）密度提高，因此我们大幅提高了对HBM市场规模的预期，预计市场规模将增长 10 倍（4 年复合年增长率为 77%），从 2022 年的 23 亿美元增至 2026 年的 230 亿美元。
尽管供应商计划大量增加HBM 产能以应对强劲的需求增长，但仍存在部分因素（如更低的生产良率）导致行业持续供不应求，预计未来几年仍将如此。业内的每家 HBM 供应商都提到，他们 2024 年的 HBM 产能已被全部预订，而 2025 年的 HBM 产能也已完成分配，HBM产能分配的增加也推动了传统DRAM的产业发展。
我们相信，所有主要的DRAM供应商（包括海力士、三星电子和美光）都将受益于HBM市场的强劲增长和市场的供不应求，这将导致持续的HBM溢价，并可能增加每个公司的整体DRAM利润率。
预计HBM市场将在4年内增长10 倍（年均复合增长率为 77%），从 2022 年的 23 亿美元增长到 2026 年的 230 亿美元，其主要原因在于：
1）更高的晶圆芯片需求和对 Nvidia 的更高预期；
2）更高的人工智能训练服务器出货量；
3）更高的行业TSV（硅通孔）容量；
4）每个 GPU 的HBM质量提升；
5）整个行业向 HBM3/HBM3E 过渡的速度更快；
6）最新调研显示HBM 需求增强。
因此将 2024年HBM市场规模的预期从之前的 88 亿美元上调47%至129亿美元，将2025年HBM市场规模的预期上调37%至188亿美元，将 2026年HBM 市场规模的预期上调至 230 亿美元。
在HBM出货量方面，2023年11 月 14 日，SK 海力士副会长兼联席 CEO 朴正浩透露，2023年公司高带宽内存（HBM）出货量大幅增加，约为50万颗，预计到 2030 年将达到每年 1 亿颗，SK海力士约占全球HBM市场份额约 50%。
2023-2030 SK海力士HBM 产品出货量（万颗）
以一块GPU配置8块HBM，每块HBM采用12层DRAM，进行估算，则至2030年GPU带动相关产业链可形成5000亿美元的市场规模。
2030年 GPU、HBM、晶圆市场需求预估
（未完待续）