11月13日，英伟达正式发布了新一代人工智能（AI）GPU芯片H200，堪称“世界最强AI芯”。值得关注的是，其GPU芯片没有升级，核心数、频率也没有变化，主要的升级便是首次搭载了HBM3E高带宽内存。基于HBM3E，H200带宽可达4.8TB/s（比H100的3.35TB/s提升43%），并且内存容量从80GB提升至141GB，这使得H200成为高性能计算（HPC）和人工智能等领域的理想选择。
HBM3E是市场上最先进的高带宽内存（HBM）产品。目前，伴随着HPC和AI市场的火热，在数据量“飞起”的年代下，HBM备受瞩目。HBM发挥着什么重要作用？为何吸引了全球存储巨头的竞逐？
AI大面积催化需求 2027年HBM营收将增至52亿美元
HBM即为高带宽内存（High Bandwidth Memory），是三星、AMD和SK海力士于2013年发起的一种基于3D堆栈工艺的高性能DRAM，通过增加带宽，扩展内存容量，让更大的模型，更多的参数留在离核心计算更近的地方，从而减少内存和存储解决方案带来的延迟、降低功耗。从技术角度看，HBM使DRAM从传统2D转变为立体3D，充分利用空间、缩小面积，契合半导体行业小型化、集成化的发展趋势。
而HBM的优势使其得以乘AI爆发之势而起，市场需求骤增。
OpenAI在2022年11月发布ChatGPT后，AI大浪潮时代开启，各大厂商相继开发并推出大模型产品，大模型的训练和部署需要大量的AI算力芯片提供支撑，同样大量的数据集传输和存储也对存力提出了更高的要求。
根据美光测算，AI服务器中DRAM数量是传统服务器的8倍，NAND是传统服务器的3倍。这轮AI大浪潮实质上推动了存储芯片的需求量。此外，大模型庞大的数据集也需要更大容量的NAND存储数据，GPT-3的参数量就已经达到1750亿个，而最新的GPT-4模型据说有1.76万亿参数量。
若要支撑如此庞大的数据处理和传输，就要打破“内存墙”——数据交换通路窄，以及“功耗墙”——庞大数据传输引发的高能耗。
而HBM的高带宽相当于把通道拓宽，让数据可以快速流通。因此面对AI大模型千亿、万亿级别的参数，服务器中负责计算的GPU几乎必须搭载HBM。英伟达创始人黄仁勋也曾表示，计算性能扩展的最大弱点是内存带宽，而HBM的应用打破了内存带宽及功耗瓶颈。
以英伟达在2023年GTC大会上发布的AI服务器NVIDIA DGX H100为例，一台服务器里配置8颗H100 GPU，每一颗GPU需要80GB显存，采用HBM2e或HBM3（16GB）的方案，则一颗GPU需要5颗HBM。预计随着各大厂商相继推出大模型平台以及市场对AI服务器的需求与之快速增长，HBM将成为存储市场长期增长驱动力。
据市场调查机构Gartner预测，2022到2027年，全球HBM市场规模将从11亿美元增至52亿美元，复合年均增长率（CAGR）为36.3%。同期，HBM容量需求将从1.23亿GB增加到9.72亿GB，复合年均增长率为51.3%。
存储巨头也看到了HBM市场存在的广阔发展空间，因此纷纷竞逐。
市场格局：SK海力士、三星、美光三分天下 未来或“赢者通吃”
HBM市场目前被SK海力士、三星及美光三大DRAM原厂牢牢占据，集邦咨询（TrendForce）调查显示，2022年三大原厂HBM市占率分别为SK海力士50%、三星约40%、美光约10%。
SK海力士在HBM3生产方面处于领先地位，是英伟达服务器GPU的主要供应商。另一方面，三星则专注于满足其他云服务提供商（CSP）的订单，如英特尔的Aurora Project及AMD的MI300 AI超级芯片。由于三星从CSP获得的订单数量不断增加，TrendForce预计今年三星与SK海力士之间的市场份额差距将大幅缩小。
TrendForce预计三星与SK海力士两家公司将在2023年至2024年之间的某个时候在HBM市场上占据相似的份额，总共占据95%左右。
目前，HBM市场以HBM2e为主流，但预计HBM3将逐渐成为新标准。三大存储厂商SK海力士、三星和美光正加速HBM产品开发。
SK海力士是目前全球唯一量产新一代HBM3产品的供应商，也是全面布局多代HBM的厂商。从2014年SK海力士与AMD联合开发第一代硅通孔（TSV）HBM产品开始，SK海力士陆续于2018发布第二代HBM产品HBM2、2020年发布第三代产品HBM2e、2021年开发出第四代HBM产品HBM3，并于2022年6月开始量产。
今年4月，SK海力士进一步宣布，已经全球率先研发出12层堆叠的HBM3内存，单颗容量可达24GB。8月，SK海力士宣布以唯一量产HBM3的经验为基础，成功开发出全球最高性能的扩展版HBM3E，并将从2024年上半年开始量产。
三星电子方面，为了扩大HBM产能，三星已收购三星显示（Samsung Display）天安厂区内部分建筑及设备，用于HBM生产。三星电子计划在天安厂建立一条新封装线，用于大规模生产HBM，投资额预计在7000亿-1万亿韩元之间，未来将生产HBM3、HBM3E等新一代产品。
据悉，三星正在投入8层、12层HBM3量产。在最新技术方面，三星10月20日在硅谷举行的内存技术日活动上展示了其超高性能HBM3E DRAM Shinebolt。Shinebolt的容量较前代产品增加了1.5倍，每秒可处理超过1.2TB的数据。三星目前正在向客户供应HBM3E样品，预计将于明年下半年开始量产。
另外，三星还计划在2024年第一季开始供应12层HBM3E样品，并在2025年实现HBM4的量产。
美光方面，其2020年表示开始提供HBM2产品，用于高性能显卡、服务器处理器等产品。此外，美光也通过开发第五代HBM3 Gen2内存加入了先进技术竞争，并已开始客户样品验证，该产品拥有超过1.2TB/s的带宽和超过9.2Gbps的引脚速度，比目前发布的HBM3提高了50%。
业界预计，2024年HBM将爆发全面的“三国之战”。预计这三家公司将在英伟达即将推出的H200和B100 AI半导体所需的HBM3E供应方面展开激烈竞争。
群雄纷争HBM市场，但与此同时，其技术的高壁垒或将改变市场格局。
HBM突破了内存容量与带宽瓶颈，技术难点主要包括硅通孔（TSV）工艺、电镀、测试、键合等方面。TSV工艺是HBM的核心工艺，其难度较大，需要高精度的设备和技术。电镀、测试、键合等环节也需要高精度的设备和技术，以保证产品的稳定性和可靠性。
以往厂商通过专注于高需求产品来获得成本竞争力，从而增强业务竞争力，这种做法也有望改变。由于HBM属于优质产品，其良率不易提高，因此保证质量对于扩大市场供应至关重要。随着HBM在AI时代的重要性日益增加，预计DRAM行业将转向以质量为中心的“赢者通吃”。
国内现状来看，尽管国内存储产业链位置较边缘，但相关概念股也因此受益，国内厂商正积极布局高端存储产品，以适应市场需求。
国内厂商积极布局 多处于上游材料供应等环节
整体来看，HBM产业链主要由IP、上游材料、晶粒设计制造、晶片制造、封装与测试等五大环节组成。由于国际大厂均采用IDM模式，芯片的设计、制造和封测都由大厂一手包办，国内厂商主要处于上游材料供应等环节，相关企业也被多次追问HBM领域业务布局。
上游材料企业联瑞新材表示，HBM是提高存储芯片间互通能力的重要解决方案。这种方案会带来堆叠层数提升、散热需求大的技术难题，同时对封装材料要求越来越高，对粉体颗粒及性能要求也越来越高。对添加的超细粉体材料，需要用到TOPCUT20um以下的Lowα球硅和Lowα球铝产品。公司部分封装材料客户是全球知名企业，公司已配套并批量供应了Lowα球硅和Lowα球铝产品。
专注于封装材料的华海诚科11月20日表示，目前颗粒状环氧塑封料尚处于验证阶段，没有形成批量销售，尚未用于HBM封装。
制造材料供应商雅克科技是SK海力士的核心供应商，其近期接受投资者调研时称，目前公司有三十多种前驱体产品，基本上能够覆盖当前国内半导体厂商的需求。
此外，还包括亚威股份、太极实业、壹石通、晶方科技等被关注。
与此同时，国内相关芯片设计也有所布局与进展。国芯科技表示，公司目前已与合作伙伴一起正在基于先进工艺开展流片验证相关Chiplet芯片高性能互联IP技术工作，和上下游合作厂家积极开展包括HBM技术在内的高端芯片封装合作。
概伦电子也表示，公司在存储器、模拟和混合信号等定制类电路的芯片设计领域，掌握了部分具备国际领先能力的核心技术，获得了众多全球领先半导体企业包括存储器头部企业的量产应用，据了解，公司的EDA工具可被部分客户用于HBM相关的设计制造环节。
结语
虽然由于HBM成本高昂，暂时只能在服务器等高端领域应用，但自动驾驶、虚拟现实、增强现实和边缘人工智能等领域的发展将促使HBM技术得到广泛应用，市场前景广阔。相关初创公司与概念股公司，唯拥有自主研发能力和技术优势，方能更具竞争力，在HBM发展的浪潮中占据一席之地。
