NG体育娱乐“芯事重重”半导体产业研究策划,本期聚焦HBM内存走红、涨价以及国产自研进展,独家发布腾讯新闻,未经授权,请勿转载。
作为一名“AI政治家”,山姆·奥特曼频繁地出现在全球各大科技、经济活动的演讲台,言必称“算力”。
。现在,硅谷巨头们基本都是两条腿走路,一边买、一边下场自研,连苹果也被传出和台积电搞了4年的推理芯片项目ACDC(Apple Chip in Data Center)。
主流GPU供应商包括英伟达、AMD、Intel这几家,但每年数百万颗GPU能够生产出来的前提,是上游的供应商能够提供足够的零部件,比如最为关键的HBM存储芯片。
以H200为例,1颗逻辑芯片要搭配6颗HBM存储芯片,到GB200,1颗逻辑芯片要搭配8颗HBM存储芯片,整体需求会在现有的基础上增长30%以上。
TrendForce预计2025年GB200的出货量将达到100万颗,单单这一款产品,对HBM存储的需求就将达到800万颗。
HBM(High Bandwidth Memory),中文翻译过来即高带宽内存,由于这几年的GPU产品大量的采用而火起来(如下图),但实际上它也不算特别新的概念NG体育平台,2013年就被固态技术协会定位行业标准。
2015年,AMD Radeon R9 Fury X全行业首次应用HBM内存,但由于
当时深度学习向量计算需求还没有爆发,且HBM与GPU/CPU封装在一起,相比DDR内存容量还小,作为早期技术成本太高而无法在消费级产品上大规模的应用
高到什么程度呢?AMD RX Vega当时搭载了2颗HBM2内存,BOM成本大概是160美元,单颗成本80美元,数倍于GDDR5 / GDDR5X,TrendForce预估HBM的单价是DDR的5倍,而且HBM的价格随着算力需求的上升也在不断上涨,这个差距还会进一步拉大。
相比主流的存储方案,HBM的高带宽,在解决数据交换瓶颈上具有天然的优势。根据Embedded整理的数据,16GB的HBM2e每个堆栈的带宽达到460.8GB/s。
架构上,传统方案一般为存算分离架构,处理器是处理器,内存是内存,存储颗粒和逻辑芯片分开,而采用3D堆叠的HBM内存,则通过CoWoS与逻辑芯片封装在一起。
从视觉上来看,CoWoS封装的直接收益就是GPU的尺寸更小,当然HBM内存本身尺寸就很小,同样是1GB存储,GDDR5的尺寸大概在672mm²,而HBM只有35mm²,差距接近20倍。
这种尺寸上的差距,在PCB板上表现的更为明显,比如R9 290X,芯片+内存搭配的PCB板面积达到9900mm²,而采用CoWos封装方案,总面积不到4900mm²,占PCB板的面积少了近一半。
基于3D堆叠和CoWoS封装,HBM的显存带宽得到了大幅度的提升,2015年,AMD官方提供了一张HBM和GDDR5对比的PPT(如上图),AMD将HBM称之为“一种不同于GDDR5的内存”,清楚的描述了基于硅通孔(TSV)技术的HBM内存,在位宽、带宽以及工作电压上二者的差异NG体育平台。
HBM解决了大量数据计算面临的最核心的带宽问题,同时在尺寸和功耗上比GDDR5也有明显的优势
单纯说HBM内存价格贵,你可能没有概念,如果将其放在整个GPU的成本里来看,就直观了。
H100的BOM成本预计在3000美元左右,80GB的HBM存储大致1500美元,即18.75美元/GB,核心的逻辑芯片大致300美元左右,SXM模组成本在300美元以下,封装基板和CoWoS大约300美元。
目前,主流供应商都加快扩产节奏,SK海力士预计今年产能会翻一倍。三星则最为激进,今年CES上,三星预计全年HBM产能将提升2.4倍,到3月底的MEM大会上,又将这一预期拉高到了2023年的2.9倍,而2026年和2028年,分别将提升至2023年的13.8倍和23.1倍。
去年12月份,韩国媒体披露称英伟达向SK海力士和美光下了13亿美元的订单,而知名硬件网站tomshardware援引这则消息,推算称这笔预算大致在10.8 亿美元到 15.4 亿美元之间,并且是为了保证H200这款产品的HBM供应安全。
按前面的BOM成本,一颗GPU搭配的6颗HBM成本为1500美元,这笔预算也只能满足86.6万颗H200的HBM内存需求。
TrendForce去年8月份梳理过近三年HBM的市场份额情况(如上表),SK海力士和三星一直是市场上的主角,其中SK海力士是英伟达HBM3的主力供应商,三星则主要服务于其他云厂,但也刚刚通过了英伟达的供应商认证NG体育平台,两者占据了绝大部分的市场份额,美光的整体市场份额大致在5%左右。
拆分到具体产品上,TrendForce认为,今年HMB3仍然是市场主流,市占率将在60%以上,8层和12层HBM3e的累计份额大概在25%左右。
此前SK海力士对外公布,今年Q2开始少量出货12层堆叠的HBM3e,美光确认3月份开始交样,三星则将于9月份开始向英伟达供货(GTC上黄仁勋还给三星的12层堆叠HBM3e签名:Jensen huang认证)。
这意味着,三家供应商将于三季度打响HBM3e市场争夺战,大规模供货相关产品
TrendForce的分析师Avril Wu援引产业链的消息称,2025年的HBM定价谈判已经在今年第二季度开始,受限于DRAM产能的不足,主要供应商已经确定涨价,
涨幅预计在5%-10%之间。而涨价的理由可以归结为三个:客户的需求旺盛、HBM3e的良率偏低成本高以及供应商的产能和可靠性差别。
不过,基于DRAM的HBM大幅扩产,也会间接地压缩其它产品的产能,这也意味着消费级市场也可能会面临冲击,TrendForce预测最高涨幅可能达到20%NG体育平台,所以接下来AI PC如果涨价,意味着你也在为AI产业的发展埋单。
首先,是国产GPU是否能够采购到HBM内存;其次,是国产HBM进展怎么样?
根据公开资料,已经有国产GPU在使用HBM内存,不过先进产品产能有限,国产采购的主要还是前两代产品为主,比如HBM2e。另外,受制于BIS的限制,相关产品无法直接通过SK海力士、三星和美光直接供货,但
可以通过一些特殊手段从上述供应商在全球的代理商的渠道采购,然后搭配控制器、逻辑芯片,利用CoWoS完成GPU的封装。
CoWoS封装横截面,其中蓝色为3D堆叠的HBM内存,绿色为主控芯片,粉色为逻辑芯片,橙色为硅中介层,灰色为封装基板,来源:Rambus
除了特殊手段采购HBM内存,也可以直接采购DRAM颗粒,但这需要原厂预留TSV孔,以便于利用国产线进行堆叠封装HBM,当然
也可以直接采购裸晶封装成DRAM颗粒,然后利用TSV硅通孔技术,堆叠封装成为HBM内存,再利用国产CoWoS产能,完成GPU封装。
和台积电等少数厂商的全链条CoWoS封装能力不同,大陆的封装分为CoW和WoS两个部分,由不同厂商完成。不过,在产能不足的情况下,台积电的部分CoWoS也会拆成这种形式,比如台积电完成CoW部分,然后由日月光,Amkor等厂商完成WoS的部分。
根据此前产业链消息,Amkor已经进入到英伟达的供应商体系当中,拿到L40S的封装订单,也在布局CoWoS封装,如果未来英伟达的订单在台积电亚利桑那工厂生产,又由于台积电在美国还没有先进封装产线,这部分订单很有可能被Amkor拿到。
回归正题,将CoWoS拆成CoW和WoS两部分,核心在于工艺的成熟度,其次是两部分的良率的同步NG体育平台,这可能是目前的挑战之一,需要长时间的Know how以及协作,来提升良率、降本。
关于国产HBM进展如何的问题,本质上是回答国产HBM DRAM颗粒纯自研的进展
,目前合肥、武汉、泉州和深圳都有相关企业在布局,前三地的厂商很多人应该熟悉,深圳昇维旭属于新晋入局者。
2022年3月份,深圳昇维旭成立,聚焦通用型DRAM芯片的研发生产,同年6月官宣日本半导体教父、尔必达社长坂本幸雄出任首席战略官,遗憾的是坂本幸雄已于今年2月14日因心肌梗塞去世,享年76岁。
,初代产品可能会在较高的节点堆叠,颗粒密度小一些,频率/位宽/带宽规格小一些。
与此同时,一些国产厂商也在进行更先进的晶体管结构研究,比如在去年底69届IEEE国际电子元件年会上,长鑫发布了一篇概述环绕式闸极结构GAA(三星3nm节点导入的架构)技术的论文,被解读为突破3nm工艺。
客观地说,论文本质上只是一种技术展示,与技术突破不能画等号,且长鑫也发表声明,称论文描述了与DRAM结构和4F²存储单元结构设计可行性相关的基础研究(相比当前6F²结构,利用4F²结构,在不改变工艺节点的情况下,可以实现芯片尺寸微缩30%),与当前的生产工艺无关。
长鑫的回应符合国产芯片现状的客观逻辑,现在就追平SK海力士、三星这些存储巨头几乎不可能,但其反映出来的趋势很关键——国产厂商在面对诸多挑战的情况下,仍然在持续投入先进存储技术的研发
,这可能是真正应该感到高兴的点,毕竟这才是国产存储,乃至国产芯片产业的火苗和希望。