木桶效应：H200证明HBM比台积电更重要

转自@再现荣耀 先聊一下英伟达H200：

H200充分证明了就算不添加更多CUDA核或超频，只增加更多的HBM和更快的IO，即便保持现有Hopper架构不变，英伟达依然可以实现相当于架构代际升级的性能提升。这么简单为什么不直接做？HBM太贵了，贵到超过了GPU本身的die cost（只算代工BOM），提升HBM就意味着牺牲毛利，把毛利出让给海力士。作为AMD或者Intel毛利率40%的选手double HBM比割肉还疼，但作为只看晶圆成本毛利率几乎90%的英伟达，面对一个严重供不应求的市场，且具有提价pass through能力（不是可能，是一定会），提升HBM是顺理成章。尤其是AMD将在12月6日发布“Antares”系列GPU，以及Instinct MI300X的192GB HBM3，以及对标Grace Hopper的MI300A拥有128GB HBM3（这些都超过了H100的HBM量），英伟达这次的突然发布有点像对此的回应。从另一个角度，不得不令人怀疑，之前鼓吹算力、核数，多少有营销的成分，之前如此高的算力实际上都没有被充分利用，因为可怜的显存数量和IO带宽是瘸掉的两条腿，你上臂摆得再快，也跑不动啊！如果你再想想英伟达依旧巨高的毛利率，以及2-3万美金的价格，可以买多少HBM？大概大几百GB？。没办法，说白了这是英伟达有“能力”选择留给自己的利润。谁让你离不了CUDA呢？你不配拥有这么多HBM！从这个角度，巨头定制ASIC真的有非常非常强的动力，不仅仅是节省cost了，我可以获得更强大的内存和IO，以及（如果软件适配和通用性解决的话）更强大的性能。当然，后者可能比较难实现...从这个角度，HBM甚至比台积电的制程更重要，耗费巨额资金研发调试跑通扩产出来的3nm以及未来的GAA，对GPU的提升又是老掉牙的20%30%，这种速度哪跟得上AI的速度？而HBM只要成本实现快速降低、更紧密的堆叠、更快的IO，对GPU性能的推动却是几何数级别的。想到这里我自己都觉得好有趣啊，往往你觉得最难的事情反而价值不是最大！而你最不起眼的事情，可能惊奇地发现是关键。再回到英伟达昨天一起发的这张图，H200相比H100的性能提升，真就与HBM的提升（volume+speed）比例几乎一致。此外短短3年推理的性能提升了18倍非常惊人。最后，可以预测下B100的spec了，会不会是256甚至512GB的HBM+10TB/s的带宽，而与之对应的价格（合理假设英伟达决定保持毛利率不变）可能要到6-9万美金。