博通都看到单客户100w卡集群的需求,居然还有人担心光用量会减少……
无论是加大铜的用量还是降低单卡光模块的配比都是给客户降本,降本是必然的。
英伟达自己将b100单卡算力提升四倍单价只提升40%,单位算力是折价了,这影响英伟达上涨了吗?
同样,看单卡光配比减少了,但速率上去了,集群规模上去了,光的用量只会更多。
Scaling Laws的指向是AGI,坐井观天是看不见星辰大海的。
从上图可以看到,70年之间,存储器的成本,下降了10亿倍,算力成本下降了1亿倍。有人做过一个比喻,如果汽车的成本也像电脑这样的斜率下降,今天一辆汽车的价格不到1美分。成本在指数级下降,但是IT硬件产业的市场规模不仅没有缩小,反而增长了一万倍。
但是呢,A股的很多投资者,以文科生的思维在看世界。今年在菜市场10块钱买一斤猪肉,明年要花12块钱才能买到一斤猪肉。所以,当她们看到一个集群中光模块的数量、价格,居然比上一年要少的时候,就会吓跳起来:“不得了,这个市场增长到头了,进入周期下行了,赶紧跑!”。
英伟达的GPU,H100比A100性能提升四倍,B200又比H100的性能提升四倍,但是他的销售价格也会同比例提升四倍吗?绝对不可能的。
同理,在H100时代,一个集群需要1000支800G光模块,在B200时代,同样的集群还需要1000支800G光模块吗? 如果有公司敢这样做,第二天就会倒闭!因为工艺和架构的改进,必须性能遵循幂律提升,成本遵循幂律下降。IT产业,从来都是通过生产率提升,主动创造需求,主动做大蛋糕。从来都是加量又降价。
随着工艺越来越逼近物理极限,摩尔定律渐微,从Nvidia的芯片从H100开始,每一代芯片,单位面积的性能提升不到15%,并且往后演进3nm、2nm、1nm每一代的红利收益均不会超过15%。未来二十年的主要矛盾是:半导体工艺无法满足AGI日益增长的算力需求。怎么办? 系统施策,俗称摊大饼,将成为提升算力的主要路线:a)持续加大HBM内存容量;b)持续提升互联带宽,从而提高GPU的并发度;c)持续提升集群规模,从而提升系统容量;d)持续提升散热能力,给摊大饼创造条件;…
GB200 NVL72系统的推出,向全世界展示,算力提升不仅仅是GPU芯片的任务,内存(美光)、光模块(中际旭创)、散热(工业富联)、连接器、PCB...,大家都必须扑上去。在GPU的带领下,组成强大的多兵种军团,通过集团化、阵地战,取得一个又一个胜利。
我们过去认为题材炒作、强周期的行业,摇身一变,成为AI算力基建的主力军。越往后,半导体工艺红利越弱,越需要这些部队参战,成长属性越强。
在深度学习和大型语言模型(LLMs)的研究中,Scaling Law 描述了一个关键现象:当模型的大小(例如参数数量)、训练数据集大小以及训练过程中的计算量(如浮点运算次数)按比例增加时,模型性能(如准确率、困惑度、BLEU得分等)通常也会随之改善。
具体来说,Scaling Law 规定了模型性能与资源投入之间的关系,表明如果模型规模增大到足够大,并且配合足够的数据和计算资源,模型性能将有望实现显著提升,有时甚至是指数级别的增长。这种规律的重要性在于它提示了构建更好AI系统的路径,即通过加大投入,尤其是模型规模,可以预期得到更好的结果。
通俗地讲,Scaling Law揭示了一个道理:参数量、数据、算力这三要素,如果固定其中的一个,只改进另外两个,都有增益上限。人类通往AGI的道路上,必须同时持续地提升这三个参数。
AI训练性能每提升1%(Loss cost),算力的需求增加10倍。
1、需求曲线,遵循Scaling-Law,AGI需求呈指数级增长(10x)
2、供给曲线,遵循Moore-Law,IT硬件的成本下降速度遵循幂律(½X)
去年10月底市场很亢奋(Gemini发布), 春节后市场很亢奋(Sora发布)。为什么现在焦虑呢(一会铜进光退,一会需求减少,一会砍单,一会…,小作文不断)? 一切的背后,皆因这段时间是新大模型的真空期,没有Scaling-Law需求曲线的指引,市场亢奋的激素水平下降。
但是,人类实现AGI了吗? 没有。 GPT5,新的史诗级大模型今年会不会发布? GPT5后是否会引发新一轮百模大战?
GPT5发布之时,又是新一轮AI炒作的狂欢之际 。
$上证指数(SH000001)$ $深证成指(SZ399001)$ $中际旭创(SZ300308)$
博通都看到单客户100w卡集群的需求,居然还有人担心光用量会减少……
无论是加大铜的用量还是降低单卡光模块的配比都是给客户降本,降本是必然的。
英伟达自己将b100单卡算力提升四倍单价只提升40%,单位算力是折价了,这影响英伟达上涨了吗?
同样,看单卡光配比减少了,但速率上去了,集群规模上去了,光的用量只会更多。
Scaling Laws的指向是AGI,坐井观天是看不见星辰大海的。
除了对市场的底层规律反复揣摩认识外,A股还有一个特别的地方。因为A股里面真正跟AI相关的核心资产非常稀少,大量股票涨上来都是靠蹭热点。每到业绩兑现的窗口,都会咯噔一下,无差别干。$上证指数(SH000001)$ $深证成指(SZ399001)$ $创业板指(SZ399006)$
需求曲线,遵循Scaling-Law,AGI需求呈指数级增长(10x),而供给曲线,Moore-Law,IT硬件的成本下降速度遵循幂律(½X)
这就会形成供与需之间距大的剪力差
是的, 最近是真空期, GPT5不知道是否上半年能出来
长期高位的股,任何利好都叫不及预期。尤其这类制造业。
1、需求曲线,遵循Scaling-Law,AGI需求呈指数级增长(10x)
2、供给曲线,Moore-Law,IT硬件的成本下降速度遵循幂律(½X)
🤔🤔🤔🤔
666
1、需求曲线,遵循Scaling-Law,AGI需求呈指数级增长(10x)
2、供给曲线,遵循Moore-Law,IT硬件的成本下降速度遵循幂律(½X)
作者:闷得而蜜
链接:网页链接
来源:雪球
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
风险提示:本文所提到的观点仅代表个人的意见,所涉及标的不作推荐,据此买卖,风险自负。
笔记:摩尔定律两年一倍,但3nm以下提供空间不大。而算力需求指数级爆发增长,依靠摊大饼,增加带宽,集群互联作战,对光模块,HBM,散热需求巨大。
AI训练性能每提升1%(Loss cost),算力的需求增加10倍。
AI发展刚刚起步,算力需求仍在爆发。等待GPT5发布。中际旭创
mark
新易盛四川光模块2024年1月份出口金额3.54亿,2024年2月份出口金额3亿
中际江苏光模块2024年1月份出口金额13.54亿,2024年2月份出口金额10.99亿