AI算力基建:论Scaling-Law与Moore-Law的剪刀差

发布于: 修改于:雪球转发:4回复:57喜欢:81

大盘经过连续一个月多上涨后,开始进入平台整理期。这段时间,开路先锋AI算力基建板块,也妖风四起,跌跌撞撞,尤其是今天午后两点十分,在几篇小作文的配合下(实在太低级,难得评论),被空军重锤。在五分钟内,新易盛跌了12cm,中际旭创跌了9cm。

基本面没有任何变化,反而向好。那为啥波动这么大呢?

因为,心有魔债

一、IT产业遵循Moore-Law,而不是猪肉定律

摩尔定律是由英特尔公司的共同创始人戈登·摩尔(Gordon Moore)在1965年提出的观察和预测,后来被广泛引用和讨论,成为半导体行业乃至整个信息技术领域的一个基本准则。最初,摩尔在《电子学》杂志上发表的文章中指出,集成电路上可以容纳的晶体管数量大约每12个月翻一番。到了1975年,他对这个预测进行了修正,改为每24个月翻一番,这个修正版的预测更广为人知,并且在之后的数十年间得到了相对准确的验证。

摩尔定律的具体内容可以概括为:

1、在集成电路(IC)芯片上集成的晶体管数量大约每两年翻一番。

2、这意味着在给定的成本下,每过一段时间,芯片的复杂度(或者说计算能力)就会成倍增长。

3、同时,因为每一代芯片上的晶体管密度增加,所以单位面积内的功能单元更多,从而使得每单位成本能够提供的计算性能也大幅度提升。

从上图可以看到,70年之间,存储器的成本,下降了10亿倍,算力成本下降了1亿倍。有人做过一个比喻,如果汽车的成本也像电脑这样的斜率下降,今天一辆汽车的价格不到1美分。成本在指数级下降,但是IT硬件产业的市场规模不仅没有缩小,反而增长了一万倍。

但是呢,A股的很多投资者,以文科生的思维在看世界。今年在菜市场10块钱买一斤猪肉,明年要花12块钱才能买到一斤猪肉。所以,当她们看到一个集群中光模块的数量、价格,居然比上一年要少的时候,就会吓跳起来:“不得了,这个市场增长到头了,进入周期下行了,赶紧跑!”。

英伟达的GPU,H100比A100性能提升四倍,B200又比H100的性能提升四倍,但是他的销售价格也会同比例提升四倍吗?绝对不可能的。

同理,在H100时代,一个集群需要1000支800G光模块,在B200时代,同样的集群还需要1000支800G光模块吗? 如果有公司敢这样做,第二天就会倒闭!因为工艺和架构的改进,必须性能遵循幂律提升,成本遵循幂律下降。IT产业,从来都是通过生产率提升,主动创造需求,主动做大蛋糕。从来都是加量又降价。

随着工艺越来越逼近物理极限,摩尔定律渐微,从Nvidia的芯片从H100开始,每一代芯片,单位面积的性能提升不到15%,并且往后演进3nm、2nm、1nm每一代的红利收益均不会超过15%。未来二十年的主要矛盾是:半导体工艺无法满足AGI日益增长的算力需求。怎么办? 系统施策,俗称摊大饼,将成为提升算力的主要路线:a)持续加大HBM内存容量;b)持续提升互联带宽,从而提高GPU的并发度;c)持续提升集群规模,从而提升系统容量;d)持续提升散热能力,给摊大饼创造条件;…

GB200 NVL72系统的推出,向全世界展示,算力提升不仅仅是GPU芯片的任务,内存(美光)、光模块(中际旭创)、散热(工业富联)、连接器、PCB...,大家都必须扑上去。在GPU的带领下,组成强大的多兵种军团,通过集团化、阵地战,取得一个又一个胜利。

我们过去认为题材炒作、强周期的行业,摇身一变,成为AI算力基建的主力军。越往后,半导体工艺红利越弱,越需要这些部队参战,成长属性越强。

二、Scaling-Law,全村人的希望

在深度学习和大型语言模型(LLMs)的研究中,Scaling Law 描述了一个关键现象:当模型的大小(例如参数数量)、训练数据集大小以及训练过程中的计算量(如浮点运算次数)按比例增加时,模型性能(如准确率、困惑度、BLEU得分等)通常也会随之改善。

具体来说,Scaling Law 规定了模型性能与资源投入之间的关系,表明如果模型规模增大到足够大,并且配合足够的数据和计算资源,模型性能将有望实现显著提升,有时甚至是指数级别的增长。这种规律的重要性在于它提示了构建更好AI系统的路径,即通过加大投入,尤其是模型规模,可以预期得到更好的结果。

通俗地讲,Scaling Law揭示了一个道理:参数量、数据、算力这三要素,如果固定其中的一个,只改进另外两个,都有增益上限。人类通往AGI的道路上,必须同时持续地提升这三个参数。

AI训练性能每提升1%(Loss cost),算力的需求增加10倍。

三、结论:

1、需求曲线,遵循Scaling-Law,AGI需求呈指数级增长(10x)

2、供给曲线,遵循Moore-Law,IT硬件的成本下降速度遵循幂律(½X)

去年10月底市场很亢奋(Gemini发布), 春节后市场很亢奋(Sora发布)。为什么现在焦虑呢(一会铜进光退,一会需求减少,一会砍单,一会…,小作文不断)? 一切的背后,皆因这段时间是新大模型的真空期,没有Scaling-Law需求曲线的指引,市场亢奋的激素水平下降

但是,人类实现AGI了吗? 没有。 GPT5,新的史诗级大模型今年会不会发布? GPT5后是否会引发新一轮百模大战?

GPT5发布之时,又是新一轮AI炒作的狂欢之际

$上证指数(SH000001)$ $深证成指(SZ399001)$ $中际旭创(SZ300308)$

#CPO# #今日话题# #英伟达#

精彩讨论

Augustusss03-26 20:12

博通都看到单客户100w卡集群的需求,居然还有人担心光用量会减少……
无论是加大铜的用量还是降低单卡光模块的配比都是给客户降本,降本是必然的。
英伟达自己将b100单卡算力提升四倍单价只提升40%,单位算力是折价了,这影响英伟达上涨了吗?
同样,看单卡光配比减少了,但速率上去了,集群规模上去了,光的用量只会更多。
Scaling Laws的指向是AGI,坐井观天是看不见星辰大海的。

闷得而蜜03-26 20:17

请回顾一下中际旭创1月19日那天的行情,-16cm拉上来了多少。$中际旭创(SZ300308)$ $新易盛(SZ300502)$

闷得而蜜03-26 22:00

除了对市场的底层规律反复揣摩认识外,A股还有一个特别的地方。因为A股里面真正跟AI相关的核心资产非常稀少,大量股票涨上来都是靠蹭热点。每到业绩兑现的窗口,都会咯噔一下,无差别干。$上证指数(SH000001)$ $深证成指(SZ399001)$ $创业板指(SZ399006)$

榛菥03-26 20:31

很好,中际旭创还没买够。

专业搬砖50年03-26 20:56

位置不一样,大盘位置也不一样,市场情绪也不一样

全部讨论

博通都看到单客户100w卡集群的需求,居然还有人担心光用量会减少……
无论是加大铜的用量还是降低单卡光模块的配比都是给客户降本,降本是必然的。
英伟达自己将b100单卡算力提升四倍单价只提升40%,单位算力是折价了,这影响英伟达上涨了吗?
同样,看单卡光配比减少了,但速率上去了,集群规模上去了,光的用量只会更多。
Scaling Laws的指向是AGI,坐井观天是看不见星辰大海的。

老大,中际今天破位,请问是否该出来回避一下呢

很喜欢看你的文章,但是逻辑归逻辑,中国股市任何时候散户都是买涨不买跌,涨起来是不需要道理的,跌起来也不会和你说逻辑的

03-26 21:44

很好的科普,如果能让更多的人看到就好了,看了一圈很多人的认知都停留在一些表面的小作文。

03-26 20:07

蜜大,通俗的理解,未来英伟达芯片对于算力的提升是逐步降低的,未来需要内存,光模块,PCB,散热等等这些硬件来堆叠弥补,所以对于硬件的需求是非常非常大的,虽然单价逐渐降低,但是用量是成倍增长,这样理解没错吧

03-26 20:02

蜜大:光讯同思科推出的1.6T光模块科普下

03-26 20:46

大佬文章写的很好很专业,但是感觉这样异常波动,资金的不计成本出逃,可能会是在消息面上有大问题,我一直在怀疑可能会出药明康德类似的事情,部分资金先得到消息了

03-26 20:07

给逻辑大佬点赞

光模块第一人。佩服

03-26 20:24

星辰大海的未来,在鸡狗面前却只有眼前的苟且。