AI光模块将以幂率增长

发布于: 修改于: Android转发:7回复:45喜欢:33

推理AI光模块的需求,发现魔鬼在细节上。到目前为止,市场都把光模块的需求量,与GPU的数量线性等价出来,其实完全错误。

GPT3.5的算力需求是5000P,GPT4的算力需求是30000P,而到了GPT5算力需求只是十万P起步。不同的算力规模,GPU集群大不相同。而GPU间的互联数量是GPU卡的平方关系。比如GPT3.5到4算力提升6倍,其实通信带宽提升36倍,所以光模块的需求到了GPT4才爆发就是这个道理。

GPT5算力是GPT4的两倍以上,光模块需求量是4倍以上。大模型每升级一次,光模块的带宽需求量原则上以2的幂次方增加!所以必然带来海量的800G,更迫切的1.6T。

解决办法有两个,更多的光模块,或者更高的速率。二的平方是四,所以,每一代,既要求数量翻倍,也要求带宽翻倍,才能满足需求!

等GPT5发布的时候,这个带宽需求的幂率将被市场广泛接受。

$上证指数(SH000001)$ $创业板指(SZ399006)$ $中际旭创(SZ300308)$

精彩讨论

闷得而蜜04-12 14:02

今天很多人看到Marvell AI day上的ppt激动不已,说Interconnect数量在迅猛增涨。
AI集群的光模块增速,我在一月初这个帖子里面,就反复强调啊,跟GPU不是线性关系,是平方关系。但凡懂一点点数据中心网络架构知识的人,都很容易理解啊。$中际旭创(SZ300308)$ $新易盛(SZ300502)$ $天孚通信(SZ300394)$

佩奇的小玉米01-26 07:54

慢慢来,市场大多数人还没搞清楚状况。

闷得而蜜02-18 12:07

AI算力之光模块,最大的预期差是大部分还在线性思维地看待市场需求增速。理解超算计算机架构的人都知道,算力需求增长一倍,需要四倍通信带宽互联,遵循幂律,才能保证集群系统发挥最大效能。 未来的算力瓶颈,主要在存储器和通信带宽。$上证指数(SH000001)$ $深证成指(SZ399001)$ $创业板指(SZ399006)$

佩奇的小玉米02-18 12:09

最大的预期差是,大多数人都认为中际是武大郎

全部讨论

02-18 12:57

Mark

01-26 08:50

AI分布式计算集群,是大模型的参数量、Token长度/个数、数据规模等的函数,未来这些参数随着多模态、更高的训练精度,呈现幂律级的增长,所以也必然带来通信需求的幂律级增长。

01-26 00:25

m