发布于: | 雪球 | 回复:13 | 喜欢:1 |
需求(无论训练还是推理)能不能带动集群。毕竟过去GH200 2560卡的集群,理论上需要3万多个光模块(当然HGX不需要这么多);而现在实现同等算力只需要最多500多张GB200(很可能更少...尤其是推理上),或者说8个NVL72机柜,IB这一层如果是1:3,那么需要1500个光模块....当然这里面会有到1.6T的价值量的提升。这里面是量减价升的。一方面价升能不能覆盖量减呢,最重要的是算力总需求还是很猛的话,这都不算啥。
我是说不论gh200还是新出的gb200,内部互联就没有用过光缆,一直都是铜缆,何来短空,按你们这逻辑GPU性能提升了,需要的数量就少了,利空英伟达啊 [捂脸]
神奇,你短暂利空在哪里啊到底,以前32块GPU的gh200想发挥最大效率用800G光模块做机间互联,现在72块GPU的gb200还用800g?显然1.6T需求提前了啊,所以短暂利空在哪里啊,不懂。。。
是的,服务器内部从来就是铜连接,都不懂这些人咋想的?
训练的算力需求是你能买得起的极限,越快迭代公司优势越大,推理倒是够用就行,不过训练出的大模型性能越强推理的算力需求一定也越来越大