回复@李国光1983: 现在的互联是通过PCIE通道吧的吧,传输速度受限,相比NVLINK慢很多。而且现在那种上亿参数的大模型需要更大的规模集群,这方面差距更大了//@李国光1983:回复@张鹏n7t:深算3支持8卡互联,
回复@李国光1983: 现在的互联是通过PCIE通道吧的吧,传输速度受限,相比NVLINK慢很多。而且现在那种上亿参数的大模型需要更大的规模集群,这方面差距更大了//@李国光1983:回复@张鹏n7t:深算3支持8卡互联,
回复@张鹏n7t: 现在海光的单卡用起来没什么问题,有人测过,代码不需要怎么改就能运行。主要是海关多卡互联效率大幅降低,这就限制了跑大模型,这也是海光现在研发的重点,等深算3号出来看有没有把这个问题解决吧//@张鹏n7t:回复@夜雨听风投资:通用更多是可以有现成的生态和代码可以用吧,要不然从...
通用更多是可以有现成的生态和代码可以用吧,要不然从头开始弄很费事的
单卡已经没什么问题了,现在主要是多卡互联效率下降太多,跑大模型的时候就差一些,这也是深算3号要解决的主要问题