发布于: 雪球转发:1回复:5喜欢:0
回复@xishier: Tesla要放在集群(不管是GPU还是Dojo)上计算的远远不止真正跑在车上的那个NN。用来做Autolabeling的network要比跑在车上的NN规模大很多倍。//@xishier:回复@莫名其喵:具体到神经网络,TESLA用到车上的神经网络不可能无限大的,他最终要放到车上soc做inference,DNN的model和参数不会太大,训练这个网络应该在一个,或者几个D1芯片上并行就好了,这个不是蛋白质折叠这样需要无限计算的case,我认为没有必要分布到一个超级大training网络上并行,另外我查了一下,昨天还不太肯定,今天比较相信Tesla D1里面354个计算node蛮大可能性是354个独立的小die,一个小die才1TLOPS左右算力,这个就需要IO把他们串起来分布式计算,然后他在芯片之间也用类似架构互联去统一在一个架构下,这个可能是预留给将来更复杂神经网络训练用的
引用:
2021-08-20 11:09
【转发并整理于大V不是郑小康老师】
由3000个特斯拉自研Dojo D1芯片,组成1.1EFLOP的超级计算机。(1 EFLOPS等于每秒一百京(=10^18)次的浮点运算)
算力是现在世界第一日本富士通超算0.415 EFLOP的2.65倍,登顶超级计算机全球第一!
这还仅仅是Dojo 1.0,下一步研发的是10倍Dojo算力...

全部讨论

2021-08-22 23:47

这个有可能,autolabeling应该算是仿真方面的了