TP-deng 的讨论

发布于: 雪球回复:0喜欢:1
深度学习场景下只要FP32就可以确保训练收敛,甚至目前还会进一步“退化”到FP16+FP32混合精度以提高效率,而推理FP16,INT88、INT4就可以了。FP64不是用在AI上的,用途是科学计算,用在超算上。在景嘉微之前有FP64的只有海光深算,因为超算要用。
国产AI芯片没有FP64不是因为它难到别人搞不定,而是芯片面积有限,放了FP64单元,其他单元就会减少,而这些芯片都是AI芯片FP64几乎用不上。景嘉微为什么放FP64,因为军方爸爸需要啊,不记得它今年得向爸爸交货了吗?
美国禁FP64芯片到中国,也不是因为AI特别厉害,是禁我们的超算。