TP-deng 的讨论

发布于: 雪球回复:0喜欢:0
我确实不专业,但是AI和科学计算数据类型不一样,AI用FP32就够了,科学计算得用FP64。AI用FP64开销太大划不来。又不是数字越大算得越快,64存储空间需求比32大多了,还多占用带宽。这就是为什么算法迭代的尽量时候考虑降低精度呢,原本FP32才能干的活,FP16就能干了,它快啊。要不然为什么推理喜欢用FP16,INT8,INT4,按照你的逻辑用FP32不香吗?