平静以待 的讨论

发布于: 雪球回复:0喜欢:1
你从网上摘抄一些FP64的定义,并不能改变你不懂计算机技术的事实,所以不要妄下结论,说FP64在深度学习中不常用。我虽然不是AI领域的,但起码知道计算精度对于结果是非常重要的,OpenAI的技术路线就是大力出奇迹,是靠算力堆出来的,没说要节约内存和计算资源。现在奥特曼正在寻求融资7万亿美元,就是要堆算力。省内存,节约成本,这是其他红海芯片市场的做法,但不是现在AI芯片的需求,谁让你省内存减算力的?技术路线是完全不同的。当然除非你能搞出更牛的算法出来,那就不需要这么大的算力了,这个贡献能载入史册。
回到FP64对于AI的重要性,引用一下专业人士的话:“资深芯片专家、千芯科技董事长陈巍告诉记者,从上述流传产品图看,英伟达这一版芯片主要在算力方面进行阉割。但他也提到,英伟达为了正常供应按理说会阉割FP64算力,但H20芯片却没有。”。看了这段话,你觉得AI训练需不需要FP64?