平静以待 的讨论

发布于: 雪球回复:18喜欢:2
用沐曦或者其他公司的技术,纯粹胡扯。有东西,自己不发布,却让别人发布,没道理,特别对于没上市的需要融资的沐曦。

热门回复

你从网上摘抄一些FP64的定义,并不能改变你不懂计算机技术的事实,所以不要妄下结论,说FP64在深度学习中不常用。我虽然不是AI领域的,但起码知道计算精度对于结果是非常重要的,OpenAI的技术路线就是大力出奇迹,是靠算力堆出来的,没说要节约内存和计算资源。现在奥特曼正在寻求融资7万亿美元,就是要堆算力。省内存,节约成本,这是其他红海芯片市场的做法,但不是现在AI芯片的需求,谁让你省内存减算力的?技术路线是完全不同的。当然除非你能搞出更牛的算法出来,那就不需要这么大的算力了,这个贡献能载入史册。
回到FP64对于AI的重要性,引用一下专业人士的话:“资深芯片专家、千芯科技董事长陈巍告诉记者,从上述流传产品图看,英伟达这一版芯片主要在算力方面进行阉割。但他也提到,英伟达为了正常供应按理说会阉割FP64算力,但H20芯片却没有。”。看了这段话,你觉得AI训练需不需要FP64?

在AI的产业机遇下,FP64的技术和产品卖不掉?是强着要吧?
小米没有发布过任何有较强技术含量的产品,包括小米的供应商,都是销售渠道那一套。

深度学习场景下只要FP32就可以确保训练收敛,甚至目前还会进一步“退化”到FP16+FP32混合精度以提高效率,而推理FP16,INT88、INT4就可以了。FP64不是用在AI上的,用途是科学计算,用在超算上。在景嘉微之前有FP64的只有海光深算,因为超算要用。
国产AI芯片没有FP64不是因为它难到别人搞不定,而是芯片面积有限,放了FP64单元,其他单元就会减少,而这些芯片都是AI芯片FP64几乎用不上。景嘉微为什么放FP64,因为军方爸爸需要啊,不记得它今年得向爸爸交货了吗?
美国禁FP64芯片到中国,也不是因为AI特别厉害,是禁我们的超算。

你没必要跟我胡搅蛮缠。我引用别人的话是加“”的,而且能给出出处网页链接。而你没有经过学术训练,引用别人的话,不加引号,很可能自己添油加醋,也很可能无法给出出处。

你既然自己知道不专业,还要下这样的判断,你的依据是从哪来的?

为什么AI不需要FP64,运算精度高不好吗?有没有依据,不要自己拍脑门,你也不是这个专业的。

如果AI不需要FP64,英伟达也就没必要支持了。运算精度对AI的训练效果肯定重要,这个毫无疑问。

老兄你是会断章取义,春秋笔法的。
人家原文是这这样的。芯片专家陈巍指出,通过流传的产品图可以看出,英伟达在这一版芯片主要进行了算力的阉割。阉割的对象主要包括FP64(双精度浮点运算),通常用于科学和工程领域的高精度计算。然而,令人意外的是,H20芯片并没有阉割FP64算力。此外,他表示,为了正常供应,英伟达通常会阉割FP64算力,但在这次的产品中并未采取这一。
很明确的说了FP64用于科学和工程领域的高精度计算,引申意思美国禁止我国获取用于超算的芯片,但英伟达没有阉割FP64。但是从哪里看出他说FP64对于AI的意义?

FP64(双精度浮点数):用64位二进制表示,其中1位用于sign,11位用于exponent,52位用于fraction。它的数值范围大约是2.23e-308到1.80e308,精度大约是15到17位有效数字。它通常用于科学计算中对精度要求较高的场合,但在深度学习中不常用,因为它占用的内存和计算资源较多。
FP32(单精度浮点数):用32位二进制表示,其中1位用于sign,8位用于exponent,23位用于fraction。它的数值范围大约是1.18e-38到3.40e38,精度大约是6到9位有效数字。它是深度学习中长期使用的标准格式,因为它能平衡数值范围和精度
这不是我说的,请问说的有错吗,错在哪里?

我确实不专业,但是AI和科学计算数据类型不一样,AI用FP32就够了,科学计算得用FP64。AI用FP64开销太大划不来。又不是数字越大算得越快,64存储空间需求比32大多了,还多占用带宽。这就是为什么算法迭代的尽量时候考虑降低精度呢,原本FP32才能干的活,FP16就能干了,它快啊。要不然为什么推理喜欢用FP16,INT8,INT4,按照你的逻辑用FP32不香吗?