在AI的产业机遇下,FP64的技术和产品卖不掉?是强着要吧?
小米没有发布过任何有较强技术含量的产品,包括小米的供应商,都是销售渠道那一套。
回到FP64对于AI的重要性,引用一下专业人士的话:“资深芯片专家、千芯科技董事长陈巍告诉记者,从上述流传产品图看,英伟达这一版芯片主要在算力方面进行阉割。但他也提到,英伟达为了正常供应按理说会阉割FP64算力,但H20芯片却没有。”。看了这段话,你觉得AI训练需不需要FP64?
深度学习场景下只要FP32就可以确保训练收敛,甚至目前还会进一步“退化”到FP16+FP32混合精度以提高效率,而推理FP16,INT88、INT4就可以了。FP64不是用在AI上的,用途是科学计算,用在超算上。在景嘉微之前有FP64的只有海光深算,因为超算要用。
国产AI芯片没有FP64不是因为它难到别人搞不定,而是芯片面积有限,放了FP64单元,其他单元就会减少,而这些芯片都是AI芯片FP64几乎用不上。景嘉微为什么放FP64,因为军方爸爸需要啊,不记得它今年得向爸爸交货了吗?
美国禁FP64芯片到中国,也不是因为AI特别厉害,是禁我们的超算。
老兄你是会断章取义,春秋笔法的。
人家原文是这这样的。芯片专家陈巍指出,通过流传的产品图可以看出,英伟达在这一版芯片主要进行了算力的阉割。阉割的对象主要包括FP64(双精度浮点运算),通常用于科学和工程领域的高精度计算。然而,令人意外的是,H20芯片并没有阉割FP64算力。此外,他表示,为了正常供应,英伟达通常会阉割FP64算力,但在这次的产品中并未采取这一。
很明确的说了FP64用于科学和工程领域的高精度计算,引申意思美国禁止我国获取用于超算的芯片,但英伟达没有阉割FP64。但是从哪里看出他说FP64对于AI的意义?
FP64(双精度浮点数):用64位二进制表示,其中1位用于sign,11位用于exponent,52位用于fraction。它的数值范围大约是2.23e-308到1.80e308,精度大约是15到17位有效数字。它通常用于科学计算中对精度要求较高的场合,但在深度学习中不常用,因为它占用的内存和计算资源较多。
FP32(单精度浮点数):用32位二进制表示,其中1位用于sign,8位用于exponent,23位用于fraction。它的数值范围大约是1.18e-38到3.40e38,精度大约是6到9位有效数字。它是深度学习中长期使用的标准格式,因为它能平衡数值范围和精度
这不是我说的,请问说的有错吗,错在哪里?