2023-10-29 20:43
“传统的高性能计算机的测试结果与人工智能需要的性能不完全一致。高性能计算算力测试程序主要使用双精度浮点数运算,即64位浮点运算,人工智能训练以单精度浮点数,即32位浮点数为主。”如果要做符合语言模型的训练,就要考虑半精度平衡性,即设计中主要考虑半精度运营性能,又要注意双精度运算能力不能过低,所以双精度与半精度运算性能之比为1:100较好。—郑纬民院士
除了生态CUDA以外,华为昇腾包括其他国产厂商比如寒武纪,壁刃,沐曦这些都是只支持FP16和FP32,而深算二号以及NV卡的H100和A100均支持FP16,FP32以及FP64双精度运算,双精度运算虽然在大模型中的运算占比很少,但是你用混合精度训练替代会造成模型精度不够或者训练结果不稳定的问题,这个是硬伤。在一些科学计算的场景,是必须用FP64双精度运算的。
互联网企业几乎不会用华为,一个是有沉没成本,另一个就是楼主说的竞争关系,三是互联网企业不太可能脱离全球主流技术体系陪华为玩。那么剩下的唯一选择只能是海光或者黑市。当然,部分国企在没有沉没成本的前提下是可以直接上华为,或者两条路线并行的。
“传统的高性能计算机的测试结果与人工智能需要的性能不完全一致。高性能计算算力测试程序主要使用双精度浮点数运算,即64位浮点运算,人工智能训练以单精度浮点数,即32位浮点数为主。”如果要做符合语言模型的训练,就要考虑半精度平衡性,即设计中主要考虑半精度运营性能,又要注意双精度运算能力不能过低,所以双精度与半精度运算性能之比为1:100较好。—郑纬民院士
算力的硬件指标其实门槛不大,国内的这些初创企业2年就能做出16位算力300t的卡了,实现难度没有那么大,难的是生态,这个才是海光最大的优势。
打模型训练不会用dcu的…………算力差太多
而且海光研发人员平均薪水上市公司第一比中芯国际中微公司华创寒武纪都高不少,还有双奖年终奖,年中奖。待遇好员工才会更卖力更有干劲,所以长期看海光是不错的