发布于: Android转发:0回复:1喜欢:0
纯国产GPU的万卡集群,它来了!
而且还是国内首个全功能GPU,兼容CUDA的那种。
这个集结了超过10000张高性能GPU的超复杂工程,它的算力有多大?
不卖关子,直接揭晓答案——
总算力超万P,专为万亿参数级别的复杂大模型训练而设计。
规模还只是它的特点之一,其它亮眼的地方还包括:
- 有效计算效率(MFU)目标最高达60%,可达到国际水平
- 周均训练有效率目标最高可达99%以上,平均无故障运行15天以上,也是对标业界最高标准
- 通用场景设计,加速一切大模型
- 生态Day0级快速迁移,与CUDA兼容
这便是江湖人称“中国版英伟达”的摩尔线程,对自家智算中心全栈解决方案夸娥(KUAE)升级后的最新 “打开方式”。
而纵观国内算力的发展进程,仅是今年上半年便陆陆续续有不少“头部玩家”先后宣布布局万卡集群,“打群架”之势,好不热闹。
但,万卡国产GPU,确实很少见。
加之以生成式AI为主旋律的大模型热潮当道,Scaling Law的“魔法”仍在持续奏效,训练GPT-4所需要的GPU数量便已经达到了25000个。
以及在大模型架构方面也不只是围绕Transformer,而是呈现出多元化的趋势;与此同时,AI、3D和HPC跨技术与跨领域融合不断加速……
因此,当下的技术给算力提出了更高、更复杂、更多样化的要求——
万卡集群已然成为大模型玩家的最低标配,更是促使国产GPU大步迈入“万卡时代”。
正如摩尔线程创始人兼CEO张建中所述:“当前,我们正处在生成式人工智能的黄金时代,技术交织催动智能涌现,GPU成为加速新技术浪潮来临的创新引擎。夸娥万卡智算集群作为摩尔线程全栈AI战略的一块重要拼图,可为各行各业数智化转型提供澎湃算力。摩尔线程希望做的事情是解决最难做的事情,帮助国家、帮助行业解决缺少大算力的问题。”

全部讨论

弘信电子?