这个才是国内第一个自己的大模型
字节发布的这个MegaScale估计只有超级大厂才有用，一个在超过一万个 GPU 上训练 LLM 的生产系统。#ai##llm#
整个系统涵盖了从模型块和优化器设计到计算与通信的重叠、运算符优化、数据管道以及网络性能调整的算法和系统组件。
MegaScale 在训练一个 175B 参数的 LLM 模型时，在 12,288 GPU 上实现了 55.2% 的模型浮点运算利用率（Model FLOPs Utilization，MFU），相比 Megatron-LM 提升了 1.34 倍。$中际旭创(SZ300308)$ $新易盛(SZ300502)$ $华工科技(SZ000988)$
