🔥模型基本信息:还是Transformer架构,开源,MoE架构,236B参数(2个共享+160路由专家),每个token激活21B参数(2个共享+6个路由专家),上下文长度128K,训练数据8.1T tokens。🔥效果:开源MoE模...