发布于: 修改于:雪球转发:0回复:1喜欢:0
据官方介绍,SenseChat V5模型能力显著提升,其背后是训练数据的全面升级与训练方法的有效提升。
在数据方面,SenseChat V5采用了新一代数据生产管线,生产了10T tokens的高质量训练数据。通过多个模型进行数据的过滤和提炼,显著提升了预料质量和信息密度;基于精细聚类的均衡采样确保对世界知识覆盖的完整性。同时,SenseChat V5还大规模采用了思维型的合成数据(数千亿tokens量级),这对于模型在逻辑推理、数学和编程等方面的能力提升起到了关键作用。
SenseChat V5采用了自研的多阶段训练链路,包括三阶段预训练、双阶段SFT和在线RLHF。通过在每个阶段设定更加清晰聚焦的目标,实现更敏捷的调优,也避免了不同目标之间的相互干扰。其中在预训练阶段,分阶段培养模型的基础语言和知识能力、长文建模能力、以及复杂逻辑推理能力(规模化采用合成数据);在 SFT 阶段,把任务指令遵循和对话体验优化分解到双阶段进行;在 RLHF 阶段,采用统一的多维度奖励模型和动态系统提示词对多维度偏好进行打分,从而更好地实现模型在多个维度和人类期望对齐。
这其中很多能力尤其是高质量数据自动生成能力,是其他模型所不具备的。$商汤-W(00020)$ $腾讯控股(00700)$
引用:
2024-05-22 16:10
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI长期霸榜的 SuperCLUE (中文大模型测评基准),终于被国产大模型反将一军。
事情是这样的。
自打SuperCLUE问世以来,成绩第一的选手基本上要么是GPT-4,要么是GPT-4 Turbo,来感受一下这个feel:
(PS:共有6次成绩,分...

全部讨论

05-23 13:00

一些公司还在努力构建自己的大模型,费钱又费时。这是一个赢家通吃的行业,如果自己做不到第一不如把钱资金投入入股最有可能成为行业第一的公司--商汤。关键是目前的价格很低。很多公司真的可以认真考虑一下这个问题,以免白忙一场,颗粒无收。