360智脑7B与同级别参数大模型能力对比评测中位居前三
据了解,360智脑7B模型在技术实现上抛弃滑动窗口attention、跳跃attetion等有损压缩路线,采用的是超长文本的无损压缩技术。为了解决随着序列长度的增长,模型训练的复杂度平方增长的挑战,360智脑在训练长文本模型时采用了两阶段的方式进行,采用了ABF+继续预训练,以及有监督的微调加以解决,有效解决了长文本模型在训练长度和训练效率上的问题,实现了高效的长文本拓展方法。在训练效率提升之下,综合智能性多项指标测评,360智脑7B在同等参数规模的情况下拿到了国内最高分。此外,在英文原版360k大海捞针效果同样取得了98.27%的高分。
360智脑7B大模型LongBench长文本评测得分最高
相关人士称,360智脑7B等国产自研大模型的开源,使“长文本”成为大模型的标配,进而推动国内大模型的场景化落地,为大模型在应用层创新提供重要支撑。随着以360为代表的互联网大公司将自研大模型开源,中国大模型产业将获得进一步发展。
免责声明:本文仅供参考,不构成投资建议。
广告