360自研7B参数大模型正式上线开源社区
包括基础模型和4K、32K、360K三种文本长度。最长可支持360K长文本、50万字左右输入，3秒钟即可读完《三体》，是目前开源模型中支持文本长度最长的大模型。微调训练代码、推理代码全套工具集一并开源，开发者开箱即用，行业无需再“卷”长文本了。
通过OpenCompass与国内外同参数模型对比，360智脑7B大模型综合能力排名前三，C-Eval、MMLU、HellaSwag、LAMBADA多项能力第一，表现出中英文知识和推理理解能力方面的竞争力。应对“弱智吧”贴吧“刁难”，也能清晰从容应答。
图1 360智脑7B与同级别参数大模型
能力对比评测中位居前三
360智脑7B大模型长文本能力在LongBench评测中也有亮眼表现，在同等参数模型测评中拿下最高分。与此同时，中英文360K大海捞针效果均取得超过98%的高分。在技术实现上，抛弃滑动窗口attention、跳跃attetion等有损压缩路线，采用的是超长文本的无损压缩技术。
图2 360智脑7B大模型LongBench评测得分最高
360开源360智脑7B大模型，使“长文本”成为大模型的标配。未来，将进一步推动国内大模型场景化落地，为大模型在应用层创新提供重要支撑。
文章源自360到大模型公众号！