发布于: Android转发:0回复:0喜欢:0
$商汤-W(00020)$ 全面超越国际模型均线!沙利文报告:商汤日日新·商量位列2024年中国大模型能力评测第一梯队
网页链接
商汤
全面超越国际模型均线!沙利文报告:商汤日日新·商量位列2024年中国大模型能力评测第一梯队
金融界
2024-03-26 15:20北京富华创新科技发展有限责任公司官方账号,优质财经领域创作者
关注
大模型展现出强大的通用性和跨领域能力,正在助力千行百业发展,“人工智能+”(AI+)在2024年首次被写入政府工作报告。
面对相继上市的众多模型,国际知名调研机构弗若斯特沙利文(Frost & Sullivan)联合头豹研究院日前发布《2024年中国大模型能力评测报告》(以下简称“报告”),给出结论:
商汤日日新·商量(SenseChat)超越国际大模型均线,位列中国大模型第一梯队。
报告选定了中外19个具有代表性的大模型进行评测,其中覆盖15家国内主流模型,与此同时,国际方面选择了OpenAI的GPT3.5和GPT4、谷歌的Gemini1.0以及Anthropic的Claude 2,并将这四大模型的平均水平设为国际大模型均线。
报告以五大细分维度——数理科学、语言能力、道德责任、行业能力及综合能力为衡量标准,深入探索了大模型的能力边界。
其中,商汤日日新·商量不仅在五大评测维度上均表现突出,还在代码能力、角色扮演、意图理解、金融行业等多个子维度拔得头筹,展现了在实际使用场景中的强大专业应用能力。
【小标题:“全能手”商汤日日新·商量:五大维度能力皆进入第一梯队,6个子维度表现斩获第一】
实现从学术研究向实际应用领域的跨越,是AI大模型过去一年展现出的巨大潜能。
因此,报告选取的五大评测维度覆盖了两大核心价值能力——通用基础能力和专业应用能力。前者是AI自然语言处理的基石,后者则决定模型在实际使用中的表现。
这两者的结合构筑了用户角度的坚实基础,在五大测评维度中,
商汤日日新·商量全部超越国际大模型均线,位列第一梯队,
其中道德责任、数理科学、语言能力表现尤为突出。
报告显示,商汤日日新·商量在6个评测子维度中拔得头筹:
· 数理科学-代码类:
商汤日日新·商量在中国大模型中表现最佳,能够根据问题要求提供相对准确的代码;
·数理科学-逻辑推理:
商汤日日新·商量能够采用假设的方式对逻辑推理问题进行推理回答,并在回答的结尾用简明扼要的语句总结复杂的推理过程;
· 语言能力-意图理解:
商汤日日新·商量能很好的理解中文语境下各种幽默笑话以及一语双关的语言内在含义;
· 语言能力-角色扮演:
商汤日日新·商量在模拟对话和角色行为方面具有出色的能力,能更自然地融入不同的语境中;
注:商汤日日新·商量的角色扮演能力,不仅能够准确地呈现场景的特性,还具备高度沉浸式的模仿能力。
· 道德责任-风险信息:
报告指出商汤日日新·商量利用了更高质量或更可靠的数据源进行训练,从而降低了风险信息的产生;
· 行业能力-金融行业:
商汤日日新·商量凭借深厚的技术积淀、对金融行业场景的敏锐洞察力和高度适应性,以及对企业内外部金融数据的有效整合与利用,在金融专业知识储备维度展现出了强大的竞争力。
值得一提的是,报告显示,在关于行业能力维度的测评中,商汤日日新·商量在
工业、
教育、
金融、
房地产
旅游、
法律、
农业和
线下零售
等行业中均表现出领先优势,展现了多行业、多场景的落地应用实力。
【小标题:基于AI“三要素”全面深耕模型能力,商汤科技加快打造“新质生产力”】
报告认为,大模型是继工业革命和互联网革命之后的又一重大创新,将在社会劳动力提升、产业发展加速以及科技突破三个关键领域中,显著增强实体产业的发展能力。
从去年以来,“新质生产力”已成为中国经济的一个高频词,在今年两会期间,《政府工作报告》明确提出大力推进现代化产业体系建设,加快发展新质生产力。
作为科技创新驱动的前沿技术,人工智能被普遍认为是数字经济时代的新质生产力。
而如何“上新提质”是未来“新质生产力”发展的关键课题,正如报告指出:
中国大模型的发展受专业人才、高质量数据和计算资源短缺的限制。
商汤科技之所以在评测中超越国际模型均线水平,得益于持续围绕人工智能本质因素——
算法、算力、数据进行前瞻性打造及规模化投入。
首先,依托丰沛AI算力的SenseCore 商汤AI大装置,通过软件、硬件、工程化系统以服务大模型迭代为目标的研发配合,保障了大模型的高频迭代。
其次,商汤在积累巨大的原始语料数据的基础上,通过高精度的分类器和人工精细化清洗的方式,提炼出高质量的数据,进而训练性能强大、价值观对齐的大模型。
现在,商汤的高质量训练数据的每个月产出量,已经达到2万亿Tokens。
借助丰厚、领先的算力和数据资源,今年2月商汤科技“日日新SenseNova4.0”大模型体系全新升级,拥有更全的知识覆盖、更可靠的推理能力,更优越的长文本理解力及更稳定的数字推理能力和更强的代码生成能力,并持跨模态交互。
未来,商汤将不断优化迭代大模型能力,“上新提质”打造新质生产力,为各行各业高质量发展提供强劲推动力和支撑力