沙利文《2023中国大模型行研能力评测报告》：12款主流大模型，商汤日日新·商量总榜第一
商汤智能产业研究院 2024-01-24 18:01 发表于北京
商汤科技SenseTime.
作为人工智能软件公司，商汤科技以“坚持原创，让AI引领人类进步”为使命，自主研发并建立了深度学习平台和超算中心，推出了一系列AI技术。我们还前瞻性打造AI基础设施SenseCore商汤AI大装置，降低AI生产要素价格。关注商汤，共启未来。
12款主流大模型，行业研报撰写能力哪家强？权威研究机构弗若斯特沙利文（Frost & Sullivan）联合头豹研究院最新发布的《2023年中国大模型行研能力评测报告》给出评价结论。
商汤语言大模型“日日新·商量”以总分7.73（满分10分）斩获总榜第一，并在报告撰写能力（八大模块）、模型基础能力（行研基础能力）两个子榜位居第一。报告中，沙利文这样评价“商汤商量”：在语言、知识、理解、推理和学科五大能力上均处于行业领先水平，不仅可以处理各类文本和信息，还能在协助行业分析师工作时，充分胜任随身综合知识库、高效文本编辑器、数理计算器和简单易用的编程助手等多个角色。
大语言模型为行研数字化“加料”
“商汤商量”强化分析师生产力
行业研究是通过分析特定行业的定义、竞争格局、市场规模等关键方面，产出深刻洞察和观点。《2023年中国大模型行研能力评测报告》主要从研究报告撰写能力、模型基础能力、行业综合理解能力三大方向对大模型进行全方位评测。研究报告撰写子榜单方面，此前沙利文及头豹行企研究用于行业深入分析的是一套全面系统的8-D研究方法论。
在这一框架下，沙利文调集百人规模的分析师团队精细研磨一套专业的8D模块提问方法，对模型能力进行评测，“商汤商量”在报告撰写能力的子榜单位居第一。沙利文认为，大模型报告撰写能力综合热力矩阵图显示，“商汤商量”是综合能力最强的模型，且在各个板块表现处于前列，能力均衡。
另外，在模型基础能力（行研基础能力）子榜中，“商汤商量”同样夺魁，在语境转换、文字生成、知识储备等模块排名第一。分析师认为，“商汤商量”产出的内容能够避免使用非专业词汇，同时确保生成内容的完整性和专业性，为用户提供阅读体验感满意的研究产出物。
目前，行业研究工作存在诸多痛点。从基础数据收集到深度分析输出，传统行业研究流程面临着工具革新滞后、团队知识难传承、信息溯源复杂等挑战。结合大模型技术，可协助分析师克服传统行业研究的核心制约因素，通过AI专家访谈、AI内容生成、AI文字校对、AI资料检索等多方面赋能行研，显著提升研究精度和效率，推动行研数字化进程。$广汽集团(SH601238)$ $上汽集团(SH600104)$