$商汤-W(00020)$ 商汤科技考察预约-商汤绝影：自动驾驶大变革之门
原创 标杆学习平台 标杆学习平台
2021年，商汤发布智能汽车品牌“绝影”，以Tier 1的身份切入智能汽车市场，由王晓刚掌舵。王晓刚是商汤科技的联合创始人兼首席科学家，在此之前，他作为商汤研究院院长带队研究大模型。
商汤绝影的主要收入来源一度是智能座舱业务，其与上汽、奇瑞等知名主机厂合作了上百款量产车型。然而，汽车行业更广阔、同时变革更剧烈的赛道是智能驾驶。而端到端大模型，无疑是当下影响智能驾驶走向的最大变量。
在王晓刚看来，端到端大模型至关重要，是团队实现智能驾驶弯道超车的机会。
2023年，智能驾驶进入开城竞赛，各车企和Tier 1试图研发低成本、通用性强的智能驾驶系统。当年5月，特斯拉CEO马斯克宣布，特斯拉将发布采用端到端大模型的自动驾驶系统，逐渐扭转了行业智能驾驶的研发方向。
端到端大模型旨在将智能驾驶的所有流程，整合至一个统一的模型，只需输入原始数据就能直接输出最终结果，从而大幅提升智能驾驶系统通用性。
这一轮AI与智能驾驶深度融合的浪潮，让商汤绝影看见了发挥大模型优势的机会。
在由WAIC 2024战¬略合作伙伴商汤科技精心筹办的“大爱无疆•向新力”人工智能高端论坛上，商汤科技发布了国内首个所见即所得模型「日日新5o」。该模型以实时流式多模态交互体验直接对标行业标杆GPT-4o，彰显了商汤科技在混合端云协同专家架构下打造的「日日新5.5」大模型所蕴含的非凡实力与前瞻性技术视野。
商汤科技联合创始人、首席科学家兼绝影智能汽车事业群总裁王晓刚先生，在论坛上发表了振奋人心的演讲。他强调：“原生多模态大模型无疑是解锁通用人工智能（AGI）时代大门的金钥匙。商汤绝影正以前所未有的热情与决心，激发AGI的无限创造力，深度推进多模态大模型与智能汽车领域的融合创新，旨在打造一系列颠覆性的车载智能化产品。”这不仅将加速智能汽车向超级智能体的跨越式进化，更将引领一场以用户为核心，重塑智能汽车交互体验的革命性变革，让未来出行更加智能、便捷、人性化。
据了解，商汤绝影作为引领智能汽车疾驰进入AGI时代的关键战略合作伙伴，不仅展示了其自主研发的可解释性强、高度交互性的自动驾驶大模型DriveAGI，更在行业内首开先河，发布了「随心界面」（FlexInterface）。这款革命性的车载生成式交互界面，以及「随意操控」（AgentFlow）等一系列车载AI Agent创新应用，为用户带来了前所未有的智能出行体验。这些成果标志着商汤绝影在推动自动驾驶与AI技术深度融合、优化人机交互体验方面又迈出了重要一步。
“以人为本”的理念正在智能科技领域得到前所未有的充分体现。商汤的多模态大模型技术，正是这一理念的生动实践，它实现了语音、文字、图像、手势、视频等多种信息模态的高效深度融合，为用户带来了前所未有的自然、丰富的人机交互体验。
过去许多模型处理不同模态信息是先把语音等输入转化为文字，文字和图像结合进行分析，输出反馈也是先生成文字，根据文字再生成语音输出，会有大量信息丢失和很高的延迟。
由「日日新5.5」体系支持的全新商汤多模态大模型是一种端到端的模型，也就是文字、语音、视频等模态一同输入，模型统一处理后输出相应模态的信息，相较于过去的方案，多模态融合的技术难度是几何倍数的提升。
技术上的高难度是商汤行业领先的原生多模态能力的直接体现。今年4月发布的「日日新5.0」是国内首个对标GPT-4 Turbo的国产大模型，「日日新5.5」体系更是全面升级，数学推理、英文能力和指令跟随等能力明显增强，交互效果和多项核心指标实现对标GPT-4o。
此前GPT-4o的发布为消费者展示了多模态实时交互的方式，让更多人领略多模态感知和交互的魅力，也开始帮助释放多模态大模型的商业落地想象空间。
相比手机，智能汽车以其独特的场景优势成为了多模态大模型落地的理想落地场景。车内外的摄像头全天候工作，为实时多模态交互提供了可能；而智能汽车市场的持续增长，则为模型迭代优化提供了丰富的数据滋养。这一切，共同指向了一个激动人心的未来：智能汽车正逐步进化为超级智能体，而多模态大模型正是这一进化的核心引擎。
作为智能汽车领域的核心供应商，商汤绝影凭借其深厚的智能驾驶与智能座舱量产经验，正引领着智能汽车交互方式的深刻变革。从“以车为中心”到“以人为中心”，商汤绝影通过多模态大模型，实现了座舱内外、物理与数字世界的无缝连接，让每一个与“人”相关的信息都被精准捕捉、充分利用，真正实现了主动服务用户的愿景。这种真真切切的“以人为本”，正引领着智能汽车交互进入一个全新的时代。
车端模型的高效部署能力，无疑是推动智能汽车交互创新不可或缺的技术基石。商汤绝影凭借其卓越的全栈部署策略，涵盖云侧、端云融合及纯端侧等多种模式，灵活且高效地将多模态大模型融入智能汽车生态系统，确保了商汤原生多模态技术的迅速落地应用。
目前，商汤绝影已率先在行业内完成了原生多模态大模型的车端部署，并在WAIC上展示了其跨越不同算力平台的强大适配能力，成功运行了从2.1B到8B级别的端侧多模态大模型。这一里程碑式的成就，不仅彰显了商汤绝影在技术创新上的领先地位，更为智能汽车领域树立了新的标杆。
值得一提的是，相较传统云上部署方案普遍存在的数秒级延迟问题，商汤绝影车载端侧的8B多模态模型实现了惊人的性能突破，首包响应延迟缩短至300毫秒以内，推理速度高达40Tokens/秒。这一显著提升，极大地优化了用户体验，为智能汽车提供了更为流畅、即时的人机交互体验，彰显了“以人为本”的智能汽车交互理念，引领了未来智能出行的新风尚。
2022年末，商汤科技及其联合实验室推出了业界首个集感知与决策于一体的自动驾驶通用模型UniAD，并在2023年国际计算机视觉与模式识别会议（CVPR）上荣获最佳论文。今年北京车展以来，UniAD凭借其持续的数据积累、精准的真值标注、高效的模型训练及实车验证，系统稳定性实现了质的飞跃，驾驶体验在连续性与舒适性方面均得到了显著提升。在本届WAIC上，商汤绝影展示了仅依赖7个摄像头的UniAD如何在无高精度地图辅助下，游刃有余地穿梭于城市复杂路况与乡村小径，实现了一镜到底的实车演示，标志着端到端智能驾驶模型的持续迭代进化。
尽管UniAD极大地增强了智能驾驶系统的能力，但商汤深知，纯粹的端到端模型并非自动驾驶的终极形态。为了实现智能汽车向超级智能体的跨越，关键在于赋予其更强大的开放世界感知、逻辑推理、精准决策及自然交互能力。为此，商汤绝影开创性地研发了首个针对驾驶决策规划设计的智驾大模型DriveAGI。该模型基于多模态大模型构建，使端到端智能驾驶系统具备可解释性，让车辆能够像人类一样深刻理解复杂的现实环境，洞悉交通参与者的行为意图，迅速掌握并适应多变的交通规则与路况信息。同时，它支持用户交互，能向乘客清晰阐述驾驶决策的推理路径，增强了用户的信任与安全感。
目前，商汤绝影的DriveAGI智驾大模型已展现出非凡的能力，能在无明确标识的宽阔道路上，精准判断并安全穿越由两个石墩构成的狭窄空间；面对公交专用道、潮汐车道及施工区域等复杂交通标识，它亦能准确识别并灵活应对，自主执行变道或避让操作。特别是在紧急情况下，如后方救护车逼近，DriveAGI能够迅速进行逻辑推理，果断采取避让措施，确保道路安全与畅通。
UniAD与DriveAGI智能驾驶大模型的卓越表现依赖于商汤绝影强大的模型构建能力，这一成就背后，离不开海量且高质量数据支持学习和训练。作为“新质生产力”的典范，以多模态融合为代表的大模型极大地加速了从端到端的智能驾驶训练到迭代优化的全周期效率。
今天的智能汽车配备了丰富且强大的硬件，能够为用户打造一个独立的交互环境，它是AGI落地的最佳场景。面向智能座舱，商汤绝影充分释放多模态大模型强大感知和交互能力，激发更多想象空间。
依靠行业领先的多模态能力，商汤绝影正在打造多模态大模型引擎产品「座舱大脑」（CockpitBrain），构建一系列AI大模型座舱产品矩阵，让钢铁侠的人工智能帮手「贾维斯」走进智能汽车，成为每一个用户的AI出行伙伴。
在本届 WAIC上，商汤绝影正式发布行业首个生成式交互界面产品「随心界面」（FlexInterface）以及「随意操控」（AgentFlow）等多个车载 AI Agent，旨在通过AI技术，彻底改变用户与车载系统的交互方式。
依托于 AI 大模型的即时生成和修改交互界面的能力，FlexInterface在大模型解析用户需求的基础上，结合设计系统的框架和范式，实现高度动态和个性化的界面生成。无论是天气、时间、节日、纪念日，还是周围环境变化，FlexInterface 都能自动变换界面风格，提供最佳用户体验。
AgentFlow 通过大模型的推理能力，模拟人类点击操作，实现对APP和网站的直接操作。用户只需使用自然语言，就能让AI自主选择多个工具完成复杂任务，无需主机厂进行额外的研发适配。这种能力不仅提升了操作的便捷性，还极大地扩展了车载系统的功能范围。例如，用户能让AgentFlow自动搜索并预约适合看球的酒吧，提供从搜索到预订的一站式服务。
在商汤绝影的现场演示中，用户通过FlexInterface生成了一个「欧洲杯」风格的主题，大模型自动生成具备欧洲杯元素的中控屏幕桌面和图标；同时，用户还能通过AgentFlow随时播放欧洲杯或足球相关的音乐，展示了这些创新产品在实际应用中的强大能力和灵活性。
除此之外，本届WAIC上，商汤绝影在传统智能汽车「哨兵模式」的基础上打造了「多模态哨兵」， 能够全面理解并应对开放世界中可能对车辆造成损害的各种潜在随机危险行为，诸如划车、喷涂车身、拍打砸车、拉拽门把手、撬门以及踹车等，确保车辆安全无死角。
在多模态大模型的助力下，商汤绝影将让智能汽车成为用户的专属「贾维斯」，让智能汽车向着超级智能体的形态又迈进了一步。
$广汽集团(SH601238)$ $长安汽车(SZ000625)$