MOSS大模型项目负责人邱锡鹏:大模型的下个阶段是“世界模型”|WAIC 2024

发布于: 雪球转发:0回复:1喜欢:1

财联社7月8日讯(记者 武鑫)大模型技术的发展现状及未来趋势,是市场关注的热点议题,也是本届WAIC探讨的重点。

在由财联社、东浩兰生、学而思联合主办的AI产业创新与投资发展主题会上,复旦大学教授、MOSS大模型项目负责人邱锡鹏,对大模型发展的难点、不足,及未来发展趋势进行了分享。

邱锡鹏认为,当前,大语言模型还存在很多不足。比如在落地阶段,大语言模型的会遇到难以解决的“幻觉问题”,即生成不真实、不可靠、不存在的信息,这些信息并未在环境中得到验证。

“这是因为大语言模型是从人类已有的知识中进行学习的,因此并不擅长复杂的算数运算,也缺乏预测未来的能力,如无法预测欧洲杯的冠军。”邱锡鹏解释。

要解决前述问题,就要让大语言模型与现实世界进行交互。因此,邱锡鹏将大模型的未来趋势和发展方向,总结为观察世界、产生动作,并走向“世界模型”。

那么,大语言模型要如何与现实世界进行交互?邱锡鹏在会上提及,这涉及到“具身智能”与“世界模型”两个要点。其中,具身智能的代表之一是在本届WAIC上备受关注的人形机器人,让大模型成为人形机器人的大脑,以执行复杂任务。

对于何为世界模型(world model),邱锡鹏给出了答案。他说道,人类在理解世界时,会对周围环境进行建模,比如在骑车时想象周围的环境,通过重构环境进行预测,从而调整和做出下一步的动作,这就是所谓的世界模型。

邱锡鹏用Chat GPT4举例称,Chat GPT4已有一个对现实世界具备感知能力的世界模型,但仍停留在符号层面。目前,业界、学术界,都在致力于将大语言模型与现实世界对齐,使其成为一个世界模拟器或世界模型。

针对如何将大语言模型演化到世界模型,邱锡鹏提出了六大方向:高效架构、数据治理、人类对齐、工具增强、跨模态融合、智能体。

其中,高效架构的目的在于尽可能节省算力资源;数据治理是指让大模型搜集到尽可能多的数据,并与现实世界进行交互,从而不断迭代;人类对齐的目的是让大模型对齐人类的价值观,与人类进行交互,以保证其可解释性,提高其可信性。

工具增强则是通过使用各类工具弥补大模型的不足,帮助其做出决策;而跨模态融合是让大模型融合文、音、图等多种能力;智能体是让大模型执行复杂任务、将其置于沙盒环境进行学习,并通过具身智能接入具体的应用场景。

据了解,在Chat GPT发布不久后,邱锡鹏教授团队也发布了国内第一个对话式大型语言模型MOSS,并且最早推出了使用工具版本。比如,在能力不足的时候,通过让MOSS大模型使用搜索引擎、计算器等工具,以提升能力。

全部讨论

07-08 14:05

@税警合成作战中心 建议开征吹牛逼税