例如,科大讯飞针对大部分特定场景的图文识别做了专门优化,覆盖了书籍、学术论文、报纸、体检报告、PPT 等 31 个工作生活中最常见的典型场景,并针对其中最常见的 18 个板面要素进行优化,可实现对诸如页眉、页脚、标题、表格等要素的快速识别和处理,甚至针对复杂的公式、印章、二维码以及手写等元素也能准确识别。
刘庆峰还介绍说,在英文公开测试集的图文识别效果对比中,星火图文识别大模型领先微软、Google 等国际产品 6 个百分点。在诸如科研、金融、产品文档等典型应用场景的图文识别效果对比中,星火图文识别大模型均实现对目前公认实力最强的 GPT-4V 的超越。
星火图文识别大模型的加入,相当于给讯飞星火装上了一双“眼睛”。现实生活中看到不明白的内容,随手一拍就能求助大模型。一份报纸信息过多,一键拍照让大模型来帮你整理要点,获取知识的门槛和便利程度都大大提高。签订的租房合同看不出漏洞,拍给大模型一键帮你指出风险条款,让你也能化身法律专家。
越来越多的从业者已经认识到,多模态能力将是未来衡量大模型可用性、易用性的重要指标。视觉作为多模态能力的最重要的一环,可以帮助大模型实现从单纯的文本能力到感知物理世界的巨大飞跃,为未来大模型应用提供了更大的想象空间。
根据国家互联网信息办公室,截至今年 3 月,中国已备案的大模型已经达 117 家。预计在不远的将来,越来越多的国产大模型将致力于多模态内容的开发,使大模型技术真正融入人们的日常工作和学习中。
Exploring OCR Capabilities of GPT-4V(ision) : A Quantitative and In-depth Evaluation ↑