Meta 发布图像分割模型 SAM，展现出零样本性能
近日 Meta 在论文中发布新模型 Segment Anything Model (SAM)，用于识别、分割图像和视频中的物体。与其他计算机视觉模型相比， SAM 的创新性主要体现在以下几个方面:1)SAM 基于 1100 万张图像 和 11 亿个掩码的海量数据集进行训练，是迄今为止最大的分割数据 集;2)SAM 在分割任务中展现出较强的零样本性能，能对从未训练过 的图片进行精准分割，初步验证了多模态技术路径及其泛化能力;3) SAM 开创性地与 Prompt 结合了起来，标志着自然语言处理的 Prompt 模式开始被应用在了计算机视觉领域。Meta 表示，目前公司内部已经 开始使用 SAM 相关技术，用于在 Facebook、Instagram 等社交平台上 照片的标记、内容审核和内容推荐等。
工业制造领域是图像分割模型较好的应用入口
在工业制造领域，图像分割是图像识别和机器视觉至关重要的 预处理，相关技术被用于捕捉和处理图像，为设备提供操作指导的应 用，具体场景包括乱序零件的分拣等。以往为特定任务创建准确的分 割模型通常需要领域专家进行高度专业化的工作，同时需要强大的算 力与大量精准标注的数据，而 SAM 等通用图像分割模型实现了机器视
觉核心技术的范式突破，未来有助于减少大量的数据标注工作。 我国工业领域对采用图像和机器视觉技术的工业自动化、智能 化需求广泛提升，以工业相机、图像采集卡、光源及图像处理软件为 核心的视觉产品日益完善。根据亿欧智库的统计数据，中国机器视觉 器件和系统的销售额从 2012 年的 19.8 亿元增长至 2021 年的 161 亿 元，复合增长率达到 31.7%，目前 3D 技术领域 80%以上的市场份额被 海外企业占据，国产化需求将进一步推动我国工业视觉产业的快速发 展。从工业视觉下游行业来看，3C 电子、半导体、新能源行业合计占 比约 80%，我们认为伴随消费电子等产品不断升级，对于机器视觉的 通用性、准确性要求将更高，图像分割等 AI 技术有望带来工业制造
领域的降本增效。



但是你可能不知道的是，在图像分割领域meta也曾经是创新奇智的手下败将。这可不是标题党。
创新奇智(AInnovation)在国际权威图像分割竞赛Cityscapes上获得实例分割评测的第一名，以明显优势刷新实例分割任务世界纪录，超越NVIDIA(英伟达)、Facebook、Uber、香港中文大学、商汤、搜狗、科大讯飞等几十支强劲的国际企业和科研机构。
迄今为止，在短短5个月时间内，创新奇智已连续在世界顶级人脸检测竞赛WIDER FACE、物体检测竞赛 PASCAL VOC、图像分割竞赛Cityscapes中取得三连冠的佳绩，充分彰显了创新奇智在计算机视觉识别领域的技术实力和算法创新能力。
图片来源：Cityscapes官网
网页链接

Cityscapes 数据集
Cityscapes评测数据集在2015年由奔驰公司推动发布，是目前公认的机器视觉领域内最具权威性和专业性的图像分割数据集之一。在Cityscapes评测数据集之中，共分为像素级分割和实例分割两个子任务，其中相较于像素级分割，实例分割的难度要更大，也是计算机视觉领域最重要、最具挑战的任务之一。
在Cityscapes实例分割任务所对应的数据集中，包含了5000张精细标注的图像和20000张粗略标注的图像，其中包含50个城市的不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注。该数据集以关注真实场景下的环境理解著称，任务难度更高。
截至目前，Cityscapes评测吸引了近百支队伍参赛，包括Facebook、Uber、香港中文大学、商汤、NVIDIA(英伟达)、搜狗、科大讯飞等众多国内外优秀创新企业和顶尖学术机构参加。创新奇智提出的AInnoSegmentation算法在各项指标中均有突破性进展，各项指标均名列第一，综合成绩第一。
创新奇智AInnoSegementation算法
AInnoSegmentation算法是以著名的Mask R-CNN网路架构为基础，骨干网络使用SE-Resnet152网络架构，使用它来提取多尺度特征图，颈部网络采用一个6级特征金字塔网络(FPN)，用来生成更加丰富的多尺度卷积特征。然后使用自研的特征融合模块作为特征融合器，后面连接两个共享子网，一个负责分类和框回归，一个负责图像分割。
Mask R-CNN网络图
看看AInnoSegementation算法的表现吧：
AInnoSegementation算法在Cityscapes数据集上的表现

实例分割算法的商业价值

创新奇智自成立伊始就瞄准高精尖的人工智能算法在制造、零售、金融等多个领域的商业化产品落地，重点突破人工智能算法的领先性和成熟性，形成具有巨大商业潜力的AI产品和解决方案。目前，创新奇智已经打造出业界领先的自动化机器学习平台和AI工业视觉平台ManuVision，并发表了数篇顶级会议论文。这些成果实实在在提高了算法在实际场景的精度，提升了训练和推理的速度，并极为高效地整合了计算资源。
AInnoSegmentation算法在工业视觉中应用非常广泛，典型场景包括：缺陷检测，定位，识别等复杂场景。例如，创新奇智已将该算法应用于成衣、磁性材料等质检场景下，提高产品的质检精准度。
AInnoSegmentation算法还可以应用于零售业中的渠道陈列和智能货柜等商品识别场景，提高商品识别准确度的同时，帮助客户提升运营效率。
另外，创新奇智还将AInnoSegmentation算法应用于钢铁厂智慧铁水无人机车运输系统上，进一步提高该解决方案的成熟度和技术壁垒。
关于参赛团队

创新奇智本次Cityscapes竞赛夺冠队伍由张发恩、吴佳洪、曹浩天、杨志铮、宋剑飞、黄泽、黄家水和贲圣兰组成。其中团队Leader张发恩现任创新奇智CTO、创新工场人工智能工程院首席架构师和宁波诺丁汉大学荣誉教授，他在人工智能工业界和学术界成绩不菲，曾任职Microsoft、Google和百度，持有多项国内外人工智能算法专利和发表过数篇人工智能顶级会议论文。队伍中其他成员也都有着深厚的人工智能教育背景和从业经历。
创新奇智是创新工场的AI子公司，以“人工智能赋能商业未来”为使命，致力于用最前沿的人工智能技术为企业提供AI相关产品及商业解决方案。创新奇智CEO徐辉在IT行业拥有20余年的销售、产品、技术、服务、管理经验，历任IBM、微软、SAP等多家世界500强科技巨头企业高管，对中国市场各个行业发展有着深入了解。创新奇智采用“技术产品”+“行业场景”双轮驱动模式，商业化速度飞快。
创新奇智拥有优异的技术研发团队，结合AI技术商业化的特点，制定了科学技术人才三级体系建设方案，三级体系形成一个金字塔结构，从顶到下分别是：“创新奇智科研委员会— 创新奇智创新研究院 — 创新奇智工程算法研发团队”。其中，“创新奇智科研委员会” 由世界顶级人工智能科学家及知名专家担任，包括中国工程院院士倪光南、前腾讯AI Lab负责人张潼、 百度研究院三维视觉首席科学家杨睿刚、密歇根州立大学教授张弥、创新工场人工智能工程院执行院长王咏刚、创新奇智CTO张发恩。$创新奇智(02121)$