ARM控股有限公司4月9日宣布推出 Ethos™-U85 神经网络处理器 (NPU)。Ethos™-U85是 ARM 迄今性能最高且能效最佳的 Ethos NPU 产品。
ARM同时推出全新物联网参考设计平台——Arm Corstone™-320，以加速实现语音、音频和视觉系统的部署。
Arm 高级副总裁兼物联网事业部总经理 Paul Williamson 表示：“随着边缘人工智能 (AI) 的部署规模持续扩大，芯片创新者必须应对日趋复杂的系统和软件、不断激增的 AI 性能需求，以及加速产品上市进程的压力。与此同时，软件开发者需要更加一致、简化的开发体验，并能更轻松地与新型的 AI 框架和库实现集成。此次 Arm 推出的新技术满足了加速边缘 AI 部署不断增长的要求。从初创企业到全球最大的微控制器厂商，每家企业都将 Arm 技术视作首选平台，以构建其从云端到边缘侧的 AI 解决方案。”
Arm Ethos-U85 NPU：Arm 全新第三代面向边缘 AI 的NPU 产品
与上一代产品相比，Ethos-U85 性能提升四倍，能效提高 20%，同时，其 MAC 单元可从 128 个扩展到 2048 个（在 1GHz 时，算力实现 4 TOPs），能够为诸如工厂自动化和商用或智能家居摄像头等需要更高性能的应用提供有力的支持。Ethos-U85 提供了相同的一致工具链，因此合作伙伴能够利用现有的投资，达到无缝的开发者体验。更重要的是，全新 Ethos-U85 NPU 支持了 TensorFlow Lite 和 PyTorch 等 AI 框架。
Transformer 架构的影响
于 2017 年问世的Transformer 架构彻底改变了生成式 AI，并成为许多新型神经网络的首选架构。基于 Transformer 架构的模型可利用注意力机制处理序列数据，并在机器翻译、自然语言理解、语音识别、分割和图像字幕生成等多项 AI 任务中实现优异的效果。
这些模型可被调整和压缩，在不过多影响准确度的情况下，能高效运行于边缘设备上，并在许多边缘侧和端侧用例中发挥领先的优势。
Ethos-U85 除支持卷积神经网络 (CNN)外，新增支持Transformer架构以实现 高级AI 推理。Transformer 架构将推动新的应用，特别是面向视觉和生成式 AI 用例中，对于理解视频、填充图像的缺失部分或分析来自多个摄像头的数据以进行图像分类和目标检测等任务非常有效。
随着微处理器被部署到诸如工业机器视觉、可穿戴设备和消费者机器人等更多高性能的物联网系统中，Ethos-U85 专为与 Arm 领先的 Armv9 Cortex®-A CPU 相结合而设计，以加速处理机器学习 (ML) 任务，并为更广泛的更高性能设备提供高能效的边缘推理能力。
迄今，Arm Ethos NPU 系列产品已有逾 20 家授权许可合作伙伴，其中，Alif Semiconductor 和英飞凌是全新 Arm Ethos-U85 NPU 的早期采用者。
Corstone-320：全新物联网参考设计平台，加速语音、音频和视觉系统的部署
Corstone-320 硬件
在硬件方面，物联网参考设计平台 Corstone-320 集成了以下前沿的 Arm IP：
Arm Cortex®-M85
Arm Mali™-C55 ISP
Arm Ethos™-U85 NPU
Arm CoreLink™ DMA-350
为语音、音频和视觉等广泛的边缘 AI 应用提供所需的性能，例如实时图像分类和目标识别，或在智能音箱上启用具有自然语言翻译功能的语音助手。该参考设计平台涵盖了软件、工具和支持，其中包括 Arm 虚拟硬件。该平台的软硬件结合特性将使开发者能够在物理芯片就绪前便启动软件开发工作，从而加速推进产品进程，为日益复杂的边缘 AI 设备缩短上市时间。
Cortex-M85 搭载 Arm Helium™ 技术，也是性能最高的Cortex-M 处理器。尤其是视觉应用的理想之选。其优势包括：
高能效：能为需要长期运行的摄像头提供高能效。
高性能：能为需要实时捕获高质量视频和音频的摄像头带来高性能表现。
安全性：可抵御黑客攻击及其他形式的网络攻击。
灵活性：可用于大量的摄像头和视觉用例。
对于采用 Cortex-M 的应用而言，若想显著提升性能和强化安全性，升级到 Cortex-M85 是一条顺理成章的路径。除了 Arm TrustZone® 技术，该处理器还集成了指针验证和分支目标识别 (PACBTI) 安全技术，可抵御返回导向编程 (ROP) 和跳转导向编程 (JOP) 的安全漏洞攻击。
Ethos-U85 是 Arm 的第三代 NPU。与上一代产品相比，其性能提升四倍，能效提高 20%。该 NPU在物联网应用中具有可扩展性 ，支持 128 至 2048 个 MAC 单元的配置，可在1GHz时提供高达4 TOPs的机器学习（ML）加速。用于 AI 推理时，Ethos-U85 还支持 Transformer 架构和卷积神经网络 (CNN)。
Mali-C55绝佳地集成了高分辨率图像处理能力（可支持 4800 万像素的图像分辨率）、能效、可配置性及无与伦比的图像质量，适用于广泛的物联网视觉应用。同时，高度可配置的直接内存访问控制器 DMA-350，可实现高效的数据移动，从而提高系统性能和能效，并支持 Arm TrustZone技术。
解锁物联网的创新机遇
语音、音频和视觉与物联网设备的持续集成带来了巨大的创新机遇。通过赋能这些设备以更加复杂的方式与其周围环境交互、解读和感知，从前难以想象的广泛新应用和功能正逐步被发掘。而这将推动物联网设备和技术实现重大的创新与变革。
Arm 拥有全球最大规模的 AI 合作伙伴生态系统，这些合作伙伴提供 ML 模型和软件，满足多样化的物联网设备需求，覆盖了从嵌入式系统的低功耗传感器到未来环境体验的高性能物联网应用。
Corstone-320 正处于这个变革的前沿，为物联网市场提供低成本、低功耗、高性能的智能参考设计平台。通过集成式软件与硬件相结合，该平台将在各个用例和场景中显著加快产品上市进程，并降低 SoC 设计与软件开发的复杂性。这将有助于生态系统以前所未有的速度扩展物联网应用。
全新的4 TOPs Ethos-U85 NPU无疑给$恒玄科技(SH688608)$ 提供了大幅升级超低功耗可穿戴SoC算力的极佳选择，Corstone-320 物联网参考设计平台可以帮助恒玄加快智能视觉SoC和中高端AR SoC产品落地。