芝能智芯出品
在英特尔 Vision 2024 大会上，英特尔展示了最新的专用人工智能加速器，英特尔 Gaudi 3。这款全新的 AI 加速器是英特尔在炙手可热的市场中推出的最新力作，预计将在 2024 年晚些时候投入量产。
Gaudi 3 采用了 HBM2e 技术，具有 128GB 的内存容量，采用了八个堆栈。其 FP8 计算能力高达 1.835PFLOPS，这是一个巨大的进步。
值得一提的是，支持 FP8 并不容易，但 Gaudi 3 做到了。拥有 64 个张量处理器核心和 8 个矩阵数学引擎，提供了出色的计算性能。
● 内存：128GB HBM2e
● 张量处理器核心：64个
● 矩阵数学引擎：8个
● 峰值算力：1.835PFLOPS
● 功耗：900W
Part 1Gaudi 3 的亮点
Habana 的 Gaud在 2019 年被英特尔收购。Gaudi 1 代后，Nervana 还存在，许多举措都是围绕 Facebook 的人工智能加速器选择展开的。
自从英特尔在 2019 年收购以来，英特尔从 2022 年底开始着手推出 Gaudi 2 代产品。而 Gaudi 3 是其继任者，在计算和带宽方面实现了巨大的升级，将工艺从 7nm 缩小到了 5nm。
Gaudi 3 对比 Gaudi 2
Gaudi 3 和 Gaudi 2 的对比展现了 Gaudi 3 的巨大进步。Gaudi 3 的硅封装要大得多，充分体现了其性能提升和增强。
● Gaudi 3采用了两颗硅芯片，每颗芯片包含32个张量处理器核心、4个矩阵数学引擎和48MB SRAM。
● 两颗芯片之间通过以太网连接，可实现高带宽、低延迟的通信
Gaudi 3 的设计特点
Gaudi 3 的硅封装上有两块芯片，每块芯片具有 48MB 的 SRAM、16 个张量处理核心和一个媒体引擎。与前代产品相比，Gaudi 3 使用以太网进行扩展和连接，这意味着它具备更高的网络接口速度和更强的横向扩展能力。
新一代的 Gaudi 3 使用 24 个网络接口，从 Gaudi 2 的 100GbE 提升至了 200GbE，使得它在 AI 加速器之间的数据传输更加高效。
Part 2Gaudi 3 的应用
Gaudi 3 不仅可以在单一加速器中发挥强大的性能，还可以进行集合使用。比如，英特尔展示了一个装有 8 个 Gaudi 3 OAM 加速器的 OCP UBB。
这种集合使用的方式可以为数据中心提供巨大的 AI 计算能力，助力各种 AI 应用的发展。Gaudi 3适用于各种AI应用，包括图像识别、自然语言处理、机器学习和深度学习。
具体应用场景包括：
● 数据中心：Gaudi 3可用于构建高性能AI集群，以满足数据中心对AI计算的需求。
● 云计算：Gaudi 3可用于提供云端AI服务，为用户提供便捷的AI计算能力。
● 边缘计算：Gaudi 3的低功耗特性使其非常适合边缘计算应用，可将AI计算能力部署到网络边缘。
小结
总的来说，英特尔 Gaudi 3 是一款进步巨大的产品，具备更多的内存、更强的计算能力和更快的网络连接速度。它将成为市场上的热销产品，为人工智能领域带来更多的创新和发展。
随着 Gaudi 3 的推出，英特尔在 AI 加速器领域将继续保持领先地位，助力人工智能技术的不断演进。