恩智浦最新的应用处理器 i.MX 95采用专有NPU IP进行片上AI加速

恩智浦最新的应用处理器 i.MX 95 使用恩智浦专有的 NPU IP 进行片上 AI 加速，这与之前使用第三方 IP 的 i.MX 系列产品有所不同。实际上，越来越多的嵌入式处理器公司正在使用自己的AI加速器，以显著提升产品的差异化。

i.MX 95 系列专为汽车、工业和物联网市场中支持人工智能的应用而开发，具有符合 ISO 26262 ASIL-B 和 IEC 61508 SIL-2 功能安全标准的安全特性，其中也包括安全岛。典型应用包括工厂机器视觉和车辆语音警告、仪器仪表和摄像头系统。

i.MX 95 系列配备多达六个 ARM Cortex-A55 CPU 和一个用于 3D 图形的 ARM Mali GPU，以及恩智浦专用的2-TOPS Neutron NPU 和一个内部开发的图像信号处理器 (ISP)。 ISP处理相机接口和图像预处理，包括高动态范围 (HDR)、降噪和边缘增强等任务。

NXP 的 i.MX 95 应用处理器的框图（来源：NXP Semiconductors）

NXP 的 Neutron NPU 是一种通用矩阵乘法加速器，旨在从片上 CPU 内核卸载 AI 工作负载。 i.MX 95 版本的 Neutron 是之前用于 MCX-N 的 IP 的放大版本。 MCX-N 中的加速器是一个 150 MHz 的微控制器，每个周期提供 16 个 MAC，而 i.MX 95 的 2-TOPS NPU 可以在 1 GHz 或更高频率下运行。（总的来说，IP 可以扩展到每个周期 10,000 个操作。）

恩智浦全球人工智能战略和边缘处理技术总监 Ali Ors 告诉 EE Times，扩大规模也带来了自身的挑战。

“当你开始在计算能力方面变得更强大时，你必须处理更多的数据移动、分段、权重管理、DMA 缓冲等。”他说。

Neutron 可以运行包括 CNN、RNN、TCN 和 Transformer 在内的神经网络。 Ors 说，对包括 MobileNet、MobileNet-SSD 和 Yolo 在内的 CNN 进行的内部测试表明，与其中一种片上 Cortex-A55 相比，Neutron 将吞吐量提高了 100 倍到 300 倍，这具体取决于型号。

恩智浦的 Neutron NPU，它出现在 i.MX 95 应用处理器中（来源：NXP Semiconductors）

i.MX 95 中的 Neutron NPU 取代了 i.MX 93 中的 ARM Ethos-U65。为什么要在内部进行更改？

“这是我们自己战略的一部分，独立于 ARM AI加速器的产品和业务战略。”Ors 说。 “我们在市场上看到的以及我们决定执行的是，机器学习加速是我们在嵌入式处理器节点大量参与的所有三个市场的基本组成部分。因此，我们拥有独立技术是有意义的。”

他说，如果恩智浦拥有硬件 IP，这意味着恩智浦的 eIQ 软件开发环境可以作为当今和未来芯片上 AI 加速部件的统一因素。

Ors 还指出，AI 工作负载仍然非常动态； 模型仍在快速发展，它们使用的原语和数据类型也是如此。

“不断依赖软件，能够匹配硬件来运行这个领域的新事物，这是一个挑战。”他说。 “我们认为我们可以更好地支持我们的客户——特别是考虑到恩智浦有 15 年的供应可用性保证——我们必须维护、支持并确保这些组件部署到市场。”

他补充说，这包括能够更好地支持现场更新。

在 i.MX 93 之前，i.MX 8M+ 采用 Verisilicon 的片上加速器 IP，大小为 2.3 TOPS。 i.MX 95 中的 2 TOPS 引擎是否代表比前一部分更小的 AI 功能？

“与 i.MX 95 相比，我们在 8M+ 上运行的性能与 i.MX 95 相比，原始性能大致相同，但有很大提升，至少提高 2 倍到 4 倍，具体取决于型号。”Ors 说。 “这是机器学习模型如何进化以及架构如何进化以匹配市场需求的函数。I.MX 95的 NPU 在某些工作负载方面比 8M+ 的 NPU 更有效，这些工作负载在今天比8M+更普遍。”

未来的恩智浦应用处理器也将使用该公司的 Neutron IP。

“我们制定了针对可能使用相同 2-TOPS 更具体垂直市场器件的计划，但即使在该变体中，我们提供的内部缓冲区数量或我们提供的内部接口也可能有所不同，比如给 DDR 等。”Ors 说。

恩智浦的人工智能 eIQ 软件开发环境包括用于数据收集和数据集管理的工具，以及为恩智浦目标和部署选择模型、训练和分析的工具。

“eIQ 工具包是一个完整的流程，但在任何阶段，您都可以选择您想要使用多少恩智浦工具，以及您想要从您自己的脚本或您自己的工具偏好中利用什么。”Ors 说。

恩智浦的 API 目前对合作伙伴开放访问基础； 这允许第三方为特定用例和工具引入他们的数据集或模型，例如专有量化工具。Ors 表示，NXP 正在努力扩大此 API 的可用性。

也就是说，NXP 不会依赖第三方为 eIQ 带来差异化功能。 恩智浦自己添加的最新功能是水印防盗，旨在减轻 IP 盗窃，因为它允许客户判断他们部署的模型是否已被盗。

Ors 描述了如何使用蛮力从最终工作模型重新创建 AI 模型——使用某些输入、收集输出并从那里对权重进行逆向工程。 这将允许某人在他们自己的产品中有效地复制该模型。 恩智浦的水印工具旨在检测何时发生这种情况，并证明被盗 IP 的合法所有者。

水印工具将水印插入到训练数据中——在这种情况下，人眼可能会或可能不会看到变化。 结果是该模型会对某些带有水印的测试图像进行错误分类，因此使用带有水印的测试图像测试竞争对手的产品将证明知识产权的所有权。 此水印不会影响模型的性能或准确性。

今天有人会不厌其烦地对图像处理模型进行逆向工程而不是开发自己的模型，这现实吗？

“与收集使模型真正强大的特定训练数据相比，逆向工程可以更省力。”Ors 说。 “当图像很容易收集时，这没有意义，但当你进入非常具体的工业应用或医疗应用时，训练数据比你从公开可用的图像数据集中获得的数据更有价值。”

水印工具并不是为了明确防止 IP 盗窃而设计的； 它仅限于证明盗窃已经发生。 Ors 说，恩智浦与知识产权法专家合作，以确定在潜在诉讼中可以使用什么样的证据，从而包括用于记录所有权合法证明所需的水印和人工制品的设施，以及准确的时间戳。

该水印工具现已作为恩智浦 eIQ 开发环境的一部分提供。 i.MX 95 应用处理器预计将于 2023 年下半年开始发布样片。