尧图网页设计 
摘要Agentic AI正在从云端走向端侧。mimik对AMD Ryzen AI嵌入式X100平台的分析显示超过80%的智能体操作由CPU完成模型推理在GPU上的占比不到20%。这一发现颠覆了“端侧AI等于NPU推理”的认知。本文从工作负载分布、系统架构和工程实践三个维度分析Agentic AI在嵌入式设备上的运行逻辑。一、一个被忽视的事实Agentic AI的工作负载不在GPU上生成式AI长期聚焦于GPU推理。大语言模型的训练和推理几乎全部围绕GPU或NPU的算力展开。但当AI从“生成”走向“代理”——从被动响应到主动决策——工作负载的分布发生了根本变化。mimik对AMD Ryzen AI嵌入式X100平台上的多智能体工作流分析显示超过80%的操作由CPU完成。这些操作包括智能体发现、代理间协作、安全机制、数据移动、路由和生命周期管理。模型推理在GPU上的占比不到20%。这个数据颠覆了“端侧AI等于NPU推理”的认知。Agentic AI的核心开销不在模型推理而在智能体之间的协调、通信和状态管理。mimik Technologies CEO Fay Arjomandi指出“行业花了十年时间优化模型推理。但当智能体开始相互协作时瓶颈从推理转移到了协调。”二、Agentic AI的嵌入式架构Agentic AI系统在嵌入式设备上的架构包括四个层面。模型推理层。运行在NPU或GPU上负责单次推理任务。这一层的优化已经相对成熟——量化、剪枝、NPU算子映射。在AMD Ryzen AI嵌入式X100平台上NPU提供50 TOPS的算力足以运行中小规模的模型。智能体协作层。运行在CPU上负责智能体的发现、注册、通信和任务分配。这一层是Agentic AI的核心也是CPU负载的主要来源。mimik的mimOE Embedded Edition使OEM和Tier 1能够部署Agentix-Native系统智能体可以在设备上直接进行推理、协调和行动。安全与生命周期层。运行在CPU或安全隔区中负责身份认证、访问控制和生命周期管理。Agentic AI系统需要Zero Trust安全机制——每个智能体都需要验证身份每次通信都需要授权。这一层的开销在传统AI系统中不存在但在Agentic AI中不可或缺。网络与数据层。运行在CPU上负责数据移动、路由和网络中断处理。Agentic AI系统需要在网络中断时继续运行智能体之间的协作不能依赖云端连接。这要求本地的消息队列、状态存储和故障恢复机制。三、工程实践从PoC到量产Agentic AI在嵌入式设备上的部署正在从PoC走向量产。并发智能体的规模。AMD Kria AI SOM支持多达234个并发智能体每秒可做出多达8,000次决策。这个规模在工业场景中已经足够——一个工厂的巡检系统可能需要数十个智能体一个智能座舱可能需要十几个智能体。异构计算的任务分配。Agentic AI系统的关键工程决策是什么任务放在NPU上什么任务放在CPU上。模型推理放在NPU上智能体协调放在CPU上安全机制放在安全隔区中。任务分配不当会导致NPU空闲而CPU过载或者CPU空闲而NPU过载。网络中断下的持续运行。Agentic AI系统需要具备离线运行能力。当网络中断时智能体之间的协作不能停止。这要求本地的消息队列、状态存储和决策逻辑。mimik的方案使智能体可以在设备上直接进行推理、协调和行动而不依赖云端。安全机制。Agentic AI系统需要Zero Trust安全机制。每个智能体都需要身份认证每次通信都需要授权和加密。安全机制的开销在CPU上不在NPU上。这是Agentic AI系统设计中最容易被忽视的部分。四、对嵌入式工程师的影响第一理解CPU在Agentic AI中的核心作用。Agentic AI的工作负载分布与传统AI推理有本质区别。嵌入式工程师需要理解CPU在智能体协调、安全机制和数据管理中的核心作用。第二掌握多智能体系统的资源调度。Agentic AI系统需要管理多个并发智能体的资源和任务。理解任务调度、资源分配和故障恢复是Agentic AI嵌入式开发的核心技能。第三关注网络中断下的运行能力。Agentic AI系统需要在网络中断时继续运行。理解本地的消息队列、状态存储和决策逻辑是Agentic AI系统设计的关键。第四理解Zero Trust安全机制。Agentic AI系统需要每个智能体都验证身份。理解身份认证、访问控制和加密通信的实现是Agentic AI嵌入式开发的基础。五、总结Agentic AI正在从云端走向端侧。但工作负载的分布与传统的AI推理有本质区别——超过80%的操作由CPU完成模型推理在GPU上的占比不到20%。对于嵌入式工程师而言Agentic AI意味着技能栈的扩展从NPU编程扩展到多智能体系统的资源调度、安全机制和数据管理。理解CPU在Agentic AI中的核心作用正在成为端侧AI嵌入式开发的新能力维度。 Agentic AI在端侧嵌入式系统的运行：80%的操作不在GPU上
摘要Agentic AI正在从云端走向端侧。mimik对AMD Ryzen AI嵌入式X100平台的分析显示超过80%的智能体操作由CPU完成模型推理在GPU上的占比不到20%。这一发现颠覆了“端侧AI等于NPU推理”的认知。本文从工作负载分布、系统架构和工程实践三个维度分析Agentic AI在嵌入式设备上的运行逻辑。一、一个被忽视的事实Agentic AI的工作负载不在GPU上生成式AI长期聚焦于GPU推理。大语言模型的训练和推理几乎全部围绕GPU或NPU的算力展开。但当AI从“生成”走向“代理”——从被动响应到主动决策——工作负载的分布发生了根本变化。mimik对AMD Ryzen AI嵌入式X100平台上的多智能体工作流分析显示超过80%的操作由CPU完成。这些操作包括智能体发现、代理间协作、安全机制、数据移动、路由和生命周期管理。模型推理在GPU上的占比不到20%。这个数据颠覆了“端侧AI等于NPU推理”的认知。Agentic AI的核心开销不在模型推理而在智能体之间的协调、通信和状态管理。mimik Technologies CEO Fay Arjomandi指出“行业花了十年时间优化模型推理。但当智能体开始相互协作时瓶颈从推理转移到了协调。”二、Agentic AI的嵌入式架构Agentic AI系统在嵌入式设备上的架构包括四个层面。模型推理层。运行在NPU或GPU上负责单次推理任务。这一层的优化已经相对成熟——量化、剪枝、NPU算子映射。在AMD Ryzen AI嵌入式X100平台上NPU提供50 TOPS的算力足以运行中小规模的模型。智能体协作层。运行在CPU上负责智能体的发现、注册、通信和任务分配。这一层是Agentic AI的核心也是CPU负载的主要来源。mimik的mimOE Embedded Edition使OEM和Tier 1能够部署Agentix-Native系统智能体可以在设备上直接进行推理、协调和行动。安全与生命周期层。运行在CPU或安全隔区中负责身份认证、访问控制和生命周期管理。Agentic AI系统需要Zero Trust安全机制——每个智能体都需要验证身份每次通信都需要授权。这一层的开销在传统AI系统中不存在但在Agentic AI中不可或缺。网络与数据层。运行在CPU上负责数据移动、路由和网络中断处理。Agentic AI系统需要在网络中断时继续运行智能体之间的协作不能依赖云端连接。这要求本地的消息队列、状态存储和故障恢复机制。三、工程实践从PoC到量产Agentic AI在嵌入式设备上的部署正在从PoC走向量产。并发智能体的规模。AMD Kria AI SOM支持多达234个并发智能体每秒可做出多达8,000次决策。这个规模在工业场景中已经足够——一个工厂的巡检系统可能需要数十个智能体一个智能座舱可能需要十几个智能体。异构计算的任务分配。Agentic AI系统的关键工程决策是什么任务放在NPU上什么任务放在CPU上。模型推理放在NPU上智能体协调放在CPU上安全机制放在安全隔区中。任务分配不当会导致NPU空闲而CPU过载或者CPU空闲而NPU过载。网络中断下的持续运行。Agentic AI系统需要具备离线运行能力。当网络中断时智能体之间的协作不能停止。这要求本地的消息队列、状态存储和决策逻辑。mimik的方案使智能体可以在设备上直接进行推理、协调和行动而不依赖云端。安全机制。Agentic AI系统需要Zero Trust安全机制。每个智能体都需要身份认证每次通信都需要授权和加密。安全机制的开销在CPU上不在NPU上。这是Agentic AI系统设计中最容易被忽视的部分。四、对嵌入式工程师的影响第一理解CPU在Agentic AI中的核心作用。Agentic AI的工作负载分布与传统AI推理有本质区别。嵌入式工程师需要理解CPU在智能体协调、安全机制和数据管理中的核心作用。第二掌握多智能体系统的资源调度。Agentic AI系统需要管理多个并发智能体的资源和任务。理解任务调度、资源分配和故障恢复是Agentic AI嵌入式开发的核心技能。第三关注网络中断下的运行能力。Agentic AI系统需要在网络中断时继续运行。理解本地的消息队列、状态存储和决策逻辑是Agentic AI系统设计的关键。第四理解Zero Trust安全机制。Agentic AI系统需要每个智能体都验证身份。理解身份认证、访问控制和加密通信的实现是Agentic AI嵌入式开发的基础。五、总结Agentic AI正在从云端走向端侧。但工作负载的分布与传统的AI推理有本质区别——超过80%的操作由CPU完成模型推理在GPU上的占比不到20%。对于嵌入式工程师而言Agentic AI意味着技能栈的扩展从NPU编程扩展到多智能体系统的资源调度、安全机制和数据管理。理解CPU在Agentic AI中的核心作用正在成为端侧AI嵌入式开发的新能力维度。