近年来，物联网（IoT）技术的持续演进为社会生产方式的变革注入了新的动力。然而，随着人工智能（AI）向边缘AI的转型，IoT环境中的边缘设备面临着前所未有的挑战。这些设备不仅需要处理日益复杂的软件任务，还必须具备更卓越的性能、更高的能效、更强的安全性以及更强大的处理能力，以应对这一转型过程中的各种需求。

 

基于此背景，Arm近日推出全球首个Armv9边缘AI计算平台，补齐了针对边缘AI应用的全系列产品，既集成了先进的机器学习和AI功能，又增强了安全特性，为新一代边缘AI应用奠定了坚实基础。该平台以Arm Cortex-A320 CPU和Arm Ethos-U85 NPU为核心，专为物联网应用优化，支持运行超10亿参数的端侧AI模型。

01

AI推动行业深刻变革

自古以来，先进技术始终是推动自动化和生产力发展的核心动力。以中国农业为例，AI的引入正为这一传统行业注入新的活力。通过分析土壤、气候、作物生长等海量数据，可以实现精准施肥、灌溉和病虫害防控。借助无人机、卫星图像和传感器技术，农民能够实时掌握田间动态，显著提升作物产量与品质，同时降低资源消耗。自动驾驶拖拉机和智能收割机器人的应用，不仅减轻了劳动强度，还提高了作业效率，减少了人为失误，推动农业生产向规模化、标准化迈进。



在边缘AI计算平台的发布会上，Arm 物联网事业部业务拓展副总裁马健表示：“当前，AI技术正在多个领域引发深刻变革。从提升工作效率的AI助手，到精准可靠的医疗影像分析，再到濒危物种的智能识别与追踪，AI已深入渗透到我们生活的方方面面。而这一切仅仅是AI革新的开始，未来充满无限可能。”

02

百模大战离不开边缘智能创新

马健认为，在当前的AI百模大战中，云数据中心的集中式训练固然重要，但其真正价值在于推理环节。未来，AI推理将从云端下沉至边缘，融入我们生活的每个角落。“虽然理想状态下，无限带宽、零延时和低成本的环境会让集中式数据中心成为最佳选择，但现实却远非如此。”她说。

现实情况下，海量传感器和摄像头产生的视觉、声音等数据无法全部回传云端，尤其是在对延时、隐私和可靠性要求极高的场景中，边缘AI的重要性愈发凸显。对于芯片硬件开发者而言，边缘设备的多样性和丰富的应用场景无疑为他们提供了更多创新机遇。然而，大模型和智能体在边缘侧的落地，需要更高性能、更高能效的边缘计算平台作为支撑。

她强调，随着AI赋予边缘设备越来越强大的智能，这些设备在承担关键任务的同时，也成为了潜在的攻击目标。因此，确保边缘设备的安全性和可靠性，将成为边缘AI大规模部署的前提条件。AI模型的持续优化、基于本地数据的重训练以及安全补丁的更新，都需要支持端侧软件的在线升级与改进，从而为边缘AI的广泛应用奠定坚实基础。

03

基于Armv9的边缘计算平台催生新应用

凭借在边缘计算领域的领导地位，Arm正与工业自动化、智慧城市和智能家居等领域的OEM厂商和软件开发者积极合作，共同构建边缘AI推理生态系统，以释放AI的巨大潜力。

马健介绍说，Arm推出的Cortex-M向量扩展技术Helium和Ethos-U AI加速器已在IoT领域广泛应用，将AI和机器学习（ML）能力带给了数十亿台边缘设备。算力的提升使智能软件和模型实现了质的飞跃。例如，基于Arm处理器和PlumerAI智能视觉软件的普通门铃，已演变为超级智能的家庭安全系统，不仅能进行云端视频流传输，还能检测运动、识别事件和人物。未来，借助大模型，这些设备甚至能解析事件并以自然语言提供预警。

Arm最新发布的基于Armv9架构的超高能效CPU——Cortex-A320，以及原生支持Transformer网络的Ethos-U85 AI加速器，构成了全新的边缘AI计算平台。它实现了CPU和NPU的深度协同，Cortex-A320为Ethos-U85提供更高内存容量与带宽，使大模型执行更高效。开发者还可将不适合Ethos-U85的操作回退到Cortex-A320，利用其Neon/SVE2引擎灵活执行。这种设计使智能IoT与消费电子生态系统能够在正确的时间和地点运行最适合的工作负载，推动边缘AI领域的持续发展。

该平台覆盖多种应用场景，支持视觉和自然语言等多模态环境感知与理解，以运行智能体AI、自主规划及复杂任务。其ML能力比去年基于Cortex-M85和Ethos-U85的平台提升了八倍。此外，该平台可以赋能边缘 AI 设备轻松运行超过10亿参数的大模型，推动生成式AI在IoT领域的落地。

马健补充说，去年Arm推出的集成Cortex-M85和Ethos-U85的Corstone IoT参考设计平台，显著提升了端侧Transformer网络的执行效率。如今，Ethos-U85驱动程序已更新，Cortex-A320可直接驱动Ethos-U85，无需额外Cortex-M，降低了延迟和系统复杂性。

随着对多模态AI模型的需求增长，系统内存需求也在提升。Cortex-A处理器支持更大的可寻址内存空间，并能灵活管理多层次内存访问延迟。同时，边缘AI负载的复杂性增加，对更强大、灵活的操作系统的需求也在上升。Cortex-A320与Ethos-U85的组合，成为运行大模型及高软件灵活性边缘AI任务的理想选择。

04

Cortex-A320怎样彻底变革边缘AI？

马健表示，新推出的Cortex-A320是首款基于Armv9架构的超高能效CPU，专为IoT优化，正在彻底改变边缘AI的格局。作为全新计算平台的核心组件，Cortex-A320在性能、能效和安全性方面实现了显著突破，为边缘AI应用提供了强大的支持。

一是性能与能效的飞跃。Cortex-A320在ML性能上比前代Cortex-A35提升了高达10倍，同时能效比Cortex-A520提升了50%，显著降低了功耗。在标量计算性能方面，Cortex-A320也比Cortex-A35提高了30%，为通用计算任务提供了更强的处理能力。此外，Cortex-A320支持四核共享集群设计，能够根据需求灵活扩展，满足多样化的应用场景需求。

二是安全性的提升。随着边缘应用场景的复杂化和设备端数据价值的提升，安全性变得至关重要。Cortex-A320引入了多项Armv9安全特性，为边缘AI提供了坚实的保障。Secure EL2增强了TrustZone内部的隔离性，支持更安全的软件容器运行；PACBTI（指针验证/分支目标识别）有效缓解了跳转和返回编程中的指针安全隐患；而MTE（内存标记扩展）通过内存标记机制，防止黑客利用内存安全漏洞进行攻击，显著提升了系统的整体安全性。

三是AI计算能力的全面提升。Cortex-A320充分利用Armv9的AI计算特性，显著提升了边缘AI的计算能力。增强的Neon和SVE2技术提供了更高效的ML计算能力，优化了神经网络推理和训练任务；对BFloat16等新数据类型的支持提高了AI计算的精度和能效，满足复杂模型的需求；新增的矩阵乘法指令进一步加速了AI和ML计算性能，使边缘设备能够更高效地处理智能任务。

四是Armv9生态与软件兼容性。支持Armv9架构的软件可在所有Armv9处理器上无缝运行，降低了IoT服务的总体拥有成本（TCO）；开源操作系统和编译器已全面支持Armv9特性，大幅缩短了产品开发周期。此外，软件发行版本在Armv9设备间保持版本兼容性，简化了开发流程，降低了交付成本，为开发者提供了更高效、更经济的解决方案。

五是边缘 AI 计算平台还需要灵活性，使工作负载既可以运行在 CPU，也可以运行在 AI 加速器。例如，连续图像检测任务可优先在AI加速器上运行以提高能效，而单张图像处理则可在CPU上更高效地执行。去年Arm推出Kleidi软件库，并将其引入了智能手机和服务器市场，包含KleidiAI和KleidiCV。首次引入物联网的Arm Kleidi软件库进一步优化了AI负载在CPU上的执行效率，支持Neon和SVE2等Armv9特性，并已集成到Llama.cpp、ExecuTorch等主流AI框架中，加速Meta Llama 3和Phi-3等大模型的推理性能。例如，在 Llama.cpp 上运行微软的 Tiny Stories 数据集时，KleidiAI 为新的 Cortex-A320 带来了高达 70% 的性能提升。

六是多操作系统支持与升级路径。Cortex-A320支持多种操作系统，包括FreeRTOS、Zephyr等实时操作系统（RTOS），以及Linux、Android等功能丰富的操作系统。

开箱即用的Linux支持和安卓移植能力，为开发者提供了极大的灵活性。此外，Cortex-A320为现有Cortex-A产品提供了无缝升级路径，无论是从Armv8架构的Cortex-A35迁移，还是从Cortex-A53升级，都能享受Armv9带来的安全性、软件生态支持和计算性能提升。

七是面向未来的灵活性。Cortex-A320不仅适用于功能丰富的操作系统，还能运行RTOS，为MCU工作负载提供面向未来的升级路径。IoT开发者可将MCU工作负载迁移到运行Cortex-A320的RTOS上，如Zephyr，从而获得更强的计算性能和更高的内存灵活性，满足未来AI功能的需求。

马健特别提到，合作伙伴对全新的基于Armv9架构的边缘AI计算平台赞赏有加，如亚马逊云科技IoT技术负责人Yasser Alsaied所说：“全新的 Arm边缘AI计算平台为我们的客户实现在Armv9技术上运行AWS IoT Greengrass的轻量级设备运行时环境——Nucleus Lite，从而让边缘设备以最低的内存需求高效运行。这两项技术的无缝集成为开发者提供了优化的解决方案，支持构建现代边缘AI应用，例如精准农业中、智能制造和自动驾驶的异常检测。”

05

展望未来

马健最后总结道，Arm计算平台将成为未来边缘AI的基石。Arm凭借其AI计算生态系统和技术广度，满足IoT行业需求。创新的边缘AI计算平台将引领IoT市场迈向新高度，而Cortex-A320将Armv9的效率、性能和安全优势引入IoT领域，推动边缘创新进程。Arm通过优化系统设计，为合作伙伴创造更多价值，未来将继续引领行业变革，推动智能设备广泛应用。

展望未来，AI趋势将转向边缘，Arm边缘AI计算平台将成为IoT创新的催化剂。Armv9架构结合先进的AI功能和全面软件支持，为OEM厂商和开发者开辟新可能。该平台支持智能体AI应用，运行调优的大语言模型（LLM）和小语言模型（SLM），开创全新边缘应用场景。未来，智能决策将更接近数据源头，减少延迟并提升隐私保护。这不仅是一次进步，更是边缘计算和AI处理方式的根本性变革。