官方网站-首页

在物联网与AI融合的浪潮中，考虑延时、隐私、成本等因素，相比于将数据上传到云，市场对边缘AI计算平台的需求日益迫切。从智慧城市到工(gōng)业(yè)自(zì)动(dòng)化(huà)，随(suí)着(zhe)世界的互联和智能化水平的日益提升，在边缘侧处理AI工作负载的必要性已不可或缺。

Arm公司近日发布专为物联网优化的Armv9边缘AI计算(suàn)平(píng)台(tái)，该(gāi)平(píng)台(tái)以(yǐ)全新(xīn)的Arm Cortex-A320 CPU和领先的边缘AI加速器Arm Ethos-U85 NPU为核心，覆盖多个应用场景，实现包括视觉和自然语言在内的多模态的环境感知与理解，进而运行智能体AI、自主规划、执行复杂任务。该平台具备强大的计算能力，比去年的基于Cortex-M85搭配Ethos-U85的平台提升了八倍的ML计算性能，带来了显著的AI计算能力突破。该平台可赋能边缘AI设备轻松运行超过10亿参数的大模型，助力大模型与生成式AI在物联网领域的落地。

一、Armv9边缘AI计算平台：CPU和NPU的深度配合助推边缘AI创新

Arm物联网事业部业务拓展副总裁马健表示，此次发布的边缘AI计算平台并非CPU和AI加速器的简单堆叠，而是实现了深度配合，让CPU和NPU相得益彰。

Cortex-A320可(kě)以(yǐ)为(wèi)Ethos-U85提供更高的内存容量与带宽，让大模型在Ethos-U85上的执行如虎添翼。任何开发者们不希望在Ethos-U85上运行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更灵活有效地在CPU上执行。这使智能物联网与消费类电子生态系统能够在正确的时间，并在合适的地方运行最适合的工作负载。在Arm看来，这一创新将推动边缘AI领域在未来多年内的持续发展。

目前，全新Armv9边缘AI计算平台已获得亚马逊云科技(AWS)、西门子和瑞萨电子等多家行业领先企业的支持。以AWS为例，AWS IoT Greengrass是一个开源的边缘执行程序和云服务，用于构建、部署和管理设备端软件。目前，该边缘执行程序已经能够在众多基于Arm架构的设备上运行，并支持远程部署、管理和持续优化AI功能。在云边协同服(fú)务(wu)的(de)场(chǎng)景(jǐng)下(xià)，安(ān)全性(xìng)至(zhì)关重(zhòng)要(yào)。因(yīn)此(cǐ)，Armv9的(de)安(ān)全特(tè)性(xìng)成(chéng)为(wèi)物(wù)联(lián)网(wǎng)服(fú)务(wu)成(chéng)功(gōng)落(luò)地(de)，以(yǐ)及(jí)为(wèi)终(zhōng)端(duān)用(yòng)户(hù)创(chuàng)造(zào)价(jià)值(zhí)的(de)关键创(chuàng)新(xīn)。

二(èr)、Cortex-A320：首(shǒu)个(gè)专(zhuān)为(wèi)物(wù)联(lián)网(wǎng)应(yīng)用(yòng)优(yōu)化(huà)，基(jī)于(yú)Armv9架(jià)构(gòu)的(de)超(chāo)高(gāo)能(néng)效(xiào)CPU

聚(jù)焦(jiāo)物(wù)联(lián)网(wǎng)设(shè)备(bèi)的(de)边(biān)缘(yuán)AI能(néng)力(lì)时(shí)，此(cǐ)次(cì)全新(xīn)发(fā)布(bù)的(de)基(jī)于Arm架构的Cortex-A320为物联网带来了先进的AI功能和开发者优势，将Armv9架构的功能扩展到高能效设备，并提供全面的软件支持。

Cortex-A320充分发挥了Armv9架构的优势，如针对ML性能的SVE2。相较于前代产品Cortex-A35，Cortex-A320的ML性能提升了十倍，标量性能提升了30%。

其所采用的Armv9.2架构还为最小的(de)Cortex-A设(shè)备带来了高级的安全功能，例如指针验证(PAC)、分支目标识别(BTI)和内存标记扩展(MTE)。这些功能至关重要，因为边缘设备通常在暴露的环境中运行并处理敏感数据。

Cortex-A320支持广泛的边缘AI应用类型，从入门级通用MPU、智能扬声器、软件定义智能摄像头，到工厂车间内的自动驾驶车辆、自动化边缘AI助手、AI人机界面和机器人控制器，Cortex-A320可在广泛的应用中发挥上述优势。除边缘AI应用外，Cortex-A320还可惠及包括智能手表和智能可穿戴设备，以及服务器基板管理控制器(BMC)等基础设施设备在内的众多关键细分市场。

三、强大的软件生态支持

边缘AI普及面临的最主要障碍之一是软件开发和部署的复杂性，为此(cǐ)，Arm将(jiāng)Arm Kleidi扩展到物联网。作为一套面向AI框架开发者的计算库，旨在优化基于Arm CPU的AI和ML工作负载，无需开发者额外操作。KleidiAI已(yǐ)集成(chéng)到常见的物联网AI框架中，如Llama.cpp和ExecuTorch或LiteRT（通过XNNPACK），加速了Meta Llama 3和Phi-3等关键模型的性能。例如，在Llama.cpp上运行微软的Tiny Stories数据集时，KleidiAI为新的Cortex-A320带来了高达70%的性能提升。

可以说，软件生态一直是Arm的聚焦重点之一。过去几年中，Arm在IoT标准化方面推出了Arm SystemReady，旨在不同的IoT平台上可以支持各种主流软件和操作系统，确保“开机即用”。Arm SystemReady项目在全球的推广非常成功，目前已经累计颁发了超过了160张认证。在中国市场，去年11月Arm携手中科创达成立了中国大陆首个Arm SystemReady Devicetree合规实验室。该实验室融合了中科创达在操作系统和工程方面全方位的专业能力，以及Arm经过全球验证的SystemReady项目，为芯片厂商、OEM/ODM 厂商 、系统集成商提供端到端的测试和技术支持服务，为智能设备启动固件的标准化，加速万物智能互联时代的到来。

小结

展望未来，AI的发展趋势将继续转向边缘侧，而全新Arm边缘AI计算平台将成为新一轮物联网创新的催化剂。Armv9架构的特性、先进的AI功能和全面软件支持的结合，为OEM厂商和开发者创造了新的可能性。随着技术的不断演进，我们也期待Armv9边缘(yuán)AI计(jì)算(suàn)平(píng)台(tái)能(néng)持(chí)续(xù)推(tuī)动(dòng)边(biān)缘(yuán)AI的(de)广(guǎng)泛(fàn)应(yīng)用(yòng)和(hé)创(chuàng)新(xīn)。