高性能なCPUとAI専用のNPU（ニューラルプロセッシングユニット）を集積したIP（知的財産）コアをArmが開発した。高性能ビデオ伝送をはじめとする高速IoT（Internet of Things）に対応するIPコアである。高性能な技術であるArmv9をエッジAIのプラットフォームとして使う用途が早くも生まれたために、このような高性能IoT向けのIPを開発した。具体的にはどのような用途だろうか。

図1　CPU（Cortex-A320）とNPU（Ethos-U85）を一つのIPとして集積している　出典：Arm

最近のArmは、CPUとGPU（グラフィックプロセッシングユニット）の回路コアを集積し一つのIPコアとして製品にしたケースが増えてきている。システムそのもののように高速・低消費電力のCPUとGPUやNPUなどの各IPを集積した大きなIPである。今回のエッジAIを使うIoT向けの半導体IPもCPUとNPUを一つのIPとした。

今回の新製品IPには、CPUとしてCortex-A320と、NPUとしてEthos-U85を集積している。これに、インターコネクト（相互配線）、システムSRAM、システムフラッシュメモリ、DRAMなどを追加すると立派なエッジAIチップになる。CPUに加え、NPUも追加したのは、IoTセンサからのデータを収集・分析できるようにするためだ。特に画像・映像処理して、例えば画像認識に使う場合は、CPUに負荷をかけることなく認識した後の処理にすぐに進むことができる。

CPUのCortex-A320は前世代のCortex-A35と比べて、int8（8ビット整数演算）のML（機械学習）性能は10倍高く、スカラー性能（SPECINT2006ベンチマーク）は30%向上する。またSPECINT2006でCortex-A520と比べた電力効率は50%高いという。

IoTでは特に重要なセキュリティに関しても、メモリタギング拡張（MTE）によってメモリの安全性を上げ、セキュアなEL 2レベルのハイパーバイザによってソフトウエアを分離し、ポインタ認証や分岐ターゲット識別による制御フローのインテグリティといった高度のセキュリティ機能を備えている（図2）。

図2　CPUにはセキュリティを確保、NPUにはAI演算をIoT向けに用意している

Ethos-U85によるAI機能（図2）としては、行列乗算命令によってAI処理の効率を上げ、SVE2（スケーラブルなベクトル拡張）によって128ビット単位でデータ幅を拡張でき、半精度（16ビット）の浮動小数点演算を導入するなど、IoT向けの仕様にしている。

さらに、ArmがこれまでAI開発のフレームワークとしてArm Kleidi（クライディ）を提供し始めていたが、これをIoT向けに用意した。Arm Kleidiは、AIフレームワーク開発者向けの演算ライブラリセットで、ArmのCPU上でAIとMLのワークロードを最適化するように設計されているもの。Arm Kleidi for IoTでは、例えばLlama.cppなどがIoT AIフレームワークに統合されており、Meta社のLlama 3などの主要モデルの性能を高速化しているという。

エッジのIoTデバイスで10億パラメータをサポートし、その場合はCortex-A320 をマルチコアにして性能を上げられるように拡張性を持たせている。

どのようなIoTデバイスで、これほど高い性能が求められるのだろうか。アーム代表取締役社長の横山崇幸氏は、エッジでも生成AIが求められたり、画像分析して認識させるようなロボットやクルマなどが求められたりしていると述べる。例えばスマートホームでは、顔認識によって玄関のドアを開けるような応用が生まれているという。今やスマートファクトリやスマートシティ、スマートホームなどで求められているとしている。