IntelやAMD、Qualcommまでがパソコン向けのAI機能内蔵のSoCプロセッサを発表し、パソコンにAI機能がこれから入っていく時代になるが、スマートフォンのようなモバイルにもAI機能が入っていく時代になりそうだ。モバイル半導体IPの覇者ArmがAI機能を搭載できる新IP「Arm Compute Subsystems（CSS）for Client」を発表した。電力効率が高いことが最大の特長となる。

図1　生成AIをモバイルで実現できるArmの新サブシステムIP　出典：Arm

「Arm CSS for Client」はGPUコアであるImmortalis-G925を中核に、新CPUコアのArm Cortex-X925を2個、性能重視のCortex-A725を4個、消費電力重視のCortex-A520を2個集積したIPである（図1）。最大の目的は、CPUとGPUをセットにして、クライアントのチップにそのまま実装できるサービスを提供するもので、IPだけではなく開発ツールのKleidiと共に提供する。

多数の積和演算回路を集積しているGPU（グラフィックプロセッサ）は、ニューラルネットワークのモデルに適した計算を提供する一方、演算結果データを共有する仕組みが必要となる。そこで、Cortex-X925がマルチコアのクラスタを制御しL3キャッシュメモリを共有する仕組みを提供する。マルチコアCPUとしては、性能重視のCortex-A725を4コアと消費電力重視のCortex-A520を2コア使う。いわば従来のbig.LITTLEアーキテクチャに沿ったCPU群だ。これらのCPUとGPUのImmortalis-G925を制御するのがCortex-X925である。これらのコアは3nmプロセスノードに対応した物理設計を済ませた量産準備OKのコアとなっている。

ニューラルネットワークのAIモデルでは、多数ある並列動作の積和演算器で得られたデータをメモリに共有しなければ次のニューラルネットワークレイヤーに行かれない。CPU処理もGPU処理もメモリを共有しなければ遅くなるため、それらを共有するための仕組みがCortex-X925のようだ。

つまりArm CSS for Clientは、AIに特化した専用のプロセッサという訳ではなく、メモリを共有するような仕組みを持ったサブシステムとなっている。このためAIではなく、セキュリティ技術SVE2エンジンに変換することも可能になっている。さらに、生成AIのようにテキストをトークンという単位に分割する動作にも対応できる。ちなみにTiny-Llama（Q4）の小規模言語モデルで、最初のトークンまでの時間は従来のCortex-X4と比べて41%も速いというAI性能を持つ。いわばAIにもセキュリティ回路にも対応できるフレキシブルなサブシステムだといえそうだ。

AI応用を意識したサブシステムなのにCPUと共有メモリを重視したのは、AIチップではワークロードの70%をCPUが担っているためだとArmはいう。

ただし、GPU同士で従来製品と比較しても性能は高くなった。今回の14コアのImmortalis-G925は、12コアの従来のImmortalis-G720よりもAI推論が34%高速になった。さらにグラフィック性能としてのレイトレーシング（Ray Tracing）性能も52%向上したという。レイトレーシングは、グラフィックスで描いた絵の物体に当たる光線を入射から床や壁などで全ての反射まで計算する技術で、写真か絵か区別しにくいほど写実的な絵を描くことができる。しかし、これまでは計算に長い時間がかかっていた。Armはこれをほぼリアルタイムで計算できる技術を開発したようだ。Nvidiaも2018年にリアルタイムのレイトレーシング技術を完成させていた。ただし、消費電力はArmよりも大きいと想像される。

図2　AI向けアプリを開発するためのツールKleidiAI　出典：Arm

ハードウエアだけではなく、AI向けのアプリケーションソフトウエアを開発するためのツールKleidiでは、AI向けのArm KleidiAIとコンピュータビジョン向けのArm KleidiCVも用意した。KleidiAIでは、ArmのCPUに最適化したアプリを作れるだけではなく、生成AIフレームワークに最適化した設計を可能にする（図2）。KleidiCVはコンピュータビジョンのフレームワークに向けた開発ツールである。

今後、ArmはこれまでのようなAndroidに加え、WindowsやLinuxなどにも対応していく。Microsoftのソフトウエアにはほぼ対応するようになったという。