ソフトウエアだけでカメラの手ぶれ補正を実現した、CEVAのIPコア

図1　CEVA社のDSPコアポートフォリオ　出典：CEVA

CEVAは演算専門のDSPコアを得意とするIPベンダー。LTEや3Gなどセルラーネットワークで使う通信用モデム(変調器＋復調器)をはじめ、画像(イメージ)処理や映像(ビデオ)処理、さらには音声処理などのマルチメディア処理を得意とする(図1)。いずれもバタフライ演算や高速フーリエ変換（FFT）など、高速で計算しなければならないような処理を受け持つ。DSPは、もともと積和演算（級数展開の基本）処理専用のマイクロプロセッサだけに、さまざまなアルゴリズムを計算することが得意だ。級数展開して数値演算する用途にうってつけだ。

今回同社が発表したIPコアは、図1の画像・映像処理用IPであるCEVA-MM-3000シリーズ。このDSPコアを画像・映像処理のプラットフォーム(図2)にしており、この上に手ぶれ補正機能DVS（Digital Video Stabilizer）や超解像技術（Super-Resolution）を載せたものだ。このプラットフォームでは、顔検出やジェスチャー認識などの映像処理の機能も載せられる。すなわち、ソフトウエア(アルゴリズム)を変えれば、このDSPコアは画像・映像処理に関するいろいろな機能に早変わりする。

図2　画像・映像処理専用DSPコアのプラットフォーム　出典：CEVA

今回、DVS機能のソフトウエアを開発したのは、スマホ用のカメラの問題を解決するため。従来のデジカメであれば、レンズを動かすアクチュエータを搭載できるスペースはある。しかし小型・薄型のスマホにはアクチュエータのスペースを確保することが難しい。しかもスマホのカメラで激しい動きの画像を撮ることは容易ではない。確かにスマホに手ぶれ補正や自動焦点用のアクチュエータをレンズモジュールに搭載する動きは最近ある。MEMSを使って超小型のアクチュエータを作製する。しかし、コストはかかる。これをチップに集積するIPにこの機能を持たせれば、ハードウエアの余分なコストとスペースを考える必要はない。

図3　シャッター速度が追いつかない、高速移動体の歪んだ画像　出典：CEVA

従来のスマホで高速の移動体を撮影しようとすると、プログレッシブのCMOSセンサのスキャニングによって、画面の上と下で画像が斜めになったり、正確な画像が得られなかったりすることがあった(図3)。手ぶれ補正のアルゴリズムは、上下、左右、前後、回転の4軸の動きをフレーム間に渡って検出・追跡・モデル予想・平滑化などを経て、補正する。

超解像アルゴリズムでは、画素補間ではなく実画像を合成することで解像度の高い画像を得る。例えば、3M画素の写真を12M画素の解像度に変換する場合には4枚合成するための画像が必要になるとしている。

CEVAはIPコアに向けたソフトウエアアルゴリズムに加え、画像・映像デバイス向けのアプリケーション開発キット（ADK）も発表した(図4)。これは、アプリケーションソフトの開発やそのカスタマイズを容易にするツールである。コンピュータビジョン処理向けのプログラミング機能を持つ600以上のライブラリを標準装備したCEVA-CVや、SmartFrameと呼ぶツールを搭載している。SmartFrameは、DMAトランザクションやデータ転送、システムリソースのハウスキーピングを自動的に行うことで、複数の機能をリンクしてもバスのトラフィックを有効に使うことができる。このため開発者はプログラム作業を快適にできるという。

図4　画像処理の開発に提供するADK　出典：CEVA

このIPコアを28nmのHPM（High Performance Mobile）プロセスで作るなら、最大クロックは1GHz、メモリ込みで0.67mm2のサイズですむという(図5)。消費電力は、用途による。視線や顔の検出では5mW以下、ジェスチャーと手のひら認識だと20mW以下、指を追跡するジェスチャー認識では150mW以下で実現できるとしている。

図5　28nmプロセスでは0.67mm2のシリコンで実現　出典：CEVA

このIPは、海外のユーザはアプリケーションプロセッサ（APU）に集積することが多いが、日本のユーザはAPUメーカーがいないため、カメラモジュールに搭載したり、あるいは画像処理チップに集積したりする要求があるという。あるいはAPUのコンパニオンチップとしての引き合いも多いとしている。CEVAはIPベンダーであるから基本的にはRTLで提供するが、コンパニオンチップにはこのIPとユーザの画像処理が入ることになる。