2020年の東京オリンピック/パラリンピック(東京2020)などの大きなイベントやコンサートに向け音声や映像がこれまで以上に鮮明になる。これを支える技術としてイメージセンサだけではなく、半導体チップ、特にFPGAが活用されることになりそうだ。Xilinxはフレームサイズの拡大、フレームレートの高速化にFPGAが威力を発揮すると訴求している。

画面サイズはこれまでのHD（high definition）から4K、さらに8Kへと拡大を見せている。フレームレートは画面サイズに引きずられ30fps、60fps、120fpsへと高速化に向かっている。高速にしなければ大画面を一気に表現できないからだ。色空間では色の深みを表す方向へ、さらに明るい所と暗い所を同時に最適なコントラストの映像ができるHDR（高ダイナミックレンジ）などこれまでのイメージセンサや画像処理回路よりも高い要求がなされている。そのビデオデータをホストコンピュータへ送るためのビデオ処理を可能にする半導体がFPGAとなる。これほどの大画面・高精細のデータを高速に見せるためにASICでビデオ処理回路を実現しようとするとその開発に2〜3年かかってしまうが、FPGAなら専用の回路をプログラムするだけで実現できる。

Xilinxは、映像関係の市場として、放送機器市場と、業務用AV機器市場を想定しているが、いずれの市場にも新しい市場を創出できる技術を揃えてきた。もともとデジタルの専用ロジック回路を実現するFPGAのスケールアップを図ってきたが、規模が拡大するにつれプログラム作業が大変になると、プログラムを手慣れたC/C++言語で作製するためのソフトウエアツールを開発、さらに専用のハードウエアロジックだけではなく、ソフトウエアベースでプログラムするCPUも同じチップに載せ、システムLSI（SoC）として扱えるようにもしてきた。

さらに昨年になると、コンピュータボードに差し込むだけでFPGAをプログラムできるアクセラレーションカード「ALVEO」を発表(参考資料1)、今年に入り、CPU、FPGA、AI回路、DSPなどを集積し、あらゆる応用にフレキシブルに対応できるACAP（適用型コンピュータアクセラレーション基盤）コンセプト(参考資料2)の第1弾となる「VERSAL」製品を出荷した。それに伴い、これまでのFPGA用のソフトウエア開発やCPUのコード開発ツールなどをまとめた総合ソフトウエア開発キット「VITIS」（参考資料3）も今年発表した。

Xilinxが想定する放送局でのライブTVを支える半導体チップでは、図1のように、コンテンツ編集から画像の入出力やアクセラレーションをはじめとして編集作業、グラフィックス処理、ルーティング用のスイッチ機器や圧縮・伸長ボードなどにXilinxが持つ製品ポートフォリオを使える。

図1　ライブTVを実現する製品群　出典：Xilinx

基本的には、ビデオカメラからの映像はCamera LinkやCoaXpressなどのビデオ規格がなじみよいのに対して、コンピュータ側はEthernetやPCIeのような高速シリアルインターフェイスがなじむため、その変換用のフレームグラバーボードが必要となるが、ここにFPGAが有用となる。それもライブTVではレイテンシが可能な限りゼロに近づけたい。このためのハードウエアが求められる。

図2　デジタルシネマを実現する製品群　出典：Xilinx

しかし、デジタルシネマを支える半導体では(図2)、リアルタイムは必要ないが、ビデオストリームとオーディオストリームの同期をとり、編集して音響効果を足し込む。送るときには圧縮も可能になる。さらにシネマでは液晶テレビやプロジェクタだけではなく、スマートフォンでも映像を見たいという要求があるためトランスコーディングも必要となる。加えて編集する場合の色調整や、テロップに流すテキストを入れ込む作業も必要となる。

スポーツやコンサートなどのイベントでは、イマーシブ(没入体験的)なコンテンツが求められる(図3)。スポーツでは、きわどいプレイの見直しに360度の視点からのビデオを流すことも増えてきた。このような場合にはインターネットからのIPネットワークでのサービス提供に対応しなければならない。

図3　イマーシブなイベントを実現する半導体製品群　出典：Xilinx

応用では、機械学習やディープラーニングを活用することが多くなる。例えば、ビデオカメラで撮った映像を顔認証で人物を見分けるとか、ジェスチャーを認識するなどの応用がある。また、音声認識技術にもAIを使うことで、外国映画の音声を認識し文字に起こすことが可能になる。また、実際の映像を圧縮する場合、人物の顔や手先を鮮明に移したい体操競技などでは、鮮明に描きたい部分のみを多ビットでエンコーディングし、背景の部分は少ないビットで表現してデータ転送を軽くすることもある。また、人物が3〜4人並んでいて、話をさせる場面では人物のみ多ビットにし、それ以外の背景を少ビットに落とすことで負荷を軽くすることもAIの活用で可能になる。顔や鮮明にしたい部分だけをロックオンする、あるいは注目すべきプレイヤーだけをマークして解像度を上げることもできる。

東京2020では、ビデオとそれを支える半導体技術が観客やテレビの視聴者へテクノロジーの素晴らしさで驚きを与えることになろう。

参考資料
1. Xilinx、超高級2.5D-LSIの全貌を明らかに (2018/10/12)
2. 東京五輪の準備万端Xilinx、アクセラレータカードや次世代VERSAL用意 (2018/11/22)
3. Xilinx、AIを含めた統合ソフトウエアプラットフォームVITISを発表 (2019/10/02)