OmniVision、フリッカ抑制と広いダイナミックレンジを両立させたISP

図1　OmniVision 車載製品担当シニアマーケティングマネージャーのKevin Chang氏

LEDの信号や照明では、LEDドライバICを使って制御している。LED1個の光は弱いため、数個〜数十個を直並列につなげて光らせるため電源を供給する。例えばヘッドライトでは10個程度のLEDを全て同時に光らせることは消費電力が大きすぎるため、順番に1つずつ光らせている(図2)。LEDを短いパルスで順番に点灯させても、人間の眼には残像として映るため全て同時に点灯しているように見える。

ところがCMOSイメージセンサには人間の眼と違って残像がないため、パルスで次々と光らせている様子がそのまま出てしまう。CMOSセンサからの映像はカメラと同様、シャッタでパルス的に1枚ずつ撮影して、画像をつなぎ合わせるという作業をし、30枚/秒の映像を作り出している。このとき、LEDドライバのパルス周期とCMOSイメージセンサのシャッタの周期がぴたりと合えば、全てのLEDが点灯しているように見えるが、残念ながらそれぞれの周期はズレている（図2）。しかもLEDドライバごとに周期は異なる。このため、CMOSセンサでは、対象物のLEDがついたり消えたりしているように見える。そうすると自動運転車のCMOSイメージセンサは、ウィンカを出しているように誤認識してしまう。また交通信号機だとライトが半分だけ点灯しているように見えてしまう。

図2　LEDドライバは1個または1列のLEDストリングをパルスで順番に点灯させている　イメージセンサのシャッタもパルスごとに画像を映し画像をつなげてビデオにする。出典：OmniVision Technologies

図2の上のパルスシーケンスがその様子を表しており、LEDの点滅とシャッタの開閉のタイミングが微妙にずれていることがわかる。このため最初のパルスではライトが点灯し黄色で示しているが、次のパルスではシャッタを開いてもLEDは点灯していないため灰色で示すように暗くなる。LEDドライバがLEDを点灯させるパルスは周期が11ms以下、パルスの点灯時間はデューティが10%なので、1.1msである。

そこで、図2の下のシーケンスのようにシャッタの開放時間を11ms以上に広げるようにすれば、シャッタが開いている時間内に必ずLEDドライバのパルスが含まれるようになる。ただし、シャッタを従来よりも長く開けることになるため、画像としては明るすぎてコントラストが低くなってしまう。ダイナミックレンジは100〜110dB程度にしかないという。例えば、トンネル内を走行しているクルマが出口近くに差し掛かるとまぶしすぎて何も見えなくなる時がある。これは事故につながる恐れがある。

そこで、二つの対策をとった。一つは、シャッタの開口時間を長くすると光が短時間で溜まってしまうため、受光ダイオードの感度を抑えて電荷が溜まるまでの時間を長くした。このためにダイオードを、大きなフォトダイオードと小さなフォトダイオードに分け、感度を抑える小さなフォトダイオードの開口を溜まる容量よりも狭くしておくことにした。

もう一つの対策は、映像のコントラストを上げるためダイナミックレンジを広げた。ダイナミックレンジを広げるためには、シャッタ時間を長くして、暗いトンネル内の映像を撮り、その後シャッタ時間を短くして明るいトンネル外部の映像を撮り、2枚の映像を重ねて合成し1枚の画像とする。この結果、ダイナミックレンジは120dBと向上した。今回発表した映像処理プロセッサISPは、LEDフリッカを抑制するLFM（LED Flicker Mitigation）エンジンとHDR（High Dynamic Range）技術の両方を集積したチップとなっている。このチップをHALE（HDR And LFM Engine）と呼んでいる。

このチップの特長は、さらに30フレーム/秒（fps）のテレビ並みの映像のカメラを2台まで処理できるため、サラウンドビューモニタに応用する場合は従来4台のカメラを使っていたところがチップ2個で済むことになる。現在、サンプルを出荷し始めたところで、量産は来年になる。将来はダイナミックレンジを140dBまで広げたいとしている。