JP4879363B1 - 画像処理システム - Google Patents

Abstract

【課題】一般のビデオカメラ映像に接続することで安価にノイズ除去及び増感処理する装置を提供する。
【解決手段】静止しているピクセルに対して、複数のフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理と、暗いピクセルに対しては複数のフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理と増感倍率を１以上とした増感処理を行ない、対象ピクセルが動いているピクセルか静止しているピクセルかを判断し、動いているピクセルについては増感処理のみをしたピクセルを選択し、静止しているピクセルについてはノイズ軽減処理と増感処理によって得たピクセルを選択する。
【選択図】図１

Description

この発明は、ビデオカメラなどで撮影された動画データに対して、蓄積型のノイズ軽減や増感処理において、白飛びを防止したり、残像をなくす画像処理システムに関する。

ビデオカメラなどで撮影された動画のデジタル画像処理において、暗い映像をゲイン調整で明るくした画像や画質改善フィルターなどの画像処理を施して詳細部分を強調した動画は同時にノイズ成分も強調してしまう。その結果、明るくしたり強調したりしても肝心な部分がノイズに埋もれて見えない場合が多くある。

一般にこれらのノイズはランダムノイズであるため、動画の複数フレームを平均化することで除去することが出来る。市販のビデオカメラには暗い映像を明るくする手段として、ゲイン調整だけでなくスローシャッターモードを備えている。
この方法だと暗い映像を明るくしノイズも軽減されるが、次のような問題点がある。
（問題点１）シャッターが遅くなるため、適正なフレームレートを確保出来ない。５コマ／秒などに落ちてしまうため、動いているものを捕捉出来ない。
（問題点２）長時間シャッターが開いたり複数フレームを蓄積しているため動いているものにブレが生じてしまい認識出来ない。
（問題点３）明るい状態でダイナミックレンジが低い状況（霧など）では露光オーバーとなり使えない。
（問題点４）暗い映像でも一部明るい部分があるとその部分が露出オーバーとなって真っ白になってしまう。
（問題点５）長時間露光による熱ノイズ（ダークノイズ）が目立ってくる。

これらの問題点をすべて解決し、ノイズ除去と増感（暗い映像を明るくする）処理を同時に行う画像処理システムとして、まず、フレームバッファに同一比率で足し込む方法が考えられる。

暗い画像であれば、フレームバッファに同一比率で足し込む方法においては、画像蓄積用のフレームバッファを蓄積バッファとして１プレーン用意し、撮像したフレームを蓄積バッファに比率Rで足し込む処理を繰り返す。この場合、画像比率Rで足し続けられるので、画像の明るさは比率Rの無限等比級数の和となる。
無限等比級数の和はA／(１−R)であることから目的の明るさの倍率をN倍とするとRは(N−１)／Nとなる。（Aは初項であり、N＞１においてA＝１）

倍率を１倍より明るくすると、オーバーフローするから８bit画像でN倍にするなら８＋log2底ビットの蓄積バッファを持つ必要があり、こうすることで数フレーム後に目的の明るさを得られる。

例えば８倍ならRは７／８となるので、フレームバッファの内容を７／８とし、それに新しいフレームを足して蓄積バッファに格納、を繰り返すと３０フレーム後には約８倍の明るさになる。

明るい画像であれば、初項A＋比率R が１になるようにして、０＜R＜１の範囲であれば、和は１に収束する。これは明るさが変化しないことになる。

上記の手法を使えば、複数の画像を蓄積することになり明るさは変化せずにノイズ除去を行うことが出来る。
例えば、R＝１／４、A（１）＝３／４なら、フレームバッファの内容を３／４とし、それに新しいフレームを１／４だけ足して蓄積バッファに格納、を繰り返すと、過去の画像が２５％→１８％→１４％→１０％→８％→６％…と蓄積されるので、１２フレーム後には蓄積画像が元画像とほぼ同じ明るさになる。

前記の方法で蓄積によるノイズ除去と増感を同時に行い、かつ上記の課題である問題点１、３、５を解決することが出来る。

問題点１については、シャッター速度は従来のフレーム速度と同じになり、画像の更新もフレーム単位で行うので、動くものの追従に問題は発生せず、また、画像に占める最新フレームの割合が最も大きいため、複数のフレームバッファを加算した映像より分かりやすくなる。

しかし、問題点２については、フレーム単位で蓄積を行うので、ブレは無いが残像が残ってしまい、動くものが尾を引くように見えてしまうという課題が残る。

問題点３については、明るさを１倍のままで蓄積出来るため、明るい画像でも問題は発生せず、また、蓄積量をパラメータのみで調整可能となるので、フレームバッファを増減する必要がない。
問題点４については、明るさを１倍より大きくすると蓄積でオーバーフローした箇所は白くなってしまうという課題が残る。
問題点５については、シャッター速度は従来のフレーム速度以下なので、熱ノイズの問題は発生しない。

よって、蓄積バッファを１枚持ち、新しいフレームを同一比率で足し込む前記の方法においては、ノイズ除去と増感において非常に優位となるが、明るさの倍率を上げたときに白飛びする問題と動くものが残像を残す点が課題として残る。

特許文献１には、静止画を対象として、明度に関する画質調整の基準となる明度基準値およびコントラスト基準値を用いて前記画像データの明度補正量およびコントラスト補正量を決定する補正量決定手段と、前記露出補正量が大きくなるにつれて前記明度補正量を小さくする明度補正量修正手段と、前記露出補正量が正の補正量の場合には、前記露出補正量が大きくなるにつれて前記コントラスト補正量を低減するコントラスト補正量修正手段と、前記修正された明度補正量を適用して前記画像データの明度を調整すると共に前記修正されたコントラスト補正量を適用して前記画像データのコントラストを調整する画質調整手段を使った画像処理装置が開示されている。

また、特許文献２には、ニューラルネットワークによって３次元データを処理するデータ処理装置において、上記ニューラルネットワークは上記３次元データを四元数として処理し、暗視カメラによって撮影された画像に含まれる微量なＲＧＢ成分を含む暗視カメラ５０の撮影データをデータ処理装置によって処理し、日中に撮影されたのと同様のカラー画像を得ることができるとするデータ処理装置が開示されている。

特開２００５−０６２９９３号公報 特開２００５−０７８１７５号公報

特許文献１においては、取得した輝度ヒストグラムからコントラスト標準偏差を求め、コントラスト標準偏差とコントラスト標準偏差基準値とからオリジナルのコントラスト補正量を算出しているが、明るさの倍率を上げたときに白飛びする課題は解決されていない。

特許文献２においては、暗い場所のカラー画像を得るために、同じ場所を日中に通常のビデオカメラで撮影した教師データが無ければ、暗視カメラの映像を日中に撮影された画像と同様なカラー画像を得ることができないので汎用性に欠ける。

よって、本発明の解決すべき課題は、ノイズ除去と増感において非常に優位となるが、明るさの倍率を上げたときに白飛びする問題と、動くものが残像を残す問題を解決することである。

上記の課題を解決すべく、本願発明に係る画像処理方法は、入力された画像を構成するピクセル毎に、ノイズ軽減・増感処理と動き検知処理を並行して行い、動いていると判断したピクセルについては、ノイズ軽減処理を行わないピクセルを選択し、動いていないと判断したピクセルについては、ノイズ軽減処理を行ったピクセルを選択するようにした。

具体的には、前記ノイズ軽減・増感処理は第１及び第２の２通りの処理から構成され、前記第１の処理は明るいピクセルに対しては増感処理を行わず、暗いピクセルに対しては増感倍率を１より大きくした増感処理を行い、前記第２の処理は明るいピクセルに対しては複数のフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理を行い、暗いピクセルに対しては複数のフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理と増感倍率を１より大きくした増感処理を行い、前記動き検知処理は、最新および過去の複数フレーム分の輝度を第１のリングバッファに記憶させ、前記第１のリングバッファに記憶させた最新および過去の複数フレーム分の輝度の合計値を第２のリングバッファに記憶させ、第２のリングバッファに記憶された最も古い過去の複数フレーム分の輝度の合計値と前記第１の計算手段で計算した最新のフレームの輝度を含む輝度の合計値との差の絶対値を計算し、前記絶対値が一定の値よりも大きい場合に当該ピクセルは動いていると判断し、前記動き検知処理によって動いていると判断したピクセルについては、前記ノイズ軽減・増感処理における第１の処理によって得たピクセル値を選択し、静止していると判断したピクセルについては、前記ノイズ軽減・増感処理における第２の処理によって得たピクセル値を選択して映像出力とする。

また、ピクセル毎の処理が終了した後、増感倍率を１より大きくした画像についてはトーンカーブ補正を行ってから映像を出力する。

請求項１の構成によりフレームバッファ１つだけでノイズ軽減と増感処理を行いかつ白飛びを防止できる。

更に、既設のカメラに接続するだけで、以下のような効果がある。
ノイズの軽減効果があり、特にゲインアップや画像強調処理によるランダムノイズが激減する。これにより、リアルタイムで増感処理が可能となり、暗い映像においても色情報を含めてノイズ無く明るくし、スローシャッターのようなコマ飛びやプレがなく、スムーズな動画が得られる。
解像度の向上が期待でき、動きの無い映像であれば、動画を蓄積してコンポジット効果があるためスチル画像より解像度やＳ／Ｎ比が向上する。
高価な高感度カメラを導入しなくても、明るいリアルタイム映像を得られ、暗い映像でもフォーカス調整を行うことが出来る。
処理は掛け算１つまたは２つと加減算のみで実装出来るため、ハードウエア化が容易である。
ピクセルを一度走査するだけで処理が完了するため、高速処理が可能となり、現行のＦＰＧＡでもフルハイビジョン映像をリアルタイム処理出来る。
更に、市販のＰＣを使って画像処理する場合でも、画面の解像度がＶＧＡ以上の解像度を持つビデオボードを備えるＰＣであれば十分処理可能となる。

画像処理装置の基本機能を示した図 ピクセルの動き検知方法を示した図 本発明による輝度補正グラフ

本発明による画像処理方法は画像が入力（Ｓ１）されると、フレーム全体またはフレームの一部の明るさの平均から増感倍率ｒと初項比率ｎを計算する（Ｓ２
）。
増感倍率ｒは明るさの平均が特定値になるようにｒ＝特定値÷平均とする。
ｒ＞１の場合は暗い画像で増感が必要な映像と判断し、ｎ＝１とする。ｒ≦１の場合は十分明るく増感の必要がない画像と判断してノイズ軽減パラメータと考え、ｒ+ｎ＝１となるようにｒとｎを配分する。このときノイズ軽減レベル（外部で指定）に応じてｎを決定し（ｎ＜１）、これに応じてｒを決定する。

この後はピクセル毎の処理に移行する。ピクセル毎の処理はノイズ軽減・増感処理と動き検知処理とを並行して行う。

ノイズ軽減・増感処理においては、更に第１の処理と第２の処理を行う。第１の処理ではノイズ軽減のための蓄積を行わず、増感倍率ｒが１より大きいピクセルに対してはピクセル値をｒ倍し、増感倍率ｒが１以下のピクセルに対してはそのままのピクセル値とする（Ｓ３）。

第２の処理では増感倍率ｒから蓄積比率（１−１/ｒ）を求めて最新画像の蓄積値を算出する（Ｓ４）。次いで、この蓄積値と初項比率ｎ、蓄積ＢＦ（バッファ）値から新しい蓄積ＢＦ値を算出する（Ｓ５）。

画像蓄積用のフレームバッファを蓄積バッファとして１フレーム分だけ用意し、撮像したフレームを蓄積バッファに比率ｒで足し込む処理を繰り返すシステムで明るさの倍率を１倍より大きくすると、当然オーバーフローが発生する。

本発明のシステムではこのオーバーフロー対策として、暗い部分は既定倍率で明るくし、明るくなるに従って倍率を落として行くことにより、輝度補正グラフのトーンカーブを用いたオーバーフローのない自然な増感を行い、白飛び問題を解決した。

図３は、ノイズ軽減及び増感処理における輝度補正グラフの例を示している。通常時はリニアな直線特性２３となっている。通常の処理に従って、低照部分を増感すると増感特性２４となり、例えば８ビットのフレームバッファで倍率８倍を設定すると元画像で値１６が蓄積されて２５６になり、元画像値が１６以上ある画素はすべてオーバーフローとなり白飛びとなる。
スローシャッターでもガンマ補正等である程度軽減出来るが、暗闇に電灯があるような画像ではやはり明るい部分が白飛びしてしまう。

そこで、本発明では、最も暗い部分の立ち上がりは倍率そのままの傾きとして、最も明るい部分はこれ以上明るくならないように傾き０となるように制御点を定義してＢスプライン補間を行うことにより滑らかな変換曲線２５が得られる。

一方、動き検知処理においては、ピクセル値（輝度）はフレームバッファ（リングバッファ）に先入れ先出しで入力される。例えば、最新のフレームデータがＦ０であるとすると、最新データＦ０がＦＢ１に、１フレーム前のデータＦ１がＦＢ２に、２フレーム前のデータＦ２がＦＢ３に、３フレーム前のデータＦ３がＦＢ４に、記録される（Ｓ６）。

次いで積算演算回路においてフレームバッファのＦ０〜Ｆ３の各ピクセル値を合計処理（ＦＢ１〜ＦＢ４の合計を計算）し、合計結果をフレームバッファＳｕｍＢＦに格納する（Ｓ７）。

一方、過去の合計値ＳｕｍＢＦのデータは、ＳｕｍＢＦ１、ＳｕｍＢＦ２、ＳｕｍＢＦ３として過去フレームバッファに保存される（Ｓ８）。

１フレーム前の過去データＳｕｍＢＦ１には、１フレーム前のＦ１と、２フレーム前のＦ２と、３フレーム前のＦ３と、４フレーム前のＦ４の合計処理結果が格納されている。

２フレーム前の過去データＳｕｍＢＦ２には、２フレーム前のＦ２と、３フレーム前のＦ３と、４フレーム前のＦ４と、５フレーム前のＦ５の合計処理結果が格納されている。

３フレーム前の過去データＳｕｍＢＦ３には、３フレーム前のＦ３と、４フレーム前のＦ４と、５フレーム前のＦ５と、６フレーム前のＦ６の合計処理結果が格納されている。

次いで動き検出回路において、ピクセル毎に最新のＳｕｍＢＦと最新フレームから３フレーム前のＳｕｍＢＦ３の各ピクセルの差を計算して、その絶対値を算出する（Ｓ９）。

上記の差の絶対値が予め設定した基準値よりも大きい場合には当該ピクセルは動いているまたは動きが大きいと判断し、基準値よりも小さい場合には当該ピクセルは停止または動きが小さいと判断する（Ｓ１０）。

そして上記の判断結果に応じてスイッチを切り替える（Ｓ１１)。即ち、動いていると判断した場合には、前記ノイズ軽減・増感処理の第１の処理を経たピクセル値、つまりノイズ軽減のための蓄積処理を行っていないピクセル値を採用する方向にスイッチを切り替え、動いていないと判断した場合には、前記ノイズ軽減・増感処理の第２の処理を経たピクセル値、つまりノイズ軽減のための蓄積処理を行ったピクセル値を採用する方向にスイッチを切り替える。

上記のスイッチの結果値で蓄積ＢＦを更新する（Ｓ１２）。蓄積ＢＦは増感倍率ｒに応じたビット深度を必要とする。（ｒ＞１において、元ビット深度＋log2底（ｒ）ビット）

以上が各ピクセル毎に行う処理であり、この後、増感倍率が１より大きい場合にはトーンカーブ補正回路でトーンカーブ補正を行う（Ｓ１３）。
トーンカーブ補正回路は、別処理にて得られた所定フレーム全体のデータから規定されたトーンカーブ補正パラメータを当該ピクセルに適用するものとする。トーンカーブ補正には、例えばＢスプライントーンカーブ補正を使うことができる。

次いで、トーンカーブ補正回路で正規化された映像データは、映像出力回路から出力される（Ｓ１４）。

本発明の技術を使えば、高価な高感度カメラを導入しなくても、明るいリアルタイム映像を得られ、既設のカメラに接続するだけで、暗い映像でもフォーカス調整を行うことが出来るようになり、例えば強い光を当てると変色する畏れのあった古代壁画などもわずかな光だけでカラー映像を撮影することが可能となり、従来は赤外線ライトを照射して有線カメラでしか撮影できなかった深海の様子を安価な無人カメラでカラー撮影することができるようになるので海洋資源開発にも貢献する可能性が大きい。

Ｓ１…画像入力
Ｓ２…増感倍率ｒ・初項比率ｎ計算
Ｓ３…第１の処理
Ｓ４、Ｓ５…第２の処理
Ｓ６…最新及び過去３フレーム分の輝度を記憶するリングバッファ
Ｓ７…フレームバッファ合計処理
Ｓ８…過去３フレーム分の合計結果を格納するバッファ
Ｓ９…絶対値を算出
Ｓ１０…動き検出
Ｓ１１…スイッチ
Ｓ１２…蓄積バッファ
Ｓ１３…トーンカーブ補正
Ｓ１４…映像出力

Claims (1)

1. ビデオカメラなどで撮影された動画データを処理する画像処理方法であって、この画像処理システムはピクセル毎にノイズ軽減・増感処理と動き検知処理を並行して行い、
   前記ノイズ軽減・増感処理は第１及び第２の２通りの処理から構成され、前記第１の処理は明るいピクセルに対しては増感処理を行わず、暗いピクセルに対しては増感倍率を１より大きくした増感処理を行い、前記第２の処理は明るいピクセルに対しては複数のフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理を行い、暗いピクセルに対しては複数のフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理と増感倍率を１より大きくした増感処理を行い、
   前記動き検知処理は、ノイズ軽減処理及び増感処理を施していない最新および過去の複数フレーム分の輝度を第１のリングバッファに記憶させ、前記第１のリングバッファに記憶させた最新および過去の複数フレーム分の輝度の複数の合計値を第２のリングバッファに記憶させ、第２のリングバッファに記憶された最も古い過去の複数フレーム分の輝度の合計値と第１の計算手段で計算した最新のフレームの輝度を含む輝度の合計値との差の絶対値を計算し、前記絶対値が一定の値よりも大きい場合に当該ピクセルは動いていると判断し、
   前記動き検知処理によって動いていると判断したピクセルについては、前記ノイズ軽減・増感処理における第１の処理によって得たピクセル値を選択し、静止していると判断したピクセルについては、前記ノイズ軽減・増感処理における第２の処理によって得たピクセル値を選択して映像出力とすることを特徴とする画像処理方法。
   
   

Images