JP6800806B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、動画像を処理する画像処理装置、画像処理方法およびプログラムに関する。

従来、動画像信号に対しノイズ低減処理を実行する技術として、巡回型ノイズ低減処理技術が知られている。巡回型ノイズ低減処理技術では、動画の時間方向に対し連続する２フレーム（現在のフレームの入力信号と一つ前のフレームの出力信号）をブレンドすることによって、時間方向に発生するランダムノイズを低減する。時間方向に連続する２フレームの信号をブレンドする比率（以降、巡回係数と呼ぶ。）の設定方法としては、例えば特許文献１に記載のような方法が知られている。特許文献１に記載の方法では、２フレーム間の変化量を算出し、その変化量に応じて巡回係数を設定している。このように、フレーム間の変化量に応じて巡回係数を設定することにより、動画に写っている被写体が静止被写体か動体の何れであるかに適応したノイズ低減処理が可能になる。

特開２０００−２２４４４４号公報

ところで、巡回型ノイズ低減処理が施される動画は、例えば暗い場所や夜間等の暗い環境下で撮影された動画のように十分なＳＮ比（信号対雑音比）が得られない動画であることも多い。ＳＮ比が十分でない動画の場合、画像に含まれるノイズの影響によって、フレーム間で算出される変化量の精度が低くなってしまう。そして、特許文献１に記載の巡回型ノイズ低減処理において、算出されたフレーム間変化量の精度が低いと、巡回係数も適切な値が得られず、この場合、動体周辺に残像（尾引き）が生じたり、静止被写体にノイズ（特に色ノイズ）が残留したりすることがある。

そこで、本発明は、精度のよいフレーム間変化量を検出でき、ノイズの残留や残像の発生が抑えられた画像処理を可能にすることを目的とする。

本発明の画像処理装置は、動画の着目フレームの信号に含まれる第１の成分と、前記第１の成分以外の第２の成分との、少なくとも２つの成分ごとにノイズレベルを検出する検出手段と、前記着目フレームの信号と、前記着目フレームに対して時間軸上で前フレームのノイズ低減処理後の信号とを用いて、前記着目フレームと前記前フレームとの間の変化量を前記成分ごとに検出する変化量検出手段と、前記検出手段により検出された前記成分ごとのノイズレベルに基づき、フレーム間の変化量を算出する方法が異なる複数のモードから、何れかのモードを選択する選択手段と、前記変化量検出手段により前記成分ごとに検出された前記変化量に基づき、前記選択されたモードに応じたモード別変化量を算出する算出手段と、前記モード別変化量に応じて、ノイズ低減処理で用いる係数を設定する設定手段と、前記着目フレームの信号と、前記前フレームの前記ノイズ低減処理後の信号と、前記係数とを用いて、前記着目フレームの信号にノイズ低減処理を前記成分ごとに行う処理手段と、を有することを特徴とする。

本発明によれば、精度のよいフレーム間変化量を検出でき、ノイズの残留や残像の発生が抑えられた画像処理が可能となる。

本実施形態の撮像システムの概略構成例を示す図である。 本実施形態の撮像装置の内部構成例を示すブロック図である。 画像処理部の内部構成例を示すブロック図である。 巡回型ＮＲ処理部の内部構成例を示すブロック図である。 巡回型ＮＲ処理のフローチャートである。 ノイズの分散を算出する一例の説明図である。 フレーム間変化量算出部の内部構成例を示すブロック図である。 フレーム間変化量算出処理のフローチャートである。 成分別のフレーム間変化量の説明図である。 モード選択例の説明図である。 モード別のフレーム間変化量の説明図である。 フレーム間変化量と巡回係数の関係を表した図である。 巡回係数を滑らかに変化させる場合の例を示す図である。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
図１は、本実施形態の画像処理装置が適用される撮像システムの概略構成例を示す図である。図１に示す撮像システムは、動画像を撮影可能な監視カメラ１０１と、例えばＩＰ（Internet Protocol）ネットワーク等を介して監視カメラ１０１と相互に通信可能な状態で接続されたクライアント装置１０２とを有して構成されている。ここでは、監視カメラ１０１が本実施形態の画像処理装置の機能を備えている例を挙げて説明する。なお、クライアント装置１０２が本実施形態の画像処理装置の機能を備えていてもよい。監視カメラ１０１により撮影された動画は、クライアント装置１０２に送られて表示され、また必要に応じて記録等される。本実施形態では監視カメラ１０１を例に挙げたが、これには限定されず、例えばデジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどでもよい。

図２は、図１に示した本実施形態の監視カメラ１０１の概略的な内部構成例を示すブロック図である。
撮像光学系２０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッタ等を有して構成され、被写体等の光像を撮像素子部２０２の撮像面上に形成（結像）させる。撮像素子部２０２は、撮像面に入射した光を電気信号へと変換する撮像素子と、撮像素子の各画素に対応したカラーフィルタとを有して構成されたカラー撮像センサである。撮像素子部２０２は、カラーフィルタを透過した撮像面に入射した光を撮像素子により受光し、電気信号へ変換して出力する。なお、撮像素子部２０２は、全ての画素に対して、任意の露光時間を設定可能な撮像センサであるとする。本実施形態の監視カメラ１０１の場合、撮像素子部２０２では動画の撮像が行われ、撮像素子部２０２からは、動画の時間軸上で連続した各フレームの撮像画像信号が出力される。

ＣＰＵ２０３は、本実施形態の監視カメラ１０１の各構成の全てに関わる処理を実行する。ＣＰＵ２０３は、ＲＯＭ（Read Only Memory）２０４やＲＡＭ（Random Access Memory）２０５に格納されたプログラムの命令を順次、読み込み、解釈した結果に従って処理を実行する。撮像系制御部２０６は、ＣＰＵ２０３から供給されるフォーカス制御指示、シャッタ制御指示、絞り制御指示などの各指示を基に、撮像光学系２０１のフォーカス合わせ、シャッタ開閉、絞り調整などの各制御を行う。制御部２０７は、クライアント装置１０２からの指示を基に、ＣＰＵ２０３を介して各部の制御を行う。ＲＯＭ２０４は、ＣＰＵ２０３が実行するプログラムや各種設定値を格納している。ＲＡＭ２０５は、ＲＯＭ２０４に格納されたプログラムが展開され、また、各構成における処理途中のデータの一時的な記憶等を行う。

Ａ／Ｄ変換部２０８は、撮像素子部２０２による光電変換で得られたアナログ電気信号（アナログ撮像信号）をデジタル信号値に変換する。Ａ／Ｄ変換部２０８によるアナログデジタル変換により得られたデジタル信号値は、動画の各フレームの撮像画像データとして画像処理部２０９に送られる。画像処理部２０９は、撮像画像データに対して画像処理を行う部分であり、その画像処理の詳細については後述する。エンコーダ部２１０は、画像処理部２０９による画像処理後の画像データを用いて、例えばＪＰＥＧやＨ．２６４などの所定のファイルフォーマットへの変換処理、つまりエンコード処理を行う。このエンコーダ部２１０によるエンコード処理後の画像データは、クライアント装置１０２に送られる。

図３は、本実施形態の監視カメラ１０１が備えている画像処理部２０９の概略的な内部構成例を示すブロック図である。
画像入力部３０１には、前述のように撮像素子部２０２にて撮像され、Ａ／Ｄ変換部２０８にてアナログデジタル変換された、動画の各フレームの撮像画像データが入力される。現像処理部３０２は、画像入力部３０１に入力された撮像画像データに対して、デモザイク、ホワイトバランス、ガンマ、シャープネスなどの処理を行う。空間ＮＲ（ノイズリダクション）処理部３０３は、現像処理部３０２による処理後の画像に、空間フィルタ処理を施すことで、空間方向において発生するランダムノイズを低減する処理を行う。巡回型ＮＲ処理部３０４は、空間ＮＲ処理後の画像に時間フィルタ処理を施すことで、時間方向において発生するランダムノイズを低減する巡回型ノイズ低減処理を行う。時間方向のランダムノイズを低減する巡回型ＮＲ処理部３０４の詳細な構成および動作については後述する。画像出力部３０５は、それら処理後の画像データを、図１のエンコーダ部２１０に出力する。

以下、巡回型ＮＲ処理部３０４の構成および動作について説明する。
先ず、巡回型ＮＲ処理の原理と課題について説明する。巡回型ＮＲ処理では、時間方向に連続する二つのフレームの信号（現在のフレームの入力信号と一つ前のフレームの出力信号）をブレンドすることで時間方向に発生するランダムノイズを低減する処理である。本実施形態では、二つのフレームの信号をブレンドする比率を、巡回係数と呼んでいる。

ここでは、動画の時間方向に連続する二つのフレームとして、時間ｔ（ｔ≧２）のフレームと時間ｔ−１のフレームを例に挙げて説明する。また、例えば時間ｔのフレームにおいて、巡回型ＮＲ処理への入力信号をＩＮ(v,h,t)とし、巡回型ＮＲ処理後の出力信号をＯＵＴ(v,h,t)として表す。なお、（ｖ，ｈ，ｔ）のｖ，ｈは、時間ｔのフレームの画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｖ，ｈ）を表している。つまり、ＩＮ(v,h,t)は、時間ｔのフレーム内の２次元座標位置（ｖ，ｈ）の画素に対応した入力信号を、ＯＵＴ(v,h,t)は、時間ｔのフレーム内の２次元座標位置（ｖ，ｈ）の画素に対応した巡回型ＮＲ処理後の出力信号を表している。時間ｔ−１のフレームの入力信号や出力信号についても、時間ｔのフレームの場合と同様に表すと、例えば出力信号はＯＵＴ(v,h,t-1)と表される。そして、巡回型ＮＲ処理において、巡回係数をα（０≦α≦１）と表すと、巡回型ＮＲ処理後の出力信号ＯＵＴ(v,h,t)は、式（１）に示すようなαを重みとした重み付け加算演算により算出される。

ＯＵＴ(v,h,t)＝（１−α）×ＩＮ(v,h,t)＋α×ＯＵＴ(v,h,t-1) 式（１）

ここで、例えば動画に写っている被写体が静止又は殆ど動いていない静止被写体である場合、時間ｔと時間ｔ−１の二つのフレーム間で画像の変化量は小さくなる。この場合、巡回係数αの値つまり重みを大きく設定すれば、画像に対して強いノイズ低減処理を施すことが可能となる。すなわち、二つのフレーム間の変化量が小さい場合、巡回係数αを大きな値に設定すれば、画像の時間方向に発生するランダムノイズを良好に低減することができる。一方、被写体が動いている動体である場合、時間ｔと時間ｔ−１の二つのフレーム間で画像の変化量は大きくなる。この場合、巡回係数α（重み）を小さい値に設定すれば、画像に対するノイズ低減処理を弱くして、動体の画像領域の信号成分を多く残すことが可能となる。このように、巡回型ＮＲ処理において、フレーム間の変化量に応じて巡回係数αを設定することで、動画のフレームに写っている被写体が静止被写体である場合と動体である場合の何れであっても、それぞれの画像に適したノイズ低減処理を施すことが可能となる。

また、動画に写っている被写体が静止被写体か動体であるかを判定可能とする手法の一例として、特開昭６３−１３１７９４号公報に記載された動き検出の方法がある。この公報記載の方法では、輝度信号を基に動き検出を行った信号と、色信号を基に動き検出を行った信号とを合成することで、輝度差が小さく色のみが変化している画像であっても精度のよい動き検出を可能としている。この方法によれば、輝度差が小さく色のみが変化している場合でも、動画に写っている被写体が静止被写体か動体の何れであるかを判定可能となる。このため、この方法を用いて検出した動きに応じて巡回係数を設定することも考えられる。

ところで、暗い場所や夜間等の暗い環境下で撮影された画像のような、ＳＮ比が小さくノイズの多い画像に対して巡回型ＮＲ処理を行った場合、動体周辺に残像（尾引き）が生じたり、静止被写体にノイズ（特に色ノイズ）が残留したりすることがある。すなわち、ＳＮ比が小さくノイズの多い画像の場合、フレーム間の変化量の検出精度が低下するため、その変化量を基に設定される巡回係数の精度も低下してしまう。このような精度の低い巡回係数を用いた巡回型ＮＲ処理が行われた場合、動体周辺の残像や、静止被写体のノイズ残留が生ずることがある。なお、特開昭６３−１３１７９４号公報に記載された動き検出方法の場合も、ＳＮ比が十分でなくノイズが多い動画の場合には動き検出の精度が低下する。このため、この方法を用いて検出した動きに応じて巡回係数を設定するようにした場合も、やはり適切な巡回係数を得ることが難しくなる。

そこで、本実施形態では、後述するように、入力信号から得られる輝度成分と色成分のノイズレベルを考慮してフレーム間の変化量を検出し、その変化量を基に巡回係数を設定して巡回型ＮＲ処理を行うようにする。これにより、本実施形態では、静止被写体のノイズ（色ノイズ）の残留を低減でき、また、動体周辺の残像（尾引き）を抑えることを可能にしている。

以下、本実施形態における巡回型ＮＲ処理部３０４の構成および動作について詳細に説明する。
図４は、動画の入力信号に巡回型ＮＲ処理を施して出力する、本実施形態の巡回型ＮＲ処理部３０４の構成例を示すブロック図である。本実施形態の巡回型ＮＲ処理部３０４は、入力信号取得部４０１、ノイズレベル算出部４０２、フレーム間変化量算出部４０３、巡回係数算出部４０４、合成処理部４０５、信号保持部４０６、出力信号処理部４０７を有して構成されている。

入力信号取得部４０１は、動画を構成している、時間軸上で連続した各フレームの中で、例えば或る時間ｔのフレームを着目フレームとし、その着目フレームの赤（Ｒ），緑（Ｇ），青（Ｂ）の三原色の入力信号（以下、ＲＧＢ入力信号とする。）を取得する。以下の説明では、或る時間ｔを現在の時間とし、この現在の時間の着目フレームを現フレームと呼ぶことにする。そして、入力信号取得部４０１は、現フレームのＲＧＢ入力信号を、輝度（Ｙ）、色差（Ｕ）、色差（Ｖ）の信号（以下、ＹＵＶ入力信号とする。）に変換する。現フレームのＲＧＢ入力信号をＹＵＶ入力信号に変換する処理の詳細は後述する。入力信号取得部４０１での変換処理により生成されたＹＵＶ入力信号は、ノイズレベル算出部４０２、フレーム間変化量算出部４０３、合成処理部４０５に送られる。

ノイズレベル算出部４０２は、現フレームのＹＵＶ入力信号から、ＹＵＶの成分ごとのノイズレベルを算出するようなノイズレベル検出処理を行う。以下、Ｙの輝度成分をＹ成分、Ｕの色差成分をＵ成分、Ｖの色差成分をＶ成分と呼び、また、Ｕ，Ｖ成分を纏めてＵＶ成分と呼ぶことにする。ＹＵＶの成分ごとのノイズレベル算出処理の詳細は後述する。そして、ノイズレベル算出部４０２は、現フレームのＹＵＶの成分ごとに算出したノイズレベルを表す信号を、フレーム間変化量算出部４０３に出力する。

フレーム間変化量算出部４０３には、現フレームのＹＵＶ入力信号と、現フレームより時間軸上で一つ前のフレーム（以下、前フレームとする。）について後述の合成処理部４０５で合成処理されて信号保持部４０６に保持されたＹＵＶ出力信号とが入力される。フレーム間変化量算出部４０３は、現フレームのＹＵＶ入力信号のノイズレベルと、現フレームのＹＵＶ入力信号と、前フレームのＹＵＶ出力信号とを基に、現フレームと前フレームとの間のＹＵＶ成分ごとの差分を算出するようなフレーム間変化量検出処理を行う。フレーム間変化量の算出処理の詳細は後述する。そして、フレーム間変化量算出部４０３は、ＹＵＶの各成分のフレーム間変化量を表す信号を、巡回係数算出部４０４に出力する。

巡回係数算出部４０４は、フレーム間変化量算出部４０３から供給されたフレーム間の変化量に応じてＹＵＶの成分ごとの巡回係数を算出する。フレーム間変化量に応じた巡回係数の算出処理の詳細は後述する。そして、巡回係数算出部４０４は、ＹＵＶの成分ごとに算出した巡回係数を表す信号を、合成処理部４０５に出力する。

合成処理部４０５には、現フレームのＹＵＶ入力信号と、前フレームについて合成処理部４０５で合成処理されて信号保持部４０６に保持されたＹＵＶ出力信号と、が入力される。そして、合成処理部４０５は、現フレームのＹＵＶ入力信号と、前フレームのＹＵＶ出力信号とを、巡回係数の値を基にブレンドすることで、現フレームのＹＵＶ出力信号を生成する。この合成処理部４０５による合成処理後のＹＵＶ出力信号が、巡回型ノイズ低減処理後の出力信号である。合成処理部４０５における合成処理の詳細については後述する。合成処理部４０５での合成処理により生成された現フレームのＹＵＶ出力信号は、出力信号処理部４０７と信号保持部４０６に送られる。

信号保持部４０６は、合成処理部４０５にて合成処理された現フレームのＹＵＶ出力信号を保持する。信号保持部４０６に保持されたＹＵＶ出力信号は、フレーム間変化量算出部４０３においてフレーム間変化量の算出がされる際、および、合成処理部４０５において合成処理が行われる際に、前述した前フレームのＹＵＶ出力信号として用いられる。

出力信号処理部４０７は、合成処理部４０５から入力される現フレームのＹＵＶ出力信号を、ＲＧＢ信号（ＲＧＢ出力信号）に変換する。このＲＧＢ出力信号は、巡回型ＮＲ処理部３０４によるノイズ低減処理後の現フレームの画像データとして、図３の画像出力部３０５に送られる。

図５は、図４に示した巡回型ＮＲ処理部３０４にて行われる処理の流れを示すフローチャートである。図５のフローチャートでは、ステップＳ５０１〜Ｓ５０８をそれぞれＳ５０１〜Ｓ５０８と略記する。なお、図４の構成と図５のフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により実行される場合、図５のフローチャートの処理は、例えばＲＯＭ等に記憶されているプログラムをＣＰＵが実行することにより実現される。これらのことは後述する他のフローチャートにおいても同様とする。

図５のＳ５０１において、入力信号取得部４０１は、前述した時間ｔの現フレームのＲＧＢ入力信号Ｒ_IN（v,h,t），Ｇ_IN（v,h,t），Ｂ_IN（v,h,t）を取得する。そして、入力信号取得部４０１は、式（２）の変換式により、ＲＧＢ入力信号Ｒ_IN（v,h,t），Ｇ_IN（v,h,t），Ｂ_IN（v,h,t）を、ＹＵＶ入力信号Ｙ_IN(v,h,t)，Ｕ_IN(v,h,t)，Ｖ_IN(v,h,t)に変換する。

Ｙ_IN(v,h,t)＝0.299×Ｒ_IN(v,h,t)＋0.587×Ｇ_IN(v,h,t)＋0.114×Ｂ_IN(v,h,t)
Ｕ_IN(v,h,t)＝-0.169×Ｒ_IN(v,h,t)−0.331×Ｇ_IN(v,h,t)＋0.500×Ｂ_IN(v,h,t)
Ｖ_IN(v,h,t)＝0.500×Ｒ_IN(v,h,t)−0.419×Ｇ_IN(v,h,t)−0.081×Ｂ_IN(v,h,t) 式（２）

次にＳ５０２において、ノイズレベル算出部４０２は、現フレームのＹＵＶ入力信号Ｙ_IN(v,h,t)，Ｕ_IN(v,h,t)，Ｖ_IN(v,h,t)から、ＹＵＶの各成分のノイズレベルを算出する。例えば、ノイズレベル算出部４０２は、現フレームの画像に含まれているノイズレベルを表す評価値として、式（３）、式（４）を用い、現フレームの画像のノイズの分散を算出する。式（３）、式（４）は、輝度のＹ成分についてノイズ分散σ² _Y(v,h,t)を求める式である。また式の記載は省略するが、ノイズレベル算出部４０２は、式（３）、式（４）のＹをそれぞれＵ又はＶに替えた式により、色差のＵ成分とＶ成分のノイズ分散σ² _U(v,h,t)，σ² _V(v,h,t)についても算出する。

ここで、式（３）と式（４）のｓ１、ｓ２の値を大きく設定することで、該当信号に含まれるノイズ分散を正確に算出することができる。図６は、ｓ１＝２，ｓ２＝２と設定した場合において、時間ｔのフレームの画像６００の中で注目画素ｘ(h,v,t)を中心とした５×５画素の領域６０１におけるノイズ分散の算出例を示した図である。図６のようにｓ１＝２，ｓ２＝２と設定した場合、着目画素ｘ(h,v,t)におけるノイズ分散の算出式は、式（５）と式（６）のように表される。

なお、ノイズレベルの評価値としては、式（３）、式（４）の演算式による分散に限定されず、例えば、ノイズの標準偏差、撮像センサのノイズ特性等のような様々な評価値を用いてもよい。また、ノイズレベルの評価値は、分散と標準偏差、撮像センサのノイズ特性等の、少なくとも二つを組み合わせたものが用いられてもよい。

次のＳ５０３において、フレーム間変化量算出部４０３は、Ｓ５０２で算出されたＹＵＶ入力信号のノイズレベルに応じて、複数のモードの中から何れかのモードを選択し、その選択したモードに応じて、ＹＵＶの各成分のフレーム間変化量を算出する。本実施形態では、フレーム間の変化量を算出するモードとして、第１のモードＭ１、第２のモードＭ２、第３のモードＭ３を用いる。詳細は後述するが、第１のモードＭ１は、Ｙ成分とＵ成分とＶ成分とでそれぞれ独立に変化量を検出するモードである。第２のモードＭ２は、Ｙ成分とＵ成分とＶ成分でそれぞれ算出された変化量をブレンドして、そのブレンド後の値を変化量とするモードである。また、第３のモードＭ３は、フレーム間の変化量の検出を行わず、予め設定された値を変化量として用いるモードである。

図７は、フレーム間変化量算出部４０３の構成の一例を示すブロック図である。図７に示すように、フレーム間変化量算出部４０３は、成分別変化量算出部７０１、モード選択部７０２、モード別変化量算出部７０３を有して構成される。

成分別変化量算出部７０１は、現フレームのＹＵＶ入力信号と前フレームのＹＵＶ出力信号との間の変化量をＹＵＶの信号成分別に検出する成分別検出処理を行い、それらＹＵＶの成分別に検出された変化量を、成分別変化量として出力する。成分別変化量算出部７０１における成分別変化量の算出処理の詳細は後述する。

モード選択部７０２は、ノイズレベル算出部４０２にて算出されたＹＵＶの各成分のノイズ分散を基に、第１のモードＭ１、第２のモードＭ２、第３のモードＭ３の何れかのモードを選択する。モード選択部７０２におけるモード選択処理の詳細は後述する。モード選択部７０２により選択されたモードを表すモード信号は、モード別変化量算出部７０３に送られる。

モード別変化量算出部７０３には、成分別変化量算出部７０１にて算出された成分別変化量と、ノイズレベル算出部４０２により前述のように算出されたＹＵＶの各成分のノイズ分散と、モード選択部７０２にて選択されたモード信号とが入力される。モード別変化量算出部７０３は、ＹＵＶの成分別変化量と、ＹＵＶの成分別のノイズ分散と、モード信号とを基に、モード別変化量を算出する。モード別変化量算出部７０３におけるモード別変化量の算出処理の詳細は後述する。そして、モード別変化量算出部７０３にて算出されたモード別変化量の信号は、図４の巡回係数算出部４０４に送られる。

図８は、図７に示したフレーム間変化量算出部４０３において行われる処理のフローチャートであり、図５のＳ５０３の処理を細分化したフローチャートある。
図８のＳ８０１において、成分別変化量算出部７０１は、現フレームのＹＵＶ入力信号と前フレームのＹＵＶ出力信号との間の変化量を、ＹＵＶの成分ごとに算出し、それを成分別変化量とする。ここで、成分別変化量算出部７０１は、式（７）〜式（９）のように、ＹＵＶの成分別にそれぞれ差分絶対値を求め、それらを成分別変化量ΔＹ(v,h,t)，ΔＵ(v,h,t)，ΔＶ(v,h,t)として算出する。なお、成分別変化量は、差分絶対値に限定されず、例えば差分二乗値や、低周波成分の差分絶対値等が成分別変化量として算出されてもよい。

ΔＹ(v,h,t)＝｜Ｙ(v,h,t)−Ｙ(v,h,t-1)｜ 式（７）
ΔＵ(v,h,t)＝｜Ｕ(v,h,t)−Ｕ(v,h,t-1)｜ 式（８）
ΔＶ(v,h,t)＝｜Ｖ(v,h,t)−Ｖ(v,h,t-1)｜ 式（９）

図９は、時間ｔのフレーム９００と時間ｔ−１のフレーム９１０を基に成分別に算出された変化量の例を示したイメージ図である。図９に示すように、フレーム９００のＹ成分Ｙ(v,h,t)とフレーム９１０のＹ成分Ｙ(v,h,t-1)とから、式（７）によりフレーム間変化量ΔＹ(v,h,t)が算出される。また、フレーム９００のＵＶ成分Ｕ(v,h,t)，Ｖ(v,h,t)と、フレーム９１０のＵＶ成分Ｕ(v,h,t-1)，Ｖ(v,h,t-1)とから、式（８），式（９）によりフレーム間変化量ΔＵ(v,h,t)，ΔＶ(v,h,t)が算出される。なお、図９と後述する図１１（ａ）、図１１（ｂ）では、式（７）、式（８）、式（９）にて算出されるΔＹ(v,h,t)、ΔＵ(v,h,t)、ΔＶ(v,h,t)を、それぞれΔＹ，ΔＵ，ΔＶとして表している。

次に、Ｓ８０２において、モード選択部７０２は、ノイズレベル算出部４０２から取得されるＹＵＶの各成分のノイズレベルに応じて、第１のモードＭ１、第２のモードＭ２、第３のモードＭ３の何れのモードを用いるかを判定する。Ｓ８０２の処理は、Ｓ８０３とＳ８０４の処理からなる。

図１０は、夜間等のような低照度環境下で撮像された動画のフレームにおいて、例えば、ＵＶ成分のノイズレベルがＹ成分のノイズレベルと比較して大きくなっている画像を想定した場合のモード選択例の説明図である。
Ｓ８０３において、モード選択部７０２は、Ｙ成分のノイズレベルと、ＵＶ成分のノイズレベルとの差と、所定の範囲を表す閾値（図１０に示した閾値Ｔｈａ）とを比較する。具体的には、Ｓ８０３において、モード選択部７０２は、ＹＵＶの各成分の何れもノイズレベルが小さく、Ｙ成分のノイズレベルと、Ｕ成分およびＶ成分のノイズレベルとの差が閾値以下（図１０の閾値Ｔｈａ以下）であるか否かを判定する。そして、モード選択部７０２は、Ｓ８０３において、Ｙ成分のノイズレベルと、Ｕ成分およびＶ成分のノイズレベルとの差が、閾値Ｔｈａ以下であると判定（Ｙｅｓ）した場合、Ｓ８０５に処理を進める。

Ｓ８０５の処理に進むと、モード選択部７０２は、第１のモードＭ１を選択し、その選択した第１のモードＭ１を表すモード信号をモード別変化量算出部７０３に送る。そして、Ｓ８０５において、モード別変化量算出部７０３は、Ｓ８０１で算出されたＹＵＶの各成分の変化量ΔＹ(v,h,t)，ΔＵ(v,h,t)，ΔＶ(v,h,t)を、そのままモード別変化量として出力する。Ｓ８０５の後は、次の着目フレームに対する図８のフローチャートの処理が行われることになる。

図１１（ａ）は、ＹＵＶの各成分の何れもノイズレベルが小さく、Ｙ成分とＵＶ成分のノイズレベル差が閾値Ｔｈａ以下であり、第１のモードＭ１が選択された場合の、モード別変化量算出部７０３の入力１１００と出力１１０１の一例を示すイメージ図である。この図１１（ａ）に示すように、第１のモードＭ１が選択された場合、モード別変化量算出部７０３は、ＹＵＶの成分ごとに算出されて入力された変化量ΔＹ，ΔＵ，ΔＶを、そのままモード別変化量ΔＹ_MODE1，ΔＵ_MODE1，ΔＶ_MODE1として出力する。

一方、Ｓ８０３において、Ｙ成分のノイズレベルと、ＵＶ成分のノイズレベルとの差が閾値Ｔｈａより大きいと判定（Ｎｏ）した場合、モード選択部７０２は、Ｓ８０４に処理を進める。Ｓ８０４において、モード選択部７０２は、Ｙ成分のノイズレベルとＵＶ成分のノイズレベルと、図１０に示す所定の閾値Ｔｈｂとを比較する。具体的には、Ｓ８０４において、モード選択部７０２は、Ｙ成分のノイズレベルとＵＶ成分のノイズレベルが両方とも、図１０に示す所定の閾値Ｔｈｂ以上であるか否かを判定する。そして、モード選択部７０２は、Ｙ成分とＵＶ成分のノイズレベルが、両方とも閾値Ｔｈｂ以上であると判定（Ｙｅｓ）した場合にはＳ８０７に処理を進め、何れか一方でも閾値Ｔｈｂ未満であると判定（Ｎｏ）した場合にはＳ８０６に処理を進める。

Ｓ８０６の処理に進むと、モード選択部７０２は、第２のモードＭ２を選択し、その選択した第２のモードＭ２を表すモード信号をモード別変化量算出部７０３に送る。そして、Ｓ８０６において、モード別変化量算出部７０３は、式（１０）、式（１１）により、ＵＶ成分のモード別変化量ΔＵ_MODE2，ΔＶ_MODE2を算出する。なおこのときのモード別変化量算出部７０３は、Ｙ成分の変化量ΔＹについてはそのままモード別変化量ΔＹ_MODE2として出力する。Ｓ８０６の後は、次の着目フレームに対する図８のフローチャートの処理が行われることになる。

図１１（ｂ）は、Ｙ成分とＵＶ成分のノイズレベルが何れか一方でも閾値Ｔｈｂ未満であり、第２のモードが選択された場合の、モード別変化量算出部７０３の入力１１１０と出力１１１１の一例を示すイメージ図である。この図１１（ｂ）に示すように、第２のモードＭ２が選択された場合、モード別変化量算出部７０３は、Ｙ成分については式（７）で算出された変化量ΔＹをそのままモード別変化量ΔＹ_MODE2として出力する。一方、モード別変化量算出部７０３は、ＵＶ成分については式（１０）、式（１１）によりそれぞれモード別変化量ΔＵ_MODE2，ΔＶ_MODE2を算出して出力する。

すなわち、第２のモードＭ２の場合、ＵＶ成分については、Ｙ成分について算出された変化量ΔＹと、ＵＶ成分について算出された変化量ΔＵ，ΔＶとをブレンドして得られた変化量を、モード別変化量ΔＵ_MODE2，ΔＶ_MODE2とするモードである。また変化量をブレンドする比率は、式（１０）、式（１１）に表されているように、Ｙ成分のノイズレベル（分散σ² _Y(v,h,t)）とＵＶ成分のノイズレベル（分散σ² _U(v,h,t)，σ² _V(v,h,t)）とに応じて決定されている。すなわち、変化量をブレンドする比率は、Ｙ成分のノイズレベルとＵＶ成分のノイズレベルの割合に応じて決定され、Ｙ成分のノイズレベルがＵＶ成分のノイズレベルと比較して小さくなるほど、Ｙ成分の変化量のブレンドの比率が大きくなるように決定される。

また、Ｓ８０４において、Ｙ成分とＵＶ成分のノイズレベルが両方とも閾値Ｔｈｂ以上であると判定（Ｙｅｓ）されてＳ８０７に進んだ場合、モード選択部７０２は、第３のモードＭ３を選択し、そのモード信号をモード別変化量算出部７０３に送る。ここで、第３のモードＭ３が選択された場合のように、ＹＵＶの各成分のノイズレベルが何れも大きい場合、信号成分とノイズ成分との比であるＳＮ比が小さくなっているため、ノイズの影響によりフレーム間変化量を正確に算出できない可能性がある。そこで、第３のモードＭ３が選択された場合、モード別変化量算出部７０３は、変化量算出処理を行わずに、ＹＵＶの成分別に予め設定した値を、モード別変化量ΔＹ_MODE3，ΔＵ_MODE3，ΔＶ_MODE3として出力する。Ｓ８０７の後は、次の着目フレームに対する図８のフローチャートの処理が行われることになる。

なお、第３のモードＭ３が選択された場合、モード別変化量算出部７０３は、ユーザの選択を基に変化量の値を調整することも可能である。例えばクライアント装置１０２を介してユーザからノイズ低減効果を優先した画質を要求する旨の指示が制御部２０７に入力された場合、モード別変化量算出部７０３は、変化量を小さな値に設定する。これにより、ノイズ低減効果の大きい画像が得られることになる。一方、クライアント装置１０２を介してユーザから動体の視認性を優先した画質を要求する指示が制御部２０７に入力された場合、モード別変化量算出部７０３は、変化量を大きな値に設定する。これにより、残像や動きボケの少ない画像が得られることになる。

前述したように、本実施形態では、ＹＵＶの各成分のノイズレベルが何れも小さいシーン（第１のモードＭ１が選択される場合）では、それらＹＵＶの各成分別に算出された変化量をモード別変化量として用いる。すなわち、ＹＵＶの各成分のノイズレベルが何れも小さい場合、ＹＵＶの成分ごとの高い精度の変化量に基づき、後述する巡回係数の設定が可能になる。

一方、本実施形態では、ＹＵＶの各成分のノイズレベルが何れも大きいシーン（第３のモードＭ３が選択される場合）では、それらＹＵＶの各成分別に予め設定された変化量がモード別変化量として用いられる。すなわち、ＹＵＶの各成分のノイズレベルが何れも大きい場合には、精度の低い変化量が算出される可能性が高いため、予め設定された変化量を用いることで、精度の低い変化量に基づく巡回係数の設定がなされることを防いでいる。

また、本実施形態では、Ｙ成分のノイズレベルと、ＵＶ成分のノイズレベルとの差が大きくなるシーン（第２のモードＭ２が選択される場合）では、ＵＶ成分についてはＹ成分とＵＶ成分をブレンドしたものをモード別変化量として用いる。すなわち、Ｙ成分のノイズレベルよりもＵＶ成分のノイズレベルが大きくなる場合、Ｓ５０３と後述のＳ５０４ではＹＵＶの各成分のそれぞれのノイズレベルを考慮した変化量が求められるため、このシーンに応じた適切な巡回係数を設定することが可能になる。

このように、本実施形態では、何れのシーンであっても精度の良いフレーム間変化量の算出が実現可能となり、この精度の良いフレーム間変化量を基にした適切な巡回係数の設定が可能となる。したがって、本実施形態によれば、静止被写体のノイズの残留を低減でき、動体周辺の残像を抑えることが可能となる。なお、前述した特開２０００−２２４４４４号公報に記載の従来の巡回型ＮＲ処理では、本実施形態のようなＹＵＶの各成分のノイズレベルに応じたモード選択と、そのモードに応じた変化量の算出および巡回係数の設定は行われていない。また、特開昭６３−１３１７９４号公報に記載の動き検出方法を用いた場合、ＳＮ比が十分でなくノイズが多い動画の場合に動き検出の精度が低下するため適切な巡回係数の設定ができなくなる。これに対し、本実施形態の場合は、ＹＵＶの各成分のノイズレベルに応じた適切な巡回係数の設定が可能となる。

なお、本実施形態のＳ５０３で示したモードは第１〜第３の三つのモードから構成されているが、これに限るものではなく、四つ以上のモードを設定してより細かな制御を実行してもよい。

図５のフローチャートに説明を戻す。
Ｓ５０４において、巡回係数算出部４０４は、Ｓ５０３で算出された変化量に基づいて巡回係数を算出する。図１２は、Ｙ成分の変化量と巡回係数との関係を表したグラフである。図１２に示すように、巡回係数算出部４０４は、変化量の値と所定の閾値（閾値Ｔｈ１とＴｈ２）とを比較する。そして、巡回係数算出部４０４は、変化量の値が閾値未満（閾値Ｔｈ１より小さい）である場合、Ｙ成分が静止被写体のフレームから得られていると解釈して、巡回係数の値を大きく設定する。一方、変化量の値が所定の閾値以上（閾値Ｔｈ２以上）の場合、巡回係数算出部４０４は、Ｙ成分が動体のフレームから得られていると解釈して、巡回係数の値を小さく設定する。変化量の値が閾値Ｔｈ１以上で閾値Ｔｈ２未満の場合、巡回係数算出部４０４は、変化量の値が大きくなるほど巡回係数の値を小さく変化させるように設定する。閾値Ｔｈ１，Ｔｈ２は、Ｙ成分の入力信号に含まれているノイズ量を考慮して適宜決定されるパラメータである。一例として、閾値Ｔｈ１，Ｔｈ２は、式（１２）のように、Ｙ成分のノイズレベル（分散）に応じた値として設定される。

Ｔｈ１＝２σ_Y
Ｔｈ２＝３σ_Y 式（１２）

図１２に示したように、例えば、静止被写体用の巡回係数の値を０．８、動体用の巡回係数の値を０．２と設定すると、巡回係数算出部４０４は、Ｙ成分の巡回係数αを、閾値Ｔｈ１，Ｔｈ２と変化量の値とを用いて、式（１３）により算出する。なお、式の記載は省略するが、巡回係数算出部４０４は、式（１３）のＹをそれぞれＵ又はＶに替えた式を用いて、ＵＶ成分についても静止被写体用の巡回係数の値と動体用の巡回係数の値とを算出する。

ΔＹ(v,h,t)＜Th1→α＝０．８
ΔＹ(v,h,t)≧Th2→α＝０．２
Th1≦ΔＹ(v,h,t)＜Th2→α＝((0.2-0.8)/(Th2-Th1))×(ΔＹ(v,h,t)-Th1)＋0.8
式（１３）

また、前述の例では、閾値をＴｈ１とＴｈ２の二つとしたが、例えば三つ以上の閾値を設定することで、変化量に応じて巡回係数の値を滑らかに変化させるように設定することも可能である。図１３は、閾値をＴｈ１１，Ｔｈ１２，Ｔｈ１３，Ｔｈ１４，・・・のように複数設定することで、変化量に応じて巡回係数の値を滑らかに変化させることを可能にした例を示した図である。なお、図１３の例の場合、閾値Ｔｈ１１が静止被写体用の巡回係数の値０．８を設定する際の閾値となっており、以下、閾値Ｔｈ１２，Ｔｈ１３，Ｔｈ１４，・・・の順に大きな値が設定されている。変化量の値が、閾値Ｔｈ１１以上で閾値Ｔｈ１２未満の場合、閾値Ｔｈ１２以上で閾値Ｔｈ１３未満の場合、閾値Ｔｈ１３以上で閾値Ｔｈ１４未満の場合で、それぞれ変化量の値が大きくなるほど巡回係数の値を小さく変化させるように設定する。

次のＳ５０５において、合成処理部４０５は、Ｓ５０４で算出された巡回係数αに応じてＹＵＶ入力信号とＹＵＶ出力信号とを合成し、現フレームのＹＵＶ出力信号を生成する。次のＳ５０６において、信号保持部４０６は、Ｓ５０５で得られたＹＵＶ出力信号を保持する。

次のＳ５０７において、出力信号処理部４０７は、合成処理部４０５にて合成処理された現フレームのＹＵＶ出力信号Ｙ_OUT(v,h,t)，Ｕ_OUT(v,h,t)，Ｖ_OUT(v,h,t)を取得する。さらに、出力信号処理部４０７は、式（１４）の式を用い、ＹＵＶ出力信号Ｙ_OUT(v,h,t)，Ｕ_OUT(v,h,t)，Ｖ_OUT(v,h,t)を、ＲＧＢ出力信号Ｒ_OUT(v,h,t)，Ｇ_OUT(v,h,t)，Ｂ_OUT(v,h,t)に変換する。そして、このＲＧＢ出力信号Ｒ_OUT(v,h,t)，Ｇ_OUT(v,h,t)，Ｂ_OUT(v,h,t)は、図３の画像出力部３０５に送られる。

Ｒ_OUT(v,h,t)＝1.00×Ｙ_OUT(v,h,t)＋1.402×Ｖ_OUT(v,h,t)
Ｇ_OUT(v,h,t)＝1.00×Ｙ_OUT(v,h,t)−0.334×Ｕ_OUT(v,h,t)−0.714×Ｖ_OUT(v,h,t)
Ｂ_OUT(v,h,t)＝1.00×Ｙ_OUT(v,h,t)−1.772×Ｕ_OUT(v,h,t) 式（１４）

次のＳ５０８において、巡回型ＮＲ処理部３０４は、現フレームの全ての画素についてＳ５０１〜Ｓ５０７の処理を行ったか否か判断し、未処理の画素がある場合にはＳ５０１に処理を戻して、その未処理の画素についてＳ５０１〜Ｓ５０７の処理を行う。一方、巡回型ＮＲ処理部３０４は、現フレームの全ての画素についてＳ５０１〜Ｓ５０７の処理を行ったと判断した場合には、現フレームについての図５のフローチャートの処理を終了し、次のフレームの処理に移る。

前述した実施形態では、ＹＵＶの成分ごとにノイズレベルを算出し、フレーム間変化量の検出の精度向上を実現したが、巡回型ＮＲ処理部３０４で処理を行う入力信号のデータ形式に特に制限はない。例えば、ＲＧＢ成分や、Ｌａｂ成分、可視・非可視成分に対して、同様の処理を実行することも可能である。

ここで、一例としてＲＧＢ成分を用いた場合について説明する。
以下、Ｒの色成分をＲ成分、Ｇの色成分をＧ成分、Ｂの色成分をＢ成分、Ｒ成分およびＢ成分を纏めてＲＢ成分と呼ぶことにする。また、ＲＧＢ成分を用いた例でも、前述の各図を流用して説明を行うこととする。

ＲＧＢ成分を用いた例の場合、図５のＳ５０１において、入力信号取得部４０１は、ＢＧＢ入力信号をＹＵＶに変換せずに、そのままノイズレベル算出部４０２、フレーム間変化量算出部４０３、合成処理部４０５へ送る。なお、巡回型ＮＲ処理部３０４に入力された信号がＹＵＶ入力信号である場合、入力信号取得部４０１は、そのＹＵＶ入力信号をＲＧＢ入力信号に変換して、ノイズレベル算出部４０２、フレーム間変化量算出部４０３、合成処理部４０５へ送ってもよい。

次のＳ５０２において、ノイズレベル算出部４０２は、現フレームのＲＧＢ入力信号Ｒ_IN(v,h,t)，Ｇ_IN(v,h,t)，Ｂ_IN(v,h,t)から、ＲＧＢの各成分のノイズレベルを算出する。この例の場合、ノイズレベル算出部４０２は、前述の式（３）、式（４）のＹをそれぞれＲ又はＧ又はＢに替えた式により、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれノイズ分散σ² _R(v,h,t)，σ² _G(v,h,t) ，σ² _B(v,h,t)を算出する。なお、ＲＧＢ成分を用いた場合も前述同様に、ノイズレベルの評価値としては、ノイズの標準偏差、撮像センサのノイズ特性等を用いることもできる。

次のＳ５０３において、フレーム間変化量算出部４０３は、Ｓ５０２で算出されたＲＧＢ入力信号のノイズレベルに応じて、前述した第１〜第３のモードの何れかのモードを選択し、その選択したモードに応じて、モード別フレーム間変化量を算出する。ＲＧＢ成分を用いた場合、第１のモードＭ１は、Ｒ成分とＧ成分とＢ成分とでそれぞれ算出した変化量をそれぞれモード別変化量とするモードである。また、第２のモードＭ２は、ＲＧＢの各成分について算出された変化量をブレンドして、モード別変化量とするモードである。第３のモードＭ３は、前述同様、フレーム間の変化量を算出せずに、予め設定された値をモード別変化量として用いるモードである。

ＲＧＢ成分を用いた場合、図８のフローチャートのＳ８０１において、フレーム間変化量算出部４０３は、現フレームのＲＧＢ入力信号と前フレームのＲＧＢ出力信号との間の変化量を、ＲＧＢ成分ごとに算出し、それを成分別変化量とする。なお、ＲＧＢ成分を用いる場合、フレーム間変化量算出部４０３の構成は、前述した図７においてＹをＧ、ＵをＲ、ＶをＢに替えた構成を用いることができる。このため、Ｓ８０１において、成分別変化量算出部７０１は、例えば、前述の式（７）のＹをＧ、式（８）のＵをＲ、式（９）のＶをＢにそれぞれ替えた式を用い、ＲＧＢ成分別にそれぞれ差分絶対値を求め、それをＲＧＢの成分別変化量として算出する。なお、この例の場合も前述同様、成分別変化量は、差分絶対値に限定されず、例えば差分二乗値や、低周波成分の差分絶対値等が成分別変化量として算出されてもよい。

次に、Ｓ８０２において、モード選択部７０２は、ノイズレベル算出部４０２から取得されるＲＧＢの各成分のノイズレベルに応じて、第１のモードＭ１、第２のモードＭ２、第３のモードＭ３の何れかのモードを用いるか判定する。前述のＹＵＶ成分を用いた例の場合、ＹＵＢ成分のうちＹ成分とＵＶ成分とを分けるようにしたが、ＲＧＢ成分を用いる場合には、人の視覚特性を考慮し、Ｇ成分と、Ｇ成分以外のＲＢ成分とに分けてモード選択を行うようにする。

ここで、前述の図１０のＹをＧ、ＵをＲ、ＶをＢに替えた図を用いた場合、モード選択部７０２は、Ｓ８０３においてＧ成分のノイズレベルと、ＲＢ成分のノイズレベルとの差が閾値Ｔｈａ未満と判定すると、Ｓ８０５では第１のモードＭ１を選択する。そして、第１のモードＭ１が選択された場合、モード別変化量算出部７０３は、前述同様に算出したＲＧＢの成分別の変化量をそのままモード別変化量として出力する。なお、ＲＧＢ成分を用いる場合の閾値ＴｈａやＴｈｂは、前述したＹＵＶ成分を用いる場合の閾値ＴｈａやＴｈｂとは異なる値であってもよい。

また、Ｓ８０３においてＧ成分とＲＢ成分のノイズレベル差が閾値Ｔｈａ以上と判定され、さらにＳ８０４でＧ成分とＲＢ成分のノイズレベルが閾値Ｔｈｂ未満と判定された場合、モード選択部７０２は、Ｓ８０６で第２のモードＭ２を選択する。そして、第２のモードＭ２が選択された場合、モード別変化量算出部７０３は、Ｇ成分についてはＳ８０１で算出した変化量をモード別変化量として用いる。一方、モード別変化量算出部７０３は、ＲＧ成分については前述の式（１０）、式（１１）においてＹをＧ、ＵをＲ、ＶをＢに替えた式を用い、Ｇ成分とＲＢ成分の変化量をブレンドしてモード別変化量を算出する。なお、ＲＧＢ成分を用いる場合には、式（１０）、式（１１）とは異なる式が用いられてもよい。

また、Ｓ８０４でＧ成分とＲＢ成分のノイズレベルが共に閾値Ｔｈｂ以上と判定された場合、モード選択部７０２は、第３のモードＭ３を選択する。第３のモードＭ３が選択される場合、つまりＲＧＢの各成分のノイズレベルが何れも大きい場合、信号成分とノイズ成分との比であるＳＮ比が小さくなっているため、ノイズの影響によりフレーム間変化量を正確に算出できない可能性がある。このため、ＲＧＢ成分を用いる場合も前述同様に、第３のモードＭ３が選択されたときには、モード別変化量算出部７０３は、変化量算出処理を行わずに、ＲＧＢの成分別に予め設定した値をそれぞれモード別変化量として出力する。また、前述同様に、モード別変化量算出部７０３は、ユーザからのノイズ低減効果を優先した画質の指示、動体の視認性を優先した画質の指示等を基に、変化量の値を調整することも可能である。

またこの例の場合も、Ｓ５０４において、巡回係数算出部４０４は、Ｓ５０３で算出された変化量に基づいて巡回係数を算出する。前述の図１２を例に挙げて説明すると、巡回係数算出部４０４は、変化量の値が閾値Ｔｈ１未満の場合、Ｇ成分が静止被写体のフレームから得られていると解釈して、巡回係数の値を大きく設定する。一方、変化量の値がＴｈ２以上の場合、巡回係数算出部４０４は、Ｇ成分が動体のフレームから得られていると解釈して、巡回係数の値を小さく設定する。変化量の値が閾値Ｔｈ１以上で閾値Ｔｈ２未満の場合、巡回係数算出部４０４は、変化量の値が大きくなるほど巡回係数の値を小さく変化させるように設定する。閾値Ｔｈ１，Ｔｈ２は、Ｇ成分の入力信号に含まれているノイズ量を考慮して適宜決定されるパラメータである。一例として、前述した式（１２）のＹをＧに替えた式により閾値Ｔｈ１，Ｔｈ２を決定できる。なお、ＲＧＢ成分を用いた場合、図１２に示した静止被写体用の巡回係数の値は０．８とは異なる値でもよく、動体用の巡回係数の値は０．２とは異なる値でもよい。また、Ｇ成分の巡回係数αは、前述した式（１３）のＹをＧに替えた式により、閾値Ｔｈ１，Ｔｈ２と変化量の値とを用いて算出してもよい。Ｒ成分とＢ成分の巡回係数についても同様にして算出できる。また、この例の場合も閾値は、例えば前述した図１３のように三つ以上の閾値に設定することも可能である。

次のＳ５０５において、合成処理部４０５は、Ｓ５０３で算出された巡回係数αに応じてＲＧＢ入力信号とＲＧＢ出力信号とを合成し、現フレームのＲＧＢ出力信号を生成する。そして、Ｓ５０６において、信号保持部４０６は、Ｓ５０５で得られたＲＧＢ出力信号を保持する。なお、ＲＧＢ成分を用いた例の場合、図５のＳ５０７の処理は行われない。Ｓ５０８の処理については前述同様である。
ＲＧＢ成分を用いた例においても、Ｓ５０３で示したモードは第１〜第３の三つのモードに限定されず。四つ以上のモードを設定してより細かな制御が実行されてもよい。

なお、ＲＧＢ成分の例以外に、例えばＬａｂ色空間の成分を用いる場合には、巡回型ＮＲ処理部３０４において、Ｙ成分に替えて明度成分Ｌを、ＵＶ成分に替えて補色成分ａ，ｂを用いるようにする。また、可視・非可視成分、例えば可視光成分と赤外光などの非可視成分を用いる場合には、Ｙ成分に替えて可視光成分を、ＵＶ成分に替えて非可視成分を用いるようにする。

以上説明したように、本実施形態においては、信号成分ごとにノイズレベルを考慮してフレーム間の変化量を算出し、それら信号成分別のフレーム間変化量を基に巡回係数を設定して、巡回型ＮＲ処理を行うようにしている。これにより、本実施形態によれば、静止被写体のノイズを低減しつつ、動体周辺に発生する色の尾引きを抑えることが可能になる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：監視カメラ、１０２：クライアント装置、２０３：ＣＰＵ、２０９：画像処理部、３０４：巡回型ＮＲ処理部、４０１：入力信号取得部、４０２：ノイズレベル算出部、４０３：フレーム間変化量算出部、４０４：巡回係数算出部、４０５：合成処理部、４０６：信号保持部、４０７：出力信号処理部、７０１：成分別変化量算出部、７０２：モード選択部、７０３：モード別変化量算出部

Claims (18)

1. 動画の着目フレームの信号に含まれる第１の成分と、前記第１の成分以外の第２の成分との、少なくとも２つの成分ごとにノイズレベルを検出する検出手段と、
   前記着目フレームの信号と、前記着目フレームに対して時間軸上で前フレームのノイズ低減処理後の信号とを用いて、前記着目フレームと前記前フレームとの間の変化量を前記成分ごとに検出する変化量検出手段と、
   前記検出手段により検出された前記成分ごとのノイズレベルに基づき、フレーム間の変化量を算出する方法が異なる複数のモードから、何れかのモードを選択する選択手段と、
   前記変化量検出手段により前記成分ごとに検出された前記変化量に基づき、前記選択されたモードに応じたモード別変化量を算出する算出手段と、
   前記モード別変化量に応じて、ノイズ低減処理で用いる係数を設定する設定手段と、
   前記着目フレームの信号と、前記前フレームの前記ノイズ低減処理後の信号と、前記係数とを用いて、前記着目フレームの信号にノイズ低減処理を前記成分ごとに行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記前フレームの前記ノイズ低減処理後の信号を保持する保持手段を有し、
   前記変化量検出手段は、前記前フレームの前記ノイズ低減処理後の信号として、前記保持手段に保持された信号を用いて、前記変化量の検出を行い、
   前記処理手段は、前記前フレームの前記ノイズ低減処理後の信号として、前記保持手段に保持された信号を用いて、前記ノイズ低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記着目フレームの信号の前記ノイズ低減処理として、前記着目フレームの信号と、前記前フレームの前記ノイズ低減処理後の信号とを、前記係数に応じて合成する処理を前記成分ごとに行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記設定手段は、前記係数として巡回型ノイズ低減処理で用いる巡回係数を設定し、
   前記処理手段は、前記ノイズ低減処理として前記巡回係数を用いた巡回型ノイズ低減処理を行うことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記検出手段は、前記着目フレームの信号に含まれる前記ノイズレベルを表す評価値として、ノイズの標準偏差と分散の少なくとも一つを検出することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記選択手段は、前記第１の成分のノイズレベルと前記第２の成分のノイズレベルとの差が第１の閾値未満の場合、前記変化量検出手段が前記第１の成分および第２の成分について算出した変化量を前記モード別変化量として用いるモードを選択することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記選択手段は、前記第１の成分のノイズレベルと前記第２の成分のノイズレベルとの差が前記第１の閾値以上である場合、前記第１の成分について前記変化量検出手段により検出された変化量と、前記第２の成分について前記変化量検出手段により検出された変化量と、をブレンドした変化量を前記モード別変化量として用いるモードを選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記算出手段は、前記検出手段にて検出された前記第１の成分のノイズレベルと前記第２の成分のノイズレベルとを用いて、前記変化量をブレンドする際のブレンドの比率を決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記ブレンドの比率は、前記第１の成分のノイズレベルと前記第２の成分のノイズレベルの割合に応じて決定される比率であり、
   前記算出手段は、前記第１の成分のノイズレベルが前記第２の成分のノイズレベルと比較して小さいほど、前記第１の成分の変化量の前記ブレンドの比率を大きく設定することを特徴とする請求項７に記載の画像処理装置。
10. 前記選択手段は、前記第１の成分のノイズレベルと前記第２の成分のノイズレベルとが共に、第２の閾値以上である場合、予め設定された値を前記モード別変化量として用いるモードを選択することを特徴とする請求項６から９の何れか１項に記載の画像処理装置。
11. 前記第１の成分は輝度成分、前記第２の成分は色差成分であることを特徴とする請求項１から１０の何れか１項に記載の画像処理装置。
12. 赤と緑と青の三原色の成分からなるフレームの信号を、輝度成分と色差成分からなる信号に変換し、前記変換した前記輝度成分を前記第１の成分として取得し、前記色差成分を前記第２の成分として取得する取得手段を有することを特徴とする請求項１から１１の何れか１項に記載の画像処理装置。
13. 前記着目フレームの前記ノイズ低減処理後の輝度成分と色差成分を、前記三原色の成分に変換する出力信号処理手段を有することを特徴とする請求項１２に記載の画像処理装置。
14. 前記成分は、赤と緑と青の三原色の成分からなり、前記第１の成分は緑の成分、前記第２の成分は赤と青の成分であることを特徴とする請求項１から１３の何れか１項に記載の画像処理装置。
15. 輝度成分と色差成分からなるフレームの信号を、赤と緑と青の三原色の成分からなる信号に変換し、前記変換した三原色の成分を前記着目フレームの信号の成分として取得する取得手段を有することを特徴とする請求項１４に記載の画像処理装置。
16. 前記着目フレームの前記ノイズ低減処理後の前記三原色の成分を、前記輝度成分と色差成分に変換する出力信号処理手段を有することを特徴とする請求項１５に記載の画像処理装置。
17. 動画の着目フレームの信号に含まれる第１の成分と、前記第１の成分以外の第２の成分との、少なくとも２つの成分ごとにノイズレベルを検出する検出工程と、
    前記着目フレームの信号と、前記着目フレームに対して時間軸上で前フレームのノイズ低減処理後の信号とを用いて、前記着目フレームと前記前フレームとの間の変化量を前記成分ごとに検出する変化量検出工程と、
    前記検出工程において検出された前記成分ごとのノイズレベルに基づき、フレーム間の変化量を算出する方法が異なる複数のモードから、何れかのモードを選択する選択工程と、
    前記変化量検出工程において前記成分ごとに検出された前記変化量に基づき、前記選択されたモードに応じたモード別変化量を算出する算出工程と、
    前記モード別変化量に応じて、ノイズ低減処理で用いる係数を設定する設定工程と、
    前記着目フレームの信号と、前記前フレームの前記ノイズ低減処理後の信号と、前記係数とを用いて、前記着目フレームの信号にノイズ低減処理を前記成分ごとに行う処理工程と、
    を有することを特徴とする画像処理装置の画像処理方法。
18. コンピュータを、請求項１から１６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images