JP2010171753A - 画像処理装置、画像処理方法および撮像装置 - Google Patents

Abstract

【課題】画像情報に対して、面内ＮＲ処理と加算ＮＲ処理とを施す場合に、ノイズ低減効果と信号成分の保存との両立を図ることができる画像処理装置を提供する。
【解決手段】画像加算手段２０は、複数枚の画像を、動き補償しながら加算することにより、時間方向のノイズ低減処理を行う。面内ノイズ低減手段１４は、画像加算手段における加算に先立ち、複数枚の画像のそれぞれについて、１枚の画像内における空間方向のノイズ低減処理を行う。面内ノイズ低減手段１４における空間方向のノイズ低減の強さを、画像加算手段２０において加算する複数枚の撮像画像に対して可変する制御手段を設ける。
【選択図】図１

Description

この発明は、例えば撮像素子で撮像された画像についてのノイズ低減を図るようにする画像処理装置、画像処理方法および撮像装置に関する。

例えば、デジタルスチルカメラ等の撮像装置においては、撮像画像のついてのノイズを低減する手法として、種々のものが従来から提供されている。

例えば、特許文献１（特開２００８−１７７８０１号公報）には、１枚の撮像画像内における空間方向のノイズ低減処理（以下、このノイズ低減処理を面内ＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理と言う）をする手法が示されている。

すなわち、特許文献１には、εフィルタやバイラテラルフィルタを用いて面内ＮＲ処理を行うことで、撮像画像のそれぞれの１画像内におけるノイズ成分を低減あるいは除去することが開示されている。これは、主として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子の光学ショットノイズを除去する目的のものである。そのため、面内ＮＲ処理は、撮像素子からのＲＡＷ画像に対して施される。

面内ＮＲ処理においては、注目画素の周囲にウィンドウ領域を設定し、当該ウィンドウ領域に含まれる複数画素について処理を行うことにより、注目画素についての処理後画素出力を得る。

εフィルタは、エッジ部分を残して平均値を出力することにより、ノイズ除去を行うフィルタである。すなわち、εフィルタは、注目画素の画素値とウィンドウ領域内の他の画素の画素値との差分絶対値を計算し、その差分絶対値が所定の閾値以下の画素を選択して平均値化処理を実行し、得られた平均値を注目画素の画素値に設定するものである。

また、バイラテラルフィルタも、εフィルタと同様に条件付き平均値フィルタの１つである。バイラテラルフィルタは、注目画素と、ウィンドウ領域内の他の画素との画素値の差分に依存する重み係数Ｗｄと、注目画素と前記他の画素との距離に依存する重み係数Ｗｓとを用いた平均値化処理を行うものである。

すなわち、ある注目画素Ｐｉ（ｉは、１画像面内における画素位置）のフィルタ処理後の画素値ｆｉは、図４１の（式１０）のように表わせる。

このバイラテラルフィルタを用いた場合には、εフィルタを用いた場合よりも、さらにエッジ部分を保存しながら滑らかにノイズ低減をすることができ、画質の向上を期待できる。

面内ＮＲ処理の手法としては、上述のようなεフィルタやバイラテラルフィルタを用いるものだけではなく、エッジ部分の保存という観点では性能が落ちるが、ローパスフィルタを用いる手法や、メディアンフィルタを用いる方法などもある。

撮像画像のノイズ低減の技術としては、上述した面内ＮＲのみではなく、複数枚の撮像画像を加算することにより、時間方向のノイズ低減をする手法も提案されている。

例えば特許文献２（特開２００１−８６３９８号公報）には、静止画についてのセンサレス手ぶれ補正の技術が開示されている。すなわち、この特許文献２には、手ブレが生じないような高速のシャッター動作で複数枚の画像の撮影を行い、手ブレの影響を考慮して、撮影した低照度の画像を重ね合わせ、照度の高い１枚の静止画像を得る手法が示されている。

この技術は、連続撮影した画像を重ねれば、ランダム成分であるノイズは分散されて、ノイズ低減されるという考えであり、ノイズ低減という観点では、動画像のフレームＮＲ（Noise Reduction）手法に近い技術であるといえる。動画像のフレームＮＲ手法は、現フレームと参照フレームをリアルタイムに重ね合わせる技術であり、現フレームと参照フレームは常に１：１で重ね合わせるものである。

一方、静止画のＮＲの場合、現フレーム１枚に対して、通常、参照フレームは複数枚となる。この静止画のＮＲ手法は、シャッターを高速化するほど手ブレの影響は減り、重ね合わせ枚数を増やすほど、ノイズ低減効果が大きくなり、また、高感度化を期待できる。

複数枚の画像を重ね合わせることにより、ノイズ低減を図る特許文献２の手法（以下、加算ＮＲ処理という）は、撮像素子からのＲＡＷ画像ではなく、ガンマ補正などが施された後のＹＣデータ（輝度成分Ｙと色成分Ｃとからなる）に対して施される。

特開２００８−１７７８０１号公報 特開２００１−８６３９８号公報 特開２００５−３２１９０２号公報

上述したように、面内ＮＲ処理と、加算ＮＲ処理とは、対象となる画像情報が異なるものであって、面内ＮＲ処理が施された撮像画像に対して、加算ＮＲ処理を施すことができる。つまり、面内ＮＲ処理と、加算ＮＲ処理との両方を撮像画像信号に対して施すことができる。

この場合において、面内ＮＲ処理は、通常は、常に一律のノイズ低減の強さで各撮像画像に対して行うようにする。一般的には、撮像素子で発生するショットノイズを、できる限り低減するノイズ低減の強さで面内ＮＲ処理を各撮像画像に対して施すようにする。そして、このように面内ＮＲ処理を施した複数枚の撮像画像に対して、加算ＮＲ処理を施すようにする。

ところで、面内ＮＲ処理においては、ウィンドウ領域内の注目画素と他の周辺画素との２画素間の相関値（差分絶対値など）が閾値θｔｈ以下の画素値を選択して、その平均化処理を行うことで、ノイズ低減を図っている。

したがって、面内ＮＲ処理では、閾値以下のノイズを低減することができる反面、当該閾値よりも小さい信号成分も平均化処理により抑圧してしまう。そして、加算ＮＲ処理により複数枚の撮像画像の加算を行っても、抑圧された信号成分は復元することはできず、かえって信号成分が更に劣化する場合もある。

このため、面内ＮＲ処理と加算ＮＲ処理とを施した結果の撮像画像は、抑圧された信号成分により画像情報のディテール情報が消失するため、全体的に、いわゆるねむい画像（ボケたような画像）となってしまう。

このことを、図４２以下を用いて更に説明する。

図４２および図４３は、撮像素子からの撮像画像信号にノイズが乗っている状態を示す図であり、階段状の太線は撮像画像信号成分Ｓｓを示しており、また、それより高周波の細線はノイズ成分Ｎｓを示している。

図４２は、前記閾値θｔｈが、撮像画像信号成分Ｓｓよりも小さい場合を示している。この場合には、閾値θｔｈよりも小さいノイズ成分Ｎｓを抑圧することができるが、閾値θｔｈよりも大きいノイズ成分Ｎｓは、抑圧することができず残留してしまう。一方、撮像画像信号成分Ｓｓは、閾値θｔｈよりも大きいので、抑圧されずに保存される。

すなわち、図４２のように、閾値θｔｈが撮像画像信号成分Ｓｓよりも小さい場合には、ノイズ低減の強さは弱いが、撮像画像信号成分Ｓｓは、抑圧されずに保存される。

これに対して、図４３は、前記閾値θｔｈを大きくして、ノイズ低減の強さを強くした場合を示している。この場合には、殆どのノイズ成分Ｎｓが閾値θｔｈ以下とすることができるため、ノイズ成分Ｎｓは良好に抑圧することができる。しかしながら、図４３に示すような閾値θｔｈよりも小さい撮像画像信号成分Ｓｓは、ノイズと同様に抑圧されてしまって消失してしまう。

撮像素子で発生するショットノイズを、できる限り低減するためには、ノイズ低減を強く施すようにする。面内ＮＲ処理によるノイズ低減を強く施すと言うことは、図４３に示すように、前記閾値θｔｈを大きくすることを意味する。したがって、図４３に示したように、面内ＮＲ処理により、閾値θｔｈよりも小さい信号成分が抑圧されてしまうことが多くなってしまう。

閾値θｔｈよりも小さい信号成分が抑圧されるということは、図４４の点線で示すような急峻なエッジ部分の信号は、図４４の実線で示すように鈍った信号Ｓｓとなってしまう。そして、加算ＮＲ処理においては、動き補償による位置合わせにより、加算される２画像が位置ずれなく加算されるようにされるが、手ぶれや、被写体の中の動き部分についての動き補償が完全でない場合には、加算される２画素間に位置ずれが生じる。

このように、加算される２画像の間に位置ずれがあった場合には、加算されるべき２個の画像信号Ｓｓ１およびＳｓ２は、図４５に示すように、ずれたものとなるので、その加算結果は、画像信号Ｓｓ３となり、さらに鈍った信号となってしまう。

加算ＮＲ処理において、動き補償による位置合わせにより、加算される２画像が位置ずれなく加算される場合には、図４５のような信号の更なる鈍りは生じない。しかし、その場合でも、加算ＮＲ処理により、面内ＮＲ処理で残留したノイズが低減される結果、面内ＮＲ処理での信号の鈍りが、より目立つという恐れがある。すなわち、面内ＮＲ処理で生じた信号の鈍りは、残留するノイズ成分のために、画像として目立たないこともあるが、加算ＮＲ処理により、当該残留ノイズ成分の低減除去により、その信号の鈍りが画像として目立つと考えられる。

以上のことから、面内ＮＲ処理におけるノイズ低減の強さを低くして、信号成分をできるだけ抑圧しないように閾値を小さくすると、信号成分は残すことはできるが、逆に、ノイズ低減効果を弱めてしまうという問題が生じる。

また、面内ＮＲ処理おいて、ノイズ低減効果と信号成分の保存との両立を図ることができる最適なノイズ低減の強さを決定することは、非常に困難であった。

この発明は、以上の点にかんがみ、画像情報に対して、面内ＮＲ処理と加算ＮＲ処理とを施す場合に、ノイズ低減効果と信号成分の保存との両立を図ることができる画像処理装置および方法を提供することを目的とする。

上記の課題を解決するために、この発明による画像処理装置は、
複数枚の画像を、動き補償しながら加算することにより、時間方向のノイズ低減処理を行う画像加算手段と、
前記画像加算手段における前記加算に先立ち、前記複数枚の画像のそれぞれについて、１枚の画像内における空間方向のノイズ低減処理を行う面内ノイズ低減手段と、
前記面内ノイズ低減手段における前記空間方向のノイズ低減の強さを、前記画像加算手段において加算する複数枚の撮像画像に対して可変する制御手段と、
を備えることを特徴とする。

上述の構成のこの発明においては、面内ノイズ低減手段では、加算処理対象の複数枚の画像についての空間方向のノイズ低減の強さは一律ではなく、制御手段により可変にされる。

例えば、制御手段により、面内ノイズ低減手段での空間方向のノイズ低減の強さが、加算処理対象の複数枚の画像の１枚目は強くされ、その他の画像では弱くされる。

すると、面内ノイズ低減手段で空間方向のノイズ低減が強くかけられた画像においては、空間方向のノイズが抑圧されると共に、信号成分も抑圧される。しかし、面内ノイズ低減手段で空間方向のノイズ低減が弱くかけられたその他の画像においては、ノイズは残留するが、信号成分は抑圧されずに保存される。

そして、この信号成分が保存されたその他の画像が、面内ノイズ低減手段により信号成分が抑圧された画像と画像加算手段において、時間方向に加算される。この時間方向の画像加算により、面内ノイズ低減手段で抑圧されてしまった信号成分が復元される。

よって、面内ノイズ低減を強く行いながら、画像加算において、信号成分が復元され、良好なノイズ低減効果を得られる画像出力が得られる。

特に、撮像画像の場合に、１枚目の画像に対して面内ノイズ低減手段でのノイズ低減を強くかけたときには、動被写体領域においては、他の画像との加算による時間方向のノイズ低減が弱くても、面内ノイズ低減効果として最大のものが保持される効果がある。

この発明によれば、面内ノイズ低減を強く行いながら、画像加算において、信号成分が復元され、良好なノイズ低減効果を得られる画像出力が得られる。

この発明による画像処理装置の実施形態が適用される撮像装置の構成例を示すブロック図である。 この発明による画像処理装置の実施形態における面内ＮＲ処理部の構成例を示すブロック図である。 撮像素子の光学ショットノイズの特性を示す図である。 ランダムノイズの特性を示す図である。 この発明による画像処理装置の実施形態における面内ＮＲ処理部におけるノイズ低減強さの制御処理を説明するためのフローチャートを示す図である。 この発明による画像処理装置の実施形態における面内ＮＲ処理部の他の構成例における処理動作を説明するためのフローチャートを示す図である。 この発明による画像処理装置の実施形態におけるブロックマッチング処理を説明するために用いる図である。 この発明による画像処理装置の実施形態におけるブロックマッチング処理を説明するために用いる図である。 この発明による画像処理装置の実施形態におけるブロックマッチング処理を説明するために用いる図である。 この発明による画像処理装置の実施形態におけるブロックマッチング処理を説明するために用いる図である。 この発明による画像処理装置の実施形態におけるブロックマッチング処理を説明するために用いる図である。 この発明による画像処理装置の実施形態におけるブロックマッチング処理を説明するために用いる図である。 この発明による画像処理装置の実施形態におけるブロックマッチング処理を説明するために用いる図である。 この発明による画像処理装置の実施形態における複数枚画像加算ＮＲ処理の一例を説明するための図である。 複数枚画像加算ＮＲ処理の他の例を説明するための図である。 この発明による画像処理装置の実施形態を説明するために用いる図である。 この発明による画像処理装置の実施形態を説明するために用いる図である。 この発明による画像処理装置の実施形態における動きベクトル算出部の構成例を説明するためのブロック図である。 この発明による画像処理装置の実施形態の主要な処理動作を説明するためのフローチャートを示す図である。 この発明による画像処理装置の実施形態において、ローカル動きベクトルからグローバルモーションを求める処理例を説明するために用いる式を説明するための図である。 この発明による画像処理装置の実施形態において、ローカル動きベクトルからグローバルモーションを求める処理例を説明するために用いる式を説明するための図である。 この発明による画像処理装置の実施形態において、ローカル動きベクトルからグローバルモーションを求める処理例を説明するために用いる式を説明するための図である。 この発明による画像処理装置の実施形態において、ローカル動きベクトルからグローバルモーションを求める処理例を説明するために用いる式を説明するための図である。 この発明による画像処理装置の実施形態において、ローカル動きベクトルからグローバルモーションを求める処理例を説明するために用いる式を説明するための図である。 この発明による画像処理装置の実施形態におけるグローバルモーション算出部の処理動作を説明するためのフローチャートを示す図である。 この発明の実施形態において、グローバル動きベクトルＧＭＶを用いて、ターゲットブロックの背景一致度合いを評価する処理を説明するために用いる図である。 この発明による画像処理装置の実施形態における背景／動被写体判定部の構成例を説明するためのブロック図である。 この発明による画像処理装置の実施形態における背景／動被写体判定部の処理動作を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の実施形態における背景／動被写体判定部の処理動作を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の実施形態における加算率計算部の構成例の一部を説明するためのブロック図である。 この発明による画像処理装置の実施形態における加算率計算部の構成例の一部を説明するためのブロック図である。 この発明の実施形態における加算率計算部の一例の構成例を説明するために用いる図である。 この発明の実施形態における加算率計算部の一例の構成例を説明するために用いる図である。 この発明の実施形態における加算率計算部の一例の構成例を説明するために用いる図である。 この発明の実施形態における加算率計算部の一例の構成例を説明するために用いる図である。 この発明の実施形態における加算率計算部の一例の構成例を説明するために用いる図である。 この発明の実施形態における加算率計算部の一例の構成例を説明するために用いる図である。 この発明の実施形態における加算率計算部の一例の構成例を説明するために用いる図である。 この発明の実施形態における加算部での複数画像加算処理の一例を説明するための図である。 この発明の実施形態における加算部での複数画像加算処理の他の例を説明するための図である。 面内ＮＲ処理を説明するために用いる図である。 面内ＮＲ処理におけるノイズ低減強さと、ノイズ除去および信号成分消失との関係を説明するための図である。 面内ＮＲ処理におけるノイズ低減強さと、ノイズ除去および信号成分消失との関係を説明するための図である。 面内ＮＲ処理による信号劣化を説明するための図である。 面内ＮＲ処理による信号劣化と、加算ＮＲ処理との関係とを説明するための図である。

以下、この発明による画像処理装置および画像処理方法の実施形態を、静止画像の撮像装置に適用した場合について、図を参照しながら説明する。

この実施形態の撮像装置は、撮像素子（イメージャ）によって撮像された静止画像に対して面内ＮＲ処理部で、面内ＮＲ処理を施した後、面内ＮＲ処理部からの複数枚の静止画像を位置合わせしながら重ね合わせて時間方向に加算する加算ＮＲ処理を施すようにする。これにより、この実施形態の撮像装置は、空間方向および時間方向のノイズ低減を施した静止画像を得て、記録媒体に記録するようにするものである。

［撮像装置のハードウエア構成例］
図１は、この発明の画像処理装置の実施形態としての撮像装置の一例のブロック図を示すものである。

この図１に示すように、この実施形態の撮像装置は、システムバス２にＣＰＵ（Central Processing Unit）１が接続される。また、システムバス２に、撮像信号処理系１０や、ユーザ操作入力部３、画像メモリ部４、記録再生装置部５などが接続されて構成されている。なお、この明細書においては、ＣＰＵ１は、図示は省略するが、種々のソフトウエア処理を行なうプログラムを記憶するＲＯＭ（Read Only Memory）やワークエリア用ＲＡＭ（Random Access Memory）などを含むものとしている。

ユーザ操作入力部３を通じた撮像記録開始操作を受けて、図１の撮像装置の撮像信号処理系は、後述するような静止画の撮像画像データの記録処理を行なう。また、ユーザ操作入力部３を通じた撮像記録画像の再生開始操作を受けて、図１の撮像装置は、記録再生装置部５の記録媒体に記録された撮像画像データの再生処理を行なう。

図１に示すように、撮像信号処理系１０においては、撮像レンズ１０Ｌを備えるカメラ光学系（図示は省略）を通じた被写体からの入射光は、撮像素子１１に照射されて撮像される。この例では、撮像素子１１は、ＣＣＤ（Charge Coupled Device）イメージャで構成されている。なお、撮像素子１１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャで構成してもよい。

この例の撮像装置においては、撮像記録開始操作がなされると、撮像レンズ１０Ｌを通じて入力された映像が、撮像素子１１により撮像画像信号に変換される。そして、タイミング信号発生部１２からのタイミング信号に同期した信号として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色から構成されるベイヤー配列のＲＡＷ信号（生の信号）であるアナログ撮像信号が、撮像素子１１から出力される。出力されたアナログ撮像信号は、前処理部１３に供給され、欠陥補正やγ補正等の前処理が施され、面内ＮＲ処理部１４に供給される。

この実施形態の面内ＮＲ処理部１４は、撮像素子１１からの撮像画像の１枚ごとに、空間方向のノイズ低減処理である面内ＮＲ処理のノイズ低減の強さを変更制御可能な構成とされている。面内ＮＲ処理部１４の構成例については後述する。

ＣＰＵ１は、この面内ＮＲ処理部１４のノイズ低減の強さを、撮像画像の１枚ごとに可変制御することができる。この実施形態では、ＣＰＵ１は、面内ＮＲ処理部１４における空間方向のノイズ低減の強さを、加算ＮＲ処理で重ね合わせる複数枚の画像内で変更制御する。そして、ＣＰＵ１は、当該複数枚の画像内での空間方向のノイズ低減の強さの制御を、前記複数枚の画像群単位で繰り返すようにする。

この実施形態では、後述もするように、加算ＮＲ処理で重ね合わせる複数枚の画像の最初の１枚目は、面内ＮＲ処理部１４でのノイズ低減の強さを強くする。そして、前記複数枚の画像の２枚目以降は、面内ＮＲ処理部１４でのノイズ低減の強さを、１枚目よりも弱くする。

面内ＮＲ処理部１４で面内ＮＲ処理を施された撮像画像信号（ＲＡＷ信号）は、現像処理部１５に供給される。

現像処理部１５は、これに入力されたＲＡＷ信号であるアナログ撮像信号に対して、デモザイク処理、ガンマ補正処理、ホワイトバランス調整処理、画質補正もしくは画質調整処理などを行う。そして、現像処理部１５は、その入力信号である赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＲＡＷ信号から、輝度信号成分Ｙと、色差信号成分Ｃｂ／Ｃｒとにより構成されるデジタル撮像信号（ＹＣデータ；ＹＵＶ画像）に変換する。

現像処理部１５からのデジタル撮像信号は、ユーザ操作入力部３を通じた静止画の撮影指示に基づいて、画像メモリ部４に、加算ＮＲ処理する複数枚（Ｎ（Ｎは２以上の自然数）枚）分が書き込まれる。

すなわち、ユーザ操作入力部３を通じた撮影指示として、シャッターボタンの押下による静止画撮影指示があると、現像処理部１５からのＮ枚分（Ｎフレーム）のデジタル撮像信号が、１枚ずつ、Ｎ個のフレームメモリ４１〜４Ｎのそれぞれに書き込まれる。つまり、現像処理部１５からのデジタル撮像信号は、加算ＮＲ処理部で重ね合わせるべきＮフレーム分が、画像メモリ部４の第１〜第Ｎ（Ｎは、重ね合わせる静止画の枚数）のフレームメモリ４１〜４Ｎのそれぞれに１フレームずつに書き込まれる。

この例においては、シャッターボタンの押下時点から数えて１枚目のフレームの画像データは、後述するターゲットフレームの画像データとして第１のフレームメモリ４１に書き込まれる。そして、シャッターボタンの押下時点から数えて２枚目以降のフレーム画像のデータは、後述する参照フレームの画像データとして、それぞれ第２〜第Ｎのフレームメモリ４２〜４Ｎに順次に書き込まれる。この例では、例えばＮ＝６とされる。

なお、以下の説明において、シャッターボタンの押下時点から数えて１枚目、２枚目、・・・の画像フレームは、説明の簡単のため、単に、１枚目、２枚目、・・・の画像フレームということとする。

そして、複数フレーム分の画像が画像メモリ部４に書き込まれた後、ＣＰＵ１は、画像メモリ部４から当該複数フレーム分の画像を読み出して、加算ＮＲ処理部２０において、加算ＮＲ処理を実行する。

ＣＰＵ１は、後述するように、この実施形態では、始めに、１枚目の画像フレームと２枚目の画像フレームを画像メモリ部４から読み出して、加算ＮＲ処理部２０で両者の動き分（動きベクトル）を検出する。そして、加算ＮＲ処理部２０では、検出した動きベクトルを用いて、動き分を補償しながら２個の画像フレームを重ね合わせる。

また、この実施形態では、所定の大きさのブロック単位で動きベクトルの検出を行うと共に、そのブロックが静止画の背景部分か、動被写体部分かを判定し、背景部分での加算率は大きくし、動き被写体部分での加算率は小さくするようにする。これにより、動被写体部分で複数フレームを重ね合わせることによる、いわゆる多重露光と同じ画像状態になることを防止しながら、背景静止画部分について、所期のノイズ低減効果を得ることができる。

１枚目と２枚目の画像フレーム加算が終了したら、３枚目の画像フレームを画像メモリ部４から読み出し、これと、１枚目と２枚目の画像フレーム加算結果の画像とを、両者の間の動き分を補償しながら重ね合わせる。以下、４枚目以降は、３枚目の画像フレームと同様に、これと加算結果の画像とを、両者の間の動き分を補償しながら重ね合わせる。

加算ＮＲ処理部２０での重ね合わせ結果の画像データＭＩＸｖは、後述するように、画像メモリ部４に書き戻される。そして、画像メモリ部４に書き戻された重ね合わせ結果の画像フレームは、重ね合わされる画像フレームとの間での動き検出のために用いられる。そして、画像メモリ部４に記憶された最終的な重ね合わせ結果の画像フレームは、記録媒体への記録画像フレームとされる。

すなわち、画像メモリ部４に格納された重ね合わせ結果のＮＲ画像である加算画像の画像データＭＩＸｖは、システムバス２を通じて静止画コーデック部１６に供給されてコーデック変換される。静止画コーデック部１６からの出力データは、記録再生装置部５の例えばＤＶＤ（Digital Versatile Disc）やハードディスクなどの記録媒体に記録される。この実施形態では、静止画コーデック部１６では、ＪＰＥＧ（Joint Photographic Experts Group）方式の静止画についての画像圧縮符号化処理が行われる。

また、この静止画撮影モード時、シャッターボタンが押下操作される前においては、現像処理部５からの画像データは、画像メモリ部４を通じて、解像度変換部１７に供給される。そして、画像データは、この解像度変換部１７にて、所定の解像度に変換された後、ＮＴＳＣ（National Television System Committee）エンコーダ１８に供給される。このＮＴＳＣエンコーダ１８では、画像データは、ＮＴＳＣ方式の標準カラー映像信号に変換され、例えばＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）からなるモニターディスプレイ６に供給される。モニターディスプレイ６の表示画面には、静止画撮影モード時のモニター画像がモニター表示される。

記録再生装置部５の記録媒体に記録された静止画の画像データは、ユーザ操作入力部３を通じた再生開始操作に応じて読み出され、静止画コーデック部１６に供給されて、再生デコードされる。そして、再生デコードされた静止画の画像データは、画像メモリ部４のバッファメモリ（図示は省略）を通じ、解像度変換部１７を通じてＮＴＳＣエンコーダ１８に供給される。ＮＴＳＣエンコーダ１８でＮＴＳＣ方式の標準カラー映像信号に変換された画像データは、モニターディスプレイ６に供給され、再生画像がその表示画面に表示される。

なお、図１では、図示を省略したが、ＮＴＳＣエンコーダ１８からの出力映像信号は、映像出力端子を通じて外部に導出することが可能とされている。

なお、この実施形態では、静止画コーデック部１６により画像データを圧縮して記録するようにしたが、静止画コーデック部１６を省略して、画像データを圧縮せずに記録するようにしても良い。

［面内ＮＲ処理部１４の構成および処理動作］
＜第１の例＞
この第１の例は、面内ＮＲ処理部１４を、εフィルタの構成とした場合であって、デスクリートの複数の回路からなるハードウエア構成とした場合である。この第１の例においては、面内ＮＲ処理部１４は、入力バッファ部１４１と、ウィンドウ演算処理部１４２と、フィルタ処理部１４３とからなる。

入力バッファ部１４１は、注目画素の周囲に設定される前述したウィンドウ領域の垂直方向のサイズ（ライン数）に応じた複数ライン分のラインバッファを備える。そして、入力バッファ部１４１は、前処理部１３からのＲＡＷ画像データから、注目画素とその周辺のウィンドウ領域内の複数の画素を一時格納する。

例えばウィンドウ領域の大きさが、縦×横＝３×３＝９である場合には、入力バッファ部は、３個のラインバッファを備え、９個の画素からなるウィンドウ領域の中央位置の画素を注目画素とし、その周囲の８個の画素を周辺画素として格納する。また、例えばウィンドウ領域の大きさが、縦×横＝５×５＝２５である場合には、５個のラインバッファを備え、２５個の画素からなるウィンドウ領域の中央位置の画素を注目画素とし、その周囲の２４個の画素を周辺画素として格納する。

この入力バッファ部１４１は、順次に注目画素を変えながら、ウィンドウ内の注目画素および周辺画素をウィンドウ内演算処理部１４２に供給する。

ウィンドウ内演算処理部１４２は、各周辺画素については、注目画素との差分を算出し、算出した差分と閾値θｔｈとを比較し、その比較結果に応じて画素値を決定して、ウィンドウ内の各画素の画素値として順次にフィルタ処理部１４３に供給する。この場合、ウィンドウ内演算処理部１４２は、算出した差分が、閾値θｔｈ以下である周辺画素はそのままの画素値で出力する。また、ウィンドウ内演算処理部１４２は、算出した差分が閾値θｔｈよりも大きい周辺画素は、注目画素の画素値に変換して出力する。注目画素は、その画素値をそのまま出力する。

フィルタ処理部１４３は、この例では、ウィンドウ領域内に含まれる画素数に応じたタップ数のＦＩＲ（Finite Impulse Response）デジタルフィルタで構成される。このフィルタ処理部１４３の各タップに対するフィルタ係数は、例えば、それぞれタップの画素と注目画素との距離に応じた値が設定される。これにより、このフィルタ処理部１４３では、注目画素について、周辺画素を用いた重み付け平均値を求め、その求めた重み付け平均値を、ノイズ低減された注目画素データとして出力する。

こうしてフィルタ処理部１４３から出力されたノイズ低減処理された注目画素データが、画像メモリ部４のフレームメモリに順次に格納される。

ところで、従来は、一般的に、この面内ＮＲ処理部１４に用いる閾値θｔｈは、撮像素子１１の光学ショットノイズ特性が考慮された固定値とされていた。例えば、ＣＣＤやＣＭＯＳなどからなる撮像素子１１の光学ショットノイズ特性は、図３に示すようなものとなることが知られている。すなわち、光学ショットノイズのノイズ量（標準偏差σ）は、画素値（輝度値）をＸとすると、
Ａ×ｓｑｒｔ（Ｘ）
で表わされる。ここで、Ａは、アナログゲイン、デジタルゲイン、フィルタ特性などにより決まる定数である。

そして、この光学ショットノイズは、ランダムノイズであり、当該ランダムノイズは、図４に示すようなガウス分布を示すことも知られている。

そして、閾値θｔｈ＝１σに設定した場合には、６８．２６％のノイズ除去が可能であり、閾値θｔｈ＝２σに設定した場合には、９５．４４％のノイズ除去が可能であり、閾値θｔｈ＝３σに設定した場合には、９９．７４％のノイズ除去が可能である。

以上のことが考慮して、予め、撮像素子１１の光学ショットノイズ特性を測定して、当該撮像素子１１におけるノイズの標準偏差σを求めておく。そして、前記閾値θｔｈは、低減すべきノイズ量に応じた値として設定するようにする。

この場合に、前述もしたように、閾値θｔｈを大きくして、ノイズ低減効果を大きくした場合には、信号成分の消失によるエッジの劣化が大きくなることを考慮する必要がある。このため、冒頭でも述べたように、ノイズ低減効果を上げつつ、信号成分の消失を最小限に抑えることができる適正な固定の閾値θｔｈを設定することが困難であった。

この実施形態では、このことにかんがみ、ウィンドウ内演算処理部１４２における前記閾値θｔｈは固定値とせず、ＣＰＵ１により、１フレーム単位で変更可能に構成する。この閾値θｔｈが１フレーム単位で変更可能とされることにより、面内ＮＲ処理部１４におけるノイズ低減の強さが１フレーム単位で変更可能とされる。

そして、この実施形態では、後述するように、シャッターボタンの押下に応じて取り込まれ、加算ＮＲ処理される複数枚の画像フレームの１枚目が基準とされて加算ＮＲ処理がなされることを考慮して、面内ＮＲ処理のノイズ低減強さを次のように設定制御する。

すなわち、この実施形態では、加算ＮＲ処理される複数枚の画像フレームの１枚目は、ノイズ低減の強さを大きくし、例えば閾値θｔｈを、３σに設定する。その他の２枚の以降の画像フレームについては、ノイズ低減の強さを弱く、例えば閾値θｔｈを、１σに設定する。

これにより、加算される複数枚の画像フレームのうち、１枚目の画像フレームは面内ＮＲ処理によるノイズ低減が強く施されて、光学ショットノイズは、上述したように９９．７４％が除去される。しかし、閾値θｔｈ＝３σよりも小さい信号成分が消失してしまい、画像の詳細情報が失われるおそれがある。

しかし、加算される複数枚の画像フレームの、２枚目以降についての面内ＮＲ処理によるノイズ低減の強さは、弱くされる。すなわち、閾値θｔｈ＝１σであるので、光学ショットノイズは、上述したように６８．２６％しか除去されないが、３σ以下、１σ以上の信号成分は消失してしまうことは無い。

そして、後段の加算ＮＲ処理部２０では、１枚目の画像フレームに対して、信号成分が消失していない２枚目以降の画像フレームが加算される結果、１枚目の画像フレームで消失した画像の詳細情報が復元されるようになる。これにより、信号成分を残しつつ、高いノイズリダクション効果を得ることができる。

図５は、この実施形態におけるＣＰＵ１の閾値θｔｈの設定処理を説明するためのフローチャートである。この図５のフローチャートは、ユーザによりシャッターボタンが押下されて、撮像素子１１からの画像フレームの読み出しが開始されると共にスタートから開始される。

すなわち、先ず、ＣＰＵ１は、取り込む画像フレームの、シャッターボタン押下からの枚数Ｎを初期設定する。つまり、Ｎ＝１とする（ステップＳ１）。次に、ＣＰＵ１は、前処理部１３からの画像フレーム（ＲＡＷデータ）を取り込む（ステップＳ２）。そして、取り込んだ画像フレームが１枚目であるか、すなわち、Ｎ＝１であるか否かを判別する（ステップＳ３）。

ステップＳ３で、Ｎ＝１であると判別したときには、ＣＰＵ１は、面内ＮＲ処理部１４のウィンドウ内演算処理部１４２に供給する閾値θｔｈを、この例では３σに設定して、ノイズ低減強さを強い状態とする（ステップＳ４）。

また、ステップＳ３で、Ｎ＝１ではないと判別したときには、ＣＰＵ１は、面内ＮＲ処理部１４のウィンドウ内演算処理部１４２に供給する閾値θｔｈを、この例では１σに設定して、ノイズ低減強さを比較的弱い状態とする（ステップＳ５）。

ステップＳ４またはステップＳ５の次には、ＣＰＵ１は、１フレームの全ての画素についての面内ＮＲ処理を終了するのを待つ（ステップＳ６）。このとき、ＣＰＵ１は、１フレーム内における処理対象の注目画素の位置および数を管理しているので、その管理データにより、１フレームの全ての画素についての面内ＮＲ処理を終了したか否かを判別することができる。

そして、ＣＰＵ１は、１フレームの全ての画素についての面内ＮＲ処理を終了したと判別したときには、処理対象画像フレームのシャッターボタン押下からの枚数Ｎを１だけ更新して、Ｎ＝Ｎ＋１とする（ステップＳ７）。次に、ＣＰＵ１は、更新後の枚数Ｎが６を超えたか否かを判別し（ステップＳ８）、超えていないと判別したときには、ステップＳ２に戻り、次の画像フレームを取り込む。そして、このステップＳ２以降の処理を繰り返す。

また、ＣＰＵ１は、ステップＳ７で、更新後の枚数Ｎが６を超えたと判別したときには、この処理ルーチンを終了する。

＜第２の例＞
上述の第１の例は、ウィンドウ内演算処理部１４２およびフィルタ処理部１４３をハードウエア構成とした場合であるが、これらの処理は、ＣＰＵ１がソフトウエア処理とすることもできる。第２の例は、その場合の例であり、この第２の例の場合のＣＰＵ１の処理動作のフローチャートの一例を図６に示す。

この図６のフローチャートのステップＳ１１〜ステップＳ１５までは、図５のフローチャートのステップＳ１〜ステップＳ５までと全く同一である。

この第２の例においては、ステップＳ１４またはステップＳ１５で、面内ＮＲのノイズ低減強さを設定した後には、ＣＰＵ１は、注目画素を設定する（ステップＳ１６）。次に、ＣＰＵ１は、設定された注目画素およびその周辺画素を用いてウィンドウ内演算処理部１４２の処理を実行する（ステップＳ１７）。

すなわち、各周辺画素について、注目画素との差分を求め、その差分がステップＳ１４またはステップＳ１５で設定された閾値θｔｈ以下のときには、その周辺画素の画素値を注目画素の画素値に変更して出力する。また、注目画素との差分が閾値θｔｈよりも大きい周辺画素については、当該周辺画素の画素値をそのまま出力する。注目画素は、そのままの画素値を出力する。

次に、ＣＰＵ１は、ステップＳ１７でウィンドウ内演算処理された周辺画素および注目画素の画素値について、前述したフィルタ処理部１４３における重み付け平均演算処理を行って、ノイズ低減された注目画素の画素値を生成して出力する（ステップＳ１８）。こうして生成出力されたノイズ低減処理された注目画素データが、画像メモリ部４のフレームメモリに順次に格納される。

次に、ＣＰＵ１は、処理を終了した注目画素が、１フレーム内の最後の注目画素であるか否か判別し（ステップＳ１９）、最後の注目画素でなければ、ステップＳ１６に戻って、次の注目画素を設定し、このステップＳ１６以降の処理を繰り返す。

また、ステップＳ１９で、処理を終了した注目画素が、１フレーム内の最後の注目画素であると判別したときには、ＣＰＵ１は、処理対象画像フレームのシャッターボタン押下からの枚数Ｎを１だけ更新して、Ｎ＝Ｎ＋１とする（ステップＳ２０）。次に、ＣＰＵ１は、更新後の枚数Ｎが６を超えたか否かを判別し（ステップＳ２１）、超えていないと判別したときには、ステップＳ２に戻り、次の画像フレームを取り込む。そして、このステップＳ２以降の処理を繰り返す。

また、ＣＰＵ１は、ステップＳ２１で、更新後の枚数Ｎが６を超えたと判別したときには、この処理ルーチンを終了する。

＜面内ＮＲ処理部１４の他の例＞
上述した第１の例および第２の例は、面内ＮＲ処理部１４としてεフィルタを用いた構成であったが、前述もしたように、バイラテラルフィルタを用いた構成としてもよい。また、特許文献１に記載された、複数個のεフィルタを用いた多段εフィルタを用いた構成とすることもできる。その場合にも、例えば注目画素と周辺画素との差分に対する閾値θｔｈを変更することにより、面内ＮＲ処理のノイズ低減の強さを変更制御できるのは、上述の例と同様である。

また、面内ＮＲ処理部１４は、上述のような条件付き平均値フィルタで構成する場合のほか、単純なメディアンフィルタやローパスフィルタの構成とすることもできる。その場合に、メディアンフィルタやローパスフィルタのタップ数や、フィルタ係数を１フレーム毎に変更することにより、面内ＮＲ処理部１４におけるノイズ低減強さを変更制御することができる。

なお、面内ＮＲ処理部１４でのノイズ低減強さを弱くする状態としては、面内ＮＲを画像データに対して施さない状態を含むものである。

［加算ＮＲ処理部２０の構成および処理動作］
この実施形態の撮像装置は、撮像素子（イメージャ）１１によって撮像され、画像メモリ部４に格納された複数枚の静止画像を、位置合わせしながら重ね合わせて、画像の時間方向のノイズ低減を行うようにする。

撮像装置を手で保持して撮影する環境は、手ぶれが生じ易い環境である。このような撮像装置の手持ち撮影時において、静止画を連写撮影した場合に、この実施形態では、例えば１枚目をターゲットフレーム、２枚目以降を参照フレームとする。ここで参照フレームは、処理対象となるフレーム、つまり注目フレームであり、一方、ターゲットフレームは、当該参照フレームの動きの元となる元フレームである。この例では、ターゲットフレームに対して参照フレームを動き補償しながら加算するようにする。

参照フレーム全体に、平行移動、回転、拡大縮小を伴う変形処理を施すことにより、ターゲットフレームの位置に、参照フレームを位置合わせすることができる場合、この参照フレーム全体に加わっている変形処理がグローバルモーションである。グローバルモーションは、通常は、画像の背景静止画（以下、背景と略す）の動きおよび動き量を示すものとなる。

手ぶれは、参照フレームがターゲットフレームに対して、平行移動、回転、拡大縮小を伴う画像変形をした分だけ、ターゲットフレームに対して、グローバルモーションが生じたことを意味している。

この実施形態では、説明の簡単のため、撮影した静止画の１枚目を基準（ターゲットフレーム）とする。しかし、これは本質ではない。任意のｎ枚目をターゲットフレームとし、任意のｍ（ｎ≠ｍ）枚目を参照フレームとして、グローバルモーションを定義し直しても良い。また、動画中の時間的に異なる２枚のフレーム画像間を対象にして、グローバルモーションを定義してもよい。また、撮像画像の１フレームのうちの有効画枠全てを対象とせず、１フレームの画像の一部分のみに関して、グローバルモーションの処理を適用しても良い。

グローバルモーションが求められると、当該求められたグローバルモーションから、画面上の座標位置毎のターゲットフレームと参照フレームとの間の、画面全体に加わっている動きに応じた動きベクトルを算出することができる。当該画面全体に加わっている動きに応じた動きベクトルを、以下、グローバル動きベクトルという。このグローバル動きベクトルは、画面に設定される多数個のターゲットブロックのそれぞれについて求めることができる。また、グローバル動きベクトルは、画素毎に求めることもできる。

そして、グローバルモーションに基づいて、グローバル動きベクトルを正確に求めることができれば、手ぶれを良好に補正することができる。あるいは、グローバル動きベクトルを手ぶれ分を補正しながら、フレーム画像を重ね合わせることができる。

この明細書においては、動きベクトル検出および動き補償（動きベクトルにより、２フレームの画像を位置合わせすること）を用いて複数枚の画像を重ね合わせて、ノイズを低減する処理を加算ＮＲ処理と呼ぶ。なお、加算ＮＲによりノイズ低減された画像を加算ＮＲ画像と称する。

この実施形態では、１画面を多数個のブロック（後述のターゲットブロック）に分割して、そのブロック単位の動きベクトルを、ブロックマッチング手法により検出する。ブロックマッチング手法によりブロック毎に検出した動きベクトルを、この明細書ではローカル動きベクトルという。

また、この実施形態では、ローカル動きベクトルの信頼性の指標を、ブロックマッチング手法における相関値を用いて、後述するようにして検出する。そして、この実施形態では、検出したローカル動きベクトルのうちの、信頼性の高いもののみから、グローバルモーションを算出し、算出したグローバルモーションからブロック毎のグローバル動きベクトルを検出するようにする。

また、この実施形態では、算出したグローバル動きベクトルと、ローカル動きベクトルＬＭＶとを用いて、ブロック毎の背景画部分か、動被写体部分かの判定をするようにしている。

［ブロックマッチングの概要］
図７〜図１２は、ブロックマッチング手法の概要を説明するための図である。ここで説明するブロックマッチング手法においては、例えば、図７（Ａ）に示すように、ターゲットフレーム１００に、それぞれ水平方向の複数画素および垂直方向の複数ライン分からなる所定の大きさの矩形領域のブロック（ターゲットブロック）１０２を想定する。また、参照フレーム１０１にも、ターゲットブロックと同じ大きさのブロック（参照ブロック）を設定する。

ブロックマッチングにおいては、ターゲットブロック１０２と相関性の高い参照ブロックを、参照フレーム１０１の中から検索する。この検索の結果、相関性が最も高いとして参照フレーム１０１内に検出された参照ブロック１０３（図７（Ｂ）参照）を、動き補償ブロックと呼ぶ。また、ターゲットブロック１０２と動き補償ブロック１０３（相関性が最も高い参照ブロック）との間の位置ずれ量を、動きベクトル（図７（Ｂ）の符号１０４参照）と称する。

ターゲットブロック１０２と動き補償ブロック１０３との間の位置ずれ（位置ずれ量と位置ずれ方向を含む）に対応する動きベクトル１０４は、参照フレーム１０１におけるターゲットブロックの射影イメージブロック１０９の位置と、動き補償ブロック１０３の位置との間の位置ずれに相当する。ここで、射影イメージブロック１０９の位置と、動き補償ブロック１０３の位置は、例えばブロックの中心位置を用いる。

ターゲットブロック１０２の射影イメージブロック１０９は、参照フレーム１０１において、ターゲットフレーム１００の各ターゲットブロック１０２の位置と同じ位置に想定される。

ブロックマッチング処理の概要を説明する。

先ず、図８において点線で示すように、参照フレーム１０１において、ターゲットフレーム１００のターゲットブロック１０２の位置と同じ位置にターゲットブロック１０２の射影イメージブロック１０９を想定する。そして、このターゲットブロック１０２の射影イメージブロック１０９の中心の座標を、動き検出の原点１０５とする。そして、動きベクトル１０４が、動き検出の原点１０５から或る範囲内に存在すると仮定し、この動き検出の原点１０５を中心した所定の範囲をサーチ範囲１０６（図８の一点鎖線参照）と設定する。

次に、ターゲットブロック１０２と同じ大きさのブロック（参照ブロックという）１０８を参照画面において設定する。そして、この参照ブロック１０８の位置を、設定されたサーチ範囲１０６内において、例えば水平方向および垂直方向に、１画素または複数画素単位で移動させるようにする。したがって、サーチ範囲１０６においては、複数個の参照ブロック１０８が設定されることになる。

ここで、参照ブロック１０８を、サーチ範囲１０６内を移動させるというのは、この例では、動き検出原点１０５がターゲットブロックの中心位置であるので、参照ブロック１０８の中心位置を、サーチ範囲１０６内を移動させることを意味する。したがって、参照ブロック１０８を構成する画素は、サーチ範囲１０６よりもはみ出すことがある。

そして、サーチ範囲において、設定される各参照ブロック１０８に対して、当該各参照ブロック１０８とターゲットブロック１０２との位置ずれ量および位置ずれ方向を表すベクトル（参照ベクトルという）１０７（図８参照）を設定する。そして、それぞれの参照ベクトル１０７が指し示す位置にある参照ブロック１０８の画像内容と、ターゲットブロック１０２の画像内容との相関性を評価する。

参照ベクトル１０７は、図９に示すように、参照ブロック１０８の水平方向（Ｘ方向）の位置ずれ量Ｖｘとし、垂直方向（Ｙ方向）の位置ずれ量をＶｙとしたとき、ベクトル（Ｖｘ，Ｖｙ）と表すことができる。参照ブロック１０８の位置座標（例えば中心位置座標）とターゲットブロック１０２の位置座標（例えば中心位置座標）とが同じときには、参照ベクトル１０７は、ベクトル（０，０）と表す。

例えば、参照ブロック１０８が、ターゲットブロック１０２の位置から、Ｘ方向に１画素ずれた位置にある場合、参照ベクトル１０７はベクトル（１，０）となる。また、図１０に示すように、参照ブロック１０８が、ターゲットブロック１０２の位置から、Ｘ方向に３画素、Y方向に２画素ずれた位置にある場合には、参照ベクトル１０７はベクトル（３，２）となる。

つまり、参照ベクトル１０７は、図１０の例に示すように、対応する各参照ブロック１０８とターゲットブロック１０２との間での位置ずれ（位置ずれ量と位置ずれの方向を含むベクトルとなる）を意味する。なお、図１０では、ターゲットブロック１０２および参照ブロック１０８の位置を、それぞれのブロックの中心位置としている。

参照ブロック１０８は、サーチ範囲１０６において移動するものとなるが、その場合に、参照ブロック１０８の中心位置がサーチ範囲１０６内を移動する。参照ブロック１０８は、水平方向および垂直方向の複数画素からなる。したがって、ターゲットブロック１０２とブロックマッチング処理される対象となる参照ブロック１０８が移動する最大範囲は、図１０に示すように、サーチ範囲１０６よりも広いマッチング処理範囲１１０となる。

そして、ターゲットブロック１０２の画像内容との相関が最も強いとして検出された参照ブロック１０８の位置を、ターゲットフレーム１００のターゲットブロック１０２の、参照フレーム１０１における位置（動いた後の位置）として検出する。検出した参照ブロックを、前述した動き補償ブロック１０３とする。そして、その検出した動き補償ブロック１０３の位置と、ターゲットブロック１０２の位置との間の位置ずれ量を、方向成分を含む量としての動きベクトル１０４として検出するようにする（図７（Ｂ）参照）。

ここで、ターゲットブロック１０２と、サーチ範囲１０６において移動する参照ブロック１０８との相関の強さを表す相関値は、基本的にはターゲットブロック１０２と参照ブロック１０８との対応する画素値を用いて算出される。その算出方法としては、自乗平均を用いる方法やその他種々の方法が提案されている。

そのうち、動きベクトルを算出する際に一般的に用いられる相関値としては、例えば、ターゲットブロック１０２内の各画素の輝度値と、参照ブロック１０６内の対応する各画素の輝度値との差分の絶対値の、ブロック内の全画素についての総和が用いられる（図１１参照）。この差分の絶対値の総和を差分絶対値和と呼ぶ。以下、この差分絶対値和をＳＡＤ（Sum of Absolute Difference）値と記載することとする。

相関演算結果としてＳＡＤ値が用いられる場合には、ＳＡＤ値が小さいほど相関が強いものとされる。したがって、サーチ範囲１０６において移動する参照ブロック１０８のうち、ＳＡＤ値が最小となる位置の参照ブロック１０８が最も相関が強い最強相関参照ブロックとなる。この最強相関参照ブロックが、動き補償ブロック１０３として検出され、その検出された動き補償ブロック１０３のターゲットブロック１０２の位置に対する位置ずれ量が動きベクトルとして検出される。

なお、一般的には、相関値が大きい方が相関が強いとされる。しかし、相関演算結果としてＳＡＤ値が用いられる場合には、当該ＳＡＤ値が小さいほど相関値が大きく、相関が強いと言うことができる。

前述したように、ブロックマッチングでは、サーチ範囲１０６において設定される複数個の参照ブロック１０８のそれぞれの、ターゲットブロック１０２の位置に対する位置ずれ量は、方向成分を含む量としての参照ベクトル１０７で表現される。各参照ブロック１０８の参照ベクトル１０７は、参照ブロック１０８の参照フレーム１０２上の位置に応じた値となる。前述したように、ブロックマッチングでは、相関値であるＳＡＤ値が最小値となる参照ブロック１０８の参照ベクトルを、動きベクトル１０４として検出する。

そこで、ブロックマッチングでは、サーチ範囲１０６において設定される複数個の参照ブロック１０８のそれぞれとターゲットブロック１０２との間におけるＳＡＤ値（以下、説明の簡単のため参照ブロック１０８についてのＳＡＤ値という）を、先ず求める。

次に、求めたＳＡＤ値を、図１２に示すように、それぞれの参照ブロック１０８の位置に応じた参照ベクトル１０７のそれぞれに対応させて、メモリに記憶しておく。そして、そのメモリに記憶された全ての参照ブロック１０８についてのＳＡＤ値の中から、最小のＳＡＤ値の参照ブロック１０８を検出することで、動きベクトル１０４を検出するようにしている。なお、以下、説明の簡単のため、参照ブロック１０６の位置に応じた参照ベクトル１０７を参照ブロック１０８の参照ベクトル１０７という。

サーチ範囲１０６において設定された複数個の参照ブロック１０８の位置に応じた参照ベクトル１０７のそれぞれに対応させて、それぞれの参照ブロック１０８についての相関値（この例では、ＳＡＤ値）を記憶したものを相関値テーブルと呼ぶ。この例では、相関値として差分絶対値和であるＳＡＤ値を用いるので、この相関値テーブルを、差分絶対値和テーブル（以下ＳＡＤテーブルという）と呼ぶことにする。

図１２のＳＡＤテーブルＴＢＬが、これを示しており、このＳＡＤテーブルＴＢＬにおいて、それぞれの参照ブロック１０８についての相関値（この例ではＳＡＤ値）を相関値テーブル要素という。図１２の例では、符号１１１で指し示すＳＡＤ値は、参照ベクトルがベクトル（０，０）のときのＳＡＤ値である。そして、図１２の例では、ＳＡＤ値の最小値は、参照ベクトルがベクトル（３，２）のときの「７」であるので、求める動きベクトル１０４は、当該（３，２）となる。

なお、上述の説明において、ターゲットブロック１０２および参照ブロック１０８の位置とは、それらのブロックの任意の特定の位置、例えば中心位置を意味するものである。参照ベクトル１０７は、参照フレーム１０２におけるターゲットブロック１０２の射影イメージブロック１０９の位置と、参照ブロック１０８の位置との間のずれ量（方向を含む）を示すものである。

そして、各参照ブロック１０８に対応する参照ベクトル１０７は、参照フレーム１０１上において、ターゲットブロック１０２に対応する射影イメージブロック１０９の位置からの、各参照ブロック１０８の位置ずれとなっている。したがって、参照ブロック１０８の位置が特定されると、その位置に対応して参照ベクトルの値も特定される。これにより、ＳＡＤテーブル１１０のメモリにおける参照ブロックの相関値テーブル要素のアドレスが特定されると、対応する参照ベクトルは特定されることになる。

なお、ＳＡＤ値は、同時に、２つ以上のターゲットブロックについて並列に計算するようにしてもよい。

＜ブロック単位の動きベクトル検出および信頼性評価＞
以上のブロックマッチングの説明は、１つのターゲットブロックについての動きベクトルの算出についての説明である。このターゲットブロックのターゲットフレームの全体に占める割合は、通常、小さいので、この１つのターゲットブロックに基づいてターゲットフレームについての動き（グローバルモーション）を求めるようにすることは一般的には困難である。

この実施形態では、図１３に示すように、ターゲットフレーム１００を、例えば６４画素×６４ラインのような、比較的小さい大きさのターゲットブロック１０２の複数個に分割する。そして、この複数個のターゲットブロックのそれぞれについての動きベクトル（ローカル動きベクトル）１０４Ｂを先ず求める。このとき、この実施形態では、求めたそれぞれのローカル動きベクトルの信頼性を示す指標を、併せて算出するようにする。

そして、ローカル動きベクトルの信頼性の指標から、ターゲットフレームについて求めた複数個のローカル動きベクトルの中から、信頼性の高いローカル動きベクトルのみを抽出する。

次に、抽出した信頼性の高いローカル動きベクトルのみから、グローバルモーションを算出する。そして、算出したグローバルモーションを用いて、各ターゲットブロック単位のグローバル動きベクトルを算出する。

そして、算出したグローバル動きベクトルと、ターゲットブロック毎のローカル動きベクトルとを比較して、その比較結果に基づいて、各ターゲットブロックが背景部分か、動被写体部分かを評価判定するようにする。この実施形態では、算出したグローバル動きベクトルと、ターゲットブロック毎のローカル動きベクトルとを比較して、両者の一致度合いを判定する。そして、その判定結果として、ターゲットブロック毎のローカル動きベクトルとグローバル動きベクトルとの一致度合いを示す指標値を算出する。この指標値を、この明細書ではヒット率と称する。

このような評価判定を行うのは、画像に含まれるノイズの、ブロックマッチングで算出される相関値に与える影響を考慮したものである。

ターゲットブロックについてのグローバル動きベクトルとローカル動きベクトルとが一致したときには、そのターゲットブロックは背景画像部分であると判断できる。したがって、この一致度合いの指標値は、ターゲットブロックの画像が、背景画像部分と一致しているかどうかの度合い（背景一致度合い）を示すものとなる。

ターゲットブロックが背景画像部分であれば、静止画像部分であるので、ターゲットブロックの画像に対して、動き補償画像は、１００％の割合（１：１の割合）で加算することができ、加算ＮＲ効果を最大限にすることができる。

そして、背景一致度合いが低ければ、ターゲットブロックは動被写体部分であると予想されるので、その画像に対する、動き補償画像の加算割合を、背景一致度合いに応じて低くすることで、多重露光のような状態を軽減することができる。

ここで、グローバル動きベクトルとローカル動きベクトルとが一致しない場合には、画像ノイズを考慮しなければ、そのターゲットブロックは、全て動被写体部分であると判断しても良い。この場合、ローカル動きベクトルに対応する参照ブロックについての相関値が最大（ＳＡＤ値が最小）となっており、グローバル動きベクトルに対応する参照ブロックについての相関値よりも大きい（ＳＡＤ値は小さい）。

しかし、一般に撮像画像などの画像中にはノイズが含まれる。この画像ノイズを考慮すると、グローバル動きベクトルとローカル動きベクトルとが一致しない場合であっても、ターゲットブロックが背景部分である場合がある。そして、そのようなターゲットブロックでは、ローカル動きベクトルに対応する参照ブロックについての相関値と、グローバル動きベクトルに対応する参照ブロックについての相関値との差は、前記画像ノイズ分よりも小さいものとなると考えられる。

そこで、この実施形態では、グローバル動きベクトルに対応する参照ブロックについての相関値を、前記画像のノイズ分を反映した値に補正し、その補正後の相関値と、ローカル動きベクトルに対応する参照ブロックについての相関値とを比較する。そして、補正後の相関値の方が大きい（ＳＡＤ値は小さい）ときには、当該ターゲットブロックは、背景画像部分であると評価するようにする。すなわち、この実施形態では、補正した相関値に基づいて、前記背景一致度合いを評価するようにする。このとき、グローバル動きベクトルは、当該ターゲットブロックについての本来のローカル動きベクトルに一致したと考えられる。

そして、この実施形態では、背景一致度合いの評価の結果、ターゲットブロックが背景画像部分であると判定されたときには、当該ターゲットブロックについては、グローバル動きベクトルを、出力動きベクトルとして出力する。また、背景一致度合いの評価の結果、ターゲットブロックが背景画像部分と一致していないと判定されたときには、当該ターゲットブロックについては、ローカル動きベクトルを、出力動きベクトルとして出力する。この実施形態では、出力動きベクトルは、後段の処理用動きベクトル、この実施形態では、ＮＲ処理用動きベクトルである。

なお、グローバル動きベクトルとローカル動きベクトルとが全く一致したときには、グローバル動きベクトルとローカル動きベクトルのいずれを出力動きベクトルとしてもよいことは言うまでもない。

そして、この実施形態では、上述のようにして得たターゲットブロック単位の出力動きベクトルを用いて、ターゲットフレームに対して、参照フレームをブロック単位で位置合わせを行い、動き補償画像（動き補償フレーム）を生成する。そして、ターゲットフレームと、動き補償フレームとを重ね合わせて加算ＮＲ画像を生成するようにする。

そして、この実施の形態の撮像装置において、静止画撮影においては、図１４に示すように、高速で複数枚の静止画像の撮影を行い、１枚目の静止画撮影画像をターゲットフレーム１００とする。そして、２枚目以降、所定枚数の静止画撮影画像を参照フレーム１０１として、重ね合わせを行い、その重ね合わせたものを静止画撮影画像として記録するようにする。

すなわち、撮影者が撮像装置のシャッターボタンを押下操作すると、高速で前記所定枚数の静止画像が撮影される。そして、その１枚目に撮影した静止画像（フレーム）に対して、時間的に後で撮影された複数枚の静止画像（フレーム）が、重ね合わされて、記録されることになる。

なお、この実施形態では対象としないが、動画撮影時は、図１５のように、撮像素子から出力されている現フレームの画像をターゲットフレーム１００の画像とし、その前フレームの過去の画像を参照フレーム１０１の画像とする。つまり、動画撮影時には、現フレームの画像のノイズ低減を行うために、現フレームの前フレームの画像を現フレームに重ね合わせるということになる。

＜動きベクトルの信頼性評価方法＞
この実施形態では、上記の実情に鑑み、高ノイズ環境の画像においても有効に、動きベクトルの信頼性を評価できる信頼性指標値を得るようにしている。

この実施形態では、ターゲットブロックと参照ブロックとの間の相関値の第１極大値と、第２極大値との差または比を、動きベクトルの信頼性の指標値とする。この実施形態では、ターゲットブロックと参照ブロックとの間の相関値は、ＳＡＤ値として検出するので、相関値の第１極大値および第２極大値は、ＳＡＤ値の第１極小値および第２極小値となる。

図１６は、１つのターゲットブロックについてのＳＡＤテーブルにおける各ＳＡＤ値を、模式的に示した図である。この図１６では、サーチ範囲を、画像の水平方向（ｘ方向）と垂直方向（ｙ方向）との２次元で表わし、高さ方向（ｘ方向およびｙ方向に直交する方向）にＳＡＤ値を取って、ＳＡＤテーブルを３次曲面で表わしている。

通常のブロックマッチング処理の場合、動きベクトルを検出するためにはＳＡＤテーブルにおけるＳＡＤ値の最小値のみが検出対象とされる。このＳＡＤ値の最小値は、ＳＡＤテーブルにおけるＳＡＤ値の第１極小値であり、図１６においては、点５０１で示す位置となっている。図１６では、動き原点（ｘ＝０、ｙ＝０）から、この点５０１で示すＳＡＤ値の最小値位置との間のベクトルとして、動きベクトルＭＶが検出される。

ノイズが存在しない理想的な状態を考えれば、サーチ範囲内の複数の参照ブロックとターゲットブロックとの相関値を求めたとき、３次曲面で表わされるＳＡＤテーブルは、一様に下に凸となり、ＳＡＤ値の極小値は、１つのみ存在する状態となる。しかし、実際の撮影状況においては、光量変化や、動き物体の動きなどの影響のほか、種々のノイズのため、３次曲面で表わされるＳＡＤテーブルは、一様に下に凸となることは殆どなく、複数個のＳＡＤ値の極小値が存在するのが一般的である。

そこで、この実施形態では、ＳＡＤ値の最小値に等しい第１極小値を呈する参照ブロックの位置に基づいて動きベクトルＭＶを検出するが、このＳＡＤ値の第１極小値を除くＳＡＤ値のうちの極小値、すなわち、ＳＡＤ値の第２極小値を、信頼性の指標を生成するために検出する。図１６においては、点５０１で示す位置が第１極小値を示し、点５０２で示す位置が第２極小値を示している。

ノイズ等の影響が少なければ、ＳＡＤ値の第１極小値と、ＳＡＤ値の第２極小値との差は大きく、ＳＡＤ値の第１極小値、すなわち、ＳＡＤ値の最小値から検出される動きベクトルＭＶの信頼性は高くなる。一方、ノイズ等が多い環境においては、ＳＡＤ値の第１極小値と、ＳＡＤ値の第２極小値との差が小さく、いずれが動きベクトルＭＶに正しく対応しているか分からない状況になるので、信頼性が低いことになる。

以上のことから、この実施形態では、ＳＡＤ値の第１極小値（ＳＡＤ値の最小値）と、ＳＡＤ値の第２極小値との差を、検出した動きベクトルの信頼性の指標とする。図１６のサーチ範囲を１次元軸上で表わし直したＳＡＤテーブルを、図１７に示す。この実施形態では、この図１７において、第２極小値と第１極小値（ＳＡＤ値の最小値）との差の値を、動きベクトルＭＶの指標値Ｆｔとする。

なお、ＳＡＤ値の第１極小値しか得られず、第２極小値が得られない場合には、この実施形態では、ＳＡＤ値の理論上の最大値またはＳＡＤテーブル内のＳＡＤ値の最大値を、その動きベクトルＭＶの信頼性指標値とするようにする。したがって、そのようなブロックの動きベクトルは信頼性の高いものとされるが、このようなブロックは殆ど存在しないので、ＳＡＤ値の第１極小値しか得られず、第２極小値が得られないようなブロックの動きベクトルは、信頼性の評価から外すようにしても良い。

なお、ＳＡＤ値の第１極小値（ＳＡＤ値の最小値）と、ＳＡＤ値の第２極小値との差の代わりに、ＳＡＤ値の第１極小値（ＳＡＤ値の最小値）と、ＳＡＤ値の第２極小値との比を、動きベクトルＭＶの信頼性の指標値Ｆｔとすることもできる。しかし、以下の説明においては、動きベクトルの信頼性の指標値Ｆｔとしては、ＳＡＤ値の第１極小値（ＳＡＤ値の最小値）と、ＳＡＤ値の第２極小値との差を用いるものとする。

この実施形態の動きベクトルの信頼性指標によれば、従来のような画像のエッジや特徴などの画像成分を用いるものではなく、ターゲットフレームと参照フレームとの間の相関値のみを用いているので、ノイズに対してロバスト性が高い。すなわち、画像のノイズに影響されること無く、精度の高い動きベクトルの信頼性指標が得られる。

また、この実施形態では、相関値の第１極大値（ＳＡＤ値の第１極小値）と、相関値の第２極大値（ＳＡＤ値の第２極小値）との差または比を用いていることも、この実施形態の動きベクトルの信頼性指標が、ノイズに対してロバスト性が高い理由となっている。

すなわち、一般に、ノイズレベルが高くなって来ると、正しい動きベクトルであったとしても、そのＳＡＤ値は値が上昇してしまう。このため、信頼性の高い動きベクトルを抽出する目的で、動きベクトルの信頼性指標値Ｆｔに対して閾値を設定し、当該閾値との比較処理を行う場合には、その閾値自体もノイズレベルに応じて変化させる必要がある。

これに対して、この実施形態による動きベクトルの信頼性指標値Ｆｔの場合、ノイズレベルが高くなると、相関値の第１極大値（ＳＡＤ値の第１極小値）と、相関値の第２極大値（ＳＡＤ値の第２極小値）の両方が、ノイズレベルに応じて、値が上昇する。このため、相関値の第１極大値（ＳＡＤ値の第１極小値）と、相関値の第２極大値の差に関しては、ノイズの影響が相殺されることになる。

つまり、ノイズレベルに依らない一定値の閾値処理が可能となる。相関値の第１極大値（ＳＡＤ値の第１極小値）と、相関値の第２極大値（ＳＡＤ値の第２極小値）との比を、動きベクトルの信頼性指標値Ｆｔとして用いる場合も同様のことが言える。

ところで、ブロックマッチングを行う対象ブロックの画像のコントラストが低い場合、ＳＡＤ値の第２極小値と、ＳＡＤ値の最小値の差は縮まる傾向にある。このため、同一フレーム内にコントラストの高い領域と低い領域があるとき、同一の閾値でベクトル信頼性の評価値Ｉｘを評価すると、コントラストの高い領域が優先的に抽出され易い。

これは、動きベクトルの信頼性という観点では正しい結果ではあるが、コントラストの低い領域をある程度救済する目的で、この実施形態では、動きベクトルの信頼性の指標値を求める演算式に、コントラストの影響を軽減する項を追加する。すなわち、ターゲットフレームの画像の最大輝度の値と最小輝度の値との差を求め、当該輝度の差を動きベクトルの信頼性の指標値に反映させるようにする。なお、ノイズによる悪影響を避けるため、ターゲットフレームの画像データに対してローパスフィルタを施してから、最大輝度と最小輝度の抽出を行う。

以上のことを踏まえたこの実施形態における動きベクトルの信頼性指標値Ｆｔの算出式は、
Ｆｔ＝（Ｂｔｍ２ＳＡＤ−ＭｉｎＳＡＤ）−（ＭａｘＴＡＲ−ＭｉｎＴＡＲ）×Ｃｏ
・・・（式１）
ただし、
Ｆｔ；動きベクトルの信頼性指標値
Ｂｔｍ２ＳＡＤ；ＳＡＤ値の第２極小値
ＭｉｎＳＡＤ；ＳＡＤ値の最小値（第１極小値）
ＭａｘＴＡＲ；ターゲットブロックの最大輝度値
ＭｉｎＴＡＲ；ターゲットブロックの最小輝度値
Ｃｏ；重み係数（≦１）
となる。

なお、動きベクトル信頼性指標値として、相関値の第１極大値と相関値の第２極大値との比を用いる場合にも、信頼性指標値算出式において、上述の（式１）と全く同様に、コントラストの影響を軽減する項を追加するようにすれば良い。もっとも、動きベクトルの信頼性指標値Ｆｔの算出に当たって、コントラストの影響を軽減する項を追加することは必須ではなく、この項を省略してもよい。

［グローバルモーションおよびグローバル動きベクトルＧＭＶの算出］
従来は、上述したような動きベクトルの信頼性指標値はなかったので、ターゲットフレームについて求められた複数個のローカル動きベクトルＬＭＶのすべてを、同じ重みで用いてグローバルモーションを算出するようにしている。

これに対して、この実施形態では、上述のようにして、ターゲットフレームについての複数個のローカル動きベクトルＬＭＶのそれぞれの信頼性指標値Ｆｔを得ることができる。

そこで、求められた複数個のローカル動きベクトルＬＭＶの信頼性指標値Ｆｔを正規化して、例えば０以上、１以下の重み係数を、それぞれのローカル動きベクトルＬＭＶに対して設定することができる。そして、各ローカル動きベクトルＬＭＶは同じ重みではなく、それぞれの重み係数に応じた重みで用いて、グローバルモーションを算出するようにすることができる。すなわち、求められた複数個のローカル動きベクトルＬＭＶの全てを用いてグローバルモーションを算出する収束演算を開始するようにするが、その際に、各ローカル動きベクトルＬＭＶは、信頼性指標値Ｆｔに応じた重み係数に応じた重みを用いるようにする。

しかし、グローバルモーションの算出演算処理を簡単にして、演算負荷を軽くするため、この実施形態では、ローカル動きベクトルＬＭＶについての重み係数Ｗを、０と、１に２値化するようにする。

このため、この実施形態では、動きベクトルの信頼性指標値Ｆｔに対する閾値ｔｈを設定し、
Ｆｔ＞ｔｈであるときには、Ｗ＝１
Ｆｔ≦ｔｈであるときには、Ｗ＝０
・・・（式２）
とする。この演算式により、各ローカル動きベクトルＬＭＶについての重み係数Ｗを、それぞれの動きベクトルの信頼性指標値Ｆｔを用いて算出するようにする。

すなわち、この実施形態では、動きベクトル信頼性指標値Ｆｔを用いて、複数個のローカル動きベクトルＬＭＶのそれぞれの信頼性を判定し、複数個のローカル動きベクトルＬＭＶから、信頼性の高いローカル動きベクトルＬＭＶのみを抽出する。そして、当該抽出した信頼性の高いローカル動きベクトルＬＭＶのみを用いてグローバルモーションを算出する。

この実施形態では、ターゲットフレームにおけるターゲットブロック数が比較的多いことから、この例のように、信頼性の高いローカル動きベクトルＬＭＶのみを抽出する方法であっても精度の良いグローバルモーションの算出が可能である。

なお、複数個のローカル動きベクトルＬＭＶから、グローバルモーションを算出する具体的な処理例は、後述する。

＜加算ＮＲ処理部２０のハードウエア構成例＞
加算ＮＲ処理部２０は、この実施形態では、図１に示すように、動きベクトル算出部２１と、動き補償画生成部２２と、加算部２３と、加算率計算部２４とからなる。

動きベクトル算出部２１は、複数フレーム分の画像が画像メモリ部４に書き込まれた後、当該画像メモリ部４からターゲットフレームの画像データと参照フレームの画像データを読み込む。

そして、動きベクトル算出部２１は、ブロックマッチング手法によるローカル動きベクトルＬＭＶの検出を行うと共に、ローカル動きベクトルＬＭＶの信頼性の算出、グローバルモーションの算出およびグローバル動きベクトルＧＭＶの算出処理を行う。さらに、動きベクトル算出部２１は、ターゲットブロックについての背景一致度合いの評価も行なって、ヒット率βを生成する。

この実施形態では、動きベクトル算出部２１からは、ターゲットフレームの画像データＴＧｖと、参照フレームの画像データＲＥＦｖと、ヒット率βとが出力される。また、動きベクトル算出部２１からは、グローバル動きベクトルＧＭＶまたはローカル動きベクトルＬＭＶからなるＮＲ処理用動きベクトルＭＶｎｒの情報が出力される。

そして、動きベクトル算出部２１からのＮＲ処理用動きベクトルＭＶｎｒの情報と、参照フレームの画像データＲＥＦｖとは動き補償画生成部２２に供給される。動き補償画生成部２２では、参照フレームの画像データＲＥＦｖに対して、ＮＲ処理用動きベクトルＭＶｎｒによりグローバルモーションに対応する処理、つまり、平行移動、回転、拡大縮小を伴う変形処理を施して、動き補償画像を生成する。

そして、動きベクトル算出部２１からのターゲットフレームの画像データＴＧｖが加算部２３に供給されると共に、動き補償画生成部２２からの動き補償画像の画像データＭＣｖが加算部２３に供給される。

また、動きベクトル算出部２１からのターゲットフレームの画像データＴＧｖとヒット率βとが、加算率計算部２４に供給される。加算率計算部２４は、ターゲットフレームの各ターゲットブロック毎の加算率αを、背景一致度合いであるヒット率βに応じて計算する。そして、加算率計算部２４は、算出したターゲットブロック毎の加算率αを、加算部２３に供給する。

加算部２３では、両画像データＴＧｖおよびＭＣｖの対応する位置の画素が加算されることにより、画像の重ね合わせ処理がなされ、その加算画像（ＮＲ画像である）の画像データＭＩＸｖが出力される。この画像重ね合わせは、ターゲットブロック単位に行なわれ、ターゲットブロックの画像データに対して、加算率αで、動き補償画像の画像データＭＣｖの対応するブロックの画像データが加算される。

加算部２３からの加算画像の画像データＭＩＸｖは、画像メモリ部４の第１のフレームメモリ４１に、ターゲットフレームの画像データとして、その前のターゲットフレームの画像データに重ね書き（上書き）される。

すなわち、第１のフレームメモリ４１のターゲットフレームの画像データは、最初は、シャッターボタンが押下された直後の１枚目のフレームの画像データとなる。第１のフレームメモリ４１のターゲットフレームの画像データは、２枚目の参照フレームの動き補償画の画像データＭＣｖとターゲットフレームとが加算されると、その加算結果の加算画像の画像データＭＩＸｖに書き換えられる。

そして、その加算画像の画像データＭＩＸｖが、３枚目の参照フレームの画像データに対するターゲットフレームの画像データとなる。そして、上述と同様にして、動きベクトル算出部２１でＮＲ処理用動きベクトルＭＶｎｒが算出され、加算部２３で画像の重ね合わせ処理がなされる。

そして、その加算結果の加算画像の画像データＭＩＸｖが画像メモリ部４の第１のフレームメモリ４１に、ターゲットフレームの画像データとして、その前のターゲットフレームの画像データに重ね書き（上書き）される。以下、４枚目以降の参照フレームに対しても同様の処理動作がなされる。

したがって、Ｎ枚目の参照フレームまでについての画像の重ね合わせ処理がなされた後には、画像メモリ部４の第１のフレームメモリ４１には、重ね合わせるべきＮ枚の全てのフレームが重ね合わされたＮＲ画像が書き込まれていることになる。

上述した動きベクトル算出部２１および動き補償画生成部２２は、ハードウエアにより構成することできる。また、動きベクトル算出部２１および動き補償画生成部２２は、ＤＳＰ（Digital Signal Processor）を用いて構成することもできる。さらには、動きベクトル算出部１５および動き補償画生成部１６は、ＣＰＵ１によりソフトウエア処理とすることもできる。

同様に、加算部２３も、ハードウエアにより構成することできるし、また、ＤＳＰを用いて構成することもできる。さらには、加算部２３も、ＣＰＵ１によりソフトウエア処理とすることもできる。また、静止画コーデック部１６も、同様である。

［動きベクトル算出部２１の構成例］
動きベクトル算出部２１のハードウエア構成例を図１８に示す。この例では、動きベクトル算出部２１は、ターゲットブロック１０２の画素データを保持するターゲットブロックバッファ部２１１と、参照ブロック１０８の画素データを保持する参照ブロックバッファ部２１２とを備える。

また、動きベクトル算出部２１は、ターゲットブロック１０２と参照ブロック１０８とで対応する画素についてのＳＡＤ値を計算するマッチング処理部２１３を備える。また、動きベクトル算出部２１は、マッチング処理部２１３から出力されるＳＡＤ値情報からローカル動きベクトルを算出するローカル動きベクトル算出部２１４を備える。動きベクトル算出部２１は、さらに、コントロール部２１５と、動きベクトル信頼性指標値算出部２１６と、グローバルモーション算出部２１７と、グローバル動きベクトル算出部２１８と、コントラスト算出部２１９と、背景／動被写体判定部２１０と、を備える。

コントラスト算出部２１９は、ローパスフィルタ２１９１と、最大輝度値検出部２１９２と、最小輝度値検出部２１９３とからなる。

この例では、図示は省略するが、画像メモリ部４には、原画のターゲットフレームや参照フレームの画像データから生成された、ターゲットフレームおよび参照フレームについての縮小面の画像データおよび中間面の画像データが、記憶保持されている。

コントロール部２１５は、この動きベクトル算出部２１における処理シーケンスを制御するもので、図示のように各部に制御信号を供給するようにする。

ターゲットブロックバッファ部２１１は、このコントロール部２１５の制御を受けて、画像メモリ部４のターゲットフレームの画像データから、指示されたターゲットブロックの画像データを読み込んで、マッチング処理部２１３に供給する。

参照ブロックバッファ部２１２は、コントロール部２１５の制御を受けて、画像メモリ部４の参照フレームの画像データから、指示されたマッチング処理範囲の画像データを読み込む。そして、参照ブロックバッファ部２１２は、そのマッチング処理範囲の画像データの中から、参照ブロックの画像データを順次にマッチング処理部２１３に供給するようにする。

マッチング処理部２１３は、ターゲットブロックバッファ部２１１からのターゲットブロックの画像データと、参照ブロックバッファ部２１２からの参照ブロックの画像データを受ける。そして、マッチング処理部２１３は、ブロックマッチング処理を、コントロール部２１５の制御にしたがって行う。そして、マッチング処理部２１３は、参照ベクトル（参照ブロックの位置情報）と、ブロックマッチング処理結果のＳＡＤ値とを、ローカル動きベクトル算出部２１４に供給する。

ローカル動きベクトル算出部２１４は、ＳＡＤ値の第１極小値保持部２１４１と、ＳＡＤ値の第２極小値保持部２１４２とを備え、マッチング処理部２１３からのＳＡＤ値から、ＳＡＤ値の第１極小値と、ＳＡＤ値の第２極小値とを検出する処理を行う。

ローカル動きベクトル算出部２１４は、ＳＡＤ値の第１極小値保持部２１４１のＳＡＤ値の第１極小値およびその位置情報（参照ベクトル）と、ＳＡＤ値の第２極小値保持部２１４２のＳＡＤ値の第２極小値およびその位置情報（参照ベクトル）とを更新してゆく。ローカル動きベクトル算出部２１４は、この更新処理をマッチング処理範囲の全ての参照ブロックについてのブロックマッチング処理が終了するまで行なう。

ブロックマッチング処理が終了したときには、ＳＡＤ値の第１極小値保持部２１４１には、そのときのターゲットブロックについてのＳＡＤ値の第１極小値およびその位置情報（参照ベクトル）が記憶保持される。また、ＳＡＤ値の第２極小値保持部２１４２には、ＳＡＤ値の第２極小値およびその位置情報（参照ベクトル）が、記憶保持される。

ローカル動きベクトル算出部２１４は、マッチング処理範囲の全ての参照ブロックについてのブロックマッチング処理が終了したときに、ＳＡＤ値の第１極小値保持部２１４１に保持されている参照ベクトルの情報（位置情報）を、動きベクトルとして検出する。このローカル動きベクトル算出部２１４の処理動作については、後で詳述する。

ローカル動きベクトル算出部２１４で得られたローカル動きベクトルＬＭＶは、グローバル動きベクトル演算部２１７に供給される。グローバルモーション算出部２１７では、受け取ったローカル動きベクトルＬＭＶを、一時保持する。

ローカル動きベクトル算出部２１４のローカル動きベクトルＬＭＶの算出処理が終了したときには、コントロール部２１５は、動きベクトル信頼性指標値算出部２１６をイネーブルとして、動作を開始させる。そして、ローカル動きベクトル算出部２１４からは、第１極小値保持部２１４１のＳＡＤ値の最小値ＭｉｎＳＡＤと、第２極小値保持部２１４２のＳＡＤ値の第２極小値Ｂｔｍ２ＳＡＤとが、動きベクトル信頼性指標値算出部２１６に供給される。

また、このとき、ターゲットブロックバッファ部２１１からのターゲットブロックの画像データがローパスフィルタ２１９１を通じて最大輝度値検出部２１９２および最小輝度値検出部２１９３に供給される。そして、最大輝度値検出部２１９２および最小輝度値検出部２１９３のそれぞれで検出された最大輝度値ＭａｘＴＡＲおよび最小輝度値ＭｉｎＴＡＲが、動きベクトル信頼性指標値算出部２１６に供給される。

動きベクトル信頼性指標値算出部２１６では、これに供給される情報を用いて、前述した（式１）にしたがって、動きベクトルの信頼性指標値Ｆｔを算出する。そして、動きベクトル信頼性指標値算出部２１６は、算出した動きベクトルの信頼性指標値Ｆｔを、グローバルモーション算出部２１７に供給する。グローバルモーション算出部２１７では、そのときに供給されているローカル動きベクトルＬＭＶに対応付けて、入力されてきた動きベクトルの信頼性指標値Ｆｔを、一時保持する。

以上の処理が、ターゲットフレームの全てのターゲットブロックについて終了すると、コントロール部２１５は、グローバルモーション算出部２１７に、グローバルモーションの算出処理を開始するようにする制御指示信号を供給する。

この実施形態では、グローバルモーション算出部２１７は、この制御指示信号を受けて、先ず、保持している複数個のローカル動きベクトルＬＭＶについて、対応して保持されている動きベクトル信頼性指標値Ｆｔを用いて、信頼性の判定を行う。この実施形態では、前述した（式２）により、各ローカル動きベクトルＬＭＶについての重み係数Ｗを算出する。グローバルモーション算出部２１７は、重み係数Ｗ＝１である、信頼性の高いローカル動きベクトルＬＭＶのみを抽出する。

そして、グローバルモーション算出部２１７は、抽出した信頼性の高いローカル動きベクトルＬＭＶのみを用いてグローバルモーションＧＭを算出する演算処理を実行する。この例では、グローバルモーション算出部２１７は、アフィン変換を用いてグローバルモーションを推定して算出する。そして、グローバルモーション算出部２１７は、算出したグローバルモーションＧＭをグローバル動きベクトル算出部２１８に供給する。

グローバル動きベクトル算出部２１８は、グローバルモーションＧＭを、ターゲットブロックの座標位置（例えば中心位置）に適用することにより、そのターゲットブロックのグローバル動きベクトルＧＭＶを算出する。

グローバル動きベクトル算出部２１８は、算出したグローバル動きベクトルＧＭＶを背景／動被写体判定部２１０に供給する。背景／動被写体判定部２１０には、ローカル動きベクトル算出部２１４からのローカル動きベクトルＬＭＶも供給される。

背景／動被写体判定部２１０では、前述もしたように、ターゲットブロック毎のローカル動きベクトルＬＭＶと、グローバル動きベクトルＧＭＶとを比較して、ターゲットブロックについての両者の一致度、つまり、背景一致度合いを判定する。この場合に、背景／動被写体判定部２１０では、ローカル動きベクトルＬＭＶおよびグローバル動きベクトルＧＭＶのそれぞれが対応する参照ブロックについての相関値（ＳＡＤ値）を比較して、背景と動被写体との判定を行う。

ところで、ローカル動きベクトル算出部２１４でグローバルモーションを算出するために求めたローカル動きベクトルＬＭＶおよび相関値（ＳＡＤ値）を、背景／動被写体判定部２１０における前記の比較用として使用することもできる。

しかし、その場合には、ローカル動きベクトル算出部２１４では、グローバルモーション算出部２１７やグローバル動きベクトル算出部２１８での処理時間分だけ、当該ローカル動きベクトルやＳＡＤ値を保持しておく必要がある。この場合、特に、保持しておくＳＡＤ値は、グローバル動きベクトルＧＭＶが、どの参照ベクトルに対応するものであるかは判っていないので、各ターゲットブロックのそれぞれについてＳＡＤ値テーブルの全てを保持しておく必要がある。そのため、これらローカル動きベクトルＬＭＶやＳＡＤ値を保持しておくメモリとして、容量が膨大なものが必要となってしまう。

このことにかんがみ、この実施形態では、ローカル動きベクトル算出部２１４では、背景／動被写体判定部２１０における前記比較用のローカル動きベクトルＬＭＶやＳＡＤ値は、再計算するようにする。これにより、ローカル動きベクトル算出部２１４には、ローカル動きベクトルＬＭＶやＳＡＤ値を保持しておくメモリは設ける必要はなく、前記メモリの容量の問題は回避できる。

したがって、背景／動被写体判定部２１０は、再算出されたローカル動きベクトルＬＭＶおよびＳＡＤ値を用いて、ターゲットブロックについての背景一致度合いを示すヒット率βを求める。グローバル動きベクトルＧＭＶに一致する参照ベクトル（参照ブロック位置）についてのＳＡＤ値も、当該再算出時に取得する。そして、背景／動被写体判定部２１０は、当該再算出されたローカル動きベクトルＬＭＶやＳＡＤ値を用いて、ターゲットブロックが、背景部分か、動被写体部分かを判定するようにする。

背景／動被写体判定部２１０は、前述したように、ローカル動きベクトルＬＭＶに対応する参照ブロックについてのＳＡＤ値と比較すべき、グローバル動きベクトルＧＭＶに対応する参照ブロックについてのＳＡＤ値は、画像のノイズ分を反映した値に補正する。

画像のノイズは、一般に、画像の輝度値に応じたものとなる。そこで、この実施形態では、コントラスト算出部２１９の最大値輝度値検出部２１９２からの最大輝度値ＭａｘＴＡＲと、最小輝度値系部２１９３からの最小輝度値ＭｉｎＴＡＲが、背景／動被写体判定部２１０に供給される。

背景／動被写体判定部２１０は、最大輝度値ＭａｘＴＡＲと、最小輝度値ＭｉｎＴＡＲとの差分として、画像の輝度値を検出し、検出した輝度値に応じて、グローバル動きベクトルＧＭＶに対応する参照ブロックについてのＳＡＤ値の補正値を決定する。

そして、背景／動被写体判定部２１０は、その補正後の相関値と、ローカル動きベクトルに対応する参照ブロックについての相関値とを比較する。そして、グローバル動きベクトルＧＭＶに対応する参照ブロックについてのＳＡＤ値の補正値の方が、ローカル動きベクトルに対応する参照ブロックについての相関値よりも小さい（相関値は大きい）かどうか判定する。小さいときには、当該ターゲットブロックは、背景部分と評価判定する。

背景／動被写体判定部２１０は、ターゲットブロックが背景部分であると見なせるようなヒット率βのときには、ＮＲ処理用動きベクトルＭＶｎｒとして、グローバル動きベクトルＧＭＶを出力する。それ以外のときには、背景／動被写体判定部２１０は、ターゲットブロックに対して、ＮＲ処理用動きベクトルＭＶｎｒとして、ローカル動きベクトルＬＭＶを出力する。

前述したように、背景／動被写体判定部２１０からのＮＲ処理用動きベクトルＭＶｎｒは、動き補償画生成部１６に供給される。

動き補償画生成部１６では、動きベクトル算出部２１を通じて送られてくる参照フレームの画像データＲＥＦｖに対して、ＮＲ処理用動きベクトルＭＶｎｒに対応する変形処理が施されて、動き補償画像のデータＭＣｖが生成される。そして、生成された動き補償画像のデータＭＣｖが加算部１７に供給される。

また、背景／動被写体判定部２１０は、求めたヒット率βは、加算率計算部２１に供給する。加算率計算部２１は、ヒット率βに基づいて、ターゲット画像に対する動き補償画像の加算率αを算出する。

この場合、加算率αは、ブロック単位あるいは画素単位で計算をすることができる。画素単位で計算をする場合であっても、ヒット率βは、ブロック単位であるので、当該ヒット率βが加算率の計算に関与するのは、ブロック単位であるのは言うまでもない。

加算率αをブロック単位に計算する場合には、ヒット率βのみに応じた加算率αを計算することもできる。勿論、ヒット率β以外の他の加算率計算要素を加味して、加算率αを計算することもできる。この実施形態では、ヒット率βのみではなく、後述もするように、ターゲット画像と動き補償画像との画素単位の違い、ターゲット画像のノイズなどの要因を加味して加算率αを計算する。

加算率計算部２１で求められた加算率αは、加算部２３に供給される。加算部２３は、これに送られてくるターゲット画像の画像データＴＧｖに対して、動き補償画像の画像データＭＣｖを、加算率αで加算する。

この実施形態においては、加算部２３では、ターゲットブロックの背景一致度合い（ヒット率β）に応じた加算率で、ターゲット画像と動き補償画像とが重ね合わされる。つまり、静止画部分では、ターゲット画像に対する動き補償画像の加算率が高くなり、動被写体部分では、ターゲット画像に対する動き補償画像の加算率が低くなる。

こうして、この実施形態では、背景部分と動被写体部分とでは、それぞれに適切な加算率で画像の重ね合わせをすることができる。したがって、画像重ね合わせにより得られたＮＲ画像は、良好なものとなる。

しかも、この実施形態におけるグローバルモーションおよびグローバル動きベクトルＧＭＶは、信頼性の高いローカル動きベクトルＬＭＶから生成されたものであるので、確度の高い動きベクトルであり、その点でも良好な加算ＮＲ画像を得ることができる。

［ＮＲ画像生成のための全体の処理の流れ］
図１９は、画像メモリ４に取り込んだ撮像画像について、ＮＲ画像を生成する処理の流れを示すフローチャートである。

先ず、動きベクトル算出部２１では、ローカル動きベクトル算出部２１４でブロックマッチングによるローカル動きベクトルＬＭＶの検出を行なう（ステップＳ３１）。次に、動きベクトル信頼性指標値算出部２１６は、検出されたローカル動きベクトルＬＭＶについての信頼性の指標値Ｆｔを、ローカル動きベクトル算出部２１４で算出されたＳＡＤ値の第１極小値ＭｉｎＳＡＤと、第２極小値Ｂｔｍ２ＳＡＤとを用いて算出する（ステップＳ３２）。

次に、グローバルモーション算出部２１７は、算出された信頼性の指標値Ｆｔに基づいて、信頼性の高いローカル動きベクトルＬＭＶを抽出する。そして、グローバルモーション算出部２１７は、当該抽出した信頼性の高いローカル動きベクトルＬＭＶのみを用いてグローバルモーションＧＭを算出する（ステップＳ３３）。

次に、ステップＳ３３で算出されたグローバルモーションＧＭを用いて、ターゲットブロック毎のグローバル動きベクトルＧＭＶを算出する（ステップＳ３４）。

また、ローカル動きベクトル算出部２１４で、再ブロックマッチング処理を行なって、ローカル動きベクトルＬＭＶを再検出する（ステップＳ３５）。そして、ローカル動きベクトルＬＭＶが検出された参照ブロック位置（参照ベクトル）におけるＳＡＤ値（ＭｉｎＳＡＤ）を保持すると共に、ステップＳ３４で算出されたグローバル動きベクトルＧＭＶに対応する参照ブロックについてのＳＡＤ値も保持しておく。なお、このときには、ローカル動きベクトルＬＭＶの信頼性の指標値Ｆｔの算出の必要はない。

次に、背景／動被写体判定部２１０は、ステップＳ３５で算出されたローカル動きベクトルＬＭＶと、ステップＳ３４で求められたグローバル動きベクトルＧＭＶとを比較して、各ターゲットブロックについての背景一致度合いを評価し、ヒット率βを求める。そして、さらに、各ターゲットブロックについてのＮＲ処理用動きベクトルＭＶｎｒを定め、動き補償画生成部２２に出力する（ステップＳ３６）。

このステップＳ２６でのローカル動きベクトルＬＭＶとグローバル動きベクトルＧＭＶとの比較においては、ローカル動きベクトルＬＭＶおよびグローバル動きベクトルＧＭＶのそれぞれに対応する参照ブロックについてのＳＡＤ値を比較する。さらに、グローバル動きベクトルＧＭＶに対応する参照ブロックのついてのＳＡＤ値については、上述したように、画像のノイズに応じた補正を加えるようにする。

次に、動き補償画生成部２２では、ステップＳ３６で定められたＮＲ処理用動きベクトルＭＶｎｒを用いて、参照ブロック毎に動き補償画を生成し、加算部２３に出力する（ステップＳ３７）。

次に、加算率計算部２１は、ステップＳ３６で求められたヒット率βを用いて、上述したようにして、この例では、画素毎の加算率αを算出し、加算部２３に供給する（ステップＳ３８）。

次に、加算部２３は、ターゲット画像に、ステップＳ３７で生成された動き補償画を、ステップＳ２８で算出された加算率αで画素毎に重ね合わせてＮＲ画像を生成する（ステップＳ３９）。以上で、ＮＲ画像の処理は終了となる。

なお、この図１９は、あるターゲットフレームの１枚についての処理動作を示したものである。３枚以上の複数枚の画像を重ね合わせる場合には、生成した加算ＮＲ画像をターゲットフレームとすると共に、新たに重ね合わせる画像を参照フレームとして、図１９の処理を繰り返す。

次に、動きベクトル算出部２１の主要な各部の詳細な処理動作について、さらに説明する。

＜グローバルモーション算出部２１７およびグローバル動きベクトル算出部２１８の処理動作＞
不特定多数のベクトルから、最も好適なグローバルモーションを導出する手法として、この実施形態では、前述したようにアフィン変換を用いる方法を用いる。この方法は、信頼性の高いブロックの中から、動被写体等のグローバルモーションに適合しにくいブロックのローカル動きベクトルを徐々に排除しながら、最小自乗法を用いて、グローバルモーションのパラメータの収束を図る方法である。

図２０に、アフィン変換の一般式を、（式３）として示す。この（式３）において、ｖは、ターゲットブロックの動きベクトルの水平成分、ｗはターゲットブロックの動きベクトルの垂直成分を示し、ａ，ｂ，ｃ，ｄ，ｅ，ｆは、アフィンパラメータを示している。ここで、アフィン変換では、アフィンパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆは、固定値である。そして、ｘ，ｙは、ターゲットブロックの中心座標の水平成分、垂直成分を示している。

グローバルモーションの収束演算過程において求められたアフィンパラメータと、各ターゲットブロックの中心の座標から、グローバルモーションに応じた動きベクトル（このベクトルを理想的な動きベクトルと呼ぶ）が得られる。この理想的なベクトルと、観測（ブロックマッチングにより検出）された動きベクトルとの間のエラーの総和εは、図２１の（式４）のように表される。

グローバルモーションを導出するという命題は、上記のエラーの総和εを最小化するアフィンパラメータａ〜ｆの推定であり、これは、例えば、最小自乗法によって解くことが可能である。図２２、図２３、図２４の（式５）、（式６）、（式７）には、アフィンパラメータａ〜ｆの導出過程と、その結果を示す。

このように、アフィン変換のパラメータは比較的容易に算出されるが、その効果は大きい。アフィン変換は、画像の平行移動、回転、拡大縮小の他、ある程度の変形にも対応できるため、大抵の手ブレ即ちカメラワークの微少な補正をカバーする。

なお、アフィン変換についての先行技術文献としては、特許文献３（特開２００５−３２１９０２号公報）などがある。

この例のグローバルモーション算出部２１７におけるグローバルモーションＧＭの算出処理の例を、図２５のフローチャートに沿って説明する。

先ず、グローバルモーション算出部２１７は、保持している複数個のローカル動きベクトルＬＭＶについて、それぞれの動きベクトル信頼性指標値Ｆｔと、予め定めた閾値とを比較する。そして、その比較結果から、動きベクトル信頼性指標値Ｆｔが、予め定めた閾値よりも大きい信頼性の高いローカル動きベクトルＬＭＶのターゲットブロック（以下、説明の簡単のためブロックと記載）のみを選定する（ステップＳ４１）。この処理は、前述の（式２）を用いて説明したように、重み係数Ｗとして、１と０との２値を用いる場合に相当する。

次に、グローバルモーション算出部２１７は、選定した複数のブロックのローカル動きベクトルＬＭＶのみを用いると共に、アフィン変換を用いて、グローバルモーションＧＭを導出（推定）する（ステップＳ４２）。つまり、グローバルモーションＧＭについてのアフィンパラメータａ〜ｆを算出する。

次に、導出したグローバルモーションＧＭに基づいて、演算に用いた、選定したブロックのそれぞれの理論上のローカル動きベクトルＬＭＶｓを計算する（ステップＳ４３）。

次に、選定した複数のブロックのそれぞれにおいて、ブロックマッチング処理により求めたローカル動きベクトルＬＭＶと、ステップＳ４３で求めた理論上のローカル動きベクトルＬＭＶｓとの誤差Ｅｎを計算する（ステップＳ４４）。

このブロックマッチングで求めた動きベクトルと理論上の動きベクトルとの誤差計算は、演算の精度を重視するなら、三平方の定理から正しく距離計算を行えば良い。しかし、演算の精度よりも軽さを重要視するなら、水平及び垂直の両者の距離をそれぞれ求め、それらの和を、近似的な距離として用いても良い。

次に、選定した複数のブロックのそれぞれについて求めた誤差Ｅｎの全てを用いて、それら全ての誤差の平均値Ｅaveと、最大値Ｅmaxとを算出する（ステップＳ４５）。そして、平均値Ｅaveが、それに対して予め定められた閾値θａよりも小さく、且つ、最大値Ｅmaxが、それに対して予め定められた閾値θｂよりも小さいか否か判別する（ステップＳ４６）。

ステップＳ４６での判別の結果、条件を満足してはいないと判別したときには、ステップＳ４４で求めた各ブロックの誤差Ｅｎの中から、誤差Ｅｎ＝Ｅmaxとなるブロックを、グローバルモーションを導出する複数のブロックから排除する。または、誤差Ｅｎ≧θｂとなるブロックを検出し、検出したブロックの全てを、グローバルモーションＧＭを導出する複数のブロックから排除する（ステップＳ４７）。

次に、ステップＳ４７でのブロック排除の結果、残存するブロックの数が予め定めた数の閾値θｃよりも少ないか否か判別する（ステップＳ４８）。ステップＳ４８で、残存するブロックの数が閾値θｃよりも少なくはないと判別したときには、ステップＳ４２に戻り、残存するブロックを選定したブロックとして、ステップＳ４２以降の処理を繰り返す。

残存するブロックの数が閾値θｃよりも少ないときには、適切なグローバルモーションＧＭが得られないので、対象となっている参照フレームの画像は、この実施形態の画像の重ね合わせには使用できない。そこで、ステップＳ４８で、残存するブロックの数が閾値θｃよりも少ないと判別したときには、当該参照フレームについてのその後の処理を全て行わないようにスキップする（ステップＳ４９）。

そして、ステップＳ４６で、誤差Ｅｎの平均値Ｅaveが閾値θａよりも小さく、且つ、誤差Ｅｎの最大値Ｅmaxが閾値θｂよりも小さいと判別したときには、演算は収束したとして、グローバルモーションＧＭをそのときのもので確定する（ステップＳ５０）。そして、この処理ルーチンを終了する。

なお、ステップＳ４７で、誤差Ｅｎが最大エラーＥmaxのブロックのみを排除するか、誤差Ｅｎが閾値θｂ以上のブロックをまとめて排除するかは、グローバル動きベクトルＧＭＶを求める際の収束の早さと精度のバランスで決めれば良い。精度を優先するなら前者の方式を採用し、エラーブロックを1つずつ排除して行けば良く、収束の早さを優先するなら後者を選択しても構わない。

グローバル動きベクトル演算部２１８は、以上のようにして算出したグローバルモーションＧＭに基づいて、各ターゲットブロック毎のグローバル動きベクトルＧＭＶを算出する。すなわち、算出したグローバルモーションＧＭについての拡張アフィン変換のパラメータａ〜ｌを用いて、図２０の（式３）により、各ターゲットブロック毎の動きベクトル（理論上のローカル動きベクトルＬＭＶｓに相当）を求める。図２０の（式３）において、ｘ、ｙは、各ターゲットブロックの中心位置座標が用いられる。この求めた動きベクトルが、各ターゲットブロック毎のグローバル動きベクトルＧＭＶとなる。

そして、動き補償画生成部２２には、上述のようにして求められた、各ターゲットブロック毎のグローバル動きベクトルＧＭＶが供給される。そして、動き補償画生成部２２では、その各ターゲットブロック毎のグローバル動きベクトルＧＭＶを用いて、ターゲットブロック毎の動き補償画を生成し、生成したブロック毎の動き補償画を加算部２３に供給する。

［背景／動被写体判定部２１０の構成例および処理動作］
背景／動被写体判定部２１０では、上述したように、グローバル動きベクトル算出部２１８で算出されたグローバル動きベクトルＧＭＶに対応する参照ブロックについてのＳＡＤ値を、ローカル動きベクトル算出部２１４での再ブロックマッチングの際に取得する。そして、取得したＳＡＤ値を、前述したように画像のノイズに応じて補正値により補正するようにする。その補正値による補正の方法としては、この実施形態では、２通りの方法を提供する。

＜第１の例；オフセット付加によるＳＡＤ値の補正＞
図２６は、この第１の例の考え方を説明するための図である。図２６は、横軸にサーチ範囲を取り、縦軸にＳＡＤ値を取ったときの、１個のターゲットブロックについてのＳＡＤテーブルの内容（ＳＡＤ値）を示す図である。横軸の各値は、参照ブロック位置（参照ベクトル）となり、実線がＳＡＤテーブルの内容を示すものとなる。これは、図１７に示したものと全く同様である。

この図２６において、最小ＳＡＤ値となる参照ブロックの位置（つまり参照ベクトル）５０１は、図１７と同様に、ブロックマッチングによりローカル動きベクトルＬＭＶとして検出される。一方、グローバル動きベクトルＧＭＶとなる参照ブロックの位置が、図２６において、位置５０３であるとする。

このとき、ローカル動きベクトルＬＭＶにおけるＳＡＤ値と、グローバル動きベクトルＧＭＶにおけるＳＡＤ値とが、画像のノイズ分に応じた差の範囲にあれば、グローバル動きベクトルＧＭＶが、最小ＳＡＤ値を取る参照ベクトルとなっている可能性がある。

つまり、本来はグローバル動きベクトルＧＭＶ（参照ブロックの位置）でのＳＡＤ値が最小となるべきであったのに、ノイズのために、異なる参照ブロックの位置（これがローカル動きベクトルＬＭＶ）を最小として検出されてしまったとすることができる。

そこで、この例では、画像のノイズ分に応じたオフセット値ＯＦＳを、グローバル動きベクトルＧＭＶでのＳＡＤ値に付加して補正する。この例の場合には、オフセット値ＯＦＳを、グローバル動きベクトルＧＭＶでのＳＡＤ値（ＳＡＤ＿ＧＭＶとする）から減算して補正する。すなわち、補正後のＳＡＤ値は、ＭｉｎＳＡＤ＿Ｇとすると、
ＭｉｎＳＡＤ＿Ｇ＝ＳＡＤ＿ＧＭＶ−ＯＦＳ ・・・ （式８）
となる。

ここで、このオフセット値ＯＦＳは、あまり大きな値を設定すると、動被写体の動きベクトルまで、最小ＳＡＤ値として判定されるようになってしまう。そこで、この実施形態では、オフセット値ＯＦＳは、ローカル動きベクトルの信頼性の指標値Ｆｔについての閾値ｔｈ（式７参照）よりも小さい値に設定される。

そして、背景／動被写体判定部２１０では、その補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇと、ローカル動きベクトルＬＭＶでのＳＡＤ値（ＭｉｎＳＡＤ）とを比較する。その比較の結果、ＭｉｎＳＡＤ＿Ｇ＜ＭｉｎＳＡＤであれば、当該ターゲットブロックについてのＳＡＤ値の最小値は、グローバル動きベクトルＧＭＶに対応する参照ブロックについてのＳＡＤ値の補正値であるＭｉｎＳＡＤ＿Ｇであると評価する。図２６は、ＭｉｎＳＡＤ＿Ｇ＜ＭｉｎＳＡＤである場合を示している。

すなわち、図２６のように、ＭｉｎＳＡＤ＿Ｇ＜ＭｉｎＳＡＤとなる場合は、当該ターゲットブロックについての真のローカル動きベクトルは、グローバル動きベクトルＧＭＶに一致すると判定する。そして、その場合は、当該ターゲットブロックに対する背景一致度合いは高いと評価し、当該ターゲットブロックについてのヒット率βは大きな値とする。そして、当該ターゲットブロックについてのＮＲ処理用動きベクトルは、グローバル動きベクトルＧＭＶとする。

ここで、この実施形態では、ヒット率βは、０≦β≦１の範囲の値とされる。ローカル動きベクトルＬＭＶと、グローバル動きベクトルＧＭＶとが全く一致したときには、ヒット率βは、β＝１とすることができる。しかし、この例では、ローカル動きベクトルＬＭＶと、グローバル動きベクトルＧＭＶとが全く一致しているかどうかの評価は行なわず、補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇと、ローカル動きベクトルＬＭＶでのＳＡＤ値（ＭｉｎＳＡＤ）との比較で評価する。したがって、評価結果には、ローカル動きベクトルＬＭＶと、グローバル動きベクトルＧＭＶとが全く一致する場合も含まれるが、不一致の場合も含まれる。

そして、後述もするように、この実施形態では、ＭｉｎＳＡＤ＿Ｇ＜ＭｉｎＳＡＤであれば、ヒット率βは、例えばβ＝０．７５とする。ここで、β＝１としなかったのは、上述のように、前記比較結果には、ローカル動きベクトルＬＭＶとグローバル動きベクトルＧＭＶとが不一致の場合が含まれるからである。

図２７に、この第１の例の場合の背景／動被写体判定部２１０の構成例（機能ブロック図）を、その周辺部と共に示す。

図２７の例においては、背景／動被写体判定部２１０は、ＳＡＤ＿ＧＭＶ検出部２１０１と、オフセット減算部２１０２と、オフセット生成部２１０３と、比較判定部２１０４とを備えて構成される。

この例の場合、マッチング処理部２１３からの再ブロックマッチング時に算出されたＳＡＤ値および各参照ブロックの位置情報（参照ベクトルの情報）が、ローカル動きベクトル算出部２１４に供給される。ローカル動きベクトル算出部２１４は、再ブロックマッチング時の最小ＳＡＤ値ＭｉｎＳＡＤを検出し、ローカル動きベクトルＬＭＶ（参照ブロックの位置情報（参照ベクトルの情報））を算出する。そして、ローカル動きベクトル算出部２１４は、再ブロックマッチング処理の結果、得られたローカル動きベクトルＬＭＶと、最小ＳＡＤ値ＭｉｎＳＡＤとを比較判定部２１０４に供給する。

マッチング処理部２１３からの再ブロックマッチング時に算出されたＳＡＤ値および各参照ブロックの位置情報（参照ベクトルの情報）は、ＳＡＤ＿ＧＭＶ検出部２１０１にも供給される。ＳＡＤ＿ＧＭＶ検出部２１０１は、グローバル動きベクトルＧＭＶに一致する参照ベクトルの参照ブロックについてのＳＡＤ値ＳＡＤ＿ＧＭＶを検出し、検出したＳＡＤ値ＳＡＤ＿ＧＭＶをオフセット減算部２１０２に供給する。

オフセット減算部２１０２では、オフセット生成部２１０３からのオフセット値ＯＦＳを、ＳＡＤ＿ＧＭＶ検出部２１０１からのＳＡＤ値ＳＡＤ＿ＧＭＶから減算して、補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇを生成する。そして、オフセット減算部２１０２は、生成した補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇを比較判定部２１０４に供給する。

オフセット生成部２１０３は、画像のノイズに応じたオフセット値ＯＦＳを生成して、オフセット減算部２１０２に供給する。画像のノイズは、画像の輝度値に応じたものとなることにかんがみ、この例では、種々の輝度値とオフセット値ＯＦＳとの対応テーブルの情報がオフセット生成部２１０３に記憶されている。

オフセット生成部２１０３は、最大輝度値検出部２１９２からの最大輝度値ＭａｘＴＡＲと最小輝度値検出部２１９３からの最小輝度値ＭｉｎＴＡＲとの差としてターゲットブロックの輝度値を算出する。そして、オフセット生成部２１０３は、算出したターゲットブロックの輝度値を引数として、前記対応テーブルを検索し、前記引数の輝度値に対応するオフセット値ＯＦＳを取得するようにする。

比較判定部２１０４は、前述したように、ローカル動きベクトルＬＭＶに対応する最小ＳＡＤ値ＭｉｎＳＡＤと、オフセット減算部２１０２からの補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇとを比較し、その比較結果に応じて、ヒット率βを生成して、出力する。

また、比較判定部２１０４には、ローカル動きベクトル算出部２１４からの再算出されたローカル動きベクトルＬＭＶと、グローバル動きベクトル算出部２１８からのグローバル動きベクトルＧＭＶも供給される。

そして、比較判定部２１０４は、ＭｉｎＳＡＤ＿Ｇ＜ＭｉｎＳＡＤである場合には、背景一致度合いが高いので、グローバル動きベクトルＧＭＶをＮＲ処理用ベクトルＭＶｎｒとして、動き補償画生成部２２に出力する。また、比較判定部２１０４は、ＭｉｎＳＡＤ＿Ｇ＜ＭｉｎＳＡＤでないときには、背景一致度合いが低いので、ローカル動きベクトルＬＭＶをＮＲ処理用ベクトルＭＶｎｒとして、動き補償画生成部２２に出力する。

なお、グローバル動きベクトルＧＭＶのＳＡＤ値検出部２１０１およびオフセット減算部２１０２は、ローカル動きベクトル算出部２１４に含まれるように構成しても良い。その場合には、ローカル動きベクトル算出部２１４は、再ブロックマッチングを行いながら、グローバル動きベクトルＧＭＶに対応する参照ブロックについてのＳＡＤ値ＳＡＤ＿ＧＭＶを検出し、オフセットＯＦＳの減算演算を行なうようにする。

＜背景／動被写体判定処理の流れ＞
図２７の構成によるローカル動きベクトル算出部２１４での再ブロックマッチング処理および背景／動被写体判定部２１０での背景一致度合い評価処理の流れを、図２８および図２９のフローチャートを参照して更に説明する。この図２８および図２９の処理は、コントロール部１５５の制御に基づいて、各部が実行する。なお、この図２８および図２９の例は、ＳＡＤ＿ＧＭＶ検出部２１０１およびオフセット減算部２１０２は、ローカル動きベクトル算出部２１４に含まれるように構成されている場合である。

先ず、コントロール部２１５の制御により、再ブロックマッチングが開始され、ターゲットブロックバッファ部２１１に最初のターゲットブロックが設定される（ステップＳ６１）。次に、コントロール部２１５の制御により、参照ブロックバッファ２１２にバッファリングされているマッチング処理範囲の参照フレームの画像データのうちから、ブロックマッチング処理する参照ブロックが設定される（ステップＳ６２）。

マッチング処理部２１３は、設定されたターゲットブロックと、設定された参照ブロックとについてブロックマッチング処理を行い、ＳＡＤ値を計算する。そして、マッチング処理部２１３は、求めたＳＡＤ値を、参照ブロックの位置情報（参照ベクトル）と共に、ローカル動きベクトル算出部２１４に供給する（ステップＳ６３）。

ローカル動きベクトル算出部２１４は、参照ベクトルがグローバル動きベクトルＧＭＶと一致しているか否か判別する（ステップＳ６４）。これは、ＳＡＤ＿ＧＭＶ検出部２１０１の処理動作に相当する。

ステップＳ６４で、参照ベクトルがグローバル動きベクトルＧＭＶとは一致していないと判別したときには、ローカル動きベクトル算出部２１４では、最小ＳＡＤ値ＭｉｎＳＡＤと、その参照ブロック位置（参照ベクトル）との更新処理を行なう（ステップＳ６５）。つまり、それまでに保持されている最小ＳＡＤ値ＭｉｎＳＡＤと、新たに算出したＳＡＤ値とを比較して、小さい方のＳＡＤ値を最小ＳＡＤ値ＭｉｎＳＡＤとして保持すると共に、参照ブロック位置（参照ベクトル）も最小ＳＡＤ値を呈するものに更新する。

次に、コントロール部２１５は、サーチ範囲内の全ての参照ブロックついてのターゲットブロックとのブロックマッチングが終了したか否か判別する（ステップＳ６８）。

そして、ステップＳ６８で、サーチ範囲内の全ての参照ブロックついての処理が終了してはいないと判別したときには、コントロール部２１５は、次の参照ブロックを設定する（ステップＳ６９）。そして、ステップＳ６２に戻り、上述したこのステップＳ６２以降の処理を繰り返す。

また、ステップＳ６４で、参照ベクトルがグローバル動きベクトルＧＭＶと一致したと判別したときには、ローカル動きベクトル算出部２１４では、そのＳＡＤ値ＳＡＤ＿ＧＭＶからオフセット値ＯＦＳを減算する（ステップＳ６６）。そして、その減算結果を補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇとして、その参照ブロック位置（参照ベクトル＝グローバル動きベクトルＧＭＶ）とを保持する（ステップＳ６７）。

そして、ステップＳ６８に進み、サーチ範囲内の全ての参照ブロックついての処理が終了したか否か判別する。

そして、ステップＳ６８で、サーチ範囲内の全ての参照ブロックついての処理が終了したと判別したときには、ローカル動きベクトル算出部２１４は、ローカル動きベクトルＬＭＶと、最小ＳＡＤ値ＭｉｎＳＡＤを検出し、比較判定部２１０４に供給する。また、ローカル動きベクトル算出部２１４は、補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇも、比較判定部２１０４に供給する（図２９のステップＳ７１）。

そして、背景／動被写体判定部２１０の比較判定部２１０４は、最小ＳＡＤ値ＭｉｎＳＡＤが、予め定められている閾値ＴＨ１より小さいか否か判別する（ステップＳ７２）。このステップＳ７２の処理は、次のような問題に対処するために設けられている。

すなわち、例えばターゲット画像上の動被写体部分に相当するブロックが、参照画像上では動きにより消失したり、大きな変形を伴ったりした場合に、サーチ範囲内のどの参照ブロックともターゲットブロックについてのマッチングが取れない状況が生じる。

このような場合、ＳＡＤテーブルのＳＡＤ値は、大きな値で、同様の値となって、最小ＳＡＤ値ＭｉｎＳＡＤと他の値が近い値となってしまう。このような状況では、グローバル動きベクトルＧＭＶに一致する参照ベクトルでのＳＡＤ値からオフセット値ＯＦＳを減算した補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇは、必ず、最小ＳＡＤ値ＭｉｎＳＡＤよりも小さくなり、背景部分と誤検出されることになるおそれがある。

そこで、この問題を回避するため、この実施形態では、グローバル動きベクトルＧＭＶに一致する参照ベクトルでのＳＡＤ値を補正して、背景一致度合いを判定する処理は、最小ＳＡＤ値ＭｉｎＳＡＤが、前記閾値ＴＨ１より大きい場合には、行わないようにする。

したがって、ステップＳ７２で、最小ＳＡＤ値ＭｉｎＳＡＤが、前記閾値ＴＨ１より大きいと判別したときには、比較判定部２１０４は、グローバル動きベクトルＧＭＶを用いた背景一致度合いの判定を行わず、ヒット率β＝０．２５とする（ステップＳ７３）。β＝０としないのは、閾値ＴＨ１より大きいＳＡＤ値を呈するターゲットブロックの中にも、背景と一致しているブロックも存在するかもしれないことを考慮したものである。

そして、比較判定部２１０４は、再算出されたローカル動きベクトルＬＭＶを、当該ターゲットブロックのＮＲ処理用動きベクトルとして動き補償画生成部２２に出力する（ステップＳ７４）。

次に、コントロール部２１５は、ターゲットフレーム内の全てのターゲットブロックについての処理が終了したか否か判別し（ステップＳ８０）、終了していなければ、次のターゲットブロックを設定する（ステップＳ８１）。そして、ステップＳ６２に戻り、コントロール部２１５の制御の下に、上述したステップＳ６２以降の処理を繰り返す。

また、ステップＳ７２で、最小ＳＡＤ値ＭｉｎＳＡＤが、前記閾値ＴＨ１より小さいと判別したときには、比較判定部２１０４は、最小ＳＡＤ値ＭｉｎＳＡＤと、補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇとを比較する（ステップＳ７５）。そして、比較判定部２１０４は、ＭｉｎＳＡＤ＞ＭｉｎＳＡＤ＿Ｇであるか否か判別し（ステップＳ７６）、そうではないと判別したときには、ターゲットブロックは背景には一致していないとして、ヒット率βは、β＝０とする（ステップＳ７７）。

このステップＳ７７の次には、ステップＳ７４に進み、比較判定部２１０４は、再算出されたローカル動きベクトルＬＭＶを、当該ターゲットブロックのＮＲ処理用動きベクトルとして動き補償画生成部２２に出力する。そして、ステップＳ８０に進み、前述したステップＳ８０以降の処理を繰り返す。

また、ステップＳ７６で、ＭｉｎＳＡＤ＞ＭｉｎＳＡＤ＿Ｇであると判別したときには、ターゲットブロックは背景に一致している度合いが高いとして、ヒット率βは、β＝０．７５とする（ステップＳ７８）。そして、比較判定部２１０４は、グローバル動きベクトルＧＭＶを、当該ターゲットブロックのＮＲ処理用動きベクトルとして動き補償画生成部２２に出力する（ステップＳ７９）。

そして、このステップＳ７９の次には、ステップＳ８０に進み、コントロール部２１５は、ターゲットフレーム内の全てのターゲットブロックについての処理が終了したか否か判別する。このステップＳ８０で、ターゲットフレーム内の全てのターゲットブロックについての処理が終了していないと判別したときには、コントロール部２１５は、次のターゲットブロックを設定し（ステップＳ８１）、その後、ステップＳ６２に戻る。

また、ステップＳ８０で、ターゲットフレーム内の全てのターゲットブロックについての処理が終了したと判別したときには、コントロール部２１５は、この背景／動被写体判定処理動作を終了する。

なお、上述の実施形態では、グローバル動きベクトルＧＭＶのＳＡＤ値ＳＡＤ＿ＧＭＶに対してオフセット値ＯＦＳを減算して、補正ＳＡＤ値ＭｉｎＳＡＤ＿Ｇを得て、それと最小ＳＡＤ値ＭｉｎＳＡＤとを比較するようにした。しかし、ローカル動きベクトルＬＭＶの最小ＳＡＤ値ＭｉｎＳＡＤにオフセット値ＯＦＳを加算した値（ＭｉｎＳＡＤ＋ＯＦＳ）と、グローバル動きベクトルＧＭＶのＳＡＤ値ＳＡＤ＿ＧＭＶとを比較しても全く等価である。

＜第２の例；ゲイン乗算によるＳＡＤ値の補正＞
上述した第１の例では、オフセット値ＯＦＳの付加によりグローバル動きベクトルＧＭＶと一致する参照ベクトル位置の参照ブロックについてのＳＡＤ値ＳＡＤ＿ＧＭＶを補正するようにした。

同様の考え方により、オフセット付加の代わりに、画像のノイズ分を考慮したゲインｇを乗算することにより、ＳＡＤ値ＳＡＤ＿ＧＭＶを補正することもできる。この例の場合には、ＳＡＤ値ＳＡＤ＿ＧＭＶを、より小さい方向にゲイン倍するようにするので、ゲインｇは、ｇ＜１となる。なお、相関値が相関の強さに応じて大きくなるものであるときには、ｇ＞１であることは勿論である。

この第２の例における、グローバル動きベクトルＧＭＶでのＳＡＤ値ＳＡＤ＿ＧＭＶの補正後ＳＡＤ値ＭｉｎＳＡＤ＿Ｇは、
ＭｉｎＳＡＤ＿Ｇ＝ＳＡＤ＿ＧＭＶ×ｇ ・・・ （式９）
となる。

＜加算率計算部２４の構成例＞
この実施形態においては、加算率計算部２４では、画素単位に加算率α（０≦α≦１）を求める。そして、前述したように、基本的には、ターゲット画像と動き補償画像との画素単位の違いと、ヒット率βとに応じて加算率αを計算する。このため、加算率計算部２４には、ヒット率βと、ターゲット画像のデータＴＧｖおよび動き補償画像のデータＭＣｖが供給される。

ここで、ターゲット画像と動き補償画像との画素単位の違いが大きければ、動き部分と考えられるので、加算率αは低くすべきであるが、前記画素単位の違いがない、あるいは小さければ加算率αは高くしても良い。しかし、ターゲットブロックが背景静止画部分であるか、動被写体部分であるかが不明である場合には、前述したように、動き部分における２重露光が目立たないようにするために、加算率αは比較的低く抑える必要がある。

しかし、この実施形態では、ヒット率βにより、背景静止画部分としての一致度合いが求められているので、ヒット率βが大きく、背景一致度合いが高いほど、加算率αは高くするようにする。

また、この実施形態では、さらに画像のノイズは、画像の明るさに応じたものとなるので、加算率計算部２４では、ターゲット画像と動き補償画像との画素単位の違いに関しては、当該画像の明るさに応じたノイズを考慮するようにしている。すなわち、ターゲット画像と動き補償画像との画素単位の違いがノイズの範囲内であれば、両者の実際の差分は小さいと判断する。また、前記画素単位の違いがノイズの範囲よりも大きいときには、両者の差分は、実際に大きいと判断するようにする。

このノイズを考慮するため、加算率計算部２４には、動きベクトル算出部２１から、最大輝度値ＭａｘＴＡＲおよび最小輝度値ＭｉｎＴＡＲが供給される。そして、加算率計算部２４では、この最大輝度値ＭａｘＴＡＲおよび最小輝度値ＭｉｎＴＡＲから、ターゲットブロック毎の明るさ、つまり、照度Ｌｘを算出するようにする。

また、この実施形態の加算率計算部２４には、加算度合いを、加算率計算部２４の外部から制御することができるようにするため、加算調整用ゲインＧＡが供給される。この加算調整用ゲインＧＡの値は、予め用意されているゲイン値の中から、ユーザが選択したものとするように構成することができる。あるいは、撮像画像のＩＳＯ感度に応じて、加算調整用ゲインＧＡの値を定めるように構成しても良い。後者の場合には、例えば撮像時の露出値やシャッター速度などに応じて、画像の明るさを判断して、加算調整用ゲインＧＡの値を定めるように構成することができる。つまり、明るい画像の場合には、ノイズが目立つので、加算率が小さくなるようにゲインを小さくし、逆に、暗い画像の場合には、加算率を大きくするようにゲインを大きく設定する。

この実施形態の加算率計算部２４のハードウエア構成例を図３０および図３１に示す。この図３０および図３１の例においては、ターゲット画像のデータＴＧｖおよび動き補償画像のデータＭＣｖは、輝度成分と、色差成分とのそれぞれについて、別個に処理がなされる。

図３０は、加算率計算部２４における、輝度成分についての処理部分である。図３０を参照して、先ず、輝度成分についての加算率計算処理についての説明する。

すなわち、ターゲット画像のデータＴＧｖのうちの輝度データＹtgは、ローパスフィルタ６０１を通じて差分絶対値計算部６０３に供給される。また、動き補償画像のデータＭＣｖのうちの輝度データＹmcが、ローパスフィルタ６０２を通じて差分絶対値計算部６０３に供給される。

差分絶対値計算部６０３は、画素毎に、輝度データＹtgと輝度データＹmcとの画素差分絶対値ΔＰｘＹを算出し、算出した画素差分絶対値ΔＰｘＹを、加算率変換出力部６０８に供給する。

ローパスフィルタ６０１を通じた輝度データＹtgは、また、空間平均フィルタ６０４に供給される。そして、ローパスフィルタ６０２を通じた輝度データＹmcは、また、空間平均フィルタ６０５に供給される。

空間平均フィルタ６０４および６０５のそれぞれは、差分絶対値計算部６０３で画素差分を求める画素（注目画素という）の周囲の８個の画素と、自画素との９個の画素の平均値ＭtgおよびＭmcを求める。そして、空間平均フィルタ６０４および６０５は、求めた平均値ＭtgおよびＭmcは、差分絶対値計算部６０６に供給する。

差分絶対値計算部６０６では、平均値Ｍtgと平均値Ｍmcとの平均差分絶対値ΔＭｅＹを算出し、算出した平均差分絶対値ΔＭｅＹを、加算率変換出力部６０９に供給する。

そして、この例においては、輝度成分についてのノイズモデルメモリ６０７が設けられる。このノイズモデルメモリ６０７には、画素値の輝度値に対するノイズ標準偏差σが、予め算出されて記憶されている。すなわち、横軸に画素値の輝度値を取り、縦軸にノイズ標準偏差σを取ったとき、ノイズ標準偏差σは、例えば図３２に示すようなものとなる。この図３２に示すように、明るい画素に対しては、ノイズの標準偏差σは小さく、暗い画素に対しては、ノイズの標準偏差σは大きい。

なお、この図３２の特性図は、ＲＡＷデータではなく、ガンマ補正が施された後の撮像データについてのものである。撮像素子１１からのＲＡＷデータについて示した図３の場合とは異なっているが、両者は本質的には変わりは無い。

ノイズモデルは、ノイズが画像の明るさにより異なるものであるので、ノイズモデルメモリ６０７には、画像の照度Ｌｘに応じた複数個のノイズモデルが記憶されている。

そして、前述したようにして、最大輝度値ＭａｘＴＡＲおよび最小輝度値ＭｉｎＴＡＲから求められたターゲットブロック毎の照度Ｌｘが、ノイズモデルメモリ６０７に、照度に応じたノイズモデルを選択用として供給される。これにより、どのノイズモデルを使用するかが、照度Ｌｘにより定められる。

また、ローパスフィルタ６０１を通じたターゲット画像データＴＧｖの輝度データＹtgが、ノイズモデルメモリ６０７に供給され、照度Ｌｘおよび輝度データＹtgにより定まるノイズ標準偏差σＹが、ノイズモデルメモリ６０７から得られる。このノイズ標準偏差σＹは、加算率変換出力部６０８および６０９に供給される。

さらに、これら加算率変換出力部６０８および６０９には、動きベクトル算出部１５からのヒット率βと、外部からのゲインＧＡが供給される。

加算率変換出力部６０８は、画素差分絶対値ΔＰｘＹと、ノイズ標準偏差σＹと、ヒット率βと、ゲインＧＡとを変換パラメータとする変換関数を用いて、画素差分絶対値ΔＰｘＹに基づく加算率αＹＡを出力する。

また、加算率変換出力部６０９は、平均差分絶対値ΔＭｅＹと、ノイズ標準偏差σＹと、ヒット率βと、ゲインＧＡとを変換パラメータとする変換関数を用いて、平均差分絶対値ΔＭｅＹに基づく加算率αＹＢを出力する。

加算率変換出力部６０８および６０９は、基本的には、図３３に示すように、ノイズ標準偏差σと、差分値とから加算率αを定める。なお、加算率変換出力部６０８および６０９では、ノイズ標準偏差σは、ノイズモデルメモリ６０７からのノイズ標準偏差σＹであり、差分値は、画素差分絶対値ΔＰｘＹおよび平均差分絶対値ΔＭｅＹである。そして、出力加算率αは、加算率αＹＡおよびαＹＢである。

この実施形態では、図３３に示すように、差分値が、ノイズ標準偏差σの倍数として設定できる所定の第１の閾値以下のときには、背景画像部分であるとして、加算率αは、最大値であるα＝１とする。

そして、差分値が、（第１の閾値＜差分値＜第２の閾値）の範囲では、背景部分と動被写体部分とのいずれとの判断ができない部分として、図３３に示すように、加算率αは差分値が大きくなるに従って直線的に小さくなるようにされる。そして、（差分値≧第２の閾値）の範囲では、動被写体部分であると判断して、加算率αは、最小値であるα＝０とする。

ターゲットブロックの背景一致度合いが不明であるときには、上述したように、動被写体部分での二重露光のような状態を軽減するために、第１の閾値は安全を見越した値とされて、加算率αは全体的に抑制される。つまり、背景画像部分であることが分かっていれば、第１の閾値および第２の閾値を大きな値として設定して、できるだけ大きな加算率での画像加算を行なうことができる。

しかし、背景一致度合いが不明であるであるときには、全てのターゲットブロックについて、動被写体部分での二重露光のような状態を軽減するようにすることを考慮する必要がある。そのため、通常は、図３３の例に示すように、第１の閾値は、標準偏差σの１倍（１σ）程度とされ、第２の閾値は、標準偏差の３倍（３σ）程度とされる。

これに対して、この実施形態では、上述したように、ターゲットブロック毎に、背景一致度合いが、その指標値であるヒット率βとして算出される。したがって、この背景一致度合いの指標値βを用いることにより、背景静止画像部分では、より大きな加算率で加算を行うことが可能となる。

ヒット率βを考慮した場合における加算率変換出力部６０８および６０９での加算率変換出力特性を図３４に示す。

すなわち、図３４の例においては、ヒット率βに応じて、差分値に対する第１の閾値を変更するようにする。すなわち、ヒット率βが最低で、β＝０であるとき（動被写体部分）では、図３３の例の場合と同様に、第１の閾値は、標準偏差σの１倍（１σ）とする。そして、ヒット率βが、β＞０であるときには、ヒット率βの値に応じて第１の閾値を、より大きなものに変更する。

そして、図３４の例においては、差分値が第１の閾値よりも大きくなったときからの加算率αの漸減直線の傾きは常に一定とされる。したがって、図３４の例では、第２の閾値は、第１の閾値の変更に応じて自動的に変更される。

例えば、図３５に示すように、ヒット率βを考慮しない図３３の例の場合（β＝０）においては、差分値が２σであるときには、加算率αは常に０．５となる。これに対して、ヒット率を考慮する場合においては、図３５に示すように、ヒット率β＝１．０である背景静止画像部分では、加算率αはα＝１となり、最大の加算率で加算されるようになる。

このように、背景静止画像部分では、ヒット率βに応じて、より大きな加算率αが設定されるので、所期の通りのノイズ低減効果が得られる。また、動被写体部分では、ヒット率βに応じて加算率αは低く抑えられるので、二重露光の状態を軽減するという効果を維持することができる。

なお、上述の例では、第１の閾値のみをヒット率βに応じて変更し、差分値が第１の閾値よりも大きくなったときからの加算率αの漸減直線の傾きは常に一定としたが、第２の閾値をもヒット率に応じて変更して、前記漸減直線の傾きも変更するようにしても良い。

次に、加算率変換出力部６０８および６０９におけるゲインＧＡの寄与について説明する。

ゲインＧＡは、以上のようにして算出される加算率αを、さらに、変更制御するパラメータである。前述したように、このゲインＧＡは、ユーザにより設定されたり、撮影条件に応じて画像の明るさに応じて設定されたりするものである。例えばユーザにより設定する場合には、ＮＲ加算により、より大きなノイズ低減効果を得ようとする場合には、ゲインＧＡは大きくする。すると、上述のようにして算出された加算率αが、ゲインＧＡに応じた値に変更制御される。

図３６に、加算率変換出力部６０８および６０９における、ゲインＧＡと、ヒット率βと、加算率αとの関係を示す。図３６では、加算率αは、ヒット率β＝０の場合の加算率を基準加算率αｏとして、その基準加算率αｏを基にした値として示している。

この図３６の例においては、ゲインＧＡは、ユーザにより、あるいは、撮影条件などにより、ＧＡ＝０、ＧＡ＝１、ＧＡ＝２、ＧＡ＝３の４段階に、変更設定可能とされる。そして、ヒット率βも、β＝０、β＝０．２５、β＝０．５、β＝１．０の４段階に設定されるようにされる。

そして、加算率αは、図３６に示すように、基準加算率αｏを係数Ｋ倍（Ｋ≧１）したものとされるが、その係数Ｋが、ゲインＧＡとヒット率βとの組み合わせに応じた倍数とされるものである。

以上のようにして、加算率変換出力部６０８では、画素差分絶対値ΔＰｘＹと、ノイズ標準偏差σＹと、ヒット率βと、ゲインＧＡとから、輝度成分の画素差分に基づく出力加算率αＹＡを出力する。また、加算率変換出力部６０８では、平均差分絶対値ΔＭｅＹと、ノイズ標準偏差σＹと、ヒット率βと、ゲインＧＡとから、輝度成分の平均差分に基づく出力加算率αＹＢを出力する。

色差信号成分については、平均差分は計算されず、画素差分絶対値のみが計算されて、上述した輝度成分と同様にして、色差成分に基づく加算率が算出される。

図３１は、加算率計算部２４における、色差成分についての処理部分である。図３１を参照して、色差成分についての加算率計算処理についての説明する。

すなわち、ターゲット画像のデータＴＧｖのうちの青の色差データＣｂtgは、ローパスフィルタ６２１を通じて差分絶対値計算部６２３に供給される。また、動き補償画像のデータＭＣｖのうちの青の色差データＣｂmcが、ローパスフィルタ６２２を通じて差分絶対値計算部６２３に供給される。差分絶対値計算部６２３は、画素毎に、色差データＣｂtgと色差データＣｂmcとの画素差分絶対値ΔＰｘＣｂを算出し、算出した画素差分絶対値ΔＰｘＣｂを、加算率変換出力部６２５に供給する。

そして、輝度成分の場合と同様に、画素値の青の色差成分についてのノイズモデルメモリ６２４が設けられ、このノイズモデルメモリ６２４には、画素値の青の色差成分値に対するノイズ標準偏差σが、予め算出されて記憶されている。輝度成分の場合と同様に、ノイズモデルメモリ６２４には、画像の照度Ｌｘに応じた複数個のノイズモデルが記憶されている。

そして、ターゲットブロック毎の照度Ｌｘと、ローパスフィルタ６２１を通じたターゲット画像データＴＧｖの色差データＣｂtgが、ノイズモデルメモリ６２４に供給される。これにより、ノイズモデルメモリ６２４から、照度Ｌｘおよび色差データＣｂtgにより定まるノイズ標準偏差σＣｂが得られ、加算率変換出力部６２５に供給される。

さらに、この加算率変換出力部６２５には、動きベクトル算出部２１からのヒット率βと、外部からのゲインＧＡが供給される。

加算率変換出力部６２５は、上述した加算率変換出力部６０８や６０９と同様の構成を有するもので、これよりは、画素差分絶対値ΔＰｘＣｂと、ノイズ標準偏差σＣｂと、ヒット率βと、ゲインＧＡとの組み合わせにより定まる加算率αＣｂが得られる。

同様にして、ターゲット画像のデータＴＧｖのうちの赤の色差データＣｒtgは、ローパスフィルタ６３１を通じて差分絶対値計算部６３３に供給される。また、動き補償画像のデータＭＣｖのうちの赤の色差データＣｒmcが、ローパスフィルタ６３２を通じて差分絶対値計算部６３３に供給される。差分絶対値計算部６３３は、画素毎に、色差データＣｒtgと色差データＣｒmcとの画素差分絶対値ΔＰｘＣｒを算出し、算出した画素差分絶対値ΔＰｘＣｒを、加算率変換出力部６３５に供給する。

そして、輝度成分の場合と同様に、画素値の赤の色差成分についてのノイズモデルメモリ６３４が設けられ、このノイズモデルメモリ６３４には、画素値の赤の色差成分値に対するノイズ標準偏差σが、予め算出されて記憶されている。輝度成分の場合と同様に、ノイズモデルメモリ６３４には、画像の照度Ｌｘに応じた複数個のノイズモデルが記憶されている。

そして、ターゲットブロック毎の照度Ｌｘと、ローパスフィルタ６３１を通じたターゲット画像データＴＧｖの色差データＣｒtgが、ノイズモデルメモリ６３４に供給される。これにより、ノイズモデルメモリ６３４から、照度Ｌｘおよび色差データＣｒtgにより定まるノイズ標準偏差σＣｒが得られ、加算率変換出力部６３５に供給される。

さらに、この加算率変換出力部６３５には、動きベクトル算出部２１からのヒット率βと、外部からのゲインＧＡが供給される。

加算率変換出力部６３５は、上述した加算率変換出力部６０８や６０９と同様の構成を有するもので、これよりは、画素差分絶対値ΔＰｘＣｒと、ノイズ標準偏差σＣｒと、ヒット率βと、ゲインＧＡとの組み合わせにより定まる加算率αＣｒが得られる。

また、この実施形態では、ターゲット画像の画素分散値に基づいても、加算率を求めるようにする。分散値は、注目画素（自画素）と、その周囲近傍の例えば８画素とについて求める。この分散値は、輝度成分および色差成分のそれぞれについて求める。そして、求めた分散値のすべてから、加算率を算出する。

すなわち、図３０に示すように、ターゲットブロックの画像データＴＧｖの輝度データＹtgは、ローパスフィルタ６０１を通じて空間分散フィルタ６１０に供給される。そして、この空間分散フィルタ６１０から、注目画素（自画素）と、その周囲近傍の例えば８画素との合計９個の画素についての分散値ＶａＹが得られる。

また、図３１に示すように、ターゲットブロックの画像データＴＧｖの青の色差データＣｂtgは、ローパスフィルタ６２１を通じて空間分散フィルタ６２６に供給される。そして、この空間分散フィルタ６２６から、注目画素（自画素）と、その周囲近傍の例えば８画素との合計９個の画素についての分散値ＶａＣｂが得られる。

さらに、ターゲットブロックの画像データＴＧｖの赤の色差データＣｒtgは、ローパスフィルタ６３１を通じて空間分散フィルタ６３６に供給される。そして、この空間分散フィルタ６３６から、注目画素（自画素）と、その周囲近傍の例えば８画素との合計９個の画素についての分散値ＶａＣｒが得られる。

そして、分散値ＶａＹ、ＶａＣｂおよびＶａＣｒは、図３０に示すように、加算部６１１で加算された後、加算率変換出力部６１２に供給される。さらに、加算率変換出力部６１２には、動きベクトル算出部１５からのヒット率βと、外部からのゲインＧＡが供給される。

この加算率変換出力部６１２で求める加算率αＣは、ターゲットブロックの画像が、テクスチャー成分が少なく、輝度レベル変化がなだらかな場合（グラデーションの場合）に、その加算率を抑えることを目的としている。この実施形態のようにブロック分割した画像処理においては、人間の視覚効果により、ブロック境界が非常に目立ち易くなり、特に、輝度レベル変化がなだらかな場合には殊更であることを考慮している。

上記の目的を実現させるために、基本的には、ブロック内の分散値が低いほど加算率を低くすれば良い。この実施形態の加算率変換出力部６１２では、図３７（Ａ）に示すように、分散値を横軸に取ると共に、分散値を所定の段階幅毎に幾つかの段階に分け、出力加算率を各段階の分散値に応じて決定するようにする。

図３７（Ａ）の例では、分散値を段階幅８毎に、５段階に分け、分散値０−７に対する加算率を０．０、分散値８−１５に対する加算率を０．２５、分散値１６−２３に対する加算率を０．５、分散値２４−３１に対する加算率を０．７５、分散値３２以上に対する加算率を１．０とする。

ところで、画像を重ね合わせる場合に、上述のようなブロック毎の境界が目立つのは、重ね合わせる画像に差異があるからである。換言すれば、背景静止画像部分については、重ね合わせる画像に差異はないので、分散値に応じた加算率の抑制をする必要はない。

そこで、この実施形態では、加算率変換出力部６１２では、ヒット率βに応じて、分散値の段階幅を制御し、ヒット率βが大きいほど、分散値の段階幅を小さくするようにする。これにより、背景静止画像部分については、分散値に応じた加算率の低減を抑制し、できるだけ、高い加算率で加算ができるようにしている。

すなわち、図３７の例では、ヒット率βが、例えばβ＝０というように低い値のときには、分散値の段階幅は、図３７（Ａ）に示すように、「８」とする。そして、ヒット率βが、例えばβ＝０．５というような値のときには、分散値の段階幅は、図３７（Ｂ）に示すように、「４」とする。

さらに、ヒット率βが、背景静止画部分であることを示すβ＝１であるときには、分散値の段階幅は、図３７（Ｃ）に示すように、「０」とする。つまり、このときには、分散値による加算率の低減は行なわない。

上述したように、加算率変換出力部６１２にも、ゲインＧＡが供給されており、このゲインＧＡによる出力加算率の制御が行なえるようにしている。この例の場合、ゲインＧＡにより、ヒット率βとの組み合わせにより、前述した分散値の段階幅を変更制御するようにする。

図３８に、加算率変換出力部６１２における、ゲインＧＡと、ヒット率βと、段階幅との関係を示す。この図３８の例においても、ゲインＧＡは、ユーザにより、あるいは、撮影条件などにより、ＧＡ＝０、ＧＡ＝１、ＧＡ＝２、ＧＡ＝３の４段階に、変更設定可能とされる。そして、ヒット率βも、β＝０、β＝０．２５、β＝０．５、β＝１．０の４段階に設定されるようにされる。

なお、図３８の例においては、段階幅については、ビットシフト演算により実現可能なように構成している。

なお、図３７に示したように、この実施形態では、分散値を用いた加算率の算出に際しては、分散値について、段階幅を用いた複数段階を設定する構成としたが、複数段階とするのではなく、当該複数段階の間を線形補間するようにする構成としても良い。また、線形補間ではなく、２次曲線補間や３次曲線補間をするようにしても良い。

以上のようにして、各加算率変換出力部６０８、６０９、６１２、６２５および６３５では、輝度差分値や色差差分値、輝度平均差分値、分散値などに応じると共に、ヒット率βに応じた値として加算率αＹＡ、αＹＢ、αＣ、αＣｂ、αＣｒが算出される。

そして、この実施形態では、これらの加算率αＹＡ、αＹＢ、αＣ、αＣｂ、αＣｒが合成されて、加算率計算部２１の出力加算率αが得られる。すなわち、図３０に示すように、加算率変換出力部６０８および６０９からの加算率αＹＡおよびαＹＢは、乗算器６１３で乗算され、その乗算結果が乗算器６１４に供給される。この乗算器６１４には、加算率変換出力部６２５からの加算率αＣｂが供給されて、乗算器６１３の乗算結果と乗算される。

そして、この乗算器６１４の乗算結果は、乗算器６１５に供給される。この乗算器６１５には、加算率変換出力部６３５からの加算率αＣｒが供給されて、乗算器６１４の乗算結果と乗算される。また、この乗算器６１５の乗算結果は、乗算器６１６に供給される。この乗算器６１６には、加算率変換出力部６１２からの加算率αＣが供給されて、乗算器６１５の乗算結果と乗算される。

以上により、乗算器６１６からは、算出された全ての加算率αＹＡ、αＹＢ、αＣ、αＣｂ、αＣｒが乗算された乗算結果が得られ、これが加算率計算部２４の出力加算率αとして出力される。

こうして、加算率計算部２４からは、画素単位で、ヒット率βに応じた値として加算率αが算出され、加算部２３に供給される。

加算部２３では、この加算率計算部２４からの画素毎の加算率αに応じて、ターゲットブロックの画像データＴＧｖと、動き補償ブロックの画像データＭＣｖとが画素単位で加算される。そして、加算部２３からの加算画像データは、画像メモリ部４、静止画コーデック部１６を介して、記録再生装置部５に記録される。

［実施形態の効果］
上述した実施形態によれば、ターゲットブロック毎に背景一致度合いの指標値であるヒット率βを用いて、静止画像部分では、加算率αを大きくすることができるので、ＮＲ画像として、ノイズ低減効果が大きい画像が得られるという顕著な効果を奏する。

また、動被写体部分では、加算率αが小さくされて加算されないようにされるので、動き部分が２重露光のような状態となってしまうことが軽減される。

ところで、この実施形態では、加算する複数枚の画像フレームの１枚目については、面内ＮＲのノイズ低減強さは強くなるように設定されているので、当該１枚目の画像フレームにおいては、信号成分のディテール部分が消失してしまうおそれがある。

しかし、この実施形態では、面内ＮＲ処理部１４においては、２枚目以降の画像フレームの面内ＮＲのノイズ低減強さは弱く設定されているので、当該２枚目以降の画像フレームにおける信号成分の消失は少ない。

そして、加算ＮＲ処理部２０において、この信号成分の消失が少ない２枚目以降の画像フレームが、前記１枚目の画像フレームに対して加算されることにより、信号成分が復元される。

特に、この実施形態では、静止画像部分は、大きな加算率αで加算されることにより、信号成分の復元により、良好な画像の状態となる。また、画像加算による時間方向のノイズ低減の効果も良好に得られる。

一方、動被写体部分は、加算率が小さいことにより、信号成分の復元および時間方向のノイズ低減は少ないが、動き部分であるので、信号成分の劣化は目立たないという特徴がある。そして、１枚目の画像フレームに対する面内ＮＲ処理部１４でのノイズ低減効果が大きいので、ノイズが少なくなる。すなわち、２重露光のような画像の軽減効果を得ながら、ノイズの少ない動被写体部分の画像データが得られると言う効果がある。

この実施形態の効果について、更に説明する。

上述したように、複数枚加算ＮＲ処理は、基準画像（ターゲット画像）と参照画像の２枚の画像の位置合わせを行い、基準画像と参照画像を位置合わせした画像との差分値を相関値として評価を行う。

図３３〜図３５に示したように、前記評価値が、１σであれば１００％加算平均し、１σ〜３σの間は位置合わせ画像の加算率を０〜９９％に変化させ加算平均を行う。

この複数枚加算ＮＲ処理では、面内ＮＲ処理と異なり、時間軸のずれた同じ画素位置の画素を平均する。したがって、静止領域であれば、基準画像と位置合わせ画像（参照画像）のエッジ部は同じ位相に来るため、画素平均を行ってもエッジ部がなまることはない。つまり、信号成分の劣化は少ない。

また、動被写体領域の場合であれば、前記評価値の相関値が３σに入らないため、加算平均化処理は行われず、エッジ部がなまったり、透けたりすることもない。これが、実施形態の複数枚画像加算ＮＲ処理の特徴である。

従来のように、面内ＮＲ処理において、閾値θｔｈを一律３σにして複数枚画像加算を行った場合、ノイズ成分は３σ＋δ（δは複数枚加算ＮＲ処理におけるノイズリダクション効果）のノイズリダクション効果を得ることができる。

しかし、加算する複数枚の入力画像において、すべての信号のエッジ成分が同様になまっているため、復元することができない。さらに、図４５で示したように、加算ＮＲ処理部２０において、画像同士の位置合わせをピクセル単位で合わせることができなかった場合、さらに信号のエッジ成分がなまってしまうことがある。

一方、面内ＮＲ処理の閾値θｔｈを一律１σにした場合、信号のエッジ成分は保存できるが、ノイズ成分は１σ＋δのノイズリダクション効果しか得ることができない。

これに対して、上述の実施形態では、その特徴から、１枚目の面内ＮＲでなまってしまった信号成分も、加算する複数枚の画像フレームの２枚目以降の信号成分と加算平均を行うことにより、復元することが可能となる。

また、１枚目の面内ＮＲ処理における閾値θｔｈを３σに設定し、その他の画像の面内ＮＲ処理における閾値θｔｈを１σにすることで、ノイズ成分については、３σ＋δのノイズリダクション効果を得ることができる。

つまり、静止領域では信号成分のエッジ成分は残しつつ、高いノイズリダクション効果が得られ、動被写体領域においても、通常の１枚キャプチャーと同等となる３σのノイズリダクション効果のある画像が得られる。

［他の実施形態および変形例］
静止画について、加算ＮＲ処理を行う場合には、ターゲット画像と参照画像とを、どのように選択設定するか、また、画像の重ね合わせ順序をどのようにするか、などにより、種々の例がある。

複数枚の画像の重ね合わせを行う場合、動き補償をする基準となる画像が必要になる。上述した実施形態では、シャッターを切った瞬間の画像が撮影者の意図した画像であるという考えから、１枚目の撮影画像を基準画像にしている。つまり、撮影者がシャッターを切り、１枚目に撮影した写真に対して、時間的に後で撮影した画像を使って、重ね合わせを行っている。

そして、上述の加算方法は、ターゲット画像と参照画像を重ね合わせた結果のＮＲ画像を、次のターゲット画像としており、２回目以降の画像重ね合わせにおいて、ターゲット画像は常にＮＲ処理を施した画像になっている。この加算方式をターゲット加算方式と呼ぶ。

このターゲット加算方式の画像重ね合わせのイメージ図を、高速連写で４枚の画像を撮影したときを例に、図３９に示す。

撮影画像を、時間的にシャッターの押下時点から近い順に、Ｏｒｇ０、Ｏｒｇ１、Ｏｒｇ２、Ｏｒｇ３とする。図３９に示すように、始めに、撮影画像Ｏｒｇ０をターゲット画像、撮影画像Ｏｒｇ１を参照画像とし、動き補償画像ＭＣ１を作る。そして、撮影画像Ｏｒｇ０と動き補償画像ＭＣ１を重ね合わせて、加算ＮＲ画像ＮＲ１を作る。

次に、加算ＮＲ画像ＮＲ１をターゲット画像、撮影画像Ｏｒｇ２を参照画像とし、動き補償画像ＭＣ２を作る。そして、加算ＮＲ画像ＮＲ１と動き補償画像ＭＣ２を重ね合わせて加算ＮＲ画像ＮＲ２を作る。

次に、加算ＮＲ画像ＮＲ２をターゲット画像、撮影画像Ｏｒｇ３を参照画像とし、動き補償画像ＭＣ３を作る。そして、加算ＮＲ画像ＮＲ２と動き補償画像ＭＣ３を重ね合わせて、４枚の画像が最終的に１枚に合成された加算ＮＲ画像ＮＲ３を作る。

上述したターゲット画像が常に加算ＮＲ画像となるターゲット加算方式の他に、参照画像を常にＮＲ画像にする参照加算方式があり、この参照加算方式にも、この発明は、適用することが可能である。

図４０に、図３９の場合と同様に、高速連写で４枚の画像を撮影したときを例に、参照加算方式のイメージ図を示す。

始めに、撮像画像Ｏｒｇ２をターゲット画像、撮像画像Ｏｒｇ３を参照画像とし、動き補償画像ＭＣ３を作る。そして、撮像画像Ｏｒｇ２と動き補償画像ＭＣ３を重ね合わせて、加算ＮＲ画像ＮＲ３を作る。

次に、撮像画像Ｏｒｇ１をターゲット画像、加算ＮＲ画像ＮＲ３を参照画像とし、動き補償画像ＭＣ２を作る。撮像画像Ｏｒｇ１と加算ＮＲ画像ＮＲ３を重ね合わせて加算ＮＲ画像ＮＲ２を作る。

次に、撮像画像Ｏｒｇ０をターゲット画像、加算ＮＲ画像ＮＲ２を参照画像とし、動き補償画像ＭＣ１を作る。そして、撮像画像Ｏｒｇ０と動き補償画像ＭＣ１を重ね合わせて加算ＮＲ画像ＮＲ１を作る。この加算ＮＲ画像ＮＲ１が、最終的に１枚に合成されたＮＲ画像になる。

この参照加算方式の場合にも、１枚目の撮像画像Ｏｒｇ０についての面内ＮＲのノイズ手減強さを強くし、その他の撮像画像Ｏｒｇ１，Ｏｒｇ２，Ｏｒｇ３についての面内ＮＲのノイズ低減強さを弱くするようにすると良い。

なお、上述の例のように、加算ＮＲ処理する複数枚の画像フレームのうちの、１枚目の撮像画像フレームについての面内ＮＲのノイズ低減強さを強くしたときには、最も、好ましい効果が得られる。

しかし、この発明においては、面内ＮＲ処理のノイズ低減の強さを可変とし、強い面内ＮＲを施して信号成分が消失した画像フレームに対して、弱い面内ＮＲにより信号成分が残留している画像フレームを加算することにより、消失した信号成分の復元ができる。したがって、加算する複数枚の画像フレームについての面内ＮＲのノイズ低減強さの制御は、上述の例に限られるものではない。

すなわち、面内ＮＲ処理のノイズ低減の強さを強くする画像フレームは、１枚目ではなく、２枚目、３枚目、・・・など、任意枚数目であっても良い。また、ノイズ低減の強さを強くする画像フレームは、１枚目のみではなく、２枚目も同様にするなど、複数枚の画像フレームとしても良い。

また、面内ＮＲ処理のノイズ低減の強さは、上述の例のように２段階ではなく、最大の強い、中間の強さ、最小の強さなど、３段階以上であっても良い。その場合に、何枚目をどのノイズ低減の強さにするかも、上述のように任意とすることができる。なお、ノイズ低減の強さが弱い設定状態には、面内ＮＲ処理を施さない場合を含むことができる。

また、上述の実施形態は、静止画撮像時の場合であるが、この発明は、動画撮像時にも適用することもできる。例えば、動画撮影開始時には、面内ＮＲ処理のノイズ低減の強さを強くし、その他は面内ＮＲ処理のノイズ低減の強さを弱くする。また、一旦、記録した動画画像データの場合であれば、シーンチェンジ位置を検出し、当該シーンチェンジ位置では、面内ＮＲ処理のノイズ低減の強さを強くし、その他は面内ＮＲ処理のノイズ低減の強さを弱くするように設定しても良い。

なお、上述の実施形態では、加算ＮＲ処理は、ＹＣデータについて行うようにしたが、面内ＮＲ処理は、ＲＡＷ信号について施されるので、加算ＮＲ処理をＲＡＷ画像信号に対して行う場合にも、この発明は適用可能である。

なお、上述の実施形態は、画像処理装置が撮像装置の場合であるが、この発明が適用される画像処理装置は、撮像装置に限らないことは言うまでもない。

１…ＣＰＵ、４…画像メモリ部、１４…面内ＮＲ処理部、２０…加算ＮＲ処理部、２１…動きベクトル算出部、２２…動き補償画生成部、２３…加算部、２４…加算率計算部

Claims (8)

1. 複数枚の画像を、動き補償しながら加算することにより、時間方向のノイズ低減処理を行う画像加算手段と、
   前記画像加算手段における前記加算に先立ち、前記複数枚の画像のそれぞれについて、１枚の画像内における空間方向のノイズ低減処理を行う面内ノイズ低減手段と、
   前記面内ノイズ低減手段における前記空間方向のノイズ低減の強さを、前記画像加算手段において加算する複数枚の画像に対して可変する制御手段と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記複数枚の画像は、撮像素子で撮像されて得られた撮像画像であり、
   前記制御手段は、前記画像加算処理手段において加算する複数枚の撮像画像の内の少なくとも１枚目の撮像画像に対する前記空間方向のノイズ低減の強さは、他の撮像画像よりも強くするように前記面内ノイズ低減手段を制御する
   画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記画像のそれぞれについて、動きの無い背景部分か、動き部分かを判定する判定手段を備え、
   前記画像加算処理手段は、前記判定手段の判定結果に応じて、前記背景部分ほど前記画像の加算率が大きくなるように、前記背景部分と前記動き部分とで異なる加算率で前記画像加算を行う
   画像処理装置。
4. 請求項１または請求項２に記載の画像処理装置において、
   前記画像加算処理手段は、前記複数枚の画像を画素単位で加算するものであり、加算する画素同士の差分に応じて、前記差分が小さいほど前記画像の加算率が大きくなるように前記画像加算を行う
   画像処理装置。
5. 請求項１〜請求項４のいずれかに記載の画像処理装置において、
   前記空間方向のノイズ低減の強さの可変範囲には、前記空間方向のノイズ低減を施さないことを含む画像処理装置。
6. 画像加算手段と、面内ノイズ低減手段と、制御手段とを備える画像処理装置における画像処理方法であって、
   前記画像加算手段が、複数枚の画像を、動き補償しながら加算することにより、時間方向のノイズ低減処理を行う画像加算工程と、
   前記面内ノイズ低減手段が、前記画像加算工程に先立ち、前記複数枚の画像のそれぞれについて、１枚の画像内における空間方向のノイズ低減処理を行うが、前記制御手段からの制御指示に応じて、前記空間方向のノイズ低減の強さを、前記画像加算処理工程において加算する複数枚の撮像画像に対して可変する面内ノイズ低減工程と、
   を有する画像処理方法。
7. 請求項６に記載の画像処理方法において、
   前記複数枚の画像は、撮像素子で撮像されて得られた撮像画像であり、
   前記制御手段は、前記面内ノイズ低減工程において、前記画像加算処理手段において加算する複数枚の撮像画像の内の少なくとも１枚目の撮像画像に対する前記空間方向のノイズ低減の強さは、他の撮像画像よりも強くするように前記面内ノイズ低減手段を制御する
   画像処理方法。
8. 撮像素子と、
   前記撮像素子により撮像されて得られた撮像画像について、１枚の前記撮像画像内における空間方向のノイズ低減処理を行う面内ノイズ低減手段と、
   前記面内ノイズ低減手段により前記ノイズ低減処理が施された前記撮像画像の複数枚を、動き補償しながら加算することにより、時間方向のノイズ低減処理を行う画像加算処理手段と、
   前記面内ノイズ低減手段における前記空間方向のノイズ低減の強さを、前記画像加算処理手段において加算する複数枚の撮像画像に対して可変する制御手段と、
   前記画像加算処理手段で加算された結果の画像を記録媒体に記録する記録手段と、
   を備える撮像装置。