JP6063680B2 - 画像生成装置、画像生成方法、撮像装置、および撮像方法 - Google Patents

Description

本発明は、画像生成装置、画像生成方法、撮像装置、および撮像方法に関する。

従来から、複数の画像に含まれる同一の座標に位置する画素の値（以下、「画素値」という）の中で、他の多くの画像の画素値から大きく外れた画素値（以下、「特異値」という）を除去することによって、複数の画像から１枚の画像を生成する動体除去という機能がある。動体除去とは、静止画用カメラ（以下、「カメラ」という）で建物などの被写体を撮影した際に、カメラと被写体の間を横切る通行人や車両などの不要な移動体を除去した所望の画像を生成する機能である。

動体除去では、移動体がカメラの前を横切るような場合には、連続して撮影した複数の画像の同一の位置に移動体が写っている枚数は少なく、多くの画像には背景が写っているという考えに基づいて、連続撮影した複数の画像から、その撮影時間中に動いた被写体を除去した画像を生成する。より具体的には、複数の画像の同一の位置に写っている回数が少ない移動体の画素値を特異値として、同じ位置に写っている回数が多い背景の画素値に置き換えることによって、移動体を除去した背景のみの画像を生成する。

動体除去の方法の１つとして、例えば、特許文献１のような技術が開示されている。特許文献１で開示された技術では、時間的に連続する複数枚の撮影画像の同一位置の画素値についてヒストグラムを作成し、同じ画素値が出現する回数（以下、「度数」という）が最も高い画素値を出力する。そして、撮影画像のそれぞれの位置で度数の高い画素値を最終的な画素値にすることによって、移動体を除去した１枚の画像を生成している。

特開平９−１４９３６４号公報

しかしながら、実際には背景が写っている画素であっても、写っている画像の枚数が少ない画素は、ヒストグラムの度数は少なくなってしまう。このような場合、特許文献１で開示された技術のように、単純に同一位置の画素値のヒストグラムを作成して背景の画素を選択する方法では、背景の画素を正しく選択することができず、動体除去を正しく行うことができない、という問題になる。

本発明は、上記の課題認識に基づいてなされたものであり、写っている画像の枚数が少ない背景の画素であっても正しく選択することによって、移動体などの動体を除去することができる画像生成装置、画像生成方法、撮像装置、および撮像方法を提供することを目的としている。

上記の課題を解決するため、本発明の画像生成装置は、入力された同じ画角の複数の入力画像から、動体を除去した背景のみが含まれる出力画像を生成する画像生成装置であって、現在処理する対象の画素であり、それぞれの前記入力画像において同一の位置に配置されたそれぞれの画素を注目画素とし、前記出力画像において前記注目画素と同一の位置に配置される画素を動体除去画素としたとき、現在処理を行っているそれぞれの前記注目画素の周囲に配置された画素である複数の周囲画素の情報に基づいて、前記動体除去画素の情報を決定するための参照値を生成する参照値生成部と、前記参照値に基づいて、現在処理を行っているそれぞれの前記注目画素の情報の中から、前記背景である可能性が高い前記注目画素の情報を選択し、該選択した前記注目画素の情報を前記出力画像における前記動体除去画素の情報として出力する動体除去画素生成部と、を備え、前記参照値生成部は、それぞれの前記注目画素の画素値を要素とした第１のヒストグラムを生成し、該生成した第１のヒストグラムにおける最大度数の値を信頼度とし、前記最大度数の画素値を最頻値として生成する信頼度生成部と、前記信頼度に基づいて、現在処理を行っている前記注目画素に対応した前記参照値を生成するために用いる前記周囲画素が含まれる範囲である参照範囲を設定する参照範囲設定部と、設定された前記参照範囲内のそれぞれの前記周囲画素を前記注目画素として処理したときに前記信頼度生成部が生成した前記信頼度と前記最頻値とに基づいて、前記参照値を算出する参照値算出部と、を備えることを特徴とする。

また、本発明の前記参照範囲設定部は、設定した前記参照範囲内に含まれるそれぞれの前記周囲画素を前記注目画素として処理したときに前記信頼度生成部が生成した前記信頼度が、予め定めた信頼度の第１の閾値以上の信頼度である前記周囲画素の数を計数し、該計数した前記周囲画素の数が、予め定めた画素数の閾値以上となるように、該参照範囲を周囲に順次広げていく、ことを特徴とする。

また、本発明の前記参照値算出部は、前記参照範囲内に含まれるそれぞれの前記周囲画素を前記注目画素として処理したときの前記信頼度が、予め定めた信頼度の第１の閾値以上の信頼度であるそれぞれの前記周囲画素の前記最頻値を要素とした第２のヒストグラムを生成し、該生成した第２のヒストグラムにおける最大度数の前記最頻値を前記参照値とする、ことを特徴とする。

また、本発明の前記参照値算出部は、現在処理を行っている前記注目画素の位置と、前記参照範囲内に含まれるそれぞれの前記周囲画素の位置とに基づいた距離に応じて、該距離が近いほど大きく、該距離が遠いほど小さくなる重み付け係数を設定し、該設定した重み付け係数を前記第２のヒストグラムの要素であるそれぞれの前記最頻値に掛けて、前記第２のヒストグラムを生成する、ことを特徴とする。

また、本発明の前記参照値算出部は、前記参照範囲内に含まれるそれぞれの前記周囲画素の前記最頻値のばらつきに応じて、該ばらつきが小さいほど前記距離に応じた差を小さく、該ばらつきが大きいほど前記距離に応じた差を大きくした前記重み付け係数を設定する、ことを特徴とする。

また、本発明の前記動体除去画素生成部は、前記参照値に基づいて、現在処理を行っているそれぞれの前記注目画素の画素値の中から、前記背景である可能性が高い前記注目画素の画素値を検出する注目画素値検出部と、前記信頼度に基づいて、前記注目画素値検出部が検出した前記注目画素の画素値、または前記参照値生成部が生成した前記最頻値のいずれか一方の値を、前記動体除去画素の画素値として選択する動体除去画素選択部と、を備えることを特徴とする。

また、本発明の前記注目画素値検出部は、現在処理を行っているそれぞれの前記注目画素の画素値の中から、前記参照値に最も近い画素値を、前記背景である可能性が高い前記注目画素の画素値として検出する、ことを特徴とする。

また、本発明の前記動体除去画素選択部は、前記信頼度が、予め定めた信頼度の第２の閾値以上である場合は、前記最頻値を前記動体除去画素の画素値として選択し、前記信頼度が、予め定めた信頼度の第２の閾値よりも小さい場合は、前記注目画素値検出部が検出した前記注目画素の画素値を前記動体除去画素の画素値として選択する、ことを特徴とする。

また、本発明の前記参照値生成部は、前記入力画像内の各位置に配置された、該入力画像の輝度を表す輝度情報、または該入力画像の色を表す色情報のいずれか一方または両方のデータに基づいて、前記参照値を生成する、ことを特徴とする。

また、本発明の前記参照値生成部は、前記入力画像内の各位置に配置された、該入力画像を取得する際に撮像素子から出力された信号に応じた値のデータに基づいて、前記参照値を生成する、ことを特徴とする。

また、本発明の撮像装置は、被写体を撮影する撮像装置であって、入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備し、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力する撮像部と、前記撮像部から出力された複数枚の前記画像を記憶する記憶部と、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを検出する位置ズレ検出部と、前記位置ズレ検出部によって検出された撮影位置のズレが補正された前記画像が、入力画像として複数入力され、該入力された複数の前記入力画像から、動体を除去した背景のみが含まれる出力画像を生成する、上記のいずれかの発明の画像生成装置と、を備えることを特徴とする。

また、本発明の前記画像生成装置は、入力された複数の前記入力画像内の同一の位置に写っている枚数が少ない移動体の部分を、前記動体として除去した前記出力画像を生成する、ことを特徴とする。

また、本発明の画像生成方法は、入力された同じ画角の複数の入力画像から、動体を除去した背景のみが含まれる出力画像を生成する画像生成方法であって、現在処理する対象の画素であり、それぞれの前記入力画像において同一の位置に配置されたそれぞれの画素を注目画素とし、前記出力画像において前記注目画素と同一の位置に配置される画素を動体除去画素としたとき、現在処理を行っているそれぞれの前記注目画素の周囲に配置された画素である複数の周囲画素の情報に基づいて、前記動体除去画素の情報を決定するための参照値を生成する参照値生成ステップと、前記参照値に基づいて、現在処理を行っているそれぞれの前記注目画素の情報の中から、前記背景である可能性が高い前記注目画素の情報を選択し、該選択した前記注目画素の情報を前記出力画像における前記動体除去画素の情報として出力する動体除去画素生成ステップと、を含み、前記参照値生成ステップは、それぞれの前記注目画素の画素値を要素とした第１のヒストグラムを生成し、該生成した第１のヒストグラムにおける最大度数の値を信頼度とし、前記最大度数の画素値を最頻値として生成する信頼度生成ステップと、前記信頼度に基づいて、現在処理を行っている前記注目画素に対応した前記参照値を生成するために用いる前記周囲画素が含まれる範囲である参照範囲を設定する参照範囲設定ステップと、設定された前記参照範囲内のそれぞれの前記周囲画素を前記注目画素として処理したときに前記信頼度生成ステップによって生成した前記信頼度と前記最頻値とに基づいて、前記参照値を算出する参照値算出ステップと、を含むことを特徴とする。

また、本発明の前記動体除去画素生成ステップは、前記参照値に基づいて、現在処理を行っているそれぞれの前記注目画素の画素値の中から、前記背景である可能性が高い前記注目画素の画素値を検出する注目画素値検出ステップと、前記信頼度に基づいて、前記注目画素値検出ステップによって検出した前記注目画素の画素値、または前記参照値生成ステップによって生成した前記最頻値のいずれか一方の値を、前記動体除去画素の画素値として選択する動体除去画素選択ステップと、を含むことを特徴とする。

また、本発明の撮像方法は、被写体を撮影する撮像装置による撮像方法であって、入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備した撮像部に、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力させる撮像ステップと、記憶部に、前記撮像部から出力された複数枚の前記画像を記憶させる記憶ステップと、位置ズレ検出部に、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを検出させる位置ズレ検出ステップと、上記のいずれかの発明の画像生成装置に、前記位置ズレ検出部によって検出された撮影位置のズレが補正された前記画像を、入力画像として複数入力し、該入力された複数の前記入力画像から、動体を除去した背景のみが含まれる出力画像を生成させる画像生成ステップと、を含むことを特徴とする。

本発明によれば、写っている画像の枚数が少ない背景の画素であっても正しく選択することによって、移動体などの動体を除去することができるという効果が得られる。

本発明の実施形態における画像生成装置を適用した撮像装置の概略構成を示したブロック図である。 本実施形態の画像生成装置の概略構成を示したブロック図である。 本実施形態の画像生成装置における動体除去処理の手順を示したフローチャートである。 本実施形態の画像生成装置による動体除去処理において信頼度と最頻値とを生成する処理の一例を説明する図である。 本実施形態の画像生成装置による動体除去処理において参照範囲を設定する処理の一例を説明する図である。 本実施形態の画像生成装置による動体除去処理において用いる係数の一例を説明する図である。 本実施形態の画像生成装置による動体除去処理において参照値を決定する処理の一例を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。本実施形態においては、例えば、デジタルスチルカメラなどの撮像装置に、本実施形態の画像生成装置を適用した場合の一例について説明する。図１は、本実施形態における画像生成装置を適用した撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、制御部１１と、撮像部１２と、記憶部１３と、位置ズレ検出部１４と、画像処理部１５と、表示部１６と、記録部１７と、動体除去部２０と、を備えている。

制御部１１は、撮像装置１０内の各構成要素をそれぞれ制御することによって、撮像装置１０全体の制御を行う。撮像部１２は、レンズや撮像素子などから構成され、制御部１１からの制御に応じて、レンズを介して撮像素子に結像された被写体の光学像を露光する。そして、撮像部１２は、撮像素子が露光した光量に応じて画像信号に変換した画像データを、記憶部１３に出力する。

記憶部１３は、制御部１１からの制御に応じて、撮像部１２から入力された画像データを一時的に記憶する、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。記憶部１３は、動体除去部２０が動体を除去する処理に使用する枚数分の画像データを記憶する。記憶部１３に記憶されたそれぞれの画像データは、制御部１１からの制御に応じて、動体除去部２０に出力される。また、記憶部１３に記憶された画像データは、制御部１１からの制御に応じて位置ズレ検出部１４に出力され、位置ズレ検出部１４から入力された位置ズレ情報が記憶される。

位置ズレ検出部１４は、制御部１１からの制御に応じて、記憶部１３に記憶された全ての画像データに対して、画角の位置が合うようにするためのズレ量を計算する。そして、位置ズレ検出部１４は、計算したズレ量を、位置ズレ情報として記憶部１３に出力する。制御部１１は、記憶部１３に記憶された画像データを動体除去部２０が読み出す際、記憶部１３に記憶された位置ズレ情報に基づいて、画像データにおけるそれぞれの画素の位置が、被写体の光学像の同じ場所を露光したときの位置になるように、記憶部１３からの画像データの読み出しを制御する。これにより、動体除去部２０に入力される全ての画像データ内で同一の位置に配置されているそれぞれの画素の画素値は、被写体の光学像の同じ場所を露光したときの値になる。

動体除去部２０は、制御部１１からの制御に応じて記憶部１３から入力された位置ズレを検出した全ての画像データに対して動体除去処理を行って、画像データ内に含まれる動体を除去した画像データを生成する、本実施形態の画像生成装置である。動体除去部２０は、動体除去処理によって、例えば、建物などの固定の被写体（以下、「固定物」という）の前を横切る通行人や車両などの不要な移動体の画素値を動体として除去した画像データを生成する。

動体除去部２０によって生成される動体除去後の画像データは、背景のみが写された画像データと同等の画像データである。以下の説明においては、動体除去部２０によって生成される動体除去後の出力画像の画像データを、「動体除去画像」という。動体除去部２０は、生成した動体除去画像を、画像処理部１５に出力する。なお、動体除去部２０における動体除去処理に関する詳細な説明は、後述する。

画像処理部１５は、制御部１１からの制御に応じて、動体除去部２０から入力された動体除去画像に対して、予め定められた種々の画像処理（現像）を行った画像データを生成する。そして、画像処理部１５は、生成した画像処理後の画像データを、撮像装置１０内の対応する構成要素に出力する。例えば、画像処理部１５は、画像データを表示するための画像処理を行って生成した表示用の画像データを、表示部１６に出力する。また、例えば、画像処理部１５は、画像データを記録するための画像フォーマット（例えば、ＪＰＥＧ：Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に変換する画像処理を行って生成した記録用の画像データを、記録部１７に出力する。

表示部１６は、画像データを表示する、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置を備え、制御部１１からの制御に応じて、画像処理部１５から入力された表示用の画像データを表示する。記録部１７は、制御部１１からの制御に応じて、画像処理部１５から入力された記録用の画像データを、例えば、メモリカードなどの画像記録媒体に記録する。

次に、撮像装置１０に備えた本実施形態の画像生成装置である動体除去部２０について説明する。図２は、本実施形態の画像生成装置である動体除去部２０の概略構成を示したブロック図である。図２に示したように、動体除去部２０は、参照値生成部２１と動体除去画素生成部２２とを備えている。なお、図２では、撮像装置１０内における動体除去部２０と、記憶部１３および画像処理部１５との接続も併せて示している。

動体除去部２０は、制御部１１からの制御に応じて、記憶部１３に記憶された位置ズレ情報に基づいて位置ズレを補正するように画像データの読み出し位置を調整して、記憶部１３に記憶された複数枚の画像データのそれぞれを、入力画像として読み出す。そして、動体除去部２０は、動体除去処理を行って生成した１枚の画像データを、動体除去画像として画像処理部１５に出力する。なお、動体除去部２０による動体除去処理では、動体除去処理に用いるそれぞれの入力画像において、同一の座標位置に配置されている画素の画素値の中から、動体除去画像のそれぞれの画素の画素値を選択する。このとき、動体除去部２０は、現在処理している画素の座標位置の周囲に配置されている画素の画素値を参照して算出した値に基づいて、現在処理している画素の画素値の中から動体除去画像の画素の画素値を選択する場合もある。そして、動体除去部２０内の各構成要素は、それぞれの画素に対する動体除去処理を、入力画像の画素数と同じ回数繰り返す。

以下の説明においては、それぞれの入力画像において同一の座標位置に配置された、現在動体除去処理を行っている対象の画素を、「注目画素」といい、動体除去処理を行って生成した動体除去画像において注目画素と同一の座標位置に配置されている画素を、「動体除去画素」という。また、現在処理している注目画素の座標位置の周囲に配置されている画素を、「周囲画素」といい、周囲画素の画素値を参照して算出した値を、「参照値」という。

なお、注目画素の画素値は、撮像部１２内の撮像素子が露光した光量に応じた画像信号に基づいた値（例えば、ＲＡＷデータの値）である。この注目画素の画素値は、上述した画像信号に基づいた値を画像処理することによって得られる、画像の輝度を表す輝度情報の値や、画像の色を表す色情報の値であってもよい。以下の説明においては、画像信号に基づいた値、あるいは輝度情報の値と色情報の値のいずれか一方または両方の値を区別せず、単に「画素値」として説明する。

参照値生成部２１は、記憶部１３から入力された複数の入力画像において同一の座標位置に配置されている各注目画素の画素値のヒストグラムを生成する。そして、参照値生成部２１は、生成した注目画素の画素値のヒストグラムにおける最大度数の値を「信頼度」とし、最大度数の画素値を「最頻値」として動体除去画素生成部２２に出力する。また、参照値生成部２１は、現在処理している注目画素の周囲に配置されている周囲画素の信頼度と最頻値とに基づいて、動体除去画素を決定するための参照情報である参照値を算出し、算出した参照値を動体除去画素生成部２２に出力する。参照値生成部２１は、信頼度生成部２１１と、参照範囲設定部２１２と、参照値算出部２１３と、を備えている。

信頼度生成部２１１は、記憶部１３から入力された複数の入力画像の各注目画素の画素値に基づいて、注目画素の画素値のヒストグラム（以下、「ヒストグラムＨｉｓｔ１」という）を生成する。例えば、入力画像のある注目画素に対応したヒストグラムＨｉｓｔ１を生成する場合、信頼度生成部２１１は、１枚目〜Ｎ枚目の入力画像において同一の座標位置に配置されているそれぞれの注目画素の画素値が同じ値である個数（度数）を、それぞれの画素値毎にカウントすることによってヒストグラムＨｉｓｔ１を生成する。そして、信頼度生成部２１１は、生成したヒストグラムＨｉｓｔ１から得られる注目画素の信頼度と最頻値とを、動体除去画素生成部２２に出力する。また、信頼度生成部２１１は、ヒストグラムＨｉｓｔ１から得られた信頼度を参照範囲設定部２１２に、信頼度と最頻値とを参照値算出部２１３に、それぞれ出力する。

なお、信頼度生成部２１１が信頼度および最頻値を生成する方法は、上述した一例のように、ヒストグラムＨｉｓｔ１を生成して信頼度および最頻値を得る方法に限定されるものではなく、他の方法によって、記憶部１３から入力された複数の入力画像の各注目画素の信頼度および最頻値を生成する構成にすることもできる。

参照範囲設定部２１２は、信頼度生成部２１１から入力された信頼度に基づいて、参照値を算出するために使用する、現在処理している注目画素の周囲に配置されている周囲画素の範囲（以下、「参照範囲」という）を決定する。なお、参照範囲は、注目画素の座標位置を中心とした矩形の領域である。参照範囲設定部２１２が参照範囲を決定する際には、注目画素の座標位置から、周囲に１画素分ずつ順次範囲を広げていく。そして、参照範囲設定部２１２は、参照範囲内の周囲画素のそれぞれを注目画素としたときに信頼度生成部２１１が生成したヒストグラムＨｉｓｔ１から得られる信頼度を用いて、適切な参照範囲を決定する。

より具体的には、参照範囲設定部２１２は、注目画素の周囲（上下左右）に１画素分ずつの矩形領域（注目画素を含む９画素の領域）を、最初の参照範囲として設定する。そして、参照範囲設定部２１２は、参照範囲に含まれるそれぞれの周囲画素の信頼度と、予め定めた信頼度の第１の閾値（以下、「信頼度閾値ｔｈｒＴ１」という）とを比較し、信頼度閾値ｔｈｒＴ１以上の信頼度を持つ周囲画素の数を計数する。続いて、参照範囲設定部２１２は、信頼度閾値ｔｈｒＴ１以上の信頼度を持つ周囲画素の数と、予め定めた画素数の閾値（以下、「画素数閾値ｔｈｒＣ」という）とを比較し、信頼度閾値ｔｈｒＴ１以上の信頼度を持つ周囲画素の数が画素数閾値ｔｈｒＣ以上である場合には、現在の参照範囲を、参照値を算出するために使用する範囲に決定する。一方、信頼度閾値ｔｈｒＴ１以上の信頼度を持つ周囲画素の数が画素数閾値ｔｈｒＣよりも少ない場合には、現在の参照範囲の周囲（上下左右）に１画素分ずつ広げた矩形領域（注目画素を含む２５画素の領域）を、次の参照範囲として設定し、同様に参照値を算出するために使用する範囲に決定するか否かを判定する。このような参照範囲の設定と判定とを繰り返し、信頼度閾値ｔｈｒＴ１以上の信頼度を持つ周囲画素の数が画素数閾値ｔｈｒＣ以上になるまで、参照範囲を周囲に１画素分ずつ順次広げていく。

このようにして、注目画素を含む参照範囲を順次広げていき、参照値を算出するために使用する参照範囲を決定すると、参照範囲設定部２１２は、決定した参照範囲の大きさを表す情報を参照値算出部２１３に出力する。

参照値算出部２１３は、参照範囲設定部２１２から入力された参照範囲と、信頼度生成部２１１から入力された信頼度と最頻値とに基づいて、動体除去画素を選択するための参照値を算出する。そして、参照値算出部２１３は、算出した参照値を動体除去画素生成部２２に出力する。

参照値算出部２１３による参照値の算出においては、参照範囲設定部２１２から入力された参照範囲内の周囲画素の内、信頼度閾値ｔｈｒＴ１以上の信頼度を持つ周囲画素の個数（度数）をそれぞれの最頻値毎にカウントすることによって、最頻値のヒストグラム（以下、「ヒストグラムＨｉｓｔ２」という）を生成する。このとき、参照値算出部２１３は、それぞれの周囲画素と注目画素との距離が近い、すなわち、当該周囲画素の座標位置と注目画素の座標位置とが近い最頻値ほど、より大きな度数となるように重みを付けてヒストグラムＨｉｓｔ２を生成する。なお、それぞれの最頻値の度数に対する重み付けでは、信頼度閾値ｔｈｒＴ１以上の信頼度を持つ周囲画素の最頻値の分散（ばらつき）を算出し、算出した分散値が大きいほどより大きな重み付けとなるように、最頻値の度数に対する重み付け係数の特性に傾斜をつける。そして、参照値算出部２１３は、生成したヒストグラムＨｉｓｔ２における最大度数の最頻値を、参照値として動体除去画素生成部２２に出力する。

動体除去画素生成部２２は、参照値生成部２１から入力された、注目画素の信頼度と、周囲画素から算出した参照値とに基づいて、記憶部１３から入力された複数の入力画像において同一の座標位置に配置されている各注目画素の画素値、および参照値生成部２１から入力された最頻値の中から１つの値（画素値）を選択する。そして、動体除去画素生成部２２は、選択した１つの値（画素値）を、動体除去画像において注目画素と同一の座標位置に配置されている動体除去画素の画素値として、画像処理部１５に出力する。動体除去画素生成部２２は、注目画素値検出部２２１と動体除去画素選択部２２２と、を備えている。

注目画素値検出部２２１は、記憶部１３から入力された複数の入力画像の各注目画素の内、参照値生成部２１から入力された参照値に最も近い値の画素値を持つ注目画素を選択する。例えば、注目画素の画素値を選択する場合、注目画素値検出部２２１は、１枚目〜Ｎ枚目の入力画像の各注目画素の画素値と参照値との差分を入力画像の枚数分（Ｎ枚分）算出し、算出したＮ枚分の差分値が最も小さい注目画素を選択する。そして、注目画素値検出部２２１は、選択した注目画素の画素値を動体除去画素選択部２２２に出力する。

動体除去画素選択部２２２は、参照値生成部２１から入力された信頼度に基づいて、注目画素値検出部２２１から入力された注目画素の画素値、または参照値生成部２１から入力された最頻値のいずれか一方の値（画素値）を、動体除去画素の画素値として画像処理部１５に出力する。より具体的には、参照値生成部２１から入力された信頼度が、予め定めた信頼度の第２の閾値（以下、「信頼度閾値ｔｈｒＴ２」という）以上である場合には、参照値生成部２１から入力された最頻値を選択し、参照値生成部２１から入力された信頼度が信頼度閾値ｔｈｒＴ２よりも小さい場合には、注目画素値検出部２２１から入力された注目画素の画素値を選択する。そして、動体除去画素選択部２２２は、選択した値（画素値）を、動体除去部２０が動体除去処理した最終的な動体除去画素の画素値として、画像処理部１５に出力する。

このように、動体除去部２０は、記憶部１３から入力された全ての入力画像において、同一の座標位置に配置されているそれぞれの注目画素の画素値、および周囲画素の画素値に基づいて動体除去処理を順次行い、動体除去画像の画素の画素値を画像処理部１５に出力する。

なお、信頼度閾値ｔｈｒＴ１、画素数閾値ｔｈｒＣ、および信頼度閾値ｔｈｒＴ２は、入力画像の枚数に応じて決定する。このとき、信頼度閾値ｔｈｒＴ１は、注目画素と異なる周囲の座標位置に配置されている周囲画素に対する閾値であるため、より信頼度を高くするために、注目画素に対する閾値である信頼度閾値ｔｈｒＴ２よりも大きな値にすることが考えられる。これにより、ヒストグラムＨｉｓｔ２を生成する参照範囲内の周囲画素の信頼度が高くなり、参照値生成部２１から入力された信頼度がより高い周囲画素に基づいて、動体除去画像の画素の画素値を選択することができ、より精度よく背景である可能性が高い画素の画素値を選択することができる。また、入力画像の枚数が多い場合には、信頼度閾値ｔｈｒＴ１と信頼度閾値ｔｈｒＴ２との差を大きくし、より周囲画素に対する信頼度を高めた状態で動体除去処理を行うことが考えられる。

なお、例えば、入力画像の枚数が少ないことにより、注目画素の信頼度が低めの値であり、信頼度閾値ｔｈｒＴ１と信頼度閾値ｔｈｒＴ２とに差を設けると、信頼度の判定が正しく行えない可能性がある場合には、信頼度閾値ｔｈｒＴ１と信頼度閾値ｔｈｒＴ２とを、同じ値にすることもできる。この場合には、参照範囲設定部２１２および参照値算出部２１３において、信頼度閾値ｔｈｒＴ１（＝ｔｈｒＴ２）よりも大きい信頼度を持つ周囲画素を、参照範囲の決定やヒストグラムＨｉｓｔ２の生成における対象の周囲画素とすることによって、信頼度がより高い周囲画素に基づいて動体除去画像の画素の画素値を選択することができる。

次に、撮像装置１０に備えた本実施形態の画像生成装置である動体除去部２０における動体除去処理の手順について説明する。動体除去部２０による動体除去処理では、参照値生成部２１が、各注目画素の信頼度および最頻値を順次生成しながら、参照範囲の設定および参照値の算出を行い、動体除去画素生成部２２が、各注目画素の信頼度と参照値とに基づいて、注目画素と同一の座標位置に配置されている動体除去画素の画素値を選択して出力する。以下の説明においては、説明を容易にするため、まず、参照値生成部２１内の信頼度生成部２１１が、全ての注目画素の信頼度および最頻値を生成し、その後、参照値生成部２１内の参照範囲設定部２１２および参照値算出部２１３が参照範囲の設定および参照値の算出を行って、動体除去画素生成部２２が動体除去画素の画素値を選択して出力するものとして説明を行う。なお、このとき、信頼度生成部２１１は、生成した全ての注目画素の信頼度および最頻値を、一旦、不図示の一時記憶部に記憶し、参照範囲設定部２１２、参照値算出部２１３、および動体除去画素生成部２２のそれぞれは、不図示の一時記憶部に記憶されている信頼度および最頻値を読み出して、それぞれの処理を実行するものとする。

図３は、本実施形態の画像生成装置である動体除去部２０における動体除去処理の手順を示したフローチャートである。また、図４〜図７は、本実施形態の画像生成装置である動体除去部２０による動体除去処理におけるそれぞれの処理の一例を説明する図である。図３に示した動体除去処理のフローチャートの説明においては、適宜、図４〜図７に示した動体除去処理におけるそれぞれの処理の一例を参照して、５枚（フレーム）の入力画像から、不要な移動体の画素値を動体として除去した１枚の動体除去画像を生成する場合の例を説明する。

動体除去部２０は、制御部１１からの制御に応じて動体除去処理を開始すると、参照値生成部２１は、ステップＳ１から、１つ目の画素（注目画素）の信頼度および最頻値の生成処理を開始する。１つ目の注目画素の信頼度および最頻値の生成処理が開始されると、ステップＳ１において、参照値生成部２１内の信頼度生成部２１１は、記憶部１３から複数枚（本説明においては、５フレーム）の入力画像において同一の座標位置（ｘ，ｙ）に配置されている１つ目の注目画素の画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）を取得する。

続いて、ステップＳ２において、信頼度生成部２１１は、取得した１つ目の注目画素の５つの画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）のヒストグラムＨｉｓｔ１を生成する。

続いて、ステップＳ３において、信頼度生成部２１１は、生成したヒストグラムＨｉｓｔ１における度数の最大値である信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）を、不図示の一時記憶部に記憶する。

続いて、ステップＳ４において、信頼度生成部２１１は、生成したヒストグラムＨｉｓｔ１における最大度数の画素値である最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｘ，ｙ）を、不図示の一時記憶部に記憶する。

ここまでの処理が、入力画像の１つ目の注目画素の信頼度および最頻値の生成処理である。以降、信頼度生成部２１１は、ステップＳ１〜ステップＳ４までの入力画像の１つの注目画素の信頼度および最頻値の生成処理を、入力画像の全ての画素に対する信頼度および最頻値の生成処理が完了するまで、繰り返す。その後、ステップＳ１〜ステップＳ４までの処理の繰り返しを、入力画像の画素数と同じ回数行うと、すなわち、入力画像の全ての画素に対する信頼度および最頻値の生成処理が完了すると、ステップＳ５において処理のループを抜け出す。

ここで、信頼度生成部２１１によって行われる、ステップＳ１〜ステップＳ４までの入力画像の１つの注目画素に対する信頼度および最頻値の生成処理の一例について説明する。図４は、本実施形態の画像生成装置による動体除去処理において信頼度と最頻値とを生成する処理の一例を説明する図である。

信頼度生成部２１１は、ステップＳ１において、図４（ａ）に示した５フレームの入力画像内で同一の座標位置（ｘ，ｙ）に配置されている注目画素の５つの画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）を取得したものとする。そして、信頼度生成部２１１は、ステップＳ２において、図４（ｂ）に示したように、取得した注目画素の５つの画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）のヒストグラムＨｉｓｔ１を生成する。そして、信頼度生成部２１１は、図４（ｃ）に示したように、生成したヒストグラムＨｉｓｔ１から信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）（図４（ｃ）においては、信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）＝３）を不図示の一時記憶部に記憶し（ステップＳ３）、信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）＝３である注目画素の画素値を、最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｘ，ｙ）として不図示の一時記憶部に記憶する（ステップＳ４）。

そして、入力画像の全ての画素に対する信頼度および最頻値の生成処理が完了すると、参照値生成部２１内の参照範囲設定部２１２および参照値算出部２１３と、動体除去画素生成部２２とのそれぞれは、ステップＳ６から、動体除去画像において１つ目の画素（注目画素）と同一の座標位置（ｘ，ｙ）に配置される１つ目の動体除去画素の画素値の選択処理を開始する。１つ目の動体除去画素の画素値の選択処理が開始されると、ステップＳ６において、参照範囲設定部２１２および参照値算出部２１３と、動体除去画素生成部２２とのそれぞれは、不図示の一時記憶部に記憶されている１つ目の注目画素の信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）および最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｘ，ｙ）を読み出す。また、動体除去画素生成部２２は、記憶部１３から複数枚（本説明においては、５フレーム）の入力画像の１つ目の注目画素の画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）を再度取得する。

続いて、ステップＳ７において、動体除去画素生成部２２内の動体除去画素選択部２２２は、１つ目の注目画素の信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）と信頼度閾値ｔｈｒＴ２とを比較し、１つ目の注目画素の信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）が、信頼度閾値ｔｈｒＴ２（本説明においては、信頼度閾値ｔｈｒＴ２＝３）以上であるか否かを判定する。

ステップＳ７による判定の結果、１つ目の注目画素の信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）が、信頼度閾値ｔｈｒＴ２以上である場合には、ステップＳ８において、動体除去画素選択部２２２は、１つ目の注目画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｘ，ｙ）を、動体除去画像において１つ目の注目画素と同一の座標位置（ｘ，ｙ）に配置される１つ目の動体除去画素の画素値として、画像処理部１５に出力する。つまり、１つ目の注目画素の５つの画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）のみから、背景である可能性が高い画素の画素値（最頻値）を選択することができる場合には、動体除去画素生成部２２は、１つ目の注目画素の周囲の画素の信頼度と最頻値とに基づいて算出される参照値を用いずに、最終的な動体除去画素の画素値を選択する。

一方、ステップＳ７による判定の結果、１つ目の注目画素の信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）が、信頼度閾値ｔｈｒＴ２よりも小さい場合には、ステップＳ９以降の、参照値を用いて最終的な動体除去画素の画素値を決定する処理に進む。つまり、１つ目の注目画素の５つの画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）のみでは、背景である可能性が高い画素の画素値を選択することができない場合には、１つ目の注目画素の周囲に配置されている周囲画素の信頼度と最頻値とに基づいて、最終的な動体除去画素の画素値を選択する。

参照値を用いて最終的な動体除去画素の画素値を決定する処理（以下、「画素値の決定処理」という）では、最初に、参照範囲設定部２１２による参照範囲の設定処理を行う。参照範囲の設定処理では、ステップＳ９において、参照範囲設定部２１２は、現在処理している１つ目の注目画素の周囲の参照範囲として設定する画素数である参照範囲サイズＳｉｚｅＲを初期化する。ここでは、参照範囲サイズＳｉｚｅＲ＝１に初期化する。これにより、１つ目の注目画素の座標位置（ｘ，ｙ）を中心とした参照範囲は、ｘ方向（水平方向）にｘ−ＳｉｚｅＲ〜ｘ＋ＳｉｚｅＲ、ｙ方向（垂直方向）にｙ−ＳｉｚｅＲ〜ｙ＋ＳｉｚｅＲの範囲に設定される。すなわち、１つ目の注目画素の周囲（上下左右）に１画素（参照範囲サイズＳｉｚｅＲ＝１）分ずつの３画素×３画素の矩形領域の範囲である、注目画素を中心とした９画素の範囲に設定される。なお、以下の説明においては、参照範囲内のそれぞれの周囲画素におけるｘ方向（水平方向）の座標位置を「ｉ」と表し、ｙ方向（垂直方向）の座標位置を「ｊ」と表すこととする。

続いて、ステップＳ１０において、参照範囲設定部２１２は、不図示の一時記憶部に記憶されている、参照範囲内の９画素分の周囲画素の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を読み出す。そして、参照範囲設定部２１２は、読み出した９つの周囲画素の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）と、信頼度閾値ｔｈｒＴ１とを比較し、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ周囲画素の数を計数（カウント）する。本説明においては、信頼度閾値ｔｈｒＴ１を信頼度閾値ｔｈｒＴ２よりも大きな値（信頼度閾値ｔｈｒＴ１＝４）としているため、信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）≧４である周囲画素の数をカウントする。以下の説明においては、参照範囲設定部２１２がカウントした周囲画素の数を、画素数カウント値ＣｎｔＴとする。

続いて、ステップＳ１１において、参照範囲設定部２１２は、画素数カウント値ＣｎｔＴと、画素数閾値ｔｈｒＣとを比較し、画素数カウント値ＣｎｔＴ、すなわち、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ周囲画素の数が、画素数閾値ｔｈｒＣ（本説明においては、画素数閾値ｔｈｒＣ＝５）以上であるか否かを判定する。

ステップＳ１１による判定の結果、画素数カウント値ＣｎｔＴが、画素数閾値ｔｈｒＣよりも少ない場合には、ステップＳ１２において、参照範囲設定部２１２は、参照範囲を周囲に１画素分ずつ広げる。すなわち、参照範囲サイズＳｉｚｅＲに「１」を加算して、参照範囲サイズＳｉｚｅＲ＝２にする。これにより、１つ目の注目画素の座標位置（ｘ，ｙ）を中心とした参照範囲は、１つ目の注目画素の周囲（上下左右）に２画素（参照範囲サイズＳｉｚｅＲ＝２）分ずつの５画素×５画素の矩形領域の範囲である、注目画素を中心とした２５画素の範囲に再度設定される。そして、ステップＳ１０に戻って、参照範囲内の２５画素分の周囲画素の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）の読み出しと、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ周囲画素の数のカウントとを再度行う。

一方、ステップＳ１１による判定の結果、画素数カウント値ＣｎｔＴが、画素数閾値ｔｈｒＣ以上である場合には、ステップＳ１３において、参照範囲設定部２１２は、現在の参照範囲サイズＳｉｚｅＲによって設定された矩形領域の範囲を、参照値を算出するために使用する参照範囲に決定する。そして、参照範囲設定部２１２は、決定した参照範囲の大きさを表す情報（例えば、参照範囲に決定した矩形領域の大きさや、参照範囲サイズＳｉｚｅＲ）を、参照値算出部２１３に出力する。

ここまでのステップＳ９〜ステップＳ１３の処理が、画素値の決定処理において最初に行う、参照範囲設定部２１２による参照範囲の設定処理である。ここで、参照範囲設定部２１２によって行われる、ステップＳ９〜ステップＳ１３までの参照範囲の設定処理の一例について説明する。図５は、本実施形態の画像生成装置による動体除去処理において参照範囲を設定する処理の一例を説明する図である。

参照範囲設定部２１２は、ステップＳ９において、図５（ａ）に示したように、参照範囲サイズＳｉｚｅＲ＝１に初期化する。これにより、図５（ａ）において「★」で示している注目画素を中心とした参照範囲は、注目画素の周囲（上下左右）に１画素分ずつの３画素×３画素の矩形領域の範囲（注目画素を中心とした９画素の範囲）に設定される。ここで、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ周囲画素が、図５（ａ）において「網掛け」で示した２つの周囲画素であるものとする。このため、ステップＳ１０において、参照範囲設定部２１２がカウントした画素数カウント値ＣｎｔＴは、画素数カウント値ＣｎｔＴ＝２となる。従って、参照範囲設定部２１２は、ステップＳ１１において、参照範囲を周囲に１画素分ずつ広げる（ステップＳ１１のＮｏ）と判定する。

そして、参照範囲設定部２１２は、ステップＳ１２において、図５（ｂ）に示したように、参照範囲サイズＳｉｚｅＲ＝２にする。これにより、図５（ｂ）において「★」で示している注目画素を中心とした参照範囲は、注目画素の周囲（上下左右）に２画素分ずつの５画素×５画素の矩形領域の範囲（注目画素を中心とした２５画素の範囲）に設定される。この参照範囲では、ステップＳ１０において、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ、図５（ｂ）において「網掛け」で示した周囲画素をカウントした画素数カウント値ＣｎｔＴが、画素数カウント値ＣｎｔＴ＝６となる。この画素数カウント値ＣｎｔＴ＝６は、ステップＳ１１の条件を満足するため（ステップＳ１１のＹｅｓ）、参照範囲設定部２１２は、ステップＳ１３において、現在の参照範囲サイズＳｉｚｅＲ＝２によって設定された矩形領域の範囲を、参照値を算出するために使用する参照範囲に決定する。

そして、参照範囲設定部２１２による参照範囲の設定処理が完了すると、参照値を用いた最終的な動体除去画素の画素値の決定処理では、次に、参照値算出部２１３による参照値の算出処理を行う。参照値の算出処理では、ステップＳ１４において、参照値算出部２１３は、参照範囲内の周囲画素の内、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ周囲画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）の分散（ばらつき）を算出する。これにより、参照範囲内で背景である可能性が高いそれぞれの周囲画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）同士の差がわかり、画素値の変化が多い背景（例えば、細かい模様の背景）であるか、画素値の変化が少ない背景（例えば、模様の少ない背景）であるかを判定することができる。以下の説明においては、参照範囲設定部２１２が算出した分散の値を、分散値Ｖａｒｉとする。

続いて、ステップＳ１５において、参照値算出部２１３は、ヒストグラムＨｉｓｔ２を生成する参照範囲内のそれぞれの周囲画素の座標位置に対して、信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）に応じた重み付け係数Ｋ１（ｉ，ｊ）を設定する。このとき、参照値算出部２１３は、参照範囲内の周囲画素の座標位置（ｉ，ｊ）が中央、すなわち、注目画素の座標位置（ｘ，ｙ）に近いほど重み付け係数Ｋ１（ｉ，ｊ）を大きく、中央から遠いほど重み付け係数Ｋ１（ｉ，ｊ）を小さくする。また、参照値算出部２１３は、注目画素の座標位置（ｘ，ｙ）からの距離が同じである周囲画素の座標位置に対しては、参照範囲設定部２１２が算出した分散値Ｖａｒｉが大きいほど重み付け係数Ｋ１（ｉ，ｊ）を大きく、分散値Ｖａｒｉが小さいほど重み付け係数Ｋ１（ｉ，ｊ）を小さくする。すなわち、分散値Ｖａｒｉが大きいほど注目画素の座標位置（ｘ，ｙ）からの距離に応じた重み付け係数Ｋ１（ｉ，ｊ）の差を大きく、分散値Ｖａｒｉが小さいほど注目画素の座標位置（ｘ，ｙ）からの距離に応じた重み付け係数Ｋ１（ｉ，ｊ）の差を小さくする。

より具体的には、参照値算出部２１３は、参照範囲設定部２１２が算出した分散値Ｖａｒｉに基づいて、下式（１）によって重み付け係数Ｋ１（ｉ，ｊ）を算出し、算出した重み付け係数Ｋ１（ｉ，ｊ）を、参照範囲内のそれぞれの周囲画素の座標位置に対して設定する。

上式（１）において、ｋＶａｒｉは分散値Ｖａｒｉに応じた定数（以下、「定数ｋＶａｒｉ」という）を表している。また、ｔｈｒＬは分散値Ｖａｒｉの下方の閾値（以下、「下方閾値ｔｈｒＬ」という）を表し、ｔｈｒＵは分散値Ｖａｒｉの上方の閾値（以下、「上方閾値ｔｈｒＵ」という）を表している。なお、下方閾値ｔｈｒＬと上方閾値ｔｈｒＵとの関係は、０＜下方閾値ｔｈｒＬ＜上方閾値ｔｈｒＵである。

上式（１）では、参照範囲内のそれぞれの周囲画素において信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）が信頼度閾値ｔｈｒＴ１よりも小さい周囲画素の座標位置に対する重み付け係数Ｋ１（ｉ，ｊ）を、重み付け係数Ｋ１（ｉ，ｊ）＝０としている。これにより、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ参照範囲内のそれぞれの周囲画素の座標位置に対して、重み付け係数Ｋ１（ｉ，ｊ）が設定される。また、信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）が信頼度閾値ｔｈｒＴ１以上の参照範囲内のそれぞれの周囲画素の座標位置に対しては、上述したような関係の重み付け係数Ｋ１（ｉ，ｊ）が設定される。

ここで、参照値算出部２１３が設定する、上式（１）で表される重み付け係数Ｋ１（ｉ，ｊ）について説明する。図６は、本実施形態の画像生成装置による動体除去処理において用いる係数の一例を説明する図である。図６には、分散値Ｖａｒｉおよび注目画素からの距離と、重み付け係数Ｋ１との関係を示している。

図６を見てわかるように、上式（１）によって算出される重み付け係数Ｋ１は、注目画素からの距離が近い周囲画素の座標位置ほど大きく、注目画素からの距離が遠い周囲画素の座標位置ほど小さくなるように傾斜が付けられた関係になっている。さらに、図６を見てわかるように、重み付け係数Ｋ１は、分散値Ｖａｒｉが大きいほど傾斜が大きく、分散値Ｖａｒｉが小さいほど傾斜を小さくなっている。上式（１）では、下方閾値ｔｈｒＬと上方閾値ｔｈｒＵとによって分散値Ｖａｒｉの範囲を分けることにより、図６に示したように、３種類の重み付け係数Ｋ１の特性を設定している。すなわち、上式（１）において定数ｋＶａｒｉは、重み付け係数Ｋ１の特性の傾きの大きさを表している。

このように、参照値算出部２１３が重み付け係数Ｋ１（ｉ，ｊ）を設定することによって、参照範囲内の周囲画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）の分散（ばらつき）と、参照範囲内のそれぞれの周囲画素の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）とを考慮した、参照範囲内のそれぞれの周囲画素における最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）のヒストグラムＨｉｓｔ２を生成することができる。

続いて、ステップＳ１６において、参照値算出部２１３は、重み付け係数Ｋ１（ｉ，ｊ）で重み付けした参照範囲内の周囲画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）のヒストグラムＨｉｓｔ２を生成する。なお、上述したように、参照範囲内のそれぞれの周囲画素において、信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）が信頼度閾値ｔｈｒＴ１よりも小さい周囲画素の重み付け係数Ｋ１（ｉ，ｊ）は、重み付け係数Ｋ１（ｉ，ｊ）＝０である。従って、参照値算出部２１３が生成するヒストグラムＨｉｓｔ２は、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ周囲画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）を要素としたヒストグラムである。

続いて、ステップＳ１７において、参照値算出部２１３は、生成したヒストグラムＨｉｓｔ２における最大度数が１つであるか否かを判定する。ステップＳ１７による判定の結果、生成したヒストグラムＨｉｓｔ２における最大度数が１つではない場合には、ステップＳ１２に戻って、参照範囲設定部２１２による参照範囲サイズＳｉｚｅＲの再設定、およびステップＳ１０〜ステップＳ１３までの参照範囲の設定処理と、参照値算出部２１３によるステップＳ１４〜ステップＳ１７までの参照値の算出処理とを再度行う。

一方、ステップＳ１７による判定の結果、生成したヒストグラムＨｉｓｔ２における最大度数が１つである場合には、ステップＳ１８において、参照値算出部２１３は、生成したヒストグラムＨｉｓｔ２における最大度数の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）を、参照値として動体除去画素生成部２２に出力する。

ここまでのステップＳ１４〜ステップＳ１８の処理が、画素値の決定処理において次に行う、参照値算出部２１３による参照値の算出処理である。ここで、参照値算出部２１３によって行われる、ステップＳ１６〜ステップＳ１８までの参照値の算出処理の一例について説明する。図７は、本実施形態の画像生成装置による動体除去処理において参照値を決定する処理の一例を説明する図である。図７には、図５（ｂ）に示した参照範囲内の周囲画素の内、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ周囲画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）のヒストグラムＨｉｓｔ２を生成し、生成したヒストグラムＨｉｓｔ２における最大度数の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）を、参照値として決定する処理を示している。本説明においては、図７（ａ）に示した参照範囲内に、信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ６つの周囲画素（周囲画素Ａ〜周囲画素Ｆ）が含まれ、周囲画素Ａ〜周囲画素Ｃが同じ最頻値であり、周囲画素Ｄ〜周囲画素Ｆが同じ最頻値であるものとする。

参照値算出部２１３は、ステップＳ１６において、図７（ａ）に示した参照範囲内のそれぞれの周囲画素Ａ〜周囲画素Ｆの最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）を要素としたヒストグラムＨｉｓｔ２を生成する。このとき、参照値算出部２１３は、周囲画素Ａ〜周囲画素Ｆの最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）の度数を、ステップＳ１５において設定した重み付け係数Ｋ１（ｉ，ｊ）で重み付けしてヒストグラムＨｉｓｔ２を生成することにより、図７（ｂ）に示したヒストグラムＨｉｓｔ２を生成する。なお、図７（ａ）においては、「★」で示している注目画素に近い周囲画素Ａおよび周囲画素Ｂの重み付け係数Ｋ１（ｉ，ｊ）の方が、注目画素から遠い周囲画素Ｃ〜周囲画素Ｆの重み付け係数Ｋ１（ｉ，ｊ）よりも大きい。

そして、参照値算出部２１３は、ステップＳ１７において、生成したヒストグラムＨｉｓｔ２における最大度数が１つであるか否かを判定する。なお、ステップＳ１６において参照値算出部２１３が生成したヒストグラムＨｉｓｔ２は、図７（ｂ）に示したように、同じ最頻値である周囲画素が３つずつ（周囲画素Ａ〜周囲画素Ｃおよび周囲画素Ｄ〜周囲画素Ｆ）であるが、重み付け係数Ｋ１（ｉ，ｊ）でそれぞれの周囲画素の度数に重み付けをしているため、最大度数は１つとなっている。

このため、参照値算出部２１３は、ステップＳ１８において、生成したヒストグラムＨｉｓｔ２における最大度数の最頻値、すなわち、図７（ｃ）に示した周囲画素Ａ〜周囲画素Ｃの最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）を、参照値として動体除去画素生成部２２に出力する。

このように、参照範囲内のそれぞれの周囲画素の座標位置に対して重み付け係数Ｋ１（ｉ，ｊ）を設定することによって、参照範囲内に複数種類の背景の周囲画素が入っていた場合でも、注目画素の座標位置において背景である可能性が高い画素値により近い値を参照値とすることができる。さらに、例えば、背景の模様が細かく変化していることによって、注目画素の周囲に配置されている周囲画素の画素値がばらついている場合でも、注目画素の座標位置に近い周囲画素から参照値を決定することができるため、本来の背景の画素値と大きく異なる画素値を参照値としてしまうことを防ぐことができる。

なお、本説明においては、注目画素の周囲に配置されている周囲画素の画素値のばらつきを表す指標として、参照値算出部２１３が、参照範囲内の周囲画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）の分散（ばらつき）を算出する場合について説明した。しかし、周囲画素の画素値のばらつきを判定する方法は、分散に限定されるものではない。例えば、参照範囲内の周囲画素において信頼度閾値ｔｈｒＴ１以上の信頼度ＭａｘＦｒｅｑ（ｉ，ｊ）を持つ周囲画素の最頻値ＭａｘＦｒｅｑＶａｌｕｅ（ｉ，ｊ）のヒストグラムを生成し、生成したヒストグラムにおいて度数が１以上である最頻値の個数から画素値のばらつきを判定する構成であってもよい。

そして、参照値を用いた最終的な動体除去画素の画素値の決定処理が完了すると、動体除去画素の画素値の選択処理では、続いて、動体除去画素生成部２２が、最終的な動体除去画素の画素値を選択して、画像処理部１５に出力する。

より具体的には、ステップＳ１９において、動体除去画素生成部２２内の注目画素値検出部２２１は、記憶部１３から取得した複数枚（本説明においては、５フレーム）の入力画像の１つ目の注目画素の画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）の内、参照値生成部２１内の参照値算出部２１３から入力された参照値に最も近い値の画素値を持つ注目画素を選択し、選択した注目画素の画素値を動体除去画素選択部２２２に出力する。そして、動体除去画素選択部２２２は、注目画素値検出部２２１から入力された注目画素の画素値を、動体除去画像において１つ目の注目画素と同一の座標位置（ｘ，ｙ）に配置される１つ目の動体除去画素の画素値として、画像処理部１５に出力する。

このように、ステップＳ７による判定の結果、１つ目の注目画素の信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）が、信頼度閾値ｔｈｒＴ２よりも小さい場合、つまり、１つ目の注目画素の５つの画素値Ｉｎ１（ｘ，ｙ）〜Ｉｎ５（ｘ，ｙ）のみでは、背景である可能性が高い画素の画素値を選択することができない場合には、参照値生成部２１から入力された参照値に最も近い値の画素値を持つ注目画素の画素値を、最終的な動体除去画素の画素値として出力する。

ここまでの処理が、動体除去画像において１つ目の注目画素と同一の座標位置（ｘ，ｙ）に配置される１つ目の動体除去画素の画素値の選択処理である。以降、参照値生成部２１内の参照範囲設定部２１２および参照値算出部２１３と、動体除去画素生成部２２とのそれぞれは、ステップＳ７における注目画素の信頼度ＭａｘＦｒｅｑ（ｘ，ｙ）と信頼度閾値ｔｈｒＴ２との比較と、ステップＳ８またはステップＳ９〜ステップＳ１９における比較結果に応じた最終的な動体除去画素の画素値の選択とを、全ての注目画素に対する処理が完了するまで、繰り返す。その後、ステップＳ７〜ステップＳ１９までの処理の繰り返しを、注目画素の画素数と同じ回数行うと、すなわち、入力画像の全ての画素に対応した動体除去画素の画素値の選択処理が完了すると、ステップＳ２０において処理のループを抜け出し、動体除去部２０による動体除去処理を完了する。

このようにして、動体除去部２０は、複数枚（フレーム）の入力画像の各画素に対して動体除去処理を行って、１枚の動体除去画像の各画素の画素値を、それぞれ画像処理部１５に出力する。これにより、撮像装置１０は、不要な移動体の画素値を動体として除去した１枚の動体除去画像を生成し、表示部１６を介して表示装置に表示、または記録部１７を介して画像記録媒体に記録することができる。

なお、動体除去部２０に入力されるそれぞれの入力画像は、１回の撮影毎に、撮像条件や画像処理パラメータなどを変えてしまうと、同じ被写体を撮影した場合であっても、入力画像毎に画素値が大きく異なってしまう。このような場合には、動体除去部２０による動体除去処理において、背景となる画素の画素値を正しく選択できなくなってしまう。そのため、動体除去画像を得るための撮影においては、合焦位置や露出などの撮像条件、階調変換やホワイトバンランスなどの画像処理パラメータは、全ての入力画像で同一であることが望ましい。

上記に述べたように、本発明を実施するための形態によれば、複数枚の入力画像において同一の座標位置に配置されている画素（本実施形態における「注目画素」）の画素値に基づいて生成した信頼度に基づいて、動体除去画像において注目画素と同一の座標位置に配置されている動体除去画素の画素値を選択する。このとき、本発明を実施するための形態では、信頼度が高い場合には、注目画素の最頻値を動体除去画素の画素値として選択し、信頼度が低い場合には、注目画素の周囲に配置された画素（本実施形態における「周囲画素」）の画素値から算出した参照値に基づいて、いずれか１枚の入力画像の注目画素の画素値を動体除去画素の画素値として選択する。これにより、本発明を実施するための形態では、入力画像に写っている同じ被写体を背景として選択する際に、注目画素の情報のみでは正しく背景の画素値を特定しにくい場合でも、注目画素の周囲に配置された周囲画素の情報を用いることによって正しく背景の画素値を選択できる確率を向上させ、動体除去処理を行って生成した動体除去画像の画素値として出力することができる。このことにより、本発明を実施するための形態では、入力画像の同一の位置に写っている移動体を除去し、入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像（動体除去画像）を生成することができる。

また、本発明を実施するための形態によれば、注目画素の周囲に配置されている周囲画素の内、注目画素の座標位置の近くに配置されている周囲画素の優先度を上げて、参照値を算出する。これにより、本発明を実施するための形態では、例えば、背景の模様が細かく変化していることによって、注目画素の周囲に配置されている周囲画素の画素値がばらついている場合でも、注目画素の座標位置の近くに配置されている周囲画素から、注目画素における背景の画素値を選択するための適切な参照値を算出することができる。このことにより、本発明を実施するための形態では、例えば、多くの不要な移動体がカメラの前を横切ったことにより、動体除去画像として抽出したい建物などの固定の被写体や背景が、入力画像に写っている回数が少ない領域においても、より精度よく固定の被写体や背景を抽出した動体除去画像を生成することができる。

また、本発明を実施するための形態によれば、常に周囲画素の画素値から算出した参照値に基づいて動体除去画素の画素値として選択するのではないため、動体除去処理の処理速度の低下を少なくすることができる。

なお、本実施形態においては、信頼度生成部２１１が、注目画素の画素値のヒストグラム（ヒストグラムＨｉｓｔ１）を生成することによって、注目画素の信頼度と最頻値とを得る場合について説明した。しかし、注目画素の信頼度と最頻値とを得る方法は、本実施形態に限定されるものではなく、他の方法によって注目画素の信頼度と最頻値とを得る構成であってもよい。

また、本実施形態においては、撮像装置１０に備えた撮像部１２によって撮影された画像データ（撮影画像）を入力画像として、動体除去処理を行う画像生成装置について説明したが、本実施形態の画像生成装置が動体除去処理を行う入力画像は、本発明を実施するための形態に限定されるものではない。例えば、画像記録媒体に記録されている同一の被写体を撮影した複数の画像データを記録部１７を介して読み出し、読み出した画像データを入力画像として動体除去処理を行うこともできる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０・・・撮像装置
１１・・・制御部
１２・・・撮像部
１３・・・記憶部
１４・・・位置ズレ検出部
１５・・・画像処理部
１６・・・表示部
１７・・・記録部
２０・・・動体除去部（画像生成装置）
２１・・・参照値生成部
２１１・・・信頼度生成部
２１２・・・参照範囲設定部
２１３・・・参照値算出部
２２・・・動体除去画素生成部
２２１・・・注目画素値検出部
２２２・・・動体除去画素選択部

Claims (15)

1. 入力された同じ画角の複数の入力画像から、動体を除去した背景のみが含まれる出力画像を生成する画像生成装置であって、
   現在処理する対象の画素であり、それぞれの前記入力画像において同一の位置に配置されたそれぞれの画素を注目画素とし、前記出力画像において前記注目画素と同一の位置に配置される画素を動体除去画素としたとき、
   現在処理を行っているそれぞれの前記注目画素の周囲に配置された画素である複数の周囲画素の情報に基づいて、前記動体除去画素の情報を決定するための参照値を生成する参照値生成部と、
   前記参照値に基づいて、現在処理を行っているそれぞれの前記注目画素の情報の中から、前記背景である可能性が高い前記注目画素の情報を選択し、該選択した前記注目画素の情報を前記出力画像における前記動体除去画素の情報として出力する動体除去画素生成部と、
   を備え、
   前記参照値生成部は、
   それぞれの前記注目画素の画素値を要素とした第１のヒストグラムを生成し、該生成した第１のヒストグラムにおける最大度数の値を信頼度とし、前記最大度数の画素値を最頻値として生成する信頼度生成部と、
   前記信頼度に基づいて、現在処理を行っている前記注目画素に対応した前記参照値を生成するために用いる前記周囲画素が含まれる範囲である参照範囲を設定する参照範囲設定部と、
   設定された前記参照範囲内のそれぞれの前記周囲画素を前記注目画素として処理したときに前記信頼度生成部が生成した前記信頼度と前記最頻値とに基づいて、前記参照値を算出する参照値算出部と、
   を備えることを特徴とする画像生成装置。
2. 前記参照範囲設定部は、
   設定した前記参照範囲内に含まれるそれぞれの前記周囲画素を前記注目画素として処理したときに前記信頼度生成部が生成した前記信頼度が、予め定めた信頼度の第１の閾値以上の信頼度である前記周囲画素の数を計数し、該計数した前記周囲画素の数が、予め定めた画素数の閾値以上となるように、該参照範囲を周囲に順次広げていく、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記参照値算出部は、
   前記参照範囲内に含まれるそれぞれの前記周囲画素を前記注目画素として処理したときの前記信頼度が、予め定めた信頼度の第１の閾値以上の信頼度であるそれぞれの前記周囲画素の前記最頻値を要素とした第２のヒストグラムを生成し、該生成した第２のヒストグラムにおける最大度数の前記最頻値を前記参照値とする、
   ことを特徴とする請求項１または請求項２に記載の画像生成装置。
4. 前記参照値算出部は、
   現在処理を行っている前記注目画素の位置と、前記参照範囲内に含まれるそれぞれの前記周囲画素の位置とに基づいた距離に応じて、該距離が近いほど大きく、該距離が遠いほど小さくなる重み付け係数を設定し、該設定した重み付け係数を前記第２のヒストグラムの要素であるそれぞれの前記最頻値に掛けて、前記第２のヒストグラムを生成する、
   ことを特徴とする請求項３に記載の画像生成装置。
5. 前記参照値算出部は、
   前記参照範囲内に含まれるそれぞれの前記周囲画素の前記最頻値のばらつきに応じて、該ばらつきが小さいほど前記距離に応じた差を小さく、該ばらつきが大きいほど前記距離に応じた差を大きくした前記重み付け係数を設定する、
   ことを特徴とする請求項４に記載の画像生成装置。
6. 前記動体除去画素生成部は、
   前記参照値に基づいて、現在処理を行っているそれぞれの前記注目画素の画素値の中から、前記背景である可能性が高い前記注目画素の画素値を検出する注目画素値検出部と、
   前記信頼度に基づいて、前記注目画素値検出部が検出した前記注目画素の画素値、または前記参照値生成部が生成した前記最頻値のいずれか一方の値を、前記動体除去画素の画素値として選択する動体除去画素選択部と、
   を備えることを特徴とする請求項１から請求項５のいずれか１の項に記載の画像生成装置。
7. 前記注目画素値検出部は、
   現在処理を行っているそれぞれの前記注目画素の画素値の中から、前記参照値に最も近い画素値を、前記背景である可能性が高い前記注目画素の画素値として検出する、
   ことを特徴とする請求項６に記載の画像生成装置。
8. 前記動体除去画素選択部は、
   前記信頼度が、予め定めた信頼度の第２の閾値以上である場合は、前記最頻値を前記動体除去画素の画素値として選択し、
   前記信頼度が、予め定めた信頼度の第２の閾値よりも小さい場合は、前記注目画素値検出部が検出した前記注目画素の画素値を前記動体除去画素の画素値として選択する、
   ことを特徴とする請求項６または請求項７に記載の画像生成装置。
9. 前記参照値生成部は、
   前記入力画像内の各位置に配置された、該入力画像の輝度を表す輝度情報、または該入力画像の色を表す色情報のいずれか一方または両方のデータに基づいて、前記参照値を生成する、
   ことを特徴とする請求項１から請求項８のいずれか１の項に記載の画像生成装置。
10. 前記参照値生成部は、
    前記入力画像内の各位置に配置された、該入力画像を取得する際に撮像素子から出力された信号に応じた値のデータに基づいて、前記参照値を生成する、
    ことを特徴とする請求項１から請求項８のいずれか１の項に記載の画像生成装置。
11. 被写体を撮影する撮像装置であって、
    入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備し、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力する撮像部と、
    前記撮像部から出力された複数枚の前記画像を記憶する記憶部と、
    前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを検出する位置ズレ検出部と、
    前記位置ズレ検出部によって検出された撮影位置のズレが補正された前記画像が、入力画像として複数入力され、該入力された複数の前記入力画像から、動体を除去した背景のみが含まれる出力画像を生成する、請求項１から請求項１０のいずれか１の項に記載の画像生成装置と、
    を備えることを特徴とする撮像装置。
12. 前記画像生成装置は、
    入力された複数の前記入力画像内の同一の位置に写っている枚数が少ない移動体の部分を、前記動体として除去した前記出力画像を生成する、
    ことを特徴とする請求項１１に記載の撮像装置。
13. 入力された同じ画角の複数の入力画像から、動体を除去した背景のみが含まれる出力画像を生成する画像生成方法であって、
    現在処理する対象の画素であり、それぞれの前記入力画像において同一の位置に配置されたそれぞれの画素を注目画素とし、前記出力画像において前記注目画素と同一の位置に配置される画素を動体除去画素としたとき、
    現在処理を行っているそれぞれの前記注目画素の周囲に配置された画素である複数の周囲画素の情報に基づいて、前記動体除去画素の情報を決定するための参照値を生成する参照値生成ステップと、
    前記参照値に基づいて、現在処理を行っているそれぞれの前記注目画素の情報の中から、前記背景である可能性が高い前記注目画素の情報を選択し、該選択した前記注目画素の情報を前記出力画像における前記動体除去画素の情報として出力する動体除去画素生成ステップと、
    を含み、
    前記参照値生成ステップは、
    それぞれの前記注目画素の画素値を要素とした第１のヒストグラムを生成し、該生成した第１のヒストグラムにおける最大度数の値を信頼度とし、前記最大度数の画素値を最頻値として生成する信頼度生成ステップと、
    前記信頼度に基づいて、現在処理を行っている前記注目画素に対応した前記参照値を生成するために用いる前記周囲画素が含まれる範囲である参照範囲を設定する参照範囲設定ステップと、
    設定された前記参照範囲内のそれぞれの前記周囲画素を前記注目画素として処理したときに前記信頼度生成ステップによって生成した前記信頼度と前記最頻値とに基づいて、前記参照値を算出する参照値算出ステップと、
    を含むことを特徴とする画像生成方法。
14. 前記動体除去画素生成ステップは、
    前記参照値に基づいて、現在処理を行っているそれぞれの前記注目画素の画素値の中から、前記背景である可能性が高い前記注目画素の画素値を検出する注目画素値検出ステップと、
    前記信頼度に基づいて、前記注目画素値検出ステップによって検出した前記注目画素の画素値、または前記参照値生成ステップによって生成した前記最頻値のいずれか一方の値を、前記動体除去画素の画素値として選択する動体除去画素選択ステップと、
    を含むことを特徴とする請求項１３に記載の画像生成方法。
15. 被写体を撮影する撮像装置による撮像方法であって、
    入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備した撮像部に、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力させる撮像ステップと、
    記憶部に、前記撮像部から出力された複数枚の前記画像を記憶させる記憶ステップと、
    位置ズレ検出部に、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを検出させる位置ズレ検出ステップと、
    請求項１から請求項１０のいずれか１の項に記載の画像生成装置に、前記位置ズレ検出部によって検出された撮影位置のズレが補正された前記画像を、入力画像として複数入力し、該入力された複数の前記入力画像から、動体を除去した背景のみが含まれる出力画像を生成させる画像生成ステップと、
    を含むことを特徴とする撮像方法。

Images