JP6619565B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

デジタルカメラなどの撮像装置は、一般にノイズ低減（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）などの種々の機能を備える。撮像装置の高機能化に伴い、その機能を提供するための画像処理が複雑化している。例えば、図１８に示す撮像装置９０において、動き算出部９３は、撮像部９１が取得した時間的に隣接する２フレームの輝度画像（Ｙ画像）に基づいてＹ画像を所定のサイズに分割した領域毎に、動きベクトルを算出する。画像処理部９７は、撮像部９１が取得した三板化画像について動き算出部９３が算出した動きベクトルを用いて位置合わせの高画質化処理（以下、高画質化処理、と呼ぶ）を行う。かかる処理には、例えば、フレーム間ＮＲ処理がある。

動き算出部９３は、時間的に隣接する２フレームのＹ画像間でマッチング処理を行って相互に対応する領域を探索し、対応する領域間の位置の差分を動きベクトルとして算出する。処理対象の画像間の差異によって、常に正しい動きベクトルを算出できるとは限らない。また、動きベクトルの算出は、一般に複雑な演算を要する。そのため、フレーム内の全ての画素のそれぞれについて動きベクトルを算出することは、処理時間の増加、もしくは回路規模の増加を要する。

そこで、特許文献１に記載の画像処理装置は、画像間の動き量を推定し、一方の画像を他方の画像の位置に合わせる動き補償処理を実行して動き補償画像を生成し、動き補償画像と位置合わせされた画像との合成処理によりノイズ低減等の施された画像を生成する。動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する。例えば、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、入力画像が適格画像である場合に限り、該入力画像を動き推定に適用する参照画像としてフレームメモリに格納する。

特開２０１４−３９１６９号公報

動画像に対する処理ではフレーム毎の動き推定を要するが、動き推定に好適な画像が常に得られるとは限らない。好適な画像と判定されなかったフレームについて、動き算出部９３は、動き推定を正しく行うことができない。そのため、画像処理部９７は、この動き推定の結果として得られる動きベクトルを用いて高画質化処理を正しく行うことができず、機能低下の原因となりうる。高画質化処理において、画像処理部９７は、さらに過去にさかのぼった時点のフレームの動きベクトルを採用することも考えられる。しかし、過去の動きベクトルは、必ずしも現時点における動きベクトルに近似するとは限らず、動きベクトルの差異は機能低下の原因となる。

本発明は、上記の課題に基づいてなされたものであり、動き推定に好適な画像が得られない場合でも、フレーム間の位置合わせに基づく画像処理の機能低下を抑制することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

本発明は上記の課題を解決するためになされたものであって、本発明の一態様は、第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出部と、前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記低信頼度ブロックの動きベクトルを補正する動きベクトル補正部と、前記動きベクトル補正部が補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理部と、前記高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出部と、を備え、前記動きベクトル補正部は、前記フレーム動きベクトルを用いて前記低信頼度ブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する画像処理装置である。

本発明の他の態様は、上述の画像処理装置であって、前記高信頼度ブロックは、前記低信頼度ブロックから所定範囲内に配置されているブロックである。

本発明の他の態様は、上述の画像処理装置であって、前記動きベクトル補正部は、前記低信頼度ブロックの動きベクトルの補正において、前記低信頼度ブロックからの距離が小さいブロックの動きベクトルほど優先して用いる。

本発明の他の態様は、第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出部と、前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出部と、前記フレーム動きベクトルを用いて前記第１の画像全体のブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する動きベクトル補正部と、前記動きベクトル補正部が補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理部と、を備える画像処理装置である。

本発明の他の態様は、上述した画像処理装置であって、撮像された画像を形成する各画素の座標と歪補正後の座標との関係を示す歪補正データに基づいて、前記第１の画像を示す画素毎の座標を補正する歪補正座標算出部、をさらに備える。

本発明の他の態様は、画像処理装置の画像処理方法であって、第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出過程と、前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出過程と、前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記低信頼度ブロックの動きベクトルを補正する動きベクトル補正過程と、前記動きベクトル補正過程で補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理過程と、前記高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出過程と、を有し、前記動きベクトル補正過程では、前記フレーム動きベクトルを用いて前記低信頼度ブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する画像処理方法である。

本発明の他の態様は、画像処理装置の画像処理方法であって、画像処理装置の画像処理方法であって、第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出過程と、前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出過程と、前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出過程と、前記フレーム動きベクトルを用いて前記第１の画像全体のブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する動きベクトル補正過程と、前記動きベクトル補正過程で補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理過程と、を有する画像処理方法である。

本発明の他の態様は、画像処理装置のコンピュータに、第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出手順、前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出手順、前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記低信頼度ブロックの動きベクトルを補正する動きベクトル補正手順、前記動きベクトル補正手順で補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理手順、前記高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル手順、を実行させるためのプログラムであって、前記動きベクトル補正手順では、前記フレーム動きベクトルを用いて前記低信頼度ブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定するプログラムである。

本発明の他の態様は、画像処理装置のコンピュータに、第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出手順、前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出手順、前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出手順、前記フレーム動きベクトルを用いて前記第１の画像全体のブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する動きベクトル補正手順、前記動きベクトル補正手順で補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理手順、を実行させるためのプログラムである。

本発明によれば、動き推定に好適な画像が得られない場合でも、フレーム間の位置合わせに基づく画像処理の機能低下を抑制することができる。

第１の実施形態に係る撮像装置の構成を示す概略ブロック図である。 第１の実施形態に係る画像処理ユニットの構成を示す概略ブロック図である。 第１の実施形態に係るブロックの設定例を示す図である。 動きベクトルの算出方法を説明するための図である。 ブロック毎に算出された信頼度の例を示す図である。 画素毎の動きベクトルの算出方法を説明するための図である。 位置合わせを説明するための図である。 第１の実施形態に係る画像処理を示すフローチャートの一部である。 第１の実施形態に係る画像処理を示すフローチャートの他の一部である。 第２の実施形態に係る動きベクトル補正部が行う処理を説明するための図である。 第２の実施形態に係る画像処理を示すフローチャートである。 第３の実施形態に係る動き算出部の構成を示す概略ブロック図である。 第３の実施形態に係る画像処理を示すフローチャートである。 第４の実施形態に係る動き算出部の構成を示す概略ブロック図である。 歪補正を説明するための図である。 第４の実施形態に係る画像処理を示すフローチャートである。 第５の実施形態に係る画像処理を示すフローチャートである。 従来の撮像装置の構成を示す概略ブロック図である。

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
図１は、本実施形態に係る撮像装置１０の構成を示す概略ブロック図である。
撮像装置１０は、画像処理ユニット１０Ａと、撮像部１１と、表示処理部１８と、表示デバイス１９とを含んで構成される。撮像部１１は、撮像素子１１１と、撮像処理部１１２とを含んで構成される。撮像装置１０は、動画像を撮像する機能を有する機器である。撮像装置１０は、例えば、デジタルカメラである。撮像処理部１１２、制御部１２、メモリ１４、画像処理ユニット１０Ａの動き算出部１３、画像処理部１７及び表示処理部１８は、バス（基線）を介して接続され、相互に各種のデータが入出力可能である。画像処理ユニット１０Ａの構成については、後述する。

撮像部１１は、視野内の被写体の画像を撮像し、撮像した画像を輝度で表す輝度画像と色差画像を取得する。
撮像素子１１１は、レンズ（図示せず）によって撮像面に結像された被写体の光学像を撮像する。撮像素子１１１は、２次元の撮像面には複数の受光素子（画素）が配置され、さらにべイヤー配列（Ｂａｙｅｒ Ａｒｒａｎｇｅｍｅｎｔ）を有するカラーフィルタが貼付される。個々の受光素子は、光電変換により到来した光を電気信号である画素信号に変換し、変換した画素信号を撮像処理部１１２に出力する。撮像素子１１１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化膜半導体）イメージセンサ、などである。

撮像処理部１１２は、撮像素子１１１から入力された画素信号について各種の撮像処理を行って所定時間（例えば、１／３０秒）毎に撮像された各フレームのべイヤー画像を示す撮像処理データを生成する。撮像処理には、アナログ・デジタル（Ａ／Ｄ：Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換、画素欠陥補正、オプティカルブラック・ホワイトバランス（ＯＢ／ＷＢ：Ｏｐｔｉｃａｌ Ｂｌａｃｋ／Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理などが含まれる。撮像処理部１１２は、撮像処理データについて三板化処理を行って輝度画像を示す輝度画像データ（Ｙ画像データ）と色差画像を示す色差画像データ（Ｃ画像データ）を生成する。色差画像データは、Ｃｂ（色差：青）画像を示すＣｂ画像データとＣｒ（色差：赤）画像を示すＣｒ画像データを含む。撮像処理部１１２は、フレーム毎に生成したＹ画像データとＣ画像データをメモリ１４に記憶する。なお、以下の説明では、三板化処理により得られたＹ画像データとＣ画像データを三板化画像データと総称する。

制御部１２は、撮像装置１０が各構成部の動作を制御する。制御部１２は、例えば、各構成部の動作モードの設定、処理に用いるパラメータの設定、各構成部間が実行する処理のタイミング、それらの処理の順序の制御、などを行う。
メモリ１４は、撮像装置１０が備える各構成部が実行する処理に用いる各種のデータ、それらの処理により生成されたデータを記憶する記憶部である。メモリ１４は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体を含んで構成される。

表示処理部１８は、画像処理ユニット１０Ａの画像処理部１７によって得られたフレーム毎の画像処理データを読み出し、読み出した画像処理データについて各種の表示処理を行って表示用の画像（表示画像）を示す表示画像データを表示デバイス１９に出力する。表示処理には、例えば、画像処理データが示す画像の大きさを、表示デバイス１９が表示可能な大きさの画像に変更するリサイズ処理、ＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示用のＯＳＤデータを重畳する重畳処理などの処理が含まれる。

表示デバイス１９は、表示処理部１８から入力された表示画像データに基づく表示画像を表示する。表示デバイス１９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｉｍｉｎｅｓｃｓｎｃ）ディスプレイなどである。表示デバイス１９は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ：電子ビューファインダ）であってもよい。

（画像処理ユニットの構成）
次に、本実施形態に係る画像処理ユニット１０Ａの構成について説明する。
図２は、本実施形態に係る画像処理ユニット１０Ａの構成を示す概略ブロック図である。
画像処理ユニット１０Ａは、動き算出部１３と、動きベクトル補正部１５と、動きベクトル再算出部１６と、画像処理部１７とを含んで構成される。動き算出部１３は、動きベクトル算出領域設定部１３１と、動きベクトル算出部１３２と、動きベクトル信頼度算出部１３３と、を含んで構成される。

動きベクトル算出領域設定部１３１は、メモリ１４からその時点のフレーム（現フレーム）のＹ画像データが示すＹ画像の一部の領域であるブロック毎に、当該ブロック内の画素毎の信号値を示すブロックデータを読み出す。以下の説明では、現フレームをフレームＡと呼ぶことがある。
動きベクトル算出領域設定部１３１は、メモリ１４から現フレームから時間的に隣接した過去の時点のフレーム（前フレーム）のＹ画像データが示すＹ画像の一部の領域であるブロック毎に当該ブロック内の画素毎の信号値を示すブロックデータを読み出す。以下の説明では、前フレームをフレームＢと呼ぶことがある。各ブロックは、後述するフレームＡ、Ｂ間の動きベクトルの算出対象の領域である。フレームＡ、Ｂには、互いに同じ数のブロックが設定され、各フレームに設定される複数のブロックの位置は互いに異なり、複数のブロックは互いに重ならない。動きベクトル算出領域設定部１３１は、フレームＡ、Ｂそれぞれのブロックデータを動きベクトル算出部１３２に出力する。フレームＡ、Ｂに設定されるブロックの設定例については、後述する。

動きベクトル算出部１３２には、動きベクトル算出領域設定部１３１からフレームＡ，Ｂそれぞれのブロックデータが入力される。動きベクトル算出部１３２は、フレームＡのブロックデータが示すブロックのそれぞれと、当該ブロックに対応するブロックであって、フレームＢのブロックデータが示すブロック（対応ブロック）とのブロックマッチングを行う。後述するように、フレームＡのブロックサイズは、フレームＢのブロックサイズよりも小さく、対応ブロックは動きベクトルの探索領域として用いられる。ブロックマッチングにおいて、動きベクトル算出部１３２は、フレームＡの各ブロック（基準ブロック）について、対応ブロック内のそれぞれ位置の異なる領域であって、フレームＡのブロックサイズと大きさが等しい領域（マッチングブロック）毎に類似度の指標値を算出する。類似度として、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：差分絶対値和）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ：差分二乗和）などの指標値が利用可能である。ＳＡＤ、ＳＳＤは、それぞれ小さいほど類似度が高いことを示す指標値である。

動きベクトル算出部１３２は、各基準ブロックについて、算出した類似度の指標値が最も類似度が高いことを示す指標値を与えるマッチングブロックを選択する。動きベクトル算出部１３２は、選択したマッチングブロックの所定の基準点（例えば、左上端の画素、重心点、等）の座標から当該基準ブロックの基準点の座標の差分を動きベクトルとして定める。動きベクトル算出部１３２は、各基準ブロックについて算出した動きベクトルと、マッチングブロックの位置毎の類似度の指標値を示す動きデータを動きベクトル信頼度算出部１３３に出力する。動きベクトルの算出例については、後述する。

動きベクトル信頼度算出部１３３は、動きベクトル算出部１３２から入力された動きデータが示す基準ブロック毎の類似度の指標値についてマッチングブロックの対応ブロック内の基準点間の分布に基づいて当該基準ブロックに係る動きベクトルの信頼度を示す指標値を算出する。動きベクトル信頼度算出部１３３は、信頼度を示す指標値として、例えば、各分布におけるＳＡＤの平均値と最小値との差分を算出する。この指標値は、動きベクトルの信頼度は、その分布が狭く特定の指標値に集中するほど高く、その分布が広く分散するほど低い。即ち、動きベクトルの信頼度は、マッチングブロックの位置の違いに応じて安定して類似度の指標値が得られる度合いを示す。信頼度を示す指標値として、その他、ＳＡＤの標準偏差もしくは分散などが利用可能であり、ＳＡＤに代えてＳＳＤが用いられてもよい。また、動きベクトル信頼度算出部１３３は、信頼度を示す指標値について、予め定めた複数段階のうち当該指標値が属する段階（レベル）を判定する。動きベクトル信頼度算出部１３３は、基準ブロック毎に判定した段階を示す信頼度データと、動きベクトル算出部１３２から入力された動きデータをメモリ１４に記憶する。信頼度の例については、後述する。

動きベクトル補正部１５は、メモリ１４から信頼度データと動きデータを読み出す。動きベクトル補正部１５は、基準ブロック毎に信頼度データが示す信頼度が所定の信頼度の閾値よりも低いか否かを判定する。動きベクトル補正部１５は、信頼度が低いと判定したブロック（低信頼度ブロック）について、当該低信頼度ブロックから所定範囲内に配置され、かつ、その閾値以上の信頼度を有するブロック（周辺ブロック）の動きベクトルに基づいて補正値を算出する。動きベクトル補正部１５は、例えば、信頼度が所定の最高段階である周辺ブロックの動きベクトルの平均値を補正値として算出する。動きベクトル補正部１５は、算出した補正値を当該低信頼度ブロックの動きベクトルとして定める。動きベクトル補正部１５は、読み出した動きデータが示す当該低信頼度ブロックの動きベクトルを、定めた動きベクトルに更新し、更新した動きベクトルを示す動きデータをメモリ１４に記憶する。補正値の算出例については、後述する。

動きベクトル再算出部１６は、メモリ１４から動きデータを読み出し、読み出した動きデータが示す基準ブロック毎の動きベクトルを補間して画素毎の動きベクトルを算出する。より具体的には、動きベクトル再算出部１６は、各基準ブロックに属する画素の動きベクトルとして、当該基準ブロックの動きベクトルに定める。動きベクトル再算出部１６は、各基準ブロックに属しない画素の動きベクトルとして、当該画素から所定の範囲内の基準ブロックの動きベクトルを補間して得られたベクトルに定める。動きベクトル再算出部１６は、画素毎に定めた動きベクトルを示す画素別動きデータを画像処理部１７に出力する。画素毎の動きベクトルの算出例については、後述する。

画像処理部１７は、フレームＡ、Ｂの三板化画像データをメモリ１４から読み出す。画像処理部１７は、動きベクトル再算出部１６から入力された画素別動きデータが示す画素毎の動きベクトルと、フレームＡの当該画素の座標とを加算して、フレームＢの当該画素に対応する座標（対応座標）を算出する。この対応座標を算出する処理は、位置合わせ、又は動き補償とも呼ばれる。画像処理部１７は、フレームＡの三板化画像データが示す画素毎の信号値と、フレームＢの三板化画像データが示す対応座標における画素の信号値とに基づいて所定の画像処理を行う。画像処理部１７は、所定の画像処理として、例えば、フレーム間ＮＲ処理などの位置合わせ高画質化処理を行う。画像処理部１７は、所定の画像処理により得られた画素毎の信号値を示す画像処理データを生成し、生成した画像処理データをメモリ１４に記憶する。

（ブロックの設定例）
次に、フレームＡ、Ｂに設定されるブロックの設定例について説明する。
図３は、本実施形態に係るブロックの設定例を示す図である。
図３において、ＦＡ、ＦＢは、それぞれフレームＡ、Ｂを示す。フレームＡ、Ｂのそれぞれにおいて等間隔に配置されている１５個（水平方向５個、垂直方向３個）の四角形は、ブロックを示す。フレームＡに設定されている各ブロックの重心の座標は、フレームＢに設定されている各対応ブロックの重心の座標に等しい。例えば、フレームＡの左上端のブロックＡａ０の重心の座標は、フレームＢの左上端のブロックＢａ０の重心の座標に等しい。

フレームＡのブロックサイズは、フレームＢのブロックサイズよりも小さい。例えば、フレームＡのブロックサイズは、水平方向８画素、垂直方向８画素であるのに対し、フレームＢのブロックサイズは、水平方向３２画素、垂直方向３２画素である。そのため、ブロックＡの各ブロックの領域は、ブロックＢの各対応ブロックの領域に含まれる。上述したように、ブロックＡの各ブロックは、フレームＢの各対応ブロックを動きベクトルの探索領域として用いられる。
なお、フレームＡのブロックサイズは、フレームＢのブロックサイズよりも小さければ、上述したものに限られない。例えば、フレームＡのブロックサイズは、水平方向４画素、垂直方向４画素でもよい。フレームＢのブロックサイズは、水平方向６４画素、垂直方向６４画素でもよい。また、図３に示す例では、フレームＢはブロックが設定されていない領域を有するが、フレームＢは、複数のブロックによりその全体が網羅され、ブロックが設定されていない領域を有しなくてもよい。

（動きベクトルの算出例）
次に、動きベクトルの算出例について説明する。
図４は、動きベクトルの算出方法を説明するための図である。動きベクトル算出部１３２は、フレームＡの各ブロックを基準ブロックとして、フレームＢの各対応ブロックとのブロックマッチングを行って１つの動きベクトルを算出する。図４は、フレームＡのブロックＡａ０（水平方向３画素、垂直方向３画素）とフレームＢのブロックＢａ０（水平方向５画素、垂直方向５画素）とのブロックマッチングを例にする。

図４に示す例において、動きベクトル算出部１３２は、ブロックＡａ０と、それぞれ画素単位で位置の異なるマッチングブロックＡａ０’とのＳＡＤを算出する。マッチングブロックＡａ０’は、ブロックＢａ０内におけるブロックＡａ０と大きさが等しい領域であり、ブロックＢａ０には９個［＝（５−３＋１）×（５−３＋１）］存在する。図４の左から２、３、４列目は、それぞれマッチングブロックＡａ０’が左上端、左上端から水平方向に２列目、右下端にある場合を例示する。そして、動きベクトル算出部１３２は、９個のマッチングブロックＡａ０’のうち、最小のＳＡＤを与えるマッチングブロックＡａ０’を選択する。動きベクトル算出部１３２は、選択したマッチングブロックＡａ０’の基準点の座標からブロックＡａ０の基準点の座標の差分を、動きベクトルとして算出する。

（信頼度の例）
次に、信頼度の例について説明する。図５は、ブロック毎に算出された信頼度の例を示す図である。図５に示す例では、フレームＡ内の２５個のブロックａ０−ｅ４（水平方向５ブロック、垂直方向５ブロック）のそれぞれの信頼度を示す。信頼度は、各ブロックを示す四角形の２行目に表される。これらの信頼度は、各ブロックについてＳＡＤの平均値と最小値との差分を０−７の８段階のいずれかに正規化した段階で表される。段階を表す数値が大きいほど信頼度が低いことを示す。例えば、０−７のうち、０が最も信頼度が高いことを示し、７が最も信頼度が低いことを示す。図５の左上端から３行３列目のブロックｃ２の信頼度は７である。図５の左上から３行２列目のブロックｂ２の信頼度は０である。なお、信頼度の段階は８段階に限られず、２段階以上であれば、７段階以下であっても、９段階以上であってもよい。

（補正値の算出例）
次に、補正値の算出例について説明する。動きベクトル補正部１５は、信頼度が所定の閾値（例えば、０）よりも低い低信頼度ブロックについて、当該低信頼度ブロックから所定範囲内に配置され、かつ、その閾値以上の信頼度を有する周辺ブロックの動きベクトルに基づいて補正値を算出する。図５に示す例では、動きベクトル補正部１５は、信頼度が７であるブロックｃ２を低信頼度ブロックと判定する。動きベクトル補正部１５は、ブロックｃ２から水平方向、及び垂直方向のそれぞれに隣接する各１ブロック内の領域であって、信頼度が所定の閾値以上であるブロックとして、ブロックｂ２、ｃ３、ｄ１、ｄ２をそれぞれ周辺ブロックと定める。そして、動きベクトル補正部１５は、ブロックｂ２、ｃ３、ｄ１、ｄ２の動きベクトルの平均値を補正値として算出する。なお、信頼度の閾値は、０よりも低い信頼度を示す値、例えば、１であってもよい。周辺ブロックとなりうる領域の大きさは、水平方向３ブロック、垂直方向３ブロックよりも大きい領域、例えば、水平方向５ブロック、垂直方向５ブロックでもよい。

動きベクトル補正部１５は、メモリ１４から信頼度データと動きデータを読み出す。動きベクトル補正部１５は、基準ブロック毎に信頼度データが示す信頼度が所定の信頼度の閾値よりも低いか否かを判定する。動きベクトル補正部１５は、信頼度が低いと判定したブロック（低信頼度ブロック）について、当該低信頼度ブロックから所定範囲内に配置され、かつ、その閾値以上の信頼度を有するブロック（周辺ブロック）の動きベクトルに基づいて補正値を算出する。動きベクトル補正部１５は、例えば、周辺ブロックのうち信頼度が所定の最高段階である周辺ブロックの動きベクトルの平均値を補正値として算出する。なお、周辺ブロックがないと判定した場合には、動きベクトル補正部１５は、補正値を０と定める。動きベクトル補正部１５は、算出した補正値を当該低信頼度ブロックの動きベクトルとして定める。動きベクトル補正部１５は、読み出した動きデータが示す当該低信頼度ブロックの動きベクトルを、定めた動きベクトルに更新し、更新した動きベクトルを示す動きデータをメモリ１４に記憶する。補正値の算出例については、後述する。

（画素毎の動きベクトルの算出例）
次に、画素毎の動きベクトルの算出例について説明する。
図６は、画素毎の動きベクトルの算出方法を説明するための図である。図６において格子状に分布している●印は、フレームＡの各ブロック内の代表点としての画素を示している。この代表点は、例えば、ブロックの重心点の位置であってもよいし、ブロックの左上端の位置でもよい。これらの画素については、動きベクトル再算出部１６は、当該画素が属するブロックの動きベクトルを当該画素の動きベクトルとして定める。なお、図６に示す例では、各ブロックの重心点の座標値に配置された画素が図示され、その他のブロック内の画素については図示が省略されている。△印は、フレームＡの各ブロックの代表点以外の画素の例として画素Ｓを示す。これらの画素については、動きベクトル再算出部１６は、例えば、画素Ｓに水平方向及び垂直方向に近接する４つのブロックの動きベクトルを補間（近接４点補間）して得られたベクトルを、画素Ｓの動きベクトル（Ｑｘ，Ｑｙ）として定める。画素Ｓに水平方向及び垂直方向に近接する４つのブロックは、重心点Ａ、Ｂ、Ｃ、Ｄを有するブロックである。これらの重心点は、フレーム内の各ブロックの重心点のうち、水平方向の座標値（ｘ座標値）がその正方向もしくは負方向に、垂直方向の座標値（ｙ座標値）がその正方向もしくは負方向に、それぞれ座標Ｓのｘ座標値、ｙ座標値に最も近似する。

近接４点補間によれば、画素Ｓの動きベクトル（Ｑｘ，Ｑｙ）は、式（１）を用いて算出される。

Ｑｘ＝ｋ０・Ａｘ’＋ｋ１・Ｃｘ’＋ｋ２・Ｂｘ’＋ｋ３・Ｄｘ’，
Ｑｙ＝ｋ０・Ａｙ’＋ｋ１・Ｃｙ’＋ｋ２・Ｂｙ’＋ｋ３・Ｄｙ’，
ｋ０＝（１−ｑｘ）・（１−ｑｙ），ｋ１＝ｑｘ・（１−ｑｙ），
ｋ２＝（１−ｑｘ）・ｑｙ，ｋ３＝ｑｘ・ｑｙ …（１）

式（１）において、Ｑｘ、Ａｘ’、Ｃｘ’、Ｂｘ’、Ｄｘ’は、それぞれ画素Ｓ、重心点Ａ、重心点Ｃ、重心点Ｂ、重心点Ｄに係る動きベクトルの水平方向の座標値（ｘ座標値）を示す。Ｑｙ、Ａｙ’、Ｃｙ’、Ｂｙ’、Ｄｙ’は、それぞれ画素Ｓ、重心点Ａ、重心点Ｃ、重心点Ｂ、重心点Ｄに係る動きベクトルの垂直方向の座標値（ｙ座標値）を示す。ｑｘ、ｑｙは、各ブロックの重心点間の距離を１と正規化した場合における、重心点Ａを基準点とした画素Ｓのｘ座標値、ｙ座標値をそれぞれ示す。

なお、水平方向及び垂直方向に近接する４つのブロックを有しない画素については、動きベクトル再算出部１６は、近接する２つのブロックの動きベクトルを補間して得られたベクトルを当該画素の動きベクトルとして定める。例えば、フレームＡ内の左端のブロックよりもｘ座標値が小さい画素、右端のブロックよりもｘ座標値が大きい画素については、垂直方向に近接する２つのブロックの動きベクトルを補間して得られたベクトルを、当該画素の動きベクトルとして定める。フレームＡ内の上端のブロックよりもｙ座標値が小さい画素、下端のブロックよりもｙ座標値が大きい画素については、水平方向に近接する２つのブロックの動きベクトルを補間して得られたベクトルを、当該画素の動きベクトルとして定める。また、動きベクトル再算出部１６は、隣接する複数のブロックを有しない画素については、当該画素に最も近接する１つのブロックの動きベクトルを、当該画素の動きベクトルとして定める。従って、「補間」とは、必ずしも「内挿」に限られず、「外挿」及び「置換」も含む。

なお、フレームＡの画素の座標と、当該画素の動きベクトルとの和は、フレームＢの対応座標に相当する。動きベクトル再算出部１６は、対応座標がフレームＢの範囲外となる動きベクトルについては、０と定める。これにより、対応座標に配置された画素が存在しないために、画像処理部１７がフレーム間で対応する座標に配置された画素同士で処理ができなくなることを回避する。

（位置合わせの例）
次に、位置合わせの例について説明する。図７は、位置合わせを説明するための図である。ＳＡは、フレームＡ（ＦＡ）の処理対象の注目画素を示す。画像処理部１７は、注目画素ＳＡの動きベクトルＶＡと、注目画素ＳＡの座標とを加算してフレームＢの対応座標を算出し、算出した対応座標に配置された対応画素ＳＢを特定する。対応画素ＳＢは、フレームＡに表される画像を構成する注目画素ＳＡに相当する位置に配置された画素である。そして、画像処理部１７は、注目画素ＳＡの信号値と対応画素ＳＢの信号値を用いて所定の画像処理、例えば、ＮＲ処理を行う。

（画像処理）
次に、本実施形態に係る画像処理について説明する。
図８、９は、本実施形態に係る画像処理を示すフローチャートである。本画像処理は、ステップＳ１０１−Ｓ１２１を有する。図８、９は、それぞれステップＳ１０１−Ｓ１１１、Ｓ１１２−Ｓ１２１を示す。
（ステップＳ１０１）動きベクトル算出領域設定部１３１は、フレームＡ、Ｂのそれぞれについて、処理対象の領域である注目ブロックとその対応ブロックを特定する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）動きベクトル算出部１３２は、フレームＡの注目ブロックについてフレームＢの対応ブロックとの間でブロックマッチングを行って、動きベクトルを算出する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）動きベクトル信頼度算出部１３３は、ブロックマッチングにおいて算出される類似度の分布に基づいて、フレームＡの注目ブロックについて動きベクトルの信頼度を算出する。その後、ステップＳ１０４に進む。
（ステップＳ１０４）制御部１２は、フレームＡの注目ブロックが最終ブロックであるか否かを判定する。最終ブロックであると判定された場合（ステップＳ１０４ ＹＥＳ）、ステップＳ１０５に進む。最終ブロックでないと判定された場合（ステップＳ１０４ ＮＯ）、制御部１２は、予め定めた処理順序（例えば、ラスタースキャン順）に基づいて、処理対象の注目ブロックを次のブロックに変更する。その後、ステップＳ１０１に戻る。

（ステップＳ１０５）動きベクトル補正部１５は、フレームＡの注目ブロックについて信頼度が所定の信頼度の閾値よりも低いか、当該閾値以上の高い信頼度であるかを判定する。信頼度が高いと判定された場合（ステップＳ１０５ ＹＥＳ）、ステップＳ１１１に進む。信頼度が低いと判定された場合（ステップＳ１０５ ＮＯ）、ステップＳ１０６に進む。
（ステップＳ１０６）動きベクトル補正部１５は、当該注目ブロックから所定範囲に配置された周辺のブロックの信頼度を取得する。その後、ステップＳ１０７に進む。

（ステップＳ１０７）動きベクトル補正部１５は、取得した周辺のブロックにおいて、信頼度が所定の閾値以上である信頼度が高い周辺ブロックの有無を判定する。あると判定された場合（ステップＳ１０７ ＹＥＳ）、ステップＳ１０８に進む。ないと判定された場合（ステップＳ１０７ ＮＯ）、ステップＳ１０９に進む。
（ステップＳ１０８）動きベクトル補正部１５は、周辺ブロックの動きベクトルの平均値を注目ブロックの動きベクトルと定める。その後、ステップＳ１１０に進む。
（ステップＳ１０９）動きベクトル補正部１５は、注目ブロックの動きベクトルを０と定める。その後、ステップＳ１１０に進む。
（ステップＳ１１０）動きベクトル補正部１５は、定めた注目ブロックの動きベクトルを示す動きベクトルデータをメモリ１４に上書き保存する。その後、ステップＳ１１１に進む。

（ステップＳ１１１）制御部１２は、フレームＡの注目ブロックが最終ブロックであるか否かを判定する。最終ブロックであると判定された場合（ステップＳ１１１ ＹＥＳ）、ステップＳ１１２に進む。最終ブロックでないと判定された場合（ステップＳ１１１ ＮＯ）、制御部１２は、予め定めた処理順序に基づいて、処理対象の注目ブロックを次のブロックに変更する。その後、ステップＳ１０５に戻る。

（ステップＳ１１２）動きベクトル再算出部１６は、処理対象の注目画素がフレームＡにおいていずれのブロックの代表点にも属しない画素であるか否かを判定する。いずれのブロックの代表点にも属しない画素であると判定された場合（ステップＳ１１２ ＹＥＳ）、ステップＳ１１３に進む。いずれかのブロックの代表点の画素であると判定された場合（ステップＳ１１２ ＮＯ）、動きベクトル再算出部１６は、注目座標が属するブロックの動きベクトルを当該注目画素の動きベクトルとして定め、ステップＳ１１８に進む。

（ステップＳ１１３）動きベクトル再算出部１６は、注目画素が４点補間が可能な座標にあるか否かを判定する。４点補間が可能な座標にあると判定された場合（ステップＳ１１３ ＹＥＳ）、ステップＳ１１４に進む。４点補間が可能な座標にないと判定された場合（ステップＳ１１３ ＮＯ）、ステップＳ１１６に進む。
（ステップＳ１１４）動きベクトル再算出部１６は、注目画素に隣接する４つのブロックの動きベクトルを取得する。その後、ステップＳ１１５に進む。
（ステップＳ１１５）動きベクトル再算出部１６は、取得した４つのブロックの動きベクトルを４点補間して得られたベクトルを注目画素の動きベクトルと定める。その後、ステップＳ１１８に進む。

（ステップＳ１１６）動きベクトル再算出部１６は、注目画素に最も近接する１つのブロックの動きベクトル、又は隣接する２つのブロックの動きベクトルを取得する。その後、ステップＳ１１７に進む。
（ステップＳ１１７）動きベクトル再算出部１６は、取得した１つ又は２つの動きベクトルに基づいて算出して得られたベクトルを注目画素の動きベクトルと定める。その後、ステップＳ１１８に進む。

（ステップＳ１１８）動きベクトル再算出部１６は、注目画素の座標と定めた動きベクトルを加算してフレームＢの対応座標を算出する。動きベクトル再算出部１６は、算出した対応座標がフレームＢの範囲内であるか否かを判定する。フレームＢの範囲内であると判定された場合（ステップＳ１１８ ＹＥＳ）、対応座標に配置された対応画素を特定し、ステップＳ１２０に進む。フレームＢの範囲外と判定された場合（ステップＳ１１８ ＮＯ）、ステップＳ１１９に進む。
（ステップＳ１１９）動きベクトル再算出部１６は、注目画素の動きベクトルを０と定める。その後、ステップＳ１２０に進む。

（ステップＳ１２０）画像処理部１７は、注目画素の座標と動きベクトル再算出部１６から入力された画素別動きデータが示す動きベクトルを画素毎に加算してフレームＢの対応座標を算出する。画像処理部１７は、メモリ１４からフレームＡの三板化画像データが示す注目画素の信号値と、フレームＢの三板化画像データが示す対応画素の信号値について所定の画像処理、例えば、フレーム間ＮＲ処理を行う。その後、ステップＳ１２１に進む。

（ステップＳ１２１）制御部１２は、フレームＡの注目画素が最終画素であるか否かを判定する。最終画素であると判定された場合（ステップＳ１２１ ＹＥＳ）、図８、９に示す処理を終了する。最終画素でないと判定された場合（ステップＳ１２１ ＮＯ）、制御部１２は、予め定めた処理順序に基づいて、処理対象の注目画素を次の画素に変更する。その後、ステップＳ１１２に戻る。

以上に説明したように、本実施形態に係る撮像装置１０の画像処理ユニット１０Ａは、フレームＡの一部の領域であるブロックと、当該ブロックとフレームＢの一部の領域との類似度に基づいて当該ブロックの動きベクトルを定める動きベクトル算出部１３２を備える。また、画像処理ユニット１０Ａは、類似度のフレームＢ内の分布に基づいて動きベクトルの信頼度を算出する動きベクトル信頼度算出部１３３を備える。また、画像処理ユニット１０Ａは、信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、その所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて低信頼度ブロックの動きベクトルを補正する動きベクトル補正部１５を備える。また、画像処理ユニット１０Ａは、動きベクトル補正部１５が補正した動きベクトルに基づいてフレームＡの画素に対応するフレームＢの対応画素を定め、フレームＡの画素の信号値とフレームＢの当該対応画素の信号値を用いた画像処理を行う画像処理部１７を備える。

この構成により、フレーム内の一部の領域について算出した動きベクトルのうち、信頼性が高い動きベクトルに基づいて、信頼性が低いと判定された領域の動きベクトルを補正する。フレーム間で相互に対応する画素を高い信頼性をもって特定することができるので、フレーム間の位置合わせに基づく画像処理の機能低下を抑制することができる。また、フレーム内の全画素についてブロックマッチングを行わずに動きベクトルをすることができるので、演算量やハードウェア規模の増加を抑制することができる。

また、画像処理ユニット１０Ａでは、上述した高信頼度ブロックは、処理対象の低信頼度ブロックから所定範囲内に配置されているブロックである。
この構成により、処理対象の低信頼度ブロックから近接した高信頼度ブロックに基づいて動きベクトルが補正されるので、低信頼度ブロックに表された画像の動きをより精度よく補償することができる。フレーム間で相互に対応する画素をより高い精度で特定することができるので、フレーム間の位置合わせに基づく画像処理の機能低下を抑制することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る撮像装置１０は、第１の実施形態に係る撮像装置１０（図１）と同様に画像処理ユニット１０Ａと、撮像部１１と、表示処理部１８と、表示デバイス１９とを含んで構成される。但し、画像処理ユニット１０Ａの動きベクトル補正部１５は、低信頼度ブロックと判定された処理対象の注目ブロックについて、当該注目ブロックの重心からの距離が小さい周辺ブロックほど、補正値の算出に用いる動きベクトルを与える周辺ブロックとして優先して選択する。

次に、図１０を用いて本実施形態に係る動きベクトル補正部１５が行う処理について説明する。動きベクトル補正部１５は、注目ブロックの重心点に配置されている注目画素からの距離が最も小さいブロックからなるグループ（Ｌ１）を特定する。動きベクトル補正部１５は、特定したグループのうち、信頼度が所定の信頼度の閾値よりも低い周辺ブロックの有無を判定する。信頼度が低い周辺ブロックがあると判定するとき、動きベクトル補正部１５は、周辺ブロックの動きベクトルの平均値を補正値として算出する。周辺ブロックがないと判定するとき、動きベクトル補正部１５は、次に注目画素からの距離が小さいブロックからなるグループ（Ｌ２）を特定する。以下、周辺画素が検出されるまで、又は、注目画素からの距離が所定の距離の閾値を超えるまで、動きベクトル補正部１５は、注目画素からの距離が次に大きいブロックからなるグループの特定と、特定したグループ内の周辺ブロックの有無の判定を順次繰り返す。図１０に示す例では、距離の閾値は、注目画素からグループＬ５に属するブロックまでの距離である。

（画像処理）
次に、本実施形態に係る画像処理について説明する。
図１１は、本実施形態に係る画像処理を示すフローチャートである。
本実施形態に係る画像処理は、ステップＳ１０１−Ｓ１０５、Ｓ１０８−Ｓ１２１、及びＳ２０１−Ｓ２０３を有する。図１１では、ステップＳ１０１−Ｓ１０４、Ｓ１１２−Ｓ１２１の図示が省略されている。ステップＳ１０５において、動きベクトル補正部１５が、フレームＡの注目ブロックについて信頼度が所定の信頼度の閾値よりも低いと判定された場合（ステップＳ１０５ ＮＯ）、ステップＳ２０１に進む。

（ステップＳ２０１）動きベクトル補正部１５は、次に注目画素からの距離が小さいブロックを特定し、特定したブロックの信頼度と動きベクトルを取得する。但し、動きベクトル補正部１５が特定するブロックの初期値は、注目画素からの距離が最も小さいブロックである。その後、ステップＳ２０２に進む。
（ステップＳ２０２）動きベクトル補正部１５は、動きベクトル補正部１５は、特定したグループのうち、信頼度が所定の信頼度の閾値以上である周辺ブロックが存在するか否かを判定する。存在すると判定する場合（ステップＳ２０２ ＹＥＳ）、ステップＳ１０８に進む。存在しないと判定する場合（ステップＳ２０２ ＮＯ）、ステップＳ２０３に進む。
（ステップＳ２０３）動きベクトル補正部１５は、次に注目画素からの距離が小さいブロックについて、その距離が所定の距離の閾値よりも大きいか否かを判定する。大きいと判定する場合（ステップＳ２０３ ＹＥＳ）、ステップＳ１０９に進む。大きくないと判定する場合（ステップＳ２０３ ＮＯ）、ステップＳ２０１に戻る。

以上に説明したように、本実施形態に係る撮像装置１０の画像処理ユニット１０Ａにおいて、動きベクトル補正部１５は、注目する低信頼度ブロックの動きベクトルの補正において、前記低信頼度ブロックからの距離が小さいブロックの動きベクトルほど優先して用いる。
この構成により、低信頼度ブロックの動きベクトルの補正において、処理対象の低信頼度ブロックから近接した高信頼度ブロックほど優先して動きベクトルが補正されるので、その低信頼度ブロックに表された画像の動きをより精度よく補償することができる。フレーム間で相互に対応する画素をさらに高い精度で特定することができるので、フレーム間の位置合わせに基づく画像処理の機能低下を抑制することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る撮像装置１０は、第１の実施形態に係る撮像装置１０（図１）と同様に画像処理ユニット１０Ａと、撮像部１１と、表示処理部１８と、表示デバイス１９とを含んで構成される。但し、図１２に示すように画像処理ユニット１０Ａの動き算出部１３は、フレーム動きベクトル算出部１３４をさらに含んで構成される。

フレーム動きベクトル算出部１３４には、動きベクトル信頼度算出部１３３から信頼度データと、動きデータとが入力される。フレーム動きベクトル算出部１３４は、信頼度データを参照して、信頼度が所定の閾値（例えば、信頼度０）以上である高信頼度ブロックを検出する。フレーム動きベクトル算出部１３４は、検出した高信頼度ブロック間の動きベクトルの分布に基づいてフレーム信頼度を算出する。フレーム動きベクトル算出部１３４は、高信頼度ブロックの動きベクトルに基づいてフレーム動きベクトルを算出する。
フレーム動きベクトル算出部１３４は、算出したフレーム動きベクトルを示すデータを、メモリ１４に記憶される動きデータに付加し、算出したフレーム信頼度を信頼度データに付加する。

フレーム動きベクトル算出部１３４は、動きベクトルの分布を取得する際、例えば、検出した高信頼度ブロック毎の動きベクトルを特定し、特定した動きベクトル毎の高信頼度ブロックの個数を計数する。計数した動きベクトル毎の高信頼度ブロックの個数は、ヒストグラムを形成する。フレーム動きベクトル算出部１３４は、ブロック間の動きベクトルの分布が狭く特定の値に集中しているほどフレーム信頼度が高く、当該分布が広く分散しているほどフレーム信頼度が低いと判定する。即ち、フレーム信頼度とは、フレームＡの動きベクトルを特定の動きベクトルで代表できる度合いを示す指標値である。

フレーム動きベクトル算出部１３４は、フレーム信頼度を算出する際、例えば、動きベクトル毎の高信頼度ブロックの個数のうち個数が最多である動きベクトル（最頻値）と、その個数（最大個数Ｎ）とを特定する。フレーム動きベクトル算出部１３４は、１から最大個数ＮのＭに対する割合の差分（１−Ｎ／Ｍ）を算出し、算出して得られる値を０−７の８段階のいずれかに正規化する。ここで、フレーム動きベクトル算出部１３４は、算出して得られる値が属する段階を判定し、判定した段階をフレーム信頼度として定める。ここで、Ｍは、フレームＡに含まれるブロックの個数である。定めた値が大きいほど、フレーム信頼度が低いことを示す。０−７のうち、０が最も高いフレーム信頼度を示し、７が最も低いフレーム信頼度を示す。なお、段階数は、８に限られず、２以上７以下でも、９以上であってもよい。

動きベクトル補正部１５（図２）は、メモリ１４から信頼度データと動きデータを読み出す。動きベクトル補正部１５は、読み出した信頼度データが示すフレーム信頼度が所定のフレーム信頼度の閾値以上（例えば、０．５以下）である場合、動きデータが示すフレーム動きベクトルを低信頼度ブロックの動きベクトルとして定める。また、動きベクトル補正部１５は、フレーム信頼度が所定のフレーム信頼度の閾値未満である場合、低信頼度ブロックの動きベクトルを０と定める。

（画像処理）
次に、本実施形態に係る画像処理について説明する。
図１３は、本実施形態に係る画像処理を示すフローチャートである。
本実施形態に係る画像処理は、ステップＳ１０１−Ｓ１２１及びステップＳ３０１−３０３を有する。図１３では、ステップＳ１０１−１０３、ステップＳ１１２−Ｓ１２１の図示が省略されている。ステップＳ１０４において、制御部１２は、フレームＡの注目ブロックが最終ブロックであると判定した場合（ステップＳ１０４ ＹＥＳ）、ステップＳ３０１に進む。

（ステップＳ３０１）フレーム動きベクトル算出部１３４は、信頼度が所定の信頼度の閾値以上である高信頼度ブロック毎の動きベクトルを特定し、特定した動きベクトル毎のブロックの個数を計数する。フレーム動きベクトル算出部１３４は、動きベクトルの最頻値に基づいてフレーム信頼度を算出し、その動きベクトルの最頻値をフレーム動きベクトルとして定める。その後、ステップＳ１０５に進む。
ステップＳ１０７において、動きベクトル補正部１５は、取得した周辺のブロックにおいて信頼度が所定の閾値以上である信頼度が高い周辺ブロックがないと判定した場合（ステップＳ１０７ ＮＯ）、ステップＳ３０２に進む。

（ステップＳ３０２）動きベクトル補正部１５は、フレーム信頼度が所定のフレーム信頼度の閾値以上であるか否かを判定する。所定のフレーム信頼度の閾値以上と判定された場合（ステップＳ３０２ ＹＥＳ）、ステップＳ３０３に進む。所定の信頼度の閾値よりも低い判定された場合（ステップＳ３０２ ＮＯ）、ステップＳ１０９に進む。
（ステップＳ３０３）動きベクトル補正部１５は、注目ブロック（低信頼度ブロック）の動きベクトルをフレーム動きベクトルとして定める。その後、ステップＳ１１０に進む。

以上に説明したように、本実施形態に係る撮像装置１０の画像処理ユニット１０Ａは、高信頼度ブロックの動きベクトルに基づいて第１の画像全体の動きベクトルであるフレーム動きベクトルと、高信頼度ブロックの動きベクトルのブロック間の分布に基づいてフレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出部１３４、をさらに備える。また、動きベクトル補正部１５は、フレーム動きベクトルを用いて低信頼度ブロックの動きベクトルを補正するか否かをフレーム動きベクトルの信頼性に基づいて判定する。

この構成により、低信頼度ブロックの動きベクトルの補正において、フレーム全体として信頼性が高いと判定されたフレーム動きベクトルが用いられる。そのため、フレーム全体の画像の動きを含むために信頼性が低下した低信頼度ブロックについて、フレーム間で相互に対応する画素をさらに高い精度で特定することができるので、フレーム間の位置合わせに基づく画像処理の機能低下を抑制することができる。かかる低信頼度ブロックとして、例えば、主たる被写体以外にフレーム全体に分布する背景の一部を表す領域について本実施形態は有効である。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る撮像装置１０は、第１の実施形態に係る撮像装置１０（図１）と同様に画像処理ユニット１０Ａと、撮像部１１と、表示処理部１８と、表示デバイス１９とを含んで構成される。但し、図１４に示すように画像処理ユニット１０Ａの動き算出部１３は、歪補正座標算出部１３５をさらに含んで構成される。

歪補正座標算出部１３５は、予め設定された歪補正データに基づいて、各ブロック内の画素毎に当該画素に対応した補正後の座標である歪補正座標を算出する。歪補正データは、フレーム内の補正前の座標と、補正後の座標との関係を示すデータである。歪補正データは、例えば、光学歪係数（歪曲収差係数とも呼ばれる）を示すデータであってもよいし、補正前の画素毎の座標と当該座標に対応する座標を示すデータであってもよい。歪補正座標算出部１３５は、算出した歪補正座標を示す歪補正座標データを生成し、生成した歪補正座標データを動きベクトル算出領域設定部１３１に出力する。動きベクトル算出領域設定部１３１は、歪補正座標算出部１３５から入力された歪補正座標データが示す歪補正座標毎の信号値を、フレームＡ、Ｂそれぞれの各ブロックについて取得する。

算出した歪補正座標がいずれかの画素が配置された座標である場合には、動きベクトル算出領域設定部１３１は、当該歪補正座標に配置された画素の信号値を示すデータをメモリ１４に記憶されたＹ画像データから読み出す。算出した歪補正座標がいずれかの画素が配置された座標でない場合には、当該歪補正座標から所定の範囲内に配置された画素の信号値を補間して当該歪補正座標に対応する信号値を算出する。動きベクトル算出領域設定部１３１は、歪補正座標毎の信号値を示すブロックデータを動きベクトル算出部１３２に出力する。動き算出部１３は、歪補正を行った画像について上述した処理を行ってブロック毎に動きベクトルと、その信頼度を示す指標値を算出する。

（歪補正の例）
次に、本実施形態による歪補正の例について説明する。図１５は、本実施形態に係る歪補正を説明するための図である。左列に示す画像は、撮像装置１０の撮像部１１が備える光学系を構成するレンズの光学歪みとして樽型歪みを受けて撮像された画像の一例を示す。樽型歪みにより、撮像された画像は上下左右の端部ほど収縮し、中央部ほど膨張する。これに応じて、本来水平方向又は垂直方向に延びるべき区分線が湾曲している。当該画像に示された４個の四角形は、動きベクトルを算出するブロックである補正前のブロックａ−ｄを示す。

中央列に示す画像は、歪補正後の画像を示す。歪補正により、画像の収縮及び膨張が解消され、各区分線が水平方向もしくは垂直方向に延びている。この画像には、補正前とそれぞれ同一の領域に４つのブロックａ−ｄが表されている。右列の画像は、歪補正後の画像を示し、補正後の歪補正座標の集合である領域に４つのブロックａ’−ｄ’が表されている。このことは、歪補正によって画像の中央部よりも左上に分布していたブロックａ−ｄが、ブロックａ’−ｄ’で表される本来配置されていると推定される、より右下の位置に移動する。そのため、光学系により生じていた画像の位置や形状の歪が解消され、本来算出されるべき動きベクトルが算出される。

（画像処理）
次に、本実施形態に係る画像処理について説明する。図１６は、本実施形態に係る画像処理を示すフローチャートである。本実施形態に係る画像処理は、ステップＳ１０２−Ｓ１２１及びステップＳ４０１を有する。図１６では、ステップＳ１０５−Ｓ１２１の図示が省略されている。

（ステップＳ４０１）歪補正座標算出部１３５は、歪補正データが示す光学歪係数に基づいて、各ブロック内の画素毎に当該画素に対応した補正後の座標である歪補正座標を算出する。動きベクトル算出領域設定部１３１は、歪補正座標算出部１３５から入力された歪補正座標データに基づいて、フレームＡ、Ｂそれぞれの各ブロック内の画素の歪補正座標を算出する。動きベクトル算出領域設定部１３１は、歪補正座標算出部１３５から入力された歪補正座標データが示す歪補正座標毎の信号値を、フレームＡ、Ｂそれぞれの各ブロックについて取得する。その後、ステップＳ１０２に進む。

なお、上述では動きベクトル算出領域設定部１３１が、歪補正前の各ブロック内の座標に対応する歪補正座標毎の信号値を取得する場合を例にしたが、これには限られない。動きベクトル算出領域設定部１３１は、歪補正後の各ブロック内の座標毎の信号値を取得してもよい。その場合には、歪補正座標算出部１３５は、歪補正データに基づいて、補正前の座標毎に対応する補正後の座標である歪補正座標として、各ブロック内に等間隔に分布した画素の座標を算出してもよい。

以上に説明したように、本実施形態に係る撮像装置１０の画像処理ユニット１０Ａは、撮像された画像を形成する各画素の座標と歪補正後の座標との関係を示す歪補正データに基づいて、フレームＡを示す画素毎の座標を補正する歪補正座標算出部１３５、をさらに備える。
この構成により、歪が生じていた画像の位置や形状が補正されたうえで、動きベクトルが算出されるので、歪による動きベクトルの信頼性や精度の低下を解消又は緩和することができる。そのため、フレーム間の位置合わせに基づく画像処理の機能低下を抑制することができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る撮像装置１０は、第１の実施形態に係る撮像装置１０（図１）と同様に画像処理ユニット１０Ａと、撮像部１１と、表示処理部１８と、表示デバイス１９とを含んで構成される。但し、画像処理ユニット１０Ａの動き算出部１３は、フレーム動きベクトル算出部１３４（図１２）をさらに含んで構成される。

本実施形態において、フレーム動きベクトル算出部１３４は、第３の実施形態と同様に、高信頼度ブロックを検出し、検出した高信頼度ブロック間の動きベクトルの分布に基づいてフレーム信頼度を算出する。フレーム動きベクトル算出部１３４は、高信頼度ブロックの動きベクトルに基づいてフレーム動きベクトルを算出する。

動きベクトル補正部１５（図２）は、フレーム信頼度が所定のフレーム信頼度の閾値以上である場合、本実施形態では、動きデータが示すフレーム動きベクトルをフレームＡ内の各ブロック共通の動きベクトルとして定める。また、動きベクトル補正部１５は、フレーム信頼度が所定のフレーム信頼度の閾値未満である場合、フレームＡ内の各ブロック共通の動きベクトルを０と定める。動きベクトル補正部１５は、動きデータが示す各ブロックの動きベクトルを定めた動きベクトルに更新し、更新した動きベクトルを示す動きデータをメモリ１４に記憶する。

（画像処理）
次に、本実施形態に係る画像処理について説明する。
図１７は、本実施形態に係る画像処理を示すフローチャートである。
本実施形態に係る画像処理は、ステップＳ１０１−Ｓ１０４、Ｓ１１２−Ｓ１２１、Ｓ３０１、Ｓ３０２、Ｓ５０１及びＳ５０２を有する。図１６では、ステップＳ１０１−１０３、ステップＳ１１２−Ｓ１２１の図示が省略されている。ステップＳ１０４において、制御部１２は、フレームＡの注目ブロックが最終ブロックであると判定した場合（ステップＳ１０４ ＹＥＳ）、ステップＳ３０１に進む。

（ステップＳ３０１）フレーム動きベクトル算出部１３４は、信頼度が所定の信頼度の閾値以上である高信頼度ブロック毎の動きベクトルを特定し、特定した動きベクトルの最頻値に基づいてフレーム信頼度を算出する。また、フレーム動きベクトル算出部１３４は、動きベクトルの最頻値をフレーム動きベクトルとして定める。その後、ステップＳ３０２に進む。

（ステップＳ３０２）動きベクトル補正部１５は、フレーム信頼度が所定のフレーム信頼度の閾値以上であるか否かを判定する。所定のフレーム信頼度の閾値以上と判定された場合（ステップＳ３０２ ＹＥＳ）、ステップＳ５０１に進む。所定の信頼度の閾値よりも低いと判定された場合（ステップＳ３０２ ＮＯ）、ステップＳ５０２に進む。
（ステップＳ５０１）動きベクトル補正部１５は、フレーム動きベクトルをフレームＡ内の全ブロックの動きベクトルとして定める。その後、ステップＳ１１２に進む。
（ステップＳ５０２）動きベクトル補正部１５は、フレームＡ内の全ブロックの動きベクトルを予め定めたベクトル（例えば、０）と定める。その後、ステップＳ１１２に進む。

なお、動きベクトル補正部１５（図２）は、フレームＡ内の各ブロック共通に定めた動きベクトルを示すデータをメモリ１４に記憶された動きデータに付加してもよい。本実施形態では、動きベクトル再算出部１６（図２）は、省略されてもよい。画像処理部１７は、メモリ１４から動きデータをメモリ１４から読み出し、読み出した動きデータが示す各ブロック共通の動きベクトルを、フレームＡ内の各画素の座標に加算して、フレームＢ内の対応座標を算出してもよい。

以上に説明したように、本実施形態の撮像装置１０の画像処理ユニット１０Ａは、フレームＡの一部の領域であるブロックと、当該ブロックとフレームＢの一部の領域との類似度に基づいて当該ブロックの動きベクトルを定める動きベクトル算出部１３２を備える。また、画像処理ユニット１０Ａは、類似度のフレームＢ内の分布に基づいて動きベクトルの信頼度を算出する動きベクトル信頼度算出部１３３を備える。また、画像処理ユニット１０Ａは、信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいてフレームＡ全体の動きベクトルであるフレーム動きベクトルと、高信頼度ブロックの動きベクトルの分布に基づいてフレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出部１３４を備える。また、画像処理ユニット１０Ａは、フレーム動きベクトルを用いてフレームＡ全体のブロックの動きベクトルを補正するか否かをフレーム動きベクトルの信頼性に基づいて判定する動きベクトル補正部１５を備える。また、動きベクトル補正部１５が補正した動きベクトルに基づいてフレームＡの画素に対応するフレームＢの対応画素を定め、フレームＡの画素の信号値とフレームＢの対応画素の信号値を用いた画像処理を行う画像処理部１７を備える。

この構成により、フレーム全体の動きベクトルを代表するフレーム動きベクトルの信頼性が高いと判定された場合に、そのフレーム動きベクトルを用いてフレーム間で相互に対応する画素をフレーム全体で特定することができる。そのため、ブロック間もしくは画素間で異なる動きベクトルを用いることによる画像データのメモリへのアクセス頻度を低減することで消費電力を低減することができる。そして、この消費電力の低減と、フレーム間の位置合わせに基づく画像処理の機能低下の抑制とを両立することができる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成は上述の実施形態に限定されるものではない。

例えば、表示デバイス１９は、上述したように撮像装置１０に内蔵されてもよいし、撮像装置１０から着脱可能であってもよい。また、撮像装置１０は、表示デバイス１９に代え、各種の表示デバイスと接続可能なデータ入出力インタフェースを備えてもよい。
上述では、時間的に隣接した２フレームＡ、Ｂ間の位置合わせを例にしたが、これには限られない。２つのフレームＡ、Ｂは、相互に時間的に離れた別個のフレームであってもよい。また、画像処理部１７は、複数のフレームからなる動画像を表す画像データについて２フレーム間の位置合わせを繰り返すことにより、３フレーム以上の複数フレーム間について位置合わせを行って、これらのフレーム間における所定の画像処理を行ってもよい。

画像処理ユニット１０Ａは、上述したように撮像装置１０に内蔵されてもよいし、撮像装置１０とは、独立の画像処理装置として構成されてもよい。また、画像処理ユニット１０Ａは、撮像を主たる機能として有しない他の電子機器、例えば、携帯電話機（いわゆるスマートフォンを含む）、受信装置（テレビジョン受信装置を含む）、送信装置、等の一部として内蔵されてもよい。

また、上述した撮像装置１０の一部、例えば、画像処理ユニット１０Ａ、制御部１２をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、撮像装置１０又は画像処理装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における撮像装置１０及び画像処理装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。撮像装置１０及び画像処理装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態及びその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１０…撮像装置，１０Ａ…画像処理ユニット，１１…撮像部，１１１…撮像素子，１１２…撮像処理部，１２…制御部，１３…動き算出部，１３１…動きベクトル算出領域設定部，１３２…動きベクトル算出部，１３３…動きベクトル信頼度算出部，１３４…フレーム動きベクトル算出部，１３５…歪補正座標算出部，１４…メモリ，１５…動きベクトル補正部，１６…動きベクトル再算出部，１７…画像処理部，１８…表示処理部，１９…表示デバイス

Claims (9)

1. 第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出部と、
   前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、
   前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記低信頼度ブロックの動きベクトルを補正する動きベクトル補正部と、
   前記動きベクトル補正部が補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理部と、
   前記高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出部と、
   を備え、
   前記動きベクトル補正部は、前記フレーム動きベクトルを用いて前記低信頼度ブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する画像処理装置。
2. 前記高信頼度ブロックは、前記低信頼度ブロックから所定範囲内に配置されているブロックである請求項１に記載の画像処理装置。
3. 前記動きベクトル補正部は、前記低信頼度ブロックの動きベクトルの補正において、前記低信頼度ブロックからの距離が小さいブロックの動きベクトルほど優先して用いる請求項２に記載の画像処理装置。
4. 第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出部と、
   前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、
   前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出部と、
   前記フレーム動きベクトルを用いて前記第１の画像全体のブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する動きベクトル補正部と、
   前記動きベクトル補正部が補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理部と、
   を備える画像処理装置。
5. 撮像された画像を形成する各画素の座標と歪補正後の座標との関係を示す歪補正データに基づいて、前記第１の画像を示す画素毎の座標を補正する歪補正座標算出部、をさらに備える請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 画像処理装置の画像処理方法であって、
   第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出過程と、
   前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出過程と、
   前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記低信頼度ブロックの動きベクトルを補正する動きベクトル補正過程と、
   前記動きベクトル補正過程で補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理過程と、
   前記高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出過程と、
   を有し、
   前記動きベクトル補正過程では、前記フレーム動きベクトルを用いて前記低信頼度ブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する画像処理方法。
7. 画像処理装置の画像処理方法であって、
   第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出過程と、
   前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出過程と、
   前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出過程と、
   前記フレーム動きベクトルを用いて前記第１の画像全体のブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する動きベクトル補正過程と、
   前記動きベクトル補正過程で補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理過程と、
   を有する画像処理方法。
8. 画像処理装置のコンピュータに、
   第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出手順、
   前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出手順、
   前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記低信頼度ブロックの動きベクトルを補正する動きベクトル補正手順、
   前記動きベクトル補正手順で補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理手順、
   前記高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル手順、
   を実行させるためのプログラムであって、
   前記動きベクトル補正手順では、前記フレーム動きベクトルを用いて前記低信頼度ブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定するプログラム。
9. 画像処理装置のコンピュータに、
   第１の画像の一部の領域であるブロックと、前記ブロックと第２の画像の一部の領域との類似度に基づいて前記ブロックの動きベクトルを定める動きベクトル算出手順、
   前記類似度の分布に基づいて前記動きベクトルの信頼度を算出する動きベクトル信頼度算出手順、
   前記信頼度が所定の信頼度よりも低いブロックである低信頼度ブロックとは異なるブロックであって、前記所定の信頼度と同等以上の信頼度を有する高信頼度ブロックの動きベクトルに基づいて前記第１の画像全体の動きベクトルであるフレーム動きベクトルと、前記高信頼度ブロックの動きベクトルの分布に基づいて前記フレーム動きベクトルの信頼性とを算出するフレーム動きベクトル算出手順、
   前記フレーム動きベクトルを用いて前記第１の画像全体のブロックの動きベクトルを補正するか否かを前記フレーム動きベクトルの信頼性に基づいて判定する動きベクトル補正手順、
   前記動きベクトル補正手順で補正した動きベクトルに基づいて前記第１の画像の画素である第１画素に対応する前記第２の画像の画素である第２画素を定め、前記第１画素の信号値と前記第２画素の信号値を用いた画像処理を行う画像処理手順、
   を実行させるためのプログラム。

Images