JP4509925B2 - 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法 - Google Patents

Description

本発明は、露光方式としてローリングシャッタ方式を用いて撮像された画像に対して画像処理を行う画像処理装置及び当該画像処理装置を備えるカメラシステム、並びに当該画像に対する画像処理方法及び動画像表示方法に関する。

従来から、画像を撮像する際の露光方式として、グローバルシャッタ方式とローリングシャッタ方式（フォーカルプレーンシャッタ方式とも呼ばれる）とが知られている。インターライン型ＣＣＤ（Charge Coupled Device）センサーを備える撮像装置に代表されるグローバルシャッタ方式の撮像装置では、一つのフレーム画像において画素間での露光時間及び露光開始時刻はほぼ同一である。一方で、ＣＭＯＳセンサーを備える撮像装置に代表されるローリングシャッタ方式の撮像装置では、一つのフレーム画像において画素間あるいはライン間での露光時間は同一であるが露光開始時刻は互いに異なっている。

上述のように、ローリングシャッタ方式の撮像装置では画素間あるいはライン間で露光開始時刻が異なるため、撮影者の手振れによって、当該撮像装置で撮像されたフレーム画像の画面全体が歪むことがある。

そこで、本発明は上述の問題に鑑みて成されたものであり、ローリングシャッタ方式に起因する画像歪を補正することが可能な技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、露光方式としてローリングシャッタ方式を用いて撮像された複数枚のフレーム画像間で類似する類似画像領域を前記フレーム画像ごとに検出する類似画像検出部と、前記複数枚のフレーム画像のそれぞれの前記類似画像領域について、前記複数のフレーム画像において共通の基準位置に対する変位ベクトルを検出する変位ベクトル検出部と、前記複数枚のフレーム画像における前記変位ベクトルの平均値を算出する平均値算出部と、前記複数枚のフレーム画像中のあるフレーム画像において、前記類似画像領域の前記変位ベクトルが前記平均値となるように当該類似画像領域を移動させる補正処理部とを備える、画像処理装置である。

また、請求項２の発明は、請求項１に記載の画像処理装置であって、前記ローリングシャッタ方式では垂直あるいは水平のライン方向に沿って走査され、各々の前記類似画像領域は、これに対応する前記フレーム画像において同一の前記ライン方向に位置し、かつそれぞれが前記複数枚のフレーム画像間で類似する複数の部分画像領域で構成されており、前記変位ベクトル検出部は、前記複数枚のフレーム画像内から選択された一枚の選択フレーム画像中の前記複数の部分画像領域のそれぞれの位置を基準位置として、他の前記フレーム画像での対応する前記部分画像領域の変位ベクトルを検出し、当該他の前記フレーム画像のそれぞれについての前記複数の部分画像領域における当該変位ベクトルの平均値を算出し、当該平均値を対応する前記フレーム画像での前記類似画像領域の前記変位ベクトルとする。

また、請求項３の発明は、画像を撮像するカメラシステムであって、請求項１及び請求項２のいずれか一つに記載の画像処理装置と、露光方式として前記ローリングシャッタ方式を用いて前記複数枚のフレーム画像を撮像する撮像装置と、前記カメラシステムの振れ量を検出するセンサーとを備え、前記補正処理部は、前記あるフレーム画像において、前記類似画像領域が撮像される際の前記カメラシステムの前記振れ量の方向とは逆方向に当該振れ量の大きさの分前記類似画像領域を移動し、その後、前記類似画像領域の前記変位ベクトルが前記平均値となるように前記類似画像領域を移動させる。

また、請求項４の発明は、画像を撮像するカメラシステムであって、請求項１及び請求項２のいずれか一つに記載の画像処理装置と、露光方式として前記ローリングシャッタ方式を用いて前記複数枚のフレーム画像を撮像する撮像装置とを備え、前記画像処理装置は露光時間決定部及びフレーム画像生成部をさらに備え、前記露光時間決定部は、前記撮像装置での露光時間を決定するとともに、当該露光時間を前記複数枚のフレーム画像の枚数と同じ数だけ分割して分割露光時間を算出し、前記撮像装置は、前記複数枚のフレーム画像をそれぞれに対応する前記分割露光時間で撮像し、前記補正処理部は、前記複数枚のフレーム画像のそれぞれにおいて、前記類似画像領域の前記変位ベクトルが前記平均値となるように当該類似画像領域を移動させ、前記フレーム画像生成部は、前記露光時間で撮像されたフレーム画像に相当する合成フレーム画像を、その各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記補正処理部で補正された前記複数枚のフレーム画像を合成して生成する。

また、請求項５の発明は、請求項４に記載のカメラシステムであって、前記フレーム画像生成部で生成された複数枚の前記合成フレーム画像に基づいて動画像を表示する表示装置をさらに備える。

また、請求項６の発明は、露光方式としてローリングシャッタ方式を用いて撮像された画像に対する画像処理方法であって、（ａ）露光方式としてローリングシャッタ方式を用いて撮像された複数枚のフレーム画像間で類似する類似画像領域を前記フレーム画像ごとに検出する工程と、（ｂ）前記複数枚のフレーム画像のそれぞれの前記類似画像領域について、前記複数のフレーム画像において共通の基準位置に対する変位ベクトルを検出する工程と、（ｃ）前記複数枚のフレーム画像における前記変位ベクトルの平均値を算出する工程と、（ｄ）前記複数枚のフレーム画像中のあるフレーム画像において、前記類似画像領域の前記変位ベクトルが前記平均値となるように当該類似画像領域を移動させる工程とを備える。

また、請求項７の発明は、請求項６に記載の画像処理方法であって、前記ローリングシャッタ方式では垂直あるいは水平のライン方向に沿って走査され、各々の前記類似画像領域は、これに対応する前記フレーム画像において同一の前記ライン方向に位置し、かつそれぞれが前記複数枚のフレーム画像間で類似する複数の部分画像領域で構成されており、前記工程（ｂ）において、前記複数枚のフレーム画像内から選択された一枚の選択フレーム画像中の前記複数の部分画像領域のそれぞれの位置を基準位置として、他の前記フレーム画像での対応する前記部分画像領域の変位ベクトルを検出し、当該他の前記フレーム画像のそれぞれについての前記複数の部分画像領域における当該変位ベクトルの平均値を算出し、当該平均値を対応する前記フレーム画像での前記類似画像領域の前記変位ベクトルとする。

また、請求項８の発明は、請求項６に記載の画像処理方法であって、（ｅ）前記複数のフレーム画像を撮像するカメラシステムの振れ量を検出する工程と、（ｆ）前記工程（ｄ）の前に、前記あるフレーム画像において、前記工程（ｅ）で検出された前記類似画像領域が撮像される際の前記カメラシステムの前記振れ量の方向とは逆方向に当該振れ量の大きさの分前記類似画像領域を移動する工程とをさらに備える。

また、請求項９の発明は、請求項６に記載の画像処理方法であって、（ｅ）露光時間を決定するとともに、当該露光時間を前記複数枚のフレーム画像の枚数と同じ数だけ分割して分割露光時間を算出する工程と、（ｆ）前記工程（ａ）の前に、前記複数枚のフレーム画像をそれぞれに対応する前記分割露光時間で撮像する工程とをさらに備え、前記工程（ｄ）において、前記複数枚のフレーム画像のそれぞれにおいて、前記類似画像領域の前記変位ベクトルが前記平均値となるように当該類似画像領域を移動させ、（ｇ）前記露光時間で撮像されたフレーム画像に相当する合成フレーム画像を、その各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記工程（ｄ）で補正された前記複数枚のフレーム画像に基づいて、前記露光時間で撮像されたフレーム画像を合成して生成する工程をさらに備える。

また、請求項１０の発明は、請求項９に記載の画像処理方法を使用して生成された複数枚の前記合成フレームに基づいて動画像を表示する、動画像表示方法である。

請求項１及び請求項６の発明によれば、類似画像領域の変位ベクトルについて複数枚のフレーム画像における平均値を算出し、類似画像領域の変位ベクトルが当該平均値となるように類似画像領域を移動させている。一般的に、複数枚のフレーム画像においてどのように手振れが発生するかはランダムであるため、ローリングシャッタ方式を用いて撮像された複数枚のフレーム画像間で類似する類似画像領域の位置は本来の位置に対してランダムにばらつく。したがって、類似画像領域の基準位置に対する変位ベクトルについての複数枚のフレーム画像における平均値は、類似画像領域の本来の位置の基準位置に対する変位ベクトルに近い値となる。よって、類似画像領域の変位ベクトルが当該平均値となるように類似画像領域を移動させることによって、類似画像領域を本来の位置に近づけることができる。その結果、ローリングシャッタ方式に起因する画像歪を低減することができる。

また、請求項２及び請求項７の発明によれば、複数の部分画像領域における変位ベクトルの平均値を類似画像領域の変位ベクトルとして使用しているため、変位ベクトルの誤差が補正処理に与える影響を抑制することができる。よって、ローリングシャッタ方式に起因する画像歪を確実に低減できる。

また、請求項３及び請求項８の発明によれば、カメラシステムの振れ量に基づいてフレーム画像を補正しているため、複数枚のフレーム画像間で手振れの様子が一致する場合であっても、ローリングシャッタ方式に起因する画像歪を低減できる。

また、請求項４及び請求項９の発明によれば、時間的に短い分割露光時間で撮像された複数枚のフレーム画像に基づいて、所定の露光時間のフレーム画像に相当する合成フレーム画像を生成しているため、撮像時に画像信号に生じるランダムノイズを低減できる。

また、請求項５及び請求項１０の発明によれば、ローリングシャッタ方式に起因する画像歪が補正された複数枚の合成フレーム画像に基づいて動画像が表示されるため、観察者に対して見やすい動画像を提供することができる。特に動画像においてはローリングシャッタ方式に起因する画像歪が観察者に与える不快感は大きいため有効である。

実施の形態１．
図１は本発明の実施の形態１に係るカメラシステムの構成を示すブロック図である。本実施の形態１に係るカメラシステムは、例えばデジタルスチルカメラであって、露光方式としてローリングシャッタ方式を用いて画像を撮像する。図１に示されるように、本カメラシステムは、画像を撮像する撮像装置１と、撮像装置１で撮像された画像に対して画像処理を実行する画像処理装置２と、画像処理装置２で画像処理された画像を表示する表示装置３とを備えている。撮像装置１、画像処理装置２及び表示装置３は、例えば一つの筺体内に収納されている。

撮像装置１は、レンズ部１０と、ＣＭＯＳセンサー１１と、ＣＭＯＳセンサー駆動回路１２と、タイミングジェネレータ１３と、Ａ／Ｄ変換器１４とを備えている。ＣＭＯＳセンサー１１は、レンズ部１０を介して入射する被写体からの光を電気信号に変換して画像を撮像し、撮像した画像をアナログ画像信号ＡＩＳとして出力する。タイミングジェネレータ１３はタイミング信号ＴＳを生成して出力し、ＣＭＯＳセンサー駆動回路１２は当該タイミング信号ＴＳに基づいてＣＭＯセンサー１１の動作を制御する。Ａ／Ｄ変換器１４は、ＣＭＯセンサー１１から出力されるアナログ画像信号ＡＩＳをデジタル画像信号ＤＩＳに変換して出力する。

画像処理装置２は、撮像装置１のＡ／Ｄ変換器１４から出力されるデジタル画像信号ＤＩＳに対して画像処理を行うＳＰＵ（Sensor Processing Unit）２０と、ＳＰＵ２０で処理されたデジタル画像信号ＤＩＳに対してリアルタイムでさらに画像処理を行うＲＰＵ（Real-time Processing Unit）２１と、画像処理装置２全体の動作を統括するＣＰＵ２２と、ＣＰＵ２２の動作プログラムや画像処理中あるいは画像処理済みのデジタル画像信号ＤＩＳなどを記憶する記憶部２３と、表示インターフェース部２４とを備えており、これらの構成要素はバス２５によって互いに接続されている。

ＳＰＵ２０は、入力されたデジタル画像信号ＤＩＳに対して黒レベル補正やホワイトバランス補正などの前処理を実行する。ＳＰＵ２０で処理されたデジタル画像信号ＤＩＳはバス２５上に出力されて記憶部２３に記憶される。ＲＰＵ２１は、ＳＰＵ２０で処理されたデジタル画像信号ＤＩＳを記憶部２３から読み出して、当該デジタル画像信号ＤＩＳに対して画素補間やノイズリダクション、あるいはシャープネス等の各種フィルタ処理を実行する。またＲＰＵ２１は、ＣＰＵ２２と共同して、デジタル画像信号ＤＩＳに対してローリングシャッタ方式に起因する画像歪を補正する補正処理を実行する。そして、ＲＰＵ２１で画像処理されたデジタル画像信号ＤＩＳはバス２５上に出力されて記憶部２３に記憶される。

ＣＰＵ２２は、一連の画像処理が完了したデジタル画像信号ＤＩＳを記憶部２３から読み出して表示インターフェース部２４に出力する。またＣＰＵ２２は、一連の画像処理が完了したデジタル画像信号ＤＩＳに対してＪＰＥＧ圧縮処理等の画像圧縮処理を実行し、圧縮処理後のデジタル画像信号ＤＩＳを記憶部２３に記憶する。さらにＣＰＵ２２はタイミング制御信号ＴＣＳをタイミングジェネレータ１３に出力し、タイミングジェネレータ１３はタイミング制御信号ＴＣＳに基づいてタイミング信号ＴＳを制御する。

表示インターフェース部２４は、入力されたデジタル画像信号ＤＩＳを表示装置３に応じた形式に変換して当該表示装置３に出力する。表示装置３は例えばＬＣＤ（Liquid Crystal Display）装置であって、入力されたデジタル画像信号ＤＩＳに基づいて静止画を表示する。

次にＣＭＯＳセンサー１１の構成及び動作を説明しつつ、ローリングシャッタ方式に起因する画像歪について説明する。図２はＣＭＯＳセンサー１１の構成を示す図である。図２に示されるように、ＣＭＯＳセンサー１１は、Ｎ行Ｍ列（Ｍ，Ｎ≧２）でマトリックス状に配置された複数の画素部１１０を備えている。したがって、ＣＭＯＳセンサー１１では、撮像画面の水平ライン方向ＸにＭ個の画素部１１０が配置され、垂直ライン方向ＹにＮ個の画素部１１０が配置されている。なお以後、水平ライン及び垂直ラインを総称して単に「ライン」と呼ぶことがある。

各画素部１１０はフォトダイオード１１０ａと増幅回路１１０ｂとで構成されている。フォトダイオード１１０ａは入射される光の強度に応じた電荷を発生して蓄積し、当該電荷の蓄積量は、フォトダイオード１１０ａへの光の照射時間に応じて増加する。そして、ＣＭＯＳセンサー駆動回路１２によってある画素部１１０が選択されると、当該画素部１１０の増幅回路１１０ｂは、フォトダイオード１１０ａで蓄積された電荷を読み出して増幅し画素信号としてＡ／Ｄ変換器１４に出力する。以後、ｎ（１≦ｎ≦Ｎ）行ｍ（１≦ｍ≦Ｍ）列目に配置された画素部１１０から出力される画素信号をｎ行ｍ列目の画素信号と呼ぶことがある。

図３はＣＭＯセンサー１１の動作を示す図である。図中の矢印は、画素部１１０から画素信号が読み出されるタイミングを示している。図３に示されるように、本実施の形態１に係るＣＭＯＳセンサー１１では、１行１列目から１行Ｍ列目までに配置されたＭ個の画素部１１０が順に選択されて、当該Ｍ個の画素部１１０から順に画素信号が読み出される。そして、２行１列目から２行Ｍ列目までに配置されたＭ個の画素部１１０が順に選択されて当該Ｍ個の画素部１１０から画素信号が順に読み出される。その後、同様にして、３行目〜Ｎ行目の各画素部１１０から画素信号が読み出されると、（Ｎ×Ｍ）個の画素信号から成る１フレーム分のアナログ画像信号ＡＩＳが得られる。

このように、本実施の形態１に係るＣＭＯＳセンサー１１では、ＣＭＯＳセンサー駆動回路１２の制御によって、ある行におけるＭ個の画素部１１０に対して１列目から順に画素信号の読み出しが行われて、当該行におけるＭ列目の画素部１１０から画素信号が読み出されると、その次の行番号の行におけるＭ個の画素部１１０に対して１列目から順に画素信号の読み出しが行われる。したがって、ＣＭＯＳセンサー１１が備える（Ｎ×Ｍ）個の画素部１１０では、画素信号の読み出し時刻が相互に異なっている。これがローリングシャッター方式の特徴である。

ここで、本ＣＭＯＳセンサー１１では、画素部１１０から画素信号が読み出されるとすぐに、当該画素部１１０のフォトダイオード１１０ａでは蓄積電荷がすべて消去されて、当該フォトダイオード１１０ａは再び電荷を蓄積し始める。したがって、画素信号の読み出しタイミングが異なる複数の画素部１１０においては露光開始時刻が異なっている。そして、図３に示されるように、複数の画素部１１０においては、画素信号が読み出されてから次に画素信号が読み出されるまでの時間、つまり露光時間ｅｔｄは相互に同じである。また図３に示されるように、本ＣＭＯＳセンサー１１においては、連続して画素信号が読み出される２つの画素部１１０間での露光開始時刻の時刻差ｓｔｄは一定である。

これに対して、インターライン型ＣＣＤセンサーの全面に同時に被写体からの光が入射する際には、当該ＣＣＤセンサーにおける複数の画素部では、電荷の蓄積開始時刻及び蓄積時間は同一である。つまり、ＣＣＤセンサーの複数の画素部においては、露光開始時刻及び露光時間は同一である。

図４は静止している被写体をＣＣＤセンサー及びＣＭＯＳセンサーで撮像した際のフレーム画像を模式的に示す図である。図４（ａ）はＣＣＤセンサーで撮像されたフレーム画像を示し、図４（ｂ），４（ｃ）はＣＭＯＳセンサーで撮像されたフレーム画像を示している。ＣＣＤセンサーで撮像する場合、撮影者の手振れによってフレーム画像の画面全体がぼけることはあるが、図４（ａ）に示されるように画面全体が歪むことはない。一方で、ＣＭＯＳセンサーで撮像する場合、撮影者の手振れが撮像画面の左右方向、つまり水平ライン方向Ｘに生じると、画素部間での露光開始時刻の差によって、ある画素部における露光開始時刻での被写体の位置と、別の画素部における露光開始時刻での被写体の位置とが異なり、その結果、図４（ｂ）に示されるように、フレーム画像の画面全体が左右方向に歪むことになる。また、撮影者の手振れが撮像画面の上下方向、つまり垂直ライン方向Ｙに生じると、図４（ｃ）に示されるように、フレーム画像の画面全体が上下方向に歪むことになる。

なお、本実施の形態１に係るＣＭＯＳセンサー１１では、水平ライン方向Ｘに沿って順次露光が開始するが、垂直ライン方向Ｙに沿って順次露光を開始させても良い。つまり、ＣＭＯＳセンサー１１での走査方向は水平ライン方向Ｘであっても、垂直ライン方向Ｙであっても良い。ＣＭＯＳセンサー１１での走査方向を垂直ライン方向Ｙにした場合には、１行１列目からＮ行１列目までに配置されたＮ個の画素部１１０から順に画素信号が読み出される。そして、１行２列目からＮ行２列目までに配置されたＮ個の画素部１１０から画素信号が順に読み出されて、その後、同様にして３列目〜Ｍ列目の各画素部１１０から画素信号が読み出される。

このように、露光方式としてローリングシャッタ方式を用いて撮像を行うと、撮影者の手振れによってフレーム画像の画面全体が歪むことがある。本実施の形態１では、このようなローリングシャッタ方式に起因する画像歪を、画像処理装置２のＲＰＵ２１とＣＰＵ２２とが共同して動作することによって補正することができる。

図５は、ＲＰＵ２１とＣＰＵ２２とが共同して動作することによって画像処理装置２内に形成される画像歪補正装置２００の機能ブロックを示す図である。図５に示されるように、画像歪補正装置２００は、類似画像検出部２０１と、変位ベクトル検出部２０２と、平均値算出部２０３と、動き領域検出部２０４と、補正処理部２０５と、フレーム画像生成部２０６とを備えており、撮像装置１で連続して撮像された一組の複数枚のフレーム画像に対して処理を行う。

類似画像検出部２０１は、一組の複数枚のフレーム画像間で類似する類似画像領域を検出する。動き領域検出部２０４は、一組の複数枚のフレーム画像間における動き領域ＭＶＲ、つまり移動する被写体が写っている画像領域を検出する。変位ベクトル検出部２０２は、一組の複数枚のフレーム画像のそれぞれにおいて、類似画像領域の基準位置に対する変位ベクトルを場所毎に検出する。平均値算出部２０３は、類似画像領域の変位ベクトルについて、一組の複数枚のフレーム画像間での平均値を算出する。補正処理部２０５は、一組の複数枚のフレーム画像のそれぞれにおいて、平均値算出部２０３で算出された平均値に基づいて類似画像領域を補正する。さらに補正処理部２０５は、一組の複数枚のフレーム画像のいずれか一つにおいて動き領域ＭＶＲを補正する。フレーム画像生成部２０６は、補正処理部２０５で補正された一組の複数枚のフレーム画像を合成して一枚の合成フレーム画像を生成し、当該合成フレーム画像のデジタル画像信号ＤＩＳを合成画像信号ＣＤＩＳとして出力する。

図６は本実施の形態１に係るカメラシステムの静止画表示までの動作を示すフローチャートである。本実施の形態１に係るカメラシステムでは、所定の露光時間で撮像された静止画を表示する際には、当該所定の露光時間を複数に分割し、それによって得られる短い露光時間でフレーム画像を複数枚撮像し、これらの複数枚のフレーム画像を合成することによって得られる一枚の合成フレーム画像を、当該所定の露光時間で撮像された静止画として表示装置３で表示する。

図６に示されるように、ステップｓ１において、ＣＰＵ２２は撮像装置１で必要な露光時間を決定する。このステップｓ１で決定される露光時間を「トータル露光時間」と呼ぶ。例えばＣＰＵ２２は、図示しない照度センサーから出力される撮像環境の照度と、記憶部２３に予め記憶されているＣＭＯＳセンサー１１の性能に関する情報とに基づいてトータル露光時間を決定する。次にステップｓ２において、ＣＰＵ２２は、トータル露光時間を複数に分割する。ここでの分割数をＬ（≧３）とし、トータル露光時間を分割して得られる複数の時間をそれぞれ「分割露光時間」と呼ぶ。

次にステップｓ３において、撮像装置１は、トータル露光時間の分割数と同じＬ枚のフレーム画像を、ステップｓ２で算出された分割露光時間でそれぞれ撮像する。具体的には、ステップｓ３において、ＣＰＵ２２はステップｓ２で算出した分割露光時間に基づいてタイミング制御信号ＴＣＳを制御し、タイミングジェネレータ１３は入力されたタイミング制御信号ＴＣＳに基づいてタイミング信号ＴＳを制御する。そして、ＣＭＯＳセンサー駆動回路１２は入力されたタイミング信号ＴＳに基づいてＣＭＯＳセンサー１１の動作を制御する。これにより、ＣＭＯＳセンサー１１の各画素部１１０は、ステップｓ２で算出された分割露光時間に応じた蓄積時間で電荷を蓄積し増幅して画素信号として出力する。これらの画素信号はＡ／Ｄ変換器１４に入力されて、当該Ａ／Ｄ変換器１４からは１フレーム分のデジタル画像信号ＤＩＳが出力される。この動作が連続してＬ回実行され、撮像装置１ではＬ枚のフレーム画像が得られる。

図７はステップｓ３で撮像される複数枚のフレーム画像の一例を示す図である。図７では、撮像画面の左右方向に移動する円形のボールと静止している電柱とを連続して４フレーム分撮像した場合のフレーム画像ＦＲ１〜ＦＲ４を示している。４枚のフレーム画像ＦＲ１〜ＦＲ４では紙面の上側から順に撮像時刻が遅くなっている。したがって、フレーム画像ＦＲ１〜ＦＲ４の間では、ボールの画像の画像位置が互いに異なっている。また、フレーム画像ＦＲ１〜ＦＲ４を撮像する際には撮像画面の左右方向に撮影者の手振れが発生しているものとする。

フレーム画像ＦＲ１〜ＦＲ４を撮像する際に撮像画面の左右方向に撮影者の手振れが発生すると、図７に示されるように、各フレーム画像ＦＲ１〜ＦＲ４では画面全体に左右方向に歪が発生し、その結果、電柱の画像に左右方向に歪が発生している。そして、一般的に、フレーム画像ＦＲ１〜ＦＲ４間では手振れがどのように発生するかについてはランダムであるため、電柱の画像の形状はフレーム画像ＦＲ１〜ＦＲ４間で異なっている。

また、本撮像装置１で静止している被写体を撮像する際に手振れが発生した場合だけではなく、本撮像装置１で移動する被写体を撮像する場合であっても、画素部間での露光開始時刻の差によって、ある画素部における露光開始時刻での被写体の位置と、別の画素部における露光開始時刻での被写体の位置とが異なるため、移動する被写体の画像に歪が発生する。したがって、フレーム画像ＦＲ１〜ＦＲ４のそれぞれにおけるボールの画像には、手振れの発生と被写体の移動との両方に起因する歪が現れている。以下では、ステップｓ３において図７に示されるフレーム画像ＦＲ１〜ＦＲ４が撮像されたものとして本カメラシステムの動作を説明する。

撮像装置１でフレーム画像ＦＲ１〜ＦＲ４が撮像されると、画像処理装置２のＲＰＵ２１は、Ａ／Ｄ変換器１４から出力される４フレーム分のデジタル画像信号ＤＩＳに対して画素補間を行う。そしてステップｓ４において、類似画像検出部２０１は画素補間後の４枚のフレーム画像ＦＲ１〜ＦＲ４間で類似する微小画像領域を検出する。

ステップｓ４では、まず類似画像検出部２０１は、フレーム画像ＦＲ１〜ＦＲ４から任意の一つのフレーム画像を選択し、これを基準フレーム画像とする。本実施の形態１では、例えばフレーム画像ＦＲ１を基準フレーム画像とする。以後、フレーム画像ＦＲ１を「基準フレーム画像ＦＲ１」と呼ぶことがある。そして、類似画像検出部２０１は、基準フレーム画像ＦＲ１中における複数の微小画像領域のそれぞれに類似する画像領域を、その他のフレーム画像ＦＲ２〜ＦＲ４のそれぞれにおいて検出する。以下にこの処理について詳細に説明する。

図８は類似画像検出部２０１が備える画像メモリ１２０１の構成を示すブロック図である。図８に示されるように、画像メモリ１２０１は、５行５列に配置された２５個のレジスタＰ００〜Ｐ４４と、４個のラインバッファ１２０１ａ〜１２０１ｄとを備えている。レジスタＰ００〜Ｐ４４のそれぞれは、１画素分の画素信号を保持することが可能であり、ラインバッファ１２０１ａ〜１２０１ｄのそれぞれは、（Ｍ−５）画素分の画素信号を格納可能なＦＩＦＯメモリである。

１行目の５つのレジスタＰ００〜Ｐ０４と、ラインバッファ１２０１ａと、２行目の５つのレジスタＰ１０〜Ｐ１４と、ラインバッファ１２０１ｂと、３行目の５つのレジスタＰ２０〜Ｐ２４と、ラインバッファ１２０１ｃと、４行目の５つのレジスタＰ３０〜Ｐ３４と、ラインバッファ１２０１ｄと、５行目の５つのレジスタＰ４０〜Ｐ４４とは、この順で直列に接続されている。

また、レジスタＰ００〜Ｐ４４及びラインバッファ１２０１ａ〜１２０１ｄのそれぞれには図示しないクロック信号が入力される。レジスタＰ００〜Ｐ４４のそれぞれは、クロック信号が立ち上がると入力信号を保持して次段に出力する。ラインバッファ１２０１ａ〜１２０１ｄのそれぞれは、クロック信号が立ち上がると、現在の入力信号を保持するとともに、（Ｍ−５）回前のクロック信号の立ち上がりで保持した入力信号を次段のレジスタに出力する。したがって、ラインバッファ１２０１ａ〜１２０１ｄのそれぞれにおいては、入力信号は（Ｍ−５）クロックの間保持されて、（Ｍ−５）クロック経過後に次段のレジスタに出力される。なお、ここでの「クロック」とは、クロック信号の連続する２回の立ち上がりの時間間隔を意味している。

レジスタＰ００には、１フレーム分の（Ｎ×Ｍ）個の画素信号がクロック信号に同期して直列に入力される。具体的には、レジスタＰ００には、１行１列目の画素信号から１行Ｍ列目の画素信号までが順に入力され、その後、２行１列目の画素信号から２行Ｍ列目の画素信号までが順に入力される。その後、同様にして、レジスタＰ００には、３行１列目の画素信号からＮ行Ｍ列目の画素信号までが順に入力される。

以上の構成を成す画像メモリ１２０１においては、クロック信号が立ち上がると、あるフレーム画像における１行１列目の画素信号がレジスタＰ００に格納され、次のクロック信号の立ち上がりで、１行１列目の画素信号がレジスタＰ０１に格納されるとともに、１行２列目の画素信号がレジスタＰ００に格納される。そして、次のクロック信号の立ち上がりで、１行１列目の画素信号がレジスタＰ０２に格納されるとともに、１行２列目の画素信号がレジスタＰ０１に、１行３列目の画素信号がレジスタＰ００にそれぞれ格納される。その後同様にして、あるクロック信号の立ち上がりで１行１列目の画素信号がレジスタＰ０４に格納されると、それと同時に、レジスタＰ０３には１行２列目の画素信号が、レジスタＰ０２には１行３列目の画素信号が、レジスタＰ０１には１行４列目の画素信号が、レジスタＰ００には１行５列目の画素信号がそれぞれ格納される。

次のクロック信号の立ち上がりでは、１行１列目の画素信号はラインバッファ１２０１ａに格納され、当該画素信号は、その後の（Ｍ−５）回目のクロック信号の立ち上がりでラインバッファ１２０１ａから出力されてレジスタＰ１０に格納される。その後、同様の処理が行われて、１行１列目の画素信号がレジスタＰ４４に格納されると、１行目の５個のレジスタＰ００〜Ｐ０４には５行１列目〜５行５列目までの画素信号が格納され、２行目の５個のレジスタＰ１０〜Ｐ１４には４行１列目〜４行５列目までの画素信号が格納され、３行目の５個のレジスタＰ２０〜Ｐ２４には３行１列目〜３行５列目までの画素信号が格納され、４行目の５個のレジスタＰ３０〜Ｐ３４には２行１列目〜２行５列目までの画素信号が格納され、５行目の５個のレジスタＰ４０〜Ｐ４４には１行１列目〜１行５列目までの画素信号が格納される。以後、Ｎ行Ｍ列目の画素信号がレジスタＰ００に格納されるまで画像メモリ１２０１は同様の動作を行う。

このような動作を行う画像メモリ１２０１においては、２５個のレジスタＰ００〜４４には、一つのフレーム画像における５行×５列の画素で構成される微小画像領域での２５個の画素信号が一時的に格納される。本実施の形態１では、５行×５列の画素で構成される微小画像領域を「ブロック領域」と呼び、フレーム画像ＦＲ１〜ＦＲ４におけるブロック領域をそれぞれブロック領域ＢＬ１〜ＢＬ４と呼ぶ。

ステップｓ４では、画像メモリ１２０１には、まずフレーム画像ＦＲ２における（Ｎ×Ｍ）個の画素信号が順に入力される。そして、画像メモリ１２０１のレジスタＰ００〜Ｐ４４に格納されるフレーム画像ＦＲ２の画素信号と、基準フレーム画像ＦＲ１の画素信号とを比較し、その比較結果に基づいて、基準フレーム画像ＦＲ１中のブロック領域ＢＬ１に類似するブロック領域ＢＬ２をフレーム画像ＦＲ２において特定する。以後、フレーム画像ＦＲ２における（ｎ−１）行（ｍ−１）列目の画素信号を「画素信号Ａｎｍ」とし、基準フレーム画像ＦＲ１における（ｎ−１）行（ｍ−１）列目の画素信号を「画素信号Ｑｎｍ」とする。

図９〜１３は、基準フレーム画像ＦＲ１中のブロック領域ＢＬ１に類似するブロック領域ＢＬ２をフレーム画像ＦＲ２から検出する方法を示す図である。図９に示されるように、まず基準フレーム画像ＦＲ１において、１行１列目と５行５列目の画素が対角に位置するブロック領域ＢＬ１を考える。そして、フレーム画像ＦＲ２における、１行１列目と５行５列目の画素が対角に位置するブロック領域ＢＬ２での画素信号Ａ００〜Ａ０４，Ａ１０〜Ａ１４，Ａ２０〜Ａ２４，Ａ３０〜Ａ３４，Ａ４０〜Ａ４４が、画像メモリ１２０１のレジスタＰ００〜Ｐ４４から出力されると、これらの画素信号と、基準フレーム画像ＦＲ１のブロック領域ＢＬ１における画素信号Ｑ００〜Ｑ０４，Ｑ１０〜Ｑ１４，Ｑ２０〜Ｑ２４，Ｑ３０〜Ｑ３４，Ｑ４０〜Ｑ４４とを画素単位で比較する。具体的には、ブロック領域ＢＬ１内のある画素信号と、当該画素信号と同じ位置でのブロック領域ＢＬ２中の画素信号との差分値の絶対値を算出し、当該絶対値の算出をブロック領域ＢＬ１，ＢＬ２中のすべての画素信号について行う。そして、算出した絶対値の総和を求める。以後、この総和を「類似度」と呼ぶ。この類似度が小さければ小さいほど、ブロック領域ＢＬ１とブロック領域ＢＬ２とは相互に類似した画像領域となる。

次に図１０に示されるように、画像メモリ１２０１へのクロック信号が新たに立ち上がって、図９のブロック領域ＢＬ２とは１画素分水平ライン方向Ｘにずれたブロック領域ＢＬ２での画素信号Ａ０１〜Ａ０５，Ａ１１〜Ａ１５，Ａ２１〜Ａ２５，Ａ３１〜Ａ３５，Ａ４１〜Ａ４５が、画像メモリ１２０１のレジスタＰ００〜Ｐ４４から出力されると、同様にして、これらの画素信号と、ブロック領域ＢＬ１での画素信号とを画素単位で比較し、ブロック領域ＢＬ１とブロック領域ＢＬ２との類似度を求める。このときのブロック領域ＢＬ１の位置は図９と同じである。

次に、画像メモリ１２０１へのクロック信号が新たに立ち上がって、図１０のブロック領域ＢＬ２とは１画素分水平ライン方向Ｘにずれたブロック領域ＢＬ２での画素信号Ａ０２〜Ａ０６，Ａ１２〜Ａ１６，Ａ２２〜Ａ２６，Ａ３２〜Ａ３６，Ａ４２〜Ａ４６が、画像メモリ１２０１のレジスタＰ００〜Ｐ４４から出力されると、同様にして、これらの画素信号とブロック領域ＢＬ１での画素信号とを画素単位で比較し、ブロック領域ＢＬ１とブロック領域ＢＬ２との類似度を求める。その後同様の処理が行われて、フレーム画像ＦＲ２の一番端のブロック領域ＢＬ２、つまり１行（Ｍ−４）列目と４行Ｍ列目の画素が対角に位置するブロック領域ＢＬ２とブロック領域ＢＬ１との類似度が求まると、今度は、いままでのブロック領域ＢＬ２とは１画素分垂直ライン方向Ｙにずれたブロック領域ＢＬ２を考えて、２行１列目と６行５列目の画素が対角に位置するブロック領域ＢＬ２とブロック領域ＢＬ１との類似度を求める。そして同様にして、前回のブロック領域ＢＬ２とは１画素分水平ライン方向Ｘにずれたブロック領域ＢＬ２と、ブロック領域ＢＬ１との類似度を求めて、その後、フレーム画像ＦＲ２の一番端のブロック領域ＢＬ２とブロック領域ＢＬ１との類似度が求まると、さらに１画素分垂直ライン方向Ｙにずれたブロック領域ＢＬ２を考えて、同様の処理を行う。

以上の処理を、図１１に示されるように、図中での一番右下のブロック領域ＢＬ２、つまり（Ｎ−４）行（Ｍ−４）列目とＮ行Ｍ列目の画素が対角に位置するブロック領域ＢＬ２と、ブロック領域ＢＬ１との類似度が求まるまで行うと、（（Ｎ−４）×（Ｍ−４））個の類似度が求まる。そして、求めたこれらの類似度において最も値が小さくかつ所定のしきい値よりも小さいものが存在する場合には、それに対応したブロック領域ＢＬ２を、１行１列目及び５行５列目の画素が対角に位置するブロック領域ＢＬ１に類似するフレーム画像ＦＲ２中での画像領域であると認定する。一方で、求めたこれらの類似度において所定のしきい値よりも小さいものが存在しない場合には、１行１列目及び５行５列目の画素が対角に位置するブロック領域ＢＬ１に類似する画像領域がフレーム画像ＦＲ２中には存在しないと判断する。

このようにして、基準フレーム画像ＦＲ１中の図９のブロック領域ＢＬ１に類似するブロック領域ＢＬ２を検出する処理が終了すると、図１２に示されるように、基準フレーム画像ＦＲ１においてブロック領域ＢＬ１を１画素分水平ライン方向Ｘにずらして、１行２列目及び５行６列目の画素が対角に位置するブロック領域ＢＬ１を考える。そして、画像メモリ１２０１に対して新たにフレーム画像ＦＲ２の画素信号を入力し、同様の処理を行って、当該ブロック領域ＢＬ１に類似するブロック領域ＢＬ２をフレーム画像ＦＲ２中から検出する。

図１２のブロック領域ＢＬ１に類似するブロック領域ＢＬ２をフレーム画像ＦＲ２から検出する処理が終了すると、ブロック領域ＢＬ１をさらに１画素分水平ライン方向Ｘにずらして同様の処理を行う。そして、ブロック領域ＢＬ１が基準フレーム画像ＦＲ１の一番端まで移動すると、ブロック領域ＢＬ１を１画素分下に移動させつつ反対側の端まで移動させて同様の処理を行う。このような処理を、図１３に示されるように、図中の一番右下のブロック領域ＢＬ１、つまり（Ｎ−４）行（Ｍ−４）列目とＮ行Ｍ列目の画素が対角に位置するブロック領域ＢＬ１に類似するブロック領域ＢＬ２をフレーム画像ＦＲ２から検出する処理が終了するまで行う。

以上のようにして、基準フレーム画像ＦＲ１における（（Ｎ−４）×（Ｍ−４））個のブロック領域ＢＬ１のそれぞれに対して、当該ブロック領域ＢＬ１に類似するブロック領域ＢＬ２を検出する処理が行われると、その後、同様にして、フレーム画像ＦＲ３における（Ｎ×Ｍ）個の画素信号を画像メモリ１２０１に順に入力し、基準フレーム画像ＦＲ１中のブロック領域ＢＬ１と、フレーム画像ＦＲ３中におけるブロック領域ＢＬ３とを比較し、基準フレーム画像ＦＲ１における（（Ｎ−４）×（Ｍ−４））個のブロック領域ＢＬ１のそれぞれに対して、当該ブロック領域ＢＬ１に類似するブロック領域ＢＬ３をフレーム画像ＦＲ３から検出する処理を行う。そして、フレーム画像ＦＲ４における（Ｎ×Ｍ）個の画素信号を画像メモリ１２０１に順に入力し、基準フレーム画像ＦＲ１中のブロック領域ＢＬ１と、フレーム画像ＦＲ４中におけるブロック領域ＢＬ４とを比較して、基準フレーム画像ＦＲ１における（（Ｎ−４）×（Ｍ−４））個のブロック領域ＢＬ１のそれぞれに対して、当該ブロック領域ＢＬ１に類似するブロック領域ＢＬ４をフレーム画像ＦＲ４から検出する処理を行う。

次に類似画像検出部２０１は、以上の検出結果から、フレーム画像ＦＲ１〜ＦＲ４間で類似するブロック領域を特定する。つまり、ブロック領域ＢＬ１，ＢＬ２間での類似検出結果と、ブロック領域ＢＬ１，ＢＬ３間での類似検出結果と、ブロック領域ＢＬ１，ＢＬ４間での類似検出結果とから、相互に類似するブロック領域ＢＬ１〜ＢＬ４の組みを特定する。図１４は相互に類似するブロック領域ＢＬ１〜ＢＬ４の組みの一つを示す図である。図１４（ａ）は基準フレーム画像ＦＲ１中のあるブロック領域ＢＬ１を示しており、図１４（ｂ）〜１４（ｄ）は当該ブロック領域ＢＬ１に類似するブロック領域ＢＬ２〜４をそれぞれ示している。図１４では、ブロック領域ＢＬ１〜ＢＬ４のそれぞれの中心画素Ｒを示している。フレーム画像ＦＲ１〜ＦＲ４間では手振れがどのように発生するかについてはランダムであるため、図１４に示されるように、相互に類似するブロック領域ＢＬ１〜ＢＬ４の間ではフレーム画像中における画像位置が相違することがある。

なお以後、フレーム画像ＦＲ１〜ＦＲ４間で類似するブロック領域を「類似ブロック領域」と呼び、フレーム画像ＦＲ１〜ＦＲ４における類似ブロック領域をそれぞれ類似ブロック領域ＢＬ１〜ＢＬ４と呼ぶことがある。

次にステップｓ５において、動き領域検出部２０４は、各フレーム画像ＦＲ１〜ＦＲ４において動き領域ＭＶＲを検出する。つまり、各フレーム画像ＦＲ１〜ＦＲ４において、移動するボールの画像領域を検出する。

ステップｓ５では、まず動き領域検出部２０４は、ブロック領域ＢＬ１とそれに類似するブロック領域ＢＬ２の組みのすべてについて、ブロック領域ＢＬ１，ＢＬ２間の動きベクトルを求め、さらにその絶対値、つまり動きベクトル量ｍｖａを求める。動きベクトル量ｍｖａは、ブロック領域ＢＬ１の中心画素ＲのＸ座標及びＹ座標をそれぞれｘ１，ｙ１とし、当該ブロック領域ＢＬ１に相当するフレーム画像ＦＲ２中のブロック領域ＢＬ２の中心画素ＲのＸ座標及びＹ座標をそれぞれｘ２，ｙ２とすると、以下の式（１）で求まる。

そして、動き領域検出部２０４は、ブロック領域ＢＬ１，ＢＬ２の組みのすべてについて、動きベクトル量ｍｖａが所定のしきい値よりも大きいかどうかを判定する。動き領域検出部２０４は、動きベクトル量ｍｖａが所定のしきい値よりも大きい場合には、当該動きベクトル量ｍｖａに対応するブロック領域ＢＬ１，ＢＬ２のそれぞれを動きブロック領域とする。そして、基準フレーム画像ＦＲ１中におけるすべての動きブロック領域で構成される画像領域を基準フレーム画像ＦＲ１中の動き領域ＭＶＲとし、フレーム画像ＦＲ２中におけるすべての動きブロック領域で構成される画像領域をフレーム画像ＦＲ２中の動き領域ＭＶＲとする。これにより、図７のフレーム画像ＦＲ１，ＦＲ２のそれぞれにおいては、移動する被写体であるボールの画像領域とほぼ同じ領域が動き領域ＭＶＲとして検出される。なお、動き領域ＭＶＲにおいて、複数の動きブロック領域が重なっている部分の画像信号については、いずれか一つの動きブロック領域の画像信号を採用する。

一般的に、フレーム画像間での動き領域ＭＶＲの移動量は、フレーム画像間での静止している被写体の画像領域の手振れによる移動量よりも非常に大きいため、動きベクトル量ｍｖａと比較される上記しきい値の値を適切に設定することによって、移動している被写体の画像領域を動き領域ＭＶＲとして正確に検出することができる。

また動き領域検出部２０４は、基準フレーム画像ＦＲ１中の任意の動きブロック領域を選択し、当該動きブロック領域と、それに相当するフレーム画像ＦＲ２中の動きブロック領域との間の動きベクトルを、基準フレーム画像ＦＲ１及びフレーム画像ＦＲ２の間での動き領域ＭＶＲの動きベクトルとする。

同様の処理を、フレーム画像ＦＲ１，ＦＲ３の間、及びフレーム画像ＦＲ１，ＦＲ４の間でそれぞれ実行し、フレーム画像ＦＲ３，ＦＲ４のそれぞれにおいて動き領域ＭＶＲを検出するとともに、フレーム画像ＦＲ１，ＦＲ３の間、及びフレーム画像ＦＲ１，ＦＲ４の間の動き領域ＭＶＲの動きベクトルを取得する。このようにして、ステップｓ５では、４枚のフレーム画像ＦＲ１〜ＦＲ４のそれぞれにおいて動き領域ＭＶＲが検出される。

上述のように、水平ライン方向あるいは垂直ライン方向に沿って走査されるＣＭＯＳセンサーにおいては、１ライン内において互いに隣り合う画素部間では露光開始時刻が厳密には相違するが、通常、１ライン内では画素部間の露光開始時刻差は非常に小さいため１ライン内ではほぼ同時に露光が開始すると考えることができる。さらに、１ラインを露光する際に要する時間は非常に短いため、１ライン内では手振れが一様に発生していると考えることができる。したがって、一つのフレーム画像においては、同一ライン方向に位置する複数の微小なブロック領域で構成される画像領域内では、手振れとローリングシャッタ方式とに起因する画像歪はほとんど発生していないと考えることができる。

一方で、動き領域ＭＶＲにおいては、手振れの発生と被写体の移動との両方に起因する歪が発生してるため、手振れの発生のみが起因する歪が発生している、静止している被写体の画像とは別に考える必要がある。

そこで、本実施の形態１では、フレーム画像ＦＲ１〜ＦＲ４のそれぞれにおいて、上述の動きブロック領域を除く同一水平ライン方向に位置する複数の類似ブロック領域で構成される画像領域を考え、当該画像領域を補正処理部２０５での補正単位とする。以後、当該画像領域を「補正単位画像領域ＵＩ」と呼ぶ。また、フレーム画像ＦＲ１〜ＦＲ４における補正単位画像領域ＵＩをそれぞれ補正単位画像領域ＵＩ１〜ＵＩ４と呼ぶ。

なお、本実施の形態１では、水平ライン方向Ｘに沿って露光が開始するＣＭＯＳセンサー１１を使用しているため、動きブロック領域を除く同一水平ライン方向に位置する複数の類似ブロック領域で構成される画像領域を補正単位画像領域ＵＩとしているが、垂直ライン方向Ｙに沿って露光が開始するＣＭＯＳセンサー１１を使用した場合には、動きブロック領域を除く同一垂直ライン方向に位置する複数の類似ブロック領域で構成される画像領域が補正単位画像領域ＵＩとなる。

ステップｓ５が実行されると、ステップｓ６において、類似画像検出部２０１は、フレーム画像ＦＲ１〜ＦＲ４間で類似する補正単位画像領域ＵＩを特定する。つまり、相互に類似する補正単位画像領域ＵＩ１〜ＵＩ４を特定する。上述のように、１水平ライン内では手振れが一様に発生していると考えることができることから、フレーム画像ＦＲ１における補正単位画像領域ＵＩ１を構成する複数の類似ブロック領域ＢＬ１のそれぞれに類似する類似ブロック領域ＢＬ２も同一水平ライン方向に位置し、当該複数の類似ブロック領域ＢＬ２で補正単位画像領域ＵＩ２が構成されている。したがって、補正単位画像領域ＵＩ１を構成する複数の類似ブロック領域ＢＬ１のそれぞれに類似する類似ブロック領域ＢＬ２で構成される補正単位画像領域ＵＩ２は、当該補正単位画像領域ＵＩ１に類似すると考えることができる。

同様にして、補正単位画像領域ＵＩ１を構成する複数の類似ブロック領域ＢＬ１のそれぞれに類似する類似ブロック領域ＢＬ３で構成される補正単位画像領域ＵＩ３は、当該補正単位画像領域ＵＩ１に類似すると考えることができ、補正単位画像領域ＵＩ１を構成する複数の類似ブロック領域ＢＬ１のそれぞれに類似する類似ブロック領域ＢＬ４で構成される補正単位画像領域ＵＩ４は、当該補正単位画像領域ＵＩ１に類似すると考えることができる。このような観点から、相互に類似する補正単位画像領域ＵＩ１〜ＵＩ４を特定する。

図１５は互いに類似する補正単位画像領域ＵＩ１〜ＵＩ４の組みの一つを示す図である。図１５（ａ）は基準フレーム画像ＦＲ１中のある補正単位画像領域ＵＩ１を示しており、図１５（ｂ）〜１５（ｄ）は当該補正単位画像領域ＵＩ１に類似する補正単位画像領域ＵＩ２〜ＵＩ４をそれぞれ示している。本実施の形態１では、フレーム画像ＦＲ１〜ＦＲ４のそれぞれを撮像する際には撮影者の手振れが水平ライン方向Ｘに沿って発生しているため、図１５に示されるように、相互に類似する補正単位画像領域ＵＩ１〜ＵＩ４は、フレーム画像中において同じ位置の水平ラインに位置している。

次にステップｓ７において、変位ベクトル検出部２０２は、補正単位画像領域ＵＩの基準位置に対する変位ベクトルを検出する。つまり、補正単位画像領域ＵＩが基準位置からどれだけ変位しているかを検出する。本実施の形態１では、補正単位画像領域ＵＩを構成する複数の類似領域のそれぞれの変位ベクトルを検出し、当該変位ベクトルの平均値を補正単位画像領域ＵＩの変位ベクトルとする。以下にステップｓ７での処理を詳細に説明する。

まず、変位ベクトル検出部２０２は、相互に類似する類似ブロック領域ＢＬ１〜ＢＬ４の組みのそれぞれについて、類似ブロック領域ＢＬ１〜ＢＬ４のいずれか一つの類似ブロック領域の位置を基準位置とした場合の当該基準位置に対する類似ブロック領域ＢＬ１〜ＢＬ４のそれぞれの変位ベクトルを検出する。本実施の形態１では、類似ブロック領域ＢＬ１の位置を基準位置とする。

変位ベクトル検出部２０２は、相互に類似する類似ブロック領域ＢＬ１，ＢＬ２の組みのそれぞれについて、図１６に示されるように、類似ブロック領域ＢＬ１の画像位置に対する類似ブロック領域ＢＬ２の変位ベクトルｂを検出する。つまり、類似ブロック領域ＢＬ２の中心画素Ｒの位置が、対応する類似ブロック領域ＢＬ１の中心画素Ｒの位置に対してどれだけ変位しているかを示すベクトルを取得する。本実施の形態１では、相互に類似する類似ブロック領域ＢＬ１，ＢＬ２の組みのそれぞれについて、類似ブロック領域ＢＬ１，ＢＬ２間の動きベクトルを求め、当該動きベクトルを変位ベクトルｂとする。

同様にして、相互に類似する類似ブロック領域ＢＬ１，ＢＬ３の組みのそれぞれについて、図１７に示されるように、類似ブロック領域ＢＬ１の画像位置に対する類似ブロック領域ＢＬ３の変位ベクトルｃを取得する。また、相互に類似する類似ブロック領域ＢＬ１，ＢＬ４の組みのそれぞれについて、図１８に示されるように、類似ブロック領域ＢＬ１の画像位置に対する類似ブロック領域ＢＬ４の変位ベクトルｄを取得する。なお、本実施の形態１では類似ブロック領域ＢＬ１の位置を基準位置としているため、類似ブロック領域ＢＬ１の基準位置に対する変位ベクトルａは零となる。

次に、変位ベクトル検出部２０２は、フレーム画像ＦＲ２中における各補正単位画像領域ＵＩ２について、それに含まれる複数の類似ブロック領域ＢＬ２における変位ベクトルｂの平均値を算出する。そして、求めた平均値を、それに対応する補正単位画像領域ＵＩ２の変位ベクトルＢとする。これにより、相互に類似する補正単位画像領域ＵＩ１，ＵＩ２の各組について、補正単位画像領域ＵＩ１の位置を基準位置とした場合の当該基準位置に対する補正単位画像領域ＵＩ２の変位ベクトルＢが算出される。

上述のように、ＣＭＯＳセンサーにおいては、１ライン内ではほぼ同時に露光が開始すると考えることができ、さらに１ライン内では手振れが一様に発生していると考えることができる。したがって、補正単位画像領域ＵＩ２を構成する、同一水平ライン方向に並ぶ複数の類似ブロック領域ＢＬ２についての変位ベクトルｂは本来なら互いに同じ値となる。しかしながら、同一水平ライン方向に並ぶ複数の類似ブロック領域ＢＬ２についての変位ベクトルｂには算出誤差等の誤差が含まれているのが通常であることから、当該変位ベクトルｂは必ずしも同じ値とはならず、変位ベクトルｂが実際の類似ブロック領域ＢＬ２の変位とは異なった値を示すことがある。したがって、検出された変位ベクトルｂをそのまま補正単位画像領域ＵＩ２の変位ベクトルＢとして使用し、当該変位ベクトルＢを補正処理部２０５でのフレーム画像ＦＲ２の補正処理に使用すると、当該フレーム画像ＦＲ２を適切に補正することができないことがある。

本実施の形態１では、補正単位画像領域ＵＩ２を構成する複数の類似ブロック領域ＢＬ２における変位ベクトルｂの平均値を算出し、当該平均値を補正単位画像領域ＵＩ２の変位ベクトルＢとしているため、変位ベクトルｂに含まれる誤差が後の補正処理に与える悪影響を低減することができる。

同様にして、変位ベクトル検出部２０２は、フレーム画像ＦＲ３中における各補正単位画像領域ＵＩ３について、それに含まれる複数の類似ブロック領域ＢＬ３における変位ベクトルｃの平均値を算出する。そして、求めた平均値を、それに対応する補正単位画像領域ＵＩ３の変位ベクトルＣとする。

同様にして、変位ベクトル検出部２０２は、フレーム画像ＦＲ４中における各補正単位画像領域ＵＩ４について、それに含まれる複数の類似ブロック領域ＢＬ４における変位ベクトルｃの平均値を算出する。そして、求めた平均値を、それに対応する補正単位画像領域ＵＩ４の変位ベクトルＤとする。

なお、本実施の形態１では、補正単位画像領域ＵＩ１の画像位置を基準位置としているため、当該基準位置に対する補正単位画像領域ＵＩ１の変位ベクトルＡは零である。補正単位画像領域ＵＩ１に含まれる複数の類似ブロック領域ＢＬ１の変位ベクトルａがすべて零であることからも変位ベクトルＡが零であると言える。

次にステップｓ８において、平均値算出部２０３は、相互に類似する補正単位画像領域ＵＩ１〜ＵＩ４の組みのそれぞれについて、当該組みに対応する変位ベクトルＡ〜Ｄの平均値Ｚを算出する。

次にステップｓ９において、補正処理部２０５は、ステップｓ８で取得された平均値Ｚに基づいてフレーム画像ＦＲ１〜ＦＲ４のそれぞれを補正する。さらに補正処理部２０５は、フレーム画像ＦＲ１〜ＦＲ４のそれぞれにおいて動き領域ＭＶＲを補正する。以下にステップｓ９での処理を詳細に説明する。

補正処理部２０５は、相互に類似する補正単位画像領域ＵＩ１〜ＵＩ４について、当該補正単位画像領域ＵＩ１〜ＵＩ４のそれぞれの変位ベクトルが、それらに対応する平均値Ｚとなるように、当該補正単位画像領域ＵＩ１〜ＵＩ４のそれぞれをフレーム画像内で移動させる。

例えば、変位ベクトルの方向が“＋”と“−”の２方向で表現され、変位ベクトルの大きさが“整数値”で表現されるとする。そして、補正単位画像領域ＵＩ１〜ＵＩ４の基準位置に対するもともとの変位ベクトルがそれぞれ“０”，“−２”，“＋２”，“−４”とすると、それらの平均値Ｚは“−１”となる。この場合、補正単位画像領域ＵＩ１〜ＵＩ４をそれぞれ“−１”，“＋１”，”−３”，“＋３”だけ移動させ、補正単位画像領域ＵＩ１〜ＵＩ４のそれぞれの基準位置に対する変位ベクトルを“−１”とする。図１９はこの様子を示す図である。

上述のように、複数枚のフレーム画像ＦＲ１〜ＦＲ４の間では、撮影者の手振れがどのように発生するかランダムであるため、相互に類似する補正単位画像領域ＵＩ１〜ＵＩ４の位置は本来の位置に対してランダムにばらつくことになる。したがって、補正単位画像領域ＵＩ１〜ＵＩ４の基準位置に対する変位ベクトルＡ〜Ｄの平均値Ｚは、補正単位画像領域ＵＩ１〜ＵＩ４の本来の位置の基準位置に対する変位ベクトルに近い値となる。よって、補正単位画像領域ＵＩ１〜ＵＩ４のそれぞれの基準位置に対する変位ベクトルが平均値Ｚとなるように、補正単位画像領域ＵＩ１〜ＵＩ４のそれぞれを移動させることによって、補正単位画像領域ＵＩ１〜ＵＩ４を本来の位置に近づけることができる。

このとき、補正単位画像領域ＵＩ１を移動させるだけではなく、当該補正単位画像領域ＵＩ１を構成する類似ブロック領域ＢＬ１と同一水平ライン方向に位置する他のすべてのブロック領域ＢＬ１も、当該補正単位画像領域ＵＩ１と同様に移動させる。つまり、補正単位画像領域ＵＩ１を含む１水平ライン分のブロック領域ＢＬ１で構成される画像領域、言い換えれば補正単位画像領域ＵＩ１を含む５行×Ｍ列の画素で構成される画像領域を移動させる。これは、１ライン内ではほぼ同時に露光が開始しかつ手振れが一様に発生していると考えることができることから、同一水平ライン方向に位置する複数のブロック領域ＢＬ１における補正単位画像領域ＵＩ１以外の画像領域についても、補正単位画像領域ＵＩ１と同様の画像歪が発生していると考えることができるからである。

同様にして、補正単位画像領域ＵＩ２〜ＵＩ４を移動させる場合には、当該補正単位画像領域ＵＩ２を構成する類似ブロック領域ＢＬ２と同一水平ライン方向に位置する他のすべてのブロック領域ＢＬ２も移動させ、当該補正単位画像領域ＵＩ３を構成する類似ブロック領域ＢＬ３と同一水平ライン方向に位置する他のすべてのブロック領域ＢＬ３も移動させ、当該補正単位画像領域ＵＩ４を構成する類似ブロック領域ＢＬ４と同一水平ライン方向に位置する他のすべてのブロック領域ＢＬ４も移動させる。

以上の処理を、相互に類似する補正単位画像領域ＵＩ１〜ＵＩ４の組みすべてに対して行い、フレーム画像ＦＲ１〜ＦＲ４のそれぞれを補正する。この補正後のフレーム画像ＦＲ１〜ＦＲ４を図２０に示す。図２０に示されるように、各フレーム画像ＦＲ１〜ＦＲ４においては、水平ライン方向Ｘに歪が発生していた電柱の画像が適切に補正されて、当該画像はまっすぐになる。図２０では動き領域ＭＶＲを斜線で示してる。

なお、補正単位画像領域ＵＩ１を含む１水平ライン分のブロック領域ＢＬ１で構成される画像領域を移動させた後には、当画像領域の画像信号を、移動先の画像位置に存在している画像領域の画像信号の替わりに使用する。また、フレーム画像ＦＲ１においては、図２１に示されるように、補正単位画像領域ＵＩ１を含む１水平ライン分のブロック領域ＢＬ１で構成される画像領域３００は複数存在するが、これらの画像領域３００を移動させた後においてのそれらの重なり部分の各画素の画素信号については当該複数の画像領域３００間での平均値を、移動先の画素の画素信号の替わりに使用する。また、フレーム画像ＦＲ１内において補正単位画像領域ＵＩ１を含む１水平ライン分のブロック領域ＢＬ１で構成される画像領域を移動させた後に、当該画像領域においてフレーム画像ＦＲ１からはみ出す部分については使用せずに破棄する。フレーム画像ＦＲ２〜ＦＲ４についても同様である。

次に、補正処理部２０５は、図２０に示されるフレーム画像ＦＲ１〜ＦＲ４のいずれか一つのフレーム画像中の動き領域ＭＶＲを補正する。図２２は動き領域ＭＶＲの補正方法を示す図である。図２２では、補正前の動き領域ＭＶＲを実線で示し、補正後の当該動き領域ＭＶＲを破線で示している。本実施の形態１では、フレーム画像ＦＲ４の動き領域ＭＶＲを補正するものとする。

補正処理部２０５は、ステップｓ５で取得された動き領域ＭＶＲの動きベクトルと、撮像間隔情報と、露光開始時刻差情報と、露光開始順序情報とに基づいて、動き領域ＭＶＲを補正する。ここで撮像間隔情報とは、一組の複数枚のフレーム画像間での撮像間隔に関する情報であって、本実施の形態１では、複数枚のフレーム画像ＦＲ１〜ＦＲ４を撮像する際に連続して撮像される２枚のフレーム画像間の撮像間隔ｔｄ１の情報が含まれており、当該撮像間隔ｔｄ１は複数枚のフレーム画像ＦＲ１〜ＦＲ４において一定である。また露光開始時刻差情報とは、ローリングシャッタ方式で露光した際に生じる一つのフレーム画像内での位置の相違に基づく露光開始時刻差に関する情報であって、本実施の形態１では、上述の画素間での露光開始時刻の時刻差ｓｔｄの情報が含まれている。また露光開始順序情報とは、ローリングシャッタ方式を用いて撮像される一つのフレーム画像内での位置に基づく露光開始順序に関する情報、言い換えれば、ローリングシャッタ方式を用いて撮像される一つのフレーム画像内の複数の画素位置において、どのような順序で露光が開始するかについての情報である。本実施の形態１のＣＭＯＳセンサー１１で撮像されるフレーム画像では、ある行の１列目からＭ列目にかけて順に露光が開始し、当該ある行のＭ列目の露光が終了すると、その次の行の１列目の露光が開始するため、この露光開始順序の情報が本実施の形態に係る露光開始順序情報には含まれている。撮像間隔情報、露光開始時刻差情報及び露光開始順序情報は記憶部２３に予め記憶されている。以下に動き領域ＭＶＲの補正方法について詳細に説明する。

まず、フレーム画像ＦＲ１〜ＦＲ４から、フレーム画像ＦＲ４とは異なる任意の一つのフレーム画像を選択する。本実施の形態１では、フレーム画像ＦＲ１を選択するものとする。次に、フレーム画像ＦＲ１，ＦＲ４間の動き領域ＭＶＲの動きベクトルに基づいて、フレーム画像ＦＲ１，ＦＲ４間での動き領域ＭＶＲの移動方向ｍｄ及び移動量ｄｆを求める。具体的には、フレーム画像ＦＲ１，ＦＲ４間の動き領域ＭＶＲの動きベクトルが示す方向を移動方向ｍｄとし、当該動きベクトルの絶対値を求めて、それを移動量ｄｆとする。つまり、動きベクトル量ｍｖａが移動量ｄｆとなる。また、求めた移動量ｄｆと、撮像間隔情報から得られる撮像間隔ｔｄ１とに基づいてフレーム画像ＦＲ１，ＦＲ４間での動き領域ＭＶＲの移動速さｍｖを求める。移動速さｍｖは、フレーム画像ＦＲ１〜ＦＲ４間で車の速さが一定であるとすると、ｍｖ＝ｄｆ／（３×ｔｄ１）と表現できる。

次に、図２２に示されるように、動き領域ＭＶＲ中の各画素の位置を移動方向ｍｄとは逆方向ｒｍｄに補正量ｄｒの分移動させて、当該各画素を移動先の画素位置に存在している画素の替わりに採用する。つまり、フレーム画像ＦＲ４において、動き領域ＭＶＲ中の各画素の位置を移動方向ｍｄとは逆方向ｒｍｄに補正量ｄｒの分移動させて、当該各画素の画素信号を移動先の画素位置に存在している画素の画素信号の替わりに使用する。本例での補正量ｄｒは水平ライン位置に応じて変化する値である。以下にこの補正量ｄｒについて説明する。

上述のように、本実施の形態１に係るＣＭＯＳセンサー１１では、画素位置によって露光開始時刻が異なる。そのため、動き領域ＭＶＲにおいて最初に露光が開始する画素位置（以後、「基準画素位置」と呼ぶ）での露光開始から、動き領域ＭＶＲのその他の画素位置での露光開始までの間に車は移動していることになる。したがって、基準画素位置での露光開始から、補正対象の画素が位置する画素位置での露光開始までの間に車が移動した分だけ補正対象の画素を車の移動方向とは逆方向に移動させることによって、補正対象の画素を本来の位置に戻すことができる。

一方で、厳密には画素位置によって露光開始時刻が異なるものの、上述のように、１水平ライン内ではほぼ同時に露光が開始すると考えることができることから、水平ライン位置によって露光開始時刻が異なるとみなすことができる。

そこで、本実施の形態１では、水平ライン単位で動き領域ＭＶＲを補正するものとし、補正量ｄｒを以下の式（２）で表す。

式（２）中のｐは、補正対象の画素が属する水平ラインにおいて最も早く露光が開始する動き領域ＭＶＲ中の画素位置での露光が上記基準画素位置での露光から何番目に開始するかを示す値であり、露光開始順序情報から求めることができる。例えば、Ｍ＝１０２４であって１水平ラインが１０２４画素で構成されている場合において、基準画素位置が２行２列目の位置であって、３行１０列目に位置する補正対象の画素が属する水平ラインにおいて最も早く露光が開始する動き領域ＭＶＲ中の画素位置が３行２列目とするとｐ＝１０２４となる。ｐの値は１水平ライン内の複数の画素位置の間では一定であるため、補正量ｄｒは１水平ライン内の複数の画素の間では一定となる。また、動き領域ＭＶＲ中の基準画素位置での画素が属する水平ラインの複数の画素に対する補正量ｄｒについては、ｐに零を代入してすべて零とする。

以上のように、動き領域ＭＶＲ中の各画素の位置を移動方向ｍｄとは逆方向ｒｍｄに補正量ｄｒの分移動させることによって、動き領域ＭＶＲに現れるローリングシャッタ方式に起因する画像歪を補正することができる。図２３に動き領域ＭＶＲが補正されたフレーム画像ＦＲ４（以後、「補正フレーム画像ＦＲ４Ｃ」と呼ぶ）を示す。

なお、補正フレーム画像ＦＲ４Ｃにおいて、もともと動き領域ＭＶＲが存在していた領域での画像信号は、動き領域ＭＶＲの補正後においては不要な情報であるため、当該領域での画像信号は任意の値で良い。以後、補正フレーム画像ＦＲ４Ｃ中において補正前の動き領域ＭＶＲが存在していた領域を「画像抜け領域ＩＬＲ」と呼ぶ。図２３では画像抜け領域ＩＬＲを一点鎖線で示している。

次にステップｓ１０において、フレーム画像生成部２０６は、補正フレーム画像ＦＲ４Ｃと、図２０に示されるフレーム画像ＦＲ１〜ＦＲ３とに基づいて、トータル露光時間で撮像されたフレーム画像に相当する合成フレーム画像ＣＦＲを生成する。そしてステップｓ１１において、表示装置３は、ステップｓ１０で生成した合成フレーム画像ＣＦＲを表示する。以下に、合成フレーム画像ＣＦＲの生成方法について詳細に説明する。

まず、補正フレーム画像ＦＲ４Ｃのうち画像抜け領域ＩＬＲを除く画像領域の各画素信号と、フレーム画像ＦＲ１のうち、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置の画像領域と動き領域ＭＶＲとを除く画像領域の各画素信号と、フレーム画像ＦＲ２のうち、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置の画像領域と動き領域ＭＶＲとを除く画像領域の各画素信号と、フレーム画像ＦＲ３のうち、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置の画像領域と動き領域ＭＶＲとを除く画像領域の各画素信号とを、同じ画素位置において相互に足し合わせて、これらの画像領域を合成する。このようにして得られた一つのフレーム画像を以後「中間フレーム画像ＭＦＲ」と呼ぶ。

次に、中間フレーム画像ＭＦＲの露光量の調整を行う。上述のように、画像抜け領域ＩＬＲを除く補正フレーム画像ＦＲ４Ｃと、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置の画像領域と動き領域ＭＶＲとを除くフレーム画像ＦＲ１〜ＦＲ３とを合成して、中間フレーム画像ＭＦＲを生成しているため、当該中間フレーム画像ＭＦＲにおいては、４フレーム分の画素信号が足し合わされていない画像領域が存在する。

例えば、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置での画像は、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲだけで構成されているため、中間フレーム画像ＭＦＲ中の当該画像の各画素信号は１フレーム分の画素信号だけで構成されている。また、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置にある画像では、補正フレーム画像ＦＲ４Ｃ中の画像は使用されていないため、中間フレーム画像ＭＦＲ中の当該画像の各画素信号は１乃至３フレーム分の画素信号だけで構成されている。そこで、中間フレーム画像ＭＦＲ中の全画素信号が４フレーム分の画素信号で構成されるように当該中間フレーム画像ＭＦＲを補正する。以下にこの補正方法について詳細に説明する。

図２４に示されるように、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置での画像５００については、当該画像５００に対して、フレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲの画像を合成する。このとき、フレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲに現れるローリングシャッタ方式に起因する画像歪は補正されていないため、中間フレーム画像ＭＦＲ中の画像５００の形状と、フレーム画像ＦＲ１〜ＦＲ３中の各動き領域ＭＶＲの形状とは異なったものとなっている。そこで、上記補正処理部２０５において、フレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲのそれぞれに対して、移動方向ｍｄとは逆方向ｒｍｄに各画素を上記補正量ｄｒの分だけ移動させる補正を行って、フレーム画像ＦＲ１〜ＦＲ３中の各動き領域ＭＶＲに現れるローリングシャッタ方式に起因する画像歪を補正する。その後、フレーム画像生成部２０６において、中間フレーム画像ＭＦＲ中の画像５００に対して、フレーム画像ＦＲ１〜ＦＲ３中の補正後の各動き領域ＭＶＲの画像を合成する。具体的には、中間フレーム画像ＭＦＲ中の画像５００の各画素信号と、フレーム画像ＦＲ１における補正後の動き領域ＭＶＲ中の各画素信号と、フレーム画像ＦＲ２における補正後の動き領域ＭＶＲ中の各画素信号と、フレーム画像ＦＲ３における補正後の動き領域ＭＶＲ中の各画素信号とを、同じ画素位置において足し合わせる。これにより、中間フレーム画像ＭＦＲ中の画像５００が、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲ及びフレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲを使用して生成され、中間フレーム画像ＭＦＲ中の画像５００の各画素信号が４フレーム分の画素信号で構成されるようになる。複数枚のフレーム画像中の画像を合成することによって画像５００を形成することにより、撮像時に画像信号に生じるランダムノイズを低減することができる。なお、図２４及び後述の図２５〜２７に示される中間フレーム画像ＭＦＲでは、説明の便宜上、図２０に示されるフレーム画像ＦＲ４中の補正前の動き領域ＭＶＲと同じ画像位置にある画像領域と、フレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲと同じ画像位置にある画像領域をそれぞれ破線で示している。

また上述のように、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置にある画像の各画素信号は、１乃至３フレーム分の画素信号だけで構成されているため、当該画像の各画素信号が４フレーム分の画素信号で構成されるように、当該画像の各画素信号をＬ／Ｋ倍する。ここでＫは、補正対象の画素の画素信号が何フレーム分の画素信号で構成されているかを示す値である。

図２５に示されるように、本実施の形態１に係る中間フレーム画像ＭＦＲでは、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置にある画像６００は、フレーム画像ＦＲ１〜ＦＲ３中の画像６００と同じ画像位置にある画像が合成されて形成されているため、Ｋ＝３となる。本例ではＬ＝４であるため、画像６００の各画素信号を４／３倍にする。これにより、中間フレーム画像ＭＦＲ中の画像６００の各画素信号は４フレーム分の画素信号から構成されるようになる。

また、中間フレーム画像ＭＦＲにおいて、上記画像５００，６００以外の画像の各画素信号については１乃至４フレーム分の画素信号で構成されるため、当該画像の各画素信号についてもＬ／Ｋ倍する。例えば、図２６に示されるように、中間フレーム画像ＭＦＲ中の斜線で示される画像７００は、補正フレーム画像ＦＲ４Ｃ及びフレーム画像ＦＲ１〜ＦＲ３中の当該画像７００と同じ画像位置にある画像が合成されて形成されているため、Ｋ＝４となる。したがって、画像７００の各画素信号を４／４倍、つまり変化させない。一方で、図２７に示されるように、中間フレーム画像ＭＦＲ中の斜線で示される画像７０１は、補正フレーム画像ＦＲ４Ｃ中の当該画像７０１と同じ画像位置にある画像と、フレーム画像ＦＲ３中の当該画像７０１と同じ画像位置にある画像とが合成されて形成されているため、Ｋ＝２となり、画像７０１の各画素信号を４／２倍、つまり２倍にする。

以上のようにして、中間フレーム画像ＭＦＲを補正し、補正後の中間フレーム画像ＭＦＲを合成フレーム画像ＣＦＲとする。図２８は本実施の形態１に係る合成フレーム画像ＣＦＲを示す図である。

ステップｓ１０において、合成フレーム画像ＣＦＲが生成されると、そのデジタル画像信号ＤＩＳを示す合成画像信号ＣＤＩＳは上記記憶部２３に記憶される。ＲＰＵ２１は、記憶部２３から合成画像信号ＣＤＩＳを読み出して、当該合成画像信号ＣＤＩＳに対してシャープネス等の各種フィルタ処理を実行する。そして、ステップｓ１１において、フィルタ処理後の合成画像信号ＣＤＩＳが表示装置３に入力され、当該表示装置３は当該合成画像信号ＣＤＩＳに基づいて画像を表示する。これにより、合成フレーム画像ＣＦＲが静止画として表示される。

なお、上記例では、撮像画面の水平ライン方向Ｘに移動する被写体を撮像した際のフレーム画像の補正方法について説明したが、撮像画面の垂直ライン方向Ｙに移動する被写体を撮像する場合であっても同様にローリングシャッタ効果を補正することができる。

以上のように本実施の形態１に係る画像処理装置２では、相互に類似する補正単位画像領域ＵＩ１〜ＵＩ４における変位ベクトルＡ〜Ｄの平均値Ｚを算出し、補正単位画像領域ＵＩ１〜ＵＩ４のそれぞれの変位ベクトルが当該平均値Ｚとなるように補正単位画像領域ＵＩ１〜ＵＩ４のそれぞれを移動させているため、補正単位画像領域ＵＩ１〜ＵＩ４のそれぞれを本来の位置に近づけることができる。その結果、ローリングシャッタ方式に起因する画像歪を低減することができる。

また本実施の形態１では、補正単位画像領域ＵＩ１を構成する複数の類似ブロック領域ＢＬ１間での変位ベクトルａの平均値を当該補正単位画像領域ＵＩ１の変位ベクトルＡとしているため、変位ベクトルａの誤差が補正処理に与える影響を抑制することができる。よって、ローリングシャッタ方式に起因する画像歪を確実に低減できる。

また本実施の形態１では、時間的に短い分割露光時間で撮像された複数枚のフレーム画像ＦＲ１〜ＦＲ４に基づいて、トータル露光時間で撮像されたフレーム画像に相当する合成フレーム画像ＣＦＲを生成しているため、撮像時に画像信号に生じるランダムノイズを低減することができる。

また本実施の形態１では、検出した動き領域ＭＶＲの動きベクトルと、撮像間隔情報と、露光開始時刻差情報と、露光開始順序情報とに基づいて、補正対象たるフレーム画像ＦＲ４での動き領域ＭＶＲを補正するため、当該動き領域ＭＶＲに生じるローリングシャッタ方式に起因する画像歪を適切に補正することができる。その結果、フレーム画像ＦＲ４中の画像歪を低減することができる。

また、フレーム画像生成部２０６が生成する合成フレーム画像ＣＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置での画像６００については、補正フレーム画像ＦＲ４Ｃ以外のその他フレーム画像ＦＲ１〜ＦＲ３に基づいて生成しているため、当該画像６００を被写体に忠実なものとすることができる。

また、合成フレーム画像ＣＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置での画像５００については、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲ及びその他のフレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲに基づいて生成しているため、当該画像５００を被写体に忠実なものとすることができる。その結果、合成フレーム画像ＣＦＲにおいて、移動する被写体を写す画像を、実際の被写体に忠実なものとすることができる。

また、合成フレーム画像ＣＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置での画像６００と、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置での画像５００とを除く画像については、補正フレーム画像ＦＲ４Ｃ及びその他のフレーム画像ＦＲ１〜ＦＲ３において互いに同じ画像位置に存在する動き領域ＭＶＲ以外の画像に基づいて生成するため、上記画像７００，７０１等の、合成フレーム画像ＣＦＲ中の画像５００，６００以外の画像を被写体に忠実なものとすることができる。

実施の形態２．
図２９は本発明の実施の形態２に係るカメラシステムの構成を示すブロック図である。本実施の形態２に係るカメラシステムは、上述の実施の形態１に係るカメラシステムにおいてジャイロセンサー４をさらに備えるものである。

上述のように、複数枚のフレーム画像間では、通常、手振れがどのように発生するかはランダムであるが、稀に複数枚のフレーム画像間で手振れの様子がほぼ一致することがある。図３０はその様子を示す図である。図３０に示されるように、フレーム画像ＦＲ１〜ＦＲ４間で手振れの様子が一致すると、移動している被写体の画像を除いて、それらの画像は同じ画像となる。したがって、上述の変位ベクトルａ〜ｄはすべて零になってしまい、この場合には手振れとローリングシャッタ方式とに起因する画像歪を補正することができない。

そこで、本実施の形態２では、ジャイロセンサー４において本カメラシステムの振れ量を検出し、当該振れ量に基づいてフレーム画像ＦＲ１〜ＦＲ４のそれぞれを補正することによって、フレーム画像ＦＲ１〜ＦＲ４間で手振れの様子が一致した場合であっても、ローリングシャッタ方式に起因する画像歪をある程度は補正することができるようにしている。

ジャイロセンサー４は、ＣＰＵ２２による動作制御によって、撮像装置１においてフレーム画像が撮像される際の本カメラシステムの振れ量を検出する。具体的には、ジャイロセンサー４は、フレーム画像における１番目の水平ラインの先頭画素が撮像される際の本カメラシステムの位置を基準として、それ以降の水平ラインの先頭画素が撮像される度に本カメラシステムの振れ量を検出して出力する。

本実施の形態２に係る補正処理部２０５は、平均値算出部２０３で算出された平均値Ｚに基づいてフレーム画像ＦＲ１〜ＦＲ４のそれぞれを補正する前に、ジャイロセンサー４から出力される本カメラシステムの振れ量に基づいてフレーム画像ＦＲ１〜ＦＲ４のそれぞれを補正する。

補正処理部２０５は、フレーム画像ＦＲ１において、各補正単位画像領域ＵＩ１を、当該補正単位画像領域ＵＩ１が撮像される際の本カメラシステムの振れ量の方向とは逆方向に当該振れ量の大きさの分移動させる。具体的には、各補正単位画像領域ＵＩ１を、当該補正単位画像領域ＵＩ１を構成する複数の類似ブロック領域ＢＬ１の中心画素Ｒが位置する水平ラインの先頭画素が撮像される際の本カメラシステムの振れ量の方向とは逆方向に当該振れ量の大きさの分移動させる。図３１はこの処理の様子を示す図である。図３１（ａ）は補正前のフレーム画像ＦＲ１を示し、図３１（ｂ）は補正後のフレーム画像ＦＲ１を示している。

このとき、補正処理部２０５は、平均値Ｚに基づいて補正単位画像領域ＵＩ１を補正する場合と同様に、補正単位画像領域ＵＩ１を移動させるだけではなく、当該補正単位画像領域ＵＩ１を構成する類似ブロック領域ＢＬ１と同一水平ライン方向に位置する他のすべてのブロック領域ＢＬ１も、当該補正単位画像領域ＵＩ１と同様に移動させる。つまり、補正単位画像領域ＵＩ１を含む１水平ライン分のブロック領域ＢＬ１で構成される画像領域を、本カメラシステムの振れ量の方向とは逆方向に当該振れ量の大きさの分移動させる。補正処理部２０５は、フレーム画像ＦＲ２〜ＦＲ４のそれぞれに対して同様の補正処理を行う。

補正処理部２０５は、本カメラシステムの振れ量に基づいてフレーム画像ＦＲ１〜ＦＲ４を補正すると、上述のように、平均値算出部２０３で算出された平均値Ｚに基づいてフレーム画像ＦＲ１〜ＦＲ４を補正する。その他の本カメラシステムの動作については実施の形態１と同様であるためその説明は省略する。

以上のように、本実施の形態２に係るカメラシステムでは、ジャイロセンサー４で検出された本カメラシステムの振れ量に基づいてフレーム画像ＦＲ１〜ＦＲ４が補正されるため、フレーム画像ＦＲ１〜ＦＲ４間で手振れの様子が一致している場合であっても、ローリングシャッタ方式に起因する画像歪を補正することができる。

なお、実施の形態１，２では、静止画を表示するカメラシステムについて説明したが、表示装置３において、フレーム画像生成部２０６で生成された複数枚の合成フレーム画像ＣＦＲに基づいて動画像を表示することによって、デジタルスチルカメラだけではなく、動画像を表示するデジタルビデオカメラにも本発明を適用することができる。例えば、（４×１５）枚のフレーム画像を連続して撮像する。そして、撮像したこれらのフレーム画像において、連続して撮像された４枚のフレーム画像を１組のフレーム画像群とし、１５組のフレーム画像群のそれぞれから一枚の合成フレーム画像ＣＦＲを生成する。そして、生成された１５枚の合成フレーム画像ＣＦＲを１秒間に連続して表示することによって、フレームレート１５ｆｐｓ（フレーム／秒）での動画像表示が可能となる。

このように、複数枚の合成フレーム画像ＣＦＲに基づいて動画像を表示することによって、ローリングシャッタ方式に起因する歪が補正されたフレーム画像に基づいて動画像が表示されるため、観察者に対して見やすい動画像を提供することができる。特に動画像においてはローリングシャッタ方式に起因する歪が観察者に与える不快感は大きいため有効である。

また図３２に示されるように、撮像装置１において、ＣＭＯＳセンサー１１の代わりに、メカニカルシャッタであるローリングシャッタ１５とＣＣＤセンサー１６とを組み合わせて使用する場合であっても、ＣＭＯＳセンサー１１だけを使用した場合と同様に、フレーム画像中にローリングシャッタ効果が生じるため、このような撮像装置１を使用する際にも本発明を適用することができる。

一般的に、ローリングシャッタ１５とＣＣＤセンサー１６とを備えた撮像装置１では、ローリングシャッタ１５の動作によってＣＣＤセンサー１６の撮像画面の前を水平方向に細長いスリットが上から下に向かって移動し、当該スリットから入射する光を用いて露光している。そのため、一つのフレーム画像においては、１ライン内では露光開始時刻は同じであるが、異なるライン間では露光開始時刻が異なるようになる。したがって、このような撮像装置１を使用する場合には、上記例とは異なり、上記補正量ｄｒを、ｄｒ＝ｍｖ×ｑ×ｓｔｄ１とする。ここで、ｓｔｄ１はライン間の露光開始時刻差を示しており、ｑは動き領域ＭＶＲ中の補正対象の画素が属するラインが、当該動き領域ＭＶＲ中において最初に露光が開始するラインから何番目に露光が開始するかを示す値である。したがって、この場合にも、１ライン内での複数の画素においては補正量ｄｒが一定であり、動き領域ＭＶＲにおいて最初に露光が開始するラインに属する画素の補正量ｄｒは零となる。また、この場合には、露光開始時刻差情報にはライン間の露光開始時刻差ｓｔｄ１の情報が含まれ、露光開始順序情報には、１行目からＮ行目の順に露光が開始するという露光開始順序の情報が含まれる。

本発明の実施の形態１に係るカメラシステムの構成を示すブロック図である。 本発明の実施の形態１に係るＣＭＯＳセンサーの構成を示す図である。 本発明の実施の形態１に係るＣＭＯＳセンサーの動作を示す図である。 ＣＣＤセンサー及びＣＭＯＳセンサーで撮像された画像を模式的に示す図である。 本発明の実施の形態１に係る画像歪補正装置の機能ブロックを示す図である。 本発明の実施の形態１に係るカメラシステムの動作を示すフローチャートである。 本発明の実施の形態１に係る撮像装置で撮像される複数枚のフレーム画像の一例を示す図である。 本発明の実施の形態１に係る画像メモリの構成を示すブロック図である。 本発明の実施の形態１に係る類似ブロック領域の検出方法を示す図である。 本発明の実施の形態１に係る類似ブロック領域の検出方法を示す図である。 本発明の実施の形態１に係る類似ブロック領域の検出方法を示す図である。 本発明の実施の形態１に係る類似ブロック領域の検出方法を示す図である。 本発明の実施の形態１に係る類似ブロック領域の検出方法を示す図である。 複数枚のフレーム画像間で類似する類似ブロック領域を示す図である。 複数枚のフレーム画像間で類似する補正単位画像領域を示す図である。 類似ブロック領域の変位ベクトルを示す図である。 類似ブロック領域の変位ベクトルを示す図である。 類似ブロック領域の変位ベクトルを示す図である。 本発明の実施の形態１に係る補正単位画像領域の補正方法を示す図である。 補正単位画像領域が補正されたフレーム画像を示す図である。 補正単位画像領域を含む１水平ライン分のブロック領域で構成される画像領域を示す図である。 本発明の実施の形態１に係る動き領域の補正方法を示す図である。 動き領域が補正されたフレーム画像を示す図である。 本発明の実施の形態１に係る中間フレーム画像の補正方法を示す図である。 本発明の実施の形態１に係る中間フレーム画像の補正方法を示す図である。 本発明の実施の形態１に係る中間フレーム画像の補正方法を示す図である。 本発明の実施の形態１に係る中間フレーム画像の補正方法を示す図である。 本発明の実施の形態１に係る合成フレーム画像を示す図である。 本発明の実施の形態２に係るカメラシステムの構成を示すブロック図である。 複数枚のフレーム画像間で手振れの様子が一致している様子を示す図である。 本発明の実施の形態２に係る補正単位画像領域の補正方法を示す図である。 本発明の実施の形態１，２に係る撮像装置の変形例を示すブロック図である。

符号の説明

１ 撮像装置
２ 画像処理装置
３ 表示装置
２０１ 類似画像検出部
２０２ 変位ベクトル検出部
２０３ 平均値算出部
２０５ 補正処理部
２０６ フレーム画像生成部

Claims (10)

1. 露光方式としてローリングシャッタ方式を用いて撮像された複数枚のフレーム画像間で類似する類似画像領域を前記フレーム画像ごとに検出する類似画像検出部と、
   前記複数枚のフレーム画像のそれぞれの前記類似画像領域について、前記複数のフレーム画像において共通の基準位置に対する変位ベクトルを検出する変位ベクトル検出部と、
   前記複数枚のフレーム画像における前記変位ベクトルの平均値を算出する平均値算出部と、
   前記複数枚のフレーム画像中のあるフレーム画像において、前記類似画像領域の前記変位ベクトルが前記平均値となるように当該類似画像領域を移動させる補正処理部と
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記ローリングシャッタ方式では垂直あるいは水平のライン方向に沿って走査され、
   各々の前記類似画像領域は、これに対応する前記フレーム画像において同一の前記ライン方向に位置し、かつそれぞれが前記複数枚のフレーム画像間で類似する複数の部分画像領域で構成されており、
   前記変位ベクトル検出部は、
   前記複数枚のフレーム画像内から選択された一枚の選択フレーム画像中の前記複数の部分画像領域のそれぞれの位置を基準位置として、他の前記フレーム画像での対応する前記部分画像領域の変位ベクトルを検出し、当該他の前記フレーム画像のそれぞれについての前記複数の部分画像領域における当該変位ベクトルの平均値を算出し、当該平均値を対応する前記フレーム画像での前記類似画像領域の前記変位ベクトルとする、画像処理装置。
3. 画像を撮像するカメラシステムであって、
   請求項１及び請求項２のいずれか一つに記載の画像処理装置と、
   露光方式として前記ローリングシャッタ方式を用いて前記複数枚のフレーム画像を撮像する撮像装置と、
   前記カメラシステムの振れ量を検出するセンサーと
   を備え、
   前記補正処理部は、前記あるフレーム画像において、前記類似画像領域が撮像される際の前記カメラシステムの前記振れ量の方向とは逆方向に当該振れ量の大きさの分前記類似画像領域を移動し、その後、前記類似画像領域の前記変位ベクトルが前記平均値となるように前記類似画像領域を移動させる、カメラシステム。
4. 画像を撮像するカメラシステムであって、
   請求項１及び請求項２のいずれか一つに記載の画像処理装置と、
   露光方式として前記ローリングシャッタ方式を用いて前記複数枚のフレーム画像を撮像する撮像装置と
   を備え、
   前記画像処理装置は露光時間決定部及びフレーム画像生成部をさらに備え、
   前記露光時間決定部は、前記撮像装置での露光時間を決定するとともに、当該露光時間を前記複数枚のフレーム画像の枚数と同じ数だけ分割して分割露光時間を算出し、
   前記撮像装置は、前記複数枚のフレーム画像をそれぞれに対応する前記分割露光時間で撮像し、
   前記補正処理部は、前記複数枚のフレーム画像のそれぞれにおいて、前記類似画像領域の前記変位ベクトルが前記平均値となるように当該類似画像領域を移動させ、
   前記フレーム画像生成部は、前記露光時間で撮像されたフレーム画像に相当する合成フレーム画像を、その各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記補正処理部で補正された前記複数枚のフレーム画像を合成して生成する、カメラシステム。
5. 請求項４に記載のカメラシステムであって、
   前記フレーム画像生成部で生成された複数枚の前記合成フレーム画像に基づいて動画像を表示する表示装置をさらに備える、カメラシステム。
6. 露光方式としてローリングシャッタ方式を用いて撮像された画像に対する画像処理方法であって、
   （ａ）露光方式としてローリングシャッタ方式を用いて撮像された複数枚のフレーム画像間で類似する類似画像領域を前記フレーム画像ごとに検出する工程と、
   （ｂ）前記複数枚のフレーム画像のそれぞれの前記類似画像領域について、前記複数のフレーム画像において共通の基準位置に対する変位ベクトルを検出する工程と、
   （ｃ）前記複数枚のフレーム画像における前記変位ベクトルの平均値を算出する工程と、
   （ｄ）前記複数枚のフレーム画像中のあるフレーム画像において、前記類似画像領域の前記変位ベクトルが前記平均値となるように当該類似画像領域を移動させる工程と
   を備える、画像処理方法。
7. 請求項６に記載の画像処理方法であって、
   前記ローリングシャッタ方式では垂直あるいは水平のライン方向に沿って走査され、
   各々の前記類似画像領域は、これに対応する前記フレーム画像において同一の前記ライン方向に位置し、かつそれぞれが前記複数枚のフレーム画像間で類似する複数の部分画像領域で構成されており、
   前記工程（ｂ）において、前記複数枚のフレーム画像内から選択された一枚の選択フレーム画像中の前記複数の部分画像領域のそれぞれの位置を基準位置として、他の前記フレーム画像での対応する前記部分画像領域の変位ベクトルを検出し、当該他の前記フレーム画像のそれぞれについての前記複数の部分画像領域における当該変位ベクトルの平均値を算出し、当該平均値を対応する前記フレーム画像での前記類似画像領域の前記変位ベクトルとする、画像処理方法。
8. 請求項６に記載の画像処理方法であって、
   （ｅ）前記複数枚のフレーム画像を撮像するカメラシステムの振れ量を検出する工程と、
   （ｆ）前記工程（ｄ）の前に、前記あるフレーム画像において、前記工程（ｅ）で検出された前記類似画像領域が撮像される際の前記カメラシステムの前記振れ量の方向とは逆方向に当該振れ量の大きさの分前記類似画像領域を移動する工程と
   をさらに備える、画像処理方法。
9. 請求項６に記載の画像処理方法であって、
   （ｅ）露光時間を決定するとともに、当該露光時間を前記複数枚のフレーム画像の枚数と同じ数だけ分割して分割露光時間を算出する工程と、
   （ｆ）前記工程（ａ）の前に、前記複数枚のフレーム画像をそれぞれに対応する前記分割露光時間で撮像する工程と
   をさらに備え、
   前記工程（ｄ）において、前記複数枚のフレーム画像のそれぞれにおいて、前記類似画像領域の前記変位ベクトルが前記平均値となるように当該類似画像領域を移動させ、
   （ｇ）前記露光時間で撮像されたフレーム画像に相当する合成フレーム画像を、その各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記工程（ｄ）で補正された前記複数枚のフレーム画像を合成して生成する工程をさらに備える、画像処理方法。
10. 請求項９に記載の画像処理方法を使用して生成された複数枚の前記合成フレームに基づいて動画像を表示する、動画像表示方法。
    

Images