JP2006311059A - 動きベクトル検出回路及びその検出方法並びにブレ補正装置 - Google Patents

Abstract

【課題】探索範囲を超えるような動きベクトルが発生する状況であっても、探索範囲を広げることなく、動きベクトルの検出を可能とした動きベクトル検出回路を提供すること。
【解決手段】撮像データ取得部１１で得た現フレームの画像データと参照画像データとの相関度を相関マッチング部１３及びベクトル演算部１４で演算して、第１ベクトルと相関度分布を求める。相関値分布メモリ１５及び２次マッチング部１７にて、上記相関度分布と参照用相関度分布との相関度を演算し、第２ベクトルを求める。上記ベクトル演算部１４で得られた第１ベクトルの信頼性がブレ判定部２０により判定され、その結果第１ベクトル値に信頼性がある場合は該第１ベクトル値を動きベクトルとし、信頼性が無い場合にはベクトル合成部１９で上記第１ベクトルと第２ベクトルを合成したベクトルを動きベクトルとして、選択部２１で選択する。
【選択図】 図１

Description

本発明は、電子カメラ等の撮影装置に於いて画像の動き検出を行う動きベクトル検出回路及びその検出方法並びにブレ補正装置に関するものである。

従来より、撮影中に発生した手ブレを補正する手ブレ補正機能を有した電子カメラ等の撮像装置が知られている。これら撮像装置には、装置に発生した手ブレを検出するために、撮影中の画像情報から動きベクトルを得るような検出回路を有するものがある。

この動きベクトルを検出する方法としては、現フレームの画像とその直前のフレームの画像とを、所定の代表点または画素毎に比較対照するマッチング法がある。

そして、例えば、前のフレームで求めた動きベクトルに基づいて次のフレームの動きベクトルを予測して、マッチングの動作を行う探索範囲を切り換える技術が知られている（例えば、特許文献１参照）。
特開平０５−３２８３３３号公報

しかしながら、撮影中に発生した手ブレが大きいと、フレーム間に発生する動きベクトルも大きくなる。したがって、動きベクトルを確実に検出するためには、ベクトルの探索範囲を広範囲に設定する必要がある。そして、探索範囲が広くなると、動きベクトルを検出するために必要な演算量が膨大に増えてしまう。

この演算量の増加は、演算をソフトウエアで実行する際にはＣＰＵの負荷が増大する。一方、演算をハードウエアで実行する際には、回路規模の増加を招くという課題を有している。

したがって本発明は上記課題に鑑みてなされたものであり、探索範囲を超えるような動きベクトルが発生する状況であっても、探索範囲を広げることなく、動きベクトルの検出を可能とした動きベクトル検出回路及びその検出方法並びにブレ補正装置を提供することを目的とする。

すなわち請求項１に記載の発明は、画像データから動きベクトルを検出し、該動きベクトルに基づき所定のフレームレートで出力された画像データの切り出し位置を変化させることでフレーム間に発生する像ブレを補正する電子カメラに用いられる動きベクトル検出回路であって、現フレームの画像データと参照画像データとの相関度を演算し、第１ベクトルと相関度分布とを求める第１演算手段と、上記相関度分布と参照用相関度分布との相関度を演算し、第２ベクトルを求める第２演算手段と、上記第１ベクトルと上記第２ベクトルとを合成するベクトル合成手段と、上記第１演算手段で得られた第１ベクトルの信頼性を判定する判定手段と、上記判定手段が上記第１演算手段で得られた第１ベクトル値に信頼性があると判定した場合には該第１ベクトル値を動きベクトルとし、上記判定手段が該第１ベクトル値に信頼性が無いと判定した場合には上記ベクトル合成手段で合成されたベクトルを動きベクトルとして選択する選択手段と、を具備することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明に於いて、上記参照用相関度分布は、上記第１演算手段によって現フレームより過去の時間的に相前後する２つの画像データから演算した相関度分布であることを特徴とする。

請求項３に記載の発明は、請求項１に記載の発明に於いて、上記判定手段は、現フレームの画像データと参照画像データとの相関度の最も高い位置が動きベクトルの検索範囲の境界上に存在することを検出すると、上記第１演算手段で得られた上記第１ベクトルに信頼性が無いと判定し、上記境界の内側に相関度の最も高い位置が存在することを検出すると、上記第１ベクトルに信頼性が有ると判定することを特徴とする。

請求項４に記載の発明は、時間的に相前後する２つの画像データの相関度に基づいて、動きベクトルを検出する動きベクトルの検出方法であって、現フレームの画像データと参照画像データとの相関度を演算し、第１ベクトルと相関度分布とを求める第１演算工程と、上記相関度分布と参照用相関度分布との相関度を演算し、第２ベクトルを求める第２演算工程と、上記第１ベクトルと上記第２ベクトルとを合成するベクトルの合成工程と、上記第１演算工程で検出した第１ベクトルが所定の検索範囲の中であるか外であるかを判定する判定工程と、上記判定工程に於いて上記第１演算工程が求めた第１ベクトル値が所定の検索範囲の中にあると判定された場合は、該第１ベクトル値を動きベクトルとし、上記判定工程で該第１ベクトル値が所定の検索範囲の外にあると判定された場合は、上記ベクトル合成手段が合成したベクトルを動きベクトルとして選択する選択工程と、を具備することを特徴とする。

請求項５に記載の発明は、画像データから動きベクトルを検出し、該動きベクトルに基づき所定のフレームレートで出力された画像データの切り出し位置を変化させることでフレーム間に発生する像ブレを補正するブレ補正装置であって、現フレームの画像と参照画像を取得するための撮像データ取得手段と、上記撮像データ取得手段で得られた現フレームの画像データと参照画像データとの相関度を演算し、第１ベクトルと相関度分布とを求める第１演算手段と、上記相関度分布と参照用相関度分布との相関度を演算し、第２ベクトルを求める第２演算手段と、上記第１ベクトルと上記第２ベクトルとを合成するベクトル合成手段と、上記第１演算手段で得られた第１ベクトルの信頼性を判定する判定手段と、上記判定手段が上記第１演算手段で得られた第１ベクトル値に信頼性があると判定した場合には該第１ベクトル値を動きベクトルとし、上記判定手段が該第１ベクトル値に信頼性が無いと判定した場合には上記ベクトル合成手段で合成されたベクトルを動きベクトルとして選択する選択手段と、上記選択手段で選択された動きベクトルに基づいて画像データを切り出してブレ補正を行うブレ補正手段と、を具備することを特徴とする。

請求項６に記載の発明は、請求項５に記載の発明に於いて、上記参照用相関度分布は、上記第１演算手段によって現フレームより過去の時間的に相前後する２つの画像データから演算した相関度分布であることを特徴とする。

請求項７に記載の発明は、請求項５に記載の発明に於いて、上記判定手段は、現フレームの画像データと参照画像データとの相関度の最も高い位置が動きベクトルの検索範囲の境界上に存在することを検出すると、上記第１演算手段で得られた上記第１ベクトルに信頼性が無いと判定し、上記境界の内側に相関度の最も高い位置が存在することを検出すると、上記第１ベクトルに信頼性が有ると判定することを特徴とする。

本発明によれば、画像のコントラスト等が悪く動きベクトルの検出が難しい状況でも、ブレ補正動作を安定して実行することができる。

以下、図面を参照して本発明の実施形態を説明する。

図１は、本発明の一実施形態を示すもので、動きベクトル検出装置が適用された電子カメラの電気系の概略構成を示すブロック図である。

図１に於いて、この電子カメラは、図示されない被写体を撮像して被写体のデータを得るための撮像データ取得部１１と、この撮像データ取得部１１で得られた画像を記録するフレームメモリ１２と、相関度分布を求める相関マッチング部１３と、第１ベクトルを演算するベクトル演算部１４と、相関値分布メモリ１５と、第２ベクトルを演算する２次マッチング部１７と、信頼性判定部１８と、上記第１ベクトルと第２ベクトルを合成するベクトル合成部１９と、上記第１ベクトルのブレを判定するブレ判定部２０と、動きベクトルを選択する選択部２１と、制御部２２と、切り出し部２３と、画像処理部２４と、表示部２６及び記録部２７とを有して成る。

このような構成に於いて、上記撮像データ取得部１１は、撮像素子であるＣＣＤ、信号処理部及びＹ／Ｃ分離部等から成る。この撮像データ取得部では、図示されない被写体からの撮影光束がＣＣＤに取り込まれて光電変換された後、信号処理が施されてフレーム毎に輝度成分が抽出される。ここで抽出された輝度成分のデータは、相関マッチング部１３に出力される。また、フレームメモリ１２には、輝度成分が抽出される前の画像データが出力される。

尚、相関マッチング部１３には所定時点で撮像された現画像（現フレーム）が出力され、フレームメモリ１２には現画像よりも前の参照画像（１つ前のフレーム）として出力される。また、相関マッチング部１３はベクトル演算部１４と共に第１演算手段を構成している。

相関マッチング部１３では、参照相関分布（１つ前の演算結果）と現相関分布（今回の演算結果）との間で相関マッチングが行われる。このマッチング結果により、相関度分布が得られる。そして、ベクトル演算部１４では、１次ベクトルである第１ベクトルが求められる。この第１ベクトルは、ベクトル合成部１９及び選択部２１に供給される。上記ベクトル演算部１４では、相関値の最小のものが相対的に相関度が高いとして抽出される。

一方、相関値分布メモリ１５には、上記相関マッチング部１３のマッチング結果から相関度分布が供給される。そして、２次マッチング部１７に於いて、相関値分布メモリ１５からの１つ前の演算結果である参照相関分布と、相関マッチング部１３からの今回の演算結果である現相関分布とから、相関マッチングがとられる。ここで、相関度の演算から２次ベクトルである第２ベクトルが算出される。尚、上記相関値分布メモリ１５と２次マッチング部１７とで、第２演算手段が構成される。上記第２ベクトルは、信頼性判定部１８により、その信頼性が判定される。ベクトル合成部１９では、上記第１ベクトルと第２ベクトルとが合成される。

判定手段である上記ブレ判定部２０では、上記ベクトル演算部１４で求められた第１ベクトルに対して信頼性の有無が判定される。すなわち、第１のベクトルが所定の検索範囲内であるか否かが判定される。この判定結果に応じて、制御部２２が選択手段である選択部２１を切り換えて、第１ベクトルを動きベクトルとして切り出し部２３に出力するか、ベクトル合成部１９で合成されたベクトルを動きベクトルとして出力するかが決定される。尚、上記ブレ判定部２０で信頼性が無いと判定された場合は、相関値分布メモリ１５の相関分布が更新される。

切り出し部２３では、上記フレームメモリ１２から出力される画像データに対して、上記選択部２１で選択された動きベクトルに基づいて切り出し位置が変更されてブレが補正される。その後、画像処理部２４にてＭＰＥＧ、モーションＪＰＥＧ等の画像に変換された後、表示部２６に表示される。或いは、上記画像切り出し位置は、管理情報として画像データと共に記録部２７に記録される。

次に、図２のフローチャートを参照して、本実施形態に於ける電子カメラのブレ補正動作について説明する。

本ルーチンが開始されると、先ず、ステップＳ１にて、撮像部データ取得部１１によって、図示されない被写体の撮影画像が得られてフレームメモリ１２に参照画像が記録されると共に、信号処理及びＹ／Ｃ分離が行われる。次いで、ステップＳ２にて、相関マッチング部１３に於いて、フレームメモリ１２に記録された参照画像と撮像データ取得部１１で得られた現画像との間で相関マッチングが行われる。これにより、ベクトル演算部１４にて第１ベクトルが演算される一方、相関値分布メモリ１５及び２次マッチング部１７によって第２ベクトルが得られる。

第１ベクトルは、動きベクトルとして、そのまま選択部２１に出力される一方、第２ベクトルと共にベクトル合成部１９に出力されて合成される。この合成されたベクトルも、動きベクトルとして選択部２１へ出力される。

ここで、図３及び図４を参照して、動きベクトルの検出原理について説明する。

図３に示されるように、フレーム（Ｎ−２）とフレーム（Ｎ−１）との間で相関マッチングが行われると第１ベクトルが検出される。このとき、相関値分布（Ｎ−１）は、図４（ａ）に示されるように、前回フレームの動きベクトルが検出される。この場合、第１ベクトルがそのまま動きベクトルとなる。尚、相関が最も高いピーク相関値の位置の座標が動きベクトルを表している。

同様に、フレーム（Ｎ−１）とフレーム（Ｎ）との間で相関マッチングが行われて第１ベクトルが検出される。ここで、図４（ｂ）に示されるように、ピーク相関値を示す位置が検索範囲の境界上に存在する場合は、本来の動きベクトルは破線で示されるように上記検索範囲の外側に存在すると考える。これは、動きベクトルの検索範囲を超えたブレの場合、ピーク相関値を示す位置は検索範囲の最大値を示すことが多いからである。

したがって、ピーク相関値の位置が検索範囲の最大値の場合は、次のピーク相関値の位置の予測が行われる。ピーク相関値の位置予測では、例えば、図４（ａ）に示されるように、以前にピーク相関値が正常に求められた相関値分布が用いられる。この相関値分布（Ｎ−１）と、今回求められた相関値分布（Ｎ）の一部（領域（Ｍ））との間で、更に相関マッチングが行われる。

これにより、今回の相関値分布の領域（Ｍ）が相関値分布（Ｎ−１）の何処に位置するのかが求められ、今回のピーク相関値の位置を予測することができる。

今回のフレーム（Ｎ−１）とフレーム（Ｎ）の間の本来の動きベクトルを第１ベクトルと第２ベクトルを加算したものと考えると、ここで検出された第１ベクトルと動きベクトルとの差分から第２ベクトルが求められる。したがって、図４（ｃ）に示されるように、上述した相関値分布（Ｎ）と相関値分布（Ｎ−１）との間で相関マッチングが行われて、第２ベクトルが検出される。すなわち、領域（Ｍ）上のＰ１（相関値分布（Ｎ）上に於ける第１ベクトルの先端）と検索範囲に於いて相関値がピークとなる位置のＰ２とで定義されるベクトルが第２ベクトルとなる。

そして、ステップＳ３に於いて、動きベクトルが所定の検索範囲の最外周に存在するか否かが、ブレ判定部２０によって判定される。ここで、動きベクトルが所定の検索範囲の最外周に存在しない、すなわち動きベクトルが上記検索範囲内であれば、大きなブレではないと判定される。この場合、上述したように、第１ベクトルそのものが動きベクトルであると考えられるので、選択部２１が制御部２２によって切り換えられる。

次いで、ステップＳ４に移行して相関値分布メモリ１５の内容が更新される。更に、ステップＳ７に移行して、ベクトル演算部１４から得られた動きベクトル、すなわち第１ベクトルを基に、切り出し部２３にて画像の切り出しが行われてブレ補正が行われる。その後、上記ステップＳ１へ移行する。

一方、ステップＳ３に於いて、動きベクトルが所定の検索範囲の最外周に存在する場合は、大きなブレであると判定される。この場合は、第１ベクトルと第２ベクトルを加算したものが動きベクトルであると考えられるので、選択部２１が制御部２２によって切り換えられる。

そして、ステップＳ５にて、上述したように、相関値分布から最小値近傍（領域（Ｍ））が切り出される。更に、ステップＳ６に移行し、２次マッチング部１７に於いて、相関値分布メモリ１５からの参照相関分布と上記ステップＳ５で切り出された最小値近傍とから相関マッチングがとられる。これにより第２ベクトルが算出される。この第２ベクトルが信頼性判定部１８により、信頼性が有ると判定されると、ベクトル合成部１９にて、上記第１ベクトルと第２ベクトルとが合成される。

その後、ステップＳ７に移行して、ベクトル演算部１４から得られた動きベクトル、すなわち第１ベクトルと第２ベクトルが加算された動きベクトルを基に、切り出し部２３にて画像の切り出しが行われてブレ補正が行われる。その後、上記ステップＳ１へ移行する。

このように、検索範囲を超えるような動きベクトルであっても、前回のマッチングの結果から検索範囲外の相関位置を予測するので、大きな手ブレを抑制することができ、また狭い検索範囲であっても手ブレ補正に対応することができる。

以上、この発明の実施形態について説明したが、この発明の主旨を逸脱しない範囲で変形可能であることは勿論である。

本発明の一実施形態を示すもので、動きベクトル検出装置が適用された電子カメラの電気系の概略構成を示すブロック図である。 本発明の一実施形態に於ける電子カメラのブレ補正動作について説明するフローチャートである。 動きベクトルの検出原理について説明する図である。 動きベクトルの検出原理について説明する図である。

符号の説明

１１…撮像データ取得部、１２…フレームメモリ、１３…相関マッチング部、１４…ベクトル演算部、１５…相関値分布メモリ、１７…２次マッチング部、１８…信頼性判定部、１９…ベクトル合成部、２０…ブレ判定部、２１…選択部、２２…制御部、２３…切り出し部、２４…画像処理部、２６…表示部、２７…記録部。

Claims (7)

1. 画像データから動きベクトルを検出し、該動きベクトルに基づき所定のフレームレートで出力された画像データの切り出し位置を変化させることでフレーム間に発生する像ブレを補正する電子カメラに用いられる動きベクトル検出回路であって、
   現フレームの画像データと参照画像データとの相関度を演算し、第１ベクトルと相関度分布とを求める第１演算手段と、
   上記相関度分布と参照用相関度分布との相関度を演算し、第２ベクトルを求める第２演算手段と、
   上記第１ベクトルと上記第２ベクトルとを合成するベクトル合成手段と、
   上記第１演算手段で得られた第１ベクトルの信頼性を判定する判定手段と、
   上記判定手段が上記第１演算手段で得られた第１ベクトル値に信頼性があると判定した場合には該第１ベクトル値を動きベクトルとし、上記判定手段が該第１ベクトル値に信頼性が無いと判定した場合には上記ベクトル合成手段で合成されたベクトルを動きベクトルとして選択する選択手段と、
   を具備することを特徴とする動きベクトル検出回路。
2. 上記参照用相関度分布は、上記第１演算手段によって現フレームより過去の時間的に相前後する２つの画像データから演算した相関度分布であることを特徴とする請求項１に記載の動きベクトル検出回路。
3. 上記判定手段は、現フレームの画像データと参照画像データとの相関度の最も高い位置が動きベクトルの検索範囲の境界上に存在することを検出すると、上記第１演算手段で得られた上記第１ベクトルに信頼性が無いと判定し、上記境界の内側に相関度の最も高い位置が存在することを検出すると、上記第１ベクトルに信頼性が有ると判定することを特徴とする請求項１に記載の動きベクトル検出回路。
4. 時間的に相前後する２つの画像データの相関度に基づいて、動きベクトルを検出する動きベクトルの検出方法であって、
   現フレームの画像データと参照画像データとの相関度を演算し、第１ベクトルと相関度分布とを求める第１演算工程と、
   上記相関度分布と参照用相関度分布との相関度を演算し、第２ベクトルを求める第２演算工程と、
   上記第１ベクトルと上記第２ベクトルとを合成するベクトルの合成工程と、
   上記第１演算工程で検出した第１ベクトルが所定の検索範囲の中であるか外であるかを判定する判定工程と、
   上記判定工程に於いて上記第１演算工程が求めた第１ベクトル値が所定の検索範囲の中にあると判定された場合は、該第１ベクトル値を動きベクトルとし、上記判定工程で該第１ベクトル値が所定の検索範囲の外にあると判定された場合は、上記ベクトル合成手段が合成したベクトルを動きベクトルとして選択する選択工程と、
   を具備することを特徴とする動きベクトル検出方法。
5. 画像データから動きベクトルを検出し、該動きベクトルに基づき所定のフレームレートで出力された画像データの切り出し位置を変化させることでフレーム間に発生する像ブレを補正するブレ補正装置であって、
   現フレームの画像と参照画像を取得するための撮像データ取得手段と、
   上記撮像データ取得手段で得られた現フレームの画像データと参照画像データとの相関度を演算し、第１ベクトルと相関度分布とを求める第１演算手段と、
   上記相関度分布と参照用相関度分布との相関度を演算し、第２ベクトルを求める第２演算手段と、
   上記第１ベクトルと上記第２ベクトルとを合成するベクトル合成手段と、
   上記第１演算手段で得られた第１ベクトルの信頼性を判定する判定手段と、
   上記判定手段が上記第１演算手段で得られた第１ベクトル値に信頼性があると判定した場合には該第１ベクトル値を動きベクトルとし、上記判定手段が該第１ベクトル値に信頼性が無いと判定した場合には上記ベクトル合成手段で合成されたベクトルを動きベクトルとして選択する選択手段と、
   上記選択手段で選択された動きベクトルに基づいて画像データを切り出してブレ補正を行うブレ補正手段と、
   を具備することを特徴とするブレ補正装置。
6. 上記参照用相関度分布は、上記第１演算手段によって現フレームより過去の時間的に相前後する２つの画像データから演算した相関度分布であることを特徴とする請求項５に記載のブレ補正装置。
7. 上記判定手段は、現フレームの画像データと参照画像データとの相関度の最も高い位置が動きベクトルの検索範囲の境界上に存在することを検出すると、上記第１演算手段で得られた上記第１ベクトルに信頼性が無いと判定し、上記境界の内側に相関度の最も高い位置が存在することを検出すると、上記第１ベクトルに信頼性が有ると判定することを特徴とする請求項５に記載のブレ補正装置。

Images