JP2016111568A - 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム - Google Patents

Abstract

【課題】低輝度部の黒潰れの影響や高輝度部の飽和の影響を低減して正確な動きベクトルを検出することが可能な像ぶれ補正制御装置を提供する。【解決手段】本発明の像ぶれ補正制御装置は、異なる露出で撮影された複数の第１の画像と、第１の画像とは異なるタイミングにおいて異なる露出で撮影された複数の第２の画像とを取得する取得手段と、第１の画像と第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出手段と、ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かをそれぞれの露出の画像内の所定の領域ごとに判定する判定手段と、を有する。【選択図】図１

Description

本発明は、像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラムに関し、特に動きベクトル検出技術に関する。

従来、撮像装置等の手ぶれ検出等を目的として、撮影された映像のフレーム間の動きベクトルを検出する技術が知られている。また、動きベクトルの検出にフレーム間の相関を利用する場合、高フレームレートで撮影された画像を用いることで相関を求める際の探索範囲が小さくなり、より安定した動きベクトルの検出が可能になることが知られている。

特許文献１は、撮像素子から高フレームレートで読み出した画像を用いて動きベクトルを検出し、低フレームレートで読み出した画像を用いて視聴や記録用の画像を生成することで、動きベクトル検出と記録等に用いる画像の生成の両立を図る技術を提案している。

特開２００７−２８１５５５号公報

上述した従来技術では、撮像素子の電荷を読み出す際に蓄積された電荷を残したままで読み出す方法（即ち非破壊）で高フレームレートの画像を生成してベクトル検出を行う。このような高フレームレートで読み出した画像は露光量が少ない場合もあるため、動きベクトルの検出を行う場合に低輝度部の黒潰れや低コントラストの影響を受け易く、正確なベクトル検出ができない場合がある。他方、フレームレートを低下させて読み出した画像を用いて動きベクトルの検出を行う場合、高輝度部の飽和の影響を受け易く、同様に正確なベクトル検出ができない場合がある。

本発明は、上述の従来技術の問題点に鑑みてなされたものである。即ち、低輝度部の黒潰れの影響や高輝度部の飽和の影響を低減して正確な動きベクトルを検出することが可能な像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の像ぶれ補正制御装置は以下の構成を備える。すなわち、異なる露出で撮影された複数の第１の画像と、第１の画像とは異なるタイミングにおいて異なる露出で撮影された複数の第２の画像とを取得する取得手段と、第１の画像と第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出手段と、ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かをそれぞれの露出の画像内の所定の領域ごとに判定する判定手段と、を有することを特徴とする。

本発明によれば、低輝度部の黒潰れの影響や高輝度部の飽和の影響を低減して正確な動きベクトルを検出することが可能になる。

（ａ）本発明の実施形態１に係る像ぶれ補正制御装置を含む撮像装置の一例のとしてのデジタルカメラの機能構成例を示すブロック図、（ｂ）実施形態１に係るベクトル検出部の機能構成例を示すブロック図 実施形態１に係る動きベクトル検出処理の一連の動作を示すフローチャート 実施形態１に係る撮像素子の画素の配置例を示す図 実施形態１に係る撮像素子の有する高感度画素および低感度画素の感度特性を示す図 被写体と、実施形態１に係る撮像素子から読み出される高感度画素および低感度画素を説明する図 実施形態１に係る高輝度画像および低輝度画像を用いたベクトル検出を説明する図 （ａ）実施形態２に係る撮像装置の機能構成例を示すブロック図、（ｂ）実施形態２に係るベクトル検出部の機能構成例を示すブロック図 実施形態２に係る動きベクトル検出処理の一連の動作を示すフローチャート 実施形態２に係る低感度ブロックと高感度ブロックの感度均一化処理を説明する図 （ａ）各高感度ブロックに対して算出された信頼度の内訳の例を示す図、（ｂ）各低感度ブロックに対して算出された信頼度の内訳の例を示す図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では像ぶれ補正制御装置を含む撮像装置の一例として、画像を撮像して動きベクトルを検出し、手ぶれを補正することが可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、撮像手段を備えず、取得した画像から動きベクトルを検出して手ぶれ補正を行うことが可能な交換レンズにも適用可能である。

（デジタルカメラ１００の構成）
図１（ａ）は、本実施形態の像ぶれ補正制御装置を含む撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１（ａ）および（ｂ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよく、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群であり、レンズ駆動装置や絞り調整装置、シャッター装置を含む。光学系１０１は、制御部１０９からの指示に応じて絞り制御やシャッター制御を行うほか、グローバルベクトル算出部１０６からの指示に応じて像ぶれ補正のためのレンズ駆動制御を行う。

撮像素子１０２は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する。撮像素子１０２は、光学系１０１により結像された被写体光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号を出力する。撮像素子１０２は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子であってよい。図３を参照して後述するように、撮像素子１０２は、所定の単位（例えば２ライン単位）で感度特性が異なる画素を有する。撮像素子１０２は、高感度用のラインに配置された高感度な画素で受光して生成される画像（高感度画像）と、低感度用のラインに配置された低感度な画素で受光して生成される画像（低感度画像）とを出力する。高感度画像および低感度画像は、メモリ部１０４およびベクトル検出部１０５の両方に出力される。

カメラ信号処理部１０３は、撮像素子１０２からメモリ部１０４を介して高感度画像および低感度画像を取得して、それぞれの画像に対する画素補間処理を行う。そして、補間処理を施したそれぞれの画像を用いてＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲｅｎｇｅ）合成によりダイナミックレンジの広い画像（ＨＤＲ合成画像）を生成し、表示部１０７や記録部１０８に出力する。また、不図示の操作部に対してユーザから動画撮影の指示があった場合、カメラ信号処理部１０３は、所定のフレームレートでＨＤＲ合成を行って動画像を生成し、この動画像を表示部１０７や記録部１０８に出力する。

メモリ部１０４は、揮発性の半導体メモリを含み、撮像素子１０２から出力された高感度画像および低感度画像を格納する。格納された低感度画像と高感度画像は、タイミングを異ならせた（例えば１フレーム前の）参照用の画像としてベクトル検出部１０５に用いられるほか、上述したようにカメラ信号処理部１０３によってＨＤＲ合成に用いられる。

ベクトル検出部１０５は、像ぶれ補正制御装置として機能し、メモリ部１０４および撮像素子１０２から低感度画像および高感度画像を取得して、後述する本発明に係る動きベクトル検出処理を行う。ベクトル検出部１０５は、１フレーム前の画像をメモリ部１０４から、現在のフレームの画像を撮像素子１０２からそれぞれ取得する。また、ベクトル検出部１０５は、検出した動きベクトルの情報をグローバルベクトル算出部１０６へ出力する。

グローバルベクトル算出部１０６は、ベクトル検出部１０５から出力された動きベクトルの情報に基づいて、動きベクトルのヒストグラムを生成してサブピクセル推定を行い、デジタルカメラの相対的な動きを示すグローバルモーションを算出する。また、グローバルベクトル算出部１０６は、算出したフレーム間のグローバルモーションに基づいて像ぶれ補正のための制御量を算出し、当該制御量に基づいて光学系１０１のレンズ駆動制御を行う。本実施形態では、ベクトル検出部１０５とグローバルベクトル算出部１０６とを合わせて像ぶれ補正制御装置を構成する。

表示部１０７は、ＬＣＤ等の表示装置を含み、デジタルカメラ１００の動作モードが動画撮影モードである場合、カメラ信号処理部１０３から出力される動画像を表示して、ライブビュー表示を実現する。また、表示部１０７はタッチパネルを含み、操作を行うためのユーザインターフェースを表示する。

記録部１０８は、ＥＥＰＲＯＭ等の不揮発性の半導体メモリやハードディスクを含む記録媒体であり、カメラ信号処理部１０３から出力された動画像や画像を格納する。

制御部１０９は、例えばＣＰＵあるいはＭＰＵを含み、不図示のＲＯＭに格納されたプログラムを不図示のＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００全体を制御する。なお、制御部１０９は、制御量を含む指示（コマンド）を不図示の制御線に送信してデジタルカメラ１００を構成する各部を制御する。

（撮像素子１０２の構成と出力画像）
次に、本実施形態に係る撮像素子１０２の機能構成例および、撮像素子１０２から出力される画像例について、図３ないし図５を参照して説明する。

撮像素子１０２は、図３に示すように、感度の異なる画素が所定の間隔（例えば２ライン）を単位として交互に配置された構成を有する。高感度ライン３０５は高感度の画素が配置された画素ラインの領域であり、低感度ライン３０６は低感度の画素が配置された画素ラインの領域である。

本実施形態では、撮像素子１０２を構成する各画素はベイヤ配列を形成するように配置され、それぞれの画素にＲＧＢのいずれかのカラーフィルタが割り当てられる。例えば画素３０１はＲ（赤）、画素３０４はＢ（青）、画素３０２および３０３はＧ（緑）のカラーフィルタを有する。

撮像素子１０２は、高感度ライン３０５および低感度ライン３０６の画素から出力される信号をそれぞれ用いることにより、感度の異なる画像を生成することができる。感度特性の異なる画素ラインは、ＦＤ（フローティングディフュージョン）の容量を例えば２ライン単位で可変にすることで実現され、ＦＤ容量の小さいラインは高感度ラインとなり、ＦＤ容量の大きいラインは低感度ラインとなる。

さらに、撮像素子１０２が備える画素の感度特性について図４を参照して説明する。図４の横軸は画素が受光する光量（Ｑ）、縦軸は画素の出力（Ｖ）を表しており、感度特性４０１は高感度な画素（高感度画素）の感度特性を、感度特性４０２は低感度な画素（低感度画素）の感度特性をそれぞれ示している。

感度特性４０１は、同一の光量が入射した場合、感度特性４０２と比較してノイズ４０３の割合が小さいため、相対的にＳＮ比が良い。しかし、感度特性４０２よりも少ない光量で飽和する。従って、この特性を有する高感度画素の出力は、入射光量が少なく低輝度となる場合に黒潰れが少ないため、低輝度な画像領域において有効な動きベクトル検出を行うことができる。一方、入射光量が多く高輝度となる場合、当該出力は飽和が多くなるため、高輝度な画像領域において有効な動きベクトル検出を行うことができない。

感度特性４０２は、同一の光量が入射した場合、感度特性４０１と比較してノイズ４０３の割合が高いため、相対的にＳＮ比が低下するが、相対的に飽和し難い特性を持つ。従って、この特性を有する低感度画素からの出力は、高感度画素の出力とは逆に、入射光量が少なく低輝度となる場合に黒潰れが多くなるため、低輝度な画像領域において有効な動きベクトル検出を行うことができない。一方、入射光量が多く高輝度となる場合には飽和が少なくなるから、高輝度な画像領域において有効な動きベクトル検出を行うことができる。

高感度画素および低感度画素からの出力に基づいて生成される画像は、例えば図５に示すような画像になる。まず図５（ａ）は、撮影対象の一例としての被写体５０１を示している。この被写体５０１を撮像素子１０２により撮像した際に、上述した高感度画素および低感度画素から出力される信号を模式的に表しているのが図５（ｂ）の画像５０２である。画像５０２における明暗は、図３に示した高感度ライン３０５に配置された画素の出力および低感度ライン３０６に配置された画素の出力に対応している。本実施形態では、例えば、画像５０２は水平４０００画素、垂直３０００ラインとなる。

図５（ｃ）に示す低感度画像５０３および図５（ｄ）に示す高感度画像５０４は、それぞれ画像５０２の低感度画素および高感度画素の出力からなる画像であり、画像のサイズは各々水平４０００画素、垂直１５００ラインとなる。

撮像素子１０２が低感度画像５０３および高感度画像５０４を出力すると、ベクトル検出部１０５はこれらの画像に基づいて動きベクトル検出処理を行う。一方、カメラ信号処理部１０３は、メモリ部１０４を介して画像を入力すると、欠落しているラインを各々補間して画像５０２と同様のサイズの低感度画像および高感度画像を生成し、これらに対してＨＤＲ合成処理を施す。このようにして、表示部１０７および記録部１０８にはダイナミックレンジが広く画素数に対応したサイズの画像が提供される。

（動きベクトル検出処理の概要）
さらに、図６を参照して、本発明に本発明に係る動きベクトル検出処理の概要について説明する。図６（ａ）に示す画像（高感度原画像６０１）は、撮像素子１０２から直接ベクトル検出部１０５に入力される高感度画像である。この高感度画像は、動画像における現在のフレームの画像（原画像）として使用される。Ａ０〜Ａ２７は、高感度原画像６０１の所定の領域に配置された、動きベクトル検出を行うための所定の大きさの画像領域（ブロック）である。

図６（ｂ）に示す画像（高感度参照画像６０２）は、メモリ部１０４からベクトル検出部１０５に入力される高感度画像である。この高感度画像は、上述した高感度原画像６０１に対して１フレーム前の画像（参照画像）として使用される。Ｂ０〜Ｂ２７は、高感度原画像６０１のブロックＡ０〜Ａ２７が動きベクトル検出を行う際の探索領域（サーチエリア）である。

同様に、図６（ｃ）に示す画像は低感度の原画像（低感度原画像６０３）であり、ブロックＣ０〜Ｃ２７を有する。また、図６（ｄ）に示す画像は低感度の参照画像（低感度参照画像６０４）であり、サーチエリアＤ０〜Ｄ２７は、ブロックＣ０〜Ｃ２７が動きベクトル検出を行う際のサーチエリアである。

ベクトル検出部１０５は、制御部１０９の指示により設定されたサーチエリアの配置に基づいて、高感度および低感度それぞれの２枚のフレーム間における動きベクトルを検出する。本実施形態における動きベクトルの検出方法は、公知のテンプレートマッチング方式を用いることができる。

ベクトル検出部１０５は、高感度原画像６０１における所定の位置にブロックＡ０〜Ａ２７を配置して、高感度参照画像６０２のサーチエリアＢ０〜Ｂ２７との相関値を算出する。同様に、低感度原画像６０３における所定の位置にブロックＣ０〜Ｃ２７を配置して、低感度参照画像６０４のサーチエリアＤ０〜Ｄ２７との相関値を算出する。このとき、例えばブロックＡ０〜Ａ２７とブロックＢ０〜Ｂ２７とは同一座標に配置され、サーチエリアＢ０〜Ｂ２７とサーチエリアＤ０〜Ｄ２７とは同一座標に配置される。

本実施形態において、ベクトル検出部１０５は、式（１）に示す、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）を算出する。

式（１）において、ｆ（ｉ，ｊ）はブロックＡ０〜Ａ２７内、または、ブロックＣ０〜Ｃ２７内の座標（ｉ，ｊ）における画素値を表す。またｇ（ｉ，ｊ）はサーチエリアＢ０〜Ｂ２７またはサーチエリアＤ０〜Ｄ２７の範囲における、相関値算出の対象となる領域内の各画素値を表す。

ベクトル検出部１０５は、各画素値ｆ（ｉ，ｊ）およびｇ（ｉ，ｊ）について差分絶対値和を算出することで相関値Ｓ＿ＳＡＤを得る。即ち、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりブロックと相関値算出領域内のテクスチャが類似していることを表す。ベクトル検出部１０５は、（ｉ，ｊ）をブロック内で移動させて、所定の座標位置について相関値の算出を繰り返し、ブロックと最も類似する相関値算出領域への相対位置を動きベクトルとして検出する。

なお、相関値の算出はＳＡＤに限らず、領域内の相関値を算出できる方法であれば差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の方法を用いてもよい。

ベクトル検出部１０５が各ブロックＡ０〜Ａ２７（およびＣ０〜Ｃ２７）におけるそれぞれの動きベクトルの検出を完了すると、検出結果をグローバルベクトル算出部１０６に出力する。グローバルベクトル算出部１０６は、各ブロックに対して検出された動きベクトルを用いてカメラの動きを示すグローバルモーションを算出する。

（ベクトル検出部１０５の構成）
次に、動きベクトル検出処理を行うベクトル検出部１０５の機能構成例について、図１（ｂ）を参照して説明する。

画像取得部１１６は、撮像素子１０２から高感度原画像および低感度原画像を取得するとともに、メモリ部１０４から高感度参照画像および低感度参照画像を取得する。画像取得部１１６は、これに接続された各ブロックに対して対応する画像を出力する。

ブロックベクトル検出部１１１は、高感度原画像６０１から各ブロック（高感度ブロックともいう）と、高感度参照画像６０２から対応するサーチエリア（高感度サーチエリアともいう）とを順次読み出して、ブロックごとに動きベクトルを検出する。

ブロックベクトル検出部１１２は、ブロックベクトル検出部１１１と異なり、低感度画像のブロックに対する動きベクトルを検出する。即ち、低感度原画像６０３から各ブロック（Ｃ０〜Ｃ２７、低感度ブロックともいう）と、対応する低感度参照画像６０４のサーチエリア（Ｄ０〜Ｄ２７、低感度サーチエリアともいう）とを順次読み出して、動きベクトルの検出を行う。ブロックベクトル検出部１１１およびブロックベクトル検出部１１２は、検出した動きベクトルの情報（ベクトル検出結果ともいう）をブロックベクトル判定部１１５に出力する。

上述したように動きベクトルの検出は、画像内の所定の領域の相関値を最小にするような動きベクトルを求めるため、黒潰れや飽和によって均一な画素値が分布する場合は検出結果に誤りが生じる可能性が高くなる。このため、低感度画像と高感度画像のそれぞれにおいて動きベクトルを検出することで、低感度画像を用いた場合に黒潰れの影響などにより適切に動きベクトルを検出できない低輝度部については、高感度画像を用いて動きベクトルを適切に検出できる。反対に、高感度画像を用いた場合に飽和の影響などにより適切に動きベクトルを検出できない高輝度部については、低感度画像を用いて動きベクトルを適切に検出することができる。つまり、低感度画像を用いる場合と高感度画像を用いる場合とが補間し合い、黒潰れや飽和の影響を低減した動きベクトルの検出が可能になる。

ブロック信頼度算出部１１３は、高感度原画像６０１から高感度ブロックＡ０〜Ａ２７のそれぞれを順次読み出して、各ブロックの信頼度を算出する。即ち、ブロック信頼度算出部１１３は、これらの検出結果に誤りが生じる可能性の高い黒潰れ等の事象の発生度合を判定して、信頼度（即ち、そのブロックに対する検出結果の信頼性を表す指標）を算出する。ブロック信頼度算出部１１４も同様に、低感度原画像６０３から低感度ブロックＣ０〜Ｃ２７のそれぞれを順次読み出して当該ブロックの信頼度を算出する。以下の具体的な説明においては、ブロック信頼度算出部１１３についてのみ説明するが、ブロック信頼度算出部１１４については、処理対象となるブロックを低感度ブロックと適宜読み替えればよい。

本実施形態において、ブロック信頼度算出部１１３は、検出結果に誤りが生じる可能性の高い事象の判定として、黒潰れおよび白飛びに加えて、低コントラストと繰り返し模様の場合について判定を行う。輝度差の少ない画素が分布する低コントラストの場合や同一または類似の画素値が所定の間隔で出現するテクスチャを有する場合についても動きベクトルの検出において検出結果に誤りが生じる可能性が高いためである。低コントラストや繰り返し模様は、高輝度部および低輝度部の双方において動きベクトルの検出が適切に行えない場合が多い。このため、本実施形態では、低コントラストや繰り返し模様の存在を信頼度に加味することで、高輝度部および低輝度部の双方におけるこれらの影響をより低減する。

ブロック信頼度算出部１１３は、各判定においてそれぞれの度合を算出し、算出結果に基づいて各ブロックに対する信頼度を算出する。各ブロックに対する信頼度は、例えば、以下のような計算式により求められる。

信頼度＝１００−ＭＡＸ（低コントラスト度×α、繰り返し度×β、黒潰れ度×γ、白飛び度×ζ）

α、β、γおよびζは、それぞれ低コントラスト判定、繰り返し判定、黒潰れ判定および白飛び判定の重み付けを行うための重み付け係数である。ブロック信頼度算出部１１３は、制御部１０９の指示に応じてα、β、γおよびζを設定する。

低コントラスト判定は、ブロック信頼度算出部１１３が各高感度ブロックを読み込んで、例えば、輝度値の取り得る最大範囲に対する、当該ブロック内の輝度値の最大値と最小値の差分の比率を算出する。算出した比率は、低コントラストであるほど１００に近づくように１〜１００の出力値に適宜変換して出力する。

繰り返し判定は、ブロック信頼度算出部１１３が各高感度ブロックを読み込んで、例えばヒストグラム等の公知のテクスチャ特徴量を算出し、動きベクトルの検出精度が下がる予め定めた特徴量との類似度が高いほど１００に近づくようして出力する。

黒潰れ判定は、ブロック信頼度算出部１１３が、各高感度ブロックを読み出して、例えば輝度値の取りうる最小値である画素値の個数を算出し、算出した個数が多いほど黒潰れの度合いが１００に近づくようして出力する。

白飛び判定は、ブロック信頼度算出部１１３が各高感度ブロックを読み出して、例えば輝度値の取りうる最大値である画素値の個数を算出し、算出した個数が多いほど白飛びの度合いが１００に近づくようにして出力する。

このように各判定処理を行ったうえで式（１）を算出することによって、例えば、高感度原画像６０１の各ブロックＡ０〜Ａ２７について図１０（ａ）に示すような信頼度が算出される。同様にして、低感度原画像６０３の各ブロックＣ０〜Ｃ２７について、図１０（ｂ）に示すような信頼度が算出される。

ブロックベクトル判定部１１５は、ブロック信頼度算出部１１３およびブロック信頼度算出部１１４から取得した各ブロックに対する信頼度により、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２のベクトル検出結果に対する判定を行う。そして判定の結果に基づいて、当該ベクトル検出結果を用いるか否かの選択を行う。ブロックベクトル判定部１１５は、予め定められた低感度ブロックおよび高感度ブロックに対する信頼度の閾値を用いて、以下のように信頼度の判定を行ってベクトル検出結果の選択を行う。

ブロックベクトル判定部１１５は、
高感度ブロックの信頼度 ≦ 閾値１
低感度ブロックの信頼度 ＞ 閾値２
である場合、低感度ブロックにおける動きベクトルのみを使用するため、ブロックベクトル検出部１１２で検出されたベクトル検出結果を選択して、グローバルベクトル算出部１０６へ出力する。

ブロックベクトル判定部１１５は、
高感度ブロックの信頼度 ＞ 閾値１
低感度ブロックの信頼度 ≦ 閾値２
である場合、高感度ブロックにおける動きベクトルのみを使用するため、ブロックベクトル検出部１１１で検出されたベクトル検出結果を選択して、グローバルベクトル算出部１０６へ出力する。

ブロックベクトル判定部１１５は、
高感度ブロックの信頼度 ≦ 閾値１
低感度ブロックの信頼度 ≦ 閾値２
である場合、いずれのブロックにおける動きベクトルも使用不可であるとして、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２のいずれのベクトル検出結果もグローバルベクトル算出部１０６へ出力しない。

ブロックベクトル判定部１１５は、
高感度ブロックの信頼度 ＞ 閾値１
低感度ブロックの信頼度 ＞ 閾値２
である場合、いずれのブロックにおける動きベクトルも使用可能であると判定する。この場合、ブロックベクトル検出部１１１で検出されたベクトル検出結果とブロックベクトル検出部１１２で検出されたベクトル検出結果とを重み付け演算してグローバルベクトル算出部１０６へ出力する。

さらに、図１０を参照してブロックベクトル判定部１１５の処理の具体例について説明する。なお、ブロックベクトル判定部１１５は、制御部１０９からの指示に基づいて各閾値を、例えば閾値１を６５、閾値２を７５に設定しているものとする。

図１０（ａ）は高感度ブロックに対する判定結果や信頼度を、図１０（ｂ）には低感度ブロックに対する判定結果や信頼度を示している。例えば、ブロックＡ０とブロックＣ０や、ブロックＡ１２とブロックＣ１２の組では、高感度ブロックの信頼度が閾値を上回る一方、低感度ブロックの信頼度は閾値を下回っている。このため、ブロックベクトル判定部１１５は、ブロックベクトル検出部１１１で検出された高感度ブロックのベクトル検出結果をグローバルベクトル算出部１０６へ出力する。

また、ブロックＡ２７とブロックＣ２７の組では、高感度ブロックの信頼度が閾値を下回る一方、低感度ブロックの信頼度は閾値を上回っている。このため、ブロックベクトル判定部１１５は、ブロックベクトル検出部１１２で検出された低感度ブロックのベクトル検出結果をグローバルベクトル算出部１０６へ出力する。

さらに、ブロックＡ１とブロックＣ１、ブロックＡ１１とブロックＣ１１の組では、いずれのブロックの信頼度も閾値を下回っている。このため、ブロックベクトル判定部１１５は、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２で検出されたいずれのベクトル検出結果もグローバルベクトル算出部１０６に出力しない。

最後に、ブロックＡ２６とブロックＣ２６の組では、いずれのブロックの信頼度も閾値を上回っている。このため、ブロックベクトル判定部１１５は、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２で検出されたベクトル検出結果を重み付け演算してグローバルベクトル算出部１０６に出力する。

（動きベクトル検出処理に係る一連の動作）
次に、図２を参照して、本実施形態に係る動きベクトル検出処理に係る一連の動作を説明する。なお、本処理は、不図示の操作部に対する動画撮影の指示により動画撮影が開始され、任意の１フレーム分の低感度画像と高感度画像が撮像素子１０２から出力される時点から開始される。

Ｓ１００１において画像取得部１１６は、撮像素子１０２から高感度および低感度の原画像を取得するとともに、メモリ部１０４から高感度および低感度の参照画像を取得する。

Ｓ１００２においてブロックベクトル検出部１１２は、低感度原画像６０３内の特定のブロックに対する動きベクトルを検出する。より具体的には、低感度原画像６０３内の第ｉ番目のブロックと低感度参照画像６０４内の対応するテンプレートエリアの画素値を読み出して上述した相関計算を行い、動きベクトルを検出する。

Ｓ１００３においてブロック信頼度算出部１１４は、低感度原画像６０３内の特定のブロックに対する信頼度を算出する。低感度原画像６０３内の第ｉ番目のブロックの画素値を読み出して上述した信頼度を算出する。

Ｓ１００４においてブロックベクトル検出部１１１は、高感度原画像６０１内の特定のブロックに対する動きベクトルを検出する。高感度原画像６０１内の第ｉ番目のブロックと高感度参照画像６０２内の対応するテンプレートエリアの画素値を読み出して上述した相関計算を行い、動きベクトルを検出する。

Ｓ１００５においてブロック信頼度算出部１１３は、高感度原画像６０１内の所定のブロックに対する信頼度を算出する。高感度原画像６０１内の第ｉ番目のブロックの画素値を読み出して上述した信頼度を算出する。

Ｓ１００６においてブロックベクトル判定部１１５は、処理対象のブロックに対する信頼度の判定を行う。より具体的には、ブロック信頼度算出部１１３およびブロック信頼度算出部１１４による信頼度の算出結果に基づいて、上述した信頼度の判定を行う。ブロックベクトル判定部１１５は、低感度画像のみ信頼度が低い場合はＳ１００７に処理を進め、高感度画像のみ信頼度が低い場合はＳ１００８に処理を進める。また、低感度画像と高感度画像のいずれも信頼度が低い場合はＳ１００９に処理を進め、低感度画像と高感度画像のいずれも信頼度が高い場合はＳ１０１０に処理を進める。

Ｓ１００７においてブロックベクトル判定部１１５は、低感度画像のみ信頼度が低いため、高感度画像から検出されたベクトル検出結果をグローバルベクトル算出部１０６へ出力する。同様に、Ｓ１００８においてブロックベクトル判定部１１５は、高感度画像のみが信頼度が低いため、低感度画像から検出されたベクトル検出結果をグローバルベクトル算出部１０６へ出力する。

Ｓ１００９においてブロックベクトル判定部１１５は、いずれの画像も信頼度が低いため、当該ブロックのベクトル検出結果はグローバルベクトル算出部１０６へ出力せずに処理を進める。

Ｓ１０１０においてブロックベクトル判定部１１５は、高感度画像と低感度画像のいずれの信頼度も高いため、それぞれの画像から検出されたベクトル検出結果の重み付け演算を行って、グローバルベクトル算出部１０６へ出力する。

Ｓ１０１１においてベクトル検出部１０５は、１画面における全てのブロック（Ａ０〜Ａ２７、Ｃ０〜Ｃ２７）のベクトル検出が終了したか判定し、全てのベクトル検出が完了した場合には処理をＳ１０１２に進める。全てのベクトル検出が完了していない場合、次のブロック（例えば第ｉ＋１番目）に対する処理を行うためにＳ１００２およびＳ１００３に処理を戻す。

Ｓ１０１２においてグローバルベクトル算出部１０６は、ベクトル検出部１０５から出力された動きベクトルを用いて画像内のグローバルモーションを算出する。

Ｓ１０１３においてグローバルベクトル算出部１０６は、算出したグローバルモーションに基づいて、光学系１０１のレンズ駆動制御を行って、本処理に係る一連の動作を終了する。

以上説明したように本実施形態では、低感度の画素で取得された２つの低感度画像と、高感度の画素で取得された２つの高感度画像のそれぞれで動きベクトルを検出するようにした。また、高感度画像で検出した動きベクトルと低感度画像で検出した動きベクトルを、動きベクトルの検出結果の信頼性に応じて判定するようにした。このようにすることで、低輝度部については高感度画像を用いて検出した信頼度の高いベクトル検出結果を活用し、高輝度部については低感度画像を用いて検出した信頼度の高いベクトル検出結果を活用することができる。換言すれば、低感度画像を用いた場合に黒潰れの影響などにより適切に動きベクトルを検出できない低輝度部については、高感度画像を用いて動きベクトルを適切に検出できる。反対に、高感度画像を用いた場合に飽和の影響などにより適切に動きベクトルを検出できない高輝度部については、低感度画像を用いて動きベクトルを適切に検出することができる。従って、高感度画像と低感度画像による動きベクトルを相補的に用いることによって適切な動きベクトルの検出を実現することができる。

また、信頼度の算出において、低輝度部の黒潰れや高輝度部の飽和の影響を考慮するほか、低コントラストや繰り返し模様の影響を判定するようにした。このようにすることで高輝度部および低輝度部の双方における低コントラストや繰り返し模様の影響を低減して、より正確な動きベクトルを検出することができる。

なお、本実施形態では高感度画素と低感度画素がそれぞれ水平方向に隣接して配置され、かつ直行する方向（垂直方向）に交互に配置される場合を例に説明したが、画素の配置はこの例に限定されない。高感度画素および低感度画素が垂直方向に隣接して配置され、かつ水平方向に交互に配置されるようにしても同様の効果が得られる。

また、本実施形態では高感度画素と低感度画素を、垂直方向に２画素を単位として交互に配置しているが、例えばイメージセンサを３層に積層してＲＧＢを分別する構成などベイヤ配列を構成する必要がない場合には１画素を単位として交互に配置してもよい。反対に、２画素以上の画素を単位として交互に配置しても本発明に係る動きベクトル検出処理を実現できる。

さらに、本実施形態では、感度の異なる画素を配置した撮像素子を用いることにより、例えば動画像の１つのフレームの時間内に露出の異なる２つの画像を取得して、動きベクトルを検出する例を説明した。しかし、本発明に係る動きベクトルの検出方法は、１つのフレームに対して露出の異なる２つの画像を同時に取得する場合に限られない。例えば、高いフレームレートで露出の異なる画像を交互に撮影する場合にも適用可能である。即ち、連続する２つのフレームで露出を異ならせた画像において、動きの差異が無いとみなせる程度にフレームレートが高い場合は、交互に撮影した各画像を高感度原画像および低感度原画像として本発明を適用できる。この場合は、連続する２つのフレームで撮影される時間を本発明における１フレームの時間として、露出の異なる２つの画像を取得したものとして本発明を適用してもよい。

また、本実施形態では、各ブロックベクトル検出部がベクトル検出結果を出力しているが、ブロックベクトル判定部１１５が信頼度を判定した後に、ブロックベクトル検出部が検出処理を行っても良い。このようにすれば、信頼度の高い画像においてのみベクトル検出処理を実行することができ、処理の効率化を図ることができる。

（実施形態２）
次に実施形態２について説明する。実施形態２では、高感度および低感度ブロックのいずれも信頼度が高い場合、当該高感度および低感度ブロックに組み合わせて画素数の増加したブロックおよびサーチエリアを生成する感度均一化処理を行って動きベクトルの検出を行う。このため、本実施形態のベクトル検出部７０１は、感度均一化処理を行って動きベクトルの検出を行う構成を有する点で実施形態１と異なるが、その他の構成は同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（デジタルカメラ７００の構成）
図７（ａ）は、実施形態２に係るデジタルカメラ７００の機能構成例を示している。

ベクトル検出部７０１は、実施形態１に係るベクトル検出部１０５の構成に加えて、低感度画像と高感度画像の感度を均一化した画像を生成して動きベクトルを検出する構成を備えるベクトル検出部である。撮像素子１０２から低感度原画像および高感度原画像を、メモリ部１０４から低感度参照画像および高感度参照画像をそれぞれ取得して、検出した動きベクトルをグローバルベクトル算出部１０６に出力する点については共通である。

（ベクトル検出部７０１の構成）
次に、ベクトル検出部７０１の構成について、図７（ｂ）を参照して説明する。

ブロック感度均一部７１６は、高感度原画像から高感度ブロックと、低感度画像から対応する低感度ブロックとを順次読み出して、感度を均一化した新たな画像領域を生成する。感度均一化を行った各ブロック領域の画像領域をブロックベクトル検出部７１８に出力する。

ブロック感度均一部７１６における感度均一化処理では、まず高感度画素の出力と低感度画素の出力を、それぞれ同一の感度を有する仮想的な画素の出力となるように画素値の補正処理を行う。そして、補正した各画素の出力を、図３に示した撮像素子１０２の画素配置に配置して、画素数の増加させた画像領域を再構成する。図９の例では、高感度のブロックＡ２６と低感度のブロックＣ２６は、同一の感度の画素出力に補正され、ブロックＡ２６とブロックＣ２６が交互に配置された２倍のライン数を有する画像領域（ブロック９０１）が再構成されている。

サーチエリア感度均一部７１７は、高感度参照画像から高感度サーチエリアと、低感度参照画像から対応する低感度サーチエリアとを順次読み出して、それぞれの感度の均一化を行う。感度均一化処理はブロック感度均一部７１６と同様である。サーチエリア感度均一部７１７は、感度均一化を行ったサーチエリアの画像領域をブロックベクトル検出部７１８に出力する。図９の例では、ブロック感度均一部７１６における感度均一化処理と同様、高感度のサーチエリアＢ２６と低感度のサーチエリアＤ２６は、同一の感度の画素出力に補正され、サーチエリアＢ２６とサーチエリアＤ２６が交互に配置されて２倍のライン数を有するサーチエリア９０２が生成されている。

ブロックベクトル検出部７１８は、ブロック感度均一部７１６により感度が均一化されたブロックと、サーチエリア感度均一部７１７により感度が均一化されたサーチエリアを用いて動きベクトルを検出する。このように、感度均一化によってライン数が２倍となったブロックおよびサーチエリアを用いることで、より正確な動きベクトルの検出が可能になる。

ブロックベクトル判定部７１５は、ブロック信頼度算出部１１３、ブロック信頼度算出部１１４、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２からベクトル検出結果を入力して、ベクトル検出結果の選択を行う。

ブロックベクトル判定部７１５は、
高感度ブロックの信頼度 ＞ 閾値１
低感度ブロックの信頼度 ＞ 閾値２
である場合、ブロックベクトル検出部７１８で検出されたベクトル検出結果を入力して、グローバルベクトル算出部１０６へ出力する。

図１０（ａ）の例では、ブロックＡ２６とブロックＣ２６の組は、高感度ブロックの信頼度と低感度ブロックの信頼度がともに信頼度が閾値を上回っている。このため、ブロックベクトル判定部７１５は、当該ブロックおよび対応するサーチエリアを感度均一化して検出されたブロックベクトル検出部７１８のベクトル検出結果をグローバルベクトル算出部１０６へ出力する。このようにすることで、高感度ブロックと低感度ブロックの信頼度がいずれも高い場合、より解像度の高いベクトル検出結果を得ることができる。

なお、上述した感度均一化処理およびブロックベクトル検出部７１８における動きベクトルの検出は、ブロックベクトル判定部７１５が高感度ブロックおよび低感度ブロックのいずれの信頼度も高いと判定した場合にのみ、動作するようにすればよい。このようにすれば、感度均一化処理や再度の動きベクトルの検出処理を適切なブロックに対してのみ限定することができるため、処理の効率化を図ることができる。

（動きベクトル検出処理に係る一連の動作）
次に、図８を参照して、本実施形態に係る動きベクトル検出処理に係る一連の動作を説明する。なお、実施形態１と同一のステップには同一の参照番号を付して説明は省略する。

ベクトル検出部７０１は、Ｓ１００１〜Ｓ１００９における各ステップを実行する。

Ｓ８００１においてベクトル検出部７０１は、低感度画像および高感度画像について感度均一化処理を行って動きベクトルを検出する。より具体的には、ブロックベクトル判定部７１５は、高感度ブロックおよび低感度ブロックのいずれの信頼度も高い場合、ブロック感度均一部７１６およびサーチエリア感度均一部７１７に対して、上述した感度均一化処理を行わせる。そして、ブロックベクトル検出部７１８は感度均一化されたブロックおよびサーチブロックを用いて動きベクトルを検出し、ブロックベクトル判定部７１５を介してベクトル検出結果をグローバルベクトル算出部１０６に出力する。その後、Ｓ１０１１〜Ｓ１０１３の処理を行うと本処理に係る一連の動作を終了する。

以上説明したように、本実施形態では、高感度ブロックおよび低感度ブロックの信頼度がいずれも高い場合、感度均一化を施してベクトル検出を行うようにした。このようにすることで、低輝度部や高輝度部の双方を用いてより正確で解像度の高い動きベクトルを検出することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…撮像素子、１０５…ベクトル検出部、１１１、１１２…ブロックベクトル検出部、１１３、１１４…ブロック信頼度算出部、１１５…ブロックベクトル判定部、１１６…画像取得部

Claims (17)

1. 異なる露出で撮影された複数の第１の画像と、前記第１の画像とは異なるタイミングにおいて異なる露出で撮影された複数の第２の画像とを取得する取得手段と、
   前記第１の画像と前記第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出手段と、
   前記ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かを前記それぞれの露出の画像内の所定の領域ごとに判定する判定手段と、を有することを特徴とする像ぶれ補正制御装置。
2. 前記検出結果の信頼度を、露出の異なるそれぞれの画像の、前記画像内の所定の領域ごとに算出する信頼度算出手段をさらに有し、
   前記判定手段は、前記ベクトル検出手段により検出される動きベクトルのうち、前記算出された信頼度が予め定められた値より高い動きベクトルを、前記像ぶれ補正に用いる動きベクトルとして判定する、ことを特徴とする請求項１に記載の像ぶれ補正制御装置。
3. 前記信頼度算出手段は、動きベクトルの検出結果に誤りが生じる可能性の高い１以上の事象の発生度合を、前記それぞれの露出の画像の、前記画像内の所定の領域ごとに算出することによって前記信頼度を算出する、ことを特徴とする請求項２に記載の像ぶれ補正制御装置。
4. 前記信頼度算出手段は、前記動きベクトルの検出結果に誤りが生じる可能性の高い事象として白飛びまたは黒潰れの発生度合を算出し、前記発生度合が高いほど前記信頼度を低く算出する、ことを特徴とする請求項３に記載の像ぶれ補正制御装置。
5. 前記信頼度算出手段は、前記動きベクトルの検出結果に誤りが生じる可能性の高い事象として、低コントラストあるいは、所定の画素値が所定の間隔で出現するテクスチャを有する繰り返し模様の発生度合を算出し、前記発生度合が高いほど前記信頼度を低く算出する、ことを特徴とする請求項３または請求項４に記載の像ぶれ補正制御装置。
6. 前記複数の第１の画像は同一のタイミングで撮影され、前記複数の第２の画像は同一のタイミングで撮影される、ことを特徴とする請求項１から５のいずれか１項に記載の像ぶれ補正制御装置。
7. 前記異なる露出で撮影された画像は、第１の露出の画像と、前記第１の露出の画像より低い露出の第２の露出の画像であり、
   前記判定手段は、前記第１の露出の画像の組および前記第２の露出の画像の組のそれぞれから検出された動きベクトルについて、いずれかまたは両方を像ぶれ補正に用いるか否かを判定をすることを特徴とする請求項１から６のいずれか１項に記載の像ぶれ補正制御装置。
8. 第１の感度の画素が第１の方向に隣接する第１の領域と、前記第１の感度より低い第２の感度の画素が前記第１の方向に隣接する第２の領域とが、前記第１の方向と垂直な方向に所定の画素数を単位として交互に配置される撮像素子と、
   請求項６に記載の像ぶれ補正制御装置と、を有する撮像装置であって、
   前記撮像素子は、前記第１の領域から読み出される第１の露出の画像と、前記第２の領域から読み出される第２の露出の画像とを出力し、
   前記取得手段は、前記撮像素子から出力される前記第１の画像および前記第２の画像とを取得する、ことを特徴とする撮像装置。
9. 前記判定手段は、前記第１の露出の画像の組および前記第２の露出の画像の組のそれぞれから検出された動きベクトルについて、いずれかまたは両方を像ぶれ補正に用いるか否かを判定をすることを特徴とする請求項８に記載の撮像装置。
10. 前記撮像素子は、前記第１の領域と前記第２の領域とが、前記第１の方向と垂直な方向に２画素を単位として交互に配置される、ことを特徴とする請求項８または請求項９に記載の撮像装置。
11. 前記第１の露出の画像と前記第２の露出の画像を同一の感度で撮影された画像に補正する補正手段と、
    前記補正された第１の露出の画像と前記補正された第２の露出の画像の画素値を前記第１の方向と垂直な方向に交互に配置することによって画素数の増加した画像領域を再構成する再構成手段と、をさらに有し、
    前記ベクトル検出手段は、前記再構成された画像領域の組を用いて、動きベクトルを検出する、ことを特徴とする請求項１０に記載の撮像装置。
12. 前記補正手段は、前記判定手段によって前記第１の露出の画像および前記第２の露出の画像から検出された動きベクトルがいずれも像ぶれ補正に用いる動きベクトルとして判定される場合のみ、前記第１の露出の画像と前記第２の露出の画像を補正する、ことを特徴とする請求項１１に記載の撮像装置。
13. 前記判定手段により像ぶれ補正に用いる動きベクトルとして判定された動きベクトルを用いて、像ぶれ補正に用いるための前記撮像装置の動きを示す情報を算出する算出手段をさらに有する、ことを特徴とする請求項８から１２のいずれか１項に記載の撮像装置。
14. 取得手段が、異なる露出で撮影された複数の第１の画像と、前記第１の画像とは異なるタイミングにおいて異なる露出で撮影された複数の第２の画像とを取得する取得工程と、
    ベクトル検出手段が、前記第１の画像と前記第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出工程と、
    判定手段が、前記ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かを前記それぞれの露出の画像内の所定の領域ごとに判定する判定工程と、を有することを特徴とする像ぶれ補正制御装置の制御方法。
15. 第１の感度の画素が第１の方向に隣接する第１の領域と、前記第１の感度より低い第２の感度の画素が前記第１の方向に隣接する第２の領域とが、前記第１の方向と垂直な方向に所定の画素数を単位として交互に配置される撮像素子を有する撮像装置の制御方法であって、
    取得手段が、撮像素子から出力される異なる露出で撮影された複数の第１の画像と、前記第１の画像とは異なるタイミングにおいて異なる露出で撮影された複数の第２の画像とを取得する取得工程と、
    ベクトル検出手段が、前記第１の画像と前記第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出工程と、
    判定手段が、前記ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かを前記それぞれの露出の画像内の所定の領域ごとに判定する判定工程と、を有する撮像装置の制御方法。
16. コンピュータを、請求項１から７のいずれか１項に記載の像ぶれ補正制御装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項８から請求項１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。