JP5940392B2

JP5940392B2 - ブレ補正装置及び方法

Info

Publication number: JP5940392B2
Application number: JP2012145794A
Authority: JP
Inventors: 鈴木　博; 博鈴木
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-06-28
Filing date: 2012-06-28
Publication date: 2016-06-29
Anticipated expiration: 2032-06-28
Also published as: JP2014011569A

Description

本発明は、動画像に対するブレ補正を行うブレ補正装置及び方法に関する。

デジタルカメラやビデオカメラ等の撮像装置における撮影中のブレを検出し、検出したブレによる画像への影響を低減するように補正する装置及び方法が提案されている。例えば、ジャイロセンサや角速度センサを用いてブレ発生中のカメラの位置及び姿勢を検出し、検出した位置及び姿勢に応じてレンズや撮像センサを駆動してブレの影響を補正する方法、検出した位置及び姿勢に応じて撮像センサの読み出し位置を制御する方法等が知られている。

また、動画撮影時のブレ補正技術として、画像処理によってブレ発生中のカメラの位置及び姿勢を推定し、推定したカメラの位置及び姿勢に応じて射影変換等の幾何変換を用いてブレ補正を行う技術も提案されている。例えば、非特許文献１には、動画像のフレーム間の動きベクトルを基に算出したカメラの回転移動量を利用してブレ補正を行う技術が提案されている。また、特許文献１には、動画像のフレーム間の動きベクトルを並進移動による動きベクトルと回転移動による動きベクトルとに分離し、これらの分離した動きベクトルを用いて高精度にブレを補正する技術が提案されている。

特許第４６６１５１４号公報

Michal Irani, Benny Rousso, Shmuel Peleg, "Recovery of Ego-Motion Using Image Stabilization"

従来から知られているジャイロセンサ等のセンサを用いてブレ補正を行う方法は、負荷の大きな演算を行うことなく定常的にカメラの姿勢情報を検出できる。このため、ロバスト性の高いブレ補正を行うことが可能である。しかしながら、この方法の場合、センサを撮像装置内に搭載する必要があるため、撮像装置の小型化が困難であり、またコストも高くなり易い。

また、画像処理に基づきカメラの位置及び姿勢を推定する方法は、ジャイロセンサ等のセンサを用いることなくカメラの位置及び姿勢を推定できる一方で、ノイズやオクルージョンの影響によって推定精度が低下する可能性がある。推定精度が低下した状態でブレ補正を行ってしまうと、補正不足により十分な補正ができなかったり、過補正により動画品位を低下させたりすることになる。

さらに、特許文献１の手法では、動画像のフレーム間の動きベクトルを回転成分と並進成分とに分離してブレ補正量を算出している。ここで、特許文献１の手法であっても、動きベクトル自体の推定精度が低い場合には、補正不足により十分な補正ができなかったり、過補正により動画品位を低下させたりする可能性が生じる。

本発明は、前記の事情に鑑みてなされたものであり、簡易かつ低コストの構成でカメラの位置及び姿勢の推定誤差、並進ブレの影響を抑制し、撮影時のブレを補正した高品位な動画像を取得可能なブレ補正装置及び方法を提供することを目的とする。

前記の目的を達成するため、本発明の第１の態様のブレ補正装置は、被写体を撮像して複数フレームの映像データを得る撮像部と、ブレ補正の対象となる第２のフレームの映像データと、該第２のフレームに対して時間的に前の第１のフレームの映像データと、の間での対応点の対応関係を取得する対応点取得部と、前記対応点取得部で取得された対応点の対応関係に基づき、前記撮像部の姿勢を推定する姿勢推定部と、前記姿勢推定部で推定された前記撮像部の姿勢に基づき、前記第１のフレームと前記第２のフレームとの間の第１ブレ補正量を算出する第１補正量算出部と、前記姿勢推定部で推定された前記撮像部の姿勢に基づき、前記第１のフレームの映像データを前記第２のフレームの映像データへ投影する投影処理部と、前記投影処理部で投影された前記第１のフレームの映像データと前記第２のフレームの映像データとに基づき、前記第１のフレームと前記第２のフレームとの間の第２ブレ補正量を算出する第２補正量算出部と、前記第１補正量算出部で算出された第１ブレ補正量と前記第２補正量算出部で算出された第２ブレ補正量に基づき、前記第２のフレームの映像データにおけるブレを補正する補正部と、を具備し、前記第２補正量算出部は、前記第２ブレ補正量に基づく前記ブレの補正の信頼度を判定する信頼度判定部をさらに有することを特徴とする。

また、前記の目的を達成するため、本発明の第２の態様のブレ補正方法は、撮像部により被写体を撮像して複数フレームの映像データを得て、ブレ補正の対象となる第２のフレームの映像データと、該第２のフレームに対して時間的に前の第１のフレームの映像データと、の間での対応点の対応関係を取得し、前記取得された対応点の対応関係に基づき、前記撮像部の姿勢を推定し、前記推定された前記撮像部の姿勢に基づき、前記第１のフレームと前記第２のフレームとの間の第１ブレ補正量を算出し、前記推定された前記撮像部の姿勢に基づき、前記第１のフレームの映像データを前記第２のフレームの映像データへ投影し、前記投影された前記第１のフレームの映像データと前記第２のフレームの映像データとに基づき、前記第１のフレームと前記第２のフレームとの間の第２ブレ補正量を算出し、前記算出された第１ブレ補正量と前記算出された第２ブレ補正量に基づき、前記第２のフレームの映像データにおけるブレを補正し、前記第２ブレ補正量に基づく前記ブレの補正の信頼度を判定することを特徴とする。

本発明によれば、簡易かつ低コストの構成でカメラの位置及び姿勢の推定誤差、並進ブレの影響を抑制し、撮影時のブレを補正した高品位な動画像を取得可能なブレ補正装置及び方法を提供することができる。

本発明の一実施形態に係るブレ補正装置を備えた撮像装置の構成図である。撮像装置の動作について示すフローチャートである。対応点の例を示す図である。投影処理の概念図である。第２補正量算出部の構成の一例を示す図である。投影処理後の対応点の関係を示す図である。２次元ヒストグラムの概念図である。信頼度判定部の構成の一例を示す図である。信頼度判定の一例を示す図である。本発明の一実施形態の変形例１としての第２補正量算出部の構成を示す図である。本発明の一実施形態の変形例２としての信頼度判定部の構成例を示す図である。本発明の一実施形態の変形例３としての信頼度判定部の構成例を示す図である。

図１は、本発明の一実施形態に係るブレ補正装置を備えた撮像装置の構成図である。図１に示す撮像装置１は、レンズ系１００と、撮像素子１０１と、アナログ/デジタル（Ａ/Ｄ）変換器１０２と、バッファ１０３と、信号処理部１０４と、対応点取得部１０５と、姿勢推定部１０６と、第１補正量算出部１０７と、投影処理部１０８と、第２補正量算出部１０９と、補正部１１０と、出力部１１１と、外部インタフェース（Ｉ/Ｆ）部１１２と、制御部１１３と、を有している。ここで、図１の太線は、映像信号の流れを示し、図１の細線は、制御信号の流れを示している。
なお、撮像素子１０１と、Ａ/Ｄ変換器１０２と、バッファ１０３と、信号処理部１０４は撮像部として機能する。また、対応点取得部１０５と、姿勢推定部１０６と、第１補正量算出部１０７と、投影処理部１０８と、第２補正量算出部１０９と、補正部１１０はブレ補正装置として機能する。

レンズ系１００は、図示しない被写体からの光束を撮像素子１０１に集光するための単一又は複数のレンズを有する光学系である。レンズ系１００の内部に絞りを持たせても良い。

撮像素子１０１は、光電変換素子を含む画素が２次元に配列されて構成されている。この撮像素子１０１は、レンズ系１００により集光された光を、各画素で受光して光電変換することで、光の量を電気信号（映像信号）に変換する。

Ａ/Ｄ変換器１０２は、撮像素子１０１で得られた映像信号をデジタル信号としての映像データ（画像データ）に変換する。

バッファ１０３は、Ａ/Ｄ変換器１０２で生成された映像データを一時的に記憶する。バッファ１０３には、例えばＤＲＡＭが用いられる。

信号処理部１０４は、映像データに対して各種の信号処理を施す。この信号処理は、例えばベイヤ配列に対応した画素配列を有する映像データを３板化する補間処理、映像データにおけるノイズを低減するノイズ低減処理等が含まれる。

対応点取得部１０５は、撮像素子１０１を介して取得される複数フレームの映像データ間の対応点の対応関係を取得する。対応点は、映像データの全ての画素について取得しても良いが、代表点を取得するようにしても良い。この代表点としては、映像データ中のエッジやコーナーといった特徴点が挙げられる。また、対応関係は、映像データ間の対応点の関係を示す動きベクトルや、対応点の座標等が挙げられる。

姿勢推定部１０６は、対応点取得部１０５で取得された対応点の対応関係から、撮像素子１０１（即ち撮像装置１）の姿勢を推定する。撮像装置１の姿勢は、例えば３軸周りの回転移動量（ピッチ、ヨー、ロール）によって与えられる。

第１補正量算出部１０７は、姿勢推定部１０６によって推定された撮像装置１の姿勢から、撮像装置１の回転ブレを補正するための第１ブレ補正量を算出する。

投影処理部１０８は、複数フレームの映像データのうち、ブレ補正の対象となるフレーム（以下、第２フレームと言う）の映像データに、この第２フレームに対して時間的に前のフレーム（以下、第１フレームと言う）の映像データの各対応点を投影する。

第２補正量算出部１０９は、投影処理部１０８に投影された対応点間のズレ量から、撮像装置１の並進ブレを補正するための第２ブレ補正量を算出する。

補正部１１０は、第１補正量算出部１０７で算出された第１ブレ補正量と第２補正量算出部１０９で算出された第２ブレ補正量とに従って、第２フレームにおける画像ブレを補正する信号処理を施す。

出力部１１１は、映像データを出力するための信号処理を施す。例えば映像データの記録時には、出力部１１１は、圧縮処理等を施し、圧縮処理した映像データを図示しない記録媒体に記録する処理を施す。また、映像データの再生時には、出力部１１１は、入力された映像データを図示しない表示装置に出力して表示装置に映像を表示させる。

外部Ｉ/Ｆ部１１２は、電源スイッチ、シャッタボタン、モード切替ダイヤルといったユーザが操作可能に構成されたインタフェースを備えており、ユーザの操作に応じた操作信号を制御部１１３に出力する。

制御部１１３は、撮像装置１の各ブロックの動作を制御するための各種の制御信号を出力する。例えば、制御部１１３は、撮像装置１の各ブロックを同期動作させるための同期信号を出力する。この制御部１１３は、外部Ｉ/Ｆ部１１２からの操作信号に従って各種の制御信号を出力する。

以下、図１に示す撮像装置１の撮影動作について説明する。図２は、撮像装置１の動作について示すフローチャートである。ここで、以下では動画撮影動作について説明する。しかしながら、本実施形態に係る撮像装置１は、静止画撮影動作も可能である。そして、以下に説明する本実施形態におけるブレ補正方法は、静止画撮影動作前のライブビュー表示にも適用可能である。

ユーザが外部Ｉ/Ｆ部１１２を操作して撮影に関する各種設定を行い、シャッタボタンを押下することで撮影動作が開始される。

まず、映像データの取り込みが行われる（Ｓ１０１）。この処理において、シャッタボタンの押下を検出すると、制御部１１３は、撮像素子１０１の動作を開始させる。このとき、レンズ系１００を介して撮像素子１０１に入射した光束は、撮像素子１０１において映像信号に変換される。この映像信号は、Ａ/Ｄ変換器１０２にてデジタル信号としての映像データに変換されてバッファ１０３に記憶される。

続いて、映像データに対する信号処理が行われる（Ｓ１０２）。この処理において、バッファ１０３に記憶された映像データは、信号処理部１０４へ転送される。信号処理部１０４は、補間処理及びノイズ低減処理等の信号処理を映像データに対して施す。信号処理部１０４で処理された映像データは、対応点取得部１０５へ転送される。

続いて、対応点取得処理が行われる（Ｓ１０３）。この処理において、対応点取得部１０５は、第１のフレームの映像データと第２のフレームの映像データとの間で対応点を対応付ける処理を行う。例えば、第１のフレームの映像データ内の被写体のエッジに対応する画素やコーナーに対応する画素を検出し、これらの検出したエッジ画素やコーナー画素と対応する画素を第２のフレームの映像データから検出する。対応点取得部１０５で検出された各対応点の対応関係を示す情報は、姿勢推定部１０６へ転送される。図３は、２つのフレーム間で対応付けられる対応点の例を示す。例えば第１のフレームの映像データ内の画素Ａに注目すると、この画素Ａと対応する画素を第２のフレームの映像データから検出する。第１のフレームと第２のフレームとの間に撮像装置１の回転ブレや、並進ブレが生じていたとすると、画素Ａが例えば第２のフレーム内の画素Ａ’に移動する。対応点取得部１０５は、第１のフレーム内の画素Ａと対応する画素Ａ’を第２のフレームの映像データから検出する。ここでは、第１のフレームと第２のフレームとの点（画素）毎の追跡を行うようにしているが、これに限定されることはなく、例えば注目画素を中心とする所定サイズ（映像データの全体も含む）の領域同士の追跡を行って対応点を検出するようにしても良い。

続いて、姿勢推定処理が行われる（Ｓ１０４）。この処理において、姿勢推定部１０６は、公知のエピポーラ幾何の関係から、第１のフレームと第２のフレームとの間の撮像装置１の動き量を推定する。前述したように、姿勢推定部１０６で推定される動き量の情報は、撮像装置の３軸の回転移動量（ピッチ、ヨー、ロール）である。

続いて、第１補正量算出処理が行われる（Ｓ１０５）。この処理において、第１補正量算出部１０７は、姿勢推定部１０６で推定された回転移動量に基づき、回転移動に起因するブレを補正するための第１ブレ補正量を算出する。第１ブレ補正量は、例えば姿勢推定部１０６で推定された３軸の回転移動量を示す回転マトリクスの逆マトリクスである。また、姿勢推定部１０６で推定された３軸の回転移動量にローパスフィルタ処理を施し、ローパスフィルタ処理後の回転移動量に基づき生成された回転マトリクスの逆マトリクスを使用しても良い。

続いて、投影処理が行われる（Ｓ１０６）。この処理において、投影処理部１０８は、姿勢推定部１０６で推定された３軸の回転移動量を基に生成された回転マトリクスを用いて第１のフレームの各対応点を回転させることによって、第１のフレームの各対応点を第２のフレーム上に投影する。具体的には、この投影処理は、下式（１）により行う。

式（１）のiは対応点の識別番号を表し、[x_i ¹,y_i ¹,1]は、第１のフレームに属するi番目の対応点の同次座標を表し、[x’_i ¹,y’_i ¹,z’_i ¹]は、第１のフレームに属するi番目の対応点を第２のフレームに投影した後の同次座標を表している。また、R₁,…,R₉は、姿勢推定部１０６で推定された３軸の回転移動量を示す回転マトリクスの係数を表し、Nは第１のフレームと第２のフレーム間で対応付けられた対応点の総対応数を表す。ここで、式（１）の同次座標は、Ｚ成分が１になるように、Ｘ成分及びＹ成分をＺ成分で除算して正規化したものである。

図４は、投影処理の概念図を示す。式（１）に従って投影処理を行った場合、第１のフレームの各対応点が第２のフレーム上に投影される。ここで、推定された動き量が正しく且つ第１のフレームと第２のフレームとの間で撮像装置１の並進移動が無いと仮定した場合、投影処理した第１のフレームにおける各対応点の座標と第２のフレームの各対応点の座標とが一致する。例えば、撮像装置１の並進移動が無いと仮定した場合、図４に示す第２のフレームに投影した画素Ａと画素Ａ’の座標とが一致する。

ここで、再び図２の説明に戻る。投影処理に続いて、第２補正量算出処理が行われる（Ｓ１０７）。この処理において、第２補正量算出部１０９は、第１のフレームの投影処理後の各対応点と第２のフレームの各対応点との関係から、撮像装置１の並進移動に起因するブレを補正するための第２ブレ補正量を算出する。図４で示したように、撮像装置１の並進移動が無いと仮定した場合、第２のフレームに投影した第１のフレームの各対応点と第２のフレームの各対応点とが一致する。実際には、第１のフレームと第２のフレームとの間に撮像装置１が並進ブレをしている可能性がある。推定した動き量が正しいと仮定した場合、並進ブレ量は、各対応点の座標ずれ量に対応していると考えることができる。

図５は、第２補正量算出部１０９の構成の一例を示す図である。図５に示すように、第２補正量算出部１０９は、変位算出部２００と、ヒストグラム生成部２０１と、最頻値算出部２０２と、信頼度判定部２０３と、を有している。

変位算出部２００は、投影処理部１０８から転送される第１のフレームと第２のフレームとの間で対応付けられた対応点のそれぞれｘ座標及びｙ座標の変位量(差分値)を算出する。変位量は、下式（２）により計算される。

diff_x_i及びdiff_y_iは、i番目の対応点のｘ座標及びy座標の変位量を表す。また、x_i ²及びy_i ²は、第２のフレームに属するi番目の対応点のx座標及びy座標を表す。式（２）に従って算出された変位量は、姿勢推定部１０６にて推定された回転移動量の推定精度又は並進ブレによる影響の大きさを表す指標となる。

図６は、投影処理後の対応点の関係を示す図である。図６（ａ）は、投影処理後の第１のフレームの各対応点と第２のフレームの各対応点とがほぼ同じ位置であることを示している。このとき、式（２）のdiff_x_i及びdiff_y_iが何れも小さな値となる。この場合、姿勢推定部１０６にて推定された回転移動量の推定精度が高くかつ並進ブレの影響も小さいと考えることができる。一方、図６（ｂ）は、投影処理後の第１のフレームの各対応点と第２のフレームの各対応点とが大きく異なっていることを示している。このとき、式（２）のdiff_x_i及びdiff_y_iの少なくとも何れかが大きな値となる。この場合、２つのフレーム間で撮像装置１の並進移動が生じたか又は回転移動量の推定精度が低いと考えることができる。

変位算出部２００において計算された変位量は、ヒストグラム生成部２０１及び信頼度判定部２０３へ転送される。ヒストグラム生成部２０１は、各対応点の変位量の頻度を示す２次元ヒストグラムを生成する。図７は、２次元ヒストグラムの概念図を示している。ヒストグラム生成部２０１で生成された２次元ヒストグラムは、最頻値算出部２０２へ転送される。最頻値算出部２０２は、転送された２次元ヒストグラムの最頻値freq_maxを検出し、その最頻値freq_maxのｘ座標及びｙ座標の変位量を抽出し、抽出した最頻値freq_maxのｘ座標及びｙ座標の変位量に対してローパスフィルタ処理を施した値を第２ブレ補正量として補正部１１０へ転送する。

ここでは、２次元ヒストグラムの最頻値に基づき第２ブレ補正量を算出しているが、これに限定されることはなく、例えば変位算出部２００にて算出された変位量の平均、重心の値を用いることも可能である。また、所定の画像領域(例えば、画像中心付近)に属する変位量の情報のみを用いて、第２ブレ補正量を算出することも可能である。

また、ヒストグラム生成部２０１は、２次元ヒストグラムの最頻値を信頼度判定部２０３へ転送する。信頼度判定部２０３は、変位算出部２００から転送された各対応点のｘ座標及びｙ座標の変位量を用いて第２ブレ補正量に基づくブレ補正の信頼度判定を行い、判定結果を補正部１１０へ転送する。

図８は、信頼度判定部２０３の構成の一例を示す図である。図８に示すように、信頼度判定部２０３は、割合算出部３００と、比較部３０１と、を有している。

ばらつき算出部の一例としての割合算出部３００は、２つのフレーム間で対応付けがなされた対応点の総対応数に対する、最頻値算出部２０２で算出された２次元ヒストグラムの最頻値の割合を算出する。割合は、下式（３）により計算される。

freq_maxは２次元ヒストグラムの最頻値を表し、freq_max_rateは対応点の総対応数に対する最頻値の割合を表す。

図７で示した２次元ヒストグラムから検出される最頻値freq_maxを、対応付けがなされた対応点の総対応数Nで割った値は、フレーム全体を一意の線形変換で補正可能かを判断するための信頼度となる。つまり、この割合が大きい場合は、フレーム全体がｘｙ平面上で一定の方向に一定の量だけ動いた可能性が高いと見なし、ブレ補正の信頼度が高いと考える。反対に、割合が小さい場合は、フレーム内の被写体が領域に応じて異なる方向及び量だけ動いた可能性が高いと見なし、ブレ補正の信頼度が低いと考える。

図９は、信頼度判定の一例を示す。図９（ａ）は、被写体が同等の撮影距離に位置する例を示している。この場合、フレーム全体で被写体距離が同等の場合は像倍率も同等となるため、撮像装置１の並進移動に伴う移動量は、フレーム内の位置によらずに同等となる。例えば、図９（ａ）の対応点ＢとＢ’との間の移動量v1がその他の位置の移動量となる。この場合、フレーム全体を一意の線形変換で補正することで可能である。一方、図９（ｂ）は、被写体が近方と遠方とで異なる撮影距離に位置する例を示している。この場合、撮像装置１の並進移動に伴う移動量は、被写体距離によって異なる。例えば、近距離の対応点ＢとＢ’との間の移動量はv1となるのに対し、遠距離の対応点ＣとＣ’との間の移動量はv1よりも小さいv2となる。この場合、フレーム全体を一意の線形変換で補正することは難しい。仮に、一意の線形変換で補正した場合、補正できる領域とできない領域が混在することになり、補正後の動画に違和感が生じる。

このため、本実施形態では、ブレ補正の信頼度に応じて補正を行うか否かを判定する。このために、割合算出部３００で算出された割合の値は、比較部３０１に転送される。比較部３０１は、割合freq_max_rateと所定の閾値thre_rateとを比較し、割合freq_max_rateの値が閾値thre_rate以上であれば補正可能である旨を示すフラグ情報を補正部１１０に出力する。また、比較部３０１は、割合freq_max_rateの値が閾値thre_rate未満であれば補正不能である旨を示すフラグ情報を補正部１１０に出力する。このフラグ情報の設定例を式（４）に示す。

式（４）のflagが補正可否を示すフラグを表している。そして、flagの値が１の場合は補正可能であることを示し、flagの値が０の場合は補正不能であることを示す。

ここで、再び図２の説明に戻る。第２補正量算出処理に続いて、補正が可能であるか否かの判定が行われる（Ｓ１０８）。この処理において、補正部１１０は、信頼度判定部２０３の比較部３０１から入力されたフラグ情報に従って補正が可能か否かを判定する。

Ｓ１０８において、補正が可能である場合には、第１ブレ補正量に基づき行われる第１ブレ補正処理（Ｓ１０９Ａ）と、第２ブレ補正量に基づき行われる第２ブレ補正処理（Ｓ１１０）が実施される。この処理において、補正部１１０は、第１補正量算出部１０７で算出された第１ブレ補正量に基づき撮像部の回転移動に伴うブレを補正し、第２補正量算出部１０９で算出された第２ブレ補正量に基づき、撮像部の並進移動に伴うブレを補正する。具体的には、第２のフレームの各画素の映像データを第１ブレ補正量としての回転マトリクスに従って回転させ、さらに第２ブレ補正量分だけ各画素の映像データをシフトさせ、シフトさせた範囲の映像データを切り出す。また、Ｓ１０８において、補正が不能である場合には、第１ブレ補正処理（Ｓ１０９Ｂ）のみ実施され、第２ブレ補正処理は実施されない。この処理において、補正部１１０は、第１補正量算出部１０７で算出された第１ブレ補正量に基づき撮像部の回転移動に伴うブレのみを補正する。ブレ補正後の映像データは、出力部１１１へ転送される。

続いて、圧縮処理が行われる（Ｓ１１１）。この処理において、出力部１１１は、映像データに対する公知のＭＰＥＧ圧縮等の圧縮処理を行う。続いて、出力処理が行われる（Ｓ１１２）。この処理において、出力部は、圧縮した映像データを、所定の記録媒体に記録する。なお、出力処理として、圧縮処理前の映像データを所定の表示装置に再生するようにしても良い。

以上説明したように、本実施形態によれば、第１のフレームの各対応点を第２のフレームに投影し、この投影した結果に基づいてブレ補正量を算出したり、ブレ補正の信頼度を判定するようにしている。これにより、撮像装置１の動き量の推定誤差及び並進ブレによる影響を抑制してブレ補正を行うことができ、その結果、高品位なブレ補正動画を取得可能となる。また、簡易な方法で補正を行うことができるので、処理負荷、ハードウェア規模を削減でき、その結果、低コストのシステムを構築することもできる。

［変形例１］
以下、本実施形態の変形例について説明する。図１０は、本実施形態の変形例１としての第２補正量算出部１０９の構成を示す図である。図１０の第２補正量算出部１０９は、図５で示した第２補正量算出部１０９に変換係数算出部２０４を追加したものである。したがって、基本構成は図５の構成と同等であり、図１０中の図５と同一の構成には図５と同一の名称と参照符号とを割り当てている。

以下、図１０において、図５と異なる部分を説明する。変換係数算出部２０４は、投影処理後の第１のフレームの各対応点と第２のフレームの各対応点とを対応付ける射影変換係数を算出する。射影変換係数の算出は、例えば下式（５）に示す最小二乗法により算出する。

P₁,…,P₉は射影変換係数を表す。変形例１においては、式（５）で示す射影変換係数が第２ブレ補正量となる。したがって、変換係数算出部２０４で算出された射影変換係数は、補正部１１０へ転送される。補正部１１０は、補正が可能である場合の補正処理として、第２のフレームの各画素の映像データを第１ブレ補正量としての回転マトリクスに従って回転させ、さらに第２ブレ補正量としての射影変換係数に従って射影変換する。

このような変形例１の構成の第２補正量算出部１０９を用いて場合であっても、前述した一実施形態と同様の効果を得ることが可能である。また、変換係数算出部２０４で算出された射影変換係数に基づき補正を行うことで、第１のフレームと第２のフレーム間で発生した拡大又は縮小の変化を伴うブレを補正することが可能となる。

［変形例２］
図１１は、本実施形態の変形例２としての信頼度判定部２０３の構成例を示す図である。図１１の信頼度判定部２０３は、図８に示す信頼度判定部２０３の構成から割合算出部３００を削除し、ばらつき算出部の別の例としての偏差算出部３０２を追加した構成になっている。基本構成は図８の構成と同等であり、図１１中の図８と同一の構成には図８と同一の名称と参照符号とを割り当てている。

以下、図１１において、図８と異なる部分のみ説明する。偏差算出部３０２は、変位算出部２００から転送される対応点のｘ座標及びｙ座標の変位量に基づいてｘ座標、ｙ座標の変位量の標準偏差(std_x，std_y)を算出し、算出した標準偏差(std_x，std_y)を比較部３０１へ転送する。比較部３０１は、標準偏差(std_x，std_y)と所定の閾値thre_stdとを比較し、標準偏差(std_x，std_y)の両方が閾値thre_stdよりも小さければ補正可能と判定し、flag=1を出力する。また、比較部３０１は、標準偏差(std_x，std_y)の少なくとも何れか一方が閾値thre_std以上の値である場合は補正不能と判定し、flag=0を出力する。

標準偏差が大きいということは、変位量のばらつきが大きいということである。このことは、フレーム内の被写体が領域に応じて異なる方向及び量だけ動いていることを示すので、ブレ補正の信頼度が低いと考える。

このような変形例２の構成の信頼度判定部２０３であっても、前述の割合算出部３００を用いた場合と同様にブレ補正の信頼度を判定することが可能である。

［変形例３］
図１２は、本実施形態の変形例３としての信頼度判定部２０３の構成例を示す図である。図１２に示す信頼度判定部２０３は、図８に示す信頼度判定部２０３の構成から割合算出部３００を削除し、ばらつき算出部の別の例としての最大最小算出部３０３及び差分算出部３０４を追加した構成になっている。基本構成は図８の構成と同等であり、図１２中の図８と同一の構成には図８と同一の名称と番号を割り当てている。

以下、異なる部分のみ説明する。最大最小算出部３０３は、変位算出部２００から転送される対応点のｘ座標及びｙ座標の変位量の最大値(max_x，max_y)及び最小値(min_x，min_y)を抽出する。抽出した変位量の最大値(max_x，max_y)及び最小値(min_x，min_y)は、差分算出部３０４へ転送される。差分算出部３０４は、最大最小算出部３０３から転送されたｘ座標における最小値min_xと最大値max_xとの差分の絶対値abs_xと、ｙ座標における最小値min_yと最大値max_yとの差分の絶対値abs_yをそれぞれ算出し、それぞれを比較部３０１へ転送する。比較部３０１は、転送されたｘ座標及びｙ座標の絶対値abs_x及びabs_yと所定の閾値thre_absを比較し、abs_x及びabs_yの両方が閾値thre_absよりも小さければ補正可能と判定し、flag=1を出力する。また、比較部３０１は、abs_x及びabs_yの少なくとも何れか一方が閾値thre_abs以上の値である場合は補正不能と判定し、flag=0を出力する。

このような変形例３の構成の信頼度判定部２０３であっても、前述の割合算出部３００を用いた場合と同様にブレ補正の信頼度を判定することが可能である。

［その他の変形例］
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、前述の実施形態においては、ブレ補正の信頼度が低い場合にはブレ補正を実行しないようにしている。これに対し、ブレ補正の信頼度に応じてブレ補正量の重み付けを行ってブレ補正を行うようにする構成も可能である。この場合、例えば信頼度が高い場合にはブレ補正量の重みを１に近づけ、信頼度が低い場合にはブレ補正量の重みを０に近づけるように重みを設定する。

また、前述した実施形態では第１のフレームと第２のフレームとの間で対応付けられた全ての対応点を利用してブレ補正を行っているが、これに限定されることはなく、特定の処理により選択された対応点のみを用いて処理を行うことも可能である。例えば、公知のRANSAC（Random Sample Consensus）法等のロバスト推定法、対応点の分布情報、顔認識、動体追尾等の情報を利用して選定された対応点を用いて処理を行っても良い。

また、上述した実施形態による各処理は、制御部１１３に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１１３は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…撮像装置、１００…レンズ系、１０１…撮像素子、１０２…アナログ/デジタル（Ａ/Ｄ）変換器、１０３…バッファ、１０４…信号処理部、１０５…対応点取得部、１０６…姿勢推定部、１０７…第１補正量算出部、１０８…投影処理部、１０９…第２補正量算出部、１１０…補正部、１１１…出力部、１１２…外部インタフェース（Ｉ/Ｆ）部、１１３…制御部、２００…変位算出部、２０１…ヒストグラム生成部、２０２…最頻値算出部、２０３…信頼度判定部、２０４…変換係数算出部、３００…割合算出部、３０１…比較部、３０２…偏差算出部、３０３…最大最小算出部、３０４…差分算出部

Claims

被写体を撮像して複数フレームの映像データを得る撮像部と、
ブレ補正の対象となる第２のフレームの映像データと、該第２のフレームに対して時間的に前の第１のフレームの映像データと、の間での対応点の対応関係を取得する対応点取得部と、
前記対応点取得部で取得された対応点の対応関係に基づき、前記撮像部の姿勢を推定する姿勢推定部と、
前記姿勢推定部で推定された前記撮像部の姿勢に基づき、前記第１のフレームと前記第２のフレームとの間の第１ブレ補正量を算出する第１補正量算出部と、
前記姿勢推定部で推定された前記撮像部の姿勢に基づき、前記第１のフレームの映像データを前記第２のフレームの映像データへ投影する投影処理部と、
前記投影処理部で投影された前記第１のフレームの映像データと前記第２のフレームの映像データとに基づき、前記第１のフレームと前記第２のフレームとの間の第２ブレ補正量を算出する第２補正量算出部と、
前記第１補正量算出部で算出された第１ブレ補正量と前記第２補正量算出部で算出された第２ブレ補正量に基づき、前記第２のフレームの映像データにおけるブレを補正する補正部と、
を具備し、
前記第２補正量算出部は、前記第２ブレ補正量に基づく前記ブレの補正の信頼度を判定する信頼度判定部をさらに有することを特徴とするブレ補正装置。
前記第２補正量算出部は、前記投影処理部で投影された前記第１のフレームの映像データと前記第２のフレームの映像データとの間の変位量を算出する変位算出部を有し、該変位算出部で算出された変位量に基づき前記第２ブレ補正量を算出することを特徴とする請求項１に記載のブレ補正装置。
前記第２補正量算出部は、
前記変位算出部で算出した変位量の頻度を示すヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部で生成されたヒストグラムにおける最頻値を抽出する最頻値算出部と、
をさらに有することを特徴とする請求項２に記載のブレ補正装置。
前記第２補正量算出部は、前記投影処理部で投影された前記第１のフレームの映像データと前記第２のフレームの映像データとの間の変位量を算出する変位算出部を有し、
前記信頼度判定部は、前記変位算出部で算出した変位量のばらつきを算出するばらつき算出部を有し、前記ばらつきに基づき信頼度を判定することを特徴とする請求項１に記載のブレ補正装置。
前記第２補正量算出部は、
前記変位算出部で算出した変位量の頻度をカウントしてヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部で生成されたヒストグラムにおける最頻値を抽出する最頻値算出部と、
を有し、
前記ばらつき算出部は、
前記最頻値算出部で抽出された前記ヒストグラムの最頻値の割合を算出する割合算出部を有し、前記割合に基づき前記信頼度を判定することを特徴とする請求項４に記載のブレ補正装置。
前記ばらつき算出部は、前記変位算出部で算出した変位量の偏差を算出する偏差算出部を有し、前記偏差に基づき前記信頼度を判定することを特徴とする請求項４に記載のブレ補正装置。
前記ばらつき算出部は、
前記変位算出部で算出した変位の最大値及び最小値を算出する最大最小算出部と、
前記最大最小算出部で算出された最大値と最小値との差分値を算出する差分算出部と、
を有し、
前記差分値に基づき前記信頼度を判定することを特徴とする請求項４に記載のブレ補正装置。
前記投影処理部は、前記姿勢推定部から得られた前記撮像部の姿勢に基づいて生成されるマトリクスを前記第１のフレームの映像データに乗算することにより、前記第１のフレームの映像データを前記第２のフレームの映像データへ投影することを特徴とする請求項１に記載のブレ補正装置。
前記補正部は、前記第２のフレームの映像データを前記第２ブレ補正量だけシフトさせた範囲の映像データを切り出すことにより、前記ブレを補正することを特徴とする請求項２に記載のブレ補正装置。
前記第２補正量算出部は、前記投影処理部で投影された前記第１のフレームの映像データと前記第２のフレームの映像データとを関係付ける射影変換係数を前記第２ブレ補正量として算出することを特徴とする請求項１に記載のブレ補正装置。
前記補正部は、前記射影変換係数を前記第２のフレームの映像データに乗算することにより、前記ブレを補正することを特徴とする請求項１０に記載のブレ補正装置。
撮像部により被写体を撮像して複数フレームの映像データを得て、
ブレ補正の対象となる第２のフレームの映像データと、該第２のフレームに対して時間的に前の第１のフレームの映像データと、の間での対応点の対応関係を取得し、
前記取得された対応点の対応関係に基づき、前記撮像部の姿勢を推定し、
前記推定された前記撮像部の姿勢に基づき、前記第１のフレームと前記第２のフレームとの間の第１ブレ補正量を算出し、
前記推定された前記撮像部の姿勢に基づき、前記第１のフレームの映像データを前記第２のフレームの映像データへ投影し、
前記投影された前記第１のフレームの映像データと前記第２のフレームの映像データとに基づき、前記第１のフレームと前記第２のフレームとの間の第２ブレ補正量を算出し、
前記算出された第１ブレ補正量と前記算出された第２ブレ補正量に基づき、前記第２のフレームの映像データにおけるブレを補正し、
前記第２ブレ補正量に基づく前記ブレの補正の信頼度を判定する、
ことを特徴とするブレ補正方法。