JPWO2012063467A1 - 画像処理装置、画像処理方法、プログラム及び撮影装置 - Google Patents

Abstract

本発明の画像処理装置は、第１の画像の時間的に後に撮影された第２の画像の第１の画像に対する回転移動量を算出する回転移動量算出部（２２）と、第１の画像の所定の第１範囲を切り出し、撮影に用いた光学系の特性に基づいた歪み補正を行って第１切り出し画像を生成し、かつ、算出された前記回転移動量を用いて前記第２の画像の前記３軸周り方向の位置ずれを補正した第１補正画像の第１範囲に対応する第２範囲を切り出して、前記歪み補正を行って第２切り出し画像を生成する切り出し画像生成部（２４３）を有し、第２切り出し画像の第１切り出し画像に対する平行移動量を算出する平行移動量算出部（２４）と、算出された回転移動量および平行移動量に基づいて、第２の画像の第１の画像に対する移動量を決定する移動量決定部（２６）と、を備える。

Description

本発明は、画像処理装置、画像処理方法、プログラム及び撮影装置に関し、特に画像補正の技術に関するものである。

近年、カメラ、ムービーなどの撮影装置において、画像のブレを補正する手ブレ補正技術が提案されている。

例えば特許文献１には、カメラで撮影された動画像の画像データからフレーム画像毎に所定数の特徴点を自動抽出し、これらを動画像の各フレーム画像内で自動追跡してフレーム画像間での対応関係を求め、対応関係が求められた特徴点の三次元位置座標から、カメラの三次元位置座標および三次元回転座標からなるカメラベクトルを求めることで画像処理によるブレ補正を行う方法が開示されている。また、例えば特許文献２には、魚眼映像について透視投影像のブレ補正方法を適用する場合、カメラの中心部と周辺部との歪み特性を考慮して、透視投影像の一部を切り出して画像処理によるブレ補正を行う方法が提案されている。

特開２００５−２９５４９５号公報 特開２００６−２９５６２６号公報

しかしながら、上記特許文献１および上記特許文献２に記載の方法では、以下に説明するように高精度な手ブレ補正を行うことが困難であるという問題がある。

すなわち、上記特許文献１に記載の方法では、動画像に含まれるオブジェクトなどの被写体が動画像内の位置によって変形してしまうことについては考慮されていない。そのため、カメラの動きの方向や動きの大きさによってはカメラベクトル（フレーム画像間での位置ずれ量を示す移動量）を正しく求めることができず、ブレ補正そのものができなくなる場合がある。これは、魚眼映像等の超広角撮影を行った場合に特に顕著に起こる問題である。

上記特許文献２に記載の方法では、魚眼映像のブレ量（位置ずれの程度）を求める際に一旦透視投影像に変換を行って、透視投影像間での位置ずれ量を示す移動量を、魚眼映像間の移動量として算出する。しかし、上記特許文献１と同様に、魚眼映像内で被写体の位置が変わることによって変形してしまうことについて考慮されていない。つまり、魚眼映像中での被写体の位置によっては、透視投影像を作成した時の形状変化（変形）が大きくなること、その形状変化（変形）に依存して透視投影画像内での中心部と周辺部とで移動量のスケールが異なることについて考慮されていない。そのため、算出される移動量の精度は、魚眼映像内の被写体の位置によって著しく低下する。

ここで、図を用いて魚眼映像の切り出し画像において被写体の位置により変形が生じることを説明する。図１Ａ〜図２Ｂは、魚眼映像における被写体位置によって切り出し画像における被写体に変形が生じることを説明するための図である。図１Ａおよび図２Ａは、魚眼映像を示している。図１Ａと図２Ａでは、被写体である人物の位置が異なっている。

図１Ｂおよび図１Ｂはそれぞれ、図１Ａおよび図２Ａの中心付近（おおよそ点線部分に相当）を透視投影変換によって切り出して生成された切り出し画像を示す。図１Ａに示す魚眼映像では、被写体である人物がほぼ中心部に位置するため、その透視投影画像である図１Ｂに示す切り出し画像には、変形（形状変化）が若干残留しているものその変形（形状変化）は大きくない。一方、図２Ａに示す魚眼映像では、被写体である人物が中心部から離れて位置するため、その透視投影画像である図２Ｂに示す切り出し画像には、被写体の幅が大きくなっており大きな変形（形状変化）が残留しているのがわかる。このように、例えば、図１Ａと図２Ａの魚眼映像について、画像処理によるマッチングを行うとしても、魚眼映像内の被写体の位置によっては、ブレ量を精度よく検出するのは困難であることが分かる。

また、上記特許文献１および上記特許文献２に記載の方法では、上述したような変形に対する考慮がないことに加えて、採用する算出方式による誤差を包含してしまう問題もある。

具体的には、上記特許文献１では、画像処理によって検出可能な画像上の特徴的な点である特徴点を利用したマッチングを行い、マッチングに成功した複数の特徴点から得られた複数のカメラベクトルの誤差を最小化する処理を行うため、各々の特徴点に対する補正量には誤差が含まれる。その理由は、１）一般的に用いられる特徴点抽出アルゴリズム（Ｌｕｃａｓ−Ｋａｎａｄｅ法、ＳＩＦＴ法など）では特徴点算出精度が映像によって低下することがあり被写体の特徴点位置そのものに誤差が含まれる場合があること、２）マッチングに成功した特徴点のペア群の中から、最良のペアを一つだけ選択することが困難であること、３）そのため算出後のカメラベクトルの誤差の最小化を行う必要があること、などである。また、上記特許文献２では、特徴点を利用したテンプレートマッチングを用いる例が記載されているが、上述したように透視投影像を作成する際にはもともとの魚眼像における位置によって非線形な変形が生じるため、ブレ量が小さく、かつ、変形の影響が比較的表れにくい透視投影像の展開中心付近を対象としてテンプレートマッチングを行う場合以外は、そのマッチング自体が失敗する場合がある。

ここで、特徴点ベースのマッチング手法について説明する。

図３Ａ〜図３Ｄは、特徴点ベースのマッチング手法を説明するための図である。特徴点ベースのマッチングは、時間的に連続して撮影された２枚の画像間で共通に存在する被写体上のいくつかの特徴的な点を用いる。以下、２枚の画像のうち、時間的に先に撮影された画像を画像ｔ−１、時間的に後に撮影された画像を画像ｔと表記する。

図３Ａは、画像ｔ−１と、画像ｔ−１より時間的に後に撮影された画像ｔとを表す図である。図３Ｂは、図３Ａに示す画像ｔ−１、画像ｔから抽出された特徴点を表す図である。図３Ｃは、図３Ｂに示す画像ｔ−１、画像ｔから抽出された特徴点の性質の種類を示す図である。図３Ｄは、図３Ｂに示す画像ｔ−１、画像ｔから抽出された特徴点のマッチングを示す図である。ここで、特徴点とは、上述したように、画像処理によって検出可能な画像上の特徴的な点である。

図３Ａに示す画像ｔ−１、画像ｔ上のコントラストの高い画素が、図３Ｂに示す特徴点として選択される。図３Ｂに示すように、コントラストが極めて高いようなコーナーに存在する特徴点は画像間（画像ｔ−１および画像ｔ）で共通して抽出されやすいが、コントラストがそれほど高くないような特徴点は画像間（画像ｔ−１および画像ｔ）で共通して抽出されにくい。

図３Ｂに示す特徴点には、画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られた特徴点（図３Ｃ中に○で示す特徴点）と、画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られているが画像間（画像ｔ−１および画像ｔ）で位置が変わっている特徴点（図３Ｃ中に△で示す特徴点）とがある。また、図３Ｂに示す特徴点には、画像間（画像ｔ−１および画像ｔ）で共通に写っていない領域から得られた特徴点（図３Ｃ中に×で示す特徴点）も存在する。図１Ｂに示す特徴点のうちマッチング可能な特徴点は、画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られた特徴点である（図３Ｃ中に○で示す特徴点）。

しかし、画像間（画像ｔ−１および画像ｔ）で共通して写っている領域から得られた特徴点の位置や比は、マッチング前には未知であるため、どの特徴点が画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られた特徴点であるかも未知である。そのため、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などの手法を使い、画像ｔ−１で抽出された特徴点と画像ｔで抽出された特徴点とからそれぞれ特徴点の組合せを選び出し、事前に設定した評価関数でそれぞれの特徴点の組合せの評価値を求める（図３Ｄ）。この評価値は、画像間（画像ｔ−１および画像ｔ）で共通に写っている領域から得られている特徴点の組合せ（以下、ｉｎｌｉｅｒと表記する）であった場合に高くなりやすいように設計される。

具体的には、画像ｔ−１で抽出された特徴点と画像ｔで抽出された特徴点とから選んだ２組の特徴点の組合せから回転行列を生成する。そして、生成した回転行列が正しいかどうかを検算するために、選んだ特徴点の組合せ以外の画像ｔ−１の特徴点を生成した回転行列で回転させ、回転させた後の画像ｔ−１の特徴点が画像ｔの特徴点と一致するかを確認する。回転させた後の画像ｔ−１の特徴点が画像ｔの特徴点と一致していれば、生成した回転行列が正しい画像間のブレ量（位置ずれの程度）を表している可能性が高い事が分かるため、この一致度合を評価値とした評価関数を設定する。この評価関数を用いて規定回数探索を行った段階で探索を打ち切り、その時点で最大の評価値を得たｉｎｌｉｅｒを用いて回転行列を推定する。一般的にはこのような処理により特徴点ベースのマッチングが行われる。

なお、このｉｎｌｉｅｒは図３Ｃ中で○に示す特徴点のような画像間で共通に存在する特徴点であり、主に撮影された画像内における遠景領域から得られる特徴点である。

このように、特徴点ベースのマッチングは、画像間（画像ｔ−１および画像ｔ）で生じたブレ（位置ずれ）を、画像ｔ−１と画像ｔで共通に写っている領域から得られる画像ｔ−１の特徴点の分布と画像ｔの特徴点の分布とができるだけ一致するように反復的に探索を行う手法でり、画像ｔ−１と画像ｔの共通に写っている領域から得られる特徴点（ｉｎｌｉｅｒ）の分布が最も一致する時の移動量を画像間（画像ｔ−１および画像ｔ）のブレ量と推定する手法である。

さらに、上記特許文献２には、ブレ補正のため画像処理ではなくセンサを用いた動き検出による処理方法が例示されているが、センサを用いた方法でも、高精度な手ブレ補正を行うことが困難であるという問題がある。以下これを説明する。

上記特許文献２で例示されているジャイロなどのセンサを用いた動き検出では、センサの性能（感度、ダイナミックレンジ、計測軸など）と検出したい動きとの対応が取れていない場合はセンサが正しい値を算出できない。そのため、センサの性能と検出したい動きとの対応が取れていない場合にはブレ補正の精度低下が発生する。特にユーザーがカメラなどの撮影装置を移動しながら使用する場合には、撮影装置には歩行等に起因する衝撃が加わり、センサの出力が乱される。このようにセンサの出力が乱された場合、ブレ量として検出した値すなわちセンサ出力値が正しくないので、検出した値を用いて高精度なブレ補正はできない。

本発明は、上述の事情を鑑みてなされたものであり、時間的に連続して撮影された複数の画像間のブレ量を高精度に算出する画像処理装置、画像処理方法、プログラム及び撮影装置を提供することを目的とする。

前記目的を達成するために、本発明の画像処理装置の一態様は、時間的に連続して撮影された複数の画像間の位置ずれを補正するための画像処理装置であって、第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する、互いに垂直な３軸の軸周り方向の回転位置ずれ量を示す回転移動量を算出する回転移動量算出部と、前記第１の画像および前記第２の画像から、第１切り出し画像および第２切り出し画像を生成する切り出し画像生成部と、前記第２切り出し画像の前記第１切り出し画像に対する平行方向の位置ずれ量を示す平行移動量を算出する平行移動量算出部と、算出された前記回転移動量および前記平行移動量に基づいて、前記第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を決定する移動量決定部とを備え、前記切りだし切り出し画像生成部は、前記第１の画像の所定の第１範囲を切り出して、切り出した前記所定の第１範囲に撮影に用いた光学系の特性に基づいた歪み補正を行うことにより第１切り出し画像を生成し、かつ、算出された前記回転移動量を用いて前記第２の画像の前記３軸周り方向の回転位置ずれ量を補正した第１補正画像の前記所定の第１範囲に対応する第２範囲を切り出して、切り出した当該対応する第２範囲に前記歪み補正を行うことにより第２切り出し画像を生成する。

本構成により、画像間の移動量算出を２段階に分けて算出することで、演算コストの上昇を抑制しつつも、時間的に連続して撮影された複数の画像間のブレ量を高精度に算出する画像処理装置を実現することができる。なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

本発明によれば、時間的に連続して撮影された複数の画像間のブレ量を高精度に算出する画像処理装置、画像処理方法、プログラム及び撮影装置を実現することができる。それにより、魚眼像のような超広角画像かつその画像間の移動量が画像の変形が無視できないほど大きなものであっても、正確なブレ量の算出と補正を行うことができるという効果を奏する。

図１Ａは、魚眼映像における被写体位置によって切り出し画像における被写体に変形が生じることを説明するための図である。 図１Ｂは、魚眼映像における被写体位置によって切り出し画像における被写体に変形が生じることを説明するための図である。 図２Ａは、魚眼映像における被写体位置によって切り出し画像における被写体に変形が生じることを説明するための図である。 図２Ｂは、魚眼映像における被写体位置によって切り出し画像における被写体に変形が生じることを説明するための図である。 図３Ａは、特徴点ベースのマッチング手法を説明するための図である。 図３Ｂは、特徴点ベースのマッチング手法を説明するための図である。 図３Ｃは、特徴点ベースのマッチング手法を説明するための図である。 図３Ｄは、特徴点ベースのマッチング手法を説明するための図である。 図４は、本発明の実施の形態１における画像処理装置の構成を示すブロック図である。 図５は、本発明の実施の形態１における回転移動量算出部の詳細構成例を示すブロック図である。 図６は、本発明の実施の形態１における特徴点を格納するリストの一例を示す図である。 図７は、画像平面と入射光および球面マッチングによる歪み補正処理を説明するための図である。 図８Ａは、剛体モデルにおいて回転による位置合わせ（マッチング）を説明するための図である。 図８Ｂは、剛体モデルにおいて回転による位置合わせ（マッチング）を説明するための図である。 図８Ｃは、剛体モデルにおいて回転による位置合わせ（マッチング）を説明するための図である。 図９は、本発明の実施の形態１における平行移動量算出部の詳細構成例を示すブロック図である。 図１０は、本発明の実施の形態１における移動量決定部の合成処理を説明するための図である。 図１１は、本発明の実施の形態１における画像処理装置の動きを説明するためのフローチャートである。 図１２は、発明の実施の形態１における画像処理装置の最小構成を示す図である。 図１３は、本発明の実施の形態２における画像処理装置の回転移動量算出部の詳細構成例を示すブロック図である。 図１４は、本発明の実施の形態２における画像処理装置の動きを説明するためのフローチャートである。 図１５は、本発明の実施の形態３における本願の画像処理装置を撮影装置に組み込んだ場合の構成を示すブロック図である。 図１６は、本発明の実施の形態３における再生装置の構成を示すブロック図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図４は、本発明の実施の形態１における画像処理装置の構成を示すブロック図である。

図４に示す画像処理装置１は、時間的に連続して撮影された複数の画像間の位置ずれを補正するための画像処理装置であって、処理対象の画像データを取得する画像取得部１１と取得した画像データを処理する画像処理部１２とを備える。

画像処理部１２は、回転移動量算出部２２と、回転移動量判定部２３と、平行移動量算出部２４と、平行移動量判定部２５と、移動量決定部２６と、メモリ２８とを備える。

回転移動量算出部２２は、画像取得部１１から処理対象の画像データを取得し、処理対象となる２つの画像間（例えば第１の画像と第２の画像）に存在する回転移動量を算出する。具体的には、回転移動量算出部２２は、撮影された第１の画像に対する第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する、互いに垂直な３軸の軸周り方向の回転位置ずれ量を示す回転移動量を算出する。ここで、互いに垂直な３軸の軸周り方向の回転位置ずれ量とは、撮影に用いた光学系の光軸周りの回転角度、または撮影に用いた光学系の光軸に対して互いに垂直な２軸のうち少なくとも１つの軸周りの回転角度である。なお、回転移動量算出部２２についての詳細説明は後述するためここでの説明は省略する。

回転移動量判定部２３は、平行移動量算出部２４の前段に設けられ、回転移動量の算出が成功したか否かを判定する。具体的には、回転移動量判定部２３は、回転移動量算出部２２が回転移動量の算出に成功したか失敗したかを判断し、成功したと判断した場合には回転移動量算出部２２の算出結果を平行移動量算出部２４へ出力する。さらに具体的には、回転移動量判定部２３は、回転移動量の算出が成功したと判定する場合には、その回転移動量を平行移動量算出部２４に出力する。回転移動量判定部２３は、回転移動量の算出が失敗したと判定する場合には、その回転移動量を、３軸周り方向の位置ずれがないことを示すゼロ値として平行移動量算出部２４および移動量決定部２６に出力し、移動量決定部２６に、第１の画像と第２の画像との間の位置ずれ量を示す移動量を当該ゼロ値に決定させる。

ここで、算出の失敗とは、回転移動量算出部２２において移動量を求めることができなかった場合以外に、移動量は算出されたものの、その移動量とそれまでに算出済みの移動量との差が所定の値より大きい場合であったり、移動量算出の過程で求めた中間パラメータの値が適切でなかったり、といった場合を指す。なお、この判断の基準及び方法は、許容する誤差等によって適切に設定すればよく、上記に限定するものではない。回転移動量の算出に失敗した場合、平行移動量算出部２４〜移動量決定部２６までの処理は実施しないとしてもよい。その場合、移動量の算出を行った２つの画像間の移動量の設定は例えば以下のような方法を用いて設定するとしてもよい。

１．回転移動量を０とする。
２．以前算出に成功した回転移動量を利用する。
３．以前算出にして移行した回転移動量と、次に算出に成功する回転移動量とから、例えば内挿処理などを行って推定する。

平行移動量算出部２４は、回転移動量算出部２２により算出された回転移動量を用いて平行移動量を算出するための画像データを生成したのち、平行移動量算出処理を行って平行移動量を算出する。具体的には、平行移動量算出部２４は、第１の画像の所定の第１範囲を切り出して、撮影に用いた光学系の特性に基づいた歪み補正をその切り出した所定の第１範囲に行うことにより第１切り出し画像を生成し、かつ、算出された回転移動量を用いて第２の画像の前記３軸周り方向の位置ずれを補正した第１補正画像の前記所定の第１範囲に対応する第２範囲を切り出して、前記歪み補正を切り出した当該対応する第２範囲に行って第２切り出し画像を生成する切り出し画像生成部を有し、第２切り出し画像の第１切り出し画像に対する平行方向の位置ずれ量を示す平行移動量を算出する。ここで、平行移動量算出部２４は、回転移動量に含まれる誤差、すなわち処理対象の２つの画像間の位置の残差を小さくするために平行移動量を算出している。なお、平行移動量算出部２４についての詳細説明は後述するためここでの説明は省略する。

平行移動量判定部２５は、平行移動量算出部２４の後段に設けられ、平行移動量の算出が成功したか失敗したかを判断する。具体的には、平行移動量判定部２５は、平行移動量の算出が成功したと判定する場合には、その平行移動量を移動量決定部２６に出力する。一方、平行移動量判定部２５は、平行移動量の算出が失敗したと判定する場合には、平行移動量を、平行方向の位置ずれがないことを示すゼロ値として移動量決定部２６に出力する。

ここで、算出の失敗とは、平行移動量算出部２４において平行移動量を求めることができなかった場合以外に、平行移動量は算出されたものの、その平行移動量とそれまでに算出済みの平行移動量との差が所定の値より大きい場合であったり、平行移動量算出の過程で求めた中間パラメータの値が適切でなかったり、といった場合を指す。

移動量決定部２６は、算出された回転移動量および平行移動量に基づいて、第２の画像の第１の画像に対する位置ずれ量を示す移動量を決定する。具体的には、移動量決定部２６は、算出された回転移動量と算出された平行移動量とを合成した合成移動量を、移動量として決定する。より具体的には、移動量決定部２６は、回転移動量判定部２３より出力された回転移動量と平行移動量判定部２５により出力された平行移動量とを合成して２つの画像のブレ量（位置ずれ量）に相当する補正パラメータを最終的に決定する。

なお、移動量決定部２６は、平行移動量判定部２５により、平行移動量算出部２４が平行移動量の算出に失敗したと判定された場合、平行移動量は０であるとして回転移動量算出部２２で算出した回転移動量を第１の画像と第２の画像との間の位置ずれ量を示す移動量（最終的な補正パラメータ）とする。また、移動量決定部２６は、回転移動量判定部２３により、回転移動量算出部２２が回転移動量の算出に失敗したと判定された場合、第１の画像と第２の画像との間の位置ずれ量を示す移動量（最終的な補正パラメータ）を当該ゼロ値に決定する。

以上のように、画像処理装置１は構成される。

続いて、回転移動量算出部２２の詳細構成等について説明する。

図５は、本発明の実施の形態１における回転移動量算出部２２の詳細構成例を示すブロック図である。

回転移動量算出部２２は、図５に示すように、特徴点抽出部２２１と、歪み除去部２２２と、特徴点マッチング部２２３と、誤差最小化部２２４と、メモリ２８ａとを備える。

ここでは、２つの画像間に存在するブレ量（位置ずれ量）を示す移動量を、剛体モデルを定義して、その剛体に設定された３軸周りの回転によって表現する場合について説明する。また、移動量の算出に使用した画像データや算出結果、各種パラメータの少なくとも一回分は、図中のメモリ２８ａあるいは図示しないメモリ２８などに記録されており、必要に応じて再利用することができるものとする。

特徴点抽出部２２１は、第１の画像と第２の画像とからそれぞれ特徴点を抽出する。具体的には、特徴点抽出部２２１は、入力された画像データを解析して特徴点の抽出とその座標および特徴量を算出する。特徴点を抽出する方法については、図３Ａおよび図３Ｂで説明したので、ここでは説明を省略するが、特徴点の算出を行う領域を画像全体とせず、局所領域とするような制限を設けてもよい。また、特徴点抽出部２２１は、抽出された特徴点は、図６に示すような特徴点ごとの特徴量を格納するリストに記録する。このリストは、図示しないメモリ２８に格納されている。ここで、図６は、本発明の実施の形態１における特徴点を格納するリストの一例を示す図である。

図６において、座標は、画像の左上を原点とした直交座標系を、特徴量はＨａｒｒｉｓ値を、球面座標は後述の歪み補正後の座標を示している。また、周辺特徴は、対象の画素と周辺画素平均とのコントラスト、濃度（輝度）、色差等の比または差分値、対象画素の濃度勾配ベクトルの方向やベクトル強度を示している。なお、特徴点ごとの特徴量としては図６に示すものに限定するものではなく、特徴点マッチングに有用なパラメータであればよい。また、演算コストと精度との兼ね合いから、算出したすべての特徴点を利用するのではなく、特徴量についてソートを行い、例えば上位１００点の特徴点のみを使用するというようにしてもよい。

歪み除去部２２２は、特徴点抽出部２２１により抽出された第１の画像の特徴点と第２の画像の特徴点とにおける撮影に用いた光学系の光学歪みに起因する光学歪みを除去する。具体的には、歪み除去部２２２は、特徴点抽出部２２１により抽出された第１の画像の特徴点と第２の画像の特徴点とにおける撮影に用いた光学系の光学歪みに起因する位置ずれを補正することにより、当該第１の画像の特徴点と当該第２の画像の特徴点との光学歪みを除去する。より具体的には、歪み除去部２２２は、抽出した特徴点の座標を、剛体モデルに従って補正する。つまり、歪み除去部２２２は、特徴点抽出部２２１により抽出された画像上（２次元）の特徴点を剛体モデルに従って３次元空間に展開（球面にマッピング）することで、画像に存在する形状の歪みを除去する。以下、この歪み補正処理について説明する。

図７は、画像平面と入射光および球面マッピングによる歪み補正処理を説明するための図である。

図７に示すように、レンズ６４を通って画像データ平面６３（例えばイメージセンサ）に到達する光線６２は、仮想球面６１上の点Ｑから発せられたとみなすことができる。例えば使用しているレンズ６４が立体射影方式である場合、画像データ平面６３上の点Ｔ（ｕ、ｖ）と点Ｑとの間には、焦点距離をｆ、ＯＱとレンズ６４の光軸であるＺ軸とのなす角をθとすると、（式１）を満たす関係にある。そして、（式１）を変形すると、θは、（式２）のように表すことができる。

√（ｕ＾２＋ｖ＾２）＝２ｆ・ｔａｎ（θ／２） （式１）
θ＝２・ａｒｃｔａｎ（（√（ｕ＾２＋ｖ＾２））／２ｆ） （式２）

ここで、Ｔ（ｕ、ｖ）がｕｖ平面においてｕ軸となす角をφとすると、φは、（式３）のように表せる。仮想球面６１上の点Ｑの座標は、仮想球面６１の半径をＲとすると、（式２）および（式３）から（式４）のように求めることができる。

φ＝ａｒｃｔａｎ（ｖ／ｕ） （式３）
Ｑ（ｘ、ｙ、ｚ）＝（Ｒ・ｓｉｎθｃｏｓφ、Ｒ・ｓｉｎθｓｉｎφ、Ｒ・ｃｏｓθ） （式４）

なお、仮想球面６１の半径Ｒは簡単のため１とする単位球面として扱ってよい。

被写体を撮影して得られる画像データは、元々３次元空間を切り取って２次元に投射したものである。そのため、上記の（式４）等に従って特徴点の座標を３次元空間に展開（球面にマッピング）することができる。また、特徴点の座標を３次元空間に展開することにより、３次元空間を切り取って２次元に投射したことで生じていた画像データ平面６３に存在する形状の歪みを除去することが可能となる。

なお、実際には、歪み除去部２２２は、図６に示すようなリストに、補正後の３次元空間座標を追記したうえでメモリ２８ａに格納することにより、抽出した特徴点の座標を、剛体モデルに従って補正する。

メモリ２８ａは、少なくともひとつ前の回転移動量算出に使用した特徴点データが記録されており、これが第１の画像の情報として読みだされる。なお、メモリ２８ａは、回転移動量算出部２２に設けられていなくてもよく、メモリ２８の一部領域であってもよい。

特徴点マッチング部２２３は、歪み除去部２２２により光学歪みを除去された第１の画像の特徴点と第２の画像の特徴点とでマッチングを行う。具体的には、特徴点マッチング部２２３は、第１の画像の特徴点と第２の画像の特徴点とが入力され、これらの特徴点間のマッチング処理を行って２つの画像間の回転移動量（例えば回転角度などの３軸周り方向の位置ずれ量）を算出する。

ここで、剛体モデルを用いた回転による位置合わせ（マッチング）の例を示す。図８Ａ〜図８Ｃは、剛体モデルにおいて回転による位置合わせ（マッチング）を説明するための図である。

図８Ａは、剛体の一例である球体に対し、互いに直行する３軸を設定して、それらの軸回りの回転量をそれぞれθｘ、θｙ、θｚとした例を示している。ここで、互いに直行する３軸回りの回転量は、３軸周り方向の位置ずれ量の典型例である。また、図８Ｂ、図８Ｃは、同じ形状、大きさの被写体（図では星型）を球面上の異なる位置に配置した例を示している。このような剛体モデルを用いた場合、図８Ｂと図８Ｃとは各軸回りの回転を多くとも一回ずつ行えば、被写体位置を一致させることができる。

このように、特徴点マッチング部２２３は、各軸回りの回転により被写体位置を一致させるマッチング処理を行って、３軸周り方向の位置ずれ量（回転移動量）を算出する。

なお、このマッチング処理は２つの画像の移動量を特徴点として利用する方法であればよく、図８に示す例に限らない。例えばＲＡＮＳＡＣマッチング法などを使用するとしてもよい。

誤差最小化部２２４は、特徴点マッチング部２２３により行われたマッチングが成功した第１の画像の特徴点とその特徴点に対応した第２の画像の特徴点との組を用いて、第２の画像の３軸周り方向の位置ずれを補正した際の誤差が最小になるように、回転移動量を算出する。

一般的には、図３Ｄで示すように、２つの画像それぞれに属する２つの特徴点の組の間でマッチングに成功するペア（ｉｎｌｉｅｒ）が複数存在する。これらのｉｎｌｉｅｒを用いてそれぞれのｉｎｌｉｅｒを用いた時の誤差の総和が最小になるような一種の平均化処理を行う。誤差最小化部２２４はこれを実施する処理部である。誤差最小化部２２４が行う処理方法としては、レーベンバーグ・マルカート法や勾配法、平均化などを用いることができる。

誤差最小化部２２４は、上記処理を行うことで３軸周り方向の位置ずれ量を示す回転移動量を算出できる。具体的には、誤差最小化部２２４は、回転移動量を示す回転行列Ｒ＿ｒｏｔを算出し、この回転行列Ｒ＿ｒｏｔから３軸回りの回転移動量（θｘ、θｙ、θｚ）を求めることができる。

なお、誤差最小化部２２４は、図５に示すように、特徴点マッチング部２２３の後段に設けられる場合に限らない。上記の処理方法を行うのであれば、特徴点マッチング部２２３の内部に設けられているとしてもよい。

以上のように、回転移動量算出部２２は構成される。

続いて、平行移動量算出部２４の詳細構成等について説明する。

図９は、本発明の実施の形態１における平行移動量算出部２４の詳細構成例を示すブロック図である。

平行移動量算出部２４は、図９に示すように、第１補正画像生成部２４１と、切り出し画像生成部２４３と、パターンマッチング部２４４と、メモリ２８ｂとを備える。以下では、回転移動量の算出が成功したとして説明する。

第１補正画像生成部２４１は、算出された回転移動量を用いて、第２の画像の３軸周り方向の位置ずれを補正した第１補正画像を生成する。また、第１補正画像生成部２４１は、座標変換テーブル生成部２４２を有しており、座標変換テーブル生成部２４２に座標変換テーブルを生成させるとともに、座標変換テーブル生成部２４２に生成させた前記座標変換テーブルを用いて前記第１補正画像を生成する。

座標変換テーブル生成部２４２は、算出された回転移動量に基づいて、第１補正画像の各画素と第２の画像の各画素との対応を示す座標変換テーブルを生成する。具体的には、座標変換テーブル生成部２４２は、回転移動量を用いて第２の画像を球面上で回転させたあと第１補正画像生成部２４１が補正画像を生成するときに、第２の画像の各画素と補正画像の各画素の対応を記述した座標変換テーブルを生成する。

より具体的には、座標変換テーブル生成部２４２は、３次元空間（球面）に展開した第２の画像に対して、上述した回転行列Ｒ＿ｒｏｔを作用させるすなわち３次元空間で回転させることにより第１補正画像の３次元空間展開データを求める。座標変換テーブル生成部２４２は、算出した第１補正画像の３次元空間展開データと第２の画像の３次元空間展開データとにおいて、対応する光線の入射方向、それぞれの画像平面における画素位置の対応に変換してその位置関係を記述した座標変換テーブルを生成する。そして、第１補正画像生成部２４１では、座標変換テーブル生成部２４２により生成された座標変換テーブルを使用して、第２の画像の第１の画像に対する回転移動量を補正した第１補正画像を生成し、これをメモリ２８ｂに記録する。

切り出し画像生成部２４３は、第１の画像の所定の第１範囲を切り出し、撮影に用いた光学系の特性に基づいた歪み補正を切り出した所定の第１範囲に行って第１切り出し画像を生成し、かつ、第１補正画像の所定の第１範囲に対応する第２範囲を切り出して、撮影に用いた光学系の特性に基づいた歪み補正を切り出した当該対応する第２範囲に行って第２切り出し画像を生成する。具体的には、切り出し画像生成部２４３は、切り出した第１の画像の所定の第１範囲と、切り出した第１補正画像の対応する第２範囲との透視投影画像を生成することにより、第１の画像の所定の第１範囲および第１補正画像の対応する第２範囲に撮影に用いた光学系の特性に基づいた歪み補正を行った第１切り出し画像および第２切り出し画像を生成する。

つまり、切り出し画像生成部２４３は、第１の画像および第１補正画像から予め設定された所定サイズの透視投影像を切り出すことで、撮影に用いた光学系の特性に基づいた歪み補正を行った第１切り出し画像および第２切り出し画像を生成する。

なお、切り出された透視投影像はメモリ２８ｂに記録しておき、再利用できるようにしてもよい。

また、第２切り出し画像の生成は、座標変換テーブルを回転移動量の補正と使用している光学系特性の両方を含んだものとし、第１補正画像の生成を経ずに第２の画像から求めるとしてもよい。この場合、座標変換テーブル生成部２４２は、切り出し画像生成部２４３に含まれることとなる。また、座標変換テーブルに従って生成する画像は、回転移動量と光学歪みとの両方が補正された透視投影像となるため、第１補正画像生成部２４１は不要となる。

ところで、この段階すなわち切り出し画像生成部２４３により第１切り出し画像および第２切り出し画像が生成された段階は、回転移動量によって位置合わせが行われた段階となっており、回転移動量の精度が十分であれば、お互い（第１切り出し画像および第２切り出し画像）がよく似た画像となっている。その場合には、剛体モデルに設定した回転移動量によって、画像平面の平行移動量を近似することで、切り出し画像（＝平面）の光軸周りの回転と平行移動とが補正できることを示している。しかしながら、上述したように回転移動量の算出には最終段で誤差最小化部２２４が存在し、画像全体についての全体最適を行った結果を得るため、表示および視聴に用いる切り出し画像の移動量補正が最適化できているとは必ずしも言えない。そのため、前記切り出し画像間すなわち切り出し画像生成部２４３により生成された第１切り出し画像および第２切り出し画像間に存在する誤差を最小化するためのパターンマッチング処理をパターンマッチング部２４４で行う。

パターンマッチング部２４４は、第１の画像と第１補正画像のそれぞれから切り出された２つの透視投影像（第１切り出し画像と第２切り出し画像と）に対してパターンマッチングを行って、２つの切り出し画像間に存在する平行移動量を算出する。具体的には、平行移動量算出部２４は、第１切り出し画像に対して互いに直行する３軸を設定し、当該３軸のうち少なくとも１つの軸方向における第１切り出し画像に対する第２切り出し画像の平行方向の位置ずれ量を算出することで、平行移動量を算出する。

なお、平行移動量の算出は、パターンマッチングに限られない。例えば、オブジェクトマッチングまたは特徴点マッチングを行うとしてもよい。また、例えば、ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）法、オプティカルフロー法、一方の切り出し画像の一部をさらに切り出し、これをテンプレートとするテンプレートマッチング法などを行うとしてもよい。

以上のように、平行移動量算出部２４は構成される。

そして、以上のように構成された平行移動量算出部２４は、第２切り出し画像の前記第１切り出し画像に対する平行方向の位置ずれ量を示す平行移動量を算出する。具体的には、平行移動量算出部２４は、平行移動量を示すｄｅｌｔａ＝（Δｕ、Δｖ）を算出する。

なお、上記では、説明を簡単にするために画像平面上の互いに直行する２軸についてのみ説明を行ったが、画像平面に垂直なｚ方向についてのマッチングを行うとしてもよい。ｚ方向のマッチングを行う場合は、画像平面上のオブジェクトの大きさ、すなわちズーム倍率を変えることと等価になる。つまり、平行移動量算出部２４は、第１切り出し画像に対して互いに直行する３軸のうち１軸を切り出し画像に垂直な方向の軸とし、当該垂直な方向の軸方向における第１切り出し画像に対する第２切り出し画像の平行移動量を、第１切り出し画像に対する第２切り出し画像の拡大率または縮小率を示す値として算出することになる。

なお、メモリ２８ａは、平行移動量算出部２４に設けられていなくてもよく、メモリ２８の一部領域であってもよい。

また、移動量決定部２６は、例えば回転移動量算出部２２により算出された回転行列Ｒ＿ｒｏｔと、平行移動量算出部２４により算出されたｄｅｌｔａとを合成して、２つの画像間（第１の画像および第２の画像）のブレ量（位置ずれ量）に相当する補正パラメータ（合成移動量）を最終的に決定する。

以下、回転移動量算出部２２と平行移動量算出部２４とともに算出に成功した場合に移動量決定部２６により決定される移動量（最終的な補正パラメータ）の意味ついて説明する。図１０は、本発明の実施の形態１における補正パラメータを用いて画像間の位置ずれを補正した画像について説明するための図である。

図１０に示す切り出し画像７１は、回転移動量を示すＲ＿ｒｏｔによって、第２の画像の第１の画像に対する３軸周り方向の位置ずれが補正された第１補正画像の切り出し画像を示している。図１０に示す切り出し画像７２は、回転移動量を示す回転行列Ｒ＿ｒｏｔと平行移動量を示すｄｅｌｔａとを合成した補正パラメータ（合成移動量）によって、第２の画像の第１の画像に対する３軸周り方向の位置ずれが補正された切り出し画像を示している。

つまり、切り出し画像７２は、切り出し画像７１にさらにｄｅｌｔａによる補正を行って得る切り出し画像である。ｄｅｌｔａによる補正とは、切り出し画像７１の点Ｑ（ｕ、ｖ）を（Δｕ、Δｖ）だけ平行移動した点Ｐ（ｕ＋Δｕ、ｖ＋Δｖ）に移動させることを意味する。このｄｅｌｔａによる補正を切り出し画像７１の全画素に適用することにより、平行移動後の切り出し画像７２すなわち補正パラメータを用いて画像間のブレ量（位置ずれ）を補正した画像を得ることができる。

このように、回転移動量を示すＲ＿ｒｏｔと平行移動量を示すｄｅｌｔａとを別々に第２の画像に適用することで、第２の画像の第１の画像に対する位置ずれ（画像間のブレ量）を補正することができる。このように最終的な補正パラメータである移動量を回転移動量と平行移動量との合成処理により算出できるということは、切り出し画像７１を作成する際の原点位置（＝展開中心）をｄｅｌｔａだけ移動させたうえで、すでに作成済みの座標変換テーブルを再利用できることを意味する。

また、回転を含んだ場合の座標変換は一般には線形でない。そのため、パラメータに変更が生じた場合にはテーブルの再計算を必要とするが、本実施の形態に係る画像処理装置１では、回転と平行移動とを組み合わせることにより画像間のブレ量を補正することができるのでテーブルの再計算は不要とすることができる。なお、ｄｅｌｔａを（式１）等を用いて３軸周りの回転移動量に変換して、座標変換テーブルを再計算することによって、上述の回転移動量に平行移動量を合成するとしてもかまわない。ただし、この場合はテーブルを再計算する再演算コストが必要となる。

次に、以上のように構成された画像処理装置１の動きについて説明する。

図１１は、本発明の実施の形態１における画像処理装置の動きを説明するためのフローチャートである。

まず、画像処理装置１は、画像取得部１１で処理対象の画像データを取得する。

次に、回転移動量算出部２２は、画像取得部１１から処理対象の画像データを取得し、処理対象となる２つの画像間（例えば第１の画像と第２の画像）に存在する回転移動量を算出する（Ｓ１０）。具体的には、特徴点抽出部２２１は、第１の画像と第２の画像とからそれぞれ特徴点を抽出する（Ｓ１０１）。次いで、歪み除去部２２２は、特徴点抽出部２２１により抽出された第１の画像の特徴点と第２の画像の特徴点とにおける撮影に用いた光学系の光学歪みに起因する光学歪みを除去する（Ｓ１０２）。次いで、特徴点マッチング部２２３は、歪み除去部２２２により光学歪みを除去された第１の画像の特徴点と第２の画像の特徴点とのマッチングを行うことで、第１の画像および第２の画像間の回転移動量を算出する（Ｓ１０３）。

次に、回転移動量判定部２３は、回転移動量の算出が成功したか否かを判定する（Ｓ２０）。具体的には、回転移動量判定部２３は、回転移動量算出部２２が回転移動量の算出に成功したか失敗したかを判断し（Ｓ２０１）、回転移動量の算出が成功したと判定する場合には（Ｓ２０１のＹｅｓ）、その回転移動量を平行移動量算出部２４に出力する。一方、回転移動量判定部２３は、回転移動量の算出が失敗したと判定する場合には（Ｓ２０１のＮｏ）、その回転移動量を、３軸周り方向の位置ずれがないことを示すゼロ値として（Ｓ２０２）平行移動量算出部２４および移動量決定部２６に出力する。

次に、平行移動量算出部２４は、回転移動量算出部２２により算出された回転移動量を用いて平行移動量を算出するための画像データを生成したのち、平行移動量算出処理を行って平行移動量を算出する（Ｓ３０）。具体的には、座標変換テーブル生成部２４２は、算出された回転移動量に基づいて、第１補正画像の各画素と第２の画像の各画素との対応を示す座標変換テーブルを生成する（Ｓ３０１）。第１補正画像生成部２４１は、座標変換テーブル生成部２４２により生成された座標変換テーブルを使用して、第２の画像の第１の画像に対する回転移動量を補正した第１補正画像を生成する（Ｓ３０２）。次いで、切り出し画像生成部２４３は、切り出した第１の画像の所定の第１範囲と、切り出した第１補正画像の対応する第２範囲との透視投影画像を生成することにより、第１切り出し画像および第２切り出し画像を生成する（Ｓ３０３）。次いで、パターンマッチング部２４４は、第１の画像と第１補正画像のそれぞれから切り出された２つの透視投影像（第１切り出し画像と第２切り出し画像と）に対してパターンマッチングを行って、２つの切り出し画像間に存在する平行移動量を算出する（Ｓ３０４）。

次に、平行移動量判定部２５は、平行移動量の算出が成功したか失敗したかを判断する（Ｓ４０）。具体的には、平行移動量判定部２５は、平行移動量の算出が成功したか失敗したかを判断し（Ｓ４０１）、平行移動量の算出が成功したと判定する場合には（Ｓ４０１のＹｅｓ）、その平行移動量を移動量決定部２６に出力する。一方、平行移動量判定部２５は、平行移動量の算出が失敗したと判定する場合には（Ｓ４０１のＮｏ）、平行移動量を、平行方向の位置ずれがないことを示すゼロ値として（Ｓ４０２）、移動量決定部２６に出力する。

次に、移動量決定部２６は、算出された回転移動量および平行移動量に基づいて、第２の画像の第１の画像に対する位置ずれ量を示す移動量を決定する（Ｓ５０）。

以上のようにして、画像処理装置１は、時間的に連続して撮影された複数の画像間の位置ずれを補正するための補正パラメータである移動量を決定する。

そして、画像処理装置１により決定させた移動量を用いて、時間的に連続して撮影された複数の画像間の位置ずれを補正した補正画像を生成する。

以上、本実施の形態によれば、時間的に連続して撮影された複数の画像間のブレ量を高精度に算出する画像処理装置及び画像処理方法を実現することできる。例えば、従来方式では困難であった魚眼映像などの超広角映像であっても高精度にブレ量の算出を行うことができるので、決定したブレ量を用いて画像を補正することによって、視聴時の映像品質を向上させることが可能となる。つまり魚眼像のような超広角画像かつその画像間の移動量が画像の変形が無視できないほど大きなものであっても、正確なブレ量の算出と補正を行うことができるという効果を奏する。

なお、本実施の形態の画像処理装置では、魚眼映像等の超広角映像に対して顕著な効果を奏するので、好ましい適用例であるがそれに限らない。画角７０度程度以下の通常画角映像に対しても適用が可能である。その際は少なくとも前記第１と第２の画像との間に５０％よりも広い面積の共通部分が必要であるため、通常画角での撮影には超広角撮影時よりも手ブレが抑制された状態で適用するという条件上で効果を奏することになる。また、本願を用いたブレ検出方式は、魚眼を含む超広角、通常画角ともに光学パラメータ（射影方式、焦点距離、イメージセンサのサイズ、画素数など）が必要である。

また、画像処理装置１は、移動量決定部２６により決定させた補正パラメータ（合成移動量）を用いて、時間的に連続して撮影された複数の画像間の位置ずれすなわち第２の画像の位置ずれを補正した補正画像を生成する補正画像生成部を備えるとしてもよい。また、その場合に、補正画像生成部により生成された補正画像はメモリ２８に格納するとしてもよい。

なお、上記では、画像処理装置１は、画像取得部１１と画像処理部１２とを備え、画像処理部１２は、回転移動量算出部２２と、回転移動量判定部２３と、平行移動量算出部２４と、平行移動量判定部２５と、移動量決定部２６と、メモリ２８とを備えるとしたがそれに限られない。図１２に示すように、画像処理装置１の最小構成として、画像処理部１２ａは、回転移動量算出部２２と、切り出し画像生成部２４３を有する平行移動量算出部２４と、移動量決定部２６とを有する画像処理部１２ａを備えていればよい。ここで、図１２は、本発明の実施の形態１における画像処理装置の最小構成を示す図である。図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。

画像処理装置１は、この画像処理部１２ａを少なくとも備えることにより、時間的に連続して撮影された複数の画像間のブレ量を高精度に算出することができる。魚眼像のような超広角画像かつその画像間の移動量が画像の変形が無視できないほど大きなものであっても、正確なブレ量の算出と補正を行うことができるという効果を奏する。

（実施の形態２）
実施の形態１では、回転移動量を回転移動量算出部２２で画像処理を行うことにより算出していたが、それに限らない。実施の形態２では、回転移動量を回転移動量算出部で画像処理ではなくセンサを用いて算出する場合について説明する。

図１３は、本発明の実施の形態２における画像処理装置の回転移動量算出部の詳細構成例を示すブロック図である。図５と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図１３に示す回転移動量算出部３２は、センサ情報取得部３２１と、フィルタ部３２２と、センサ情報演算部３２３と、メモリ２８ｃとを備える。

センサ情報取得部３２１は、図示しない撮影装置に装着されたセンサからの情報（センサ情報）を取得する。なお、センサは、物理的には、撮影装置に装着されているが、論理的にセンサ情報取得部３２１に構成されているとしてもよい。

撮影装置に装着されたセンサは、少なくとも映像と同期し、映像のフレームレート以上のサンプル間隔でカメラの動きを計測する。回転移動量算出部３２が回転移動量を算出することから、ここで用いるセンサは、角速度センサ、角加速度センサなどの回転成分を計測できるセンサが望ましい。ただし、加速度センサや方位センサなどを用いても近似的に回転角度を求めることが可能であるため、これらの種類のセンサを使用してもよい。

フィルタ部３２２は、センサ情報の計測軸ごとにフィルタ処理を行う。ここで、フィルタ部３２２は、センサの種類や取得レートによってその処理内容が異なる。角速度センサ、角加速度センサを使用した場合はスパイクノイズなどを除去したうえでＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を作用させることが一般的である。逆に加速度センサの場合はＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を用いることが一般的である。フィルタの特性はそれぞれ使用するセンサの特性（周波数感度、ダイナミックレンジなど）と検出したい動きの特性に応じて設定すればよい。センサ情報のサンプルレートが画像のフレームレートよりも高い場合は、複数のセンサ情報を用いてある画像を取得した時点の移動量を推定してもよい。

メモリ２８ｃは、フィルタ部３２２の結果と少なくとも一つ以上の過去のフィルタ処理後のセンサ情報とを保持する。なお、メモリ２８ｃは、回転移動量算出部３２に設けられていなくてもよく、メモリ２８の一部領域であってもよい。

センサ情報演算部３２３は、フィルタ部３２２の出力とメモリ２８ｃに格納されているセンサ情報とから回転移動量を算出する。つまり、センサ情報演算部３２３は、センサ情報から回転移動量を抽出する処理を行う。もっとも単純な処理は最新のセンサ情報と時間的に１サンプル（画像と同期している）だけ前のセンサ情報との差分を、センサの計測軸ごとに求めることである。このようにして回転移動量を算出する。

以上のように、回転移動量算出部３２は構成される。

なお、画像処理装置１が図５に示す回転移動量算出部２２の代わりに図１３に示す回転移動量算出部３２で構成されている本実施の形態の場合でも、回転移動量判定部２３は、実施の形態１と同様に、算出された回転移動量が、時間的にひとつ前に算出された値と比較して、所定の範囲内の差分であるかどうかなどによって回転移動量の算出が成功したか否かを判定すればよい。

次に、以上のように構成された実施の形態２の画像処理装置の動きについて説明する。

図１４は、本発明の実施の形態２における画像処理装置の動きを説明するためのフローチャートである。なお、図１１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

すなわち、回転移動量算出部２２は、画像取得部１１から処理対象の画像データを取得し、処理対象となる２つの画像間（例えば第１の画像と第２の画像）に存在する回転移動量を算出する（Ｓ１５）。具体的には、センサ情報取得部３２１は、画像取得部１１から処理対象の画像データを取得するとともに、センサにより処理対象の画像に対するセンサ情報を取得する（Ｓ１５１）。次いで、センサ情報の計測軸ごとにフィルタ処理を行う（Ｓ１５２）。次いで、センサ情報演算部３２３は、フィルタ部３２２の出力とメモリ２８ｃに格納されているセンサ情報とから回転移動量を算出する（Ｓ１５３）。

次に、回転移動量判定部２３は、算出された回転移動量が、時間的にひとつ前に算出された値と比較して、所定の範囲内の差分であるかどうかなどによって回転移動量の算出が成功したか否かを判定する（Ｓ２０）。以降の処理は、実施の形態１と同様のため、説明を省略する。

以上のようにして、画像処理装置は、時間的に連続して撮影された複数の画像間の位置ずれを補正するための補正パラメータである移動量を決定する。そして、画像処理装置１により決定させた移動量を用いて、時間的に連続して撮影された複数の画像間の位置ずれを補正した補正画像を生成する。

なお、本実施の形態の画像処理装置のように、回転移動量の算出に、センサを用いる場合は、実施の形態１で示した画像処理による回転移動量の算出と比べると画像全体の大局的な回転移動量ではなく、撮影装置そのものの動きを計測した結果から回転移動量を求めることになる。しかしながら、センサには、衝撃に弱い、慣性ノイズや他軸感度が重畳する、センサ特性と検出したい動きの乖離が大きいときは精度が低下する、などの物理的な制約があり、回転移動量のみで高精度な補正を行うには限界がある。そのため、実施の形態１と同様の方法すなわち平行移動量算出部２４を用いて平行移動量を求め、算出された回転移動量と平行移動量とを合成することによって高精度な補正を行うことができるという効果を奏する。

以上、本実施の形態によれば、時間的に連続して撮影された複数の画像間のブレ量を高精度に算出する画像処理装置、画像処理方法、プログラム及び撮影装置を実現することできる。例えば、従来方式では困難であった魚眼映像などの超広角映像であっても高精度にブレ量の算出を行うことができるので、決定したブレ量を用いて画像を補正することによって、視聴時の映像品質を向上させることが可能となる。つまり魚眼像のような超広角画像かつその画像間の移動量が画像の変形が無視できないほど大きなものであっても、正確なブレ量の算出と補正を行うことができるという効果を奏する。

（実施の形態３）
実施の形態３では、実施の形態１または実施の形態２における画像処理装置を実装する装置として撮影装置を例に挙げて説明する。

図１５は、本発明の実施の形態３における、本願の画像処理装置を撮影装置に組み込んだ場合の構成を示すブロック図である。図１６は、本発明の実施の形態３における、再生装置の構成を示すブロック図である。

図１５に示す撮影装置８は、本願の画像処理装置１と、集光のためのレンズ部８１と、イメージセンサ８２と、補正画像生成部８３と、エンコーダ部８４と、外部メディア装置８５と、センサ部８６と、モニタ部８７と、ネットワークインターフェース装置８８とを備える。

レンズ部８１は、映像を構成する画像データを収集する。イメージセンサ８２は、映像を構成する画像データを収集するためのものであり、レンズ部８１によって集められた光から画像を生成して出力する。イメージセンサ８２は、例えばＣＣＤやＣＭＯＳなどで構成される。

センサ部８６は、センサを備え、画像処理装置１にセンサ情報を出力する。センサ部８６は、画像処理装置１が回転移動量算出部３２を構成し、センサ情報を利用する場合に設置され、画像処理装置１が回転移動算出部２２を構成し、画像処理によって回転移動量を算出する場合には設置されないとしてもよい。

画像処理装置１は、実施の形態１または実施の形態２で説明した方法によって画像処理部１２により決定された補正パラメータ（移動量）とともに、取得した画像データを補正画像生成部８３に出力する。

補正画像生成部８３は、補正パラメータ（移動量）に基づき、補正画像（表示・記録用の切り出し画像）を生成する。ここで、補正画像生成部８３は、画像処理装置１の外部にあるとしているが、上述したように、画像処理装置１が備えるとしてもよい。

モニタ部８７は、補正画像生成部８３が生成した補正映像（補正画像）をリアルタイムに確認する。なお、モニタ部８７は、補正画像生成部８３が生成した補正映像（補正画像）をリアルタイムに確認しないとする場合には、設置しなくてもよい。また、モニタ部８７の代わりに、撮影装置８に図示しない映像出力用の端子などを設置して外部モニタに表示するとしてもよい。

エンコーダ部８４は、符号化された動画データを生成する。具体的には、エンコーダ部８４は、補正画像生成部８３が生成した補正映像を、Ｈ．２６４などの動画像圧縮処理（符号化）を行って、外部メディア装置８５やネットワークインターフェース装置８８に出力する。ここで、エンコーダ部８４は、音声情報が存在する場合には映像との同期をとりながら合わせて符号化する。なお、エンコーダ部８４の前段に、エンコーダ部８４の処理する対象として、イメージセンサ８２が生成した画像と補正画像生成部８３が生成した画像の少なくとも一方を選択する選択手段を備えるとしてもよい。

外部メディア装置８５は、例えばＳＤカードやハードディスク、ＤＶＤなどのメディアにエンコーダ部８４により圧縮された補正映像（補正後切り出し映像）を記録する。

また、ネットワークインターフェース装置８８は、エンコーダ部８４によりされた補正映像を、ネットワークを通じて配信するとしてもよい。

なお、エンコーダ部８４は、補正映像（補正後切り出し映像）をエンコードするのみでなく、画像処理装置１が決定した補正パラメータ（移動量）とイメージセンサ８２が取得した映像データと同期をとった上でパッキングしたデータソースをエンコードするとしてもよい。この場合は圧縮された映像データをメディアあるいはネットワーク配信によって、図１６に示す再生装置に移動させる。

図１６に示す再生装置９は、少なくとも圧縮された映像データを読み取るための外部メディア装置８５または圧縮された映像データを受信するためのネットワークインターフェース装置８８と、バッファ９１と、デコーダ部９２と、補正画像生成部８３とを備え、圧縮された映像データのデコードと補正パラメータ抽出とを同時に実行し、ブレ補正を行った映像データを生成して出力する機能を持つ。

なお、再生装置９は、撮影装置８に構成されているとしてもよい。また、再生装置９は、画像処理装置１の前段に構成されているとしてもよいし、画像取得部１１に再生装置９が構成されるとしてもよい。

さらに、画像処理装置１の画像取得部１１に再生装置９が構成され、画像処理装置１の前段に撮影装置８が構成されているとしてもよい。その場合、画像取得部１１は、符号化された動画データ（符号化画像）を取得し、復号された複数の画像を画像処理部に出力する。

なお、ネットワークインターフェース装置８８はいわゆるインターネットに限定せず、ＵＳＢやＩＥＥＥ１３９４などを用いてもよい。

以上、本発明によれば、ブレ量を高精度に算出する画像処理装置を実現することができる。

以上、本発明の画像処理装置、それを備えた撮影装置、画像処理方法、画像処理プログラムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明の画像処理装置は、回転移動量と平行移動量とを算出する２つの移動量算出部を有し、ブレ補正装置等として有用である。また魚眼映像等の超広角撮影にも適用可能であるため、身体に装着してハンズフリーで撮影を行うウェアラブルカメラや、橋梁や街頭などに設置される監視カメラ等の用途にも利用できる。

１ 画像処理装置
８ 撮影装置
９ 再生装置
１１ 画像取得部
１２、１２ａ 画像処理部
２２、３２ 回転移動量算出部
２３ 回転移動量判定部
２４ 平行移動量算出部
２５ 平行移動量判定部
２６ 移動量決定部
２８、２８ａ、２８ｂ、２８ｃ メモリ
６１ 仮想球面
６２ 光線
６３ 画像データ平面
６４ レンズ
７１、７２ 切り出し画像
８１ レンズ部
８２ イメージセンサ
８３ 補正画像生成部
８４ エンコーダ部
８５ 外部メディア装置
８６ センサ部
８７ モニタ部
８８ ネットワークインターフェース装置
９１ バッファ
９２ デコーダ部
２２１ 特徴点抽出部
２２２ 歪み除去部
２２３ 特徴点マッチング部
２２４ 誤差最小化部
２４１ 第１補正画像生成部
２４２ 座標変換テーブル生成部
２４３ 切り出し画像生成部
２４４ パターンマッチング部
３２１ センサ情報取得部
３２２ フィルタ部
３２３ センサ情報演算部

Claims (20)

1. 時間的に連続して撮影された複数の画像間の位置ずれを補正するための画像処理装置であって、
   第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する、互いに垂直な３軸の軸周り方向の回転位置ずれ量を示す回転移動量を算出する回転移動量算出部と、
   前記第１の画像および前記第２の画像から、第１切り出し画像および第２切り出し画像を生成する切り出し画像生成部と、
   前記第２切り出し画像の前記第１切り出し画像に対する平行方向の位置ずれ量を示す平行移動量を算出する平行移動量算出部と、
   算出された前記回転移動量および前記平行移動量に基づいて、前記第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を決定する移動量決定部とを備え、
   前記切り出し画像生成部は、前記第１の画像の所定の第１範囲を切り出して、切り出した前記所定の第１範囲に撮影に用いた光学系の特性に基づいた歪み補正を行うことにより第１切り出し画像を生成し、かつ、算出された前記回転移動量を用いて前記第２の画像の前記３軸周り方向の回転位置ずれ量を補正した第１補正画像の前記所定の第１範囲に対応する第２範囲を切り出して、切り出した当該対応する第２範囲に前記歪み補正を行うことにより第２切り出し画像を生成する
   画像処理装置。
2. 前記平行移動量算出部は、前記第１切り出し画像に対して互いに直行する３軸を設定し、当該３軸のうち少なくとも１つの軸方向における前記第１切り出し画像に対する前記第２切り出し画像の平行方向の位置ずれ量を算出することで、前記平行移動量を算出する
   請求項１に記載の画像処理装置。
3. 前記平行移動量算出部は、前記３軸のうち１軸を前記切り出し画像に垂直な方向の軸とし、当該垂直な方向の軸方向における前記第１切り出し画像に対する前記第２切り出し画像の平行移動量を、前記第１切り出し画像に対する前記第２切り出し画像の拡大率または縮小率を示す値として算出する
   請求項２に記載の画像処理装置。
4. 前記平行移動量算出部は、前記第１切り出し画像と前記第２切り出し画像とのパターンマッチング、オブジェクトマッチングまたは特徴点マッチングを行うことにより、前記平行移動量を算出する
   請求項２に記載の画像処理装置。
5. 前記平行移動量算出部は、
   算出された前記回転移動量に基づいて、前記第２の画像の前記３軸周り方向の位置ずれを補正した第１補正画像を生成する第１補正画像生成部を備え、
   前記第１補正画像生成部は、さらに、算出された前記回転移動量に基づいて、前記第１補正画像の各画素と前記第２の画像の各画素との対応を示す座標変換テーブルを生成する座標変換テーブル生成部を有し、前記座標変換テーブル生成部に前記座標変換テーブルを生成させるとともに、前記座標変換テーブル生成部に生成させた前記座標変換テーブルを用いて前記第１補正画像を生成する
   請求項１に記載の画像処理装置。
6. 前記切り出し画像生成部は、
   切り出した前記第１の画像の前記所定の第１範囲と、切り出した前記第１補正画像の前記対応する第２範囲との透視投影画像を生成することにより、前記第１の画像の前記所定の第１範囲および前記第１補正画像の前記対応する第２範囲に前記歪み補正を行って前記第１切り出し画像および前記第２切り出し画像を生成する
   請求項１に記載の画像処理装置。
7. 前記画像処理装置は、さらに、
   前記平行移動量算出部の前段に前記回転移動量の算出が成功したか否かを判定する回転移動量判定部を備え、
   前記回転移動量判定部は、前記回転移動量の算出が成功したと判定する場合には、当該回転移動量を前記平行移動量算出部に出力し、
   前記回転移動量判定部は、前記回転移動量の算出が失敗したと判定する場合には、当該回転移動量を、前記３軸周り方向の位置ずれがないことを示すゼロ値として前記平行移動量算出部および前記移動量決定部に出力し、前記移動量決定部に、前記第１の画像と前記第２の画像との間の位置ずれ量を示す移動量を当該ゼロ値に決定させる
   請求項１に記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   前記平行移動量算出部の後段に前記平行移動量の算出が成功したか否かを判定する平行移動量判定部を備え、
   前記平行移動量判定部は、前記平行移動量の算出が成功したと判定する場合には、当該平行移動量を前記移動量決定部に出力し、
   前記平行移動量判定部は、前記平行移動量の算出が失敗したと判定する場合には、当該平行移動量を、前記平行方向の位置ずれがないことを示すゼロ値として前記移動量決定部に出力する
   請求項１に記載の画像処理装置。
9. 前記回転移動量算出部は、前記光学系の光軸周りの回転角度、または前記光学系の光軸に対して互いに垂直な２軸のうち少なくとも１つの軸周りの回転角度を算出することにより、前記第２の画像の前記第１の画像に対する回転移動量を算出する
   請求項１に記載の画像処理装置。
10. 前記回転移動量算出部は、前記回転角度を計測する少なくとも１個のセンサによって構成される
    請求項９に記載の画像処理装置。
11. 前記センサは、角加速度センサ、角速度センサ、加速度センサおよび方位センサのうち少なくとも１種類から構成される
    請求項１０に記載の画像処理装置。
12. 前記回転移動量算出部は、
    前記第１の画像と前記第２の画像とからそれぞれ特徴点を抽出する特徴点抽出部と、
    前記特徴点抽出部により抽出された、前記第１の画像の特徴点と前記第２の画像の特徴点とにおける前記光学系の光学歪みに起因する光学歪みを除去する歪み除去部と、
    前記歪み除去部により光学歪みを除去された当該第１の画像の特徴点と当該第２の画像の特徴点とでマッチングを行う特徴点マッチング部と、
    前記特徴点マッチング部により行われたマッチングが成功した当該第１の画像の特徴点と当該特徴点に対応した当該第２の画像の特徴点との組を用いて、前記第２の画像の前記３軸周り方向の位置ずれを補正した際の誤差が最小になるように、回転移動量を算出する
    誤差最小部とを備える
    請求項１に記載の画像処理装置。
13. 前記移動量決定部は、算出された前記回転移動量と算出された前記平行移動量とを合成した合成移動量を、前記移動量として決定する
    請求項１〜１２のいずれか１項に記載の画像処理装置。
14. 前記画像処理装置は、さらに、
    前記移動量決定部により決定された前記移動量を用いて、前記第２の画像の位置ずれを補正した補正画像を生成する補正画像生成部と、
    前記補正画像生成部により生成された前記画像を格納するメモリとを備える
    請求項１３に記載の画像処理装置。
15. さらに、
    符号化された符号化画像を取得する画像データ取得部と、
    前記画像データ取得部が取得した符号化画像を復号し、連続画像データを抽出して順次第１移動量算出部へ出力する復号部とを備え、
    前記復号部は、画像データと音声データとセンサ情報とが前記符号化画像に含まれている時はこれらを分離し、抽出された前記連続画像データとの同期関係を保存する
    請求項１４に記載の画像処理装置。
16. 請求項１〜１３のいずれか１項に記載の画像処理装置と、
    集光のためのレンズ部と、
    前記レンズ部によって集められた光を記録し画像を生成し、生成した画像を前記画像処理装置の前記第１移動量算出部に出力するイメージセンサと、
    前記画像処理装置の前記移動量決定部により決定された前記移動量を用いて、前記第２の画像の位置ずれを補正した補正画像を生成する補正画像生成部と、
    入力された画像を符号化して符号化画像を生成するエンコーダ部と、
    前記イメージセンサが生成した画像と前記補正画像生成部が生成した画像の少なくとも一方を選択し、前記エンコーダ部に出力する選択部とを備える
    撮影装置。
17. さらに、
    前記撮影装置の動きを計測するためのセンサ部を備え、
    前記センサ部は、前記撮影装置の動きを、前記撮影装置が撮影する画像と同期して計測し、計測した動きを対応する画像とともに前記第１移動量算出部に出力する
    請求項１６に記載の撮影装置。
18. 時間的に連続して撮影された複数の画像間の位置ずれを補正するための画像処理方法であって、
    第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する、互いに垂直な３軸の軸周り方向の回転位置ずれ量を示す回転移動量を算出する回転移動量算出ステップと、
    前記第１の画像および前記第２の画像から、第１切り出し画像および第２切り出し画像を生成する画像生成ステップと、
    前記第２切り出し画像の前記第１切り出し画像に対する平行方向の位置ずれ量を示す平行移動量を算出する平行移動量算出ステップと、
    前記回転移動量算出ステップで算出された前記回転移動量と前記平行移動量算出ステップで算出された前記平行移動量とに基づいて、前記第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を決定する移動量決定ステップとを含み、
    前記切り出し画像生成ステップは、前記第１の画像の所定の第１範囲を切り出して、切り出した前記所定の第１範囲に撮影に用いた光学系の特性に基づいた歪み補正を行うことにより第１切り出し画像を生成し、かつ、算出された前記回転移動量を用いて前記第２の画像の前記３軸周り方向の回転位置ずれ量を補正した第１補正画像の前記所定の第１範囲に対応する第２範囲を切り出して、切り出した当該対応する第２範囲に前記歪み補正を行うことにより第２切り出し画像を生成する
    画像処理方法。
19. 時間的に連続して撮影された複数の画像間の位置ずれを補正するためのプログラムであって、
    第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する、互いに垂直な３軸の軸周り方向の回転位置ずれ量を示す回転移動量を算出する回転移動量算出ステップと、
    前記第１の画像および前記第２の画像から、第１切り出し画像および第２切り出し画像を生成する画像生成ステップと、
    前記第２切り出し画像の前記第１切り出し画像に対する平行方向の位置ずれ量を示す平行移動量を算出する平行移動量算出ステップと、
    前記回転移動量算出ステップで算出された前記回転移動量と前記平行移動量算出ステップで算出された前記平行移動量とに基づいて、前記第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を決定する移動量決定ステップとを含み、
    前記切り出し画像生成ステップにおいては、前記第１の画像の所定の第１範囲を切り出して、切り出した前記所定の第１範囲に撮影に用いた光学系の特性に基づいた歪み補正を行うことにより第１切り出し画像を生成し、かつ、算出された前記回転移動量を用いて前記第２の画像の前記３軸周り方向の回転位置ずれ量を補正した第１補正画像の前記所定の第１範囲に対応する第２範囲を切り出して、切り出した当該対応する第２範囲に前記歪み補正を行うことにより第２切り出し画像を生成する
    ことをコンピュータに実行させるためのプログラム。
20. 時間的に連続して撮影された複数の画像間の位置ずれを補正するための集積回路であって、
    第１の画像の時間的に後に撮影された第２の画像の前記第１の画像に対する、互いに垂直な３軸の軸周り方向の回転位置ずれ量を示す回転移動量を算出する回転移動量算出部と、
    前記第１の画像および前記第２の画像から、第１切り出し画像および第２切り出し画像を生成する切り出し画像生成部と、
    前記第２切り出し画像の前記第１切り出し画像に対する平行方向の位置ずれ量を示す平行移動量を算出する平行移動量算出部と、
    算出された前記回転移動量および前記平行移動量に基づいて、前記第２の画像の前記第１の画像に対する位置ずれ量を示す移動量を決定する移動量決定部とを備え、
    前記切り出し画像生成部は、前記第１の画像の所定の第１範囲を切り出して、切り出した前記所定の第１範囲に撮影に用いた光学系の特性に基づいた歪み補正を行うことにより第１切り出し画像を生成し、かつ、算出された前記回転移動量を用いて前記第２の画像の前記３軸周り方向の回転位置ずれ量を補正した第１補正画像の前記所定の第１範囲に対応する第２範囲を切り出して、切り出した当該対応する第２範囲に前記歪み補正を行うことにより第２切り出し画像を生成する
    集積回路。

Images