JP4889351B2 - 画像処理装置及びその処理方法 - Google Patents

Description

本発明は画像処理装置及びその処理方法に関する。詳しくは、対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は対象物の座標を測定する画像処理装置及びその処理方法に関する。

相対的な移動をしながら、対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載したり、人が手に持って撮影を行うと、自動車や人の揺動のため、或いは道路の曲折や表面の凹凸により、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、倍率、向き、傾き等を修正する必要がある。他方、静止した対象物を静止した撮影装置で撮影する場合には、高精度、自動的に対応点探索、計測を行う三次元計測技術が開示されている。（特許文献１参照）

特開２００３−２６４８５２号公報（段落００１８〜００７３、図１〜図１１等）

動画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各動画像上で相互に対応する特徴点すなわち対象物上の同一点（以下、対応特徴点という）を求め、これを追跡する必要がある。そして、撮影位置や対象物の三次元座標を求めるためには、最終的に選択された対をなす画像であるステレオ画像の対応特徴点から算出する。その際に、ステレオ画像の撮影距離（倍率）や撮影の向き、基線長が変わると安定した精度の解を求め難くなる、という問題が見出された。

そこで、上記静止した対象物を静止した撮影装置で撮影する技術を、そのいずれか一方又は双方が移動する場合に発展適用させて、動画像等の時系列的に変化する撮影画像の場合においても、三次元計測の測定精度を劣化させる不適切な撮影画像を除去して、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる技術を提供することが必要とされている。

本発明は、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る画像処理装置１００は、例えば図２に記載のように、相対的に移動する対象物を、隣り合う４以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部２と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部３と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部４と、一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部６と、ステレオ画像選択部６で選択されたステレオ画像の相互に対応付けられた特徴点（対象物上の同一点を表す）である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部７とを備え、ステレオ画像選択部６は、ステレオ画像として選択可能な画像を組画像としてグループ化する組画像設定部６１を有し、組画像設定部６１で１グループに属するとして設定された組画像の中からステレオ画像を選択する。

ここにおいて、相対的に移動する対象物とは、典型的には対象物又は撮影装置のいずれか一方が移動し他方が静止した状態で撮影されるが、両者が共に移動する状態で撮影されても良い。すなわち、両者が相対的に移動する状態で撮影されれば良い。隣合う４以上の画像が重複部分を共有することにより、２組のステレオ画像を選択可能になる。重複し合う画像数は多い程、計測座標精度を向上できるので望ましいが、例えば１０以上が好ましく、５０以上であれば更に好ましい。時系列的に撮影した一連の撮影画像とは、時間の経過に伴って順次取得された撮影画像であり、ビデオカメラで連続的に撮影された動画像のフレームから抽出された画像でも良く、単体カメラで適当な時間間隔で順次撮影された画像でも良い。また、動画像のフレームのうち全てのフレームから取得しても良く、数フレーム置きに取得しても良い。また、特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、相互に対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、特徴点を順次対応付け、追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。また、特徴点は時間の経過と共に新規発生、消滅、再現するものであり、このため一連の撮影画像中、相互に対応付けられた特徴点は少なくとも３以上の撮影画像にあれば良い。また、ステレオ画像の選択は、一連の撮影画像について対応特徴点を反映して位置、倍率、傾きを補正した補正画像から選択するのが好ましいが、取得された原画像から選択しても標定処理及び三次元計測で相互に対応付けられるので、それでも良い。また、標定とは撮影装置の撮影位置と傾き算定する処理であり、三次元計測とは各特徴点の三次元座標を算定する処理である。また、ステレオ画像として選択可能な画像とは、対象物からの距離や撮影画像の倍率がほぼ等しくかつ撮影方向がほぼ等しい等、三次元計測を行なうのに適したステレオ画像をいう。

このように構成すると、動画像等の時系列的に変化する撮影画像の場合においても、測定精度を劣化させる不適切な撮影画像を除去して、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置を提供できる。

また、本発明の第２の態様は、第１の態様に係る画像処理装置において、例えば図６に示すように、組画像設定部６１は、対象物から撮影位置までの距離又は撮影倍率に応じて一連の撮影画像を複数の組画像にグループ化する。このように構成すると、予め三次元計測に適切な画像をグループ化しており、効率的に適切なステレオ画像を選択できる。

また、本発明の第３の態様は、第２の態様に係る画像処理装置において、ステレオ画像選択部６は、対象物から撮影位置までの距離、撮影倍率又は撮影方向が大きく変化している撮影画像を不適切画像として特定し、不適切画像として特定された撮影画像を除いてステレオ画像を選択する。ここにおいて、大きく変化している撮影画像とは、撮影条件にもよるが、例えば隣接フレームとの重複部分が７０％以下となるような画像である。このように構成すると、予め三次元計測に不適切な撮影画像を除去してステレオ画像を選択できる。

また、本発明の第４の態様は、第２の態様又は第３の態様に係る画像処理装置において、一連の撮影画像を撮影した位置を求める撮影位置計測部７を備え、ステレオ画像選択部６は、撮影位置として撮影位置計測部７で求められた撮影した位置を用いる。このように構成すると、三次元計測用に信頼性の高いステレオ画像を選択できる。

また、本発明の第５の態様に係る画像処理装置１００は、例えば図２に示すように、相対的に移動する対象物を、隣り合う４以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部２と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部３と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部４と、一連の撮影画像からステレオ画像を選択するステレオ画像選択部６と、ステレオ画像選択部６で選択されたステレオ画像の対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部７とを備え、ステレオ画像選択部６は、対象物から撮影位置までの距離、撮影倍率又は撮影方向が大きく変化している撮影画像を不適切画像として特定し、不適切画像として特定された撮影画像を除いてステレオ画像を選択する。このように構成すると、動画像等の時系列的に変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置を提供できる。

また、本発明の第６の態様は、第１乃至第５のいずれかの態様に係る画像処理装置において、ステレオ画像選択部６は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、対応表から要求精度を満たす基線長となるようにステレオ画像を選択する。ここにおいて、基線長とはステレオ画像を撮影した撮影装置の光軸間距離を称する。このように構成すると、要求精度に合わせて三次元計測を実施できる。

また、本発明の第７の態様は、第１乃至第６のいずれかの態様に係る画像処理装置において、例えば図１２に示すように、位置、速度、加速度、角度又は角速度を計測可能なセンサ部２００を備え、ステレオ画像選択部６は、センサ部２００から出力された位置、速度、加速度、角度又は角速度の経時変化から対象物から撮影位置までの距離の変化、撮影装置の光軸方向の変化又は前記撮影装置の傾きの変化が検出された場合に、これらの変化が激しい時に撮影された撮影画像を不適切画像として特定し、不適切画像として特定された撮影画像を除いてステレオ画像を選択する。ここにおいて、位置、速度、加速度、角度又は角速度を計測可能なセンサ部２００には、慣性センサ、ＧＰＳセンサ又は姿勢センサ等を使用できる。また、変化が激しい時とは、変化の度合いが撮影条件等に応じて設定される所定の閾値を超える時を意味する。このように構成すると、かかるセンサを用いて即座に不適切画像の除去が可能になる。

また、本発明の第８の態様に係る画像処理方法は、例えば図３に示すように、相対的に移動する対象物を、隣り合う４以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程（Ｓ１００）と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程（Ｓ１１０）と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程（Ｓ１２０）と、一連の撮影画像からステレオ画像として選択可能な画像を組画像としてグループ化する組画像設定工程（Ｓ１３５）と、組画像設定工程（Ｓ１３５）で１グループに属するとして設定された組画像の中からステレオ画像を選択するステレオ画像選択工程（Ｓ１４０）と、ステレオ画像選択工程（Ｓ１４０）で選択されたステレオ画像の対応特徴点を用いて、標定を行なう標定工程（Ｓ１５０）と、標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう三次元計測工程（Ｓ１６０）とを備える。このように構成すると、動画像等の時系列的に変化する撮影画像の場合においても、測定精度を劣化させる不適切な撮影画像を除去して、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理方法を提供できる。

また、本発明の第９の態様に係る画像処理方法は、例えば図１１に示すように、相対的に移動する対象物を、隣り合う４以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程（Ｓ１００）と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程（Ｓ１１０）と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程（Ｓ１２０）と、一連の撮影画像からステレオ画像を選択する際に、対象物から撮影位置までの距離、撮影倍率又は撮影方向が大きく変化している撮影画像を不適切画像として特定し、不適切画像として特定された撮影画像を除いてステレオ画像を選択するステレオ画像選択工程（Ｓ１４０）と、ステレオ画像選択工程（Ｓ１４０）で選択されたステレオ画像の対応特徴点を用いて、標定を行なう標定工程（Ｓ１５０）と、標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう三次元計測工程（Ｓ１６０）とを備える。このように構成すると、動画像等の時系列的に変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理方法を提供できる。

また、本発明の第１０の態様は、第８の態様又は第９の態様に係る画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラムの発明である。

本発明によれば、動画像等の時系列的に変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供できる。

以下に図面に基づき本発明の実施の形態について説明する。

［第１の実施の形態］
図１は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、時間すなわち自動車の位置を少しずつ変えて対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、ＧＰＳ電波を受信できない区間で補完的に利用される意義も大きい。以下の実施の形態では、動きが激しい時に撮影された撮影画像については、カメラの位置座標を求めるのに不適当であるため除去する。

図２に本実施の形態における画像処理装置１００の構成例を示す。図において、１は画像処理装置１００の各部を制御して、画像処理装置として機能せしめる制御部であり、具体的には、撮影画像取得部２への撮影画像取得の指示、特徴抽出部３への特徴点抽出実行の指示、特徴点追跡部４への追跡実行の指示、演算処理部５へのステレオ画像選択指示、標定・三次元計測実行指示等を行う。

２は動画像等の時系列的に変化する撮影画像を順次取得する撮影画像取得部であり、撮影画像の取得の他に特徴抽出部３への出力、画像メモリ１０への撮影画像の保存等を行う。なお、自己の撮影装置で撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。３は順次取得した撮影画像から特徴点を抽出する特徴抽出部であり、撮影画像取得部２より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部４への出力等を行う。４は特徴抽出部３より入力された特徴点に対応する対応点（厳密には確定するまでは候補対応点というが、本実施の形態では候補対応点を含めて対応点ということとする）を探索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の対応点情報メモリ９への出力、対応点の配置の判断と特徴抽出部３への特徴点の新設指示等を行う。特徴点追跡部４において特徴点が対応付けられた、すなわち対応特徴点が付された一連の撮影画像は、倍率、揺らぎ、傾きが補正された補正画像として、取得された原画像と共に画像メモリ１０に記憶される。

５は演算処理部で、ステレオ画像選択部６と標定処理・三次元計測部７を有する。ステレオ画像選択部６は特徴抽出部３及び特徴点追跡部４において対応特徴点が付された一連の画像からステレオ画像を選択する。ステレオ画像選択部６はステレオ画像として選択可能な画像を組画像としてグループ化する組画像設定部６１を有し、組画像設定部６１で１グループに属するとして設定された組画像の中からステレオ画像を選択する。標定処理・三次元計測部７はステレオ画像選択部６で選択されたステレオ画像を用いて標定計算、三次元計測を実行する。その他に、標定結果及び三次元計測結果の表示部１１への出力、外部へ標定結果及び三次元計測結果の出力等を行う。標定計算、三次元計測を行なうためのステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できる。

１１は演算処理部５により標定処理又は三次元計測された対象物の画像や撮影した位置の軌跡を平面的又は立体的に表示する表示部、９は特徴点とその対応点（候補対応点を含む）に関する情報を記憶する対応点情報メモリ、１０は撮影画像、補正画像、その他の画像を記憶する画像メモリである。対応点情報メモリ９、画像メモリ１０には、特徴点追跡時、ステレオ画像選択時、標定計算や三次元計測時等、必要に応じて随時参照され、また書き込みされる。

図３に第１の実施の形態における画像処理方法のフロー例を示す。まず、撮影画像取得部２において、相対的に移動する対象物について、動画像等の時系列的に変化する一連の撮影画像を取得する（Ｓ１００：撮影画像取得工程）。一連の撮影画像は隣り合う４以上の画像が重複部分を共有するように取得する。自己の撮影カメラで画像を撮影して取得しても良く、他の撮影装置で撮影した画像を通信回線を介して取得しても良い。制御部１は撮影画像取得部１から動画像等の時系列的に変化する撮影画像を順次特徴抽出部３に供給する。本実施の形態では自動車に撮影カメラを装着し、移動しながら撮影するので、撮影画像は時間的又は空間的に少しずつ変化する撮影画像であり、画像の大部分で対象物が共通である。特徴抽出部３では、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出し（Ｓ１１０：特徴抽出工程）、抽出された特徴点データは特徴点追跡部４に供給され、対応点情報メモリ９に記憶される。特徴点追跡部４において、一連の撮影画像について、特徴点に対応する対応点を探索し、対応付け、特徴点の追跡が行なわれる（Ｓ１２０：特徴点追跡工程）。特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、対応付け、特徴点を順次追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。対応特徴点データは順次、演算処理部５に供給され、対応点情報メモリ９に記憶される。また、対応特徴点が付された撮影画像は、倍率、揺らぎ、傾きが補正された補正画像として、画像メモリ１０に記憶される（Ｓ１２５）。なお、特徴抽出部３で抽出された特徴点データ及び特徴点追跡部４で対応付けられた対応特徴点データがリアルタイムに順次演算処理部５に供給されれば、移動中の移動体（自動車）で、早期に標定処理・三次元計測を行ない、ナビゲータに反映できる可能性も高くなる。

次に、撮影位置計測部で撮影位置の測定がなされる（Ｓ１３０：撮影位置測定工程）。これは、撮影位置を目安にしてステレオ画像を構成する撮影画像をグループ化するためである。本来、ステレオカメラは撮影対象物に対して平行に設置されるので、対象物からの距離がほぼ一定であることが望ましいが、高い精度は要求されない。撮影位置の測定を行なう撮影位置計測部は通常の標定処理・三次元計測部７での標定を行なえば十分であり、本実施の形態でも、標定処理・三次元計測部７が撮影位置計測部を兼ねるものとする。

次に組画像設定部６１で一連の撮影画像について、ステレオ画像として選択可能な画像を組画像としてグループ化する（Ｓ１３５：組画像特定工程）。グループ化は対象物から撮影位置までの距離又は撮影倍率に応じて一連の撮影画像を複数の組画像にグループ化する。

次に、ステレオ画像選択部６で、対応特徴点が付された一連の撮影画像からステレオ画像が選択される（Ｓ１４０：ステレオ画像選択工程）。ステレオ画像選択部６は、組画像設定部６１で１グループに属するとして設定された組画像の中からステレオ画像を選択する。一連の画像は対応特徴点を反映して倍率、揺らぎ、傾きが補正された補正画像を用いるのが好ましいが、取得された原画像から選択しても次の標定処理及び三次元計測で相互に対応付けられるので、それでも良い。ここでは、補正画像を用いるものとする。

図４にステレオ画像選択の例を示す。この例では取得画像から数画像離れた画像をステレオ画像として選択しており、対をなす２画像間のフレーム間隔を一定にすれば基線長がほぼ一定に保たれるので好ましい。なお、選択されるステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できるので、ここでは、追跡処理した多数の撮影画像を用いて多数のステレオ画像を選択し、統計処理を行うものとする。

図３に戻り、ステレオ画像選択部６で選択されたステレオ画像の対応特徴点を用いて、標定処理・三次元計測部７で標定処理と三次元計測が行なわれる。標定処理では、選択されたステレオ画像について、特徴点と対応点の座標を用いて、相互標定を行い、撮影カメラの撮影位置と傾きが算定される（Ｓ１５０：標定工程）。ステレオ画像同士の接続標定も行われる。なお、仮にステレオ画像が設定できなかった撮影画像に対しては、単写真標定を行うことにより撮影カメラの撮影位置と傾きを算出可能である。続けて、標定結果を用いて三次元計測により各特徴点の三次元座標が算定される（Ｓ１６０：三次元計測工程）。三次元計測は、例えば標定処理で求めた撮影カメラの位置と傾き（外部標定要素）を初期値とし、バンドル調整を行うことによって求める。これにより、三次元座標だけでなく、さらに正確な撮影カメラの位置と傾きも求まる。
以下に、必要に応じ、各工程について説明する。

［特徴点抽出］
特徴抽出部３では各撮影画像から特徴点を抽出する（Ｓ１１０、図５参照）。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。初期フレームにおける特徴点の抽出には、例えばＭＯＲＡＶＥＣオペレータ（Ｈ． Ｐ． Ｍｏｒａｖｅｃ． Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｖｉｓｕａｌ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ． Ｐｒｏｃ． ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｐｐ． ５８４， １９７７．）や、Ｈａｒｉｓｓ，Ｐｒｅｓｓｙ，Ｓｕｓａｎなどのオペレータを適宜採用できる。

［追跡処理］
図５に特徴点追跡の処理フロー例を示す。特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２０）。すなわち、特徴点に対応する対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影カメラと撮影対象間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い（Ｓ１３）、特徴点に対応する対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、隣接撮影画像を用いて射影変換することにより（Ｓ１５）、撮影カメラに対する画面相対移動量が求められる。すなわち、フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近似できるものとの仮定をおき、射影変換により画面相対移動量を推定する。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する（Ｓ１４）。そして、異常な動きを示す誤対応と思われる対応点を除去する（Ｓ１６）。工程Ｓ１５とＳ１６を繰り返すことにより射影変換の精度が向上する。なお、誤対応点とは三次元座標計測の精度を劣化させるような特徴点（したがって標定にも悪影響を及ぼすような特徴点でもある）をいい、本来対応していないのに誤って対応付けされた特徴点の他に、撮影対象物と異なる動きをする物に付された特徴点等も含まれる。

次に、候補対応点の配置判断を行う（Ｓ１７）。すなわち、撮影画像上での特徴点、対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部３に新設を指示する。そして、再度特徴抽出（Ｓ１１０）に戻り、順次新たな隣接画像について特徴抽出（Ｓ１１０）と追跡処理（Ｓ１２０）をリアルタイムに繰り返す。もし、一連の撮影画像について特徴抽出が済んでいれば、テンプレートマッチング（Ｓ１３）に戻り、事後的に一括して、順次新たな隣接画像について追跡処理（Ｓ１２０）が行われる。
特徴点の追跡に、例えばテンプレートマッチングを使用する（Ｓ１３）。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ：逐次残差）法などの手法によりステレオマッチングを行い、対応点を求める（Ｓ１３）。ＳＳＤＡ法とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が対応点として求められる。ＳＳＤＡテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。

撮影画面中に、走行中の自動車、人、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点（対応点、候補対応点を含む）の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。

〔組画像設定〕
組画像設定部６１ではステレオ画像として選択可能な画像を組画像としてグループ化する。グループ化は対象物から撮影位置までの距離又は撮影倍率に応じて一連の撮影画像を複数の組画像にグループ化する。

図６は組画像にグループ化する例を示す。この例では、撮影カメラと対象物の距離あるいは、倍率がほぼ一定になる撮影画像を組画像としてグループ化する。撮影位置ブロックＢ１，Ｂ３，Ｂ５，Ｂ７で撮影された撮影画像は、撮影カメラと対象物の距離がほぼ一定であり、また倍率がほぼ同じになるので、それぞれ組画像としてグループ化され、ここでは４組のグループができ、それぞれのグループ内でステレオ画像を選択することが可能である。また、ブロックＢ１とＢ５、Ｂ５とＢ７に属する撮影画像については、撮影カメラと対象物の距離があまり差がないので、これらの組み合わせからステレオ画像を選択することも可能である。この場合はＢ１とＢ５をまとめて１つの組画像のグループＢ１５と見なし、Ｂ５とＢ７をまとめて１つの組画像のグループＢ５７と見なすものとし、全体で６組のグループができる。なお、測定精度に必要な基線長が確保されている画像を選択するのが好ましい。

また、図６から撮影位置が対象物に対して大きく変化している範囲で撮影された画像も特定できる。撮影位置ブロックＢ２，Ｂ４，Ｂ６のように、画像の変動が激しいところは、撮影距離、倍率、向きの変化が激しく、基線長が確保できないところでもある。これらの画像群を特定し、組画像の選択から除外する。大きく変化している範囲で撮影された画像とは、撮影条件にもよるが、例えば隣接フレームとの重複部分が７０％以下となるような画像である。

図７は組画像にグループ化する別の例を示す。図７では対象物に対する画像の向きがほぼ同じ画像を選択する例である。撮影位置ブロックＢ８，Ｂ１０，Ｂ１２で撮影された撮影画像は、撮影カメラの対象物に対する向きがほぼ一定であり、それぞれ組画像としてグループ化され、ここでは３組のグループができ、それぞれのグループ内でステレオ画像を選択することが可能である。他方、ブロックＢ９，Ｂ１１のように、画像の向きが対象物に対して鉛直でないところは、安定性が低いので、画像の組選択から除外する。なお、向きを同じにするよりも距離を同じにする方が安定なステレオ画像を得やすいと考えられるので、図７の例を図６の例と独立に適用することも考えられるが、むしろ、図６の例に重複して適用されることが望ましい。

〔ステレオ画像選択〕
図８はステレオ法を説明するための図である。簡単のために、同じ仕様の２台のカメラＣ１，Ｃ２を使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。２台のカメラＣ１，Ｃ２の光軸間距離（基線長）をＬとする。
物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。

ｘ１＝ａｘ／ｚ −−−（１）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（２）
ｘ２−ｘ１＝ａＬ／ｚ −−−（３）

但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラＣ１のレンズ主点にとるものとする。

（３）式よりｚを求め、これを用いて（１）式、（２）式よりｘ、ｙが求められる。

ステレオ法の説明からわかるように、カメラＣ１、カメラＣ２の撮影距離（倍率）や撮影の向き、基線長Ｌが変わると、幾何学的に本原理が成立しづらくなり、結果として安定した精度の解を求め難くなる。

また、ステレオ法の１画素分解能の式を以下に示す。
２枚の撮影画像から計測する場合、通常以下に示す式により１画素の理論分解能が得られる。
平面分解能：Δｘｙ＝Ｈ×Δｐ／ｆ （４）
高さ分解能：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ）（５）
Ｈ：撮影距離、Δｐ：画素分解能、ｆ：画面距離、Ｂ：撮影基線長
これら計算式からも、撮影距離、基線長が１画素の分解能に重要なパラメータであることがわかる。
実際の標定や三次元計測ではこれら撮影距離、基線長、撮影向きなどのパラメータは、全て考慮に入れて補正・調整を行って計算をしているので、問題なく算出できる。
しかしながら、安定した精度良い解を得る、という観点からは、その基本原理から、これらのパラメータが異なるものを使用すると精度が不安定になる要因となる。従ってステレオ画像を選択する際には、カメラの撮影位置から、撮影距離や倍率、カメラの向きを求めることができるので、それらパラメータがほぼ同一のものを組画像としてグループ化し、１グループの組画像の中から三次元計測に使用するステレオ画像を選択する。

［相互標定処理］
次に，標定計算について説明する。
図９は相互標定を説明するための図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要ない。

まず、以下の共面条件式（６）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。

上述の条件にすると、共面条件式（６）は式（７）のように変形され、式（７）を解けば各パラメータが求まる。
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（８）、（９）が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ_１、φ_１、κ_２、φ_２、ω_２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（７）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（８）、（９）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｖ）までの操作を収束するまで繰り返す。
収束した場合、更に接続標定を行なう。これは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。

この処理を行なう場合、以下の式であらわされる接続較差を算出する。
ΔＸ_ｊ＝（Ｘ_ｊｒ−Ｘ_ｊｌ）／（Ｚ_０−Ｚ_ｊｌ）
ΔＹ_ｊ＝（Ｙ_ｊｒ−Ｙ_ｊｌ）／（Ｚ_０−Ｚ_ｊｌ）
ΔＺ_ｊ＝（Ｚ_ｊｒ−Ｚ_ｊｌ）／（Ｚ_０−Ｚ_ｊｌ）
ΔＤ_ｊ＝√（ΔＸ_ｊ ^２＋ΔＹ_ｊ ^２）
（ΔＸ_ｊｌΔＹ_ｊｌΔＺ_ｊｌ））：統一された座標系の第ｊ番目の左モデル
（ΔＸ_ｊｒΔＹ_ｊｒΔＺ_ｊｒ）：統一された座標系の第ｊ番目の右モデル
ΔＺｊおよびΔＤｊが０．０００５（１／２０００）以下なら接続標定が正常に行われたとみなされる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して（ｉｉ）〜（ｖ）までの上記計算を繰り返す。だめなら標定点の配置変更を行なう。

〔バンドル調整〕
次に三次元計測に用いるバンドル調整について説明する。バンドル調整は、（１０）式に示すように対象空間座標（Ｘ，Ｙ，Ｚ）とその画像座標（ｘ，ｙ）、及び投影中心（Ｘ_０，Ｙ_０，Ｚ_０）が同一直線上に存在するという共線条件式を基本としている。

（１０）式に基づき、全ての対象空間点について観測方程式を作成し、撮影時のカメラの位置と傾きである外部標定要素と対象空間座標について、最小二乗法によって同時解を求める。この場合、（１０）式は非線形方程式なので、外部標定要素及び対象空間点、カメラの焦点距離の初期値が必要であるが、外部標定要素及び対象空間点の初期値として、標定処理で求められた値を使用する。また、カメラの焦点距離の初期値として、撮影時の焦点距離の概略値を入力する。三次元計測から、カメラの位置、姿勢がわかったので対応点の三次元座標が例えば前方交会法により算出される。

図１０は、三次元計測の結果を例示する図であり、左側面下方に略直線状に並んだ点が求められた撮影位置を示し、立体図中に散乱している少し小さなプロットが三次元座標値が与えられた特徴対応点を示している。

以上より、本実施の形態によれば、動画像等の時系列的に変化する撮影画像の場合においても、三次元計測の測定精度を劣化させる不適切な撮影画像を予め除去できる。従って、動画像等の時系列的に変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供できる。

［第２の実施の形態］
第１の実施の形態では、組画像設定部は、対象物から撮影位置までの距離に応じて撮影画像群をグループ化し、ステレオ画像選択部は１グループに属するとして設定された組画像の中からステレオ画像を選択し、かつ、対象物から撮影位置までの距離等が大きく変化している範囲の画像を特定し、これらの画像を除いてステレオ画像を選択する例について説明したが、本実施の形態では、組画像設定部は、前記対象物から撮影位置までの距離や倍率に応じて撮影画像群をグループ化し、ステレオ画像選択部は１グループに属するとして設定された組画像の中からステレオ画像を選択する例を説明する。撮影位置が大きく変化している範囲の画像を積極的に除去していないが、この場合でも、撮影位置までの距離がほぼ等しい撮影画像群をグループ化し、撮影位置までの距離がほぼ等しいステレオ画像が選択されるので、適切かつ効率的なステレオ画像の選択ができる。その他の点では第１の実施の形態と同様であり、本実施の形態における画像処理装置は、第１の実施の形態における図２に示す画像処理装置１００を使用でき、処理フローは図３に示すフローを適用できる。

［第３の実施の形態］
第１の実施の形態では、組画像設定部は、対象物から撮影位置までの距離に応じて撮影画像群をグループ化し、ステレオ画像選択部は１グループに属するとして設定された組画像の中からステレオ画像を選択し、かつ、対象物から撮影位置までの距離等が大きく変化している範囲の画像を特定し、これらの画像を除いてステレオ画像を選択する例について説明したが、本実施の形態では、ステレオ画像選択部は、撮影位置が大きく変化している範囲の画像を特定し、これらの画像を除いてステレオ画像を選択する例について説明する。この場合には、撮影画像群をグループ化していないが、撮影位置が大きく変化している不安定な画像を除去してステレオ画像が選択されるので、不適切な画像を除いてステレオ画像の選択ができる。その他の点では第１の実施の形態と同様である。本実施の形態における画像処理装置は、第１の実施の形態における図２に示す画像処理装置１００を使用できるが、組画像設定部は使用せず、除去されても良い。また、処理フローを図１１に示すが、図３における処理フローから、組画像設定工程（Ｓ１３５）を除いたものである。

〔第４の実施の形態〕
第１の実施の形態では、組画像設定部は、対象物から撮影位置までの距離に応じて撮影画像群をグループ化し、ステレオ画像選択部は１グループに属するとして設定された組画像の中からステレオ画像を選択し、かつ、対象物から撮影位置までの距離等が大きく変化している範囲の画像を特定し、これらの画像を除いてステレオ画像を選択する例について説明したが、本実施の形態では、組画像設定部が、対象物から撮影位置までの距離等が大きく変化している範囲の画像を不適切画像群としてグループ化し、ステレオ画像選択部はこれらの画像群を除いてステレオ画像を選択する例を示す。この場合、組画像設定部は組画像設定工程（Ｓ１３５）において、対象物からの距離や撮影画像の倍率がほぼ等しくかつ撮影方向がほぼ等しい等、三次元計測を行なうのに適したステレオ画像のいずれのグループのも属さない画像を、不適切画像群としてグループ化すれば良いので第１の実施の工程に対し追加される工程が殆どない。不適切画像群は例えば図６におけるブロックＢ２，Ｂ４，Ｂ６のようにグループ化されるが、これらをまとめて１つにグループ化しても良い。その他の点では第１の実施の形態と同様であり、本実施の形態における画像処理装置は、第１の実施の形態における図２に示す画像処理装置１００を使用でき、処理フローは図３に示すフローの組画像設定工程（Ｓ１３５）に不適切画像群のグループ化が加わるだけである。

〔第５の実施の形態〕
第１の実施の形態では、撮影位置を標定により求める例を説明したが、本実施の形態では、取得された一連の撮影画像の倍率、向き等を相互比較することによって、およその撮影位置を推定する。これにより、高精度ではないが一連の撮影画像を対象物から撮影位置までの距離に応じてグループ化できるので、効率的なステレオ画像の選択が可能となる。その他の点では第１の実施の形態と同様である。

［第６の実施の形態］
本実施の形態では、ステレオ画像選択部は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、対応表から要求精度を満たす基線長となるようにステレオ画像を選択する例を示す。測定精度は基線長に依存するので、要求精度に合わせてステレオ画像の基線長を決めることにより、要求に合った三次元計測結果を提供できる。その他の点では第１の実施の形態と同様である。

［第７の実施の形態］
図１２に第７の実施の形態における画像処理装置１００ａの構成例をブロック図で示す。第１の実施の形態にセンサ部２００が追加されている。センサ部２００として、例えば、位置、速度、加速度、角度又は角速度を計測可能な慣性センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ又は姿勢センサを採用可能である。ステレオ画像選択部６は、センサ部２００から出力された位置、速度、加速度、角度又は角速度の経時変化から撮影位置までの距離の変化、撮影装置の光軸方向の変化又は前記撮影装置の傾きの変化が検出された場合に、これらの変化が激しい時に撮影された撮影画像を不適切画像として特定し、不適切画像として特定された撮影画像を除いてステレオ画像を選択する。例えば、センサ部２００が加速度計であれば、図６に示される、Ｂ２，Ｂ４，Ｂ６等の画像の変動の激しいところは、加速度の経時変化から対象物から撮影位置までの距離の変化が激しいことが検出される可能性が高く、したがって、この時に撮影された撮影画像を不適切画像として或は不適切画像グループに属する画像として特定することにより、対象物から撮影位置までの距離、撮影倍率又は撮影方向が大きく変化している撮影画像をステレオ画像の選択から除去できる。また、図７に示される、Ｂ９，Ｂ１１等、画像の向きが対象物に対して鉛直でない方向のものも、揺動等により角加速度の経時変化から撮影装置の光軸方向の変化又は前記撮影装置の傾きの変化が激しいことが検出される可能性が高く、識別することが可能である。なお、変化が激しい時とは、変化の度合いが所定の閾値を超える時を意味し、所定の閾値は撮影条件等に応じて設定される。所定の閾値は、例えば撮影画像において隣接フレームとの重複部分が７０％以下のものを除去するように設定される。これにより、対象物から撮影位置までの距離、撮影画像の倍率、向きを比較するまでもなく、センサを用いて即時に不適切画像の除去が可能になる。その他の点では第１の実施の形態と同様である。

［第８の実施の形態］
第１の実施の形態では、撮影対象が静止状態で、撮影装置が移動する例について説明したが、本実施の形態は撮影装置が静止状態で、撮影対象が移動する例である。この場合においても、本来の対象物の他に、撮影装置と対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像等の順次少しずつ変化する撮影画像における対象物に係る特徴点の三次元座標を求めることができる。また、対象物自体が回転するようなものであれば、その特徴点が消失と復活を繰り返すので、本発明を適用可能である。また、複数の対象物が異なる動きをする場合もあり、このような場合についてもそれぞれの対象物について本発明を適用可能である。

また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは制御部１の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。

以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。

例えば、以上の実施の形態では、対象物又は撮影装置の一方が移動し、他方が静止している状態で撮影画像を取得する例について説明したが、両者とも移動する場合に本発明を適用しても良い。例えば、一方の移動速度・方向が一定の場合など十分適用可能である。また、追跡処理における異常値の除去が省略されていたとしても、本発明におけるグループ化等を用いて、不適切な特徴点を含む画像の除去が可能である。また、追跡処理において予め移動ベクトルの差異から、特異な特徴点を除去してから、本発明のグループ化等を適用しても良い。また、以上の実施の形態では、対象物から撮影位置までの距離、撮影倍率又は撮影方向がほぼ等しい撮影画像を組画像にグループ化する例を説明したが、例えば共通の重複部分が５割以上となるようにグループ化するなど、他の基準を用いてグループ化しても良い。また、以上の実施の形態では、対象物から撮影位置までの距離、撮影倍率又は撮影方向が大きく変化している撮影画像を不適切画像として特定する例を説明したが、コントラストが不鮮明な画像、焦点ボケ画像、ぶれた画像などを不適切画像に加えても良い。また、不適切画像群としてグループ化された画像のうち対象物から撮影位置までの距離が等しい２つの撮影画像をステレオ画像に選択することも可能な場合がある。また、特徴点の抽出にＭＯＲＡＶＥＣオペレータを、テンプレートマッチングにＳＳＤＡテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また、使用するステレオ画像の数、基線長、特徴点の数等は適宜選択可能である。

本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。

第１の実施の形態の概念を説明するための図である。 第１の実施の形態における画像処理装置の構成例を示すブロック図である。 第１の実施の形態における画像処理方法のフロー例を示す図である。 ステレオ画像選択の例を示す図である。 特徴点追跡の処理フロー例を示す図である。 組画像にグループ化する例を示す図である。 組画像にグループ化する別の例を示す図である。 ステレオ法を説明するための図である。 相互標定を説明するための図である。 三次元計測の結果を例示する図である。 第３の実施の形態における画像処理方法のフロー例を示す図である。 第７の実施の形態における画像処理装置の構成例を示すブロック図である。

符号の説明

１ 制御部
２ 撮影画像取得部
３ 特徴抽出部
４ 特徴点追跡部
５ 演算処理部
６ ステレオ画像選択部
７ 標定処理・三次元計測部
９ 対応点情報メモリ
１０ 画像メモリ
１１ 表示部
６１ 組画像設定部
１００、１００ａ 画像処理装置
２００ センサ部

Claims (10)

1. 相対的に移動する対象物を、隣り合う４以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部と；
   前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部と；
   前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部と；
   前記特徴点追跡部により特徴点が相互に対応付けられた一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部と；
   前記ステレオ画像選択部で選択されたステレオ画像の前記相互に対応付けられた特徴点である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部とを備え；
   前記ステレオ画像選択部は、前記ステレオ画像として選択可能な画像を組画像としてグループ化する組画像設定部を有し、前記組画像設定部で１グループに属するとして設定された組画像の中からステレオ画像を選択し；
   前記組画像設定部は、前記対象物から撮影位置までの距離、撮影倍率又は撮影方向に応じて前記特徴点追跡部により特徴点が相互に対応付けられた一連の撮影画像を複数の組画像にグループ化する；
   画像処理装置。
2. 前記組画像設定部は、前記特徴点追跡部により特徴点が相互に対応付けられた一連の撮影画像について、倍率、揺らぎ、傾きを補正した補正画像を用いてグループ化する；
   請求項１に記載の画像処理装置。
3. 前記ステレオ画像選択部は、前記対象物から撮影位置までの距離、撮影倍率又は撮影方向が大きく変化している撮影画像を不適切画像として特定し、前記不適切画像として特定された撮影画像を除いてステレオ画像を選択する；
   請求項１又は請求項２に記載の画像処理装置。
4. 前記一連の撮影画像を撮影した位置を求める撮影位置計測部を備え；
   前記ステレオ画像選択部は、前記撮影位置として前記撮影位置計測部で求められた撮影した位置を用いる；
   請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記ステレオ画像選択部は、前記ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、前記対応表から要求精度を満たす基線長となるようにステレオ画像を選択する；
   請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 位置、速度、加速度、角度又は角速度を計測可能なセンサ部を備え；
   前記ステレオ画像選択部は、前記センサから出力された位置、速度、加速度、角度又は角速度の経時変化から前記対象物から撮影位置までの距離の変化、撮影装置の光軸方向の変化又は前記撮影装置の傾きの変化が検出された場合に、これらの変化が激しい時に撮影された撮影画像を不適切画像として特定し、前記不適切画像として特定された撮影画像を除いてステレオ画像を選択する；
   請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 相対的に移動する対象物を、隣り合う４以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程と；
   前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程と；
   前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程と；
   前記特徴点追跡工程により特徴点が相互に対応付けられた一連の撮影画像からステレオ画像として選択可能な画像を組画像としてグループ化する組画像設定工程と；
   前記組画像設定工程で１グループに属するとして設定された組画像の中からステレオ画像を選択するステレオ画像選択工程と；
   前記ステレオ画像選択工程で選択されたステレオ画像の前記対応特徴点を用いて、標定を行なう標定工程と；
   前記標定工程の標定結果を用いて三次元計測を行なう三次元計測工程とを備え；
   前記組画像設定工程は、前記対象物から撮影位置までの距離、撮影倍率又は撮影方向に応じて前記特徴点追跡工程により特徴点が相互に対応付けられた一連の撮影画像を複数の組画像にグループ化する；
   画像処理方法。
8. 前記組画像設定工程は、前記特徴点追跡工程により特徴点が相互に対応付けられた一連の撮影画像について、倍率、揺らぎ、傾きを補正した補正画像を用いてグループ化する；
   請求項７に記載の画像処理方法。
9. 前記ステレオ画像選択工程は、前記一連の撮影画像からステレオ画像を選択する際に、前記対象物から撮影位置までの距離、撮影倍率又は撮影方向が大きく変化している撮影画像を不適切画像として特定し、不適切画像として特定された撮影画像を除いてステレオ画像を選択する；
   請求項７又は請求項８に記載の画像処理方法。
10. 請求項７乃至請求項９のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラム。