JP5363878B2 - ステレオ画像撮影装置及びその方法 - Google Patents

Description

本発明はステレオ画像撮影装置及びその方法に関する。詳しくは、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法に関する。

測定対象物の全体像を把握し、三次元モデル画像に再現するには、複数の撮影位置から撮影した撮影画像を連結していく必要がある。このように撮影者が移動しながら撮影した複数の撮影画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各撮影画像上で相互に対応する特徴点（対象物上の同一点を表す）を求め、これを追跡する必要がある。この場合、三次元計測に不適切な特徴点が撮影画像に混入し得るので、撮影画像における特徴点の適否を判定しながら、その撮影装置の撮影位置、姿勢又は対象物の位置座標を精度良く計測できる画像処理装置が提案されている。（特許文献１参照）

特開２００７−１８３２５６号公報（図１〜図１１、段落００２１〜００６５）

単カメラを用いて移動しながら撮影を行い、測定対象物の三次元計測を行う場合や測定対象物の周囲３６０度にわたって撮影画像を連結した全周囲画像を作成する場合に、多数の方向からかつ画像を重複させながら撮影を行い、画像を連続的に接続して行く必要がある。しかしながら、撮影画像間の重複の程度を少なくすると、三次元計測や全周囲画像の作成に必要な画像の重複状態が不明になったり、撮りこぼしが生じたりする等により、効率が悪くなるという問題があった。他方、撮影画像間の重複の程度を多くすると、画像処理や作業の手間が多くなり、やはり結果的に効率が悪くなるという問題があった。このため、単カメラを用いて移動しながら撮影を行う場合に、前回撮影された撮影画像である前回撮影画像と今回撮影される予定の撮影画像である今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法が求められていた。

本発明は、上記問題点に鑑みてなされたものであり、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様のステレオ画像撮影装置１は、例えば図１（画像については図２参照）に示すように、測定対象物２を単カメラにより重複させながら順次撮影するステレオ画像撮影装置１において、カメラの位置移動に伴い測定対象物２のライブ画像２５を随時取得し、適時に測定対象物２を撮影して静止画像である撮影画像を取得する撮影部３と、撮影部３で前回撮影された撮影画像である前回撮影画像２１に、ライブ画像２５との重複領域２３を設定する重複領域設定部６と、前回撮影画像２１とライブ画像２５とを重複領域設定部６で設定された重複領域２３で重ねて表示し、前回撮影画像２１を重複領域２３から撮影部３の移動方向と反対側に延長して表示し、ライブ画像２５を重複領域２３から撮影部３の移動方向と同じ側に延長して表示する表示部４とを備える。

ここにおいて、ステレオ画像撮影装置とは、通常は１対のカメラを備え測定対象物を重複撮影する撮影装置をいうが、本発明では、移動しながら単カメラで撮影するので、測定対象物を重複させながら順次撮影していく撮影装置をいうものとする。また、ライブ画像２５とは、ビデオカメラやデジタルカメラ等連続的に画像を取得し表示できるカメラを用いて、現在位置で取得される画像をいい、カメラの移動に伴い動的に変化する。典型的にはライブ画像２５はテンポラリメモリに上書きされて、表示部４に転送される。また、ライブ画像２５は適当なフレーム間隔又は時間間隔でサンプリングされ、メモリに所定期間（一時的に）保存され、画像処理する場合に使用される。また、シャッター操作により現在位置でのライブ画像２５が今回撮影予定の撮影画像である今回撮影画像２２として取得される。したがって、表示部４の表示エリア２６において、ライブ画像２５における重複領域（ライブ画像重複領域２５ａ）の画像が、前回撮影画像２１における重複領域２３の画像と大略一致した時に撮影を行えば、予定した今回撮影画像２２を得ることができる。また、重複領域２３の設定は、前回撮影画像２１について重複割合と重複方向が設定される。重複割合は、例えば％で設定され、任意の値に設定できる。重複方向は、典型的には、左側、右側、上側、下側のいずれかに設定される。左上側、左下側、右上側、右下側に設定しても良いが、この場合、重複割合は左右方向の割合と上下方向の割合が設定される。また、重複は典型的には半透明画像を重ね合わせるが、半透明画像の透明度（濃度）を任意に選択可能である。例えば３画像を重複させる場合には、濃度を薄く設定すると、３画像の重複部分が濃くなり、区別し易くなる。また、例えば撮影部３の移動方向が右側であれば、前回撮影画像２１を重複領域２３から撮影部３の移動方向と反対側に延長して表示するとは、前回撮影画像２１を重複領域２３及びその左側に表示することを意味し、ライブ画像２５を重複領域２３から撮影部３の移動方向と同じ側に延長して表示するとは、ライブ画像２５を重複領域２３及びその右側に表示することを意味する。また、大略一致するとは、完全に一致しなくてもマージン内で一致すれば良いとの意味である。重複領域をマージンを持たせて設定すれば、マージン内で一致すれば問題ないからである。例えば、三次元計測用には重複割合を５０％強に設定すれば良いので、重複割合を６０％に設定すれば、±５％のずれは問題ないし、±１０％弱まで許容可能である。そして、マージン内でずれが生じても、次の撮影で意図的に逆方向にずらして撮影することにより充分挽回可能である。勿論、できるだけ一致させることが画像処理の均一性を保つ上で好ましく、例えば±３％以内とすることが好ましい。

本態様のように構成すると、表示部４の表示エリア２６に、ライブ画像２５を前回撮影画像２１の重複領域２３に重ねて表示でき、カメラが今回撮影画像２２を撮影するのに適切な撮影位置に有るか否かをビジュアルに判定できる。これにより、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像２１と今回撮影画像２２との重複領域２３を適切に定められるステレオ画像撮影装置１を提供できる。

また、本発明の第２の態様のステレオ画像撮影装置１は、第１の態様において、例えば図２に示すように、表示部４は、撮影画像及びライブ画像２５に枠を付して表示する。
ここにおいて、撮影画像には、前回撮影画像２１の他に、前々回撮影画像、初回撮影画像等が含まれる。本態様のように構成すると、撮影画像及びライブ画像２５の範囲を明確に表示できる。

また、本発明の第３の態様のステレオ画像撮影装置１は、第１又は第２の態様において、重複領域設定部６は、重複領域２３を前回撮影画像２１の５０ないし７０％に設定する。
ここにおいて、重複割合は、パノラマ画像、全周囲画像のような連続画像を作成する場合には例えば１０％以上が好ましいが、測定対象物２の三次元形状を測定するには例えば５０〜７０％が好ましく、５５〜６５％がより好ましい。また、状況に応じて任意の値に設定可能である。本態様のように構成すると、測定対象物の全ての撮影領域を重複撮影でき、測定対象物２の三次元形状の測定が可能になる。

また、本発明の第４の態様のステレオ画像撮影装置１は、第１ないし第３のいずれかの態様において、例えば図１に示すように、前回撮影画像２１及びライブ画像２５における測定対象物２の特徴点を抽出する特徴点抽出部７と、特徴点抽出部７で抽出された特徴点の前回撮影画像２１とライブ画像２５における画面位置から、撮影部３の移動方向を求めるカメラ移動方向判定部８とを備え、重複領域設定部６は、カメラ移動方向判定部８で判定された移動方向と同じ側に、前回撮影画像２１に重複領域２３を設定する。
このように構成すると、センサ等の装備を追加しなくても、重複領域の方向を正確に設定できる。

また、本発明の第５の態様のステレオ画像撮影装置１Ｂは、第１ないし第３のいずれかの態様において、例えば図１９に示すように、ＧＰＳ又は慣性センサを有し、撮影部３の移動方向を検出する移動方向検出部１５を備え、重複領域設定部６は移動方向検出部１５で検出された移動方向と同じ側に、前回撮影画像２１に重複領域２３を設定する。
このように構成すると、ＧＰＳ又は慣性センサを利用して、重複領域の方向を迅速かつ正確に設定できる。

また、本発明の第６の態様のステレオ画像撮影装置１Ｃは、第１ないし第３のいずれかの態様において、例えば図２１に示すように、撮影部３の移動方向を予め入力可能であり、重複領域設定部６は入力された移動方向と同じ側に、前回撮影画像２１に重複領域２３を設定する。
このように構成すると、状況に応じて撮影者の判断により重複領域を臨機応変に設定できる。

また、本発明の第７の態様のステレオ画像撮影装置１Ａは、第１ないし第６のいずれかの態様において、例えば図１０に示すように、前回撮影画像２１及びライブ画像２５における測定対象物２の特徴点を抽出する特徴点抽出部７と、特徴点抽出部７により抽出された特徴点を用いて撮影部３のカメラの位置と傾きを求める標定部１２と、標定部１２で求められたカメラの位置と傾きを用いて、前回撮影画像２１及びライブ画像２５に偏位修正処理を施して、偏位修正画像を形成する偏位修正画像形成部１３とを備え、表示部４は、偏位修正画像形成部１３で形成された偏位修正画像を表示する。

ここにおいて、偏位修正処理とは、標定で求められたカメラの撮影位置と傾きを用いて、測定対象物２に対して撮影画像をステレオ法の幾何学が成立するように、被写体に対して並行にかつエピポーララインが左右の水平ライン上に一致するように画像を修正する処理である（図１２参照）。したがって左右画像の倍率や傾き等の歪が補正され、倍率や高さの位置が同一となる。本態様のように構成すると、偏位修正画像を作成することにより、立体視可能な態様で前回撮影画像２１とライブ画像２５とを重ねて表示でき、重複した場合にほぼ一致した画像を得られる。

また、本発明の第８の態様のステレオ画像撮影装置１は、第１ないし第７のいずれか態様において、例えば図８に示すように、重複領域設定部６が前々回撮影された撮影画像である前々回撮影画像２７に設定した重複領域を前々回画像重複領域２７ａ、前回撮影画像２１に設定した重複領域を前回画像重複領域２１ａとし、表示部４は、前々回撮影画像２７と前回撮影画像２１とを前々回画像重複領域２７ａで重ねて表示し、前々回撮影画像２７を前々回画像重複領域２７ａから撮影部３の移動方向と反対側に延長して表示し、前回撮影画像２１を前々回画像重複領域２７ａから撮影部３の移動方向と同じ側に延長して表示し、前回撮影画像２１とライブ画像２５とを前回画像重複領域２１ａで重ねて表示し、前回撮影画像２１を前回画像重複領域２１ａから撮影部３の移動方向と反対側に延長して表示し、ライブ画像２５を前回画像重複領域２１ａから撮影部３の移動方向と同じ側に延長して表示する。

ここにおいて、前々回画像重複領域２７ａは、前回撮影時に、重複領域設定部６により前々回撮影画像２７に既に設定されている。また、撮影部３の移動方向は前回撮影画像２１の撮影位置からライブ画像２５の撮影位置への移動方向をいい、典型的には前回撮影画像２１と前々回撮影画像２７の撮影位置から前回撮影画像２１の撮影位置への移動方向と一致する。一致しない時は撮影者の移動方向を修正してから撮影すれば良い。また、例えば撮影部３の移動方向が右側であれば、前回撮影画像２１を前回画像重複領域２１ａから撮影部３の移動方向と反対側に延長して表示するとは、前回撮影画像２１を前回画像重複領域２１ａ及びその左側に表示することを意味し、ライブ画像２５を前回画像重複領域２１ａから撮影部３の移動方向と同じ側に延長して表示するとは、ライブ画像２５を前回画像重複領域２１ａ及びその右側に表示することを意味する。本態様のように構成すると、前々回撮影画像２７、前回撮影画像２１及びライブ画像２５を表示エリア２６に重ねて表示でき、三重に重複されたタイ領域２９を確認できる。また、大略重なるようにとは、完全に一致しなくてもマージン内で一致すれば良いとの意味である。例えば、前々回画像重複領域２７ａについてライブ画像２５と重複するためのマージンを持たせて設定すれば、マージン内で一致すれば問題ないからである。例えば、三次元計測用には重複領域があれば良いので、重複割合を２０％に設定すれば、±５％のずれは問題ないし、±２０％弱まで許容可能である。そして、マージン内でずれが生じても、次の撮影で意図的に逆方向にずらして撮影することにより充分挽回可能である。勿論、できるだけ一致させることが画像処理の均一性を保つ上で好ましく、例えば±３％以内とすることが好ましい。

また、本発明の第９の態様のステレオ画像撮影装置１は、第８の態様において、例えば図８に示すように、重複領域設定部６は、前々回画像重複領域２７ａと前回画像重複領域２１ａが少なくとも一部で重複するように前々回画像重複領域２７ａと前回画像重複領域２１ａを設定する。
このように構成すると、これによって、測定対象物２の全ての撮影領域を重複撮影でき、測定対象物２の三次元形状の測定が可能になる。

また、本発明の第１０の態様のステレオ画像撮影装置１Ａは、第１ないし第９のいずれかの態様において、例えば図１０及び図１６に示すように、前回撮影画像２１及びライブ画像２５における測定対象物２の特徴点を抽出する特徴点抽出部７と、特徴点抽出部７が、ライブ画像２５から抽出した測定対象物２の特徴点と初回に撮影された撮影画像である初回撮影画像２８から抽出した測定対象物２の特徴点とのステレオマッチングを行なう対応点探索部８ａを備え、ステレオマッチングにより、ライブ画像２５と初回撮影画像２８の間に重複領域が見出された場合に、重複領域設定部６は、重複領域を初回撮影画像２８に一周画像重複領域２８ｃとして設定し、表示部４は、初回撮影画像２８とライブ画像２５とを一周画像重複領域２８ｃで重ねて表示する。
このように構成すると、初回撮影画像２８が表示された場合に、今回又は次回の撮影において、撮影が一巡することが解る。

また、本発明の第１１の態様のステレオ画像撮影装置１Ａは、第１ないし第９のいずれかの態様において、例えば図１０及び図１６に示すように、前回撮影画像２１及びライブ画像２５における測定対象物２の特徴点を抽出する特徴点抽出部７と、特徴点抽出部７により抽出されたライブ画像２５及び初回に撮影された撮影画像である初回撮影画像２８における測定対象物２の特徴点の画面位置からそれぞれの撮影位置の三次元座標を求める三次元座標演算部１４を備え、ライブ画像２５及び初回撮影画像２８における撮影位置の三次元座標により、ライブ画像２５と初回撮影画像２８の間に重複領域が見出された場合に、重複領域設定６部は、初回撮影画像２８に重複領域を一周画像重複領域２８ｃとして設定し、表示部４は、初回撮影画像２８とライブ画像２５とを一周画像重複領域２８ｃで重ねて表示する。
このように構成すると、初回撮影画像２８が表示された場合に、今回又は次回の撮影において、撮影が一巡することが解る。

また、本発明の第１２の態様のステレオ画像撮影装置１Ｂは、第５の態様において、例えば図１９に示すように、ＧＰＳ又は慣性センサで検出されたライブ画像２５と初回に撮影された撮影画像である初回撮影画像２８における撮影位置より、ライブ画像２５と初回撮影画像２８の間に重複領域が見出された場合に、重複領域設定部６は、初回撮影画像２８に重複領域を一周画像重複領域２８ｃとして設定し、表示部４は、初回撮影画像２８とライブ画像２５とを一周画像重複領域２８ｃで重ねて表示する。
ここにおいて、一周したとは、同じ方向に移動して今回の撮影により予定した全ての方向からの撮影が完了する位置に到達したことを意味する。例えば、１２方向からの撮影を予定していた場合、１２番目の撮影位置に到達したことを意味する。本態様のように構成すると、初回撮影画像２８が表示された場合に、今回又は次回の撮影において、撮影が一巡することが解る。

また、本発明の第１３の態様のステレオ画像撮影装置１Ｃは、第６の態様において、例えば図２１に示すように、撮影者が一周した際に、一周したことを入力可能であり、撮影者が一周したことを入力した場合に、重複領域設定部６は、初回に撮影された撮影画像である初回撮影画像２８に一周画像重複領域２８ｃを設定し、表示部４は、初回撮影画像２８とライブ画像２５とを一周画像重複領域２８ｃで重ねて表示する。
このように構成すると、初回撮影画像２８が表示された場合に、今回又は次回の撮影において、撮影が一巡することが解る。

また、本発明の第１４の態様のステレオ画像撮影装置１Ａは、第１ないし第９のいずれかの態様において、例えば図１０及び図１８に示すように、前回撮影画像２１及びライブ画像２５における測定対象物２の特徴点を抽出する特徴点抽出部７と、特徴点抽出部７により抽出された特徴点を用いて撮影部３のカメラの位置と傾きを求める標定部１２と、標定部１２で求められたカメラの位置と傾きを用いて、特徴点の三次元座標を求める三次元座標演算部１４とを備え、重複領域設定部６は、三次元座標演算部１４で求められた特徴点の三次元座標を用いて、前回撮影画像２１とライブ画像２５との重複領域を、前回撮影画像２１に前回側重複領域２１ｃとして、ライブ画像２５にライブ側重複領域２５ｃとして設定し、表示部４は、前回撮影画像２１とライブ画像２５とを、前回側重複領域２１ｃとライブ側重複領域２５ｃで測定対象物２の同じ部分が大略重なるよう、かつ両者共枠を付して全体が表示エリア２６に含まれるように表示する。

ここにおいて、例えば前回側重複領域２１ｃ及びライブ側重複領域２５ｃは重複する最外部の特徴点を繋ぎ、これに近似する四角形で表現しても良い。本態様のように構成すると、ライブ側重複領域２５ｃにおける測定対象物２の画像をより正確に表示できる。また、重複領域２３とライブ側重複領域２５ｃの位置を比較することにより、撮影すべきか否かを判断できる。ずれが大きいときには重複領域２３にライブ側重複領域２５ｃを近づけるように移動し、両領域を合せて撮影すれば良い。また、ライブ側重複領域２５ｃの位置に応じて、すなわち撮影方向に応じて、前回撮影画像２１とライブ画像２５及びこれらの枠の位置が変更されて表示される。

上記課題を解決するために、本発明の第１５の態様のステレオ画像撮影方法は、例えば図７に示すように、測定対象物２を単カメラにより重複させながら順次撮影するステレオ画像撮影方法において、適時に測定対象物２を撮影して静止画像である撮影画像を取得する撮影工程（Ｓ１１０）と、カメラの位置移動に伴い測定対象物２のライブ画像を随時取得するライブ画像取得工程（Ｓ１４０）と、前回撮影された撮影画像である前回撮影画像２１に、ライブ画像２５との重複領域２３を設定する重複領域設定工程（Ｓ１３０及びＳ１８０）と、前回撮影画像２１とライブ画像２５とを重複領域設定工程（Ｓ１３０及びＳ１８０）で設定された重複領域２３で重ねて表示し、前回撮影画像２１を重複領域２３から撮影部３の移動方向と反対側に延長して表示し、ライブ画像２５を重複領域２３から撮影部３の移動方向と同じ側に延長して表示する表示工程（Ｓ１９０）とを備える。

本態様のように構成すると、表示部４の表示エリア２６に、ライブ画像２５を前回撮影画像２１の重複領域２３に重ねて表示でき、カメラが今回撮影予定画像２２を撮影するのに適切な撮影位置に有るか否かをビジュアルに判定できる。これにより、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像２１と今回撮影画像２２との重複領域２３を適切に定められるステレオ画像撮影方法を提供できる。

本発明によれば、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供できる。

実施例１に係るステレオ画像撮影装置の構成例を示すブロック図である。 表示エリアにおける重複領域を説明するための図である。 前回撮影画像にライブ画像を重複して表示する例（その１）を示す図である。 前回撮影画像にライブ画像を重複して表示する例（その２）を示す図である。 ステレオ画像における特徴点と対応点の例を示す図である。 対応点探索を説明するための図である。 実施例１に係る画像撮影の処理フロー例を示す図である。 前々回撮影画像及び前回撮影画像にライブ画像を重複して表示する例を示す図である。 実施例２に係る画像撮影の処理フロー例を示す図である。 実施例３に係るステレオ画像撮影装置の構成例を示すブロック図である。 相互標定を説明するための図である。 偏位修正画像を説明するための図である。 撮影画像と表示画像の倍率を説明するための図である。 ステレオ法を説明するため図である。 実施例３に係る画像撮影の処理フロー例を示す図である。 初回撮影画像にライブ画像を重複して表示する例を示す図である。 実施例４に係る画像撮影の処理フロー例を示す図である。 撮影方向に応じて前回撮影画像とライブ画像及びこれらの枠の位置が変更されて表示される例を示す図である。 実施例６に係るステレオ画像撮影装置の構成例を示すブロック図である。 実施例６に係る画像撮影の処理フロー例を示す図である。 実施例７に係るステレオ画像撮影装置の構成例を示すブロック図である。 実施例７に係る画像撮影の処理フロー例を示す図である。

以下、図面を参照して、本発明の実施の形態について説明する。尚、各図において、互いに同一又は相当する部分には同一符号を付し、重複した説明は省略する。

実施例１では、表示部の表示エリアに前回撮影画像とライブ画像とを重複して表示する例で、カメラ移動方向判定部で撮影部の移動方向を求め、重複領域設定部はカメラ移動方向判定部で判定された移動方向と同じ側に重複領域を設定する例を説明する。

［装置構成］
図１は本発明の実施例１に係るステレオ画像撮影装置１の構成例を示すブロック図である。ステレオ画像撮影装置１は、カメラの位置移動に伴い測定対象物２のライブ画像を随時取得し、適時に測定対象物２を撮影して静止画像である撮影画像を取得する撮影部３、撮影画像及び画像処理した画像等を表示する表示部４、操作者がデータや指示等を入力する入力部９、撮影画像、ライブ画像及び画像処理した画像等を記憶する記憶部５、撮影部３で前回撮影された撮影画像である前回撮影画像に、ライブ画像との重複領域を設定する重複領域設定部６、撮影画像及びライブ画像から特徴点を抽出する特徴点抽出部７、特徴点抽出部７で抽出された特徴点の前回撮影画像とライブ画像における画面位置から、撮影部３の移動方向を求めるカメラ移動方向判定部８、ステレオ画像撮影装置１及びそれを構成する各部を制御する制御部１０を備える。また、重複領域設定部６、特徴点抽出部７、カメラ移動方向判定部８、制御部１０はパーソナルコンピュータ（ＰＣ）１６内に構成される。これらの各部は、デジタルカメラ内の処理部に構成されても良いが、本実施例ではＰＣ１６内に構成するものとする。

本実施例に係るステレオ画像撮影装置１は、測定対象物２の全周囲撮影を行う等、多数の撮影画像を連結して測定対象物２の全体像を得るのに適している。また、測定対象物２の全体にわたって重複撮影を行ない、三次元計測するための撮影画像を得るのに適している。なお、画像については図２を参照されたい。
撮影部３は、単カメラ、例えばビデオカメラやデジタルカメラで構成される。撮影者は、撮影部３としての単カメラを用いて、例えば測定対象物２の周りを移動しながら、重複領域を設けて順次撮影する。測定対象物２の周囲３６０度にわたって連結した全周囲画像を得るためには、隣り合う撮影画像間に少しずつ重複領域を設けて撮影すれば良いが、三次元計測するには、重複領域を共有する２つの撮影画像をステレオ画像として、その重複領域から特徴点を抽出し、これらの特徴点の三次元座標を求めるため、測定対象物２の撮影領域全体にわたり重複して撮影することが必要である。

表示部４は、例えば、液晶ディスプレイ等のディスプレイを有する。少なくとも、測定対象物２の前回撮影画像２１とライブ画像２５とを重ねて表示エリア２６に表示する。表示エリア２６には撮影範囲より広い範囲を表示でき、シャッター操作により撮影される範囲はライブ画像２５として表示されている範囲である。表示部４は、その他、前々回撮影画像、偏位修正画像等の画像処理した画像等を表示しても良い。また、音声表示する場合にはスピーカを有する。
入力部９は、例えばマウスやキーボードを有し、操作者がデータ及び指示を入力するために使用される。

記憶部５は、例えばハードディスクで構成され、データベースとして使用される。撮影画像を記憶する撮影画像記憶部５１、ライブ画像２５を記憶するライブ画像記憶部５２、偏位修正画像等の画像処理した画像を記憶する処理画像記憶部５３、測定対象物２の特徴点や撮影位置の位置座標を記憶する位置座標記憶部５４を有する。ビデオカメラではシャッター操作により通常は撮影画像を外部のメモリに記憶するが、内部メモリがあればそこに記憶される。デジタルカメラではシャッター操作により撮影画像を内部メモリに記憶する。また、撮影者が移動しながらビデオカメラ又はデジタルカメラで撮影されたライブ画像は常時ライブ画像記憶部５２のテンポラリメモリに上書きされて、表示部４に転送される。また、ライブ画像から移動方向を判定するには画像処理を要する。このため、ライブ画像は適当なフレーム間隔又は時間間隔でサンプリングされ、ライブ画像記憶部５２のメモリに所定期間（一時的に）保存される。所定期間は例えば移動方向を判定するのに充分な時間であれば良い。したがって、ライブ画像記憶部５２はテンポラリメモリとサンプリングされたライブ画像を記憶するメモリを有する。記憶部５としてカメラの内部メモリを用いても良いが、ＰＣ１６のハードディスクを用いる方が高速、多様な処理に適しているので好ましい。本実施例では、外部メモリを用いるカメラでは撮影画像を記憶部５に直接記憶し、内部メモリを用いるカメラでは撮影画像を記憶部５に転送するものとする。

［重複領域設定部］
重複領域設定部６は、撮影部３で前回撮影された撮影画像である前回撮影画像２１にライブ画像２５との重複領域２３を設定する。この重複領域２３は前回撮影画像２１と今回撮影予定の撮影画像である今回撮影画像２２とを重ねて撮影する領域でもある。表示部４の表示エリア２６において、ライブ画像２５おける重複領域であるライブ画像重複領域２５ａの画像が、前回撮影画像２１における重複領域２３の画像と大略一致した時に撮影を行えば、予定した今回撮影画像２２を得ることができる。重複領域設定部６では、重複領域２３について重複割合と重複方向を設定する。重複方向に関して、本実施例では、カメラ移動方向判定部８で判定された移動方向と同じ側に重複領域２３を設定する。例えば、撮影者が撮影部３を所持して、測定対象物２の周りを右回りに移動した場合には、前回撮影画像２１について右側に重複領域２３が設定され、表示される。なお、表示エリア２６には撮影範囲より広い範囲を表示でき、シャッター操作により撮影される範囲はライブ画像２５として表示されている範囲である。したがって、ライブ画像２５おける重複領域であるライブ画像重複領域２５ａの画像が、前回撮影画像２１における重複領域２３の画像と一致しない時に撮影を行えば、予定した今回撮影画像２２とずれた撮影画像が得られる。ところで、大略一致するとは、完全に一致しなくてもマージン内で一致すれば良いとの意味である。重複領域をマージンを持たせて設定すれば、マージン内で一致すれば問題ないからである。例えば、三次元計測用には重複割合を５０％強に設定すれば良いので、重複割合を６０％に設定すれば、±５％のずれは問題ないし、±１０％弱まで許容可能である。そして、マージン内でずれが生じても、次の撮影で意図的に逆方向にずらして撮影することにより充分挽回可能である。勿論、できるだけ一致させることが画像処理の均一性を保つ上で好ましく、例えば±３％以内とすることが好ましい。また、状況に応じて重複割合を任意に設定できる。例えば、測定対象物２の観察を細かく行ないたい時、特徴点の追跡を細かく行いたい時には９０％に設定し、測定対象物２の観察を粗く行なっても良い時、特徴点の追跡を粗く行なっても良い時には５５％に設定する等である。

図２は表示エリアにおける重複領域を説明するための図である。図２（ａ）はデジタルカメラの表示部４に、図２（ｂ）は平面に、表示エリア２６における重複状況を示す。撮影部３としてのデジタルカメラに付属する表示部４の表示エリア２６（図２（ａ）において外側の太い実線枠で囲まれた領域）に、測定対象物２としての自動車が表示されている。内側の実線枠内が前回撮影画像２１であり、表示エリア２６の左側、ここでは左端の近くに配置され、破線枠内がライブ画像２５であり、表示エリア２６の右側、ここでは右端の近くに配置されている。すなわち、撮影部３の移動方向が右方向の場合である。表示エリア２６の中央に内側の実線枠内かつ破線枠内の部分があり、前回撮影画像２１とライブ画像２５との重複領域（オーバーラップ領域）２３となっている。この重複領域２３は前回撮影画像２１と今回撮影予定の撮影画像である今回撮影画像２２とを重ねて撮影する領域でもある。重複割合は約６０％である。前回撮影画像２１とライブ画像２５とが重複領域２３で重ねて表示され、前回撮影画像２１は重複領域２３から左側（撮影部３の移動方向と反対側）に延長して表示され、ライブ画像２５は重複領域２３から右側（撮影部３の移動方向と同じ側）に延長して表示されている。前回撮影画像２１において、延長して表示されている部分を延長領域２４、ライブ画像２５において、重複領域２３にある部分がライブ画像重複領域２５ａ、延長して表示されている部分がライブ画像延長領域２５ｂである。ライブ画像重複領域２５ａにおける測定対象物２の画像が、重複領域２３における測定対象物２の画像と大略一致した時に撮影を行えば、予定した今回撮影画像２２を得ることができる。

図３に前回撮影画像にライブ画像を重複して表示する例（その１）を示す。測定対象物２は自動車である。図３（ａ）に前回撮影画像２１を、図３（ｂ）に今回撮影予定の今回撮影画像２２を、図３（ｃ）にライブ画像２５を、図３（ｄ）に、前回撮影画像２１にライブ画像２５を重複した画像を示す。なお、画像の符号については図２を参照されたい。図３（ａ）において、前回撮影画像２１について破線の右側半分強に重複領域２３が設定され、左側半分弱が延長領域２４である。図３（ｂ）の今回撮影画像２２及び図３（ｃ）のライブ画像２５では、左側半分強が前回撮影画像２１に設定された重複領域２３に重なる部分である。すなわち、ライブ画像２５では左側半分強がライブ画像重複領域２５ａ、右側半分弱がライブ画像延長領域２５ｂである。図３（ｄ）では、左側２／３強に前回撮影画像が、右側２／３強にライブ画像が配置され、中央１／３強の重複領域２３において、前回撮影画像２１とライブ画像２５が重複表示されている。図では、ライブ画像２５が点線で囲まれた方で、前回撮影画像２１に比してやや上側にずれて表示されている。カメラの位置とアングルを調整して、重複領域２３において、前回撮影画像２１とライブ画像２５における測定対象物２の同じ部分が大略重なる時に撮影を行えば、予定した今回撮影画像２２を得ることができる。

図４に前回撮影画像にライブ画像を重複して表示する例（その２）を示す。測定対象物２は自動車である。図３では前回撮影画像２１とライブ画像２５を左右に並べて表示する例を示したが、図４では前回撮影画像２１とライブ画像２５を上下に並べて表示する例を示す。図では、ライブ画像２５は点線で囲まれた方で、下側に示されている。中央の矢印の範囲が重複領域２３である。ライブ画像２５はやや右側にずれて表示されている。図３の場合と同様に、カメラの位置とアングルを調整して、重複領域２３において、前回撮影画像２１とライブ画像２５における測定対象物２の同じ部分が大略重なる時に撮影を行えば、予定した今回撮影画像２２を得ることができる。

［特徴点抽出部］
特徴点抽出部７は、撮影画像から特徴点を抽出する。特徴点には、例えば測定対象物２の中心位置、重心位置、コーナー位置、他と異なる特徴を有する位置、測定対象物２に貼付された又は投影された標識などがある。特徴点抽出には特徴抽出オペレータが使用される。ここではモラベック（ＭＯＲＡＶＥＣ）オペレータを用いる例を説明する。

ＭＯＲＡＶＥＣオペレータは、汎用の特徴抽出器として古くから使用されている。ＭＯＲＡＶＥＣオペレータは、例えば、ある注目画素の周囲３×３画素をマスクとし、マスクが注目画素の周囲４方向に各１画素移動した際の濃度差分（方向濃度差分）の最小値をその注目画素の特徴量とする。処理が単純で高速であること、比較的容易にハード化が可能なことなどが特徴である。なお、高速処理を行うためには、画像の数倍のメモリが必要となる。ここではモラベックオペレータによる特徴点抽出を説明したが、他のオペレータ、例えばハリスオペレータやその他のもの、特徴点を検出できるものならなんでもよい。

［カメラ移動方向判定部］
カメラ移動方向判定部８は、特徴点抽出部７で抽出された特徴点の前回撮影画像２１とライブ画像２５における画面位置から、又はライブ画像２５間における画面位置の変化から、撮影部３の移動方向を求める。すなわち、前回撮影画像２１とライブ画像２５をステレオ画像として、前回撮影画像の特徴点とライブ画像の特徴点とを対応付け、ライブ画像２５の特徴点の前回撮影画像２１の特徴点に対する移動ベクトルを求め、重複領域内で平均化し、平均移動ベクトルと反対方向を撮影部３の移動方向として求めることができる。特徴点の対応付け（対応点探索）は対応点探索部８ａで行う。また、ライブ画像の特徴点を追跡し、ライブ画像間の特徴点の変化から平均移動ベクトルを求め、同じ方向への移動が所定回数（例えば３回以上）続いた時に、移動方向を求めても良い。なお、所定回数は１回でも良く、特徴点の追跡を省略しても良い。なお、予定の撮影位置から行き過ぎた位置でシャッター操作しライブ画像を撮影してしまった場合には、撮影者が破棄信号を入力することにより、今回撮影画像を破棄可能とするのが好ましい。その後、撮影者が前回撮影画像の撮影位置に戻って移動するのが、カメラ移動方向判定部８の判定を確実にする上で好適である。

図５はステレオ画像における特徴点と対応点の例を示す図である。図５（ａ）は左画像から抽出された特徴点、図５（ｂ）は右画像から抽出された特徴点、図５（ｃ）は対応付けされた特徴点を示す。左画像と右画像はステレオペアを構成し、左右に僅かにずれた位置で撮影されている。左画像及び右画像において、測定対象物２としての自動車に付された多数の点の位置が特徴点として抽出された点の位置である。対応点探索によりこれらの特徴点の大部分が対応付けられ、図５（ｃ）において三次元座標空間（ここでは透視図を使用）に表示されている。これらの特徴点には特徴点番号が付され、三次元位置座標及び左右画像における位置座標が位置座標記憶部５４に記憶される。

図６はステレオ画像間の特徴点を対応付ける対応点探索を説明するための図である。対応付けには相互相関処理を使用する。図６に示すようにＮ_１×Ｎ_１画素のテンプレート画像を、それより大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、次式のＣ（ａ，ｂ）が最大になるようなテンプレート画像の左上位置（ａ，ｂ）を求めて、テンプレート画像に対し探索されたとみなす。左右画像の場合には、例えば左画像上にＮ_１×Ｎ_１画素のテンプレート画像を設定し、右画像上にＭ_１×Ｍ_１画素の探索領域を設定し、この操作を各画像上での位置について行えばよい。

［相互相関処理］
ここでは、対応点探索に関し、正規化相互相関処理について説明したが、他の手法、例えば、残差逐次検定法（ＳＳＤＡ）などを用いてもよい。

制御部１０は、内臓メモリに制御プログラムを有し、ステレオ画像撮影装置１及びこれを構成する各部を制御し、信号及びデータの流れを制御し、ステレオ画像撮影装置としての機能を実行させる。

図７に本実施例に係る画像撮影の処理フロー例を示す。表示エリアに前回撮影画像とライブ画像を重複して表示する例を説明する。
まず、撮影部３のシャッター操作により、測定対象物２を撮影する（撮影工程：Ｓ１１０）。撮影された撮影画像は撮影画像記憶部５１に記憶される。次に、撮影画像を表示部４の表示エリア２６に表示し（撮影画像表示工程：Ｓ１２０）、重複領域設定部６において、撮影工程で撮影され、撮影画像表示工程で表示されている前回撮影画像２１に重複割合の設定を行なう（重複割合設定工程：Ｓ１３０）。重複領域２３の設定は重複割合と重複方向について行なう。重複領域設定工程は重複割合設定工程（Ｓ１３０）と後述する重複方向設定工程（Ｓ１８０）からなる。ここではまず、重複割合の設定を行なうが、重複方向については仮設定を行なう。例えば入力部９からキーボードを用いて「右（側）」、「６０（％）」と入力すると、撮影画像表示工程（Ｓ１２０）で表示エリア２６に表示された前回撮影画像２１において、重複領域２３が枠で囲まれて表示される。撮影者が例えばマウスで表示画面の確認ボタンをクリックすると、重複割合が設定され、重複方向が仮設定される。重複方向は後の重複方向設定工程（Ｓ１８０）で本設定される。次に、ライブ画像を取得する（ライブ画像取得工程：Ｓ１４０）。ライブ画像は常時ライブ画像記憶部５２のテンポラリメモリに上書きされ、表示部４に転送される。また、適当なフレーム間隔又は時間間隔でサンプリングされ、ライブ画像記憶部５２に所定期間（一時的に）保存される。例えば重複割合が「６０（％）」と設定され、重複方向が「右（側）」と仮設定されている場合には、前回撮影画像２１の６０％が重複領域２３となり、表示エリア２６において前回撮影画像２１は重複領域２３から左側に延長して表示され（すなわち、重複領域及びその左側に表示され）、ライブ画像は重複領域から右側に延長して表示される（すなわち、重複領域及びその右側に表示される）。また、例えば重複方向の仮設定を省略し、重複方向が本設定されるまで、ライブ画像２５を表示エリア２６の中央に表示しても良い。

次に、前回撮影画像２１及びライブ画像２５から特徴点を抽出する（特徴点抽出工程：Ｓ１５０）。ライブ画像２５については、適当なフレーム間隔又は時間間隔でサンプリングされた画像のうち、例えば前回撮影画像２１の撮影から所定時間（例えば３ｓｅｃ）経過後の画像を選択して特徴点を抽出する。前回撮影画像２１及びライブ画像２５をステレオ画像として、重複し合う特徴点について対応点探索部８ａにて対応付けを行う。カメラ移動方向判定部８は、前回撮影画像２１の特徴点に対するライブ画像２５の対応点（対応点探索部８ａにより対応付けられた特徴点）の平均移動ベクトルから、平均移動ベクトルと反対方向を撮影部３の移動方向として求めることができる。次にライブ画像２５について特徴点の追跡を行なう（特徴点追跡工程：Ｓ１６０）。例えば前回撮影画像２１の撮影から３ｓｅｃ後のライブ画像の他に６ｓｅｃ後のライブ画像と９ｓｅｃ後のライブ画像を選択する。３ｓｅｃ後のライブ画像の特徴点に対し６ｓｅｃ後のライブ画像の対応点を探索して、平均移動ベクトルを求める。また、６ｓｅｃ後のライブ画像の特徴点に対し９ｓｅｃ後のライブ画像の対応点を探索して、平均移動ベクトルを求める。このようにしてライブ画像の特徴点を追跡できる。なお、状況に応じて追跡の時間間隔を任意に設定できる。例えば、特徴点の追跡を細かく行いたい時には１ｓｅｃに設定し、特徴点の追跡を粗く行なっても良い時には５ｓｅｃに設定する等である。次に、カメラ移動方向判定部８は特徴点抽出部７で抽出された特徴点の前回撮影画像２１とライブ画像２５における画面位置から、又はライブ画像間における画面位置の変化から撮影部３の移動方向を求める（移動方向判定工程：Ｓ１７０）。例えば、前回撮影画像２１とライブ画像２５から求めた平均移動ベクトルの方向と反対方向を撮影部３の移動方向として求めることができる。また、ライブ画像間の特徴点を追跡し、平均移動ベクトルの方向が、同じ方向（例えば左方向）に例えば３回以上続けば、平均移動ベクトルの方向と反対方向を撮影部３の移動方向として求めても良い。

次に、重複領域設定部６は、重複方向を本設定する（重複方向設定工程：Ｓ１８０）。重複領域設定部６は、カメラ移動方向判定部８で判定された移動方向と同じ側に、前回撮影画像２１にライブ画像２５との重複領域２３を設定する。例えば、撮影部３の移動方向が右方向と判定された場合には、前回撮影画像２１について右側に重複領域２３を設定する。次に、表示部４は、表示エリア２６に前回撮影画像２１とライブ画像２５を重複して表示する（表示工程：Ｓ１９０）。例えば重複領域が「右（側）」、「６０（％）」と本設定された場合には、前回撮影画像の６０％が重複領域２３となり、表示エリア２６において前回撮影画像２１は重複領域２３から撮影部３の移動方向と反対側である左側に延長して表示され、ライブ画像２５は重複領域２３から撮影部３の移動方向と同じ側である右側に表示される。

次に、撮影者は表示エリア２６における前回撮影画像２１とライブ画像２５との重複状況を監視し、撮影位置及びカメラアングルが適切か否かを判断する（カメラ位置判定工程：Ｓ２１０）。重複領域２３において、前回撮影画像２１とライブ画像２５における測定対象物２の同じ部分が大略重なる時に撮影を行えば、予定した今回撮影画像２２を得ることができる。重複領域２３において、前回撮影画像２１とライブ画像２５にずれがある場合（Ｓ２１０でＮＯ）には、撮影位置やカメラアングルを調整し、ライブ画像取得工程（Ｓ１４０）〜画像表示工程（Ｓ１９０）を繰り返す。前回撮影画像２１とライブ画像２５における測定対象物２の同じ部分が大略重なる場合（Ｓ２１０でＹＥＳ）には、撮影枚数が予め予定した枚数に達したか否かを判定する（撮影終了判定工程：Ｓ２２０）。例えば、撮影予定枚数を制御部１０に予め登録しておき、撮影の度に撮影枚数が計数され、制御部１０は計数された撮影枚数を登録された撮影予定枚数と比較して、計数された撮影枚数＜撮影予定枚数のとき（Ｓ２２０でＮＯ）は、撮影工程（Ｓ１１０）〜カメラ位置判定工程（Ｓ２１０）を繰り返す。計数された撮影枚数≧撮影予定枚数のとき（Ｓ２２０でＹＥＳ）は、画像撮影の処理フローを終了する。なお、撮影予定枚数の登録をしない場合には撮影終了判定工程（Ｓ２２０）で、撮影者が終了するか否かを判断する。

以上説明したように、本実施例によれば、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供できる。

実施例１では、表示部の表示エリアに前回撮影画像とライブ画像とを重複して表示する例を説明したが、実施例２では、表示部の表示エリアに前々回撮影画像、前回撮影画像とライブ画像とを重複して表示する例を説明する。ステレオ画像撮影装置１の構成は実施例１と同様である。実施例１と異なる点を主に説明する。

図８に前々回撮影画像及び前回撮影画像にライブ画像を重複して表示する例を示す。図８（ａ）はデジタルカメラ３の表示部４に、図８（ｂ）は平面に、カメラ表示エリア２６を示す。デジタルカメラ３の表示部４の表示エリア２６（図８（ａ）において外側の実線枠で囲まれた領域）に、測定対象物２としての自動車が表示されている。内側の実線枠内が前々回撮影画像２７であり、表示エリア２６の左側、ここでは左端の近くに配置され、一点鎖線枠内が前回撮影画像２１であり、表示エリア２６の中央に配置され、破線枠内がライブ画像２５であり、表示エリア２６の右側、ここでは右端の近くに配置されている。すなわち、撮影部３の移動方向が右方向の場合である。内側の実線枠内かつ一点鎖線枠内の部分が前々回撮影画像２７と前回撮影画像２１との重複領域（オーバーラップ領域）となっており、前々回撮影画像２７に設定された前々回画像重複領域２７ａである。一点鎖線枠内かつ破線枠内の部分が前回撮影画像２１とライブ画像２５との重複領域（オーバーラップ領域）となっており、前回撮影画像２１に設定された前回画像重複領域２１ａである。これらの重複領域の重複割合は約６０％である。前々回撮影画像２７の前々回画像重複領域２７ａから左側（撮影部３の移動方向と反対側）に延長する部分が前々回画像延長領域２７ｂ、また、前回撮影画像２１の前回画像重複領域２１ａから左側（撮影部３の移動方向と反対側）に延長する部分が前回画像延長領域２１ｂ、ライブ画像２５の前回画像重複領域２１ａと重なる部分がライブ画像重複領域２５ａ、ライブ画像重複領域２５ａから右側に延長する部分がライブ画像延長領域２５ｂである。

また、内側の実線枠内かつ破線枠内の部分が前々回撮影画像２７、前回撮影画像２１とライブ画像２５との三重の重複領域（オーバーラップ領域）となっており、タイ領域２９である。タイ領域２９の重複割合は約２０％である。このように、ライブ画像２５と前々回撮影画像２７とを重複させることにより、測定対象物２の全撮影領域を重複撮影でき、測定対象物２の全撮影領域の三次元座標を求めることができる。ライブ画像２５おけるライブ画像重複領域２５ａの画像が、前回撮影画像２１おける前回画像重複領域２１ａの画像と大略一致した時に撮影を行えば、予定した今回撮影画像２２を得ることができる。又は、タイ領域２９における前々回撮影画像２７とライブ画像２５における測定対象物２の同一部分が大略重なる時に撮影を行えば、予定した今回撮影画像２２を得ることができる。大略一致するとは、完全に一致しなくてもマージン内で一致すれば良いとの意味である。例えば、前々回画像重複領域２７ａについてライブ画像２５と重複するためのマージンを持たせて設定すれば、マージン内で一致すれば問題ないからである。例えば、三次元計測用には前々回撮影画像２７とライブ画像２５とに重複領域があれば良いので、その重複割合を２０％に設定すれば、±５％のずれは問題ないし、±２０％弱まで許容可能である。そして、マージン内でずれが生じても、次の撮影で意図的に逆方向にずらして撮影することにより充分挽回可能である。勿論、できるだけ一致させることが画像処理の均一性を保つ上で好ましく、例えば±３％以内とすることが好ましい。なお、各重複領域の色、透明度を変えると各重複領域を区別し易くなる。特に、タイ領域２９については、ハッチング等により区別し易くすることが好ましい。また、各画像の透明度を薄くすると、タイ領域２９が他の部分より濃くなり、区別し易くなる。

図９に実施例２に係る画像撮影の処理フロー例を示す。本実施例では、表示エリア２６に前々回撮影画像２７、前回撮影画像２１とライブ画像２５を重複して表示する例を説明する。実施例１（図７参照）の画像表示工程（１９０）では、前回撮影画像２１とライブ画像２５とを表示するのに対して、実施例２では画像表示工程（１９２）において、前々回撮影画像２７、前回撮影画像２１とライブ画像２５とを表示する点が異なる。したがって、ライブ画像２５を前々回撮影画像２７及び前回撮影画像２１と重複させて見ることができる。特にタイ領域２９での重複を確認して撮影画像を得ることができる。その他の処理フローは実施例１と同様であり、本実施例によれば、実施例１と同様に単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供できる。

実施例３では、実施例１に三次元位置測定機能を追加し、偏位修正画像の作成、測定対象物の特徴点の三次元位置座標、カメラの撮影位置が測定可能であり、偏位修正画像を用いて表示される画像の倍率を補正する例を説明する。実施例１と異なる点を主に説明する。

図１０は本発明の実施例３に係るステレオ画像撮影装置１Ａの構成例を示すブロック図である。ステレオ画像撮影装置１Ａは、実施例１の構成（図１参照）に、三次元位置測定部１１が追加されている。三次元位置測定部１１は、特徴点抽出部７により抽出された特徴点を用いて撮影部３のカメラの位置と傾きを求める標定部１２、標定部１２で求められたカメラの位置と傾きを用いて、前回撮影画像及びライブ画像に偏位修正処理を施して、偏位修正画像を形成する偏位修正画像形成部１３、標定部１２で求められたカメラの位置と傾きを用いて、測定対象物２の特徴点及び撮影位置の三次元位置座標を演算する三次元座標演算部１４を有する。

［外部標定要素の算出：相互標定］
次に、左右画像の対応付けられた点から、相互標定法によってカメラの位置、傾きを求める方法について説明する。相互標定は標定部１２にて行なわれる。
モデル画像とは、２枚以上の撮影画像から被写体が撮影されたときの状態に再現されたとき得られる立体像のことをいう。相対的に相似なモデル画像を形成することを、相互標定という。すなわち、相互標定とは、撮影画像の対応する２本の光束が交会するように、左右それぞれのカメラの投影中心の位置および傾きを定めるものである。

図１１は相互標定を説明するための図である。次に，各モデル画像の標定計算の詳細について説明する。この計算により、左右それぞれのカメラの位置（三次元座標と三軸の傾き）が求められる。
以下の共面条件式によりこれらのカメラの位置に係るパラメータを求める。

モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要ない。

このような条件にすると、（式１）の共面条件式は（式２）のようになり、この式を解けば各パラメータが求まる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式３）、（式４）が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（ａ）未知パラメータの初期近似値は通常０とする。
（ｂ）共面条件式（式２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を（式３）、（式４）により求め、観測方程式をたてる。
（ｃ）最小二乗法をあてはめ、近似値に対する補正量を求める。
（ｄ）近似値を補正する。
（ｅ）補正された近似値を用いて、（ｂ）〜（ｄ）までの操作を収束するまで繰り返す。
未知パラメータ（κ_１，φ_１，κ_２，φ_２，ω_２）を求めることにより、カメラの位置と傾きが求まる。
相互標定法によってカメラの位置が求まれば、ステレオ法によって対象空間点上の三次元座標、すなわち特徴点の三次元座標を求めることが可能となる。

［ＤＬＴ法］
また、標定に代えて、測定対象物２の周囲にターゲットを配置し、ＤＬＴ法を使用して撮影位置の座標を求めることもできる。例えば、三次元座標演算部１４でかかる演算が行なわれる。
ＤＬＴ法は、写真座標と被写体の三次元座標（対象点座標）との関係を三次の射影変換式で近似したものである。

ＤＬＴ法の基本式は（式５）となる。
（式５）に対し、分母を消去すると、次の線形式を導き出せる。
更に、（式６）を変形すると、以下の式となる。

（式７）を直接、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ_１〜Ｌ_１１の１１個の未知変量を取得できる。したがって、位置座標が既知の６点について（式７）を解くことにより、被写体の写真座標（ｘ，ｙ）と被写体の三次元座標（対象点座標）（Ｘ，Ｙ，Ｚ）との関係が求まり、写真座標（ｘ，ｙ）と対象点座標（Ｘ，Ｙ，Ｚ）を結ぶ直線の収束点にあたる撮影位置の位置座標（０，０，０）を求めることができる。この場合、撮影位置は、対象点座標に対して（−Ｘ，−Ｙ，−Ｚ）の位置になる。

図１２は偏位修正画像を説明するための図である。図１２（ａ）は偏位修正画像を立体的に説明する図、図１２（ｂ）は平面的に説明する図である。偏位修正処理は偏位修正画像形成部１３で行なわれる。偏位修正処理とは、標定で求められたカメラの撮影位置と傾きを用いて、測定対象物２に対して撮影画像をステレオ法の幾何学が成立するように、被写体に対して並行にかつエピポーララインが左右の水平ライン上に一致するように画像を修正する処理である。したがって左右画像の倍率や傾き等の歪が補正され、倍率や高さの位置が同一となる。図１２（ａ）において、ステレオ画像の左画像と右画像を撮影するカメラ３の撮影位置をそれぞれ、Ｏ_１、Ｏ_２、測定対象物２の計測点の位置をＰとする。三次元位置座標の原点をＯ_１とし、三次元座標軸をＸ，Ｙ，Ｚ軸とする。撮影位置Ｏ_１及びＯ_２で撮影した撮影画像は、撮影距離、カメラアングルにばらつきが生じることから、細い実線の四角形で示すように画像の倍率、傾きに歪が生じる。これらの撮影画像を偏位修正処理により、太い実線の四角形で示すようにカメラの正面から見た等倍率の画像に修正する。図１２（ｂ）では、上部に示すように、左画像である前回撮影画像と右画像であるライブ画像に倍率、傾きに歪が生じている。これを偏位修正処理により、下部に示すように、左画像である前回撮影画像２１と右画像であるライブ画像２５について、エピポーララインが左右の水平ライン上に一致するように修正され、倍率、傾きが揃っている。

偏位修正処理では、相互標定で得られた内部標定要素（パラメータ）を用い、射影変換の関係式から傾斜した撮影画像をモデル座標（偏位修正画像座標）系のＸ、Ｙ平面上（鉛直写真）に投影する。次に、偏位修正に係る関係式を示す。左画像について、モデル座標を（Ｘ１，Ｙ１）、撮影画像面内の位置座標を（Ｘ_Ｃ１，Ｙ_Ｃ１）、右画像について、モデル座標を（Ｘ２，Ｙ２）、撮影画像面内の位置座標を（Ｘ_Ｃ２，Ｙ_Ｃ２）、撮影位置Ｏ_１，Ｏ_２での撮影画像におけるカメラの焦点距離をＣ１，Ｃ２、左画像に係る変換パラメータをｍ１１〜ｍ３３、右画像に係る変換パラメータをｎ１１〜ｎ３３とすると、変換式は（式８）、（式９）で表される。これにより偏位修正処理が行なわれる。

図１３は撮影画像と表示画像の倍率を説明するための図である。図１３（ａ）は前々回撮影画像２７、前回撮影画像２１及びライブ画像２５の倍率が異なることを示す図、図１３（ｂ）は表示エリア２６において、前々回撮影画像２７、前回撮影画像２１及びライブ画像２５が同じ大きさの範囲に表示されることを示す図である。測定対象物２は撮影位置の変更に応じて倍率及び傾きに差異が生じるので、３つの画像を当倍率の画像で表すと、図１３（ａ）に示すように、画像の寸法に差異が生じている（図では倍率のみが異なる例を示す）。しかるに、表示エリア２６においては、図１３（ｂ）に示すように、前々回撮影画像２７、前回撮影画像２１及びライブ画像２５が同じ大きさの範囲に表示される。また、図１３（ａ）における前々回撮影画像２７と前回撮影画像２１との重複領域２７ｏ及び前回撮影画像２１とライブ画像２５との重複領域２１ｏは、表示エリア２６では、図１３（ｂ）に示すように前々回画像重複領域２７ａと前回画像重複領域２１ａに表示される。したがって、各重複領域２１ａ，２７ａにおいて各画像の倍率が異なり、タイ領域２９では３つの画像の倍率が異なって表示される。また、測定対象物２を見る角度が異なる時は、各重複領域２１ａ，２７ａ及びタイ領域２９において画像に傾きが生じる。そこで、前々回撮影画像２７、前回撮影画像２１及びライブ画像２５に偏位修正処理を施し、偏位修正画像に修正すれば、それぞれ、倍率が等しく正面から見た画像に修正される。これにより、重複領域２１ａ，２７ａ及びタイ領域２９においては、２つ又は３つの画像における測定対象物２の同一部分を殆ど一致するように重ねて表示することができる。なお、完全に一致しないのは見る方向により特徴点の位置関係が多少変化するからである。これにより、重複領域２１ａ又はタイ領域２９で前回撮影画像２１とライブ画像２５とを良く一致させることができ、今回撮影画像２２の撮影をより的確に行なうことができる。

〔ステレオ法〕
図１４はステレオ法を説明するための図である。測定対象物２の各特徴点の三次元位置座標はステレオ法の原理を用いて測定することができる。三次元位置座標の演算は三次元座標演算部１４で行なわれる。したがって、測定対象物２の全撮影領域を重複撮影することにより、その三次元形状を求めることができる。簡単のために、同じカメラで２つの撮影位置（Ｏ_１，Ｏ_２）から撮影し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ｃが等しく、ＣＣＤは光軸に直角に置かれているものとする。２つの光軸間距離（基線長）をＢとする。
物体上の点Ｐ（ｘ、ｙ、ｚ）と撮影位置Ｏ_１での撮影画面（本実施例では前回撮影画像の画面）上の点Ｐ_１（ｘ_１、ｙ_１）、撮影位置Ｏ_２での撮影画面（本実施例ではライブ画像の画面）上の点Ｐ_２（ｘ_２、ｙ_２）の座標の間には、以下のような関係がある。
ｘ_１＝ｃｘ／ｚ −−−（式１０）
ｙ_１＝ｙ_２＝ｃｙ／ｚ −−−（式１１）
ｘ_２−ｘ_１＝ｃＢ／ｚ −−−（式１２）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点を撮影位置Ｏ_１でのレンズ主点にとるものとする。
（式１２）よりｚを求め、これを用いて（式１０）、（式１１）よりｘ、ｙが求められる。

また、各特徴点の三次元座標が求まれば、前回撮影画像や前々回撮影画像を任意の方向、例えばライブ画像２５の現在位置や今回撮影画像２２の撮影予定位置から見た画像に変換して表現可能である。また、三次元モデル画像、オルソ画像、全周囲画像を形成できる。求められた三次元座標から三次元画像空間に特徴点を配置し構築すれば三次元モデル画像、平面図に並行投影にて投影すればオルソ画像、中心投影のまま平面上に各モデル画像を投影し連続的に配列していけば全周囲画像となる。また、三次元モデル画像は透視図や投影図等で任意の方向から表現できる。

図１５に、実施例３に係る画像撮影の処理フロー例を示す。偏位修正画像を用いて表示される画像の倍率を補正する例である。実施例１の処理フロー例（図７参照）に比して、重複方向設定工程（Ｓ１８０）の後に標定工程（Ｓ１８２）と偏位修正画像形成工程（Ｓ１８４）が追加されている。すなわち、標定部１２において、特徴点抽出部６により抽出された特徴点を用いて撮影部３のカメラの位置と傾きを求め、偏位修正画像形成部１３において、標定部１２で求められたカメラの位置と傾きを用いて、前回撮影画像２１及びライブ画像２５に偏位修正処理を施して、偏位修正画像を形成する。表示部４にて、偏位修正画像を用いて前回撮影画像２１及びライブ画像２５を重複表示することにより、前回撮影画像２１及びライブ画像２５における測定対象物２の同一部分を殆ど一致するように重ねて表示することができる。殆ど一致するとは、見る方向により画面上の対称点の位置が多少変化するからである。これにより、今回撮影画像２２の撮影をより的確に行なうことができる。前々回撮影画像２７、前回撮影画像２１及びライブ画像２５を重複表示する場合も、タイ領域２９において３つの画像における測定対象物２の同一部分を殆ど一致するように重ねて表示することができ、今回撮影画像の撮影をより的確に行なうことができる。その他の処理フローは実施例１又は実施例２の処理フローと同様である。

以上説明したように、本実施例によれば、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供できる。また、偏位修正画像を作成することにより、立体視可能な態様で前回撮影画像２１とライブ画像２５とを重ねて表示でき、撮影予定位置では重複領域２３で殆ど一致した画像を得ることが可能である。

実施例４では、実施例３に加えて、撮影が一巡した場合（測定対象物の周りを一周した場合）に表示エリアに初回に撮影された撮影画像である初回撮影画像を表示する例を説明する。実施例３と異なる点を主に説明する。装置構成は実施例３（図１０参照）と同様である。

図１６に、初回撮影画像にライブ画像を重複して表示する例を示す。図１６（ａ）に一巡する１つ前の表示エリアを、図１６（ｂ）に一巡した場合の表示エリアを示す。対応点探索部８ａは初回撮影画像２８とライブ画像２５とのステレオマッチング（特徴点の対応付け）を行なう。ステレオマッチングにより、初回撮影画像２８とライブ画像２５とに相関が得られ、重複領域が見出された場合に、前回撮影画像２１とライブ画像２５が表示される表示エリア２６の中に初回撮影画像２８を表示することが可能になる。重複領域が見出された場合、図１６（ａ）に示すように、前回撮影画像２１及びライブ画像と共に、初回撮影画像２８のうち、ライブ画像２５との重複領域である一周画像重複領域２８ｃの部分が表示され、それ以外の部分は表示エリア２６外になる。前回撮影画像２１では前回画像重複領域２１ａと前回画像延長領域２１ｂがライブ画像２５の枠により分けて表示され、ライブ画像２５ではライブ画像重複領域２５ａとライブ画像延長領域２５ｂが前回撮影画像２１の枠により分けて表示される。図１６（ｂ）に示すように、次の撮影時に一巡した場合の表示エリア２６が示され、初回撮影画像２８の一周画像重複領域２８ｃが前回撮影画像２１と部分的に重なり、少なくとも初回画像重複領域２８ａの一部が表示エリア２６内に表示可能になる。このように、一周画像重複領域２８ｃが前回撮影画像２１と部分的に重なり、前回撮影画像２１、初回撮影画像２８及びライブ画像２５の三重重複領域が形成されることによって、撮影が一巡したことが解る。また、ステレオマッチングは撮影画像とライブ画像をそのまま用いることも可能であるが、撮影画像とライブ画像の偏位修正画像を用いて行なえば、高精度に対応点を検出でき、より正確にステレオマッチングを行なうことができる。

図１７に、本実施例に係る画像撮影の処理フロー例を示す。撮影が一巡した場合に表示エリア２６に初回撮影画像２８を表示する例である。実施例３の処理フロー例（図１５参照）に比して、偏位修正画像形成工程（Ｓ１８４）の後にステレオマッチング工程（Ｓ１８６）が追加され、画像表示工程（Ｓ１９０）の代わりに画像表示工程（Ｓ１９４）が行なわれる。画像表示工程（Ｓ１９４）では、画像表示工程（Ｓ１９０）に比して、初回撮影画像２８とライブ画像２５とに重複領域が見出された場合に、前回撮影画像２１とライブ画像２５に加えて少なくとも初回撮影画像２８の一部が表示エリア２６に表示される。なお、特徴点抽出工程（Ｓ１５０）では、特徴点抽出部６において、初回の撮影後に初回撮影画像２８の特徴点の抽出が行なわれている。ステレオマッチング工程（Ｓ１８６）では、初回撮影画像２８とライブ画像２５とについてステレオマッチングが行なわれる。これにより、初回撮影画像２８とライブ画像２５との重複領域（一周画像重複領域２８ｃ）を求めることができる。画像表示工程（Ｓ１９４）では、ステレオマッチング工程（Ｓ１８６）で初回撮影画像２８とライブ画像２５とに重複領域が見出された場合に、前回撮影画像２１とライブ画像２５に加えて少なくとも初回撮影画像２８の一部が表示エリア２６に表示される。これにより、今回撮影画像２２の撮影時に、初回撮影画像２８との重複を確認して撮影することができる。そして、初回撮影画像２８の重複領域（初回画像重複領域２８ａ）に前回撮影画像２１が一部重複した状態（前回撮影画像２１、初回撮影画像２８及びライブ画像２５の三重重複領域が存在する状態）で今回撮影画像２２を撮影すれば、測定対象物２を全周囲に亘って重複撮影ができ、三次元座標を得ることができる。その他の処理フローは実施例３の処理フロー例と同様である。

また、ステレオマッチングで重複領域を見出す代わりに撮影位置の演算から重複領域を見出すこともできる。三次元座標演算部１４は、例えばＤＬＴ法を用いて、特徴点抽出部７により抽出されたライブ画像２５及び初回撮影画像２８における測定対象物２の特徴点の画面位置からそれぞれの撮影位置の三次元座標を求める。ライブ画像２５と初回撮影画像２８における撮影位置より、ライブ画像２５と初回撮影画像２８の間に重複領域が見出された場合に、重複領域設定部６は、初回撮影画像２８に重複領域を一周画像重複領域２８ｃとして設定する。例えばライブ画像２５における撮影位置と初回撮影画像２８における撮影位置間の距離が、ライブ画像２５における撮影位置と前々回撮影画像２７における撮影位置間の距離以下になれば、ライブ画像と初回撮影画像２８とは一部重複するので、重複領域が見出された場合に該当する。重複割合はライブ画像２５における撮影位置と初回撮影画像２８における撮影位置間の距離から演算される。表示部４は、初回撮影画像２８とライブ画像２５とを一周画像重複領域２８ｃで重ねて表示する。画像撮影の処理フローでは、ステレオマッチング工程（Ｓ１８６）に代えて撮影位置の演算が行われるが、その他の工程は同様である。

本実施例によれば、実施例３と同様に、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供できる。また、初回撮影画像を表示することにより、撮影が一巡したことがわかる。

実施例５では、実施例３に加えて、撮影方向に応じて前回撮影画像とライブ画像の位置と枠が変更されて表示される例を説明する。実施例３と異なる点を主に説明する。装置構成は実施例３（図１０参照）と同様である。

図１８に、撮影方向に応じて前回撮影画像とライブ画像及びこれらの枠の位置が変更されて表示される例を示す。前回撮影画像２１とライブ画像２５とのステレオマッチングを行なうことにより、前回撮影画像２１とライブ画像２５との重複領域の画像をより精度良く表現できる。この場合、重複領域設定部６において、前回撮影画像２１とライブ画像２５との重複領域２３を、前回撮影画像２１側に前回側重複領域２１ｃ、ライブ画像２５側にライブ側重複領域２５ｃとして設定し、表示部４において、前回側重複領域２１ｃとライブ側重複領域２５ｃで測定対象物２の同じ部分が大略重なるように表示する。このように表示すると、例えば、ライブ画像２５が表示されるべく予定された位置に比して右下側にずれているときには、図１８に示すように、右下側にずれて表示される。この場合、表示画像の倍率を調整すれば、前回撮影画像２１とライブ画像２５とを共に枠を付して全体が表示エリア２６に含まれるように表示できる。これにより、ライブ側重複領域２５ｃが重複領域２３に対して右下側にずれていることがわかり、ライブ画像の位置を左上方向に移動し、ライブ側重複領域２５ｃを重複領域２３に合せて撮影すれば良い。その他の処理フローは実施例３の処理フロー例と同様である。また、前々回撮影画像２７、前回撮影画像２１、ライブ画像２５の３つの画像を表示する場合に、前々回撮影画像２７と前回撮影画像２１とのステレオマッチングを行なうことにより、表示部４においてその重複領域も大略重なるように表示することも可能である。

本実施例によれば、実施例３と同様に、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供できる。また、撮影方向に応じて前回撮影画像にライブ画像及びこれらの枠の位置が変更されて表示され、ライブ画像のずれの方向をビジュアルに把握できる。

実施例６では、重複領域設定部は移動方向検出部で検出された移動方向と同じ側に重複領域を設定する例を説明する。実施例１と異なる点を主に説明する。

図１９は、実施例６に係るステレオ画像撮影装置１Ｂの構成例を示すブロック図である。実施例１の構成（図１参照）に比して、特徴点抽出部７、カメラ移動方向判定部８が無く、これらに代えて移動方向検出部１５が追加されている。移動方向検出部１５はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）又は慣性センサを有し、撮影部３の移動方向を検出する。ＧＰＳは米国防省の人工衛星からの電波を利用して、自分の位置を測定するシステムで、３以上の衛星からの到着時間の差異から、緯度、経度を数十ｍの精度で測定でき、自動車のナビゲーション等に利用されている。相対的位置変化（移動方向）については、さらに高精度に測定できる。また、慣性センサとして圧電式、静電容量式等の加速度センサを利用できる。検出された加速度を２度積分することにより、位置変化を測定できる。重複領域設定部６は移動方向検出部１５で検出された移動方向と同じ側に重複領域を設定する。その他の構成は実施例１と同様である。

図２０に、実施例６に係る画像撮影の処理フロー例を示す。実施例１の処理フロー（図９参照）に比して、特徴点抽出工程（Ｓ１５０）〜カメラ移動方向判定工程（Ｓ１７０）が無く、これらに代えて移動方向検出工程（Ｓ１５２）が追加されている。移動方向検出工程（Ｓ１５２）では、ＧＰＳセンサ又は慣性センサを用いて、撮影部３の移動方向を検出する。重複方向設定工程（Ｓ１８０）では移動方向検出工程（Ｓ１５２）で検出された移動方向と同じ側に重複領域を設定する。その他の処理は実施例１と同様である。

また、撮影が一巡した場合（対象物の周りを一周した場合）に表示エリア２６に初回撮影画像２８を表示できる。ＧＰＳ又は慣性センサで検出されたライブ画像２５と初回撮影画像２８における撮影位置より、ライブ画像２５と初回撮影画像２８の間に重複領域が見出された場合に、重複領域設定部６は、初回撮影画像２８に重複領域を一周画像重複領域２８ｃとして設定する。例えばライブ画像２５における撮影位置と初回撮影画像２８における撮影位置間の距離が、ライブ画像２５における撮影位置と前々回撮影画像２７における撮影位置間の距離以下になれば、ライブ画像と初回撮影画像２８とは一部重複するので、重複領域が見出された場合に該当する。重複割合はライブ画像２５における撮影位置と初回撮影画像２８における撮影位置間の距離から演算される。表示部４は、初回撮影画像２８とライブ画像２５とを一周画像重複領域２８ｃで重ねて表示する。

本実施例によれば、実施例１と同様に、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供できる。

実施例７では、重複領域設定部は入力された移動方向と同じ側に重複領域を設定する例を説明する。実施例１と異なる点を主に説明する。

図２１は、実施例７に係るステレオ画像撮影装置１Ｃの構成例を示すブロック図である。実施例１の構成（図１参照）に比して、特徴点抽出部７、カメラ移動方向判定部８が無くなっている。重複領域設定部６は、撮影者の入力により重複領域を設定する。重複領域設定部６において、前回撮影画像２１に重複領域２３の設定を行なう。重複領域２３の設定は重複割合と重複方向について行なう。撮影部３の移動方向は予め入力可能であり、撮影者が入力した移動方向が重複方向として設定される。例えば入力部９からキーボードを用いて「右（側）」（移動方向）、「６０（％）」（重複割合）と入力すると、前回撮影画像２１に重複領域２３が枠で囲まれて表示される。撮影者が例えばマウスで表示画面の確認ボタンをクリックすると、重複割合と重複方向が定まり、前回撮影画像２１に重複領域２３が本設定される。その他の構成は実施例１と同様である。

図２２に、実施例７に係る画像撮影の処理フロー例を示す。実施例１の処理フロー（図７参照）に比して、特徴点抽出工程（Ｓ１５０）〜カメラ移動方向判定工程（Ｓ１７０）が無く、また、重複割合設定工程（Ｓ１３０）及び重複方向設定工程（Ｓ１８０）に代えて重複領域設定工程（Ｓ１３２）がある。すなわち、重複領域設定工程（Ｓ１３２）では、撮影者の入力により重複割合と共に重複方向も本設定される。その他の処理は実施例１と同様である。

また、撮影が一巡した場合（対象物の周りを一周した場合）に表示エリア２６に初回撮影画像２８を表示できる。撮影者が一周した際に、一周したことを入力可能であり、撮影者が一周したことを入力した場合に、重複領域設定部６は、初回撮影画像２８に一周画像重複領域２８ｃを設定する。例えば一周画像重複領域２８ｃは撮影者が入力した撮影部３の移動方向と反対側に、重複割合は初回画像重複領域２８ａと同じに設定される。ここで、一周したとは、同じ方向に移動して今回の撮影により予定した全ての方向からの撮影が完了する位置に到達したことを意味する。例えば、１２方向からの撮影を予定していた場合、１２番目の撮影位置に到達したことを意味する。表示部４は、初回撮影画像２８とライブ画像２５とを一周画像重複領域２８ｃで重ねて表示する。

本実施例によれば、実施例１と同様に、単カメラを用いて移動しながら撮影を行う場合に、前回撮影画像と今回撮影画像との重複領域を適切に定められるステレオ画像撮影装置及びその方法を提供できる。

また、本発明は、以上の実施例のフローチャート等に記載のステレオ画像撮影方法の発明、当該方法の発明をステレオ画像撮影装置に実行させるためのプログラムとしても実現可能である。プログラムはステレオ画像撮影装置の内蔵記憶部に蓄積して使用してもよく、外付けの記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。

以上、本発明の実施の形態について説明したが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施例に種々変更を加えられることは明白である。

例えば、実施例２で説明した、前々回撮影画像、前回撮影画像及びライブ画像の重複表示を実施例３ないし実施例７にも適用可能である。また、実施例３で説明した偏位修正画像の形成、実施例４で説明した初回撮影画像の表示、実施例５で説明した前回撮影画像とライブ画像及びこれらの枠の位置を変化させる表示を、実施例６又は実施例７にも適用可能である。また、画像処理フローは適宜変更可能である。例えば、実施例１ないし実施例５ではライブ画像取得前に重複割合を設定する例を説明したが、撮影前に予め設定することも可能である。また、実施例１ないし実施例５における特徴点追跡工程を省略可能である。また、各撮影位置で少し左右にずれた位置でステレオ画像を撮影しながら位置を移動し、他のステレオ画像と重複させながら撮影を行っても良い。また、移動方向が上下方向と左右方向の両方である場合に、重複領域を図１８の撮影側重複領域のように設定し、表示しても良い。また、以上の実施例ではライブ画像を一時的に記憶する例を説明したが、ビデオ画像のように再生可能に記憶しても良い。その他、撮影枚数、重複割合等は適宜変更可能である。

本発明は、測定対象物の三次元計測のための撮影や全周囲画像の撮影に利用できる。

１，１Ａ〜１Ｃ ステレオ画像撮影装置
２ 測定対象物
３ 撮影部
４ 表示部
５ 記憶部
６ 重複領域設定部
７ 特徴点抽出部
８ カメラ移動方向判定部
８ａ 対応点探索部
９ 入力部
１０ 制御部
１１ 三次元位置測定部
１２ 標定部
１３ 偏位修正画像形成部
１４ 三次元座標演算部
１５ 移動方向検出部
１６ パーソナルコンピュータ（ＰＣ）
２１ 前回撮影画像
２１ａ 前回画像重複領域
２１ｂ 前回画像延長領域
２１ｃ 前回側重複領域
２１ｏ 前回撮影画像とライブ画像との重複領域
２２ 今回撮影画像
２３ 重複領域
２４ 延長領域
２５ ライブ画像
２５ａ ライブ画像重複領域
２５ｂ ライブ画像延長領域
２５ｃ ライブ側重複領域
２６ 表示エリア
２７ 前々回撮影画像
２７ａ 前々回画像重複領域
２７ｂ 前々回画像延長領域
２７ｏ 前々回撮影画像と前回撮影画像との重複領域
２８ 初回撮影画像
２８ａ 初回画像重複領域
２８ｃ 一周画像重複領域
２９ タイ領域
５１ 撮影画像記憶部
５２ ライブ画像記憶部
５３ 処理画像記憶部
５４ 位置座標記憶部

Claims (18)

1. 測定対象物を単カメラにより重複させながら順次撮影するステレオ画像撮影装置において；
   カメラの位置移動に伴い前記測定対象物のライブ画像を随時取得し、適時に前記測定対象物を撮影して静止画像である撮影画像を取得する撮影部と；
   前記撮影部で前回撮影された撮影画像である前回撮影画像に、前記ライブ画像との重複領域を設定する重複領域設定部と；
   前記前回撮影画像と前記ライブ画像とを前記重複領域設定部で設定された重複領域で重ねて表示し、前記前回撮影画像を前記重複領域から前記撮影部の移動方向と反対側に延長して表示し、前記ライブ画像を前記重複領域から前記撮影部の移動方向と同じ側に延長して表示する表示部とを備え；
   前記重複領域設定部は、前記前回撮影画像と前記ライブ画像との重複領域を前回画像重複領域として設定し、前記撮影部で前々回撮影された撮影画像である前々回撮影画像と前記前回撮影画像との重複領域を前々回画像重複領域として設定し、さらに前記ライブ画像と前記前々回撮影画像とを重複させることにより、前記測定対象物のいずれの撮影領域も重複して撮影されるように設定し；
   前記表示部は、前記前回画像重複領域、前記前々回画像重複領域を表示すると共に、前記前々回撮影画像と前記前回撮影画像と前記ライブ画像との三重の重複領域であるタイ領域を表示する；
   ステレオ画像撮影装置。
2. 前記重複領域設定部は、前記前回撮影画像における前記測定対象物のいずれの撮影領域も前記前回画像重複領域又は前記前々回画像重複領域に含まれるように設定する；
   請求項１に記載のステレオ画像撮影装置。
3. 前記重複領域設定部は、前回撮影画像と前記ライブ画像との重複領域の重複割合を５５〜９０％に設定し、前記前々回撮影画像と前記前回撮影画像との重複領域の重複割合を５５〜９０％に設定する；
   請求項１又は請求項２に記載のステレオ画像撮影装置。
4. 測定対象物を単カメラにより重複させながら順次撮影するステレオ画像撮影装置において；
   カメラの位置移動に伴い前記測定対象物のライブ画像を随時取得し、適時に前記測定対象物を撮影して静止画像である撮影画像を取得する撮影部と；
   前記撮影部で前回撮影された撮影画像である前回撮影画像に、前記ライブ画像との重複領域を設定する重複領域設定部と；
   前記前回撮影画像と前記ライブ画像とを前記重複領域設定部で設定された重複領域で重ねて表示し、前記前回撮影画像を前記重複領域から前記撮影部の移動方向と反対側に延長して表示し、前記ライブ画像を前記重複領域から前記撮影部の移動方向と同じ側に延長して表示する表示部とを備え；
   前記重複領域設定部は、前記前回撮影画像と前記ライブ画像との重複領域の重複割合を５５〜９０％に設定し、前記撮影部で前々回撮影された撮影画像である前々回撮影画像と前記前回撮影画像との重複領域の重複割合を５５〜９０％に設定し；
   前記表示部は、前記前回撮影画像と前記ライブ画像との重複領域、前記前々回撮影画像と前記前回撮影画像との重複領域を表示すると共に、前記前々回撮影画像と前記前回撮影画像と前記ライブ画像との三重の重複領域であるタイ領域を表示する；
   ステレオ画像撮影装置。
5. 前記重複領域設定部は、前記前回撮影画像について重複方向を左側又は右側に設定する、又は前記前回撮影画像について重複方向を上側又は下側に設定する；
   請求項３又は請求項４に記載のステレオ画像撮影装置。
6. 前記表示部は、前記撮影画像及び前記ライブ画像に枠を付して表示する；
   請求項１ないし請求項５に記載のステレオ画像撮影装置。
7. 前記前回撮影画像及び前記ライブ画像における前記測定対象物の特徴点を抽出する特徴点抽出部と；
   前記特徴点抽出部で抽出された特徴点の前記前回撮影画像と前記ライブ画像における画面位置から、前記撮影部の移動方向を求めるカメラ移動方向判定部とを備え；
   前記重複領域設定部は、前記カメラ移動方向判定部で判定された移動方向と同じ側に、前記前回撮影画像に前記重複領域を設定する；
   請求項１ないし請求項６のいずれか１項に記載のステレオ画像撮影装置。
8. ＧＰＳ又は慣性センサを有し、前記撮影部の移動方向を検出する移動方向検出部を備え；
   前記重複領域設定部は前記移動方向検出部で検出された移動方向と同じ側に、前記前回撮影画像に前記重複領域を設定する；
   請求項１ないし請求項６のいずれか１項に記載のステレオ画像撮影装置。
9. 前記撮影部の移動方向を予め入力可能であり、前記重複領域設定部は入力された移動方向と同じ側に、前記前回撮影画像に前記重複領域を設定する；
   請求項１ないし請求項６のいずれか１項に記載のステレオ画像撮影装置。
10. 前記前回撮影画像及び前記ライブ画像における前記測定対象物の特徴点を抽出する特徴点抽出部と；
    前記特徴点抽出部により抽出された特徴点を用いて前記カメラの位置と傾きを求める標定部と；
    前記標定部で求められたカメラの位置と傾きを用いて、前記前回撮影画像及び前記ライブ画像に偏位修正処理を施して、偏位修正画像を形成する偏位修正画像形成部とを備え；
    前記表示部は、前記偏位修正画像形成部で形成された偏位修正画像を表示する；
    請求項１ないし請求項９のいずれか１項に記載のステレオ画像撮影装置。
11. 前記前回撮影画像及び前記ライブ画像における前記測定対象物の特徴点を抽出する特徴点抽出部と；
    前記特徴点抽出部が、前記ライブ画像から抽出した前記測定対象物の特徴点と初回に撮影された撮影画像である初回撮影画像から抽出した前記測定対象物の特徴点とのステレオマッチングを行なう対応点探索部を備え；
    前記ステレオマッチングにより、前記ライブ画像と前記初回撮影画像の間に重複領域が見出された場合に、前記重複領域設定部は、前記重複領域を前記初回撮影画像に一周画像重複領域として設定し、前記表示部は、前記初回撮影画像と前記ライブ画像とを前記一周画像重複領域で重ねて表示する；
    請求項１ないし請求項１０のいずれか１項に記載のステレオ画像撮影装置。
12. 前記前回撮影画像及び前記ライブ画像における前記測定対象物の特徴点を抽出する特徴点抽出部と；
    前記特徴点抽出部により抽出された前記ライブ画像及び初回に撮影された撮影画像である初回撮影画像における前記測定対象物の特徴点の画面位置からそれぞれの撮影位置の三次元座標を求める三次元座標演算部を備え；
    前記ライブ画像及び前記初回撮影画像における撮影位置の三次元座標により、前記ライブ画像と前記初回撮影画像の間に重複領域が見出された場合に、前記重複領域設定部は、前記初回撮影画像に前記重複領域を一周画像重複領域として設定し、前記表示部は、前記初回撮影画像と前記ライブ画像とを前記一周画像重複領域で重ねて表示する；
    請求項１ないし請求項１０のいずれか１項に記載のステレオ画像撮影装置。
13. 前記ＧＰＳ又は慣性センサで検出された前記ライブ画像と初回に撮影された撮影画像である初回撮影画像における撮影位置より、前記ライブ画像と前記初回撮影画像の間に重複領域が見出された場合に、前記重複領域設定部は、前記初回撮影画像に前記重複領域を一周画像重複領域として設定し、前記表示部は、前記初回撮影画像と前記ライブ画像とを前記一周画像重複領域で重ねて表示する；
    請求項８に記載のステレオ画像撮影装置。
14. 撮影者が一周した際に、一周したことを入力可能であり、前記撮影者が一周したことを入力した場合に、前記重複領域設定部は、初回に撮影された撮影画像である初回撮影画像に一周画像重複領域を設定し、前記表示部は、前記初回撮影画像と前記ライブ画像とを前記一周画像重複領域で重ねて表示する；
    請求項９に記載のステレオ画像撮影装置。
15. 前記前回撮影画像及び前記ライブ画像における前記測定対象物の特徴点を抽出する特徴点抽出部と；
    前記特徴点抽出部により抽出された特徴点を用いて前記撮影部のカメラの位置と傾きを求める標定部と、前記標定部で求められたカメラの位置と傾きを用いて、前記特徴点の三次元座標を求める三次元座標演算部とを備え；
    前記重複領域設定部は、前記三次元座標演算部で求められた特徴点の三次元座標を用いて、前記前回撮影画像と前記ライブ画像との重複領域を、前記前回撮影画像に前回側重複領域として、前記ライブ画像にライブ側重複領域として設定し；
    前記表示部は、前記前回撮影画像と前記ライブ画像とを、前記前回側重複領域と前記ライブ側重複領域で前記測定対象物の同じ部分が大略重なるよう、かつ両者共枠を付して全体が表示エリアに含まれるように表示する；
    請求項１ないし請求項１０のいずれか１項に記載のステレオ画像撮影装置。
16. 測定対象物を単カメラにより重複させながら順次撮影するステレオ画像撮影方法において；
    適時に前記測定対象物を撮影して静止画像である撮影画像を取得する撮影工程と；
    カメラの位置移動に伴い前記測定対象物のライブ画像を随時取得するライブ画像取得工程と；
    前回撮影された撮影画像である前回撮影画像に、前記ライブ画像との重複領域を設定する重複領域設定工程と；
    前記前回撮影画像と前記ライブ画像とを前記重複領域設定工程で設定された重複領域で重ねて表示し、前記前回撮影画像を前記重複領域から撮影部の移動方向と反対側に延長して表示し、前記ライブ画像を前記重複領域から前記撮影部の移動方向と同じ側に延長して表示する表示工程とを備え；
    前記重複領域設定工程は、前記前回撮影画像と前記ライブ画像との重複領域を前回画像重複領域として設定し、前記撮影工程で前々回撮影された撮影画像である前々回撮影画像と前記前回撮影画像との重複領域を前々回画像重複領域として設定し、さらに前記ライブ画像と前記前々回撮影画像とを重複させることにより、前記測定対象物のいずれの撮影領域も重複して撮影されるように設定し；
    前記表示工程は、前記前回画像重複領域、前記前々回画像重複領域を表示すると共に、前記前々回撮影画像と前記前回撮影画像と前記ライブ画像との三重の重複領域であるタイ領域を表示する；
    ステレオ画像撮影方法。
17. 前記重複領域設定工程は、前記前回撮影画像における前記測定対象物のいずれの撮影領域も前記前回画像重複領域又は前記前々回画像重複領域に含まれるように設定する；
    請求項１６に記載のステレオ画像撮影方法。
18. 測定対象物を単カメラにより重複させながら順次撮影するステレオ画像撮影方法において；
    適時に前記測定対象物を撮影して静止画像である撮影画像を取得する撮影工程と；
    カメラの位置移動に伴い前記測定対象物のライブ画像を随時取得するライブ画像取得工程と；
    前回撮影された撮影画像である前回撮影画像に、前記ライブ画像との重複領域を設定する重複領域設定工程と；
    前記前回撮影画像と前記ライブ画像とを前記重複領域設定工程で設定された重複領域で重ねて表示し、前記前回撮影画像を前記重複領域から撮影部の移動方向と反対側に延長して表示し、前記ライブ画像を前記重複領域から前記撮影部の移動方向と同じ側に延長して表示する表示工程とを備え；
    前記重複領域設定工程は、前記前回撮影画像と前記ライブ画像との重複領域の重複割合を５５〜９０％に設定し、前記撮影工程で前々回撮影された撮影画像である前々回撮影画像と前記前回撮影画像との重複領域の重複割合を５５〜９０％に設定し；
    前記表示工程は、前記前回撮影画像と前記ライブ画像との重複領域、前記前々回撮影画像と前記前回撮影画像との重複領域を表示すると共に、前記前々回撮影画像と前記前回撮影画像と前記ライブ画像との三重の重複領域であるタイ領域を表示する；
    ステレオ画像撮影方法。