JP2008224323A - ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム - Google Patents

Abstract

【課題】計測対象の寸法計測精度を向上させる。
【解決手段】３次元座標計算手段１５は、幾何学的情報から定まる拘束条件、投影変換行列、相対位置関係及び三角測量の原理を用いて、一方の画像データの特徴点で構成される第一特徴部及びこの第一特徴部に対応して他方の画像データの特徴点で構成される第二特徴部に対応する計測対象の３次元座標を計算し、寸法計算手段１６は３次元座標から寸法計測箇所の寸法を計算する。
【選択図】図１

Description

この発明は、互いに離れた２箇所よりカメラを用いて撮影された２枚の画像データから計測対象の寸法を計算するステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラムに関するものである。

ステレオ立体視の原理を用いた立体形状復元及び寸法計測には、ステレオ画像ペアにおいて点・線・領域等の特徴点をどのように対応付けすれば良いかという課題があるが、従来のステレオ写真計測装置として、例えば特許文献１に示す３次元復元装置では、３次元幾何形状の復元に際して、セグメントの連結関係から平面拘束条件を求め、平面拘束条件を満たすように対応点を修正する手法が提案されている。

すなわち、上記特許文献１に示す３次元復元装置は、ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める手段と、上記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める手段と、ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う手段と、上記対応関係に基づき、対応部分から対応点を計算する手段と、上記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める手段と、ステレオ画像において、平面拘束条件を満たすように対応点を修正する手段と、ステレオ画像において、対応点の関係から３次元形状を復元する手段と、３次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う手段を備えている。

特開２００３−２４８８１４号公報（段落０００９）

従来のステレオ写真計測装置は以上のように構成され、特徴点同士の連結性から求められた平面拘束条件は、撮影対象現場で成立している現実の座標軸に基づく拘束条件と一致する保証はないため、寸法計測時に実測値との誤差が発生し、計測対象の寸法計測精度が低下するという課題があった。

この発明は上記のような課題を解決するためになされたもので、現実の座標軸に基づく拘束条件を使用して座標復元を実現し、計測対象の寸法計測精度を向上させることができるステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラムを得ることを目的とする。

この発明に係るステレオ写真計測装置は、互いに離れた２箇所からカメラを用いて基準位置を示すマーカー及び計測対象を撮影した２枚の画像データを記憶する画像データ記憶手段と、上記計測対象の寸法計測箇所並びに上記計測対象の稜線の直線方向成分及び平面の法線方向成分のいずれか一方又は両方の幾何学的情報を含む設計情報を記憶する設計情報記憶手段と、上記画像データから上記マーカーを画像処理によって認識して、上記カメラと上記マーカーとの相対位置関係を、上記カメラのレンズの投影変換行列を用いて求めるカメラ位置認識手段と、上記画像データの画像に撮影された点、線、平面及び立体形状の特徴点を画像処理によって又は入力デバイスからの入力情報によって抽出する特徴点抽出手段と、上記幾何学的情報から定まる拘束条件、上記投影変換行列、上記相対位置関係及び三角測量の原理を用いて、一方の画像データの特徴点で構成される第一特徴部及びこの第一特徴部に対応して他方の画像データの特徴点で構成される第二特徴部に対応する上記計測対象の３次元座標を計算する３次元座標計算手段と、上記３次元座標から上記寸法計測箇所の寸法を計算する寸法計算手段とを備えたものである。

この発明により、計測対象の寸法計測精度を向上させることができるという効果が得られる。

実施の形態１．
図１はこの発明の実施の形態１によるステレオ写真計測装置の構成を示すブロック図である。ステレオ写真計測装置に含まれるステレオ写真計測処理手段１０は、互いに離れた２箇所からデジタルカメラ６を用いて撮影された撮影対象現場７の２枚の画像データ２１とカメラ内部パラメータ２２と設計情報２３を読み込んで、計測対象の寸法計測箇所の寸法を計算する。撮影対象現場７には基準位置を示すカメラ外部キャリブレーション用のマーカー８が設置され、デジタルカメラ６は計測対象の寸法計測箇所とマーカー８が写り込むように撮影する。撮影対象現場７として、本例ではエレベーター昇降路としている。

デジタルカメラ６により撮影された撮影対象現場７の２枚の画像データ２１、カメラ内部パラメータ２２、設計情報２３は記憶手段２に記憶されている。ここで、カメラ内部パラメータ２２としては、例えばデジタルカメラ６の画面解像度、レンズの焦点距離、放射方向レンズ歪曲収差の中心座標、レンズ歪み係数が記憶されており、設計情報２３としては、計測対象の寸法計測箇所、画像上で濃淡が変化するエッジ上の点である特徴点、並びに計測対象の稜線の直線方向成分及び平面の法線方向成分のいずれか一方又は両方の幾何学的情報を含む設計情報が記憶されている。

ステレオ写真計測処理手段１０は、レンズ歪み補正手段１１、カメラ位置認識手段１２、特徴点認識手段１３、特徴点入力手段１４、３次元座標計算手段１５、寸法計算手段１６及び寸法表示手段１７を備えている。

レンズ歪み補正手段１１は、記憶手段２に記憶されている２枚の画像データ２１を入力し、記憶手段２に記憶されているカメラ内部パラメータ２２を用いて、２枚の画像データ２１のレンズ歪みを補正する。カメラ位置認識手段１２は、レンズ歪み補正手段１１によりレンズ歪みが補正された２枚の画像データ２１からマーカー８を画像処理により認識して、デジタルカメラ６とマーカー８との相対位置関係及びマーカー８を基準にした座標系を、デジタルカメラ６のレンズの投影変換行列を用いて求める。なお、投影変換行列はデジタルカメラ６のレンズが撮像対象を画像へ投影する投影変換の行列である。

特徴点抽出手段１００（図示せず）は２枚の画像データ２１の各画像に撮影された点、線、平面及び立体形状の特徴点を画像処理によって抽出する特徴点認識手段１３及び入力デバイスからの入力情報によって抽出する特徴点入力手段１４等を含む。本実施の形態では特徴点認識手段１３において、レンズ歪み補正手段１１によりレンズ歪みが補正された２枚の画像データ２１の画像に撮影された点、線、平面及び立体形状等の特徴点を画像処理により認識する。続いて特徴点入力手段１４において、２枚の画像データ２１から特徴点認識手段１３により認識されなかったその他の特徴点を入力デバイスからの入力情報によって入力する。

３次元座標計算手段１５は、設計情報２３を入力し、幾何学的情報から定まる拘束条件、投影変換行列、相対位置関係及び三角測量の原理を用いて、一方の画像データの特徴点で構成される第一特徴部及びこの第一特徴部に対応して他方の画像データの特徴点で構成される第二特徴部に対応する計測対象の３次元座標を計算する。なお、特徴部とは、特徴点で構成され、１画像中の計測対象の部分を指し、幾何学的情報から定まる拘束条件としては、具体的には、直線方向成分の直線上にあるという拘束条件、又は法線方向を有する平面上にあるという拘束条件である。

寸法計算手段１６は、設計情報２３を入力し、３次元座標計算手段１５により計算された３次元座標から寸法計測箇所の寸法を計算する。寸法表示手段１７は寸法計算手段１６により計算された寸法計測箇所の寸法を表示する。

図２はこの発明の実施の形態１によるステレオ写真計測装置のハードウェア構成を示すブロック図であり、ステレオ写真計測装置は、演算処理手段１、記憶手段２、一時記憶手段３、入力手段４及び表示手段５を備えている。記憶手段２は、画像データ２１、カメラ内部パラメータ２２、設計情報２３、プログラム２４を記憶し、入力手段４は、画像データ２１、カメラ内部パラメータ２２、設計情報２３、ユーザからの情報を取り込む。

演算処理手段１は、記憶手段２に記憶されているプログラム２４を読み込んで、画像データ２１、カメラ内部パラメータ２２、設計情報２３を使用して、一時記憶手段３にデータや計算結果等を一時的に記憶させながら処理を行い、画像データ２１や設計情報２３や処理結果等を表示手段５に表示することにより、図１に示すステレオ写真計測処理手段１０の機能を実現する。

図３はこの発明の実施の形態１による寸法計測箇所の寸法を計測するための処理を示すフローチャートである。図３に示す処理のうち、ステップＳＴ３からステップＳＴ１２までの処理がステレオ写真計測処理手段１０が行う処理である。

ステップＳＴ１において、ユーザは撮影対象現場７の任意の位置にカメラ外部キャリブレーション用のマーカー８を設置する。このマーカー８としては、可搬品であり、寸法が既知であり、かつ座標系により定められる直交３軸の識別が容易なものを用いるのが好ましい。このマーカー８をデジタルカメラ６を用いて撮影することにより、デジタルカメラ６とマーカー８の相対位置関係を正確に求めることができる。また、マーカー８は、後のステップＳＴ７〜ＳＴ１０の３次元座標計算処理において、設計情報２３として指定されている幾何学的情報を使用することから、撮影対象現場７にて成立している座標系により定められる設計情報２３における３軸方向と、マーカー８を基準にした座標系により定められる３軸方向とがほぼ一致（完全に一致する必要はない）するように設置する。

撮影対象現場７にマーカー８を設置する場合、撮影対象現場７にて成立している現実の座標系（すなわち設計情報２３における３軸方向）とマーカー８を基準にした座標系を完全に一致させることが望ましい。しかし、現実の座標軸とマーカー８を基準にした座標系を完全に一致させるには、マーカー８を設置する際に水準器等を使用してマーカー８の向きや角度等を厳密に調整する必要がある。そこで、この実施の形態１では、この手間を省くために、撮影対象現場７にて成立している現実の座標系により定められる設計情報２３における３軸方向と、マーカー８を基準にした座標系により定められる３軸方向とがほぼ一致するように設置し、寸法計測誤差の要因となっている撮影対象現場７にて成立している現実の座標系により定められる３軸方向とマーカー８を基準にした座標系により定められる３軸方向との不一致を、後述の３次元座標計算手段１５が、設計情報２３として定められている幾何学的情報から定まる拘束条件を使用して特徴点の３次元座標を計算することにより、寸法計測精度を向上させている。

なお、設計情報２３として指定されている計測対象の寸法計測箇所は、寸法を計算するための両端点となる特徴点及び座標系における寸法計測方向を最低限含むものとする。また、設計情報２３は記憶手段２に記憶されているものとするが、入力手段４から入力しても良い。

図４は撮影対象現場７に設置されるカメラ外部キャリブレーション用のマーカー８の例を示す図であり、マーカー８としては、例えば図４に示すように、平面で白黒の市松模様が描かれているものを用いる。このマーカー８をデジタルカメラ６により撮影した画像データのマーカー部分に対して画像処理を行うことによって、マーカー８を基準にした座標系により定められる３軸方向とデジタルカメラ６とマーカー８の相対位置関係を計算することができる（Intel OpenCVライブラリ参照）。マーカー８を基準にした座標系により定められる３軸方向としては、用紙の短軸方向をＸ方向、用紙の長軸方向をＹ方向、用紙の垂直方向をＺ方向とする。

また、マーカー８としては、撮影対象現場７にて成立している座標系により定められる設計情報２３における３軸方向とほぼ一致する３軸方向が復元できるのであれば、撮影対象現場７に埋め込まれているタイルのように、撮影対象現場７に固定されており、認識が容易なものを用いても良い。

図３のステップＳＴ２において、互いに離れた２箇所に設置されたデジタルカメラ６は計測対象とマーカー８を撮影して２枚の画像データ２１を出力する。この２枚の画像データ２１は入力手段４から入力され、記憶手段２に記憶され、一時記憶手段３に読み出された上で各種演算がなされる。なお、画像データ２１の１画素に相当するデータ（ＲＧＢ等のデータ）は一時記憶手段３の所定の記憶領域に記憶され、演算結果も一時記憶手段３の記憶領域に記憶される。

ステップＳＴ３において、ステレオ写真計測処理手段１０のレンズ歪み補正手段１１は、記憶手段２から２枚の画像データ２１と予め高精度に求めたデジタルカメラ６のカメラ内部パラメータ２２を一時記憶手段３に読み出し、カメラ内部パラメータ２２として、レンズの焦点距離、放射方向レンズ歪曲収差の中心座標、レンズ歪み係数を用いて、一時記憶手段３上の画像データ２１について、広角レンズによる固有の放射方向レンズ歪曲収差とレンズ歪みを例えばIntel OpenCVライブラリのcvUnDistort関数により補正し、補正後の画像データ２１を一時記憶手段３に記憶させる。

なお、デジタルカメラ６のカメラ内部パラメータ２２は、コンピュータビジョンの分野で広く用いられているＴｓａｉの手法やＺｈａｎｇの手法等を用いて精度良く求めることができる。

ステップＳＴ４において、ステレオ写真計測処理手段１０のカメラ位置認識手段１２は、一時記憶手段３に記憶された補正後の２枚の画像データ２１からマーカー８を画像処理により認識して、デジタルカメラ６とマーカー８との相対位置関係及びマーカー８を基準にした座標系を、デジタルカメラ６のレンズの投影変換行列を用いて求める。

ここで、カメラ位置認識手段１２は、デジタルカメラ６とマーカー８との相対位置関係として、具体的には、マーカー８を基準にした座標系におけるデジタルカメラ６の投影中心の座標と、その視線方向及び画素座標軸の方向を求める。例えば、図４に示すカメラ外部キャリブレーション用のマーカー８を用いた場合には、Intel OpenCVライブラリを用いて、デジタルカメラ６とマーカー８の相対位置関係を求めることができる。

例えば、カメラ位置認識手段１２は、一時記憶手段３に記憶された補正後の２枚の画像データ２１からマーカー８を画像処理により認識し、具体的には次の処理を行うことにより、マーカー８を基準にした座標系により定められる３軸方向を求める。すなわち、カメラ位置認識手段１２は、マーカー８の２つの白マスと２つの黒マスとに挟まれた境界点である格子点を、濃度勾配の変化の度合いの最も高い画素を特定することにより検出し、マーカー８全体の格子点の並び度合いから、まず２軸（例えばｘ軸とｙ軸）を特定し、これらの２軸に垂直になるように最後の１軸（例えばｚ軸）を求めることで、マーカー８を基準にした座標系により定められる３軸方向を求める。

また、カメラ位置認識手段１２は、格子点同士の間隔は既知であることから、カメラ外部パラメータを計算するための行列を用いて、次の式（１）で表される連立方程式を解くことにより、デジタルカメラ６とマーカー８の相対位置関係、すなわち、カメラ外部パラメータである、マーカー８を基準にした座標系におけるデジタルカメラ６の投影中心の座標と、その視線方向及び画素座標軸の方向を求める。
（格子点の２次元画素位置）＊（カメラ外部パラメータを計算するための行列）
＝（格子点の３次元位置） （１）
ここで、格子点の２次元画素位置はマーカー８を基準にした座標系を求める際に特定したものである。

なお、カメラ外部パラメータを計算するための行列は、デジタルカメラ６のレンズの投影変換行列であり、後述の３次元座標計算手段１５が使用する投影変換行列ｍ１，ｍ２である。また、このカメラ位置認識手段１２により求められたマーカー８を基準にした座標系及びカメラ外部パラメータは、３次元座標計算手段１５が投影変換行列ｍ１，ｍ２を使用し画像上の２次元画素位置を３次元座標に変換する処理で使用される。

ステップＳＴ５において、ステレオ写真計測処理手段１０の特徴点認識手段１３は、画像処理によって画像データ２１に含まれる全ての認識可能な特徴点を認識した上で出力手段５に表示し、入力手段４を用いて設計情報２３に記載されている特徴点のみをユーザに選択させる。特徴点の認識手法については、例えば各画像データ中の色情報、濃淡情報から濃度変化勾配が大きな点を抽出する、又は抽出後の濃度変化勾配が大きな点同士をつなげて線を抽出する等の手法がある。

ステップＳＴ６において、ステレオ写真計測処理手段１０の特徴点入力手段１４は、設計情報２３に記載され出力手段５に表示されている画像上に表示されている特徴点のうち、特徴点認識手段１３により認識されていない特徴点について、入力手段４を用いてユーザに特徴点を入力させる。

ステップＳＴ６の処理を終了後、ステレオ写真計測処理手段１０の３次元座標計算手段１５は、計算対象である特徴点が点で表現されている場合にはステップＳＴ７の処理に進み、計算対象である特徴点が線、平面又は立体で表現されている場合にはステップＳＴ８の処理に進む。このとき、計算対象である特徴点が平面又は立体で表現されている場合には、３次元座標計算手段１５は平面又は立体における１つの線を抽出してステップＳＴ８の処理に進む。

ステップＳＴ７〜ＳＴ１０において、３次元座標計算手段１５は、設計情報２３を入力し、幾何学的情報から定まる拘束条件、カメラ位置認識手段１２により求められたデジタルカメラ６とマーカー８の相対位置関係及びマーカー８を基準にした座標系、ある３次元座標点を画像ａ上に投影変換する投影変換行列ｍ１、ある３次元座標点を画像ｂ上に投影変換する投影変換行列ｍ２、三角測量の原理を使用して、特徴点認識手段１３により認識された特徴点及び特徴点入力手段１４により入力された特徴点の３次元座標、すなわち、一方の画像データの特徴点で構成される第一特徴部及びこの第一特徴部に対応して他方の画像データの特徴点で構成される第二特徴部に対応する計測対象の３次元座標を計算する。

このとき、３次元座標計算手段１５は、２枚の画像データ２１に含まれる特徴点をユーザに提示し、どれととれが一方の画像データの特徴点で構成される第一特徴部とこの第一特徴部に対応して他方の画像データの特徴点で構成される第二特徴部との組合せである特徴部ペアであるかをユーザに選択・指定させる。

３次元座標計算手段１５は、特徴点が点で表現されており、拘束条件が直線で与えられている場合に、ステップＳＴ７で、３次元座標において特徴部ペアを構成する点が同一の直線上にあるという拘束条件を使用して、特徴点の３次元座標を計算する。

また、３次元座標計算手段１５は、特徴点が線、平面又は立体で表現されており、拘束条件が直線で与えられている場合に、ステップＳＴ８、ＳＴ９で、３次元座標において特徴部ペアを構成する各線分の両端点が同一の直線上にあるという拘束条件を使用して、特徴点の３次元座標を計算する。

さらに、３次元座標計算手段１５は、特徴点が線、平面又は立体で表現されており、拘束条件が平面で与えられている場合に、ステップＳＴ８、ＳＴ１０で、３次元座標において特徴部ペアを構成する各線分の両端点が同一平面上にあるという拘束条件を使用して、特徴点の３次元座標を計算する。

図５は特徴点が点で表現されており、拘束条件として、２枚の画像データ２１に撮影されている特徴部ペアが同一点ではなく同一直線上にあるとした場合のステップＳＴ７における３次元座標計算手段１５の処理を説明する図である。図５において、１つの特徴点で構成される点が１画像中の計測対象の部分である特徴部であり、ここで、計測対象となる特徴部ペアは、設計情報２３として、鉛直方向成分を持つ、すなわち方向ベクトルがＬ＝（０，０，１）であるという撮影対象現場７で成立している現実の座標系に基づく位置関係の拘束条件が与えられているものとする。実際には、Ｌは鉛直方向だけでなく任意の方向について本手段の適用が可能である。

図５において、計測対象となる特徴部ペアは画像ａ上では点５１、画像ｂ上では点５２として指定されているものとする。また、画像ａ上の点５１を投影変換行列ｍ１により３次元座標系に投影した点６１と画像ｂ上の点５２を投影変換行列ｍ２により３次元座標系に投影した点６２は、３次元座標において同一直線上にある任意の点とする。

ステップＳＴ７において、３次元座標計算手段１５は、設計情報２３を入力し、設計情報２３として指定された点５１の３次元座標点６１と点５２の３次元座標点６２は同一の直線上（ここでは鉛直方向成分を持つ同一の直線上）にあるという拘束条件、カメラ位置認識手段１２により求められたデジタルカメラ６とマーカー８の相対位置関係及びマーカー８を基準にした座標系、投影変換行列ｍ１、投影変換行列ｍ２、三角測量の原理を使用して、点６１，６２の３次元座標及び点６１と点６２を通る直線（ここでは鉛直線）を計算する。

図５において、点６１は画像ａを撮影したデジタルカメラ６の位置と点５１とを通る直線上に必ずあり、点６２は画像ｂを撮影したデジタルカメラ６の位置と点５２とを通る直線上にあり、まず、３次元座標計算手段１５は、直線５１・６１と直線５２・６２の方程式を求める。このとき、投影変換行列ｍ１，ｍ２を用いて表記しても良い。そして、３次元座標計算手段１５は、ねじれの位置にあるであろう直線５１・６１と直線５２・６２の双方と交わる鉛直線を求めることにより直線６１・６２の方程式を求める。この直線６１・６２と直線５１・６１の交点座標を求めることにより、点６１の３次元座標を求めることができる。３次元座標計算手段１５は点６２に対しても同様の方法により３次元座標を計算する。

図６は特徴点が線で表現されており、拘束条件として、２枚の画像データ２１に撮影されている特徴部ペアが同一線分ではなく同一直線上にあるとした場合のステップＳＴ８、ＳＴ９における３次元座標計算手段１５の処理を説明する図である。図６において、１画像中の２つの特徴点間を結ぶ線分が１画像中の計測対象の部分である特徴部であり、計測対象となる特徴部ペアは、鉛直方向成分を持つ、すなわち方向ベクトルがＬ＝（０，０，１）であるという拘束条件が与えられているものとする。実際には、Ｌは任意の方向について本手段の適用が可能である。

図６において、計測対象となる特徴部ペアは、画像ａ上では点１０１と点１０２を結ぶ線分、画像ｂ上では点１０３と点１０４を結ぶ線分として指定されているものとする。また、画像ａ上の点１０１を投影変換行列ｍ１により３次元座標系に投影した点１３１と画像ｂ上の点１０３を投影変換行列ｍ２により３次元座標系に投影した点１３３とは必ずしも３次元座標系上での同一箇所である必要はなく、画像ａ上の点１０２を投影変換行列ｍ１により３次元座標系に投影した点１３２と画像ｂ上の点１０４を投影変換行列ｍ２により３次元座標系に投影した点１３４とは必ずしも３次元座標系上での同一箇所である必要はなく、点１３１，１３２，１３３，１３４は、それぞれ３次元座標系において同一直線上にある任意の点とする。

点１３１，１３２，１３３，１３４は、それぞれ３次元座標系において同一直線上にあるのであれば、点１３１と点１３２の中点及び点１３３と点１３４の中点もこれらと同一直線上にあるはずである。よって、ステップＳＴ８において、３次元座標計算手段１５は、設計情報２３を入力し、画像ａにおいて点１０１と点１０２とを結ぶ線分１０１・１０２の中点１１１を求め、同様に画像ｂにおいて点１０３と点１０４とを結ぶ線分１０３・１０４の中点１１２を求め、点１１１の３次元座標点１２１と点１１２の３次元座標点１２２は同一の直線上（ここでは鉛直方向成分を持つ同一の直線上）にあるという拘束条件、カメラ位置認識手段１２により求められたデジタルカメラ６とマーカー８の相対位置関係及びマーカー８を基準にした座標系、投影変換行列ｍ１、投影変換行列ｍ２、三角測量の原理を使用して、点１２１，１２２の３次元座標及び点１２１と点１２２を通る直線（この場合は鉛直線）を計算する。

続いて、ステップＳＴ９において、３次元座標計算手段１５は、カメラ位置認識手段１２により計算されたデジタルカメラ６とマーカー８の相対位置関係及びマーカー８を基準にした座標系、投影変換行列ｍ１、投影変換行列ｍ２、三角測量の原理を使用して、点１０１，１０２，１０３，１０４の３次元座標を計算し、計算した点１０１，１０２，１０３，１０４の３次元座標を、上記ステップＳＴ８で求めた点１２１と点１２２を通る直線（この場合は鉛直線）の最近点に近似する。このとき、３次元座標計算手段１５は、点１０１，１０２，１０３，１０４の３次元座標を計算する際に拘束条件を使用しない。

すなわち、３次元座標計算手段１５は、画像ａの投影変換行列ｍ１を用いて、線分１０１・１０２をＺ＝０平面上に投影した直線Ｌａを計算し、同様に、画像ｂの投影変換行列ｍ２を用いて線分１０３・１０４をＺ＝０平面上に投影した直線Ｌｂを計算する。この直線Ｌａと画像ａの投影中心を通る平面と、直線Ｌｂと画像ｂの投影中心を通る平面との交線上に線分１０１・１０２の復元先直線１３１・１３２及び線分１０３・１０４の復元先直線１３３・１３４があるとすると、３次元座標計算手段１５は、三角測量の原理を使用して、点１０１と画像ａの投影中心とを通る直線と先ほど求めた交線との交点座標を計算することにより、点１３１の３次元座標を求めることができる。
３次元座標計算手段１５は点１３２，１３３，１３４に対しても同様の方法により３次元座標を計算する。

この時点で、点１３１と点１３２を通る直線は点１２１と点１２２を通る鉛直線と点１２１で交わるが、点１３１と点１３２を通る直線は必ずしも鉛直とは限らず、点１２１と点１２２を通る鉛直線と一致するとは限らない。よって、点１３１と点１３２のそれぞれとの距離が最小となり、点１２１と点１２２を通る鉛直線上の点１４１と点１４２を計算し、この点１４１と点１４２を画像ａ上の点１０１と点１０２の３次元座標とする。

同様に、画像ｂにおいて点１０３と点１０４に投影されている３次元座標点１３３と点１３４の３次元座標を画像ｂの投影変換行列ｍ２を用いて計算し、点１３３と点１３４のそれぞれとの距離が最小となる、点１２１と点１２２を通る鉛直線上の点１４３と点１４４を計算し、画像ｂ上の点１０３と点１０４の３次元座標点とする。

特徴点が線で表現されており、拘束条件として、２枚の画像データ２１に撮影されている特徴点ペアが同一平面上にあるとした場合のステップＳＴ８、ＳＴ１０における３次元座標計算手段１５の処理を以下に説明する。すなわち、図６における拘束条件Ｌ＝（０，０，１）の代わりに特徴点ペアは法線ベクトルがＮ＝（０，１，０）の同一平面上にあるという拘束条件が与えられている場合には、点１３１と点１３２の中点及び点１３３と点１３４の中点もこれらと同一直線上にあるはずである。よってステップＳＴ８において、３次元座標計算手段１５は、図６における点１１１と点１１２の３次元座標の計算において平面の法線ベクトルを拘束条件として用いて点１２１，１２２の３次元座標及び点１２１と点１２２とを通る直線、点１２１と点１２２を含む平面を計算する。

続く本来の座標復元対象である点１０１，１０２，１０３，点１０４の３次元座標を計算するステップＳＴ１０において、３次元座標計算手段１５は、点１０１，１０２の３次元座標計算時には、点１２１，１２２を含む平面上の３次元座標点１４１，１４２の３次元座標を画像ａの投影変換行列ｍ１を用いて求める。また、３次元座標計算手段１５は、同様に、点１０３，１０４の３次元座標計算時には、点１２１，１２２を含む平面上の３次元座標点１４３，１４４の３次元座標を画像ｂの投影変換行列ｍ２を用いて求める。

ステップＳＴ１１において、寸法計算手段１６は、設計情報２３を入力し、３次元座標計算手段１５により計算された各特徴点の３次元座標に基づき、設計情報２３として指定された寸法計測箇所の寸法を計算する。計算された寸法計測箇所の各寸法は一時記憶手段３に記憶される。

ステップＳＴ１２において、寸法表示手段１７は一時記憶手段３に記憶された寸法計測箇所の寸法を表示手段５に表示する。

以上のように、この実施の形態１によれば、カメラ外部キャリブレーションが正確にできていない場合、すなわち、撮影対象現場７にて成立している現実の座標系（設計情報２３における３軸方向）とマーカー８を基準にした座標系が完全に一致しない場合でも、３次元座標計算手段１５が現実の座標系に基づく拘束条件を使用して特徴点の３次元座標を計算することにより、計測対象の寸法計測精度を向上させることができるという効果が得られる。

また、この実施の形態１によれば、特徴点認識手段１３が２枚の画像データ２１から特徴点を画像処理により認識することにより、計算機の操作に不慣れなユーザでも簡単に本ステレオ写真計測装置を用いることができるという効果が得られる。

実施の形態２．
この発明の実施の形態２によるステレオ写真計測装置の構成を示すブロック図は、上記実施の形態１の図１に示す構成から特徴点認識手段１３を削除したものである。
図７はこの発明の実施の形態２による寸法計測箇所の寸法を計測するための処理を示すフローチャートであり、上記実施の形態１の図３に示すフローチャートからステップＳＴ５の処理を削除したものである。図７に示す処理のうち、ステップＳＴ３からステップＳＴ１２までの処理がステレオ写真計測処理手段１０が行う処理である。

この実施の形態２では、上記実施の形態１の特徴点認識手段１３による画像データ２１からの特徴点認識処理を行わずに、図７のステップＳＴ６において、特徴点入力手段１４は、設計情報２２に記載されている特徴点で出力手段５に表示されている画像上に対応点が存在するものについて、入力手段４を用いてユーザに特徴点を入力させる。
その他のステップＳＴ１〜ＳＴ４，ＳＴ７〜ＳＴ１２の処理は上記実施の形態１と同様である。

以上のように、この実施の形態２によれば、カメラ外部キャリブレーションが正確にできていない場合でも、３次元座標計算手段１５が現実の座標系に基づく拘束条件を使用して特徴点の３次元座標を計算することにより、計測対象の寸法計測精度を向上させることができるという効果が得られる。

また、この実施の形態２によれば、上記実施の形態１の特徴点認識手段１３を削除することにより、ステレオ写真計測装置を操作するユーザの負荷を軽減することができない代わりに、性能が低いステレオ写真計測装置を用いても、カメラ外部キャリブレーションが正確にできていない場合に、計測対象の寸法計測精度を向上させることができるという効果が得られる。

なお、上記実施の形態１及び上記実施の形態２によるステレオ写真計測装置は、コンピュータと、このコンピュータを上記実施の形態１及び上記実施の形態２における各手段として機能させるためのステレオ写真計測用プログラムにより実現することも可能である。

この発明の実施の形態１によるステレオ写真計測装置の構成を示すブロック図である。 この発明の実施の形態１によるステレオ写真計測装置のハードウェア構成を示すブロック図である。 この発明の実施の形態１による寸法計測箇所の寸法を計測するための処理を示すフローチャートである。 この発明の実施の形態１において、撮影対象現場に設置されるカメラ外部キャリブレーション用のマーカーの例を示す図である。 この発明の実施の形態１において、特徴点が点で表現されており、拘束条件として、２枚の画像データに撮影されている特徴点ペアが同一点ではなく同一直線上にあるとした場合の３次元座標計算手段の処理を説明する図である。 この発明の実施の形態１において、特徴点が線で表現されており、拘束条件として、２枚の画像データに撮影されている特徴点ペアが同一線分ではなく同一直線上にあるとした場合の３次元座標計算手段の処理を説明する図である。 この発明の実施の形態２による寸法計測箇所の寸法を計測するための処理を示すフローチャートである。

符号の説明

１ 演算処理手段、２ 記憶手段、３ 一時記憶手段、４ 入力手段、５ 表示手段、６ デジタルカメラ、７ 撮影対象現場、８ マーカー、１０ ステレオ写真計測処理手段、１１ レンズ歪み補正手段、１２ カメラ位置認識手段、１３ 特徴点認識手段、１４ 特徴点入力手段、１５ ３次元座標計算手段、１６ 寸法計算手段、１７ 寸法表示手段、２１ 画像データ、２２ カメラ内部パラメータ、２３ 設計情報、２４ プログラム。

Claims (6)

1. 互いに離れた２箇所からカメラを用いて基準位置を示すマーカー及び計測対象を撮影した２枚の画像データを記憶する画像データ記憶手段と、
   上記計測対象の寸法計測箇所並びに上記計測対象の稜線の直線方向成分及び平面の法線方向成分のいずれか一方又は両方の幾何学的情報を含む設計情報を記憶する設計情報記憶手段と、
   上記画像データから上記マーカーを画像処理によって認識して、上記カメラと上記マーカーとの相対位置関係を、上記カメラのレンズの投影変換行列を用いて求めるカメラ位置認識手段と、
   上記画像データの画像に撮影された点、線、平面及び立体形状の特徴点を画像処理によって又は入力デバイスからの入力情報によって抽出する特徴点抽出手段と、
   上記幾何学的情報から定まる拘束条件、上記投影変換行列、上記相対位置関係及び三角測量の原理を用いて、一方の画像データの特徴点で構成される第一特徴部及びこの第一特徴部に対応して他方の画像データの特徴点で構成される第二特徴部に対応する上記計測対象の３次元座標を計算する３次元座標計算手段と、
   上記３次元座標から上記寸法計測箇所の寸法を計算する寸法計算手段とを備えたステレオ写真計測装置。
2. 上記３次元座標計算手段は、上記特徴点が点で表現されており、上記拘束条件が直線で与えられている場合に、３次元座標において上記第一特徴部と上記第二特徴部の組合せである特徴部ペアを構成する点が同一の直線上にあるという拘束条件を使用して、上記特徴点の３次元座標を計算することを特徴とする請求項１記載のステレオ写真計測装置。
3. 上記３次元座標計算手段は、上記特徴点が線、平面又は立体で表現されており、拘束条件が直線で与えられている場合に、３次元座標において、上記第一特徴部と上記第二特徴部の組合せである特徴部ペアを構成する線分の中点が同一の直線上にあり、各特徴点の両端点が上記各中点を通過する直線上にあるという拘束条件を使用して、上記特徴点の３次元座標を計算することを特徴とする請求項１記載のステレオ写真計測装置。
4. 上記３次元座標計算手段は、上記特徴点が線、平面又は立体で表現されており、拘束条件が平面で与えられている場合に、３次元座標において、上記第一特徴部と上記第二特徴部の組合せである特徴点ペアを構成する線分の中点が同一の平面上にあり、各線分の両端点が上記各中点を通過する平面上にあるという拘束条件を使用して、上記特徴点の３次元座標を計算することを特徴とする請求項１記載のステレオ写真計測装置。
5. 互いに離れた２箇所からカメラを用いて基準位置を示すマーカー及び計測対象を撮影した２枚の画像データを記憶する画像データ記憶手段と、
   上記計測対象の寸法計測箇所並びに上記計測対象の稜線の直線方向成分及び平面の法線方向成分のいずれか一方又は両方の幾何学的情報を含む設計情報を記憶する設計情報記憶手段とを備えて、上記寸法計測箇所の寸法を計算するステレオ写真計測方法であって、
   カメラ位置認識手段が、上記画像データから上記マーカーを画像処理によって認識して、上記カメラと上記マーカーとの相対位置関係を、上記カメラのレンズの投影変換行列を用いて求めるステップと、
   特徴点抽出手段が上記画像データの画像に撮影された点、線、平面及び立体形状の特徴点を画像処理によって又は入力デバイスからの入力情報によって抽出するステップと、
   ３次元座標計算手段が、上記幾何学的情報から定まる拘束条件、上記投影変換行列、上記相対位置関係及び三角測量の原理を用いて、一方の画像データの特徴点で構成される第一特徴部及びこの第一特徴部に対応して他方の画像データの特徴点で構成される第二特徴部に対応する上記計測対象の３次元座標を計算するステップと、
   寸法計算手段が上記３次元座標から上記寸法計測箇所の寸法を計算するステップとを備えたことを特徴とするステレオ写真計測方法。
6. コンピュータを、
   互いに離れた２箇所からカメラを用いて基準位置を示すマーカー及び計測対象を撮影した２枚の画像データを記憶する画像データ記憶手段、
   上記計測対象の寸法計測箇所並びに上記計測対象の稜線の直線方向成分及び平面の法線方向成分のいずれか一方又は両方の幾何学的情報を含む設計情報を記憶する設計情報記憶手段、
   上記画像データから上記マーカーを画像処理によって認識して、上記カメラと上記マーカーとの相対位置関係を、上記カメラのレンズの投影変換行列を用いて求めるカメラ位置認識手段、
   上記画像データの画像に撮影された点、線、平面及び立体形状の特徴点を画像処理によって又は入力デバイスからの入力情報によって抽出する特徴点抽出手段、
   上記幾何学的情報から定まる拘束条件、上記投影変換行列、上記相対位置関係及び三角測量の原理を用いて、一方の画像データの特徴点で構成される第一特徴部及びこの第一特徴部に対応して他方の画像データの特徴点で構成される第二特徴部に対応する上記計測対象の３次元座標を計算する３次元座標計算手段、
   上記３次元座標から上記寸法計測箇所の寸法を計算する寸法計算手段、
   として機能させるためのステレオ写真計測用プログラム。

Images