JP4234059B2 - カメラキャリブレーション方法およびカメラキャリブレーション装置 - Google Patents
カメラキャリブレーション方法およびカメラキャリブレーション装置 Download PDFInfo
- Publication number
- JP4234059B2 JP4234059B2 JP2004165315A JP2004165315A JP4234059B2 JP 4234059 B2 JP4234059 B2 JP 4234059B2 JP 2004165315 A JP2004165315 A JP 2004165315A JP 2004165315 A JP2004165315 A JP 2004165315A JP 4234059 B2 JP4234059 B2 JP 4234059B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- reference scale
- points
- image
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
この発明は、カメラ画像を用いたステレオ法による３次元測量で使用するカメラの内部パラメータを同定するカメラキャリブレーションに関するものである。
カメラで撮影した画像を用いて計算機上で３次元復元などを行うには、カメラの内部パラメータ（焦点距離f・レンズ歪み係数κ1, κ2・レンズ中心Cx, Cy・アスペクト比α・せん断歪み係数β）を用いて計算機上で模擬されたカメラモデルを用いている。
従来のカメラキャリブレーション方法は、キャリブレーションパターンをカメラで様々な方向から撮影し、カメラ−キャリブレーションパターン間の位置関係と計算機上に模擬されたカメラモデルの情報から「計算上の画像」を計算し、実際に撮影した「現実の画像」と「計算上の画像」内に写っているキャリブレーションパターンの位置を比較し、両者の位置の変位量を評価対象とし変位量の２乗和が最小となるようにカメラの内部パラメータに対して非線形最適化を行い最適値を求めている（例えば、非特許文献１参照）。
従来のカメラキャリブレーション方法は、キャリブレーションパターンをカメラで様々な方向から撮影し、カメラ−キャリブレーションパターン間の位置関係と計算機上に模擬されたカメラモデルの情報から「計算上の画像」を計算し、実際に撮影した「現実の画像」と「計算上の画像」内に写っているキャリブレーションパターンの位置を比較し、両者の位置の変位量を評価対象とし変位量の２乗和が最小となるようにカメラの内部パラメータに対して非線形最適化を行い最適値を求めている（例えば、非特許文献１参照）。
Z.Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
従来のカメラキャリブレーション方法は、以上のように、現実のカメラにより撮影された画像に写っているキャリブレーションパターンの位置と、計算機上のカメラモデルにより投影された画像に写っているキャリブレーションパターンの位置の変位量を評価指標とし最適化処理によりカメラの内部パラメータを求めている。このように求められたカメラの内部パラメータが、ステレオ立体視の原理に基づくステレオ法による寸法測量を行う場合にも最適であるとは言えず、ステレオ法による寸法測量の寸法精度を向上するには限界があった。
この発明は、上記のような問題点を解消するために成されたものであって、カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを求めるカメラキャリブレーションの精度を向上して、ステレオ法による寸法測量の寸法精度を向上することを目的とする。
この発明に係るカメラキャリブレーション方法は、カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを同定する方法であって、上記カメラの内部パラメータとして所定の初期値を設定する第１のステップと、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に、上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影して画像データを得る第２のステップと、該得られた画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する第３のステップと、上記各特定点のワールド座標系位置、該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、その時点のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出する第４のステップと、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および、その時点のカメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する第５のステップと、該計測された上記基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出し、該評価対象誤差が予め設定された基準を満たすかどうか判定する第６のステップと、上記評価対象誤差が該基準を満たさないとき、上記カメラ内部パラメータを上記評価対象誤差が小さくなるように更新する第７のステップとを備える。そして、上記第６のステップで上記評価対象誤差が上記基準を満たすまで、上記第３〜第７のステップを繰り返すものである。
また、この発明に係るカメラキャリブレーション装置は、カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを同定する装置であって、上記カメラ内部パラメータとして、与えられた初期値から順次更新される最新のカメラ内部パラメータを格納する内部パラメータ保持部と、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影された画像データを入力する画像入力手段と、該入力された画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する画像座標検出手段と、上記各特定点のワールド座標系位置、上記画像座標検出手段にて検出され該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、上記内部パラメータ保持部内のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出するカメラ位置検出手段と、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記画像座標検出手段にて検出され上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および上記カメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する基準尺寸法計測手段と、該基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出すると共に該評価対象誤差が予め設定された基準を満たすかどうかを判定して、上記評価誤差及び判定結果を出力する比較結果出力手段と、外部からの入力により上記内部パラメータ保持部内のカメラ内部パラメータを更新するパラメータ更新手段とを備えたものである。
また、この発明に係るカメラキャリブレーション装置は、カメラ内部パラメータとして、与えられた初期値から順次更新される最新のカメラ内部パラメータを格納する内部パラメータ保持部と、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影された画像データを入力する画像入力手段と、該入力された画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する画像座標検出手段と、上記各特定点のワールド座標系位置、上記画像座標検出手段にて検出され該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、上記内部パラメータ保持部内のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出するカメラ位置検出手段と、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記画像座標検出手段にて検出され上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および上記カメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する基準尺寸法計測手段と、該基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出すると共に該評価対象誤差が予め設定された基準を満たすかどうかを判定する比較判定手段と、上記内部パラメータ保持部内のカメラ内部パラメータを更新するパラメータ更新手段とを備える。そして、上記比較判定手段において上記評価誤差が上記基準を満たさないと判定された場合に、上記パラメータ更新手段は、所定の演算により上記カメラ内部パラメータから所定の変数および該変数の修正量を決定して該カメラ内部パラメータを更新し、該更新により上記カメラ位置検出手段および上記基準尺寸法計測手段が順次動作して、上記基準尺の寸法測定値を上記更新されたカメラ内部パラメータを用いて再計測し、上記比較判定手段により上記評価対象誤差を再算出して判定するものである。
この発明に係るカメラキャリブレーション方法は、カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを同定する方法であって、上記カメラの内部パラメータとして所定の初期値を設定する第１のステップと、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に、上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影して画像データを得る第２のステップと、該得られた画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する第３のステップと、上記各特定点のワールド座標系位置、該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、その時点のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出する第４のステップと、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および、その時点のカメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する第５のステップと、該計測された上記基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出し、該評価対象誤差が予め設定された基準を満たすかどうか判定する第６のステップと、上記評価対象誤差が該基準を満たさないとき、上記カメラ内部パラメータを上記評価対象誤差が小さくなるように更新する第７のステップとを備える。そして、、上記第６のステップで上記評価対象誤差が上記基準を満たすまで、上記第３〜第７のステップを繰り返すものであるため、評価指標が測量の目的である寸法測定に直接合致することになり、要求精度を満足し得るようなキャリブレーションが可能となる。これにより、カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを求めるカメラキャリブレーションの精度を向上でき、ステレオ法による寸法測量の寸法精度を向上できる。また、内部パラメータが要求精度を満足しているか否かの判定が信頼性良く容易に行える。
また、この発明に係るカメラキャリブレーション装置は、カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを同定する装置であって、上記カメラ内部パラメータとして、与えられた初期値から順次更新される最新のカメラ内部パラメータを格納する内部パラメータ保持部と、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影された画像データを入力する画像入力手段と、該入力された画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する画像座標検出手段と、上記各特定点のワールド座標系位置、上記画像座標検出手段にて検出され該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、上記内部パラメータ保持部内のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出するカメラ位置検出手段と、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記画像座標検出手段にて検出され上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および上記カメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する基準尺寸法計測手段と、該基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出すると共に該評価対象誤差が予め設定された基準を満たすかどうかを判定して、上記評価誤差及び判定結果を出力する比較結果出力手段と、外部からの入力により上記内部パラメータ保持部内のカメラ内部パラメータを更新するパラメータ更新手段とを備えたものである。このため、評価指標が測量の目的である寸法測定に直接合致することになり、要求精度を満足し得るようなキャリブレーションが可能となる。これにより、カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを求めるカメラキャリブレーションが容易に高精度で行える。
また、この発明に係るカメラキャリブレーション装置は、カメラ内部パラメータとして、与えられた初期値から順次更新される最新のカメラ内部パラメータを格納する内部パラメータ保持部と、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影された画像データを入力する画像入力手段と、該入力された画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する画像座標検出手段と、上記各特定点のワールド座標系位置、上記画像座標検出手段にて検出され該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、上記内部パラメータ保持部内のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出するカメラ位置検出手段と、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記画像座標検出手段にて検出され上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および上記カメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する基準尺寸法計測手段と、該基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出すると共に該評価対象誤差が予め設定された基準を満たすかどうかを判定する比較判定手段と、上記内部パラメータ保持部内のカメラ内部パラメータを更新するパラメータ更新手段とを備える。そして、上記比較判定手段において上記評価誤差が上記基準を満たさないと判定された場合に、上記パラメータ更新手段は、所定の演算により上記カメラ内部パラメータから所定の変数および該変数の修正量を決定して該カメラ内部パラメータを更新し、該更新により上記カメラ位置検出手段および上記基準尺寸法計測手段が順次動作して、上記基準尺の寸法測定値を上記更新されたカメラ内部パラメータを用いて再計測し、上記比較判定手段により上記評価対象誤差を再算出して判定するものであるため、カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを求めるカメラキャリブレーションが人を介することなく高精度で行える。
実施の形態１．
以下、この発明の実施の形態を図について説明する。
図１は、この発明の実施の形態１によるカメラキャリブレーション装置の概略構成を示すブロック図である。
ここでは、キャリブレーション対象のカメラ１を用いて、撮影視野内に置かれたキャリブレーションパターン２と実際の寸法が既知の複数の基準尺３とを複数の撮影ポイントから撮影し、その撮影画像を基にカメラキャリブレーション装置１３によりカメラキャリブレーションを行う。
図に示すように、カメラキャリブレーション装置１３は、カメラ１から撮影画像を取り込む画像入力手段としての画像取り込み部４ａと、取り込まれた画像データから画像座標系内の位置を検出する画像座標検出部４ｂと、カメラ１の位置を検出するカメラ位置認識部５と、ステレオ法により各基準尺３の寸法測定値を計測する基準尺寸法計算部６と、各基準尺３の寸法実測値を保持する基準尺寸法保持部７と、各基準尺３の寸法測定値と寸法実測値とを比較する寸法比較処理部８と、その比較結果を出力表示する比較結果表示部９と、外部からの入力によりカメラ１の内部パラメータを修正するパラメータ更新手段としての内部パラメータ修正処理部１１と、カメラ１の内部パラメータを格納する内部パラメータ保持部１２とで構成される。また、１０は作業者である。
以下、この発明の実施の形態を図について説明する。
図１は、この発明の実施の形態１によるカメラキャリブレーション装置の概略構成を示すブロック図である。
ここでは、キャリブレーション対象のカメラ１を用いて、撮影視野内に置かれたキャリブレーションパターン２と実際の寸法が既知の複数の基準尺３とを複数の撮影ポイントから撮影し、その撮影画像を基にカメラキャリブレーション装置１３によりカメラキャリブレーションを行う。
図に示すように、カメラキャリブレーション装置１３は、カメラ１から撮影画像を取り込む画像入力手段としての画像取り込み部４ａと、取り込まれた画像データから画像座標系内の位置を検出する画像座標検出部４ｂと、カメラ１の位置を検出するカメラ位置認識部５と、ステレオ法により各基準尺３の寸法測定値を計測する基準尺寸法計算部６と、各基準尺３の寸法実測値を保持する基準尺寸法保持部７と、各基準尺３の寸法測定値と寸法実測値とを比較する寸法比較処理部８と、その比較結果を出力表示する比較結果表示部９と、外部からの入力によりカメラ１の内部パラメータを修正するパラメータ更新手段としての内部パラメータ修正処理部１１と、カメラ１の内部パラメータを格納する内部パラメータ保持部１２とで構成される。また、１０は作業者である。
このように構成されるカメラキャリブレーション装置１３を用いたキャリブレーション方法を以下に説明する。図２は、キャリブレーション方法を示すフローチャートであり、図４は、カメラキャリブレーション装置１３において、内部パラメータ１２ａと入力された画像データとから各基準尺３の寸法測定値を計測するためのデータ処理を説明する図である。
内部パラメータ保持部１２では、順次更新される最新の内部パラメータ１２ａを保持し、従来技術で説明した方法などの公知の方法で決定されたカメラ１の内部パラメータを、予め初期値として設定しておく。
まず、キャリブレーション対象のカメラ１の撮影領域に、画像処理により自動検出可能なキャリブレーションパターン２と数個の基準尺３を設置する。キャリブレーションパターン２は、ワールド座標系での位置が既知の複数の特定点で構成されるもので、図３に示すように、例えば特定点となる格子点から成るパターンを用いる。また、実寸法値が既知の基準尺３は、想定される測量対象領域内に設置する。即ち、基準尺３を設置する領域の広さは、実際にここで求める内部パラメータを用いて測量する領域の広さとほぼ同じぐらいにする。この場合、３個の基準尺３をほぼ直行する３方向に沿って配置する（Ｓ１）。
次に、ステレオ立体視に用いる複数の画像を得るため、Ｓ１で設置したキャリブレーションパターン２と基準尺３とが共に写るように視点位置を移動して、複数の位置及び姿勢の撮影ポイント、ここでは２箇所の撮影ポイントから撮影する（Ｓ２）。
内部パラメータ保持部１２では、順次更新される最新の内部パラメータ１２ａを保持し、従来技術で説明した方法などの公知の方法で決定されたカメラ１の内部パラメータを、予め初期値として設定しておく。
まず、キャリブレーション対象のカメラ１の撮影領域に、画像処理により自動検出可能なキャリブレーションパターン２と数個の基準尺３を設置する。キャリブレーションパターン２は、ワールド座標系での位置が既知の複数の特定点で構成されるもので、図３に示すように、例えば特定点となる格子点から成るパターンを用いる。また、実寸法値が既知の基準尺３は、想定される測量対象領域内に設置する。即ち、基準尺３を設置する領域の広さは、実際にここで求める内部パラメータを用いて測量する領域の広さとほぼ同じぐらいにする。この場合、３個の基準尺３をほぼ直行する３方向に沿って配置する（Ｓ１）。
次に、ステレオ立体視に用いる複数の画像を得るため、Ｓ１で設置したキャリブレーションパターン２と基準尺３とが共に写るように視点位置を移動して、複数の位置及び姿勢の撮影ポイント、ここでは２箇所の撮影ポイントから撮影する（Ｓ２）。
次に、撮影された２枚の画像をカメラキャリブレーション装置１３に取り込み、必要な画像座標値を認識する。即ち、画像取り込み部４ａは、カメラ１から２枚の撮影画像を画像データとして取り込み、画像座標検出部４ｂでは、取り込まれた２枚分の画像データからキャリブレーションパターン２の格子点の画像座標値を抽出すると共に（Ｓ３）、各基準尺３の両端点の画像座標値を抽出する（Ｓ４）。２箇所の撮影ポイントにおける各画像座標値のデータを、それぞれカメラＡ画像座標１４ａ、カメラＢ画像座標１４ｂで示す（図４参照）。
次に、レンズ歪み補正部１５にて、Ｓ３、Ｓ４で認識した各点の画像座標値から内部パラメータ１２ａを用いてレンズ歪みを除去し、上記各点の画像座標値をそれぞれ補正計算する。このレンズ歪み補正部１５は、図４では独立して示したが、カメラ位置計算部５および基準尺計算部６にそれぞれ備えて、カメラの位置計算、基準尺の寸法計算の際にレンズ歪み補正を行っても良い（Ｓ５）。
次に、レンズ歪み補正部１５にて、Ｓ３、Ｓ４で認識した各点の画像座標値から内部パラメータ１２ａを用いてレンズ歪みを除去し、上記各点の画像座標値をそれぞれ補正計算する。このレンズ歪み補正部１５は、図４では独立して示したが、カメラ位置計算部５および基準尺計算部６にそれぞれ備えて、カメラの位置計算、基準尺の寸法計算の際にレンズ歪み補正を行っても良い（Ｓ５）。
次に、内部パラメータ１２ａとＳ５で求めたキャリブレーションパターンの撮影ポイント毎の補正画像座標値とに基づいて、カメラ位置計算部５にて上記２箇所の撮影ポイントの各位置を求め、それらの相対位置及び姿勢（カメラ位置）５ａを算出する（Ｓ６）。続いて、Ｓ６で算出された２箇所の撮影ポイントの相対位置及び姿勢５ａ、Ｓ５で求めた各基準尺両端点の撮影ポイント毎の補正画像座標値、および、内部パラメータ１２ａに基づいて、基準尺寸法計算部６にて、ステレオ立体視により各基準尺両端点の３次元位置を算出して、各基準尺３の寸法測定値６ａ〜６ｃを計測する（Ｓ７）。
次に、寸法比較処理部８において、Ｓ７で求めた各基準尺３の寸法測定値６ａ〜６ｃと、基準尺寸法保持部７内の各基準尺３の寸法実測値とを比較し、誤差をそれぞれの基準尺３について計算し、その誤差の２乗和の値・誤差の最大値・誤差の分布など評価値を評価対象誤差として比較結果表示部９に表示して作業者１０に提示し、さらに該評価値が実際の写真測量時に要求される精度を示す予め設定された基準を満たすかどうか判定して表示する（Ｓ８）。
次に、寸法比較処理部８において、Ｓ７で求めた各基準尺３の寸法測定値６ａ〜６ｃと、基準尺寸法保持部７内の各基準尺３の寸法実測値とを比較し、誤差をそれぞれの基準尺３について計算し、その誤差の２乗和の値・誤差の最大値・誤差の分布など評価値を評価対象誤差として比較結果表示部９に表示して作業者１０に提示し、さらに該評価値が実際の写真測量時に要求される精度を示す予め設定された基準を満たすかどうか判定して表示する（Ｓ８）。
Ｓ８において基準を満たしていれば作業終了、満たしていなければ、作業者１０は、表示された情報を判断基準にして内部パラメータ１２ａの各変数を修正するように入力する。この入力により、内部パラメータ修正処理部１１にて、内部パラメータ保持部１２内の内部パラメータ１２ａを更新する。このとき内部パラメータ１２ａの各変数間の関係は無視できるとみなし、個々のパラメータを独立に修正できる（Ｓ９）。
Ｓ９において内部パラメータ１２ａを更新すると、Ｓ５に戻りＳ５〜Ｓ９の処理を繰り返す。即ち、Ｓ８において基準を満たして作業終了となるまでＳ５〜Ｓ９の処理を繰り返し、各基準尺３の寸法測定値６ａ〜６ｃを更新された内部パラメータ１２ａを用いて再計測し、実測値との誤差に基づく評価値を比較結果表示部９に表示して作業者１０に再提示する。これにより、内部パラメータ１２ａが高精度に最適化できる。
Ｓ９において内部パラメータ１２ａを更新すると、Ｓ５に戻りＳ５〜Ｓ９の処理を繰り返す。即ち、Ｓ８において基準を満たして作業終了となるまでＳ５〜Ｓ９の処理を繰り返し、各基準尺３の寸法測定値６ａ〜６ｃを更新された内部パラメータ１２ａを用いて再計測し、実測値との誤差に基づく評価値を比較結果表示部９に表示して作業者１０に再提示する。これにより、内部パラメータ１２ａが高精度に最適化できる。
この実施の形態では、ステレオ法により基準尺３の寸法を計算し、その計算値の誤差を内部パラメータ１２ａの最適化処理の評価対象とすることにより、評価指標が測量の目的である寸法測定に直接合致することになり、要求精度を満足し得るようなキャリブレーションが可能となる。また、内部パラメータ１２ａが要求精度を満足しているか否かの判定が信頼性良く容易に行える。
なお、内部パラメータ１２ａの初期値設定は、公知のキャリブレーション方法で求めた内部パラメータを数組（例えば３組）用意し、各内部パラメータＡ、Ｂ、ＣでＳ５〜Ｓ８の処理を行い、図５に示すような表を作業者１０に提示し最適な内部パラメータ１２ａの初期値を選択できるようにしても良い。この場合、評価対象誤差として、３つの基準尺３の実測値と計算値（寸法測定値６ａ〜６ｃ）との各誤差から誤差の絶対値の最大値、誤差の絶対値の平均、誤差の２乗平均を算出して用いている。
また、この実施の形態では３つの基準尺３を用いたが、２つの基準尺をほぼ直交する２方向に沿って配置しても良い。また、基準尺３は１つでも良いが、高精度なキャリブレーションのためには、複数の基準尺３を、ほぼ直交する３方向あるいは２方向に沿って配置するのが望ましい。
また、基準尺３は、長さを有する線あるいは棒状の他、両端の２点による基準点で構成されるものでも良く、該両端の基準点間の距離をその長さとする。
さらにまた、複数の基準尺３はキャリブレーションパターン２と共に、複数の撮影ポイントから撮影されるが、複数の基準尺３を分割し、例えば基準尺３を１つずつキャリブレーションパターン２と共に、それぞれ複数の撮影ポイントから撮影して画像データを取り込んでも良い。
また、基準尺３は、長さを有する線あるいは棒状の他、両端の２点による基準点で構成されるものでも良く、該両端の基準点間の距離をその長さとする。
さらにまた、複数の基準尺３はキャリブレーションパターン２と共に、複数の撮影ポイントから撮影されるが、複数の基準尺３を分割し、例えば基準尺３を１つずつキャリブレーションパターン２と共に、それぞれ複数の撮影ポイントから撮影して画像データを取り込んでも良い。
実施の形態２．
次に、この発明の実施の形態２によるカメラキャリブレーション装置について説明する。
この実施の形態では、上記実施の形態１によるカメラキャリブレーション装置に、内部パラメータ１２ａを更新するための入力時のために参照用データ生成・表示手段を備え、作業者１０の内部パラメータ修正作業の支援を強化する。
公知のキャリブレーション手法により求められた数組の実積データとしての内部パラメータを用いて、内部パラメータの各変数の変動幅を求め、その変動幅の例えば１０分の１もしくは２０分の１の値を計算し、図２で示したＳ９において、内部パラメータ１２ａの各変数を修正する修正刻み幅Δの参照値として表示し、作業者１０に提示する。
次に、この発明の実施の形態２によるカメラキャリブレーション装置について説明する。
この実施の形態では、上記実施の形態１によるカメラキャリブレーション装置に、内部パラメータ１２ａを更新するための入力時のために参照用データ生成・表示手段を備え、作業者１０の内部パラメータ修正作業の支援を強化する。
公知のキャリブレーション手法により求められた数組の実積データとしての内部パラメータを用いて、内部パラメータの各変数の変動幅を求め、その変動幅の例えば１０分の１もしくは２０分の１の値を計算し、図２で示したＳ９において、内部パラメータ１２ａの各変数を修正する修正刻み幅Δの参照値として表示し、作業者１０に提示する。
上記実施の形態１と同様に、Ｓ８において、各基準尺３の寸法測定値６ａ〜６ｃと、基準尺寸法保持部７内の各基準尺３の寸法実測値とを比較し、誤差をそれぞれの基準尺３について計算し、その誤差の２乗和の値・誤差の最大値・誤差の分布など評価値を評価対象誤差として比較結果表示部９に表示して作業者１０に提示し、該評価値が実際の写真測量時に要求される精度を示す予め設定された基準を満たすかどうか判定する。
ここで、基準が満たされないとき、Ｓ９において、内部パラメータ１２ａの各変数を修正する修正刻み幅Δの参照値を上述したように演算し、各変数を独立して上記刻み幅分変化させた場合の評価値（評価対象誤差）の変動量を算出して、作業者１０が次に修正すべき変数を選択する作業を支援するため、図６に示すような修正感度表を表示する。修正感度とは、内部パラメータ１２ａの各変数をそれぞれ独立に上記修正刻み幅Δの参照値だけ上下させたときの変動量とその方向を指す。表の「＋Δ」の行は変数を修正刻み幅Δの参照値分だけ増加させたときの内部パラメータ１２ａの評価値の変動量、「−Δ」の行は変数を修正刻み幅Δの参照値分だけ減少させたときの内部パラメータ１２ａの評価値の変動量を示す。変動量は増加時には正の値、減少時には負の値を表示する。なお、最も評価値の変動幅が大きい変数の色を変化させると、作業者１０の判断を容易にする事ができる。作業者１０は、表示された情報を判断基準にして内部パラメータ１２ａの各変数を修正するように入力する。この入力により、内部パラメータ修正処理部１１にて、内部パラメータ保持部１２内の内部パラメータ１２ａを更新する。
ここで、基準が満たされないとき、Ｓ９において、内部パラメータ１２ａの各変数を修正する修正刻み幅Δの参照値を上述したように演算し、各変数を独立して上記刻み幅分変化させた場合の評価値（評価対象誤差）の変動量を算出して、作業者１０が次に修正すべき変数を選択する作業を支援するため、図６に示すような修正感度表を表示する。修正感度とは、内部パラメータ１２ａの各変数をそれぞれ独立に上記修正刻み幅Δの参照値だけ上下させたときの変動量とその方向を指す。表の「＋Δ」の行は変数を修正刻み幅Δの参照値分だけ増加させたときの内部パラメータ１２ａの評価値の変動量、「−Δ」の行は変数を修正刻み幅Δの参照値分だけ減少させたときの内部パラメータ１２ａの評価値の変動量を示す。変動量は増加時には正の値、減少時には負の値を表示する。なお、最も評価値の変動幅が大きい変数の色を変化させると、作業者１０の判断を容易にする事ができる。作業者１０は、表示された情報を判断基準にして内部パラメータ１２ａの各変数を修正するように入力する。この入力により、内部パラメータ修正処理部１１にて、内部パラメータ保持部１２内の内部パラメータ１２ａを更新する。
この実施の形態では、内部パラメータ１２ａの修正作業に有用な情報を提示することにより、修正作業を円滑に進めることができ、より短時間で最適な内部パラメータ１２ａを探索することが出来る。
なお、作業者１０が図６の修正感度表などを参照して内部パラメータ１０ａにおける修正する変数を決定したのち、図７に示すような１変数最適化支援表を生成して表示することにより、その変数の現在の値周辺で最も評価値の良くなる値を求める作業を支援することができる。表の左端の列は変数の修正値、その他の列は内部パラメータ１２ａの評価値を示す。これにより修正作業を一層円滑に進めることができる。また、最も評価値が良い修正値の部分の色を変化させることにより作業者１０の判断を容易にできる。
実施の形態３．
次に、この発明の実施の形態３によるカメラキャリブレーション装置について説明する。
この実施の形態では、上記実施の形態２によるカメラキャリブレーション装置の参照用データ生成・表示手段において、別の参照用データを生成、表示させて、作業者１０の内部パラメータ修正作業の支援を強化する。
上記実施の形態１と同様に、Ｓ８において、各基準尺３の寸法測定値６ａ〜６ｃと、基準尺寸法保持部７内の各基準尺３の寸法実測値とを比較し、誤差をそれぞれの基準尺３について計算し、その誤差の２乗和の値・誤差の最大値・誤差の分布など評価値を評価対象誤差として比較結果表示部９に表示して作業者１０に提示し、該評価値が実際の写真測量時に要求される精度を示す予め設定された基準を満たすかどうか判定する。
次に、この発明の実施の形態３によるカメラキャリブレーション装置について説明する。
この実施の形態では、上記実施の形態２によるカメラキャリブレーション装置の参照用データ生成・表示手段において、別の参照用データを生成、表示させて、作業者１０の内部パラメータ修正作業の支援を強化する。
上記実施の形態１と同様に、Ｓ８において、各基準尺３の寸法測定値６ａ〜６ｃと、基準尺寸法保持部７内の各基準尺３の寸法実測値とを比較し、誤差をそれぞれの基準尺３について計算し、その誤差の２乗和の値・誤差の最大値・誤差の分布など評価値を評価対象誤差として比較結果表示部９に表示して作業者１０に提示し、該評価値が実際の写真測量時に要求される精度を示す予め設定された基準を満たすかどうか判定する。
ここで、基準が満たされないとき、Ｓ９において、内部パラメータ保持部１２内の内部パラメータ１２ａに基づいてカメラモデルを構築し、従来のキャリブレーションと同様に、複数の参照点から成るパターンから上記カメラモデルに基づいて計算上の画像を生成し、カメラ１により上記パターンを撮影した画像と上記計算上の画像とを比較して、該両画像間の上記各参照点の位置ずれに基づいて第２の評価対象誤差を算出して表示する。作業者１０は、表示された情報を判断基準にして内部パラメータ１２ａの各変数を修正するように入力する。この入力により、内部パラメータ修正処理部１１にて、内部パラメータ保持部１２内の内部パラメータ１２ａを更新する。
この実施の形態においても、内部パラメータ１２ａの修正作業に有用な情報を提示することにより、修正作業を円滑に進めることができ、より短時間で最適な内部パラメータ１２ａを探索することが出来る。
なお、上記実施の形態２と同様の修正感度表も併せて表示すると、作業者１０の内部パラメータ修正作業の支援を一層強化できる。その際、この実施の形態で求めた第２の評価対象誤差の変動量も算出して表示すると効果的である。この第２の評価対象誤差は、上述した従来のキャリブレーション方法に用いられている評価値に相当し、この評価値の変動量の大きな変数は従来のキャリブレーション方法で精度良く求められていると判断でき、変動量の小さな変数は従来のキャリブレーション方法では精度良く最適化されていない可能性が高いことを意味するため、作業者１０が調整すべき変数を判断するときの有用な情報となる。
実施の形態４．
上記実施の形態１〜３では、Ｓ８において、各基準尺３の寸法測定値６ａ〜６ｃと、基準尺寸法保持部７内の各基準尺３の寸法実測値とを比較し、それぞれの基準尺３について評価対象誤差と該評価値が基準を満たすかどうかの判定結果を比較結果表示部９に表示して作業者１０に提示し、作業者１０の入力によって内部パラメータ１２ａの更新を行ったが、この実施の形態では、カメラキャリブレーション装置が、所定の演算により内部パラメータ１２ａを自動的に更新するパラメータ更新手段を有する場合を説明する。
上記実施の形態１〜３では、Ｓ８において、各基準尺３の寸法測定値６ａ〜６ｃと、基準尺寸法保持部７内の各基準尺３の寸法実測値とを比較し、それぞれの基準尺３について評価対象誤差と該評価値が基準を満たすかどうかの判定結果を比較結果表示部９に表示して作業者１０に提示し、作業者１０の入力によって内部パラメータ１２ａの更新を行ったが、この実施の形態では、カメラキャリブレーション装置が、所定の演算により内部パラメータ１２ａを自動的に更新するパラメータ更新手段を有する場合を説明する。
上記実施の形態１で示したＳ１〜Ｓ７の処理を、数シーンで行いかつ１シーンにつき数カ所の基準尺について計測を行うことにより、基準尺の寸法測定値と寸法実測値との組を数十組得る。
Ｓ５からの手順について、以下に詳細に説明する。
基準尺の寸法測定値と寸法実測値との組(ｉ＝０,１,・・,ｍ)のそれぞれについて、Ｓ３にて求めた2枚の画像のキャリブレーションパターン２の画像座標群をP1i，P2iとし、Ｓ４にて求めた2枚の画像の各基準尺３の両端点の画像座標値を(xs1i，xe1i)，(xs2i，xe2i)とする。また、カメラの内部パラメータ１２ａをｐとする。
Ｓ５では、カメラの内部パラメータ１２ａに従いレンズ歪み補正を行って、レンズ歪み除去後のキャリブレーションパターン２の画像座標および各基準尺の端点の座標である各補正画像座標値P1i ａ，P2i ａ，xs1i ａ，xe1i ａ，xs2i ａ，xe2i ａを得る。
P1i ａ＝undistort(ｐ，P1i)
P2i ａ＝undistort(ｐ，P2i)
xs1i ａ＝undistort(ｐ，xs1i)
xs2i ａ＝undistort(ｐ，xs2i)
xe1i ａ＝undistort(ｐ，xe1i)
xe2i ａ＝undistort(ｐ，xe2i)
Ｓ５からの手順について、以下に詳細に説明する。
基準尺の寸法測定値と寸法実測値との組(ｉ＝０,１,・・,ｍ)のそれぞれについて、Ｓ３にて求めた2枚の画像のキャリブレーションパターン２の画像座標群をP1i，P2iとし、Ｓ４にて求めた2枚の画像の各基準尺３の両端点の画像座標値を(xs1i，xe1i)，(xs2i，xe2i)とする。また、カメラの内部パラメータ１２ａをｐとする。
Ｓ５では、カメラの内部パラメータ１２ａに従いレンズ歪み補正を行って、レンズ歪み除去後のキャリブレーションパターン２の画像座標および各基準尺の端点の座標である各補正画像座標値P1i ａ，P2i ａ，xs1i ａ，xe1i ａ，xs2i ａ，xe2i ａを得る。
P1i ａ＝undistort(ｐ，P1i)
P2i ａ＝undistort(ｐ，P2i)
xs1i ａ＝undistort(ｐ，xs1i)
xs2i ａ＝undistort(ｐ，xs2i)
xe1i ａ＝undistort(ｐ，xe1i)
xe2i ａ＝undistort(ｐ，xe2i)
次いでＳ６では、キャリブレーションパターン２の補正画像座標値からカメラ位置をそれぞれ求める。
op1i＝outercalib(ｐ，P1i ａ)
op2i＝outercalib(ｐ，P2i ａ)
但し、op1i、op2iは２カ所の撮影ポイントの位置を表すカメラの外部パラメータとする。
op1i＝outercalib(ｐ，P1i ａ)
op2i＝outercalib(ｐ，P2i ａ)
但し、op1i、op2iは２カ所の撮影ポイントの位置を表すカメラの外部パラメータとする。
次いでＳ７では、基準尺寸法計算部６にて、ステレオ立体視により各基準尺両端点の３次元位置Psi、Peiを算出して、端点間の距離である各基準尺３の寸法測定値ｌiを以下のように求める。
Ps1i＝epipolar(ｐ，op1i，op2i，xs1i ａ，xs2i ａ)
Ps2i＝epipolar(ｐ，op2i，op1i，xs2i ａ，xs1i ａ)
Pe1i＝epipolar(ｐ，op1i，op2i，xe1i ａ，xe2i ａ)
Pe2i＝epipolar(ｐ，op2i，op1i，xe2i ａ，xe1i ａ)
Psi＝(Ps1i＋Ps2i)／２
Pei＝(Pe1i＋Pe2i)／２
ｌi＝│(Pei−Psi)／２│
但し、Ps1i、Pe1iは1つ目の画像を基準と考えステレオ立体視の原理に基づき求めたそれぞれの端点の座標、また、Ps2i、Pe2iは、2つ目の画像を基準と考えたときの端点の座標を表す。ステレオ立体視に基づき計算するときに、内部パラメータの誤差や端点の指示の誤差などの影響でエピポーラ線が厳密には交わらないために、基準とする画像によって異なる3次元位置が求まるため、このようにして求まったそれぞれの端点の中点を、端点の３次元位置Psi、Peiとして距離ｌiを求める。
Ps1i＝epipolar(ｐ，op1i，op2i，xs1i ａ，xs2i ａ)
Ps2i＝epipolar(ｐ，op2i，op1i，xs2i ａ，xs1i ａ)
Pe1i＝epipolar(ｐ，op1i，op2i，xe1i ａ，xe2i ａ)
Pe2i＝epipolar(ｐ，op2i，op1i，xe2i ａ，xe1i ａ)
Psi＝(Ps1i＋Ps2i)／２
Pei＝(Pe1i＋Pe2i)／２
ｌi＝│(Pei−Psi)／２│
但し、Ps1i、Pe1iは1つ目の画像を基準と考えステレオ立体視の原理に基づき求めたそれぞれの端点の座標、また、Ps2i、Pe2iは、2つ目の画像を基準と考えたときの端点の座標を表す。ステレオ立体視に基づき計算するときに、内部パラメータの誤差や端点の指示の誤差などの影響でエピポーラ線が厳密には交わらないために、基準とする画像によって異なる3次元位置が求まるため、このようにして求まったそれぞれの端点の中点を、端点の３次元位置Psi、Peiとして距離ｌiを求める。
次いでＳ８では、Ｓ７で求めた各基準尺３の寸法測定値ｌiを寸法実測値Ｌiと比較し、評価対象誤差Ｅ(ｐ)を以下の評価式により求める。
ここで、ｅi(ｐ)は、この他にも次のような式が考えられる。
ｅi(ｐ)＝│Ｌi−ｌi│２ ・・（２）
ｅi(ｐ)＝│Ｌi−ｌi│＋│Ps1i−Ps2i│＋│Pe1i−Pe2i│ ・・（３）
ｅi(ｐ)＝│Ｌi−ｌi│・(│Ps1i−Ps2i│＋│Pe1i−Pe2i│) ・・（４）
ｅi(ｐ)＝│Ｌi−ｌi│・(│Ｌi−ｌi│＋│Ps1i−Ps2i│＋│Pe1i−Pe2i│) ・・（５）
ｅi(ｐ)＝(│Ｌi−ｌi│＋│Ps1i−Ps2i│＋│Pe1i−Pe2i│)２ ・・（６）
ｅi(ｐ)＝│Ｌi−ｌi│２ ・・（２）
ｅi(ｐ)＝│Ｌi−ｌi│＋│Ps1i−Ps2i│＋│Pe1i−Pe2i│ ・・（３）
ｅi(ｐ)＝│Ｌi−ｌi│・(│Ps1i−Ps2i│＋│Pe1i−Pe2i│) ・・（４）
ｅi(ｐ)＝│Ｌi−ｌi│・(│Ｌi−ｌi│＋│Ps1i−Ps2i│＋│Pe1i−Pe2i│) ・・（５）
ｅi(ｐ)＝(│Ｌi−ｌi│＋│Ps1i−Ps2i│＋│Pe1i−Pe2i│)２ ・・（６）
上記（１）〜（６）を用いた評価式Ｅ(ｐ)は、この評価式で表される評価対象誤差を最小にする内部パラメータｐを求める、即ち内部パラメータｐを最適化するための評価式であり、それぞれの意味を以下に説明する。
（１）の場合は、実測距離と計算距離との差の和を最小化するための評価式である。（２）の場合は、実測距離と計算距離との差の２乗和を最小化する評価式で、（１）の場合と比べて最大誤差を低くするように最適化するための評価式である。（３）〜（６）は、エピポーラ拘束からの逸脱を防ぎつつ実測距離と計算距離との差を最小化するための評価式である。
（１）の場合は、実測距離と計算距離との差の和を最小化するための評価式である。（２）の場合は、実測距離と計算距離との差の２乗和を最小化する評価式で、（１）の場合と比べて最大誤差を低くするように最適化するための評価式である。（３）〜（６）は、エピポーラ拘束からの逸脱を防ぎつつ実測距離と計算距離との差を最小化するための評価式である。
上記（１）〜（６）のいずれかのｅi(ｐ)を用いた上で、評価対象誤差Ｅ(ｐ)を最小にする内部パラメータｐを求める。この内部パラメータｐを求めるには、非線形最適化アルゴリズムの１つであるLevenberg-Marquardtのアルゴリズムを用いる。
この最適化アルゴリズムに必要なヘッセ行列Ａと勾配ベクトルｂは、以下の式で表される。
この最適化アルゴリズムに必要なヘッセ行列Ａと勾配ベクトルｂは、以下の式で表される。
上記ヘッセ行列Ａと勾配ベクトルｂにおいて、ここでは以下の近似式を用いる。
上記近似式左辺は直接計算することが不可能であるため、右辺で近似して、実際にパラメータｐｋを直接微量に動かした変化勾配である右辺を計算することにより、上記ヘッセ行列Ａおよび勾配ベクトルｂを導く。そして、ファッジファクタを導入しLevenberg-Marquardtのアルゴリズムに従い行列Ａを変更後、パラメータ更新計算を次式に従い行うことにする。
ｐ＝ｐ＋Ａ−１ｂ
内部パラメータｐをLevenberg-Marquardtのアルゴリズムに従い繰り返し更新し、評価対象誤差Ｅ(ｐ)の減少量がある閾値以下になったときに、最適化処理を打ち切り計算終了とする。なお、内部パラメータｐを更新すると、その都度Ｓ５に戻りＳ５〜Ｓ８の処理を繰り返し、Ｓ８において評価対象誤差Ｅ(ｐ)の減少量がある閾値以下になり作業終了となるまで内部パラメータｐを繰り返し更新する。これにより、評価対象誤差Ｅ(ｐ)を最小にする内部パラメータｐが得られる。
ｐ＝ｐ＋Ａ−１ｂ
内部パラメータｐをLevenberg-Marquardtのアルゴリズムに従い繰り返し更新し、評価対象誤差Ｅ(ｐ)の減少量がある閾値以下になったときに、最適化処理を打ち切り計算終了とする。なお、内部パラメータｐを更新すると、その都度Ｓ５に戻りＳ５〜Ｓ８の処理を繰り返し、Ｓ８において評価対象誤差Ｅ(ｐ)の減少量がある閾値以下になり作業終了となるまで内部パラメータｐを繰り返し更新する。これにより、評価対象誤差Ｅ(ｐ)を最小にする内部パラメータｐが得られる。
この実施の形態では、カメラの内部パラメータｐを最適化するのに、評価対象誤差Ｅ(ｐ)を最小化する非線形最適化アルゴリズムを用い、評価対象誤差Ｅ(ｐ)の減少量がある閾値以下になったかどうかを判定基準として、該判定基準を満たすまで内部パラメータｐを更新する。このため、内部パラメータ修正処理部１１にて、内部パラメータ保持部１２内の内部パラメータｐを自動的に更新して、内部パラメータｐを容易に高精度に収束させて最適化できると共に、作業者による手作業での更新に比べ、格段に時間短縮が可能となる。
なお、内部パラメータ１２ａの最適化のための自動更新の手法は、上記実施の形態で示した非線形最適化アルゴリズムに限るものではなく、上記実施の形態２、３で生成した参照用データに基づいて、予め設定した基準により、内部パラメータ１２ａから所定の変数および該変数の修正量を決定することで、作業者１０を介さずに、自動的に内部パラメータ１２ａを更新しても良い。この場合も、Ｓ８において基準を満たして作業終了となるまでＳ５〜Ｓ９の処理を繰り返し、各基準尺３の寸法測定値６ａ〜６ｃを更新された内部パラメータ１２ａを用いて再計測し、実測値との誤差に基づく評価値により比較結果を判定する。これにより、内部パラメータ修正処理部１１にて、内部パラメータ保持部１２内の内部パラメータ１２ａを自動的に更新して、容易に高精度に最適化できる。
なお、この場合、生成された参照用データは内部パラメータ修正処理部１１にて用いられるが、外部に対して表示させなくても良い。
なお、この場合、生成された参照用データは内部パラメータ修正処理部１１にて用いられるが、外部に対して表示させなくても良い。
１ カメラ、２ 複数の特定点としてのキャリプレーションパターン、３ 基準尺、
４ａ 画像入力手段としての画像取り込み部、４ｂ 画像座標検出部、
５ カメラ位置検出部、５ａ カメラ位置、６ 基準尺寸法計算部、
６ａ〜６ｃ 基準尺寸法測定値、７ 基準尺寸法保持部、
８ 比較結果出力手段としての寸法比較処理部、９ 比較結果表示部、
１１ パラメータ更新手段としての内部パラメータ修正処理部、
１２ 内部パラメータ保持部、１２ａ 内部パラメータ、
１３ キャリブレーション装置。
４ａ 画像入力手段としての画像取り込み部、４ｂ 画像座標検出部、
５ カメラ位置検出部、５ａ カメラ位置、６ 基準尺寸法計算部、
６ａ〜６ｃ 基準尺寸法測定値、７ 基準尺寸法保持部、
８ 比較結果出力手段としての寸法比較処理部、９ 比較結果表示部、
１１ パラメータ更新手段としての内部パラメータ修正処理部、
１２ 内部パラメータ保持部、１２ａ 内部パラメータ、
１３ キャリブレーション装置。
Claims (9)
- カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを同定するカメラキャリブレーション方法において、上記カメラの内部パラメータとして所定の初期値を設定する第１のステップと、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に、上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影して画像データを得る第２のステップと、該得られた画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する第３のステップと、上記各特定点のワールド座標系位置、該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、その時点のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出する第４のステップと、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および、その時点のカメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する第５のステップと、該計測された上記基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出し、該評価対象誤差が予め設定された基準を満たすかどうか判定する第６のステップと、上記評価対象誤差が該基準を満たさないとき、上記カメラ内部パラメータを上記評価対象誤差が小さくなるように更新する第７のステップとを備え、上記第６のステップで上記評価対象誤差が上記基準を満たすまで、上記第３〜第７のステップを繰り返すことを特徴とするカメラキャリブレーション方法。
- 上記基準尺を複数個設け、上記第２のステップにおいて、該全ての基準尺を上記複数の特定点と共に上記カメラにより上記複数の撮影ポイントから撮影するか、あるいは、上記複数個の基準尺を分割して、各分割された基準尺を上記複数の特定点と共に上記カメラによりそれぞれ上記複数の撮影ポイントから撮影するものとし、上記第６、第７のステップで用いる評価対象誤差は上記複数の基準尺に対応する各評価対象誤差を複合したものとすることを特徴とする請求項１記載のカメラキャリブレーション方法。
- 上記複数の基準尺は、ほぼ直交する２方向あるいは３方向に沿って配置されることを特徴とする請求項２記載のカメラキャリブレーション方法。
- 上記基準尺は、両端の２点による基準点で構成され、該基準尺の寸法は、該両端の基準点間の距離であることを特徴とする請求項１〜３のいずれかに記載のカメラキャリブレーション方法。
- 上記第７のステップでの上記カメラ内部パラメータの更新は、上記評価対象誤差を最小化する非線形最適化アルゴリズムに従う演算にて行うことを特徴とする請求項１〜４のいずれかに記載のカメラキャリブレーション方法。
- カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを同定するカメラキャリブレーション装置において、上記カメラ内部パラメータとして、与えられた初期値から順次更新される最新のカメラ内部パラメータを格納する内部パラメータ保持部と、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影された画像データを入力する画像入力手段と、該入力された画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する画像座標検出手段と、上記各特定点のワールド座標系位置、上記画像座標検出手段にて検出され該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、上記内部パラメータ保持部内のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出するカメラ位置検出手段と、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記画像座標検出手段にて検出され上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および上記カメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する基準尺寸法計測手段と、該基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出すると共に該評価対象誤差が予め設定された基準を満たすかどうかを判定して、上記評価誤差及び判定結果を出力する比較結果出力手段と、外部からの入力により上記内部パラメータ保持部内のカメラ内部パラメータを更新するパラメータ更新手段とを備えたことを特徴とするカメラキャリブレーション装置。
- 上記パラメータ更新手段では、上記比較結果出力手段において上記評価対象誤差が上記基準を満たさないと判定された場合に、上記カメラ内部パラメータを更新可能とし、該カメラ内部パラメータが更新されると、上記カメラ位置検出手段および上記基準尺寸法計測手段が順次動作して、上記基準尺の寸法測定値を上記更新されたカメラ内部パラメータを用いて再計測し、上記比較結果出力手段により結果を再出力することを特徴とする請求項６記載のカメラキャリブレーション装置。
- カメラ画像を用いたステレオ法による測量で使用するカメラの内部パラメータを同定するカメラキャリブレーション装置において、上記カメラ内部パラメータとして、与えられた初期値から順次更新される最新のカメラ内部パラメータを格納する内部パラメータ保持部と、想定される測量対象領域内に配された実寸法値が既知の基準尺を、ワールド座標系での位置が既知の複数の特定点と共に上記カメラにより複数の位置及び姿勢の撮影ポイントから撮影された画像データを入力する画像入力手段と、該入力された画像データから上記複数の特定点および上記基準尺にそれぞれ対応する上記撮影ポイント毎の画像座標系内の位置を検出する画像座標検出手段と、上記各特定点のワールド座標系位置、上記画像座標検出手段にて検出され該各特定点に対応する上記撮影ポイント毎の画像座標系位置、および、上記内部パラメータ保持部内のカメラ内部パラメータに基づいて、上記複数の撮影ポイントの各位置を求め、それらの相対位置及び姿勢を算出するカメラ位置検出手段と、該算出された上記複数の撮影ポイントの相対位置及び姿勢、上記画像座標検出手段にて検出され上記基準尺に対応する上記撮影ポイント毎の画像座標系位置、および上記カメラ内部パラメータに基づいて、ステレオ法により上記基準尺の３次元位置を算出して該基準尺の寸法測定値を計測する基準尺寸法計測手段と、該基準尺の寸法測定値と上記既知の実寸法値とを比較して評価対象誤差を算出すると共に該評価対象誤差が予め設定された基準を満たすかどうかを判定する比較判定手段と、所定の演算により上記評価対象誤差が減少するように上記カメラ内部パラメータを更新するパラメータ更新手段とを備え、上記比較判定手段にて上記評価対象誤差が上記基準を満たさないと判定された場合に、上記パラメータ更新手段は上記カメラ内部パラメータを更新し、該更新により上記カメラ位置検出手段および上記基準尺寸法計測手段が順次動作して、上記基準尺の寸法測定値を上記更新されたカメラ内部パラメータを用いて再計測し、上記比較判定手段により上記評価対象誤差を再算出して判定する一連の処理を、該評価対象誤差が上記基準を満たすと判定されるまで繰り返し行うことを特徴とするカメラキャリブレーション装置。
- 上記パラメータ更新手段は、上記評価対象誤差を最小化する非線形最適化アルゴリズムを上記所定の演算として用い、該非線形最適化アルゴリズムに従って上記カメラ内部パラメータを更新することを特徴とする請求項８記載のカメラキャリブレーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004165315A JP4234059B2 (ja) | 2003-06-06 | 2004-06-03 | カメラキャリブレーション方法およびカメラキャリブレーション装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003161492 | 2003-06-06 | ||
| JP2004165315A JP4234059B2 (ja) | 2003-06-06 | 2004-06-03 | カメラキャリブレーション方法およびカメラキャリブレーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005017286A JP2005017286A (ja) | 2005-01-20 |
| JP4234059B2 true JP4234059B2 (ja) | 2009-03-04 |
Family
ID=34196804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004165315A Expired - Fee Related JP4234059B2 (ja) | 2003-06-06 | 2004-06-03 | カメラキャリブレーション方法およびカメラキャリブレーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4234059B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105783733A (zh) * | 2016-05-06 | 2016-07-20 | 北京信息科技大学 | 摄影测量中长度测量相对误差的绝对评价方法 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4202943B2 (ja) * | 2004-02-13 | 2008-12-24 | 株式会社日立製作所 | マルチカメラシステム |
| KR100823070B1 (ko) * | 2006-05-03 | 2008-04-18 | 한국과학기술연구원 | 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정방법 |
| JP4848230B2 (ja) * | 2006-08-30 | 2011-12-28 | 株式会社リコー | 画像処理方法、撮像装置、画像処理装置およびプログラム |
| JP5124147B2 (ja) * | 2007-02-01 | 2013-01-23 | 三洋電機株式会社 | カメラ校正装置及び方法並びに車両 |
| JP5714232B2 (ja) | 2009-03-12 | 2015-05-07 | オムロン株式会社 | キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法 |
| JP5316118B2 (ja) * | 2009-03-12 | 2013-10-16 | オムロン株式会社 | ３次元視覚センサ |
| JP5245938B2 (ja) | 2009-03-12 | 2013-07-24 | オムロン株式会社 | ３次元認識結果の表示方法および３次元視覚センサ |
| JP5282614B2 (ja) | 2009-03-13 | 2013-09-04 | オムロン株式会社 | 視覚認識処理用のモデルデータの登録方法および視覚センサ |
| JP5247590B2 (ja) | 2009-05-21 | 2013-07-24 | キヤノン株式会社 | 情報処理装置及びキャリブレーション処理方法 |
| JP5785732B2 (ja) | 2011-02-24 | 2015-09-30 | 任天堂株式会社 | 情報処理プログラム、撮像装置、撮像方法及び撮像システム |
| JP2012202694A (ja) * | 2011-03-23 | 2012-10-22 | Canon Inc | カメラ校正方法 |
| KR101784526B1 (ko) | 2011-11-29 | 2017-10-11 | 엘지이노텍 주식회사 | 오토 포커스 캘리브레이션의 오류 검출 방법 및 시스템 |
| JP6457775B2 (ja) * | 2014-10-10 | 2019-01-23 | エヌ・ティ・ティ・インフラネット株式会社 | ３次元形状計測装置及び３次元形状計測方法 |
| US10187629B2 (en) * | 2016-04-06 | 2019-01-22 | Facebook, Inc. | Camera calibration system |
| WO2019130409A1 (ja) * | 2017-12-26 | 2019-07-04 | 株式会社日立製作所 | ステレオ計測装置及び方法 |
| WO2020170328A1 (ja) * | 2019-02-19 | 2020-08-27 | 株式会社Ｆｕｊｉ | 部品装着機 |
| KR102634609B1 (ko) * | 2020-01-30 | 2024-02-08 | 국민대학교 산학협력단 | 스테레오 카메라를 이용한 3차원 위치 산출 방법 및 스테레오 카메라를 이용한 3차원 위치 추적 장치 |
| US11816754B2 (en) * | 2020-03-13 | 2023-11-14 | Omron Corporation | Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium |
| CN112381892B (zh) * | 2020-12-09 | 2024-01-30 | 吉林大学 | 无约束共心光束族的汽车视觉检测误差评价方法与系统 |
| US20220254049A1 (en) * | 2021-02-10 | 2022-08-11 | Atc Ip Llc | Portable dimensional reference for 3-d tower modeling |
| CN113884278B (zh) * | 2021-09-16 | 2023-10-27 | 杭州海康机器人股份有限公司 | 一种线激光设备的系统标定方法和装置 |
-
2004
- 2004-06-03 JP JP2004165315A patent/JP4234059B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105783733A (zh) * | 2016-05-06 | 2016-07-20 | 北京信息科技大学 | 摄影测量中长度测量相对误差的绝对评价方法 |
| CN105783733B (zh) * | 2016-05-06 | 2018-08-17 | 北京信息科技大学 | 摄影测量中长度测量相对误差的绝对评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005017286A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4234059B2 (ja) | カメラキャリブレーション方法およびカメラキャリブレーション装置 | |
| JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| JP5745178B2 (ja) | ３次元測定方法、装置及びシステム、並びに画像処理装置 | |
| KR102085228B1 (ko) | 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 | |
| JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
| JP5715735B2 (ja) | ３次元測定方法、装置、及びシステム、並びに画像処理装置 | |
| JP2014013147A5 (ja) | ||
| JP2009053147A (ja) | ３次元計測方法および３次元計測装置 | |
| KR101379787B1 (ko) | 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 | |
| JP2013178656A (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
| US8941732B2 (en) | Three-dimensional measuring method | |
| JP5858773B2 (ja) | ３次元計測方法、３次元計測プログラム及びロボット装置 | |
| EP0880010A2 (en) | Measuring apparatus | |
| JP2002099902A (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| JP4550081B2 (ja) | 画像測定方法 | |
| WO2019087253A1 (ja) | ステレオカメラのキャリブレーション方法 | |
| CN109373901B (zh) | 位于平面上的孔的中心位置的计算方法 | |
| JPH09210649A (ja) | 三次元計測装置 | |
| JPH10318732A (ja) | 形状測定装置及び形状測定用画像形成装置 | |
| JPH10318715A (ja) | 画像測定装置 | |
| WO2009143323A1 (en) | Stereoscopic measurement system and method | |
| JP4153322B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
| JP4159373B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
| JPH09212621A (ja) | 動画像による運動計測装置 | |
| JP6091092B2 (ja) | 画像処理装置、及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |