JP2010239515A

JP2010239515A - Calculation method of camera calibration

Info

Publication number: JP2010239515A
Application number: JP2009086970A
Authority: JP
Inventors: Yutaka Yoshisaka; 豊吉阪
Original assignee: T4 CO Ltd
Current assignee: T4 CO Ltd
Priority date: 2009-03-31
Filing date: 2009-03-31
Publication date: 2010-10-21

Abstract

<P>PROBLEM TO BE SOLVED: To provide a camera calibration technique for estimating the external parameter of a camera on the basis of coordinate information of four feature points when the internal parameter of the camera is a given parameter. <P>SOLUTION: In the case where a world coordinate system is identical to a camera coordinate system, on the basis of two angles formed by four feature points in the world coordinate system, coordinate positions of the feature points in the camera coordinate system are estimated. A distance T formed with a straight line obtained by extending a visual line vector A is divided into eight and it is estimated which one of eight divided points is closest to the coordinate position where a feature point A is present. In the estimation, points B', C' and D' equal to the length of sides AB, BC and DA are calculated from among points on visual line vectors B, C and D with the eight divided points as base points, differences of angles B' and D' formed by the base points and the points B', C' and D' from the angles B and D are calculated at the respective points, one of the eight divided points most approximate to the feature points A, B, C and D and points B', C' and D' corresponding to that point are calculated. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、カメラキャリブレーションの算出方法に関する。より詳細には、本発明は、内部パラメータが既知の場合に、少なくとも４つの特徴点が存在すれば、同一平面上、非同一平面上の区別なくカメラの外部パラメータの推定を行うことができる方法に関する。 The present invention relates to a camera calibration calculation method. More specifically, the present invention is a method capable of estimating external parameters of a camera without distinction on the same plane and non-coplanar if there are at least four feature points when the internal parameters are known. About.

まず、カメラキャリブレーションの概要および既存のカメラキャリブレーションについて説明する。 First, an overview of camera calibration and existing camera calibration will be described.

まず、３次元空間を「ワールド座標」とし、そのワールド座標上に絶対的な空間上の位置ＸＹＺが複数存在し、その位置をスクリーンに投影したスクリーン座標での位置ＵＶが存在するとする。ワールド座標上の位置ＸＹＺとスクリーン座標での位置ＵＶはそれぞれ１対１で対応しており、これらが複数（少なくとも５または６個）存在すれば、カメラの姿勢（３×３行列）と移動ベクトル（ワールド座標上でのカメラ位置）を推定することができる。ここで、カメラの姿勢と移動ベクトルは「外部パラメータ」と呼ばれる。また、ワールド座標上の位置ＸＹＺとしてサンプリングしたそれぞれの点を「特徴点」と呼ぶことにする。特徴点は、カメラ情報を推定するために使用されるが、特徴点は、ワールド座標において同一平面上にある場合もあれば、非同一平面上にある場合もある。 First, assume that the three-dimensional space is “world coordinates”, and there are a plurality of absolute space positions XYZ on the world coordinates, and there are positions UV in screen coordinates obtained by projecting the positions onto the screen. The position XYZ in the world coordinates and the position UV in the screen coordinates have a one-to-one correspondence, and if there are a plurality (at least 5 or 6) of these, the camera posture (3 × 3 matrix) and the movement vector (Camera position on world coordinates) can be estimated. Here, the camera posture and the movement vector are called “external parameters”. Further, each point sampled as the position XYZ on the world coordinates will be referred to as a “feature point”. The feature points are used to estimate camera information, but the feature points may be on the same plane or non-coplanar in world coordinates.

図１は、従来の、カメラから見たときのスクリーン座標での特徴点位置を示す図であり、図１の座標は右手系を示し、スクリーン手前に向かってＺ軸が伸びている。 FIG. 1 is a diagram showing a conventional feature point position in screen coordinates as viewed from a camera. The coordinates in FIG. 1 indicate a right-handed system, and the Z-axis extends toward the front of the screen.

図１では、カメラから見たときのスクリーン座標上での特徴点が８つ与えられている。この例において、８つの特徴点は、それぞれワールド座標上の位置ＸＹＺとスクリーン上に投影された位置ＵＶが確定しているものとする。カメラの手前に投影面があり、投影された座標値を（U1, V1）、（U2, V2）、〜（U8, V8）とし、対応するワールド座標を（Wx1, Wy1, Wz1）、（Wx2, Wy2, Wz2）、〜（Wx8, Wy8, Wz8）とする。 In FIG. 1, eight feature points on the screen coordinates when viewed from the camera are provided. In this example, it is assumed that the position XYZ on the world coordinates and the position UV projected on the screen are determined for the eight feature points. There is a projection plane in front of the camera, and the projected coordinate values are (U1, V1), (U2, V2), ~ (U8, V8), and the corresponding world coordinates are (Wx1, Wy1, Wz1), (Wx2 , Wy2, Wz2) to ~ (Wx8, Wy8, Wz8).

また、ワールド座標からスクリーン座標への変換は、
ワールド座標 → ビュー座標 → 透視座標 → スクリーン座標
の順番にて行われる。座標間のそれぞれの変換は、４×４行列にて表すことができる。ここで、ビュー座標は、視点を中心とした座標系のことであり、透視座標は、３次元空間を２次元空間に投影する座標系のことである。本明細書の説明において、ビュー座標から透視座標、スクリーン座標に変換する行列はあらかじめ算出できているものとする。 The conversion from world coordinates to screen coordinates is
World coordinates → view coordinates → perspective coordinates → screen coordinates. Each transformation between coordinates can be represented by a 4 × 4 matrix. Here, the view coordinates are a coordinate system centered on the viewpoint, and the perspective coordinates are a coordinate system that projects a three-dimensional space onto a two-dimensional space. In the description of the present specification, it is assumed that a matrix for converting view coordinates into perspective coordinates and screen coordinates can be calculated in advance.

特に、ビュー座標から透視座標変換に必要な要素としては、スクリーンサイズ、カメラの視野角度、カメラから投影面までの距離、ゆがみ係数、が存在する。これらはカメラの「内部パラメータ」と呼ばれる。 In particular, elements necessary for the transformation from the view coordinates to the perspective coordinates include a screen size, a camera viewing angle, a distance from the camera to the projection plane, and a distortion coefficient. These are called “internal parameters” of the camera.

このうち、ワールド座標からビュー座標に変換する行列を求める手法をカメラキャリブレーションと呼ぶ（厳密に言うと、内部パラメータを推定する部分もカメラキャリブレーションに含まれるが、今回の発明ではこの部分は既に計算できているものとして考えるため、本明細書の説明においてはその部分を省略する）。 Of these, a method for obtaining a matrix for converting from world coordinates to view coordinates is called camera calibration. (Strictly speaking, a part for estimating internal parameters is also included in camera calibration. Since this is considered as being calculated, that portion is omitted in the description of this specification).

ワールド座標上のカメラの外部パラメータとしては３×３の姿勢行列（回転行列）と移動ベクトル（ワールド座標上の位置）が存在する。カメラでの姿勢をあらわすＸＹＺ軸を、CX(CX.x, CX.y, CX.z)、CY(CYx, CY.y, CY.z)、CZ(CZ.x, CZ.y, CZ.z)の正規直交基底として表した場合、以下の３×３行列にて回転行列を表すことができる。 As external parameters of the camera on the world coordinates, there are a 3 × 3 posture matrix (rotation matrix) and a movement vector (position on the world coordinates). The X, Y, and Z axes representing the camera posture are represented by CX (CX.x, CX.y, CX.z), CY (CYx, CY.y, CY.z), CZ (CZ.x, CZ.y, CZ. When expressed as an orthonormal basis of z), the rotation matrix can be represented by the following 3 × 3 matrix.

また、カメラの移動ベクトルをV(Vx, Vy, Vz)とすると、カメラの姿勢と移動ベクトルより、ワールド座標からビュー座標の変換行列は以下の４×４行列にてあらわすことができる。 If the camera movement vector is V (Vx, Vy, Vz), the transformation matrix from the world coordinates to the view coordinates can be expressed by the following 4 × 4 matrix from the camera attitude and the movement vector.

図２は、上記で説明したワールド座標上の８つの特徴点とカメラの関係を示す図である。図２では、カメラの前に投影面（スクリーン座標）があり、８つの特徴点を上述した変換によってスクリーン座標に投影した図が示されている。 FIG. 2 is a diagram showing the relationship between the eight feature points on the world coordinates described above and the camera. In FIG. 2, there is a projection plane (screen coordinates) in front of the camera, and eight feature points are projected onto the screen coordinates by the above-described transformation.

カメラキャリブレーションを求める手法としては、従来から様々な手法（例えば、ＤＬＴ、Ｔｓａｉ、Ｚｈａｎｇ、マーカーを使用したカメラキャリブレーション）が知られている。 Various methods (for example, camera calibration using DLT, Tsai, Zhang, and markers) have been known as methods for obtaining camera calibration.

ＤＬＴ手法（非特許文献１参照）は、三次元空間上の特徴点とスクリーンに投影された点を６つ以上与えることにより、内部パラメータ・外部パラメータの算出を行い、カメラキャリブレーションを行う手法である。ＤＬＴ手法では、同一平面上に特徴点が存在する場合は正しい推定を行うことができず、また、計算後に視線方向（光軸方向）に誤差が出る可能性が高いため、補正を行う必要がある。 The DLT method (see Non-Patent Document 1) is a method of performing camera calibration by calculating internal parameters and external parameters by giving six or more feature points in a three-dimensional space and points projected on the screen. is there. In the DLT method, if there is a feature point on the same plane, correct estimation cannot be performed, and an error is likely to occur in the viewing direction (optical axis direction) after calculation. is there.

Ｔｓａｉ手法（非特許文献２参照）は、三次元空間上の特徴点とスクリーンに投影された点を６つ以上与えることにより、内部パラメータ・外部パラメータの算出を行い、カメラキャリブレーションを行う手法である。Ｔｓａｉ手法では、同一平面上に特徴点が存在する場合に使用できる。また、非同一平面上に特徴点がある場合でも推定できるが、その場合には同一平面上にしか特徴点がない場合に比べて大きな誤差が出てしまう。このため、同一平面上か非同一平面上のいずれに特徴点が存在するか、をあらかじめ判定しておく必要があり、また、計算結果の精度はそれほど高くはなく、計算後に視線方向（光軸方向）に誤差が出る可能性が高いため、補正を行う必要がある。 The Tsai method (refer to Non-Patent Document 2) is a method of calculating internal parameters and external parameters by giving six or more feature points in a three-dimensional space and projected points on a screen, and performing camera calibration. is there. The Tsai method can be used when feature points exist on the same plane. Further, although it can be estimated even when there are feature points on non-coplanar planes, in that case, a larger error occurs than when there are feature points only on the same plane. For this reason, it is necessary to determine in advance whether the feature point exists on the same plane or a non-coplanar plane, and the accuracy of the calculation result is not so high. Since there is a high possibility of an error in (direction), correction is necessary.

Ｚｈａｎｇ手法は、同一平面上の格子状のマーカーよりカメラキャリブレーションを行い、内部パラメータ・外部パラメータの算出を行う手法である。Ｚｈａｎｇ手法は、カメラキャリブレーションの精度が高いが、同一平面上に特徴点が格子状に存在している必要がある。また、カメラの内部パラメータの推定にて利用される。 The Zhang method is a method for calculating internal parameters and external parameters by performing camera calibration using a grid-like marker on the same plane. The Zhang method has high accuracy of camera calibration, but it is necessary that feature points exist in a grid pattern on the same plane. It is also used for estimation of camera internal parameters.

また、マーカーを使用したカメラキャリブレーションの手法は、特定の条件を満たす左右非対称の模様の書かれた正方形のマーカーを登録してパターンマッチングによりマーカーを識別し、これよりカメラキャリブレーションを行う手法である。この手法は、同一平面限定で適用可能であるという制限があり、また、あらかじめマーカーを登録しておく必要がある。 Also, the camera calibration method using markers is a method of registering square markers with asymmetrical patterns that meet specific conditions, identifying the markers by pattern matching, and performing camera calibration from this. is there. This method has a limitation that it can be applied only on the same plane, and it is necessary to register a marker in advance.

DLT Method（Young-Hoo Kwon 著）、http://www.kwon3d.com/theory/dlt/dlt.htmlDLT Method (Author Young-Hoo Kwon), http://www.kwon3d.com/theory/dlt/dlt.html Tsai's Camera Model（Steven Shafer, Takeo Kanade 著）、http://www-2.cs.cmu.edu/~rgw/TsaiDesc.htmlTsai's Camera Model (Steven Shafer, Takeo Kanade), http://www-2.cs.cmu.edu/~rgw/TsaiDesc.html マーカー追跡に基づく拡張現実感システムとそのキャリブレーション（加藤博一，Mark Billinghurst，浅野浩一，橘啓八郎著）、http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdfAugmented reality system based on marker tracking and its calibration (by Hirokazu Kato, Mark Billinghurst, Koichi Asano, Keihachi Tachibana), http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p -99_VRSJ4_4.pdf 任意視点画像に適応したカメラキャリブレーションの研究（久保智裕著）、http://www433.elec.ryukoku.ac.jp/Houbun/YOUSHI/2003/2003_master_thesis_kubo.pdfResearch on camera calibration adapted to arbitrary viewpoint images (by Tomohiro Kubo), http://www433.elec.ryukoku.ac.jp/Houbun/YOUSHI/2003/2003_master_thesis_kubo.pdf

しかしながら、従来技術は、特徴点が同一平面上に存在する場合のみ適用可能なもの、非同一平面上に存在する場合のみ適用可能なもの、あるいは両方の場合に適用できるが上述したような不都合も同時に内包しているという課題がある。 However, the conventional technology can be applied only when the feature points exist on the same plane, can be applied only when the feature points exist on the non-coplanar surface, or can be applied to both cases, but there is a disadvantage as described above. There is a problem of enclosing at the same time.

このような課題を解決するため、本発明の一実施形態に係る方法は、ワールド座標系（world coordinate system）とカメラ座標系（camera coordinate system）の原点、Ｘ軸、Ｙ軸およびＺ軸が同一の場合に、ワールド座標系における４つの特徴点が作る２つの角度を基にして、カメラ座標系での各特徴点の座標位置を推定することによってカメラのキャリブレーションを行う方法であることを特徴とする。この方法はコンピュータによって実行される。また、この方法は、（ａ）ワールド座標系における４つの特徴点Ａ、Ｂ、Ｃ、Ｄを選択するステップ（４０１）と、（ｂ）選択した特徴点を結んだ辺ＡＢ、辺ＢＣ、辺ＣＤ、辺ＤＡの長さを計算するステップ（４０２）と、（ｃ）辺ＡＢおよび辺ＢＣが作る角度Ｂ、並びに辺ＣＤおよび辺ＤＡが作る角度Ｄを計算するステップ（４０３）であって、角度Ｂおよび角度Ｄは０度より大きく９０度以下であるステップと、（ｄ）ワールド座標系での辺ＡＢをＸ軸とする場合の回転行列Ｒを計算するステップ（４０４）と、（ｅ）原点と、４つの特徴点Ａ、Ｂ、Ｃ、Ｄをスクリーン座標系に変換した変換後の各点とを結ぶ４つの視線ベクトルＡ、Ｂ、Ｃ、Ｄを計算するステップ（４０５）と、（ｆ）視線ベクトルＡを延ばした直線で形成される距離Ｔを８分割して、該８分割した各地点のうち特徴点Ａが存在する座標位置に最も近い地点がいずれかを推定するステップ（４０６）であって、該推定は、８分割した各地点のうち原点に最も近い地点から始め、各地点を基点にして視線ベクトルＢ、Ｄ上の点のうち辺ＡＢ、辺ＤＡの長さと等しくなる点Ｂ´、Ｄ´をそれぞれ求め、点Ｂ´と視線ベクトルＣ上の点を結ぶ点のうち辺ＢＣの長さと等しくなる点Ｃ´を求め、該基点、点Ｂ´、Ｃ´、Ｄ´で作られる角度Ｂ´、角度Ｄ´の角度Ｂ、角度Ｄとの差異を８分割した各地点で求め、特徴点Ａ、Ｂ、Ｃ、Ｄに最も近似する８分割した地点のうちの一つの基点、および該一つの基点に対応するＢ´、Ｃ´、Ｄ´を求めるステップと、（ｇ）距離Ｔを２分の１に収束した距離を求めるステップであって、収束された新たな距離Ｔは、推定された地点から距離Ｔの４分の１の距離だけ原点方向および視線ベクトルＡを延ばした方向に離れた地点で形成されるステップ（４０７）と、（ｈ）新たな距離Ｔが予め定められた値を下回る（４０８）まで、ステップ（ｆ）および（ｇ）を繰返すステップと、を含むことを特徴とする。さらに、本発明に係る方法は、新たな距離Ｔが予め定められた値を下回った後に、（ｉ）ワールド座標系からカメラ座標系への変換行列Ｎを求めるステップ（４０９）であって、該変換行列Ｎは、回転行列Ｒおよびカメラの姿勢と位置の情報に基づいて計算されるステップと、（ｊ）変換行列Ｎに基づいて、カメラの外部パラメータであるカメラの回転行列およびカメラの移動ベクトルを計算するステップ（４１０）と、（ｋ）カメラの外部パラメータの誤差補正を行うステップ（４１１）と、を含むことを特徴とする。 In order to solve such a problem, the method according to an embodiment of the present invention uses the same origin, X axis, Y axis, and Z axis of the world coordinate system and the camera coordinate system. In this case, the camera is calibrated by estimating the coordinate position of each feature point in the camera coordinate system based on two angles formed by the four feature points in the world coordinate system. And This method is executed by a computer. This method also includes (a) a step (401) of selecting four feature points A, B, C, and D in the world coordinate system, and (b) a side AB, a side BC, and a side connecting the selected feature points. Calculating the length of CD and side DA (402); and (c) calculating the angle B created by side AB and side BC and the angle D created by side CD and side DA (403), The angle B and the angle D are greater than 0 degrees and less than or equal to 90 degrees; (d) a step (404) of calculating a rotation matrix R when the side AB in the world coordinate system is the X axis (404); (405) calculating four line-of-sight vectors A, B, C, D connecting the origin and the converted points obtained by converting the four feature points A, B, C, D into the screen coordinate system; f) Distance formed by a straight line extending the line-of-sight vector A Is divided into eight, and the step (406) of estimating the point closest to the coordinate position where the feature point A is present among the eight divided points is calculated. Starting from the point closest to the origin, the points B ′ and D ′ that are equal to the lengths of the side AB and the side DA are obtained from the points on the line-of-sight vectors B and D with each point as the base point. A point C ′ that is equal to the length of the side BC among points connecting the points on the vector C is obtained, and an angle B ′ formed by the base point, the points B ′, C ′, and D ′, an angle B of the angle D ′, and an angle The difference from D is obtained at each of the eight divided points, and one base point among the eight divided points closest to the feature points A, B, C, D, and B ′, C ′ corresponding to the one base point , D ′, and (g) a step of obtaining a distance converged by a half of the distance T, The bundled new distance T is formed at a point separated from the estimated point in the direction of the origin and the direction in which the line-of-sight vector A is extended by a distance of one quarter of the distance T (407), (h ) Repeating steps (f) and (g) until the new distance T falls below a predetermined value (408). Furthermore, the method according to the present invention includes (i) a step (409) of obtaining a transformation matrix N from the world coordinate system to the camera coordinate system after the new distance T falls below a predetermined value, The transformation matrix N is calculated based on the rotation matrix R and information on the posture and position of the camera. (J) Based on the transformation matrix N, the camera rotation matrix and the camera movement vector which are external parameters of the camera (410) and (k) a step (411) of correcting an error of an external parameter of the camera.

また、他の実施形態に係る方法は、ワールド座標系とカメラ座標系の原点、Ｘ軸、Ｙ軸およびＺ軸が同一の場合に、ワールド座標系における４つの特徴点が作る２つの角度を基にして、カメラ座標系での各特徴点の座標位置を推定する方法であることを特徴とする。この方法はコンピュータによって実行される。また、この方法は、（ａ）ワールド座標系における４つの特徴点Ａ、Ｂ、Ｃ、Ｄを選択するステップ（４０１）と、（ｂ）選択した特徴点を結んだ辺ＡＢ、辺ＢＣ、辺ＣＤ、辺ＤＡの長さを計算するステップ（４０２）と、（ｃ）辺ＡＢおよび辺ＢＣが作る角度Ｂ、並びに辺ＣＤおよび辺ＤＡが作る角度Ｄを計算するステップ（４０３）であって、角度Ｂおよび角度Ｄは０度より大きく９０度以下であるステップと、（ｄ）原点と、４つの特徴点Ａ、Ｂ、Ｃ、Ｄをスクリーン座標系に変換した変換後の各点とを結ぶ４つの視線ベクトルＡ、Ｂ、Ｃ、Ｄを計算するステップ（４０５）と、（ｅ）視線ベクトルＡを延ばした直線で形成される距離Ｔを８分割して、該８分割した各地点のうち特徴点Ａが存在する座標位置に最も近い地点がいずれかを推定するステップ（４０６）であって、該推定は、８分割した各地点のうち原点に最も近い地点から始め、各地点を基点にして視線ベクトルＢ、Ｄ上の点のうち辺ＡＢ、辺ＤＡの長さと等しくなる点Ｂ´、Ｄ´をそれぞれ求め、点Ｂ´と視線ベクトルＣ上の点を結ぶ点のうち辺ＢＣの長さと等しくなる点Ｃ´を求め、該基点、点Ｂ´、Ｃ´、Ｄ´で作られる角度Ｂ´、角度Ｄ´の角度Ｂ、角度Ｄとの差異を前記８分割した各地点で求め、特徴点Ａ、Ｂ、Ｃ、Ｄに最も近似する８分割した地点のうちの一つの基点、および該一つの基点に対応するＢ´、Ｃ´、Ｄ´を求めるステップと、（ｆ）距離Ｔを２分の１に収束した距離を求めるステップであって、収束された新たな距離Ｔは、推定された地点から距離Ｔの４分の１の距離だけ原点方向および視線ベクトルＡを延ばした方向に離れた地点で形成されるステップ（４０７）と、（ｇ）新たな距離Ｔが予め定められた値を下回る（４０８）まで、ステップ（ｅ）および（ｆ）を繰返すステップと、を含むことを特徴とする。 Further, the method according to another embodiment is based on two angles formed by four feature points in the world coordinate system when the origin, X axis, Y axis, and Z axis of the world coordinate system and the camera coordinate system are the same. Thus, it is a method for estimating the coordinate position of each feature point in the camera coordinate system. This method is executed by a computer. This method also includes (a) a step (401) of selecting four feature points A, B, C, and D in the world coordinate system, and (b) a side AB, a side BC, and a side connecting the selected feature points. Calculating the length of CD and side DA (402); and (c) calculating the angle B created by side AB and side BC and the angle D created by side CD and side DA (403), Steps in which the angle B and the angle D are greater than 0 degrees and less than or equal to 90 degrees, and (d) the origin and the converted points obtained by converting the four feature points A, B, C, and D into the screen coordinate system are connected. (405) calculating the four line-of-sight vectors A, B, C, and D; and (e) dividing the distance T formed by the straight line extending the line-of-sight vector A into 8 parts, Which point is closest to the coordinate position where feature point A exists In the estimation step (406), the estimation starts from a point closest to the origin among the eight divided points, and side AB, side DA among points on the line-of-sight vectors B, D with each point as a base point Points B ′ and D ′ that are equal to the length of the line B, and points C ′ that are equal to the length of the side BC among points connecting the point B ′ and the point on the line-of-sight vector C are obtained. The difference between the angle B ′ formed by C ′ and D ′, the angle B of the angle D ′, and the angle D is obtained at each of the eight divided points, and is divided into eight most approximate to the feature points A, B, C, and D. A step of obtaining one base point of the points and B ′, C ′, D ′ corresponding to the one base point, and (f) a step of obtaining a distance converged by a half of the distance T, The new converged distance T is the distance from the estimated point by a quarter of the distance T and the direction of the origin and the view. Step (407) formed at a point distant in the direction in which the vector A is extended, and (g) Steps (e) and (f) are repeated until the new distance T falls below a predetermined value (408). And a step.

本発明に係るカメラキャリブレーション手法によれば、内部パラメータは既に計算済みであるという前提条件に立つと、少なくとも４つの特徴点が存在すれば、同一平面上、非同一平面上の区別なくカメラの外部パラメータの推定を行うことができる。また、４つの特徴点のみでカメラの外部パラメータを推定するため、従来の計算負荷を大幅に軽減できる。さらに、既存の特徴点情報にて補正を行うため、計算結果の精度も確保することができる。 According to the camera calibration method according to the present invention, on the precondition that the internal parameters have already been calculated, if there are at least four feature points, the camera is not distinguished on the same plane or on the same plane. External parameter estimation can be performed. In addition, since the external parameters of the camera are estimated using only four feature points, the conventional calculation load can be greatly reduced. Furthermore, since the correction is performed with the existing feature point information, the accuracy of the calculation result can be ensured.

従来技術の、カメラから見たときのスクリーン座標での特徴点位置を示す図である。It is a figure which shows the feature point position in a screen coordinate when it sees from the camera of a prior art. 従来技術の、ワールド座標上の８つの特徴点とカメラの関係を示す図である。It is a figure which shows the relationship of eight feature points on a world coordinate, and a camera of a prior art. 本発明のカメラキャリブレーション算出方法を行うためのシステムのハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the system for performing the camera calibration calculation method of this invention. 本発明のカメラキャリブレーション算出方法の全体的な流れを示す図である。It is a figure which shows the whole flow of the camera calibration calculation method of this invention. ワールド座標上の４つの特徴点をランダムに選択した例を示す図である。It is a figure which shows the example which selected four feature points on a world coordinate at random. 視点位置から４つのスクリーン座標上の特徴点を結ぶ視線ベクトルの概念を示す図である。It is a figure which shows the concept of the gaze vector which connects the feature point on four screen coordinates from a viewpoint position. Ａの視線ベクトルを伸ばして特徴点Ａのワールド座標位置を推定する概念を示す図である。It is a figure which shows the concept which extends the visual line vector of A and estimates the world coordinate position of the feature point A. 任意の特徴点のワールド座標上の位置を推定する処理の詳細を流れ図である。12 is a flowchart showing details of processing for estimating the position of an arbitrary feature point in world coordinates. 点Ｂ´から直線Ｃに下ろした直線のうちワールド座標でのＢＣの長さと同一のものを計算するための概念図である。It is a conceptual diagram for calculating the same length as the length of BC in the world coordinates among the straight lines drawn down from the point B ′ to the straight line C. minT、maxTを更新するための流れ図である。It is a flowchart for updating minT and maxT. カメラキャリブレーションにおいて解が２つ以上存在するパターンを示す概念図である。It is a conceptual diagram which shows the pattern in which two or more solutions exist in camera calibration. カメラの外部パラメータの誤差を補正する処理を加えたカメラキャリブレーションを示す流れ図である。It is a flowchart which shows the camera calibration which added the process which correct | amends the error of the external parameter of a camera. カメラの外部パラメータの誤差を補正する処理を加えたカメラキャリブレーションを示す流れ図である。It is a flowchart which shows the camera calibration which added the process which correct | amends the error of the external parameter of a camera.

図３は、本発明のカメラキャリブレーション算出方法を行うためのシステムのハードウェア構成の一例を示すブロック図である。このシステムは、装置３００およびカメラ３０１を含んでおり、両者は有線／無線媒体３０２を介して接続されている。 FIG. 3 is a block diagram showing an example of a hardware configuration of a system for performing the camera calibration calculation method of the present invention. The system includes a device 300 and a camera 301, both connected via a wired / wireless medium 302.

カメラ３０１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを搭載した一般的なカメラで構わない。また、カメラ３０１は、撮像した映像データを一時的に記憶しておくためのメモリ（例えば、フラッシュメモリ）を内蔵し、その映像データを装置３００に送信する機能を有する。 The camera 301 may be a general camera equipped with a CCD (Charge Coupled Devices), a CMOS (Complementary Metal Oxide Semiconductor), or the like. In addition, the camera 301 has a built-in memory (for example, a flash memory) for temporarily storing captured video data, and has a function of transmitting the video data to the apparatus 300.

装置３００は、制御部３１１、主記憶部３１２、補助記憶部３１３、入出力インターフェース（Ｉ／Ｆ）部３１４、及び出力表示部３１５を含み、これらの構成要素はバス３１６によって相互に接続されており、制御部３１１によって各構成要素３１２〜３１５は統括して制御される。なお、この装置３００は、一般的なパーソナルコンピュータ（ＰＣ）などのコンピュータであって構わない。 The apparatus 300 includes a control unit 311, a main storage unit 312, an auxiliary storage unit 313, an input / output interface (I / F) unit 314, and an output display unit 315, and these components are connected to each other by a bus 316. The components 312 to 315 are collectively controlled by the control unit 311. The apparatus 300 may be a computer such as a general personal computer (PC).

制御部３１１は、中央処理装置（ＣＰＵ）を含んでおり、上述したように各構成要素３１２〜３１５の制御やデータの演算を行い、また、補助記憶部３１３に格納されている各種プログラムを主記憶部３１２に読み出して実行する。なお、制御部３１１は、３Ｄグラフィックスの表示を行うために必要な演算処理を行うＧＰＵ（Graphics Processing Unit）を有していても良い。 The control unit 311 includes a central processing unit (CPU), controls the components 312 to 315 and calculates data as described above, and mainly executes various programs stored in the auxiliary storage unit 313. Read to the storage unit 312 and execute. Note that the control unit 311 may include a GPU (Graphics Processing Unit) that performs arithmetic processing necessary for displaying 3D graphics.

主記憶部３１２は、メインメモリとも呼ばれ、装置３００に入力されたデータ、コンピュータ実行可能な命令及び当該命令による演算処理後のデータなどを記憶する。補助記憶部３１３は、ハードディスク（ＨＤＤ）などに代表される記憶装置であり、データやプログラムを長期的に保存する際に使用される。つまり、制御部３１１がプログラムを実行してデータの演算を行う場合には、補助記憶部３１３から必要なデータだけ主記憶部３１２に読み出し、演算結果のデータを長期的に記憶・保存するには制御部３１１が補助記憶部３１３に演算結果のデータを書き込む。 The main storage unit 312 is also called a main memory, and stores data input to the apparatus 300, computer-executable instructions, data after arithmetic processing by the instructions, and the like. The auxiliary storage unit 313 is a storage device represented by a hard disk (HDD) or the like, and is used when data and programs are stored for a long period of time. That is, when the control unit 311 executes a program to perform data calculation, only necessary data is read from the auxiliary storage unit 313 to the main storage unit 312, and calculation result data is stored and stored in the long term. The control unit 311 writes the calculation result data in the auxiliary storage unit 313.

入出力インターフェース（Ｉ／Ｆ）部３１４は、カメラ３０１との間でデータ送受信を行うインターフェースであり、有線／無線媒体３０２に接続する。出力表示部３１５は、カメラ３０１によって撮像した映像データを表示するディスプレイなどの表示装置であり、本発明に係るカメラキャリブレーションの詳細処理も同時に表示可能である。 An input / output interface (I / F) unit 314 is an interface that transmits and receives data to and from the camera 301, and is connected to the wired / wireless medium 302. The output display unit 315 is a display device such as a display that displays video data captured by the camera 301, and can also display detailed processing of camera calibration according to the present invention at the same time.

図４は、本発明に係るカメラキャリブレーション手法の全体的な流れを示す図である。以後、図４を参照しながら、本発明の実施形態に係るカメラキャリブレーション手法を使用して、カメラの姿勢（３×３の回転行列）と移動ベクトル（ワールド座標上の位置）を計算する手順を詳細に説明する。以下の説明では、ｎ個のサンプリングポイントが存在する場合、ワールド座標上の特徴点位置を（Wx1，Wy1，Wz1）、（Wx2，Wy2，Wz2）、〜（Wxn，Wyn，Wzn）とし、対応するスクリーン上の位置を（U1，V1）、（U2，V2）、〜（Un，Vn）とする。 FIG. 4 is a diagram showing the overall flow of the camera calibration method according to the present invention. Hereinafter, referring to FIG. 4, a procedure for calculating a camera posture (3 × 3 rotation matrix) and a movement vector (position on the world coordinates) using the camera calibration method according to the embodiment of the present invention. Will be described in detail. In the following explanation, when there are n sampling points, the feature point positions on the world coordinates are (Wx1, Wy1, Wz1), (Wx2, Wy2, Wz2), ~ (Wxn, Wyn, Wzn) The positions on the screen to be performed are (U1, V1), (U2, V2), to (Un, Vn).

ステップＳ４０１では、ワールド座標における４つの特徴点Ａ、Ｂ、Ｃ、Ｄを、以下の条件、
０°＜ ∠Ｂ ≦９０°
０°＜ ∠Ｄ ≦９０°
を満たすようにランダムに選択する。図５ａ、ｂは、ワールド座標上の４つの特徴点Ａ、Ｂ、Ｃ、Ｄをランダムに選択した例を示すが、図５ｂのように、４つの特徴点Ａ、Ｂ、Ｃ、Ｄを結んだそれぞれの辺が交差していてもかまわない。 In step S401, the four feature points A, B, C, and D in the world coordinates are converted into the following conditions:
0 ° <∠B ≦ 90 °
0 ° <∠D ≦ 90 °
Select at random to satisfy. 5a and 5b show an example in which four feature points A, B, C, and D on the world coordinates are selected at random, but as shown in FIG. 5b, the four feature points A, B, C, and D are connected. However, it does not matter if the sides intersect.

この場合の４組分のワールド座標値とスクリーン座標値が、以下に説明するカメラキャリブレーション算出手法にて使用される。４つの特徴点Ａ、Ｂ、Ｃ、Ｄのワールド座標上の空間の位置ＸＹＺは、それぞれ、w[0]、w[1]、w[2]、w[3]で表され、対応するスクリーン座標上の位置ＸＹは、それぞれ、s[0]、s[1]、s[2]、s[3]で表されるものとする。 In this case, four sets of world coordinate values and screen coordinate values are used in a camera calibration calculation method described below. The space positions XYZ on the world coordinates of the four feature points A, B, C, and D are represented by w [0], w [1], w [2], and w [3], respectively, and corresponding screens. The coordinate positions XY are represented by s [0], s [1], s [2], and s [3], respectively.

ステップＳ４０２では、ワールド座標上での各辺の長さを計算する。ＡＢ、ＢＣ、ＣＤ、ＤＡの長さは、それぞれ以下の計算式のようになる。 In step S402, the length of each side on world coordinates is calculated. The lengths of AB, BC, CD, and DA are as shown in the following calculation formulas.

ステップＳ４０３では、ワールド座標上の特徴点Ｂ、Ｄにおける角度を計算する。∠Ｂを求めるには、まず、辺ＡＢ、ＢＣを正規化した上で、内積を計算する。そうすることで∠Ｂをｃｏｓ値で求めることができる。 In step S403, the angles at feature points B and D on the world coordinates are calculated. In order to obtain ∠B, first, the sides AB and BC are normalized, and the inner product is calculated. By doing so, ∠B can be obtained as a cos value.

同様にして、辺ＡＤ、ＣＤを正規化した上で、内積を計算する。そして、∠Ｄのｃｏｓ値を求める。 Similarly, the inner product is calculated after normalizing the edges AD and CD. Then, the cos value of ∠D is obtained.

ステップＳ４０４では、ワールド座標上の辺ＡＢをＸ軸方向と仮定したときの回転行列Ｒを計算する。以下の式で「cross」はベクトルの外積を求める関数である。 In step S404, a rotation matrix R when the side AB on the world coordinate is assumed to be in the X-axis direction is calculated. In the following equation, “cross” is a function for obtaining the outer product of vectors.

その上で、ｖＸ，ｖＹ，ｖＺをベクトルを正規化する関数「normalize」を使用して、 Then, using the function “normalize” to normalize vX, vY, vZ to vectors,

とし、３×３の回転行列Ｒを以下のように計算する。 And a 3 × 3 rotation matrix R is calculated as follows.

ステップＳ４０５では、ビュー座標とワールド座標が等しいものとして、かつビュー座標を姿勢ベクトル＝単位行列、視点位置＝（0, 0, 0）として、視点位置（0, 0, 0）から４つのスクリーン座標上の特徴点を結ぶ視線ベクトルを計算する。図６はステップＳ４０５の処理内容の概念図を表している。本ステップでは、既知のカメラ内部パラメータより、透視座標からビュー座標への変換行列（ビュー座標から透視座標に変換する行列の逆行列）をあらかじめ求めておき、このときの方向ベクトルを正規化することで視線方向のベクトルを求めることができる。それぞれの正規化されたベクトルをvSDir[0]、vSDir[1]、vSDir[2]、vSDir[3]とする。それぞれのベクトルを伸ばした位置に、対象となる特徴点Ａ、Ｂ、Ｃ、Ｄのワールド座標値が存在することになる。 In step S405, it is assumed that the view coordinates are equal to the world coordinates, and the view coordinates are set as posture vector = unit matrix, viewpoint position = (0, 0, 0), and four screen coordinates from the viewpoint position (0, 0, 0). A line-of-sight vector connecting the upper feature points is calculated. FIG. 6 shows a conceptual diagram of the processing content of step S405. In this step, a transformation matrix from perspective coordinates to view coordinates (inverse matrix of a matrix that transforms from view coordinates to perspective coordinates) is obtained in advance from known camera internal parameters, and the direction vector at this time is normalized. The vector of the line-of-sight direction can be obtained with Let the normalized vectors be vSDir [0], vSDir [1], vSDir [2], and vSDir [3]. The world coordinate values of the target feature points A, B, C, and D exist at positions where the respective vectors are extended.

ステップＳ４０６では、４つの特徴点のうちひとつを選択し、その特徴点に対応する視線ベクトルを延長した先のどの位置にワールド座標上の特徴点が存在するかを推定する。ここでは、まず特徴点Ａのワールド座標上での位置を求めることにする。スクリーン座標でのＡの視線ベクトルvSDir[0]を伸ばした先には必ず特徴点Ａのワールド座標位置が存在する。本発明に係る方法では、以下に説明するように、Ａの視線ベクトルを十分な距離伸ばしてその距離を８分割することを繰り返しながら、最適な位置を収束させる。また、走査する視点からの距離をminTからmaxTまで変化させるとし、例えば、初期値は、
minT = 5.0
maxT = 99999.0
などの十分小さい値と十分大きい値を設定する。そして、
dT = (maxT - minT) / 8.0
とし、視点位置（0, 0, 0）からの距離ｔは、minTから始まり、dTずつ増加させてmaxTまで走査していくものとする。 In step S406, one of the four feature points is selected, and it is estimated at which position in the world coordinates the line of sight vector corresponding to the feature point is extended. Here, first, the position of the feature point A on the world coordinates is determined. The world coordinate position of the feature point A always exists after the line-of-sight vector vSDir [0] of A is extended in the screen coordinates. In the method according to the present invention, as will be described below, the optimal position is converged while repeatedly repeating the distance vector of A by a sufficient distance and dividing the distance into eight. Also, assume that the distance from the scanning viewpoint is changed from minT to maxT, for example, the initial value is
minT = 5.0
maxT = 99999.0
Set a sufficiently small value and a sufficiently large value. And
dT = (maxT-minT) / 8.0
The distance t from the viewpoint position (0, 0, 0) starts from minT, increases by dT, and scans to maxT.

次に、図８を参照しながら、ステップＳ４０６で行われる処理の詳細を説明する。 Next, details of the process performed in step S406 will be described with reference to FIG.

ステップＳ８０１では、視線ベクトルＡを伸ばした先のワールド座標上の仮の位置を計算する。スクリーン座標上の点Ａを伸ばした先の仮のワールド座標上の点は、仮のワールド座標上の点の位置をｖＡとし、視点からの距離をｔとした場合に、以下の式によって計算される。
vA = vSDir[0] * t
上述したように、距離ｔは、minTから始まるので、t = minTとする。 In step S801, a temporary position on the previous world coordinates obtained by extending the line-of-sight vector A is calculated. The point on the temporary world coordinate, which is the point on the screen coordinate extended, is calculated by the following formula, where the position of the point on the temporary world coordinate is vA and the distance from the viewpoint is t. The
vA = vSDir [0] * t
As described above, since the distance t starts from minT, t = minT.

ステップＳ８０２では、ｔがmaxTであるか否かを判定する。ｔがmaxTに到達した場合には、本ステップの処理を終了する。 In step S802, it is determined whether t is maxT. When t reaches maxT, the process of this step is terminated.

ステップＳ８０３では、点ｖＡから視線ベクトルＢ上に、距離ＡＢの拘束条件で下ろした位置を算出する。図７に示したように、視線ベクトルＢ（vSDir[1]）で表される直線に対して点ｖＡから下ろした垂線の足をｐとする。また、点ｖＡから垂線の足ｐまでの距離をｈとし、ステップＳ４０２において既に求めているワールド座標上のＡＢの距離と距離ｈとを比較する。 In step S803, a position lowered from the point vA onto the line-of-sight vector B under the constraint condition of the distance AB is calculated. As shown in FIG. 7, let p be the foot of a perpendicular line drawn from the point vA with respect to the straight line represented by the line-of-sight vector B (vSDir [1]). Further, the distance from the point vA to the perpendicular foot p is set as h, and the distance AB on the world coordinates already obtained in step S402 is compared with the distance h.

ｈ＞ＡＢの関係が成立する場合は、視点位置（0, 0, 0）から見た仮のワールド座標上の点の位置ｖＡが実際のワールド座標上の点Ａの位置よりも遠くにあることを意味するので、この段階で計算を中断し、ステップＳ４０７での収束計算にてmaxTの値をさらに小さいものにしてからステップＳ８０１の処理からやり直す。 When the relationship h> AB is established, the position vA of the point on the temporary world coordinates viewed from the viewpoint position (0, 0, 0) is farther than the position of the point A on the actual world coordinates. Therefore, the calculation is interrupted at this stage, the value of maxT is further reduced by the convergence calculation in step S407, and the process from step S801 is started again.

ｈ＝ＡＢの場合は、ｖＡがワールド座標上の特徴点Ａの位置であり、かつ垂線の足ｐがワールド座標上の特徴点Ｂの位置と仮定できる。 In the case of h = AB, it can be assumed that vA is the position of the feature point A on the world coordinates, and the perpendicular foot p is the position of the feature point B on the world coordinates.

また、ｈ＜ＡＢの場合は、直線Ｂ上に仮の点ｖＡからの距離がＡＢとなる位置を計算して当てはめる。 If h <AB, a position where the distance from the temporary point vA is AB on the straight line B is calculated and applied.

計算された直線Ｂ上の点Ｂ´１とｖＡの距離、およびＢ´２とｖＡの距離は、共にＡＢの長さと等しくなる。 The calculated distance between the points B′1 and vA on the straight line B and the distance between B′2 and vA are both equal to the length of AB.

ステップＳ８０４では、点ｖＡから視線ベクトルＤ上に、距離ＡＤの拘束条件で下ろした位置を算出する。ステップＳ８０３と同様に、視線ベクトルＤ（vSDir[3]）で表される直線に対して点ｖＡから下ろした垂線の足をｐ１とする。また、点ｖＡから垂線の足ｐ１までの距離をｈ１として、ＡＤの距離と距離ｈ１とを比較する。ｈ１＜ＡＤの場合は、直線Ｄ上にてｖＡとの距離がＡＤとなる位置を計算し、以下の式のように、Ｄ´１、Ｄ´２とする。 In step S804, a position lowered from the point vA onto the line-of-sight vector D under the constraint condition of the distance AD is calculated. Similarly to step S803, the foot of the perpendicular line drawn from the point vA with respect to the straight line represented by the line-of-sight vector D (vSDir [3]) is defined as p1. Further, the distance from the point vA to the perpendicular foot p1 is set as h1, and the AD distance is compared with the distance h1. In the case of h1 <AD, the position where the distance from vA is AD on the straight line D is calculated, and D′ 1 and D′ 2 are obtained as in the following equations.

ステップＳ８０５では、点Ｂ´から視線ベクトルＣ上に、距離ＢＣの拘束条件で下ろした位置を算出する。点Ｂ´は、ステップＳ８０３において求めたＢ´１またはＢ´２である。 In step S805, the position lowered from the point B ′ onto the line-of-sight vector C under the constraint condition of the distance BC is calculated. Point B ′ is B′1 or B′2 obtained in step S803.

図９に示したように、点Ｂ´から視線ベクトルＣ（vSDir[2]）で表される直線に下ろした垂線の足をｐ２とする。点Ｂ´とｐ２間の距離ｈ２と、ステップＳ４０２において既に求めているワールド座標上のＢＣの距離とを対比する。なお、本ステップでは、ｈ２がＢＣの距離より小さい値であることが条件となる（大きい値の場合は、ステップＳ８０３で既に処理が中断している）。 As shown in FIG. 9, let p2 be the leg of a perpendicular line drawn from the point B ′ to the straight line represented by the line-of-sight vector C (vSDir [2]). The distance h2 between the points B ′ and p2 is compared with the distance BC on the world coordinates already obtained in step S402. In this step, it is a condition that h2 is a value smaller than the BC distance (in the case of a large value, the processing has already been interrupted in step S803).

ｈ２＝ＢＣとなる場合は、垂線の足ｐ２がワールド座標上の点Ｃの位置と仮定できる。一方、ｈ２＜ＢＣの場合は、直線Ｃ上で点Ｂ´からの距離がＢＣとなる位置を計算して当てはめる。 When h2 = BC, it can be assumed that the foot p2 of the perpendicular is the position of the point C on the world coordinates. On the other hand, when h2 <BC, the position on the straight line C where the distance from the point B ′ is BC is calculated and applied.

計算された直線Ｃ上の点Ｃ´１とＢ´の距離、およびＣ´２とＢ´の距離は、共にＢＣの長さと等しくなる。 The calculated distance between the points C′1 and B ′ on the straight line C and the distance between C′2 and B ′ are both equal to the length of BC.

ステップＳ８０６では、上記ステップまでで求めた仮の点ＡＢＣ（ｖＡ、Ｂ´、Ｃ´）が作る角度を計算する。上記のステップまでで以下の点が計算できている。 In step S806, the angle formed by the temporary point ABC (vA, B ′, C ′) obtained up to the above step is calculated. Up to the above steps, the following points can be calculated.

スクリーン上の点Ａを伸ばしたベクトルvSDir[0]上の点ｖＡ、
スクリーン上の点Ｂを伸ばしたベクトルvSDir[1]上の点Ｂ´１、Ｂ´２、
スクリーン上の点Ｃを伸ばしたベクトルvSDir[2]上の点Ｃ´１、Ｃ´２。 A point vA on the vector vSDir [0] obtained by extending the point A on the screen,
Points B′1, B′2 on the vector vSDir [1] obtained by extending the point B on the screen,
Points C′1 and C′2 on the vector vSDir [2] obtained by extending the point C on the screen.

このため、最大で以下の４つの組み合わせが存在するので、その組み合わせより、仮の点Ｂでの角度を計算する。
（ｖＡ，Ｂ´１，Ｃ´１）、
（ｖＡ，Ｂ´１，Ｃ´２）、
（ｖＡ，Ｂ´２，Ｃ´１）、
（ｖＡ，Ｂ´２，Ｃ´２） For this reason, since the following four combinations exist at the maximum, the angle at the temporary point B is calculated from the combination.
(VA, B'1, C'1),
(VA, B'1, C'2),
(VA, B'2, C'1),
(VA, B'2, C'2)

４つの組み合わせの内積値より、仮の点Ｂをはさむ辺の角度（ｃｏｓ値）を計算し、それぞれ、angle[0]、angle[1]、angle[2]、angle[3]とする。ステップＳ４０３での計算より、ワールド座標上のオリジナルの点Ｂでの角度はangleBであるため、 From the inner product values of the four combinations, the angles (cos values) of the sides sandwiching the temporary point B are calculated as angle [0], angle [1], angle [2], and angle [3], respectively. From the calculation in step S403, the angle at the original point B on the world coordinates is angleB.

で求めた４つの絶対値のうちゼロ値（0.0）に最も近いものを採用し、仮の点Ｂ、Ｃの位置とする（これをＢ´、Ｃ´とする）。また、このときのv[i]の最小値を誤差sValとして格納する。なお、誤差sValの初期値は9999.0などの大きな値を予め代入しておく。 Among the four absolute values obtained in step (1), the one closest to the zero value (0.0) is adopted as the positions of temporary points B and C (this is referred to as B ′ and C ′). At this time, the minimum value of v [i] is stored as an error sVal. Note that a large value such as 9999.0 is substituted in advance for the initial value of the error sVal.

ステップＳ８０７では、上記で求めた仮の点ＡＤＣが作る角度を計算する。ステップＳ８０６において、点Ｂ´、Ｃ´は固定されたので、ステップＳ８０４で計算された直線Ｄ上の点Ｄ´１、Ｄ´２を使って、仮の点ＡＤＣで作られる点Ｄでの角度を計算する。ここで、以下の２つの組み合わせに分かれる。
（ｖＡ，Ｄ´１，Ｃ´）、
（ｖＡ，Ｄ´２，Ｃ´）
２つの組み合わせの内積値より、仮の点Ｄをはさむ辺の角度（ｃｏｓ値）を計算し、angle[4]、angle[5]とする。ステップＳ４０３での計算より、ワールド座標上のオリジナルの点Ｄでの角度はangleDであるため、 In step S807, the angle formed by the temporary point ADC obtained above is calculated. In step S806, since the points B ′ and C ′ are fixed, using the points D′ 1 and D′ 2 on the straight line D calculated in step S804, the angle at the point D created by the temporary point ADC. Calculate Here, it is divided into the following two combinations.
(VA, D′ 1, C ′),
(VA, D'2, C ')
From the inner product value of the two combinations, the angle (cos value) of the side sandwiching the temporary point D is calculated as angle [4] and angle [5]. From the calculation in step S403, the angle at the original point D on the world coordinates is angleD.

で求めた２つの絶対値のうちゼロ値（0.0）に最も近いものを採用し、仮のＤの位置とする（これをＤ´とする）。また、このときのv[i]の最小値をステップＳ８０６で格納した誤差sValに加算する（sVal = sVal + v[i]の最小値）。 Of the two absolute values obtained in step 1, the one closest to the zero value (0.0) is adopted as the temporary D position (this is assumed to be D ′). Further, the minimum value of v [i] at this time is added to the error sVal stored in step S806 (sVal = sVal + v [i] minimum value).

このときの誤差値であるｓＶａｌが完全に0.0になったとき、そのときのｖＡ、Ｂ´、Ｃ´、Ｄ´が求めるグローバル座標上での座標位置になる。だが、ピンポイントで誤差が収束することは少ないため、誤差が収束するように上記ステップを反復させることになる。 When the error value sVal at this time becomes 0.0 completely, the vA, B ′, C ′, and D ′ at that time are coordinate positions on the global coordinates to be obtained. However, since the error hardly converges at the pinpoint, the above steps are repeated so that the error converges.

ステップＳ８０８では、視点からの距離ｔと誤差、求まった座標位置Ａ、Ｂ´、Ｃ´、Ｄ´を配列に格納する。すなわち、tA[i]に距離ｔを、sValA[i]に誤差の値sValを、Apos[i]、Bpos[i]、Cpos[i]、Dpos[i]にワールド座標値を格納していく。ここで、ｉは配列の添え字でminTからmaxTの距離を８分割したため０〜８の値が入る。 In step S808, the distance t from the viewpoint, the error, and the obtained coordinate positions A, B ′, C ′, and D ′ are stored in the array. That is, the distance t is stored in tA [i], the error value sVal is stored in sValA [i], and the world coordinate values are stored in Apos [i], Bpos [i], Cpos [i], and Dpos [i]. . Here, i is a subscript of the array, and the value from 0 to 8 is entered because the distance from minT to maxT is divided into eight.

最後に、ステップＳ８０９では、ｔにｄＴを加算してステップＳ８０２に戻る。ｔがmaxTになるまで図８の処理を繰り返す。 Finally, in step S809, dT is added to t, and the process returns to step S802. The process of FIG. 8 is repeated until t reaches maxT.

再び、図４のステップＳ４０７に戻る。ステップＳ４０７では、収束計算を行う。図８で説明した各ステップの処理の結果、sValA[i]に誤差の値が格納されているので、この配列のうちで、一番値が小さくなるｉの位置を求める。以後、この誤差の配列にて谷となる部分を狭めていく処理を繰り返すことにより、誤差が0.0に近づくように収束させることになる。 Again, it returns to step S407 of FIG. In step S407, convergence calculation is performed. As a result of the processing of each step described with reference to FIG. 8, since the error value is stored in sValA [i], the position of i having the smallest value in this array is obtained. Thereafter, by repeating the process of narrowing the valley portion in this error array, the error is converged so as to approach 0.0.

ここで、図１０に示したように、谷の部分での視点位置からの距離tA[i]を中心にminT、maxTを更新する。すなわち、一番値が小さくなるｉの位置に相当する距離tA[i]と、従来のminT、maxTの間の距離の４分の１の距離とを各々減算、加算して、新たにminT、maxTとする。なお、新たなminTが初期値より小さくなる場合は初期値にし、新たなmaxTが初期値より大きくなる場合は初期値にする。新たなminT、maxTの間の距離を８等分した値をdTとし、距離ｔを新たなminTとする。その後、図８のステップＳ８０１に処理に戻る。 Here, as shown in FIG. 10, minT and maxT are updated around the distance tA [i] from the viewpoint position at the valley portion. That is, the distance tA [i] corresponding to the position of i where the smallest value is reduced and the distance of 1/4 of the distance between the conventional minT and maxT are subtracted and added, respectively, and a new minT, maxT. Note that when the new minT is smaller than the initial value, the initial value is used. When the new minT is larger than the initial value, the initial value is used. A value obtained by dividing the distance between the new minT and maxT into eight equal parts is dT, and the distance t is a new minT. Thereafter, the process returns to step S801 in FIG.

なお、maxTとminTの差が1.0より小さくなれば（ステップＳ４０８）、そのときのsValA[i]が最終的な誤差値であり、このときの特徴点位置がApos[i]、Bpos[i]、Cpos[i]、Dpos[i]と確定される。本発明によれば、距離は１回の処理のループにて２分割されていくため、例えば、初期値minT = 5.0、maxT = 99999.0の場合は１４回の繰り返し処理にて最小の位置で誤差は収束する。 If the difference between maxT and minT is smaller than 1.0 (step S408), sValA [i] at that time is the final error value, and the feature point positions at this time are Apos [i] and Bpos [i]. , Cpos [i], Dpos [i]. According to the present invention, since the distance is divided into two in one processing loop, for example, in the case of the initial value minT = 5.0 and maxT = 99999.0, the error is minimized at the minimum position in 14 iterations. Converge.

ステップＳ４０９では、ワールド座標からビュー座標に変換する行列を求める。ステップＳ４０６〜４０７およびステップＳ８０１〜Ｓ８０９にて求められた３次元上の座標値Apos[i]、Bpos[i]、Cpos[i]、Dpos[i]を改めてw2[0]、w2[1]、w2[2]、w2[3]とおく。このw2[i]は、カメラを姿勢ベクトル＝単位行列、視点位置＝（0, 0, 0）としたときの座標値である。これらの座標値w2[0]、w2[1]、w2[2]、w2[3]を実際のワールド座標位置w[0]、w[1]、w[2]、w[3]の座標系に変換するときの変換行列からカメラの姿勢と移動ベクトルが算出することができる。回転行列は以下の式にて計算することができる。 In step S409, a matrix for converting from world coordinates to view coordinates is obtained. The three-dimensional coordinate values Apos [i], Bpos [i], Cpos [i], and Dpos [i] obtained in steps S406 to S407 and steps S801 to S809 are changed to w2 [0] and w2 [1]. , W2 [2], w2 [3]. This w2 [i] is a coordinate value when the camera is set to the posture vector = unit matrix and the viewpoint position = (0, 0, 0). These coordinate values w2 [0], w2 [1], w2 [2], w2 [3] are the coordinates of the actual world coordinate position w [0], w [1], w [2], w [3] The camera posture and the movement vector can be calculated from the transformation matrix when the system is transformed. The rotation matrix can be calculated by the following formula.

ここで、４×４行列にてオリジナルの姿勢と位置を含めたカメラ情報を以下のようにする。 Here, the camera information including the original posture and position in the 4 × 4 matrix is as follows.

同様に、推定された回転行列Ｒと位置w2[0]より、推定後の４×４行列は以下のようになる。 Similarly, from the estimated rotation matrix R and the position w2 [0], the estimated 4 × 4 matrix is as follows.

ここで、Ｎ＝inv（ｏｒｇＭ）＊Ｍを計算する（invは、４×４行列の逆行列を計算する関数）。計算された４×４行列Ｎが、ワールド座標からビュー座標への変換行列に相当する。 Here, N = inv (orgM) * M is calculated (inv is a function for calculating an inverse matrix of 4 × 4 matrix). The calculated 4 × 4 matrix N corresponds to a transformation matrix from world coordinates to view coordinates.

ステップＳ４１０では、ワールド座標からビュー座標に変換する行列Ｎからカメラの回転行列と移動ベクトルを逆算する。 In step S410, the camera rotation matrix and the movement vector are calculated backward from the matrix N for converting the world coordinates to the view coordinates.

ここで求まったrMatがカメラの回転行列、tVecがカメラの移動ベクトルとなる。
ステップＳ４１１では、ステップＳ４１０にて推定されたカメラの外部パラメータの誤差を補正する。上述した各ステップの処理にて、カメラの外部パラメータ（回転行列、移動ベクトル）が求まるが、特徴点４点のみの計算であるため、誤差が発生している可能性がある。また、図１１に示すように、カメラキャリブレーションでは解が２つ以上存在するパターンもあり、その場合は軸が大きく反転することになる。カメラ位置と姿勢が原点を中心に反対に位置し、かつ、カメラ姿勢の軸が反転している場合は、ワールド座標上の特徴点とカメラの投影面に投影した座標とは、共に正しく対応している関係になる。本発明では、この現象の回避策として、１つ前のカメラ姿勢でのＸ軸とＹ軸と、新しいカメラ姿勢でのＸ軸とＹ軸との傾きを調べ、傾きが小さい方を採用する手法をとることができる。 The rMat obtained here is the rotation matrix of the camera, and tVec is the movement vector of the camera.
In step S411, the camera external parameter error estimated in step S410 is corrected. Although the external parameters (rotation matrix, movement vector) of the camera are obtained by the processing of each step described above, there is a possibility that an error has occurred because only four feature points are calculated. In addition, as shown in FIG. 11, there is a pattern in which there are two or more solutions in camera calibration, and in that case, the axis is largely reversed. If the camera position and orientation are opposite from the origin and the camera orientation axis is reversed, the feature points on the world coordinates and the coordinates projected on the camera projection plane both correspond correctly. It becomes a relationship. In the present invention, as a workaround for this phenomenon, a method of examining the inclinations of the X axis and Y axis in the previous camera posture and the X axis and Y axis in the new camera posture and adopting the one having the smaller inclination. Can be taken.

一方、誤差の補正処理は、上記で求めたカメラの外部パラメータ（回転行列、移動ベクトル）よりワールド座標からビュー座標への変換行列を計算し、その行列を使って特徴点のワールド座標位置（Wxn, Wyn, Wzn）をスクリーン座標値に変換する。このときのスクリーン上の点の位置を(U'n, V'n)とし、オリジナルのスクリーン上の点（Un, Vn）との距離の二乗和を評価のための誤差とする。 On the other hand, the error correction process calculates a transformation matrix from world coordinates to view coordinates from the camera external parameters (rotation matrix, movement vector) obtained above, and uses the matrix to calculate the world coordinate position of the feature point (Wxn , Wyn, Wzn) to screen coordinate values. The position of the point on the screen at this time is (U'n, V'n), and the sum of squares of the distance to the point (Un, Vn) on the original screen is used as an error for evaluation.

この二乗和の値Ｆが0.0に近いほど推定されたカメラの外部パラメータの精度が高いことを示す。 The closer the square sum value F is to 0.0, the higher the accuracy of the estimated external parameters of the camera.

また、本発明では、この誤差値が大きい場合は、スクリーン上の位置（Un, Vn）に微小のノイズを加えて揺らすことにより収束を早める、という手段をとることができる。スクリーン上の特徴点位置にノイズを加える理由は、スクリーン上の特徴点は特徴点検出などですでにノイズが加わった状態で与えられる場合があるためである。 Further, in the present invention, when this error value is large, it is possible to take a means of speeding up convergence by adding a minute noise to the position (Un, Vn) on the screen and shaking it. The reason for adding noise to the feature point position on the screen is that the feature point on the screen may be given in a state where noise has already been added by feature point detection or the like.

このような誤差の補正処理を加えたカメラキャリブレーションを図１２及び図１３のフローチャートで示す。 Camera calibration to which such error correction processing is added is shown in the flowcharts of FIGS.

本発明は、一般的なカメラキャリブレーションの算出方法として利用することができる。より詳細に言えば、本発明は、拡張現実（ＡＲ：Augmented Reality）の分野に利用することができる。 The present invention can be used as a general camera calibration calculation method. More specifically, the present invention can be used in the field of augmented reality (AR).

ＡＲとは、カメラで撮影した動画に対してコンピュータで生成した三次元空間をオーバーラップさせることにより、現実空間に人工的な付加価値をつけることができる表現手法である。ＡＲを利用することにより、カメラを通して見た市街地の個々の建物に対して、その建物に入居している会社や店舗情報をオーバーラップして表示したり（タグ付け）、待ち合わせ場所までの道順を仮想的なラインを引いて導いたり、あるいは、室内のインテリアの配置や壁の装飾を仮想的に生成・配置して、実画像を通しながら仕上がりを確認する、などの応用を実現することができる。 AR is an expression technique that can add artificial added value to a real space by overlapping a three-dimensional space generated by a computer with a moving image taken by a camera. By using AR, for each building in the city area seen through the camera, the company and store information occupying the building is displayed in an overlapping manner (tagging), and the directions to the meeting place are displayed. It is possible to realize applications such as drawing virtual lines and guiding them, or creating and arranging indoor interiors and wall decorations virtually and checking the finish through actual images. .

本発明に係るカメラキャリブレーションは、ＡＲでのカメラの位置と姿勢を推定する部分にて使用することが可能である。従来技術のようにカメラキャリブレーションの精度が悪いと、３次元空間を構築するときにずれやカメラのぶれが生じてしまうという不都合が発生するが、本発明によりそのような従来技術の不都合を解消することができる。 The camera calibration according to the present invention can be used in a portion for estimating the position and orientation of the camera in the AR. If the accuracy of camera calibration is poor as in the prior art, there will be inconveniences such as displacement and camera shake when constructing a three-dimensional space. However, the present invention eliminates such inconveniences of the prior art. can do.

３００装置
３０１カメラ
３０２有線／無線媒体
３１１制御部
３１２主記憶部
３１３補助記憶部
３１４入出力Ｉ／Ｆ
３１５出力表示部 300 device 301 camera 302 wired / wireless medium 311 control unit 312 main storage unit 313 auxiliary storage unit 314 input / output I / F
315 Output display

Claims

Based on the two angles created by the four feature points in the world coordinate system when the origin, X axis, Y axis, and Z axis of the world coordinate system and the camera coordinate system are the same. A method of calibrating the camera by estimating the coordinate position of each feature point in the camera coordinate system,
The method performed by the computer comprises:
(A) a step (401) of selecting four feature points A, B, C, D in the world coordinate system;
(B) calculating the length of side AB, side BC, side CD, and side DA connecting the selected feature points (402);
(C) A step (403) of calculating an angle B formed by the side AB and the side BC and an angle D formed by the side CD and the side DA, wherein the angle B and the angle D are greater than 0 degree and 90 degrees or less. A step and
(D) calculating a rotation matrix R when the side AB in the world coordinate system is the X axis (404);
(E) calculating four line-of-sight vectors A, B, C, and D connecting the origin and the converted points obtained by converting the four feature points A, B, C, and D into a screen coordinate system ( 405),
(F) The distance T formed by the straight line extending the line-of-sight vector A is divided into eight, and the point closest to the coordinate position where the feature point A exists is estimated from among the eight divided points. In step (406), the estimation starts from a point closest to the origin among the eight divided points, and the side AB and side DA among points on the line-of-sight vectors B and D with each point as a base point The points B ′ and D ′ that are equal to the length of the line B are respectively obtained, and the point C ′ that is equal to the length of the side BC among the points connecting the point B ′ and the point on the line-of-sight vector C is obtained. , C ′, D ′, the difference between the angle B ′ and the angle D ′ of the angle B ′ and the angle D ′ is obtained at each of the eight divided points, and is closest to the feature points A, B, C, D 8 One base point of the divided points and B ′, C ′, D ′ corresponding to the one base point are obtained. And the step that,
(G) A step of obtaining a distance obtained by converging the distance T by a half, wherein the new converged distance T is the origin direction by a distance of a quarter of the distance T from the estimated point. And a step (407) formed at a point distant in the direction in which the line-of-sight vector A is extended,
(H) repeating steps (f) and (g) until the new distance T falls below a predetermined value (408), and
After the new distance T is below a predetermined value,
(I) A step (409) of obtaining a transformation matrix N from the world coordinate system to the camera coordinate system, wherein the transformation matrix N is calculated based on the rotation matrix R and information on the posture and position of the camera. When,
(J) calculating a camera rotation matrix and a camera movement vector, which are external parameters of the camera, based on the transformation matrix N (410);
(K) further comprising a step (411) of correcting an error of an external parameter of the camera.

The step (f)
(F1) a step (801) of setting one base point of the points on the line-of-sight vector A divided into eight points vA;
(F2) obtaining one or more points B ′ on the line-of-sight vector B whose length from the point vA is equal to the length of the side AB (803);
(F3) obtaining one or more points D ′ on the line-of-sight vector D whose length from the point vA is equal to the length of the side DA (804);
(F4) obtaining one or more points C ′ on the line-of-sight vector C in which the length from the point B ′ is equal to the length of the side BC (805);
(F5) One or a plurality of angles B ′ formed by the points vA, B ′, and C ′ are obtained, and a combination of the points vA, B ′, and C ′ that is closest to the angle B is determined. Storing the difference between the angle B ′ and the angle B in the determined combination as a first difference value (806);
(F6) One or a plurality of angles D ′ created by the point vA, the point D ′, and the one determined point C ′ are obtained, and the point vA that is closest to the angle D, the point C ′ , A step of determining a combination of the points D ′, and adding a second difference value, which is a difference between the angle D ′ and the angle D in the determined combination, to the first difference value, thereby obtaining a total value Calculating (807),
(F7) The step of storing the combination of the point vA, the point B ′, the point C ′, and the point D ′ determined as the one and the total value is further included. Method.

When the total value is equal to zero, the one determined point vA, point B ′, point C ′, and point D ′ correspond to four feature points A, B, C, and D, respectively. The method according to claim 2.

Based on the two angles created by the four feature points in the world coordinate system when the origin, X axis, Y axis, and Z axis of the world coordinate system and the camera coordinate system are the same. A method for estimating the coordinate position of each feature point in the camera coordinate system,
The method performed by the computer comprises:
(A) a step (401) of selecting four feature points A, B, C, D in the world coordinate system;
(B) calculating the length of side AB, side BC, side CD, and side DA connecting the selected feature points (402);
(C) A step (403) of calculating an angle B formed by the side AB and the side BC and an angle D formed by the side CD and the side DA, wherein the angle B and the angle D are greater than 0 degree and 90 degrees or less. A step and
(D) calculating four line-of-sight vectors A, B, C, and D connecting the origin and the converted points obtained by converting the four feature points A, B, C, and D into a screen coordinate system ( 405),
(E) A distance T formed by a straight line extending the line-of-sight vector A is divided into eight to estimate which of the eight divided points is closest to the coordinate position where the feature point A exists. In step (406), the estimation starts from a point closest to the origin among the eight divided points, and the side AB and side DA among points on the line-of-sight vectors B and D with each point as a base point The points B ′ and D ′ that are equal to the length of the line B are respectively obtained, and the point C ′ that is equal to the length of the side BC among the points connecting the point B ′ and the point on the line-of-sight vector C is obtained. , C ′, D ′, the difference between the angle B ′ and the angle D ′ of the angle B ′ and the angle D ′ is obtained at each of the eight divided points, and is closest to the feature points A, B, C, D 8 One base point of the divided points and B ′, C ′, D ′ corresponding to the one base point are obtained. And the step that,
(F) A step of obtaining a distance obtained by converging the distance T by a half, wherein the new converged distance T is the origin direction by a distance of a quarter of the distance T from the estimated point. And a step (407) formed at a point distant in the direction in which the line-of-sight vector A is extended,
(G) repeating steps (e) and (f) until the new distance T falls below a predetermined value (408).

The step (e)
(E1) A step (801) of setting one base point of the points on the line-of-sight vector A divided into eight points vA;
(E2) obtaining one or more points B ′ on the line-of-sight vector B whose length from the point vA is equal to the length of the side AB (803);
(E3) obtaining one or more points D ′ on the line-of-sight vector D whose length from the point vA is equal to the length of the side DA (804);
(E4) obtaining one or more points C ′ on the line-of-sight vector C whose length from the point B ′ is equal to the length of the side BC (805);
(E5) One or more angles B ′ created by the points vA, B ′, and C ′ are obtained, and a combination of the points vA, B ′, and C ′ that is closest to the angle B is determined. Storing the difference between the angle B ′ and the angle B in the determined combination as a first difference value (806);
(E6) One or a plurality of angles D ′ formed by the point vA, the point D ′, and the one point C ′ determined as described above are obtained, and the point vA that is closest to the angle D, the point C ′ , A step of determining a combination of the points D ′, and adding a second difference value, which is a difference between the angle D ′ and the angle D in the determined combination, to the first difference value, thereby obtaining a total value Calculating (807),
(E7) The method further comprises the step of storing the combination of the point vA, the point B ′, the point C ′, and the point D ′ determined as the one and the total value. Method.

When the total value is equal to zero, the one determined point vA, point B ′, point C ′, and point D ′ correspond to four feature points A, B, C, and D, respectively. The method according to claim 5.