JP5079547B2 - カメラキャリブレーション装置およびカメラキャリブレーション方法 - Google Patents

Description

本発明は、カメラキャリブレーション装置およびカメラキャリブレーション方法に関し、特に、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求める、カメラキャリブレーション装置およびカメラキャリブレーション方法に関する。

この種のカメラキャリブレーション装置およびカメラキャリブレーション方法として、従来、例えば特許文献１に開示されたものがある。この従来技術によれば、次の数１で表される公知の射影変換行列に基づいて、カメラキャリブレーションが行われる。

ここで、ｓは、スケールファクタであり、ｕおよびｖは、画像座標の座標値である。そして、Ｘｗ，ＹｗおよびＺｗは、世界座標の座標値であり、Ｃ_１１〜Ｃ_１４，Ｃ_２１〜Ｃ_２４およびＣ_３１〜Ｃ_３４は、カメラパラメータである。

即ち、この数１によれば、画像座標値（ｕ，ｖ）と世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）との組合せが少なくとも６組構成されれば、これら６組の組合せから成る連立方程式によって、Ｃ_１１〜Ｃ_１４，Ｃ_２１〜Ｃ_２４およびＣ_３１〜Ｃ_３４という合計１２個のカメラパラメータが求められる、つまりカメラキャリブレーションが実現される。この実現のために、従来技術では、カメラによる撮影領域に指標点が設置される。そして、この指標点の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）が、三角測量等によって測定される。併せて、モニタの画面に映し出されたカメラによる撮影画像上で指標点が指定されることによって、この指標点の画像座標値（ｕ，ｖ）が特定される。そして、この作業が異なる指標点について合計６回行われることで、画像座標値（ｕ，ｖ）と世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）との組合せが６組構成される。

なお、従来技術では、この射影変換行列の他に、カメラキャリブレーションを実現するための代表的な手法として、非特許文献１に開示されている手法がある旨も、紹介されている。

特開２００６−６７２７２号公報 R.Y.Tsai, "A versatile camera calibration technique for high-accuracy 3Dmachine vision metrology using off-the shelf TV cameras and lenses," IEEE Journal of Robotics and Automation, vol.RA-3, no.4,pp.323-331, Aug.1987

しかし、上述の如く撮影領域に設置された指標点の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）を三角測量等によって測定するのは、非常に面倒であり、それ相応の労力や時間，コストが掛かる。このことは、撮影領域が広いほど、顕著になる。また、例えば監視カメラシステムのように複数台のカメラを備える場合、これら複数台のカメラのそれぞれについて同様の作業を行う必要があるので、面倒さがさらに増大する。

そこで、本発明は、従来よりも極めて簡単にカメラキャリブレーションを行うことができる装置および方法を提供することを、目的とする。

この目的を達成するために、本発明のうちの第１発明は、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーション装置において、世界座標を構成する３つの座標軸のうち１つの座標軸の値が一定とされた平面における実空間を模擬すると共に当該平面を表す世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示手段を、具備する。そして、撮影領域に設置された指標の位置を模擬画像上で指定する模擬画像上指標位置指定手段と、この模擬画像上指標位置指定手段による指定位置の２次元座標における２次元座標値と当該２次元座標および世界座標間の相関関係とに基づいて指標の位置の当該世界座標における世界座標値を求める世界座標値演算手段と、をも具備する。さらに、撮影画像上で指標の位置を指定する撮影画像上指標位置指定手段と、この撮影画像上指標位置指定手段による指定位置の画像座標における画像座標値と世界座標値演算手段によって求められた世界座標値とに基づいてカメラパラメータを求めるパラメータ演算手段と、を具備するものである。

即ち、本第１発明では、模擬画像表示手段によって、模擬画像が表示される。この模擬画像は、世界座標を構成する３つの座標軸のうち１つの座標軸の値が一定とされた平面、言い換えれば当該１つの座標軸に直交する平面、における実空間を模擬したものであり、この模擬画像には、当該平面を表す世界座標と相関する２次元座標が設定されている。ここで、カメラによる撮影領域の適宜の位置に指標が設置されると、この指標を含む撮影領域が、カメラによって撮影される。そして、このカメラによる撮影画像上で、指標の位置が、撮影画像上指標位置指定手段によって指定される。併せて、模擬画像上において、指標の位置が、模擬画像上指標位置指定手段によって指定される。そして、この模擬画像上指標位置指定手段による指定位置の２次元座標における２次元座標値と、当該２次元座標および世界座標間の相関関係と、に基づいて、指標の位置の世界座標における世界座標値が、世界座標値演算手段によって求められる。つまり、模擬画像上で指定された指標の位置から、当該指標の世界座標値が求められる。そして、この指標の世界座標値と、撮影画像上指標位置指定手段による指定位置の画像座標における画像座標値と、に基づいて、カメラパラメータが、パラメータ演算手段によって求められる。

なお、本第１発明において、世界座標を構成する３つの座標軸のうち上述した１つの座標軸、つまり模擬画像によって模擬された平面が直交する座標軸は、実空間の垂直方向における位置、言わば高さ、を規定するものとする。この場合、模擬画像は、この高さがゼロの平面を模擬したものとするのが、望ましい。

また、模擬画像上に設定された２次元座標と、実空間に設定された世界座標と、の間の相関関係は、当該模擬画像上における任意の２点間の距離と、この模擬画像によって模擬された平面における当該２点間に対応する部分の距離と、の比率を含むものであってもよい。

さらに、本第１発明においては、複数台のカメラについてカメラキャリブレーションを行うことができる。この場合、模擬画像として、各カメラに共通の画像を用いることができる。そして、上述の撮影画像上指標位置指定手段は、各カメラのそれぞれによる撮影画像上で指標の位置を指定し、パラメータ演算手段は、各カメラのそれぞれについてカメラパラメータを求めるものとする。

第２発明は、第１発明に対応する方法発明であり、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーション方法において、世界座標を構成する３つの座標軸のうち１つの座標軸の値が一定とされた平面における実空間を模擬すると共に当該平面を表す世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示過程を、具備する。そして、撮影領域に設置された指標の位置を模擬画像上で指定する模擬画像上指標位置指定過程と、この模擬画像上指標位置指定過程による指定位置の２次元座標における２次元座標値と当該２次元座標および世界座標間の相関関係とに基づいて指標の位置の当該世界座標における世界座標値を求める世界座標値演算過程と、をも具備する。さらに、撮影画像上で指標の位置を指定する撮影画像上指標位置指定過程と、この撮影画像上指標位置指定過程による指定位置の画像座標における画像座標値と世界座標値演算過程において求められた世界座標値とに基づいてカメラパラメータを求めるパラメータ演算過程と、を具備するものである。

上述したように、本発明によれば、実空間の一平面を模擬すると共に当該一平面を表す世界座標と相関する２次元座標が設定された模擬画像が用意されており、この模擬画像上で指定された指標の位置から、当該指標の世界座標値が求められる。従って、実空間において指標点の世界座標（Ｘｗ，Ｙｗ，Ｚｗ）を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、カメラによる撮影領域が広いほど、また当該カメラの台数が多いほど、顕著である。

本発明の一実施形態について、図１に示す監視カメラシステム１０を例に挙げて説明する。

同図に示すように、本実施形態に係る監視カメラシステム１０は、撮影領域が固定された複数台の固定カメラ１２，１２，…と、撮影領域が可変の、詳しくはパン方向およびチルト方向のそれぞれに旋回可能であると共にズームレンズを備えた、複数台の旋回型カメラ１４，１４，…と、を具備する。そして、これらの固定カメラ１２，１２，…および旋回型カメラ１４，１４，…は、パーソナルコンピュータ（以下、ＰＣと言う。）１６に接続されている。

ＰＣ１６は、自身にインストールされた制御プログラムを実行することで、各固定カメラ１２，１２，…による撮影画像に基づいて各旋回型カメラ１４，１４，…を制御するカメラ制御装置として機能する。また、それぞれの固定カメラ１２について、後述するカメラキャリブレーションを行うカメラキャリブレーション装置としても機能する。さらに、それぞれの旋回型カメラ１４について、後述する設置条件を特定するための設置条件特定装置としても機能する。なお、このＰＣ１６には、これに各種命令を入力するための入力手段、例えばマウス１８およびキーボード２０を含む操作装置２２と、当該ＰＣ１６による処理結果を含む各種情報を出力するための情報出力手段としてのディスプレイ２４と、が接続されている。

この監視カメラシステム１０は、例えば図２に示すようなビル等の建物を含む敷地内を監視するのに、用いられる。同図のケースでは、概略矩形状の敷地内の４隅Ａ，Ｂ，ＣおよびＤに、１台ずつ、つまり合計４台、の固定カメラ１２，１２，…が設置されている。そして、これら４台の固定カメラ１２，１２，…の近傍ａ，ｂ，ｃおよびｄに、１台ずつ、つまり合計４台、の旋回型カメラ１４，１４，…が設置されている。なお、各固定カメラ１２，１２，…は、互いに異なる領域を撮影するように設置されている。例えば、敷地内の南西隅（同図において左下隅）Ａに設置されている固定カメラ１２は、同図に矢印１２ａで示すように、当該敷地内の建物の南側にある南側領域を撮影するように設置されている。そして、敷地内の南東隅（同図において右下隅）Ｂに設置されている固定カメラ１２は、同図に矢印１２ｂで示すように、当該敷地内の建物の東側にある東側領域を撮影するように設置されている。さらに、敷地内の北東隅（同図において右上隅）Ｃに設置されている固定カメラ１２は、同図に矢印１２ｃで示すように、当該敷地内の建物の北側にある北側領域を撮影するように設置されている。そして、敷地内の北西隅（同図において左上隅）Ｄに設置されている固定カメラ１２は、同図に矢印１２ｄで示すように、当該敷地内の建物の西側にある西側領域を撮影するように設置されている。

各固定カメラ１２，１２，…による撮影画像は、所定の順番に従って１つずつ、または分割画面によって同時に、ディスプレイ２４に表示される。例えば、敷地内の南西隅Ａに設置されている固定カメラ１２による撮影画像は、図３のように表示される。併せて、ディスプレイ２４には、図４に示すような模擬画像としてのマップ画像が表示される。このマップ画像は、敷地内の平面図（建物等の各箇所の形状や寸法等）を忠実に表現したものであり、ビットマップファイルやＪＰＥＧ（Joint Photographic Experts Group）ファイル等の適宜の画像ファイルによって表示される。また、当該マップ画像として、建物等の建築図面を利用することもできる。即ち、建築図面には、建物等の形状や寸法が正確に記されているので、これを利用（画像ファイル化）することによって、新たにマップ画像を作成する手間を省くことができる。

ここで、例えば、敷地内の南西隅Ａに設置されている固定カメラ１２による撮影領域（つまり南側領域）に、人間等の移動体が侵入したとする。すると、この固定カメラ１２による撮影画像は、図５のようになる。即ち、当該撮影画像に、移動体（厳密には移動体の像）３０が表示される。そして、この移動体３０が、フレーム差分法や背景差分法等の公知の移動体検出技術によって検出され、当該移動体３０を囲む（内接させる）ように、矩形状の枠３２が表示される。さらに、撮影画像上の所定位置、例えば左上隅近傍に、注意を喚起するための注意マーク３４が表示される。これらの矩形枠３２および注意マーク３４の表示を受けて、オペレータ（監視者）は、移動体３０が侵入したことを認識することができる。なお、これらの矩形枠３２および注意マーク３４の表示は、ＰＣ１６によって制御される。

併せて、図４に示したマップ画像上に、図６に示すように、移動体３０の現在位置を示す移動体マーク３６と、当該移動体３０の移動径路を示す軌跡線３８が表示される。この表示を受けて、オペレータは、敷地内における移動体３０の現在位置および移動径路を認識することができる。なお、これらの移動体マーク３６および軌跡線３８の表示もまた、ＰＣ１６によって制御される。

さらに、移動体３０の現在位置に応じて、適宜の旋回型カメラ１４、例えば南西隅ａの旋回型カメラ１４が、当該移動体３０の方向を向くように旋回すると共に、当該移動体３０を拡大して撮影するようにズームアップする。そして、この旋回型カメラ１４による撮影画像が、図７に示すように、ディスプレイ２４に表示される。そして、この移動体３０を自動追尾するように、旋回型カメラ１４の旋回動作およびズーム動作が制御される。なお、この旋回型カメラ１４の旋回動作およびズーム動作、ならびに当該旋回型カメラ１４による撮影画像のディスプレイ２４への表示も、ＰＣ１６によって制御される。また、この南西隅ａの旋回型カメラ１４のみならず、当該移動体３０を捕捉可能な別の旋回型カメラ１４、例えば南東隅ｂの旋回型カメラ１４についても、自動追尾させると共に、その撮影画像をディスプレイ２４に表示させてもよい。

以上のことは、他のそれぞれの固定カメラ１２による撮影領域に移動体３０が侵入したときも、同様である。

このように、マップ画像上における移動体マーク３６および軌跡線３８の表示、ならびに適宜の旋回型カメラ１４による自動追尾および当該自動追尾している旋回型カメラ１４による撮影画像の表示によって、移動体３０の侵入に対してより迅速かつ適切な対処が可能となり、言わば統合的な監視が実現される。

ところで、このような統合的な監視を実現するには、それぞれの固定カメラ１２による撮影画像において、移動体３０が現れたときにこれを検知すると共に、この移動体３０の実空間における位置を当該固定カメラ１２による撮影画像から認識する必要がある。このうち、前者の移動体検知については、上述したようにフレーム差分法や背景差分法等の公知の技術が採用される。一方、固定カメラ１２による撮影画像から実空間における移動体３０の位置を認識するという後者については、カメラキャリブレーションが行われることが前提とされる。本実施形態では、このカメラキャリブレーションを極めて簡単に実現するべく、次のような工夫が成されている。

即ち、図４に示したマップ画像において、図８に示すように、直線状のスケーラ４０が設定される。具体的には、実空間において実寸が判明している部分、例えば図８においては矩形状の建物の北西角部Ｑａから南西角部Ｑｂまでの部分に、上述したマウス１８の操作（ドラッグ＆ドロップ操作）によって当該スケーラ４０が設定される。そして、実空間においてこのスケーラ４０に対応する部分の実際の寸法（実寸）Ｌｗが、例えば上述したキーボード２０の操作によって入力される。なお、実寸Ｌｗの単位は、例えば［ｍｍ］（ミリメートル）であり、マップ画像上におけるスケーラ４０の長さ寸法Ｌｍは、当該マップ画像を構成する画素の単位、いわゆる［ｐｉｘｅｌ］（ピクセル）である。そして、実空間における実際の寸法Ｌｗをマップ画像上におけるスケーラ４０の長さ寸法Ｌｍで除することによって、つまり次の数２によって、当該マップ画像上における１［ｐｉｘｅｌ］が実空間においてどれくらいの長さ寸法に対応するのかを表す係数ｋが求められる。

さらに、図９（ａ）に示すように、マップ画像における左下角部が、当該マップ画像における原点Ｏｍとされる。そして、この原点Ｏｍを通りかつ水平方向に沿う（同図において右側に向かって延伸する）直線が、α軸とされ、当該原点Ｏｍを通りかつ垂直方向に沿う（同図において上側に向かって延伸する）直線が、β軸とされる。これによって、マップ画像上に、α軸およびβ軸から成る２次元の直交座標が設定される。なお、このマップ画像上の２次元座標の単位は、上述した［ｐｉｘｅｌ］である。

併せて、図９（ｂ）に示すように、実空間において、マップ画像における原点Ｏｍに対応する位置が、原点Ｏｗとされ、当該マップ画像におけるα軸およびβ軸に対応するように、ｘ軸およびｙ軸が設定される。そして、原点Ｏｗを通り、かつｘ軸およびｙ軸のそれぞれに直交するように（同図において上側に向かって延伸するように）、高さ方向を規定するｚ軸が設定される。これによって、実空間に、ｘ軸，ｙ軸およびｚ軸から成る３次元の世界座標が設定される。なお、この実空間に設定された世界座標の単位は、上述の［ｍｍ］である。

つまり、図９（ａ）のマップ画面は、図９（ｂ）の実空間における高さｚがゼロ（ｚ＝０）の平面を模擬したものである。従って、これら両者の座標値（α，β）および（ｘ，ｙ，０）の関係は、上述した係数ｋを言わば変換係数とする次の数３で表される。

ゆえに、例えば、図９（ａ）のマップ画像における任意の位置Ｑｃにおける２次元座標値を（α’，β’）とすると、図９（ｂ）の実空間において当該位置Ｑｃに対応する位置Ｑｄの世界座標値（ｘ’、ｙ’，ｚ’）は、この数３の関係から、（ｘ’、ｙ’，ｚ’）＝（ｋ・α’，ｋ・β’，０）となる。

そして、このようにスケーラ４０が設定されることによって言わばキャリブレーションされたマップ画像を利用して、次のような手順でカメラキャリブレーションが行われる。

即ち、当該カメラキャリブレーションのための変換アルゴリズムとしては、公知の射影変換行列、特に１１変数の射影変換行列、が用いられる。この１１変数の射影変換行列では、固定カメラ１２による２次元の撮影画像の座標値が（ｕ，ｖ）で表されるとすると、この画像座標値（ｕ，ｖ）と実空間の絶対座標値（ｘ，ｙ，ｚ）との関係は、次の数４のようになる。

なお、この数４において、ｓは、スケールファクタである。そして、ｐ_１〜ｐ_１１が、カメラパラメータである。また、固定カメラ１２による撮影画像の座標値（ｕ，ｖ）は、後述する図１２に示すように、当該撮影画像の左上角を原点Ｏｉとし、この原点Ｏｉを通りかつ水平方向に沿う（同図において右側に向かって延伸する）直線がｕ軸とされ、当該原点Ｏｉを通りかつ垂直方向に沿う（同図において下側に向かって延伸する）直線がｖ軸とされた、２次元の画像座標上の値である。

この数４において、スケールファクタｓが消去されると、次の数５および数６から成る連立方程式が導き出される。

これら数５および数６によれば、画像座標値（ｕ，ｖ）と世界座標値（ｘ，ｙ，ｚ）との組合せが少なくとも６組構成されれば、これら６組の組合せから成る連立方程式によって、ｐ_１〜ｐ_１１という合計１１個のカメラパラメータが求められる。ただし、全ての組合せが、同じ平面上、例えばｚ＝０という平面上にある場合は、カメラパラメータは求められない。従って、当該組合せは、少なくとも２つの異なる平面上にあることが、必要とされる。

この実現のために、本実施形態では、まず、図１０に示すように、カメラキャリブレーションの対象となる固定カメラ１２による撮影領域の適当な位置Ｑｅに、指標としての人間４２が立つ。なお、この人間４２の身長は既知であるとする。また、人間４２の立ち位置Ｑｅとしては、マップ画像上においても分かり易いところが、好ましい。

次に、図１１に示すように、マップ画像上において、図１０における人間４２の立ち位置Ｑｅに対応する位置Ｑｆが、例えばマウス１８の操作（クリック操作）によって指定される。これによって、この指定された位置Ｑｆの２次元座標値（α，β）が特定される。さらに、この２次元座標値（α，β）が、上述した数３によって世界座標値（ｘ，ｙ，０）に変換される。この世界座標値（ｘ，ｙ，０）は、図１０における人間４２の足元の位置Ｑｅに対応する。

続いて、人間４２の身長（単位［ｍｍ］）が、例えばキーボード２０の操作によって入力される。入力された身長は、実空間における人間４２の頭部の位置ｚに相当する。つまり、この人間４２の身長が、上述の数３によって変換された世界座標値（ｘ，ｙ，０）に加えられることで、実空間における当該人間４２の頭部の世界座標値（ｘ，ｙ，ｚ）が求められる。

さらに、図１２に示すように、固定カメラ１２による撮影画像上において、人間（厳密には人間の像）４２の足元Ｑｇが、例えばマウス１８の操作によって指定される。これによって、撮影画像における当該足元Ｑｇの画像座標値（ｕ，ｖ）が特定される。

これと同様に、図１３に示すように、固定カメラ１２による撮影画像上において、人間４２の頭部Ｑｈが、マウス１８の操作によって指定される。これによって、撮影画像における当該頭部Ｑｈの画像座標値（ｕ，ｖ）が特定される。

この一連の作業によって、互いに異なる平面上に存在する世界座標値（ｘ，ｙ，０）および（ｘ，ｙ，ｚ）と、それぞれに対応する画像座標値（ｕ，ｖ）と、の組合せが２組得られる。従って、図１０に示した実空間において人間４２が別の位置Ｑｅに移動した上で同様の作業が行われ、この作業が合計で３回行われることによって、画像座標値（ｕ，ｖ）と世界座標値（ｘ，ｙ，ｚ）（（ｘ，ｙ，０）を含む。）との組合せが合計６組得られる。そして、これら６組の組合せから成る連立方程式に基づいて、カメラパラメータｐ_１〜ｐ_１１が求められ、つまりカメラキャリブレーションが実現される。

このように、本実施形態によれば、実空間におけるｚ＝０の平面を模擬したマップ画像上で、図１１に示したように指標としての人間４２の足元の位置Ｑｆが指定され、この指定された足元の位置Ｑｆの２次元座標値（α，β）が、上述した数３によって実空間における世界座標値（ｘ，ｙ，０）に変換される。これによって、図１０に示した実空間における当該人間４２の足元の位置Ｑｅの世界座標値（ｘ，ｙ，０）が求められる。さらに、この足元の位置Ｑｅの世界座標値（ｘ，ｙ，０）に人間４２の身長が加えられることで、当該人間４２の頭部の世界座標値（ｘ，ｙ，ｚ）が得られる。従って、実空間において指標点の世界座標（Ｘｗ，Ｙｗ，Ｚｗ）を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値（ｘ，ｙ，ｚ）（（ｘ，ｙ，０）を含む。）を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、固定カメラ１２による撮影領域が広いほど、顕著である。

なお、他のそれぞれの固定カメラ１２についても、同じマップ画像を用いてカメラキャリブレーションを行うことができる。このようにマップ画像を共有化することで、カメラキャリブレーションに掛かる手間がさらに省ける。

さて、このようにしてカメラキャリブレーションが行われることによって、任意の固定カメラ１２による撮影画像上における２次元の画像座標値（ｕ，ｖ）から実空間における３次元の世界座標値（ｘ，ｙ，ｚ）への変換が、可能となる。例えば、図５に示した人間３０の足元の画像座標値（ｕ，ｖ）は、次のようにして世界座標値（ｘ，ｙ，ｚ）に変換される。

即ち、まず、上述した数５を変形すると、次の数７が導き出される。同様に、数６を変形すると、数８が導き出される。

ここで、実空間における人間３０の足元は地面に接しており、この地面の世界座標における高さ寸法ｚはｚ＝０である、とみなすことができるので、このｚ＝０という条件が数７および数８に当てはめられることによって、次の数９および数１０が導き出される。

即ち、数９によって、世界座標のｘ軸における足元の座標値が求められ、数１０によって、ｙ軸における当該足元の座標値が求められる。そして、これらの座標値（ｘ，ｙ）が、上述した数３の変形式である次の数１１に代入されることで、マップ画像上における人間３０の足元の２次元座標値（α，β）が求められる。

このようにしてマップ画像上における人間３０の足元の２次元座標値（α，β）が求められることで、図６に示したような移動体マーク３６や軌跡線３８の表示が可能となる。

さらに、数９によって求められたｘ軸における座標値と、数１０によって求められたｙ軸における座標値とが、数７に代入されることで、実空間における人間３０の頭部の高さｚを求めるための次の数１２が導き出される。

同様に、数９によって求められたｘ軸における座標値と、数１０によって求められたｙ軸における座標値とが、数８に代入されることによっても、実空間における人間３０の頭部の高さｚを求めるための次の数１３が導き出される。

なお、このように人間３０の頭部の高さｚが求められることによって、当該人間３０の身長も分かる。また、当該高さ寸法ｚを半分にすることで、人間３０の略中心位置を求めることもできる。

そしてさらに、カメラキャリブレーションが精確に行われているか否かを、次のようにして検証することができる。

即ち、図１４（ａ）に示すように、カメラ画像上において、高さがゼロの条件を満足する任意の位置、好ましくは実空間およびマップ画像上でも分かり易い（言わば目印となる）位置Ｑｉが、例えばマウス１８の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Ｑｉとして指定された状態を示す。すると、この指定位置Ｑｉのカメラ座標上における画像座標値（ｕ，ｖ）が特定される。そして、特定された画像座標値（ｕ，ｖ）が、上述の数９に代入されることで、世界座標のｘ軸における座標値が求められる。併せて、当該画像座標（ｕ，ｖ）が、上述の数１０に代入されることで、世界座標のｙ軸における座標値が求められる。

そして、このようにして求められた世界座標のｘ軸およびｙ軸のそれぞれにおける座標値が、上述した数１１に代入されることで、マップ画像における２次元座標値（α，β）が求められる。そして、図１４（ｂ）に示すように、マップ画像上において、当該２次元座標値（α，β）に従う位置Ｑｊにマーカ４６が表示される。このマーカ４６の位置Ｑｊが、図１４（ａ）の撮影画像における指定位置Ｑｉに対応すれば、カメラキャリブレーションが精確に行われたことになる。

一方、例えば図１５に示すように、マップ画像上におけるマーカ４６の位置Ｑｊが、図１４（ａ）の撮影画像における位置Ｑｉと対応しない場合には、カメラキャリブレーションが精確に行われていないことになる。この場合は、例えばマウス１８の操作によって、マップ画像上で、図１４（ｂ）に示した本来の位置Ｑｊが改めて指定される。すると、この位置Ｑｊにおける２次元座標値（α，β）が、上述した数３によって世界座標値（ｘ，ｙ，０）に変換される。そして、この変換された世界座標値（ｘ，ｙ，０）と図１４（ａ）の撮影座標における位置Ｑｉの画像座標値（ｕ，ｖ）との組合せに基づいて、改めてカメラキャリブレーションが行われる。具体的には、この新たな組合せと先に求められた組合せとに基づいて、上述した数５および数６の連立方程式が解かれる。このとき、各カメラパラメータｐ_１〜ｐ_１１のそれぞれについて、複数個の解が求められるので、例えば最小２乗法等の回帰分析によって、当該各カメラパラメータｐ_１〜ｐ_１１として最良の値が求められる。このような修正が成されることで、カメラキャリブレーションの精度が向上する。

また、カメラキャリブレーションの精度を検証するのに、例えば図１６に示すように、固定カメラ１２による撮影画像上において、適宜の目盛、例えば格子状のグリッド４８、を表示させることもできる。即ち、世界座標上における当該固定カメラ１２による撮影領域において、ｚ＝０という条件で複数個の世界座標値（ｘ，ｙ，０）が一定の間隔で設定される。そして、それぞれの世界座標値（ｘ，ｙ，０）が上述した数５および数６に代入されることで、それぞれに対応する画像座標値（ｕ，ｖ）が求められる。そして、これらの画像座標値（ｕ，ｖ）に従う各位置（座標点）が互いに直線５０，５０，…で結ばれることによって、これらの直線５０，５０，…から成るグリッド４８が撮影画像上に表示される。なお、図１６においては、グリッド４８が、実空間においてｘ軸に平行な柵および建物の壁に沿って延伸しているので、カメラキャリブレーションが精確に行われているものと、認められる。

さらに、本実施形態においては、それぞれの旋回型カメラ１４の設置条件、詳しくは実空間における設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅについても、上述したマップ画像を用いることで、簡単に特定（推定）することができる。即ち、旋回型カメラ１４は、ポール上や建物の壁面等に設置されるが、その設置位置Ｑｋ、特に世界座標値（ｘ’，ｙ’，ｚ’）、に何ら配慮されないまま設置されることがある。また、旋回型カメラ１４においては、所定の基準方向Ｅが決められており、この基準方向Ｅに対するパン角θおよびチルト角ρによって、当該旋回型カメラ１４の向きが制御される。ところが、この基準方向Ｅについても、何ら配慮されないまま、設置されることがある。例えば、実空間における世界座標（ｘ，ｙ，ｚ）を用いて、上述した自動追尾を行うには、これら設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅが既知である必要がある。言い換えれば、これら設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅが既知であれば、当該世界座標（ｘ，ｙ，ｚ）を用いた自動追尾を行うことができる。なお、当該世界座標（ｘ，ｙ，ｚ）を用いた自動追尾の実現例は、例えば特開２００５−３３７７号公報に開示されている。そこで、本実施形態においては、マップ画像を用いることで、旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅを簡単に特定することのできる手法についても、説明する。

例えば、今、図１７に示す実空間において、旋回型カメラ１４が、世界座標におけるｚ軸に平行な直線を中心としてパン方向に旋回し、かつ、当該世界座標のｘ軸−ｙ軸平面に平行な直線を中心としてチルト方向に旋回するように、設置されている、とする。そして、基準方向Ｅが、世界座標のｘ軸−ｙ軸平面に平行であり、かつ、当該ｘ軸−ｙ軸平面においてｘ軸に沿う方向に対して或る角度、言わばオフセット角θ_０、を成している、と仮定する。なお、パン角θおよびチルト角ρの単位は、［ｒａｄ］（ラジアン）である。また、パン角θについては、旋回型カメラ１４を上方から見たときに反時計回りの方向がプラス（＋）であり、チルト角ρについては、水平よりも下方の方向がプラス（＋）である、とする。そして、これらパン角θおよびチルト角ρについては、それぞれの値を旋回型カメラ１４から取得することができる、とする。

このような状態において、旋回型カメラ１４が実空間における或る位置Ｑｍを注視しており、この注視点Ｑｍの世界座標値が（ｘ”，ｙ”，ｚ”）である、とする。すると、次の数１４および数１５が成立する。

これらの数１４および数１５によれば、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と、この注視点Ｑｍに旋回型カメラ１４が向いているとき、詳しくは注視点Ｑｍが旋回型カメラ１４の光軸上に存在するときの、当該旋回型カメラ１４のパン角θおよびチルト角ρが与えられると、この旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）と上述のオフセット角θ_０とを未知数とした、２つの方程式が成立する。従って、これら注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが少なくとも２組以上得られると、当該４つの未知数ｘ’，ｙ’，ｚ’およびθ_０を求めることができる。

そこで、まず、図１８に示すように、上述したマップ画像上で、例えばマウス１８の操作によって任意の位置、好ましくは実空間および旋回型カメラ１４による撮影画像上でも分かり易い位置Ｑｎ、が注視点として指定される。そして、この注視点Ｑｎにおける当該マップ画像上の２次元座標値（α，β）が特定されると共に、この２次元座標値（α，β）が上述した数３に代入されることで、図１７に示した実空間における注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）が求められる。なお、この実空間における注視点Ｑｍの高さｚ’は、ゼロであるのが、好ましい。ゼロでない場合には、例えばキーボード２０の操作によって当該高さｚ’の実測値が設定される。

続いて、旋回型カメラ１４が、手動制御によって、実空間における注視点Ｑｍに向けられる。そして、このときの当該旋回型カメラ１４のパン角θおよびチルト角ρが取得される。この一連の作業によって、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが得られる。そして、異なる注視点Ｑｍについて、同じ作業が合計２回行われることによって、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが合計２組得られる。そして、この２組の組合せから成る連立方程式に基づいて、旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められる。

このようにして旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められることで、実空間において任意の世界座標値（ｘ，ｙ，ｚ）が与えられると、この世界座標値（ｘ，ｙ，ｚ）に対応する位置に旋回型カメラ１４を向かせるためのパン角θおよびチルト角ρが求められる。つまり、パン角θは、上述の数１４の変形式である次の数１６によって求められ、チルト角ρは、数１５の変形式である数１７によって求められる。

なお、この旋回型カメラ１４の設置条件の特定が精確に成されたか否かは、次のようにして検証することができる。

即ち、図１９（ａ）に示すように、マップ画像上において、任意の位置、好ましくは実空間および旋回型カメラ１４による撮影画像上でも分かり易い位置Ｑｏが、例えばマウス１８の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Ｑｏとして指定された状態を示す。すると、この指定位置Ｑｏのマップ画像上における２次元座標値（α，β）が特定され、さらに、この特定された２次元座標値（α，β）が、上述した数３によって世界座標値（ｘ，ｙ，０）に変換される。そして、この変換された世界座標値（ｘ，ｙ，０）が図１７に示した注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）として上述の数１６および数１７のそれぞれに代入されることで、当該注視点Ｑｍに旋回型カメラ１４を向けるためのパン角θおよびチルト角ρが求められる。そして、この求められたパン角θおよびチルト角ρに基づいて旋回型カメラ１４が旋回することで、図１９（ｂ）に示すように、注視点Ｑｍに対応する位置Ｑｐが撮影画像の略中央に映し出される。このように、位置Ｑｐが撮影画像の略中央に映し出されることで、旋回型カメラ１４の設置条件の特定が精確に行われたことが、確認される。

一方、旋回型カメラ１４による撮影画像上の略中央に位置Ｑｐが映し出されない場合には、当該旋回型カメラ１４の設置条件の特定が精確に行われていないことになる。この場合は、例えば旋回型カメラ１４による撮影画像上の略中央に位置Ｑｐが映し出されるように、当該旋回型カメラ１４の向きが手動制御で変更される。そして、この変更後の旋回型カメラ１４のパン角θおよびチルト角ρが取得される。これにより、今現在の注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが得られる。そして、この新たな組合せと先に求められた組合せとに基づいて、改めて旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められる。この修正により、特定精度が向上する。なお、この修正においても、上述したカメラキャリブレーションの修正時と同様に、最小２乗法等の回帰分析を用いてもよい。

なお、本実施形態においては、複数台の固定カメラ１２，１２，…が設けられるものとしたが、当該固定カメラ１２は１台であってもよい。また、旋回型カメラ１４についても、１台であってもよい。さらに、図６に示したように移動体マーク３６および軌跡線３８を表示させる機能があれば足り、自動追尾機能については不要である場合には、旋回型カメラ１４はなくてもよい。

そして、カメラキャリブレーションにおいては、射影変換行列を採用したが、これに限らない。例えば、上述の非特許文献１に開示されている手法を採用してもよい。

さらに、カメラキャリブレーションにおいて、既知の身長の人間を指標として利用したが、人間以外の指標、例えば棒状のものや、円錐状のものを利用してもよい。また、指標として特別なものを用意しなくても、例えば建物の角部や門柱等のように、外観的に特徴のある既存のもの（部分）を、当該指標として利用してもよい。勿論、指標の寸法（特に高さ寸法）は、既知であることが、必要とされる。

また、図８に示したスケーラ４０は、１つの設定例であり、これに限定されない。即ち、当該図８において、スケーラ４０は、垂直方向に沿って延伸しているが、水平方向や斜め方向等の他の方向に沿って延伸するものであってもよい。ただし、上述したように、実空間における当該スケーラ４０に対応する部分の実寸が正確に分かっていることが、必要である。言い換えれば、当該実寸が正確に分かっているのであれば、スケーラ４０は、直線に限らず、曲線であってもよい。要するに、スケーラ４０と実空間における当該スケーラ４０に対応する部分とが、幾何学的に相似であり、かつそれぞれの長さ寸法ＬｍおよびＬｗが正確に分かればよい。

そして、本実施形態においては、建物を含む敷地内の監視用途に本発明を適用したが、これに限らない。例えば、建物内における監視に本発明を適用してもよいし、監視用途以外にも本発明を適用してもよい。

また、上述のカメラキャリブレーションおよび旋回型カメラ１４の設置条件の特定は、ＰＣ１６によって実現されるが、例えば専用の装置によって実現してもよい。

さらに、例えば、図６に示したように移動体マーク３６および軌跡線３８を表示させる機能と、自動追尾機能とを、互いに別々の装置によって実現してもよい。また、全てが別々の装置でなくとも、例えばディスプレイ２４のみについて、移動体マーク３６および軌跡線３８を含むマップ画像を表示させるものと、自動追尾を行っている旋回型カメラ１４による撮影画像を表示させるものと、固定カメラ１２による撮影画像を表示させるものとを、別々にしてもよい。

本発明の一実施形態に係る監視カメラシステムの概略構成を示すブロック図である。 同実施形態において各カメラの設置状況を示す実空間の概略平面図である。 同実施形態において或る固定カメラによって撮影された画像の一例を示す図解図である。 図２の概略平面図に対応するマップ画像を示す図解図である。 図３の撮影画像に移動体が現れた状態を示す図解図である。 図５の状態にあるときのマップ画像の状態を示す図解図である。 図５の状態にあるときの或る旋回型カメラによる撮影画像の一例を示す図解図である。 図４のマップ画像にスケーラが設定された状態を示す図解図である。 図８のマップ画像と実空間との関係を示す図解図である。 同実施形態においてカメラキャリブレーションを行うときの実空間の一状態を示す図解図である。 図１０の状態にあるときのマップ画像の状態を示す図解図である。 図１０の状態にあるときの固定カメラによる撮影画像の状態を示す図解図である。 図１０の状態にあるときの固定カメラによる撮影画像の図１２とは異なる状態を示す図解図である。 同実施形態においてカメラキャリブレーションが行われた結果の検証手順を説明するための図解図である。 同カメラキャリブレーションが精確に行われなかったときの検証結果の一例を示す図解図である。 図１４とは別の検証手順を説明するための図解図である。 同実施形態において旋回型カメラの設置条件を特定するときの実空間の一状態を示す図解図である。 図１７の状態にあるときのマップ画像の状態を示す図解図である。 同実施形態において旋回型カメラの設置条件が特定された結果の検証手順を説明するための図解図である。

符号の説明

１０ 監視カメラシステム
１２ 固定カメラ
１４ 旋回型カメラ
１６ ＣＰＵ
１８ マウス
２０ キーボード
２２ 操作装置
２４ ディスプレイ
４０ スケーラ

Claims (3)

1. 撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーション装置において、
   上記世界座標を構成する３つの座標軸のうち１つの該座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示手段と、
   上記撮影領域に設置された指標の位置を上記模擬画像上で指定する模擬画像上指標位置指定手段と、
   上記模擬画像上指標位置指定手段による指定位置の上記２次元座標における２次元座標値と該２次元座標および上記世界座標間の相関関係とに基づいて上記指標の位置の該世界座標における世界座標値を求める世界座標値演算手段と、
   上記撮影画像上で上記指標の位置を指定する撮影画像上指標位置指定手段と、
   上記撮影画像上指標位置指定手段による指定位置の上記画像座標における画像座標値と上記世界座標値演算手段によって求められた上記世界座標値とに基づいて上記カメラパラメータを求めるパラメータ演算手段と、
   を具備し、
   上記相関関係は上記２次元座標における長さの単位と上記世界座標における長さの単位との比率を含み、
   上記１つの座標軸は上記実空間の垂直方向における位置を規定し、
   上記模擬画像は上記垂直方向における位置がゼロの上記平面を模擬した画像であり、
   上記指標は高さ寸法が既知でありかつ上記平面上に設置され、
   上記世界座標値演算手段は上記２次元座標値と上記相関関係と上記指標の高さ寸法とに基づいて該指標の下方側端部および上方側端部のそれぞれの上記世界座標値を求め、
   上記撮影画像上指標位置指定手段は上記撮影画像上で上記指標の下方側端部および上方側端部のそれぞれを指定し、
   上記パラメータ演算手段は上記撮影画像上指標位置指定手段によって指定された上記指標の下方側端部および上方側端部のそれぞれの上記画像座標値と上記世界座標演算手段によって求められた該指標の下方側端部および上方側端部のそれぞれの上記世界座標値とに基づいて上記パラメータを求めること、
   を特徴とする、カメラキャリブレーション装置。
2. 上記模擬画像は複数台の上記カメラに共通のものであり、
   上記撮影画像上指標位置指定手段は上記複数台のカメラのそれぞれによる上記撮影画像上で上記指標の位置を指定し、
   上記パラメータ演算手段は上記複数台のカメラのそれぞれについて上記カメラパラメータを求める、
   請求項１に記載のカメラキャリブレーション装置。
3. 撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーション方法において、
   上記世界座標を構成する３つの座標軸のうち１つの該座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示過程と、
   上記撮影領域に設置された指標の位置を上記模擬画像上で指定する模擬画像上指標位置指定過程と、
   上記模擬画像上指標位置指定過程による指定位置の上記２次元座標における２次元座標値と該２次元座標および上記世界座標間の相関関係とに基づいて上記指標の位置の該世界座標における世界座標値を求める世界座標値演算過程と、
   上記撮影画像上で上記指標の位置を指定する撮影画像上指標位置指定過程と、
   上記撮影画像上指標位置指定過程による指定位置の上記画像座標における画像座標値と上記世界座標値演算過程において求められた上記世界座標値とに基づいて上記カメラパラメータを求めるパラメータ演算過程と、
   を具備し、
   上記相関関係は上記２次元座標における長さの単位と上記世界座標における長さの単位との比率を含み、
   上記１つの座標軸は上記実空間の垂直方向における位置を規定し、
   上記模擬画像は上記垂直方向における位置がゼロの上記平面を模擬した画像であり、
   上記指標は高さ寸法が既知でありかつ上記平面上に設置され、
   上記世界座標値演算過程では上記２次元座標値と上記相関関係と上記指標の高さ寸法とに基づいて該指標の下方側端部および上方側端部のそれぞれの上記世界座標値を求め、
   上記撮影画像上指標位置指定過程では上記撮影画像上で上記指標の下方側端部および上方側端部のそれぞれを指定し、
   上記パラメータ演算過程では上記撮影画像上指標位置指定過程において指定された上記指標の下方側端部および上方側端部のそれぞれの上記画像座標値と上記世界座標演算過程において求められた該指標の下方側端部および上方側端部のそれぞれの上記世界座標値とに基づいて上記パラメータを求めること、
   を特徴とする、カメラキャリブレーション方法。

Images