JP2009294109A - キャリブレーション装置 - Google Patents

Abstract

【課題】容易にカメラのキャリブレーションを実施すること。
【解決手段】キャリブレーション装置１００は、各マーカ間の距離が既知（例えば、Ｄ）である複数のマーカを備えた冶具を、カメラ２０〜２３を用いて撮影し、フレームバッファ１１０に記憶する。そして、キャリブレーション装置１００は、マーカ抽出部１２０が、マーカの画像座標を特定し、第１、第２パラメータ推定部１３０，１４０がカメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を算出する。
【選択図】 図１０

Description

この発明は、カメラのキャリブレーションを実行するキャリブレーション装置に関するものである。

近年、車両に単数または複数のカメラを設置して、車外を撮影した画像を運転手等へ提供する技術が実用化されている（例えば、アラウンドビューモニタ）。このようなカメラにおいては、カメラの設置方法によって撮影範囲にずれが生じるため、カメラのキャリブレーション（カメラの座標、俯角、回転角、カメラパン角度などを求めること）を行い、キャリブレーションの実行結果によって求められるカメラのパラメータに基づいて撮影範囲のずれを補正している。

従来、カメラのキャリブレーションを実行する場合には、例えば、格子状のターゲット装置を車両に対して支持具により固定し、車両とターゲット装置との間隔を所定の状態に保つことでカメラのキャリブレーションを実現している（例えば、特許文献１参照）。

特開２００１−２８５６８１号公報

しかしながら、上述した従来の技術では、カメラのキャリブレーションを実行する場合に、ターゲット装置の取り付け位置に厳密性が要求されるので、ユーザにかかる負担が大きいという問題があった。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、容易にカメラのキャリブレーションを実施することができるキャリブレーション装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、このキャリブレーション装置は、各マーカ間の距離が既知である複数のマーカを備えた冶具の画像を、キャリブレーション対象とするカメラを用いて取得する画像取得手段と、前記画像内のマーカの位置に基づいて、前記カメラの設置位置および角度を算出する算出手段と、を備えたことを要件とする。

このキャリブレーション装置によれば、厳密性を要しない条件で設置された冶具の画像を撮影し、画像中のマーカの位置からカメラの設定位置および角度を算出するので、容易にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。

以下に添付図面を参照して、この発明に係るキャリブレーション装置の好適な実施の形態を詳細に説明する。

まず、本実施例１にかかるキャリブレーション装置の概要および特徴について説明する。本実施例１にかかるキャリブレーション装置は、各マーカ間の距離が既知である複数のマーカを備えた冶具を、キャリブレーション対象となるカメラを用いて撮影する（ただし、各冶具は、水平面上に配置さており、かつ、となり合うカメラの撮影範囲に含まれる領域に配置されているものとする）。そして、キャリブレーション装置は、カメラに撮影された画像中のマーカの位置に基づいて、カメラの設定位置および角度を算出する。

このように、本実施例１にかかるキャリブレーション装置は、従来技術のような厳密性を要しない条件で設置された冶具の画像を撮影し、画像中のマーカの位置からカメラの設定位置および角度を算出するので、容易にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。なお、本実施例１では一例として、車両に設置された複数のカメラのキャリブレーションを実行するキャリブレーション装置について説明する。

次に、キャリブレーション装置が利用する冶具の構成について説明する。図１は、本実施例１にかかる冶具の構成を示す図である。同図に示すように、この冶具１０は、マーカＰ_１〜Ｐ_３を有しており、各マーカ間の距離がＤに設定されている。

次に、車両に設置されたカメラと冶具との関係について説明する。図２は、車両に設置されたカメラと冶具との関係を示す図である。同図に示すように、車両５には、カメラ２０〜２３を備えている。そして、カメラ２０の撮影範囲とカメラ２１の撮影範囲とが重なる領域に冶具１１が設置されており、カメラ２１の撮影範囲とカメラ２２の撮影範囲とが重なる領域に冶具１２が設置されている。

また、カメラ２２の撮影範囲とカメラ２３の撮影範囲とが重なる領域に冶具１３が配置されており、カメラ２３の撮影範囲とカメラ２０の撮影範囲とが重なる領域に冶具１０が配置されている。なお、冶具１１〜１３の構造は、図１に示した冶具１０の構造と同様である。ただし、冶具１１のマーカをそれぞれＰ_４〜Ｐ_６とし、冶具１２のマーカをそれぞれＰ_７〜Ｐ_９とし、冶具１３のマーカをそれぞれＰ_１０〜Ｐ_１２とする。

次に、キャリブレーション装置が算出するカメラのパラメータについて説明する。図３および図４は、カメラのパラメータを説明するための図である。図３および図４に示すように、カメラのパラメータは、カメラ座標軸系におけるカメラの俯角ψ、カメラの回転角φ、カメラパン角度θと、車両全体座標軸系におけるカメラの３次元座標（ｘ、ｙ、ｚ）を有する。ここで、カメラ座標軸系は、各カメラを基準とした座標軸系とし、車両全体軸座標系は、車両５を基準とした座標軸系とする。

次に、本実施例１にかかるキャリブレーション装置が、各カメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を算出する手法について説明する。キャリブレーション装置は、パラメータ（ψ、φ、ｚ）を算出した後に、パラメータ（θ、ｘ、ｙ）を算出する。以下において、パラメータ（ψ、φ、ｚ）の算出法を説明した後に、パラメータ（θ、ｘ、ｙ）の算出法について説明する。

＜パラメータ（ψ、φ、ｚ）の算出法について＞
キャリブレーション装置は、各カメラが撮影した画像を取得し、取得した画像中に含まれる冶具のマーカの位置（画像上の座標；以下、画像座標と表記する）を特定する。図５は、カメラが撮影した画像の一例を示す図であり、図６は、マーカの画像座標の特定結果を示す図である。

キャリブレーション装置は、マーカの画像座標を特定した後に、かかる画像座標をカメラ座標軸系の視線ベクトルに変換する。ここで、視線ベクトルとは、カメラの光学中心と冶具上のマーカとを結んだ線分の方向ベクトルである。視線ベクトルの方向については、光学中心からマーカへの方向を正の方向とする。

ユーザは、予め、画像座標と視線ベクトルとの関係を示す変換テーブルを作成しておき、キャリブレーション装置は、変換テーブルを利用して、画像座標を視線ベクトルに変換する。

マーカＰ_ｎ（ｎ＝１〜６）のカメラ座標系における位置をＰ^ＣＡＭ _ｎと表記すると、Ｐ^ＣＡＭ _ｎはカメラ座標系の原点から視線ベクトル方向にあるので次の関係が成り立つ。ただし、冶具１０，１１上のマーカをＰ_１〜Ｐ_６とし（図６参照）、各マーカの視線ベクトルをｖ_１〜ｖ_６とする。また、ｋ_ｎは正の定数値である。

冶具を配置した平面Ｒの法線ベクトルをｎ_ｐ（ｎ_ｐｘ、ｎ_ｐｙ、ｎ_ｐｚ）とし、カメラの設置高さをＨとすると、カメラ座標軸系の原点から平面Ｒに下ろした垂線と平面Ｒの交点Ｐ^ＣＡＭ _０は、次式で表すことができる。

また、平面Ｒの方程式は、次式となる。

ここで、式（１）〜式（３）の関係を図示すると、図７のように表すことができる。図７は、式１〜３の関係を示す図である。

なお、式（１）と式（３）とを用いると、ｋ_ｎを次式で表すことができる。

そして、式（４）を式（１）に代入すると、カメラ座標軸系におけるマーカの位置Ｐ^ＣＡＭ _ｎを次式で表すことができる。

上述した式（２）および式（３）より、各冶具のマーカの位置（カメラ座標系の位置）は、カメラの設置高さＨと法線ベクトルｎとを引数とする評価関数Ｅ（Ｈ，ｎ_ｐ）は次式となる。

式（６）（評価関数Ｅ）は、Ｈおよびｎ_ｐが正しい値をとる場合に、０となる。従って、式（６）の値を最小化するＨとｎ_ｐとを求めることでカメラ座標系における平面Ｒを決定することができる。式（６）を最小化する適切な初期値（例えば、初期値は予めユーザが特定しておく）からの最急降下法などの数値解析を用いることでＨとｎ_ｐとを求めることができる。カメラのパラメータのうち「ｚ」は、平面Ｒとカメラ座標系の原点との距離であるからＨそのものとなる。

カメラのパラメータのうち「ψ」、「φ」は、平面Ｒの法線ベクトルｎ_ｐとカメラ座標系各軸とのなす角度から算出する。図８は、カメラのパラメータψの算出方法を説明するための図である。

図８に示すように、カメラ座標系のｚ軸を延長した平面Ｒ上の点をＱとすると、カメラ座標系の原点と、Ｑと、Ｐ^ＣＡＭ _０とを結んだ三角形の法線ベクトルとカメラ座標系のｘ軸との成す角がφである。従って、カメラのパラメータ「φ」は次式で表すことができる。

式（７）において、Ｖ^ＣＡＭ _Ｚはカメラ座標軸系上のｚ軸方向の法線ベクトル（０、０、１）^Ｔである。Ｖ^ＣＡＭ _Ｘはカメラ座標軸系上のｘ軸方向の法線ベクトル（１、０、０）^Ｔである。Unit（）は、ベクトルを単位ベクトルに変換する関数である。

また、カメラ座標系上のｚ軸まわりに−φだけカメラ座標軸系を回転させると、ψは、回転後のｙ軸方向（カメラ座標軸系上のｙ座標方向）の法線ベクトルとｎ_ｐとの成す角度となる。従って、カメラのパラメータ「ψ」は次式で表すことができる。

式（８）において、Ｖ^ＣＡＭ _Ｙは、ｙ軸方向の法線ベクトル（０、１、０）^Ｔである。

以上のように、キャリブレーション装置は、式（１）〜（８）を用いることにより、カメラのパラメータ（ψ、φ、ｚ）を算出することができる。

＜パラメータ（θ、ｘ、ｙ）の算出法について＞
上記のカメラのパラメータ（ψ、φ、ｚ）は、カメラ毎に算出されるため、以下の説明において、カメラｍ（ｍ＝１〜Ｍ；Ｍは自然数）のパラメータをψ_ｍ、φ_ｍ、θ_ｍ、ｘ_ｍ、ｙ_ｍ、ｚ_ｍと表記する。

また、カメラｍの平面Ｒ上のマーカの位置（カメラ座標軸系のマーカの位置）をＰ_ｎ ^{ＣＡＭ−ｍ}とする。また、カメラｍの原点を平面Ｒに落とした位置（カメラ座標軸系の位置）をＰ_０ ^{ＣＡＭ−ｍ}とする。各冶具のマーカｎは、となり合うカメラによって撮影されているため（図２参照）、異なるｍをもち、同一のｎとなるＰ_ｎ ^{ＣＡＭ−ｍ}が少なくとも一つ存在する。

まず、キャリブレーション装置は、カメラ座標軸系の各位置を車両ローカル座標軸系に変換する。この車両ローカル座標系は、カメラ毎に設定されたＰ_０ ^{ＣＡＭ−ｍ}を原点に持つ直交座標系である。図９は、カメラ座標軸系と車両ローカル座標軸系との関係を示す図である。車両ローカル座標系において、法線ベクトルｎ_ｐをｚ軸ベクトル、Ｐ_０ ^{ＣＡＭ−ｍ}からＱ_ｍ（カメラｍのカメラ座標系のｚ軸を延長した平面Ｒ上の点をＱ_ｍとする）に向かう軸をｙ軸ベクトルとする。

以上の条件のもと、カメラｍが撮影したマーカＰの車両ローカル座標軸系における座標値Ｐ_ｎ ^{ＣＡＭ−ｍ}は、次式で表すことができる。

式（９）において、ｖ^＊ _ｍ、ｎ＝（ｖ^＊ _ｍ、ｎＸ、ｖ^＊ _ｍ、ｎＹ、ｖ^＊ _ｍ、ｎＺ）は、ｖ^＊ _ｍ、ｎをカメラｍにおけるＰ_ｎの視線ベクトルとした場合に、次式で定義させるベクトルである。

一方、マーカＰ_ｎの車両全体座標軸系における座標値Ｐ_ｎ ^ＣＡＲは、全体座標軸系に対する車両ローカル座標軸系の移動量ｘ_ｍ，ｙ_ｍと回転角θ_ｍによって次式のように定義される。

式（１１）において、Ｐ_ｎ ^{ＣＡＲ−ｍ}は、カメラｍから算出されたＰ_ｎ ^ＣＡＲであることを示している。撮影したカメラが異なっていても、各マーカの位置は車両全体座標軸系において単一の値であるから、全てのｍに対して次式が成立する。

従って、次の評価関数Ｆを最小化する移動量ｘ_ｍ，ｙ_ｍと回転角θ_ｍが正しいカメラのパラメータとなる。評価関数Ｆは、次式で表すことができる。

式（１３）において、Exist（n，ｍ）は、カメラｍにより撮影されたＰ_ｎ ^{ＣＡＲ−ｍ}が算出済みであるか否かを示す関数であり、算出済みであるならばExist（n，ｍ）の値は「１」となる。未算出の場合には、Exist（n，ｍ）の値は「０」となる。

式（１３）（評価関数Ｆ）は、未知のパラメータ（θ_ｍ、ｘ_ｍ、ｙ_ｍ）により値が変化するため、未知のパラメータ（θ_ｍ、ｘ_ｍ、ｙ_ｍ）を適宜変更しながら、評価値が最小となる組み合わせを求めることで適切なパラメータを求めることができる。式（１３）の最小値を求める解法としては、最急降下法などの数値解析手法を用いても良いし、その他の拘束条件を導入してパラメータを導出しても良い。

次に、本実施例１にかかるキャリブレーション装置の構成について説明する。図１０は、本実施例１にかかるキャリブレーション装置１００の構成を示す図である。同図に示すように、このキャリブレーション装置１００は、カメラ２０〜２３に接続されており、フレームバッファ１１０と、マーカ抽出部１２０と、第１パラメータ推定部１３０と、パラメータ記憶部１５０とを有する。

図１０に示すカメラ２０〜２３および冶具１０〜１３は、図２に示したカメラ２０〜２３および冶具１０〜１３に対応する。なお、キャリブレーション装置１００は、その他のカメラに接続されていてもよいし、その他の冶具を用いても良い。

フレームバッファ１１０は、カメラ２０〜２３が撮影した画像（図５参照）のデータをそれぞれ記憶する記憶手段である。このフレームバッファ１１０は、カメラ毎に画像データを記憶しているものとする。

マーカ抽出部１２０は、フレームバッファ１１０から画像データを取得し、周知の画像処理技術を利用して、画像データ上のマーカの画像座標を特定する手段である。マーカ抽出部１２０は、特定した画像座標のデータを各カメラの画像データごとに分類して、第１パラメータ推定部１３０に出力する。

なお、マーカ抽出部１２０は、タッチパネルなどのポインティングデバイス（図示略）に画像を表示し、ユーザによるタッチペンの接触位置を検出することにより、マーカの画像座標を特定しても良い。

また、冶具上のマーカの検出を容易にするために、発光・点滅するＬＥＤ（Light Emitting Diode）などを冶具のマーカとして配置しておき、マーカ検出部１２０は、近傍に同一発光パターンとなる点滅画像集合をまとめてマーカとして検出し、各マーカの画像座標を特定しても良い。

第１パラメータ推定部１３０は、カメラ毎にパラメータ（ψ、φ、ｚ）を算出する手段である。具体的に、第１パラメータ推定部１３０は、マーカ抽出部１２０から各マーカの画像座標のデータを取得した場合に、変換テーブルを用いて、各画像座標を視線ベクトルｖ_ｎに変換する。

そして、第１パラメータ推定部１３０は、最急降下法などを用いて式（６）に示した評価関数Ｅの値が最小値をとなるＨ（ｚ）とｎ_ｐとを求め、求めたｎ_ｐと式（７）および式（８）とを用いることにより、カメラのパラメータ（ψ、φ、ｚ）を算出する。第１パラメータ推定部１３０は、カメラ毎に算出したパラメータ（ψ、φ、ｚ）のデータおよび視線ベクトルのデータを第２パラメータ推定部１４０に出力する。

第２パラメータ推定部１４０は、カメラ毎にパラメータ（θ、ｘ、ｙ）を算出する手段である。具体的に、第２パラメータ推定部１４０は、最急降下法などを用いて式（１３）に示した評価関数Ｆの値が最小値となるθ、ｘ、ｙを求めることで、カメラパラメータ（θ、ｘ、ｙ）を算出する。第２パラメータ推定部１４０は、カメラ毎のパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）のデータをパラメータ記憶部１５０に記憶する。

パラメータ記憶部１５０は、カメラ毎にパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を記憶する記憶手段である。パラメータ記憶部１５０に記憶されたカメラのパラメータは、各種のアプリケーションによって利用される。

次に、図１０に示したキャリブレーション装置１００の処理手順について説明する。図１１は、本実施例１にかかるキャリブレーション装置１００の処理手順を示すフローチャートである。

図１１に示すように、キャリブレーション装置１００は、カメラ２０〜２３が画像を撮影し（ステップＳ１０１）、フレームバッファ１１０が画像データを記憶する（ステップＳ１０２）。

続いて、マーカ抽出部１２０が、画像データからマーカの画像座標を特定し（ステップＳ１０３）、第１パラメータ推定部１３０が、カメラのパラメータ（ψ、φ、ｚ）を算出する（ステップＳ１０４）。

そして、第２パラメータ推定部１４０が、カメラのパラメータ（θ、ｘ、ｙ）を算出し（ステップＳ１０５）、パラメータ記憶部１５０が、カメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を記憶する（ステップＳ１０６）。

上述してきたように、本実施例１にかかるキャリブレーション装置１００は、各マーカ間の距離が既知（例えば、Ｄ）である複数のマーカを備えた冶具を、カメラ２０〜２３を用いて撮影し、第１、第２パラメータ推定部１３０，１４０がカメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を算出するので、従来技術のように、冶具とカメラとの配置位置に厳密性が要求されず、容易にカメラのキャリブレーションを実行することができ、ユーザの負担を軽減することができる。

なお、カメラ２０〜２３、冶具１０〜１３の配置関係は図２に限定されるものではない。具体的には、各カメラが撮影する１画面内に複数の冶具が撮影されており、かつ、画面中の冶具は、少なくとも２つのマーカを含む１冶具と、少なくとも３つのマーカを含む１冶具とを含むという条件、および同一の冶具が複数のカメラに撮影されるという条件を満たせば、カメラ２０〜２３、冶具１０〜１３の配置を変更しても良い。

すなわち、少なくとも２つのマーカを含む１冶具と、少なくとも３つのマーカを含む１冶具とを含むという条件、および同一の冶具が複数のカメラに撮影されるという条件を満たしさえすれば、カメラのキャリブレーションを正確に実行することができる。

次に、本実施例２にかかるキャリブレーション装置について説明する。本実施例２にかかるキャリブレーション装置は、単一のカメラを用いて複数の冶具を撮影し、カメラに撮影された画像中のマーカの位置に基づいて、カメラのパラメータ（ψ、φ、ｚ）を算出する。

このように、本実施例２にかかるキャリブレーション装置は、従来技術のような厳密性を要しない条件で設置された冶具の画像を撮影し、画像中のマーカの位置からカメラのパラメータ（ψ、φ、ｚ）を算出するので、容易にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。

なお、本実施例２における冶具の構成は、図１に示した冶具１０の構成と同様であり、カメラパラメータ（ψ、φ、ｚ）の算出手法は、実施例１のキャリブレーション装置１００と同様である。

カメラと冶具との配置関係は、カメラが撮影する１画面内に複数の冶具が撮影されており、かつ、画面中の冶具は、少なくとも２つのマーカを含む１冶具と、少なくとも３つのマーカを含む１冶具とを含むという条件を満たせばどのように配置してもよい。なお、各冶具は所定値以上離れていることが望ましい。

次に、本実施例２にかかるキャリブレーション装置の構成について説明する。図１２は、本実施例２にかかるキャリブレーション装置２００の構成を示す図である。同図に示すように、このキャリブレーション装置２００は、カメラ２０に接続されており、フレームバッファ２１０と、マーカ抽出部２２０と、パラメータ推定部２３０と、パラメータ記憶部２４０とを有する。

フレームバッファ２１０は、カメラ２０が撮影した画像（図５参照）のデータを記憶する記憶手段である。

マーカ抽出部２２０は、フレームバッファ２１０から画像データを取得し、周知の画像処理技術を利用して、画像データ上のマーカの画像座標を特定する手段である。マーカ抽出部２２０は、特定した画像座標のデータをパラメータ推定部２３０に出力する。

なお、マーカ抽出部２２０は、タッチパネルなどのポインティングデバイス（図示略）に画像を表示し、ユーザによるタッチペンの接触位置を検出することにより、マーカの画像座標を特定しても良い。

また、冶具上のマーカの検出を容易にするために、発光・点滅するＬＥＤ（Light Emitting Diode）などを冶具のマーカとして配置しておき、マーカ抽出部２２０は、近傍に同一発光パターンとなる点滅画像集合をまとめてマーカとして検出し、各マーカの画像座標を特定しても良い。

パラメータ推定部２３０は、カメラ２０のパラメータ（ψ、φ、ｚ）を算出する手段である。具体的に、パラメータ推定部２３０は、マーカ抽出部２２０から各マーカの画像座標のデータを取得した場合に、変換テーブルを用いて、各画像座標を視線ベクトルｖ_ｎに変換する。

そして、パラメータ推定部２３０は、最急降下法などを用いて式（６）に示した評価関数Ｅの値が最小値をとなるＨ（ｚ）とｎ_ｐとを求め、求めたｎ_ｐと式（７）および式（８）とを用いることにより、カメラのパラメータ（ψ、φ、ｚ）を算出する。パラメータ推定部２３０は、パラメータ（ψ、φ、ｚ）のデータをパラメータ記憶部２４０に出力する。

パラメータ記憶部２４０は、カメラ２０のパラメータ（ψ、φ、ｚ）を記憶する記憶手段である。パラメータ記憶部２４０に記憶されたカメラ２０のパラメータは、各種のアプリケーションによって利用される。

次に、図１２に示したキャリブレーション装置２００の処理手順について説明する。図１３は、本実施例２にかかるキャリブレーション装置２００の処理手順を示すフローチャートである。

図１３に示すように、キャリブレーション装置２００は、カメラ２０が画像を撮影し（ステップＳ２０１）、フレームバッファ２１０が画像データを記憶する（ステップＳ２０２）。

続いて、マーカ抽出部２２０が、画像データからマーカの画像座標を特定し（ステップＳ２０３）、パラメータ推定部２３０が、カメラのパラメータ（ψ、φ、ｚ）を算出し（ステップＳ２０４）、パラメータ記憶部２４０が、カメラのパラメータ（ψ、φ、ｚ）を記憶する（ステップＳ２０５）。

上述してきたように、本実施例２にかかるキャリブレーション装置２００は、各マーカ間の距離が既知（例えば、Ｄ）である複数のマーカを備えた冶具を、カメラ２０を用いて撮影し、パラメータ推定部２３０がカメラのパラメータ（ψ、φ、ｚ）を算出するので、従来技術のように、冶具とカメラとの配置位置に厳密性が要求されず、容易にカメラのキャリブレーションを実行することができ、ユーザの負担を軽減することができる。

なお、本実施例１、２に示したキャリブレーション装置１００，２００によるキャリブレーションは、カメラの設置時に１回行っても良いし、車両走行時の震動によるカメラのずれを正すため、任意のタイミングで実行しても良い。

ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図１０、図１２に示したキャリブレーション装置１００，２００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図１４は、実施例１にかかるキャリブレーション装置１００（実施例２にかかるキャリブレーション装置２００）を構成するコンピュータ３００のハードウェア構成を示す図である。図１４に示すように、このコンピュータ（キャリブレーション装置）３００は、入力装置３０１、モニタ３０２、ＲＡＭ（Random Access Memory）３０３、ＲＯＭ（Read Only Memory）３０４、画像（冶具を含んだ画像）を撮影するカメラ３０５、ＣＰＵ（Central Processing Unit）３０６、ＨＤＤ（Hard Disk Drive）３０７をバス３０８で接続して構成される。

そして、ＨＤＤ３０７には、上述したキャリブレーション装置１００の機能と同様の機能を発揮するキャリブレーションプログラム３０７ａが記憶されている。ＣＰＵ３０６が、キャリブレーションプログラム３０７ａを読み出して実行することにより、キャリブレーションプロセス３０６ａが起動される。ここで、キャリブレーションプロセス３０６ａは、図１０に示したマーカ抽出部１２０、第１パラメータ推定部１３０、第２パラメータ推定部１４０に対応する。

なお、ＲＡＭ３０３には、各カメラが撮影した画像データや、キャリブレーションプロセス３０６ａによって利用されるデータを含んだ各種データ３０３ａを記憶している。ＣＰＵ３０６は、各種データ３０３ａに含まれる画像データからマーカの画像座標を特定し、カメラ３０５のパラメータを算出する。

ところで、図１４に示したキャリブレーションプログラム３０７ａは、必ずしも最初からＨＤＤ３０７に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などにキャリブレーションプログラム３０７ａを記憶しておき、コンピュータがこれらからキャリブレーションプログラム３０７ａを読み出して実行するようにしてもよい。

以上の実施例１，２を含む実施形態に関し、更に以下の付記を開示する。

（付記１）各マーカ間の距離が既知である複数のマーカを備えた冶具の画像を、キャリブレーション対象とするカメラを用いて取得する画像取得手段と、
前記画像内のマーカの位置に基づいて、前記カメラの設置位置および角度を算出する算出手段と、
を備えたことを特徴とするキャリブレーション装置。

（付記２）前記画像取得手段は、少なくとも２つのマーカを有する第１の冶具と、少なくとも３つのマーカを有する第２の冶具とを含んだ複数の冶具の画像を取得することを特徴とする付記１に記載のキャリブレーション装置。

（付記３）前記画像取得手段は、複数のカメラのキャリブレーションを実行する場合に、複数のカメラで同一の冶具を撮影した画像を取得することを特徴する付記１または２に記載のキャリブレーション装置。

（付記４）前記算出手段は、前記画像上の各マーカの座標を特定し、当該画像上の各マーカ間の距離と規定値との差分を求める第１の評価式を定義し、第１の評価式に基づいてカメラの俯角、回転角、ｚ軸座標を算出することを特徴とする付記１、２または３に記載のキャリブレーション装置。

（付記５）前記算出手段は、前記カメラの俯角、回転角、ｚ軸座標を基にして、カメラパン角度、ｘ軸座標、ｙ軸座標を引数とする各マーカの位置を各カメラの画像毎に定義し、画像毎に定義した同一のマーカの位置同士の差分を求める第２の評価式を定義し、第２の評価式に基づいて前記カメラのカメラパン角度、ｘ軸座標、ｙ軸座標を算出することを特徴とする付記４に記載のキャリブレーション装置。

（付記６）キャリブレーション装置が、
各マーカ間の距離が既知である複数のマーカを備えた冶具の画像を、キャリブレーション対象とするカメラを用いて取得するステップと、
前記画像内のマーカの位置に基づいて、前記カメラの設置位置および角度を算出するステップと、
を含んでいることを特徴とするキャリブレーション方法。

（付記７）前記カメラによって撮影する画像は、少なくとも２つのマーカを有する第１の冶具と、少なくとも３つのマーカを有する第２の冶具とを含んだ複数の冶具の画像であることを特徴とする付記６に記載のキャリブレーション方法。

（付記８）複数のカメラのキャリブレーションを実行する場合には、複数のカメラで同一の冶具を撮影した画像を取得することを特徴する付記６または７に記載のキャリブレーション方法。

（付記９）前記画像上の各マーカの座標を特定し、当該画像上の各マーカ間の距離と規定値との差分を求める第１の評価式を定義し、第１の評価式に基づいてカメラの俯角、回転角、ｚ軸座標を算出することを特徴とする付記６、７または８に記載のキャリブレーション方法。

（付記１０）前記カメラの俯角、回転角、ｚ軸座標を基にして、カメラパン角度、ｘ軸座標、ｙ軸座標を引数とする各マーカの位置を各カメラの画像毎に定義し、画像毎に定義した同一のマーカの位置同士の差分を求める第２の評価式を定義し、第２の評価式に基づいて前記カメラのカメラパン角度、ｘ軸座標、ｙ軸座標を算出することを特徴とする付記９に記載のキャリブレーション方法。

本実施例１にかかる冶具の構成を示す図である。 車両に設置されたカメラと冶具との関係を示す図である。 カメラのパラメータを説明するための図（１）である。 カメラのパラメータを説明するための図（２）である。 カメラが撮影した画像の一例を示す図である。 マーカの画像座標の特定結果を示す図である。 式１〜３の関係を示す図である。 カメラのパラメータψの算出方法を説明するための図である。 カメラ座標軸系と車両ローカル座標軸系との関係を示す図である。 本実施例１にかかるキャリブレーション装置の構成を示す図である。 本実施例１にかかるキャリブレーション装置の処理手順を示すフローチャートである。 本実施例２にかかるキャリブレーション装置の構成を示す図である。 本実施例２にかかるキャリブレーション装置の処理手順を示すフローチャートである。 実施例１にかかるキャリブレーション装置を構成するコンピュータのハードウェア構成を示す図である。

符号の説明

５ 車両
１０，１１，１２，１３ 冶具
２０，２１，２２，２３，３０５ カメラ
１００，２００ キャリブレーション装置
１１０，２１０ フレームバッファ
１２０，２２０ マーカ抽出部
１３０ 第１パラメータ推定部
１４０ 第２パラメータ推定部
１５０，２４０ パラメータ記憶部
２３０ パラメータ推定部
３００ コンピュータ
３０１ 入力装置
３０２ モニタ
３０３ ＲＡＭ
３０３ａ 各種データ
３０４ ＲＯＭ
３０６ ＣＰＵ
３０６ａ キャリブレーションプロセス
３０７ ＨＤＤ
３０７ａ キャリブレーションプログラム
３０８ バス

Claims (5)

1. 各マーカ間の距離が既知である複数のマーカを備えた冶具の画像を、キャリブレーション対象とするカメラを用いて取得する画像取得手段と、
   前記画像内のマーカの位置に基づいて、前記カメラの設置位置および角度を算出する算出手段と、
   を備えたことを特徴とするキャリブレーション装置。
2. 前記画像取得手段は、少なくとも２つのマーカを有する第１の冶具と、少なくとも３つのマーカを有する第２の冶具とを含んだ複数の冶具の画像を取得することを特徴とする請求項１に記載のキャリブレーション装置。
3. 前記画像取得手段は、複数のカメラのキャリブレーションを実行する場合に、複数のカメラで同一の冶具を撮影した画像を取得することを特徴する請求項１または２に記載のキャリブレーション装置。
4. 前記算出手段は、前記画像上の各マーカの座標を特定し、当該画像上の各マーカ間の距離と規定値との差分を求める第１の評価式を定義し、第１の評価式に基づいてカメラの俯角、回転角、ｚ軸座標を算出することを特徴とする請求項１、２または３に記載のキャリブレーション装置。
5. 前記算出手段は、前記カメラの俯角、回転角、ｚ軸座標を基にして、カメラパン角度、ｘ軸座標、ｙ軸座標を引数とする各マーカの位置を各カメラの画像毎に定義し、画像毎に定義した同一のマーカの位置同士の差分を求める第２の評価式を定義し、第２の評価式に基づいて前記カメラのカメラパン角度、ｘ軸座標、ｙ軸座標を算出することを特徴とする請求項４に記載のキャリブレーション装置。

Images