JP4440341B2 - キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム - Google Patents

Description

本発明は、対象物までの距離又は対象物の三次元位置若しくは形状を求めることができる測距装置のキャリブレーション方法、キャリブレーション装置などに関するものである。

近年、所定の位置から対象物までの距離、又は対象物の三次元位置の計測を行う測距装置の要求が高まっており、更にはその計測装置の小型化が望まれている。例えば、測距装置は、自動車の車室内において、乗員の位置又は形状情報を常時計測し、わき見や居眠りなど運転に危険な状態を検出する。そして、検出された危険な状態に応じて、警告を発したり、事前に自動車にブレーキをかけたりする安全運転支援技術が開発されている。この場合、測距装置は、車室内の限られたスペースに設置されるため、小型であることが望ましい。

そこで、小型であり、かつ、対象物までの距離又は対象物の三次元位置若しくは形状の計測が可能な測距装置として、例えば、複眼光学系を用いた複眼測距装置が提案されている（例えば、特許文献１参照）。

特許文献１等に記載の従来の複眼測距装置８０について、図１２及び図１３を用いて説明する。

図１２は、従来の複眼測距装置８０の概略図である。また、図１３は、一般的なステレオ測距装置の概略図である。

図１２に示すように、従来の複眼測距装置８０は、単一の撮像素子８１と、撮像素子８１の上方に設置されるとともに、複数の単レンズであるレンズ８２ａ及び８２ｂで形成されるアレイ状の光学系とを備える。つまり、複眼測距装置８０は、単一の撮像素子８１が有する撮像領域８１ａ及び８１ｂと、それぞれの撮像領域に対応するレンズ８２ａ及び８２ｂとを備える。このように、単一の撮像素子の上方に複数の光学系を配置することにより、非常に小さいステレオ測距装置を提供することが可能となる。

また、複眼測距装置８０は、単一の撮像素子の上方に単一の光学系が配置された一般的なステレオ測距装置と比べて、各光学系のレンズ径を小さくすることができる。そして、レンズ径を小さくすると、レンズの湾曲が急峻となる。したがって、複眼測距装置８０は、焦点距離を短く設計することが可能となり、装置の低背化も実現することができる。

以上のように、複眼測距装置８０は、図１３に示すような、単一の撮像素子９０ａ、９０ｂと、その撮像素子の上方に設置された一組のレンズ群（組合せレンズ）９１ａ、９１ｂからなる光学系とを、複数組み合わせて実現される一般的なステレオ測距装置に比べ、非常に小型なステレオ測距装置を実現することができる。

なお、ステレオ測距装置とは、複数の光学系間に生じる視差に基づき対象物までの距離を算出することができるステレオ測距方式を用いた測距装置である。

次に、図１４を用いて、ステレオ測距方式を用いた場合の対象物までの距離算出の例を説明する。

図１４は、光学系ａ及び光学系ｂの２つの光学系を用いた場合の、ステレオ測距方式による対象物までの距離算出の例を説明する図である。対象物１００からの光線１０１ａ及び１０１ｂは、光学系ａのレンズ１０２ａの光学中心１０５ａ及び光学系ｂのレンズ１０２ｂの光学中心１０５ｂを介して、撮像領域１０４ａ及び１０４ｂに結像する。光軸１０３ａ及び１０３ｂは各カメラの光軸を表す。

ここで、例えば対象物１００が、光学系ａについては撮像領域１０４ａと光軸１０３ａとの交点１０６ａからＰａ離れた結像位置１０７ａに結像し、光学系ｂについては撮像領域１０４ｂ上の撮像領域１０４ｂと光軸１０３ｂとの交点１０６ｂからＰｂ離れた結像位置１０７ｂに結像した場合、光学系ａと光学系ｂとの間に視差Ｐ（＝Ｐｂ−Ｐａ）が生じる。

この視差Ｐは、測距装置と対象物との距離Ｄに応じて変化する。光学系ａの光軸１０３ａと光学系ｂの光軸１０３ｂとは平行であり、その間隔を基線長Ｂとし、光学系ａ及び光学系ｂの焦点距離をｆとすると、対象物までの距離Ｄは、式（１）で表わされる。

したがって、基線長Ｂ及び焦点距離ｆが事前のキャリブレーション処理などにより既知であるとすると、視差Ｐを求めることにより対象物１００までの距離Ｄを算出することが可能となる。

なお、実際の環境では、光学系ａと光学系ｂの光軸は平行ではない場合が多い。そこで、例えば非特許文献１に示されるような画像の平行化処理を行う。その結果、光軸が平行な場合の画像が作成され、式（１）の演算を利用して距離Ｄが算出可能となる。

撮像領域１０４ａ及び１０４ｂは、通常ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子により構成される。したがって、２次元平面上の離散化された対象物像の輝度信号を用いて視差Ｐは算出される。この場合、距離Ｄの距離検出分解能Ｒは、一般的に式（２）で表わされる。

ここで、ｐｉｔｃｈは画素ピッチ、Ｋｐはサブピクセル視差検出分解能である。サブピクセル視差検出分解能Ｋｐとは、１画素以下の視差検出分解能のことである。具体的には、サブピクセル視差検出分解能Ｋｐとして、例えば０．２５画素など、１画素以下の視差を判別できる限界値が利用される。なお、サブピクセル視差は、例えば特許文献２などに提案されている方法により検出される。

例えば、被写体の距離Ｄが６００ｍｍ、画素ピッチｐｉｔｃｈが２μｍ、サブピクセル視差検出分解能Ｋｐが０．２５画素、焦点距離ｆが３ｍｍ、基線長Ｂが２ｍｍの場合、式（２）より、距離検出分解能Ｒは３０ｍｍと算出される。

次に、視差Ｐの具体的な検出方法の例を説明する。視差Ｐは、光学系ａの撮像領域１０４ａで取込まれた画像ａと、光学系ｂの撮像領域１０４ｂで取込まれた画像ｂとについて、各画像の小領域毎の相関値であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：差分絶対値総和）を算出し、算出した相関値を用いて画像ａと画像ｂ間の小領域毎の画像のずれを算出することにより得られる。

なお、ＳＡＤは相関値の一例であり、一般的に知られているＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ：差分２乗総和）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）なども相関値として利用可能である。

次に、ステレオ測距方式におけるキャリブレーションの必要性について述べる。ステレオ測距方式により測距を行うステレオ測距装置は、図１４で説明したように、いわゆる三角測量の原理に従い測距を行う。しかし、実際のカメラでは、歪曲収差などに代表されるレンズの収差などの影響により、三角測量を行うための前提となる中心射影が成り立たない場合が多い。また、焦点距離などの光学系のパラメータは、三角測量を行う際に、あらかじめ知られている必要がある。

したがって、測距を行う事前に、レンズの収差などに起因する画像の歪み、焦点距離などの光学系のパラメータが推定されている必要がある。さらに、中心射影に基づく視差探索演算が可能となるように、画像が補正されている必要がある。

また、ステレオ測距装置の異なる光学系間の光軸が平行でない場合には、エピポーラ幾何に基づく画像間の視差探索をする際に、膨大な演算時間を要するときがある。このように光軸が平行でない場合は、光学系間の光軸が平行となるよう補正された画像を利用することにより、短い演算時間で視差探索が可能になることが知られている。

以上のように、中心射影に基づく視差探索演算が可能となるように画像を補正したり、カメラパラメータを推定したり、光学系間の光軸が平行になるように画像を補正したりする処理は、三角測量に基づく測距演算を行う際に非常に重要となる。これらの処理をキャリブレーションという。

次に、図１５〜図１６を用いて、従来のキャリブレーションについて説明する。

図１５は、従来のキャリブレーション処理における演算の流れを説明する図である。また、図１６は、従来のキャリブレーションにおいて利用される基準チャートを示す図である。

図１５及び図１６に示すように、従来のキャリブレーションでは、描画された模様の各要素のサイズが既知である基準チャート２００を利用する。この基準チャート２００を複数の光学系を備えるステレオカメラ部２０１が撮影する。

次に、特徴点検出部２０２は、ステレオカメラ部２０１により撮影された基準チャート２００の画像において、特徴点の位置を示す特徴点座標を算出する。

ここで、特徴点とは、基準チャート２００に描画された模様の特徴的な位置を示すものであり、任意に設定することが可能である。例えば、基準チャート２００の特徴点は、基準チャート２００に描画された複数の四角形の頂点とすることができる。

次に、カメラパラメータ推定部２０３は、特徴点検出部２０２が算出した画像中の特徴点座標と、サイズが既知の基準チャートの座標に基づき、非特許文献１、特許文献３などに記載の数値演算方法を用いて、各光学系のカメラパラメータ（内部パラメータ、外部パラメータなど）を推定する。つまり、カメラパラメータ推定部２０３は、各光学系の歪曲係数、光学中心、焦点距離、世界座標に対する各光学系独自のカメラ座標系の回転、平行移動量などのカメラパラメータを推定する。

次に、平行化処理部２０４は、推定されたカメラパラメータに基づき、前述のカメラの平行化処理などを行うことにより、撮影画像を測距演算に適した画像に変換するための画像補正パラメータを出力する。

このようにして得られるカメラパラメータ及び画像補正パラメータを用いて、測距装置は、対象物までの距離などを測定する。

なお、図１５に示す特徴点検出部２０２は、基準チャート２００を撮影した撮影画像内の複数の特徴点座標を算出するが、この算出した特徴点座標の精度は、キャリブレーション処理における各光学系のカメラパラメータの推定精度に大きな影響を及ぼす。つまり、特徴点座標の算出精度が低いと、カメラパラメータ推定部２０３は、各光学系のカメラパラメータを高精度に推定することができない。

次に、図１７を用いて、図１６に示す基準チャート２００を利用した場合の特徴点検出部２０２による特徴点座標の算出方法を説明する。

図１７（ａ）は、基準チャート２００の撮影画像の縦方向の微分値の絶対値の分布を示す図である。図１７（ａ）に示すように、基準チャート２００の撮影画像の横方向のエッジが抽出される。

図１７（ｂ）は、基準チャート２００の撮影画像の横方向の微分値の絶対値の分布を示す図である。図１７（ｂ）に示すように、基準チャート２００の撮影画像の縦方向のエッジが抽出される。

図１７（ｃ）は、図１７（ａ）と図１７（ｂ）との合成画像を示す図である。図１７（ｃ）に示すように、横方向のエッジと縦方向のエッジとの交点（例えば、図１７（ｃ）の交点２１１）が抽出される。特徴点検出部２０２は、図１７（ｃ）に示す画像から得られるエッジの交点を特徴点として、特徴点座標を算出する。

特徴点座標の算出を高精度化することにより、各光学系のカメラパラメータを高精度に推定することが可能となる。そして、推定された高精度なカメラパラメータを利用して、高精度な画像補正パラメータを得ることが可能となる。その結果、測距装置は、得られた高精度なカメラパラメータ、画像補正パラメータを利用して、高精度な測距演算が可能となる。

特許第２９５８４５８号公報 特開２０００−２８３７５３号公報 特開２００３−６５７１４号公報

徐剛、辻三郎著 「３次元ビジョン」共立出版 ｐｐ７９−８３、ｐｐ９６−９９ ２００２年９月２５日出版

上述したように、図１２に示すような複眼光学系を用いた場合、測距装置の小型化及び低背化、並びに撮像素子などの部品点数の削減による低コスト化が可能となる。しかし、図１３に示すような一般的なステレオ測距装置に比較して、図１２に示すような複眼光学系は、焦点距離ｆ及び基線長Ｂが撮像素子のサイズに制限されるため小さくなる。

その結果、式（２）から明らかなように、図１２に示すような複眼光学系を用いた測距装置は、距離検出分解能が低下する。したがって、距離検出分解能の低下を抑制するために、図１２に示すような複眼光学系を用いた測距装置は、図１３に示すような一般的なステレオ測距装置と比較して、測距時の視差検出分解能を高精度にする必要がある。そこで、図１２に示すような複眼光学系を用いた測距装置では、多くの場合１画素以下の視差検出分解能が必要とされる。したがって、図１２に示すような複眼光学系を用いた測距装置のキャリブレーションに関する処理も、１画素以下の精度（サブピクセル精度）が要求される。

しかし、図１２に示すように、小型化、低コスト化等を目的として、光学系に高解像度な画像を結像するのが難しい単レンズなどを用いた複眼測距装置の場合、図１３に示すような一般的なステレオ測距装置と比較して、特に画像周辺部の像を高解像度で結像することが難しい。

図１９（ａ）、図１９（ｂ）、及び図１９（ｃ）は、図１３に示した一般的なステレオ測距装置が、図１８に示す水玉模様が描画された基準チャートを撮影したときの、撮影画像中の要素２１０ａ、２１０ｂ、及び２１０ｃの画像と、各要素の中心付近の撮像素子の水平方向（ｕ軸方向）の輝度分布とを示す図である。

また、図２０（ａ）、図２０（ｂ）、及び図２０（ｃ）は、図１２に示した複眼光学系を用いたステレオ測距装置が、図１８に示す水玉模様が描画された基準チャートを撮影したときの、撮影画像中の要素２１０ａ、２１０ｂ、及び２１０ｃの画像と、各要素の中心付近の撮像素子の水平方向の輝度分布とを示す図である。

なお、図１９及び図２０に示す輝度分布は、輝度値を反転させた分布となっている。

一般的なステレオ測距装置は、図１３に示すように、複数枚のレンズを組合わせて光学系を構成する場合が多いため、図１９に示すように、画像周辺部では、像が収差により若干歪むが、それでも画像全体で高解像度な画像を得ることができる。しかし、図１２に示す複眼測距装置では、図２０に示すように、特に画像周辺部での収差が非常に大きくなるため、ひずみやボケの大きな画像になってしまう。

画像のひずみはレンズの光軸位置を中心として同心円状に変化し、放射方向（サジタル方向）とその円周方向（タンジェンシャル方向）とのひずみが顕著に現れる。画像周辺部では、円周方向のひずみが放射方向のひずみより大きくなることが多い。したがって、図２０（ｂ）に示すように、要素２１０ｂの像は、水平方向にひずむ。また、図２０（ｃ）に示すように、要素２１０ｃの像は、斜め方向にひずむ。

このようなひずみやボケが大きいことに起因して、図１２の複眼測距装置では、ノイズ、感度、照度のばらつきなど画像に混入する外乱の割合が増加する。そして、その外乱の影響により大きく特徴点の検出精度が低下してしまうという課題がある。

その結果、カメラパラメータの推定精度も低下し、サブピクセル精度でのキャリブレーション処理の実現が困難になる。

なお、図１９及び図２０では、照明の照度ばらつきによる輝度勾配が、基準チャートの各要素の像の輝度分布にあらわれている。このような外乱（輝度勾配）の影響は、図２０に示す撮影画像のほうが、図１９に示す撮影画像よりも大きくなる。

また、図１２に示す複眼測距装置において、上述の従来のキャリブレーション方法によるキャリブレーションを行ったとする。具体的には、例えば図１６の基準チャートの撮影画像を微分処理することにより特徴点座標を算出し、算出された特徴点座標から、例えば非特許文献１、特許文献３などに記載の方法を用いてカメラパラメータを算出したとする。

この場合、撮影画像の周縁部の特徴点位置の算出誤差が大きくなる。具体的には、図２１に示す複眼測距装置の撮影画像において、光軸位置２１６付近を光軸位置とすると、画像領域２１７（斜線部分）における特徴点位置の算出誤差が大きくなる。

これは、図１７（ａ）及び図１７（ｂ）に示した微分処理において、画像の水平方向と垂直方向の輝度成分、つまり水平方向と垂直方向の画像のひずみ分布のみを考慮して、特徴点座標を算出していることに起因していると考えられる。

実際の画像のひずみは、前述のようにレンズの光軸位置を中心として同心円状に変化し、放射方向（サジタル方向）とその円周方向（タンジェンシャル方向）のひずみが分布している。これに対し、従来の特徴点座標の算出では、すべての画像中で水平方向と垂直方向のひずみしか考慮せずに特徴点座標を算出するために、放射方向及び円周方向と、画像の水平方向及び垂直方向とが一致しない画像領域２１７では、特徴点座標の算出誤差が大きくなる。一方、画像領域２１７以外の領域、つまり放射方向及び円周方向と画像の水平方向及び垂直方向とがおおむね一致する領域では、特徴点座標の算出誤差が小さくなると考えられる。

図１３に示すような、画像のひずみの小さい一般的なステレオ測距装置では、こういった特徴点座標の算出誤差は生じにくい。しかし、図１２に示すような複眼測距装置では、従来の特徴点座標の算出を行った場合、画像のひずみが大きいことに起因して、図２１の画像領域２１７付近の特徴点座標の算出精度が低下する。したがって、高精度なカメラパラメータ推定ができず、キャリブレーションをサブピクセルレベルで行うことが困難であるという課題がある。

また、図１２に示す複眼測距装置は、前述のように画像のひずみが大きいためボケた画像となりやすいが、このとき、レンズの偏芯や、レンズ実装時に光軸と撮像素子が垂直にならずチルトしていることなどに起因し、画像中のひずみの分布のレンズ光軸位置に対する対称性（同心円状）が損なわれやすい。

例えば、図２２のようにレンズ２２１の被写体側の面の光軸２２２と、撮像素子側の面の光軸２２３とがずれている場合、画像のひずみの分布は図２２の左右方向にずれ、画像中のひずみの分布のレンズ光軸位置に対する対称性（同心円状）が損なわれる。また、ボケた画像ほど、こうしたひずみ分布の変化の影響を受けやすい傾向がある。したがって、図１２に示す複眼測距装置は、非特許文献１、特許文献３などに記載のカメラパラメータの推定演算時に、カメラの数式モデルと実際のカメラとのモデル化誤差が生じやすい。特に、図１２に示す複眼測距装置では、ボケが大きい画像周辺部での測距精度の向上が困難であるという課題がある。

つまり、例えば図１２の複眼測距装置のように、画像にレンズの収差が多く含まれるステレオ測距装置のキャリブレーションにおいて、従来の特徴点検出方法を用いても、画像の収差が大きいことに起因して、外乱に対する像の輝度の変化が小さくなる課題と、放射方向（サジタル方向）とその円周方向（タンジェンシャル方向）のひずみを考慮しないと適切な特徴点検出ができないという課題と、カメラの実装誤差等に起因した画像中のひずみの分布のレンズ光軸位置に対する対称性（同心円状）が損なわれることによりカメラの数式モデルと実際のカメラとのモデル化誤差を生じやすくなるという課題を有することにより、高精度な特徴点位置検出ができないため、高精度なキャリブレーションを実施するのが困難であった。

そこで、本発明は、このような問題に鑑みてなされたものであり、撮影画像にレンズの収差が多く含まれる測距装置のキャリブレーションにおいて、高精度にカメラパラメータの推定を行う、つまり、高精度にキャリブレーションを行うためのキャリブレーション方法等を提供することを目的とする。

上述した目的を達成するため、本発明に係るキャリブレーション方法は、レンズと前記レンズに対応した撮像領域とからなる撮像系を複数備える測距装置において、各前記撮像系の特性を表すカメラパラメータを推定するキャリブレーション方法であって、複数の要素が配列された幾何学模様が表され、かつ、前記測距装置と所定の位置関係となるように配置された基準チャートを、前記測距装置を用いて撮影する撮影ステップと、前記撮影ステップで撮影された前記基準チャートの撮影画像において、前記レンズの収差に起因する輝度分布を修正する収差輝度修正ステップと、前記収差輝度修正ステップで輝度分布が修正された前記撮影画像において、前記複数の要素のそれぞれの重心位置を特徴点位置として算出する特徴点位置算出ステップと、前記特徴点位置算出ステップで算出された前記特徴点位置と、前記基準チャートにおける実際の略重心位置とを用いて、前記カメラパラメータを推定するカメラパラメータ推定演算ステップとを含むことを特徴とする。

これにより、特徴点座標を推定する前にレンズの収差に起因する輝度分布を修正することができるので、測距装置の撮影画像内にレンズの収差が多く含まれていても、高精度なキャリブレーションを行うことが可能となる。

さらに、基準チャートに表された幾何学模様の各要素の重心を特徴点とすることにより、撮影画像において、特徴点の輝度の変化が非常に小さくても、収差が分布する方向が像面内で変化しても、高精度なキャリブレーションを行うことが可能となる。

つまり、重心を特徴点とすることにより、撮影画像内の各画素の輝度値の大きさに基づいて特徴点座標を算出することができるので、撮影画像内において特徴点の輝度の変化が小さい場合であっても、高精度に特徴点位置を算出することが可能となる。また、重心を特徴点とすることにより、水平方向、垂直方向などの特定の方向に依存することなく、収差が分布するすべての方向の収差を加味して特徴点座標を算出することができるので、放射方向（サジタル方向）及び円周方向（タンジェンシャル方向）にひずみが分布する場合であっても、高精度に特徴点位置を算出することが可能となる。

そして、このように高精度に算出された特徴点位置を用いることにより、高精度にカメラパラメータを推定すること、つまり、高精度なキャリブレーションを行うことが可能となる。

また、前記収差輝度修正ステップは、前記撮影画像内の前記複数の要素を、個別に区画するように設定された各計算エリアにおいて、前記計算エリア内の輝度値の最小値に所定のオフセット値を加えた値である除去値を、各画素の輝度値から減算するオフセット除去サブステップを含み、前記オフセット除去サブステップにおいて、前記除去値を各画素の輝度値から減算することにより、前記レンズの収差に起因する輝度分布を修正することが好ましい。さらに、前記オフセット除去サブステップでは、前記オフセット値が前記計算エリア内の輝度値の最大値と最小値との差分値の２．５％以上４０％以下となるように、前記除去値を各画素の輝度値から減算することが好ましい。

これにより、測距装置の撮影画像内にレンズの収差が多く含まれていても、キャリブレーションにおいて、特に光学系間でのレンズの偏芯量の違い等による収差分布の違いに起因する特徴点位置の算出精度の低下を抑制し、高精度なキャリブレーションを行うことが可能となる。

つまり、撮影画像内において、幾何学模様を構成する各要素の像の周辺部の、対称性が損なわれ、輝度値の補正が困難な部分を、撮影画像から除去することができるので、重心を用いた特徴点位置の算出精度を向上させることが可能となる。

また、前記収差輝度修正ステップは、さらに、前記撮影画像において、前記撮像領域内の感度のばらつき及び前記基準チャートに照射される光源の照度のばらつきに起因する輝度分布を補正する照度分布補正サブステップを含み、前記オフセット除去サブステップでは、前記照度分布補正サブステップにおいて補正された前記撮影画像の輝度値から、前記除去値を減算することが好ましい。さらに、前記照度分布補正サブステップでは、一様な色彩からなる照度分布補正用チャートを、前記基準チャートと略同一の撮影条件で撮影したときの撮影画像における輝度分布を用いて、前記撮像領域内の感度のばらつき及び前記基準チャートに照射される光源の照度のばらつきに起因する輝度分布を補正することが好ましい。

これにより、ノイズや照明等による照度分布のばらつきなどによる外乱に起因する特徴点位置の算出精度の低下を抑制することができるので、測距装置の撮影画像内にレンズの収差が多く含まれていても、高精度なキャリブレーションを行うことが可能となる。

なお、撮影条件とは、測距装置の設定値、測距装置とチャートとの位置関係、及びチャートに照射される光源の位置及び照度をいう。また、測距装置の設定値とは、具体的には、シャッター速度、絞りなどをいう。

また、前記基準チャートの幾何学模様は、複数の略円形の要素が配列された水玉模様であり、前記撮影ステップでは、前記測距装置が前記基準チャートを撮影したときの撮影画像において、前記複数の略円形の各要素の直径が２５画素以上となるように、前記基準チャートを撮影することが好ましい。

これにより、ノイズ等の画像に混入する外乱による影響を低減させることができるので、高精度なキャリブレーションを行うことが可能となる。

また、本発明に係るキャリブレーション装置は、レンズと前記レンズに対応した撮像領域とからなる撮像系を複数備える測距装置により撮影された、幾何学模様が表された基準チャートの撮影画像を用いて、各前記撮像系の特性を表すカメラパラメータを推定するキャリブレーション装置であって、前記撮影画像において、前記レンズの収差に起因する輝度分布を修正する収差輝度修正部と、前記収差輝度修正ステップで輝度分布が修正された前記撮影画像において、前記複数の要素のそれぞれの重心位置を特徴点位置として算出する特徴点位置算出部と、前記特徴点位置算出ステップで算出された前記特徴点位置と、前記基準チャートにおける実際の略重心位置とを用いて、前記カメラパラメータを推定するカメラパラメータ推定演算部とを備えることを特徴とする。

これにより、キャリブレーション装置において、上述のキャリブレーション方法と同様の効果を得ることができる。

また、本発明に係るキャリブレーションシステムは、幾何学模様が表された基準チャートと、レンズと前記レンズに対応した撮像領域とからなる撮像系を複数備える測距装置と、前記測距装置により撮影された前記基準チャートの撮影画像を用いて、各前記撮像系の特性を表すカメラパラメータを推定するキャリブレーション装置とからなるキャリブレーションシステムであって、前記キャリブレーション装置は、前記撮影画像において、前記レンズの収差に起因する輝度分布を修正する収差輝度修正部と、前記収差輝度修正ステップで輝度分布が修正された前記撮影画像において、前記複数の要素のそれぞれの重心位置を特徴点位置として算出する特徴点位置算出部と、前記特徴点位置算出ステップで算出された前記特徴点位置と、前記基準チャートにおける実際の略重心位置とを用いて、前記カメラパラメータを推定するカメラパラメータ推定演算部とを備えることを特徴とする。

これにより、キャリブレーションシステムにおいて、上述のキャリブレーション方法と同様の効果を得ることができる。

また、前記基準チャートには、複数の略円形の要素が配列された水玉模様が表されており、前記複数の略円形の要素の色は、背景色よりも明るい階調であることが好ましい。

これにより、撮影画像に混入する外乱を低減することが可能となるので、特徴点位置の算出精度を向上させ、高精度なキャリブレーションを行うことが可能となる。

なお、本発明は、このようなキャリブレーション方法に含まれるステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体、又はインターネット等の通信ネットワークを介して流通させることができる。

本発明に係るキャリブレーション方法によれば、測距装置の撮影画像にレンズの収差が多く含まれていても、収差の分布を適切に補正し、特徴点座標を重心演算で算出することにより、高精度なキャリブレーションを行うことが可能となる。

図１は、実施の形態１のキャリブレーションシステムの構成を示す図である。 図２は、実施の形態１における基準チャートの撮影画像を示す図である。 図３は、実施の形態１における基準チャートの撮影画像及び計算エリアを示す図である。 図４は、実施の形態１における照度分布補正用チャートの撮影画像を示す図である。 図５（ａ）及び図５（ｂ）は、実施の形態１における基準チャートの要素の中心付近の輝度分布（水平方向）を示す図である。 図６（ａ）〜図６（ｄ）は、実施の形態１における基準チャートの要素の中心付近の輝度分布（水平方向）を示す図である。 図７は、実施の形態１において、オフセット除去量Ｋｏを変動させたときの、複眼測距装置の測距精度の変化を測定した実験結果を示すグラフである。 図８は、実施の形態１において、撮影画像内の水玉模様の各要素の直径を変化させたときの、測距精度の変化を測定した実験結果を示すグラフである。 図９は、実施の形態２のキャリブレーションシステムの構成を示す図である。 図１０（ａ）及び図１０（ｂ）は、実施の形態１及び実施の形態２の基準チャートを示す図である。 図１１は、本発明の他の実施の形態を表す図である。 図１２は、従来の複眼測距装置の概略図である。 図１３は、一般的なステレオ測距装置の概略図である。 図１４は、ステレオ測距方式による対象物までの距離算出の例を説明する図である。 図１５は、キャリブレーション処理における演算の流れを説明する図である。 図１６は、従来のキャリブレーションにおいて利用される基準チャートを示す図である。 図１７（ａ）〜図１７（ｃ）は、従来のキャリブレーションにおける特徴点座標の算出方法を説明するための図である。 図１８は、収差分布を説明するためのチャートを示す図である。 図１９（ａ）〜図１９（ｃ）は、一般的なステレオ測距装置における撮影画像の輝度分布を示す図である。 図２０（ａ）〜図２０（ｃ）は、複眼光学系を用いたステレオ測距装置における撮影画像の輝度分布を示す図である。 図２１は、従来のキャリブレーションでのカメラパラメータ推定誤差が大きい領域を示す図である。 図２２は、レンズの偏芯について説明するための図である。

本発明に係るキャリブレーション方法等を、単一の撮像素子と、その撮像素子の上方に設置されるとともに、複数の単レンズで形成されるアレイ状の光学系とを有する複眼撮像系を備える複眼測距装置のキャリブレーションを対象として説明する。

この複眼測距装置は、小型化、低背化、及び低コスト化を可能とするが、撮像素子のサイズに制限され、焦点距離ｆ及び基線長Ｂが小さくなるため、距離検出分解能が低下する。したがって、測距時において、サブピクセルレベルの視差検出分解能が必要となるため、キャリブレーション処理においても、サブピクセルレベルの精度が要求される。

しかし、この複眼測距装置は、単レンズを用いているため、特に画像周辺部では収差による大きなボケやひずみが生じる。これにより、従来のキャリブレーション方法では、高精度なキャリブレーションができなかった。

本発明によれば、測距装置の撮影画像内にレンズの収差が多く含まれていても、外乱の混入の少ない基準チャートを使用し、外乱を適切な順序に従い除去し、収差に起因する輝度分布を適切に補正し、特徴点座標を重心演算で算出することにより、高精度なキャリブレーションを行うことが可能となる。

以下、本発明の最適な実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は、本実施の形態に係るキャリブレーションシステムの構成を示す図である。図に示すように、キャリブレーションシステム１は、基準チャート２、複眼測距装置３、及びキャリブレーション装置７を備える。以下に、キャリブレーションシステム１の各構成部と全体の処理の流れとを簡単に説明する。

基準チャート２は、既知の寸法で白地（白色背景）に黒色の略円形の要素が描画された水玉模様のチャートである。ここで水玉模様とは、略円形の形状をした複数の要素が配列された幾何学模様のことである。また、基準チャート２の各要素の略重心位置（又は略中心位置）を実際の特徴点位置とし、その特徴点位置の配置位置は既知である（既知の寸法で作成されている）ものとする。なお、略重心位置（又は略中心位置）には、厳密な重心位置（又は中心位置）と実質的に同一とみなせる範囲内の位置が含まれる。また、基準チャート２は、複眼測距装置３と所定の位置関係となるように配置される。

複眼測距装置３は、２つの撮像系により構成された複眼測距装置であり、単レンズであるレンズ５ａ及び５ｂを一体成型したレンズアレイ４、単一の撮像素子６、図示していない絞り、波長選択フィルタ、遮光板、測距演算部などから構成される。また、複眼測距装置３は、基準チャート２が撮影された画像情報をキャリブレーション装置７に伝送する。

撮像素子６は、ＣＭＯＳ、ＣＣＤなどの固体撮像素子であり、レンズ５ａ又は５ｂを含むそれぞれの光学系に対応する撮像領域を有する。

キャリブレーション装置７は、複眼測距装置３から伝送された画像情報に基づいて、複眼測距装置３のキャリブレーションを行う装置である。キャリブレーション装置７は、Ａ／Ｄ変換部８、前処理部９、特徴点座標推定部１０、カメラパラメータ推定演算部１６、及び後処理部１７を備える。

Ａ／Ｄ変換部８は、複眼測距装置３から伝送された画像情報を含むアナログ信号をデジタル信号に変換した画像信号２０を生成する。この画像信号２０には、２つの撮像系がそれぞれ撮影した撮影画像のすべてが含まれる。

前処理部９は、図２に示すように、Ａ／Ｄ変換部８により生成された画像信号２０から、レンズ５ａで写像した基準チャート２の撮影画像２１（点線で囲われた領域）及びレンズ５ｂで写像した基準チャート２の撮影画像２２（点線で囲われた領域）を抽出する。さらに、前処理部９は、図３に示すように、略円形の各要素の位置座標を算出するための計算エリア（点線で囲われた領域）を決定する。

ここで、計算エリアの設定方法の例を説明する。まず、前処理部９は、基準チャート２に描画された略円形の各要素のサイズ、複眼測距装置３と基準チャート２との位置関係、及び設計仕様などから得られる複眼測距装置３の光学定数の概略値に基づき、基準チャート２を撮影した場合に得られると推定される水玉模様の画像をテンプレート画像として作成する。次に、前処理部９は、テンプレートマッチングにより基準チャート２の撮影画像２１及び２２から各要素の中心付近の座標を求める。最後に、前処理部９は、求められた中心付近の座標を中心として所定のサイズの正方形エリアを設定することにより、図３に点線で示すような、各水玉模様の位置座標を算出するための計算エリアを決定することができる。

特徴点座標推定部１０は、収差輝度修正部１１及び特徴点位置算出部１５を有し、図３の点線で示した各計算エリアを用いて、前処理部９が抽出した撮影画像２１及び２２から、水玉模様の各要素の特徴点座標をサブピクセルレベルで算出する。

収差輝度修正部１１は、照度分布補正部１２、輝度反転部１３、及びオフセット除去部１４を有し、撮影された基準チャート２の撮影画像２１及び２２において、レンズ５ａ又は５ｂの収差に起因する輝度分布を修正する。

照度分布補正部１２は、前処理部９が抽出した撮影画像２１及び２２において、撮像領域内の感度のばらつき及び基準チャート２に照射される光源の照度のばらつきに起因する輝度分布を補正する。具体的には、照度分布補正部１２は、一様な色彩からなる照度分布補正用チャートを、基準チャート２と略同一の撮影条件で撮影したときの撮影画像における輝度分布を用いて、撮像領域内の感度のばらつき及び基準チャートに照射される光源の照度のばらつきに起因する輝度分布を補正する。

輝度反転部１３は、照度分布補正部１２により補正された画像の輝度値を反転する。ここで、輝度値を反転するとは、例えば、輝度値が０〜２５５の値で表されている場合には、最大値２５５から当該輝度値を減じた値を、新たな輝度値とすることをいう。

オフセット除去部１４は、輝度反転部１３により輝度値が反転された画像内の複数の要素を、個別に区画するように設定された各計算エリアにおいて、計算エリア内の輝度値の最小値に所定のオフセット値を加えた値である除去値を、各画素の輝度値から減算する。好ましくは、オフセット除去部１４は、計算エリア中の輝度値の最大値と最小値との差分値の２．５％以上４０％以下となる値をオフセット値として、除去値を各画素の輝度値から減算する。

なお、上記の照度分布補正部１２、輝度反転部１３、及びオフセット除去部１４を含む収差輝度修正部１１の詳細な説明については、図４〜図６を用いて後述する。

特徴点位置算出部１５は、収差輝度修正部１１において修正された画像において、各計算エリア内の重心座標（Ｃｕ，Ｃｖ）を、式（３）に基づき算出する。つまり、特徴点位置算出部１５は、水玉模様を構成する略円形の各要素の重心位置を特徴点位置として、撮影画像内の特徴点位置の座標である特徴点座標をサブピクセルレベルで算出する。

ここで、Ｃｕは計算エリア内における重心座標の水平方向の座標値、Ｃｖは計算エリア内における重心座標の垂直方向の座標値を示す。また、計算エリアのサイズはｍ×ｎ画素であり、Ｉは計算エリア内の各座標の輝度値である。特徴点位置を各要素の重心とすることによる効果は後述する。

なお、複眼測距装置３は、複眼測距装置３と基準チャート２との位置関係の異なる複数の画像を撮影する。そして、特徴点座標推定部１０は、複眼測距装置３が撮影した複数の画像のそれぞれについて、特徴点座標を算出する。

カメラパラメータ推定演算部１６は、特徴点座標推定部１０で算出された画像上の特徴点座標と、基準チャート２上の特徴点の既知の座標から、例えば非特許文献１や特許文献３に示されるような方法により、複眼測距装置３の２つの光学系のカメラパラメータを推定する。

ここでカメラパラメータとは、具体的には焦点距離、画素ピッチ、歪曲係数、画像中心（画像上の座標で、画像と光軸が交わる点）、カメラ座標系と基準チャート２上の特徴点の既知の座標の世界座標系との位置関係（回転及び平行移動）などである。

具体的には、カメラパラメータ推定演算部１６は、画像上の特徴点座標（ｕ，ｖ）と基準チャート２上の実際の特徴点位置の世界座標（Ｘ，Ｙ，Ｚ）とを用いて、例えば、中心射影における射影方程式（式（４））を解くことにより、カメラ内部行列Ａ、回転行列Ｒ、及び並進ベクトルｔを算出する。

ここで、ｓはスカラーである。また、ｕ及びｖは、画像座標系の座標であり、Ｘ、Ｙ、及びＺは、世界座標系の座標である。

カメラ内部行列Ａは、式（５）に示すように、αｕ、αｖ、θ、ｕ０、及びｖ０という５つの内部パラメータを含む行列である。また、回転行列Ｒ及び並進ベクトルｔは、カメラ座標系と世界座標系との位置関係を示す外部パラメータである。

ここで、αｕ及びαｖは、焦点距離と、ｕ軸方向又はｖ軸方向の画素ピッチとの積である。また、θは、ｕ軸とｖ軸との角度を示す。また、ｕ０及びｖ０は、画像座標系における画像中心の座標を示す。

以上より、カメラパラメータ推定演算部１６は、画像上及び基準チャート２上の特徴点座標を式（４）に代入し、カメラ内部行列Ａ、回転行列Ｒ、及び並進ベクトルｔを算出することにより、カメラパラメータを求めることができる。

なお、上記のカメラパラメータ推定方法は一例であり、特徴点座標を利用してカメラパラメータを推定する方法であれば、カメラパラメータ推定演算部１６は、異なる推定方法によりカメラパラメータを推定してもよい。

後処理部１７は、カメラパラメータ推定演算部１６で推定されたカメラパラメータに基づき、２つの光学系の平行化など、ステレオ測距演算をするのに適した座標系を作成するための画像補正パラメータを生成する。そして、後処理部１７は、生成した画像補正パラメータと、カメラパラメータ推定演算部１６が推定したカメラパラメータとを、複眼測距装置３に出力する。

次に、図４〜図６を用いて、収差輝度修正部１１の具体的な処理について詳細に説明する。ここでは、レンズ５ａで写像した画像に対する収差輝度修正部１１の処理を中心に説明する。なお、レンズ５ｂで写像した画像に対する処理は、レンズ５ａで写像した画像と同様であるので、説明を省略する。

まず、図４及び図５を用いて、照度分布補正部１２が行う処理の説明を行う。

図４は、基準チャート２と略同一の撮影条件において、あらかじめ複眼測距装置３が撮影した照度分布補正用チャートの画像信号２４を示す図である。照度分布補正用チャートは、一様な色彩からなるチャートであり、例えば、模様のない白色のみが表わされたチャートである。

画像信号２４内の点線で囲まれた領域である撮影画像２５及び撮影画像２６は、レンズ５ａで写像した照度分布補正用チャートの像及びレンズ５ｂで写像した照度分布補正用チャートの像である。

照度分布補正部１２は、まず、撮影画像２５内の最大輝度値Ｉｓｍａｘを算出する。次に、照度分布補正部１２は、撮影画像２５の全画素について、該当する画素位置での輝度値Ｉｓ（ｕ，ｖ）と最大輝度値Ｉｓｍａｘとの比である倍率Ｋｓ（ｕ，ｖ）（＝Ｉｓｍａｘ／Ｉｓ（ｕ，ｖ））を算出する。

照度分布補正用チャート自体は、チャート面内では略同一の色分布（ここでは白色）をしているため、倍率Ｋｓの分布は、照明条件、ＣＣＤ感度分布、レンズのシェーディング特性等による輝度低下の割合の分布を表す。照度分布補正部１２は、この倍率Ｋｓの分布を前処理部９から出力される基準チャートの撮影画像２１（図２）に作用させる。つまり、照度分布補正部１２は、撮影画像２１の各画素の輝度値と、対応する画素の倍率Ｋｓとを掛け合わせた輝度値を新たな輝度値とすることで、基準チャート２の撮影画像２１に含まれる照明条件、ＣＣＤ感度分布、レンズのシェーディング特性等による輝度低下を補正する。

このように補正された撮影画像２１に対し、輝度反転部１３は輝度値を反転した画像を出力する。

なお、本実施の形態では、撮影画像内の最大輝度値と当該画素の輝度値との比を倍率Ｋｓとして、照度分布の補正を行う事例について説明するが、本発明が適用されるキャリブレーション装置は、このようなキャリブレーション装置に限定されるものではない。例えば、Ｉｓｍａｘの代わりに任意の輝度Ｉｓｆｉｘを用いて倍率Ｋｓを求め、照度分布の補正を行ってもよい。

図５は、図３に示す撮影画像２１における、基準チャート２の要素２３の中心付近の輝度分布（水平方向）を示す図である。図５（ａ）は、照度分布補正部１２に入力される撮影画像２１の輝度分布において、輝度値を反転したものを示し、図５（ｂ）は、輝度反転部１３から出力される撮影画像２１の輝度分布を示す。

図５（ａ）に示すように、照度分布補正部１２が輝度分布を補正する前は、照明条件等の影響により輝度分布が勾配している。一方、図５（ｂ）に示すように、照度分布補正部１２が輝度分布を補正した後は、輝度分布の勾配が補正されている。

次に、図６を用いて、オフセット除去部１４が行う処理の説明を行う。

図６は、オフセット除去部１４が行う処理を説明するための図であり、基準チャート２の要素２３の中心付近の水平方向の輝度分布（水平方向）が示されている。

具体的には、図６（ａ）は、オフセット除去部１４に入力された画像の輝度分布を示す図である。また、図６（ｂ）は、後述する第１のステップにおいて、オフセット除去部１４が平滑化フィルタを作用させた後の撮影画像の輝度分布を示す図である。また、図６（ｃ）は、後述する第２のステップにおいて、オフセット除去部１４が計算エリア内の最小輝度値を計算エリア内のすべての画素における輝度値から減算した後の撮影画像の輝度分布を示す図である。また、図６（ｄ）は、後述する第４のステップにおいて、オフセット除去部１４が計算エリア内のすべての画素における輝度値からオフセット除去量Ｋｏを減算した撮影画像の輝度分布を示す図である。

オフセット除去部は、３つのステップで、処理を実行する。まず、第１のステップでは、オフセット除去部１４は、各計算エリア内の画像に平滑化フィルタ（ローパスフィルタ）を作用させることにより、画像内のノイズを低減する。その結果、オフセット除去部１４に入力される画像の輝度分布（図６（ａ））は、図６（ｂ）に示すように、高周波成分が除去された輝度分布となる。

次に、第２のステップでは、オフセット除去部１４は、第１のステップの処理によりノイズが低減した画像を用いて、各計算エリア内の最小輝度値Ｉｍｉｎを、当該計算エリア内のすべての画素の輝度値から減算する。その結果、図６（ｂ）に示した輝度分布は、図６（ｃ）に示すように、最小輝度値以下の輝度が除去された輝度分布となる。

次に、第３のステップでは、オフセット除去部１４は、第２のステップの処理により最小輝度値Ｉｍｉｎが減算された画像を用いて、計算エリアごとに、所定のオフセット除去量Ｋｏを計算エリア内のすべての輝度値から減算する。その結果、図６（ｃ）に示した輝度分布は、図６（ｄ）に示すように、オフセット除去量Ｋｏ以下の輝度が除去された輝度分布となる。

以上のように、照度分布補正部１２、輝度反転部１３、及びオフセット除去部１４が順に処理を実行することにより、収差輝度修正部１１は、レンズ５ａの収差に起因する輝度分布を修正することが可能となる。

特に、オフセット除去部１４が輝度値を減算する第２及び第３のステップの処理の前に、照度分布補正部１２が照明条件、ＣＣＤ感度分布、レンズのシェーディング特性等による輝度低下を補正することにより、オフセット除去部１４は、第２のステップにおいて、適切な輝度値を減算することが可能となる。つまり、適切な順序で画像に混入している外乱を補正することにより、特徴点位置算出部１５が、特徴点座標をより正確に算出することが可能となる。

また、オフセット除去部１４が輝度値を減算する第２及び第３のステップの処理の前に、平滑化フィルタによる平滑化の処理（第１のステップ）を実行することにより、減算する輝度値を決定する際のノイズによる影響を低減することが可能となる。

なお、本実施の形態では、オフセット除去部１４は、最小輝度値Ｉｍｉｎを減算する第２のステップと、所定のオフセット除去量Ｋｏを減算する第３のステップとを別々のステップとして処理を行っているが、最小輝度値Ｉｍｉｎとオフセット除去量Ｋｏとの和を同時に減算してもよい。

次に、図７を用いて、オフセット除去部１４が第３のステップで減算するオフセット除去量Ｋｏについて説明する。

図７は、オフセット除去量Ｋｏを変動させたときの、複眼測距装置３の測距精度の変化を測定した実験結果を示すグラフである。

なお、図７のグラフにおいて、横軸は、第２のステップにおいて最小輝度値を減算した後の、計算エリア内の最大輝度値に対するオフセット除去量Ｋｏの割合を示す。また、縦軸は、所定の測距精度検証用チャートにより複眼測距装置３で測距した場合の、画像領域内の測距結果の正解率を示す。

本実験では、測距演算における視差の検出誤差が、０．３画素以内の場合を正解として、正解率を算出している。なお、ここでの測距演算は、図１に示すキャリブレーション装置７が、所定のオフセット除去量Ｋｏを用いて算出した画像補正パラメータを用いて実施している。

図７に示すように、オフセット除去量Ｋｏを計算エリア内の最大輝度（オフセット除去前の輝度）の５０％以内とすることで、オフセット除去部１４の第３のステップがない場合（図７の横軸が０での測距正解率）より、複眼測距装置３の測距精度が向上する。特に、オフセット除去量Ｋｏを計算エリア内の最大輝度の２．５％から４０％の間に設定することにより、大きな測距精度の向上効果が期待できる。

したがって、オフセット除去部１４は、各計算エリアにおいて、第２のステップで最小輝度値Ｉｍｉｎが除去された後の最大輝度値の２．５〜４０％となる値を算出し、算出された値をオフセット除去量Ｋｏとして輝度分布から減算する。

上記のように測距精度が向上するのは、水玉模様を構成する要素２３の像の周辺部において、輝度分布の対称性が損なわれている部分を除去することができるからであると考えられる。つまり、要素２３の像の周辺部では、レンズの偏芯、レンズ光軸と撮像素子の撮像面とが垂直に実装されていないことなどにより、画像中のレンズの収差に起因する輝度分布のレンズ光軸位置に対する対称性（同心円状）が損なわれている。その結果、要素２３の像の周辺部は、モデル化が困難であり、輝度値の補正が困難である。そこで、対称性が損なわれ、輝度値の補正が困難な部分を、特徴点座標算出の対象から除去することにより、特徴点座標の算出精度が向上すると考えられる。

ちなみに、図７の測距演算結果は、レンズの偏芯量が３μｍ程度ある場合の撮影画像を利用した測距演算結果である。オフセット除去部１４の第３のステップの処理により、レンズの偏芯などによるひずみの分布において、アンバランスが生じている部分が除去された結果、測距精度が向上していると考えられる。

次に、特徴点位置を各要素２３の重心とすることによる効果を説明する。

前述のように、図１に示す複眼測距装置３は、一般的なステレオ測距装置に比較して撮影画像にレンズの収差を多く含んでいる。その結果、撮影画像における輝度分布は、レンズの光軸位置を中心として同心円状に変化する。つまり、放射方向（サジタル方向）とその円周方向（タンジェンシャル方向）とに、ひずみが分布する。

したがって、特徴点座標の推定は、収差が大きいことにより特徴点の輝度の変化が非常に小さい場合には、それを加味した算出方法である必要がある。例えば、一般的な二値化処理を用いて各要素２３の外形を算出し、算出された外形の中心位置を特徴点座標と算出した場合、二値化する際の閾値に、特徴点座標の算出値が大きく左右される。したがって、収差が大きく特徴点の輝度変化が小さい場合には、二値化処理に基づく特徴点座標の算出方法は適さない。

さらに、特徴点座標の推定は、収差が分布するすべての方向の収差を加味した算出方法である必要がある。つまり、図１７に示すエッジを利用した特徴点座標の算出のように、水平方向と垂直方向の収差分布のみを考慮した算出方法は適さない。

そこで、特徴点位置算出部１５は、式（３）に示す重心演算により、特徴点座標を算出する。これにより、特徴点位置算出部１５は、撮影画像内の各画素の輝度値の大きさに基づいて特徴点座標を算出することができるので、撮影画像内において特徴点の輝度の変化が非常に小さい場合であっても、高精度で特徴点座標を算出することが可能となる。また、特徴点位置算出部１５は、水平方向、垂直方向などの特定の方向に依存することなく、収差が分布するすべての方向の収差を加味して特徴点座標を算出することができるので、放射方向（サジタル方向）及び円周方向（タンジェンシャル方向）にひずみが分布する場合であっても、高精度で特徴点座標を算出することが可能となる。

このような重心演算により、高精度に算出された特徴点座標を用いて、カメラパラメータ推定演算部１６がカメラパラメータを推定すると、従来のキャリブレーション方法で生じていたカメラパラメータ推定誤差は大幅に低減する。

以上により、本発明に係るキャリブレーションシステムは、複眼測距装置の撮影画像にレンズの収差が多く含まれていても、外乱を適切な順序に従い除去し、収差の分布を適切に補正し、特徴点座標を重心演算で算出することにより、ノイズや照明等の照度分布のばらつきなどによる外乱に起因する特徴点検出精度の低下、及び、レンズ偏芯などによる収差分布のアンバランスによる悪影響を低減し、高精度なキャリブレーションを行うことが可能となる。

なお、図１の基準チャート２に描画された水玉模様の各要素２３の直径が、複眼測距装置３が撮影した撮影画像において、２５画素以上となるように、各要素２３の直径及び複眼測距装置３と基準チャート２との位置関係を設定することが望ましい。これにより、キャリブレーションシステム１は、ノイズ等の画像に混入する外乱による影響を、さらに低減させることが可能となる。

図８は、撮影画像内の水玉模様の各要素の直径を変化させたときの、測距精度の変化を測定した実験結果を示すグラフである。図８において、横軸は、撮影画像内における基準チャート２の要素２３の直径を示す。また、縦軸は、図７と同様に、所定の測距精度検証用チャートにより複眼測距装置３で測距した場合の、画像領域内の測距結果の正解率である。本実験においても、測距演算における視差の検出誤差が、０．３画素以内の場合を正解として正解率を算出している。図から明らかなように、撮影画像において、要素２３の直径が２５画素程度以上であれば、高精度な測距が可能となっている。すなわち、撮影画像において、要素２３の直径が２５画素程度以上であれば、高精度なキャリブレーションが可能となる。

（実施の形態２）
次に、本発明の実施の形態２について、図面を用いて説明する。

図９は、本実施の形態に係るキャリブレーションシステムの構成を示す図である。なお、図１と同じ番号の部分は、実施の形態１と同様の処理を実施するため説明を省略する。

また、本実施の形態のキャリブレーションシステム３１は、基準チャート３０の配色と、キャリブレーション装置３２に輝度反転部１３が無いという点とが、実施の形態１のキャリブレーションシステム１と異なるが、その他の構成部および機能等は実施の形態１のキャリブレーションシステム１と同様である。

基準チャート３０は、黒地（背景黒色）に白色の略円形の要素が描画された水玉模様のチャートである。つまり、基準チャート３０において、各要素の色は、背景色よりも明るい階調である。また、基準チャート３０は、実施の形態１の基準チャート２から白黒反転したチャートである。したがって、本実施の形態のキャリブレーション装置３２では、実施の形態１のキャリブレーション装置７が備える輝度反転部１３が不要となる。

図９に示す基準チャート３０を備えるキャリブレーションシステム３１が複眼測距装置３のキャリブレーションを行うことにより、実施の形態１のキャリブレーションシステム１より高精度にキャリブレーションすることが可能となる。

これは、図９の基準チャート３０及び図１の基準チャート２では、略円形の要素の総面積と、背景部分の総面積とを比較すると、背景部分の総面積が大きいことに起因する。つまり、本実施の形態の基準チャート３０のように背景部を黒色とし、略円形の要素を白色などの背景色よりも明るい階調の色にすることにより、実施の形態１の基準チャート２と比べて、照明等による照度分布のばらつきをうける面積が少なくなる。したがって、基準チャート３０は、画像に混入する外乱を大幅に低減することができる。

図１０（ａ）は、実施の形態１で用いる基準チャート２を示す。また、図１０（ｂ）は、本実施の形態（実施の形態２）で用いる基準チャート３０を示す。

図１０（ｂ）に示す基準チャート３０は、図１０（ａ）に示す基準チャート２と比較して、照明等による照度分布のばらつきをうけにくい黒色の面積が大きいことがわかる。

したがって、図１３に示すような収差の少ない（チャート像の輝度の変化に対して外乱が小さい）一般的なステレオカメラのキャリブレーションと比較して、特に、収差によるひずみが大きい（チャート像の輝度の変化に対して外乱が大きい）複眼測距装置３のキャリブレーションにおいて、外乱に起因する特徴点検出精度の低下を効果的に抑制することが可能となる。

また、本実施の形態のキャリブレーションシステム３１は、実施の形態１のキャリブレーションシステム１よりも、画像に混入する外乱を大幅に低減することができるため、水玉模様を構成する各要素の輝度の変化と外乱との分離も容易になり、更に高精度なキャリブレーションが可能となる。

以上により、本発明に係るキャリブレーションシステムは、複眼測距装置の撮影画像がレンズの収差を多く含んでいても、外乱の混入の少ない基準チャートを使用し、外乱を適切な順序に従い除去し、収差の分布を適切に補正し、特徴点座標を重心演算で算出することにより、高精度なキャリブレーションを行うことが可能となる。

なお、基準チャート３０に描画された水玉模様の各要素の直径は、実施の形態１と同様に、複眼測距装置３が撮影した撮影画像において、２５画素以上となるように、各要素の直径及び複眼測距装置３と基準チャート３０との位置関係を設定することが望ましい。これにより、キャリブレーションシステム３１は、ノイズ等の画像に混入する外乱による影響を、さらに低減させることが可能となる。

以上、本発明に係るキャリブレーション方法等について、実施の形態１及び実施の形態２に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、図１１に示されるような、複数の撮像素子４０ａ、４０ｂと、それぞれに対応する解像度の低いレンズ４１ａ、４１ｂを含む構成のステレオ測距装置のキャリブレーションにおいても、上記実施の形態と同様の効果が得られることは言うまでもない。

また、本発明は３つ以上の光学系を用いたステレオ測距（多眼ステレオ）装置のキャリブレーションにも適用できることは言うまでもない。つまり、本発明に係るキャリブレーション方法は、異なる光学系間に生じる視差を高精度に計測する装置全般に適用することができる。さらに、本発明に係るキャリブレーション方法は、オプティカルフローなどの画像処理技術を用いた、単一の光学系を移動させて視差を検出し対象物距離を算出するタイプのステレオカメラにも適用することができる。

また、上記実施の形態において、基準チャートには、略円形の要素からなる水玉模様が描画されていたが、四角形、六角形などの要素からなる幾何学模様が描画されていてもよい。また、幾何学模様が表示された液晶ディスプレーなどの表示装置を基準チャートとして用いてもよい。

また、上記実施の形態では、基準チャートのサイズ、配置位置などは既知であるとしていたが、基準チャートを撮影した後に、基準チャートのサイズ、配置位置などを実測してもよい。

また、上記実施の形態において、キャリブレーション装置は、Ａ／Ｄ変換部を備えていたが、必ずしもキャリブレーション装置がＡ／Ｄ変換部を備える必要はない。キャリブレーション装置がＡ／Ｄ変換部を備えない場合、キャリブレーション装置は、デジタル化された撮像信号を複眼測距装置から受け取ることとなる。

また、本発明は、キャリブレーション装置が実行する処理を、コンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体、又はインターネット等の通信ネットワークを介して流通させることができる。

本発明は、対象物までの距離、又は対象物の三次元位置若しくは形状を求めることのできる測距装置のキャリブレーションに関するものであり、車載、監視、医療、ロボット、ゲーム、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像作成、立体画像用入力用途などで利用される測距装置のキャリブレーションに有用である。

１ キャリブレーションシステム
２ 基準チャート
３ 複眼測距装置
４ レンズアレイ
５ａ、５ｂ レンズ
６ 撮像素子
７ キャリブレーション装置
８ Ａ／Ｄ変換部
９ 前処理部
１０ 特徴点座標推定部
１１ 収差輝度修正部
１２ 照度分布補正部
１３ 輝度反転部
１４ オフセット除去部
１５ 特徴点位置算出部
１６ カメラパラメータ推定演算部
１７ 後処理部
２０ 画像信号
２１、２２ 撮影画像
２３ 要素
２４ 画像信号
２５、２６ 撮影画像
３０ 基準チャート
３１ キャリブレーションシステム
３２ キャリブレーション装置
４０ａ、４０ｂ 撮像素子
４１ａ、４１ｂ レンズ
８０ 複眼測距装置
８１ 撮像素子
８１ａ、８１ｂ 撮像領域
８２ａ、８２ｂ レンズ
９０ａ、９０ｂ 撮像素子
９１ａ、９１ｂ レンズ群
１００ 対象物
１０１ａ、１０１ｂ 光線
１０２ａ、１０２ｂ レンズ
１０３ａ、１０３ｂ 光軸
１０４ａ、１０４ｂ 撮像領域
１０５ａ、１０５ｂ 光学中心
１０６ａ、１０６ｂ 交点
１０７ａ、１０７ｂ 結像位置
２００ 基準チャート
２０１ ステレオカメラ部
２０２ 特徴点検出部
２０３ カメラパラメータ推定部
２０４ 平行化処理部
２１０ａ、２１０ｂ、２１０ｃ 要素
２１１ 交点
２１６ 光軸位置
２１７ 画像領域
２２１ レンズ
２２２、２２３ 光軸

Claims (9)

1. レンズと前記レンズに対応した撮像領域とからなる撮像系を複数備える測距装置において、各前記撮像系の特性を表すカメラパラメータを推定するキャリブレーション方法であって、
   複数の要素が配列された幾何学模様が表され、かつ、前記測距装置と所定の位置関係となるように配置された基準チャートを、前記測距装置を用いて撮影する撮影ステップと、
   前記撮影ステップで撮影された前記基準チャートの撮影画像において、前記レンズの収差に起因する輝度分布を修正する収差輝度修正ステップと、
   前記収差輝度修正ステップで輝度分布が修正された前記撮影画像において、前記複数の要素のそれぞれの重心位置を特徴点位置として算出する特徴点位置算出ステップと、
   前記特徴点位置算出ステップで算出された前記特徴点位置と、前記基準チャートにおける実際の略重心位置とを用いて、前記カメラパラメータを推定するカメラパラメータ推定演算ステップとを含み、
   前記収差輝度修正ステップは、
   前記撮影画像内の前記複数の要素を、個別に区画するように設定された各計算エリアにおいて、前記計算エリア内の輝度値の最小値に所定のオフセット値を加えた値である除去値を、各画素の輝度値から減算するオフセット除去サブステップを含み、
   前記オフセット除去サブステップにおいて、前記除去値を各画素の輝度値から減算することにより、前記レンズの収差に起因する輝度分布を修正する
   ことを特徴とするキャリブレーション方法。
2. 前記オフセット除去サブステップでは、前記オフセット値が前記計算エリア内の輝度値の最大値と最小値との差分値の２．５％以上４０％以下となるように、前記除去値を各画素の輝度値から減算する
   ことを特徴とする請求項１に記載のキャリブレーション方法。
3. 前記収差輝度修正ステップは、さらに、
   前記撮影画像において、前記撮像領域内の感度のばらつき及び前記基準チャートに照射される光源の照度のばらつきに起因する輝度分布を補正する照度分布補正サブステップを含み、
   前記オフセット除去サブステップでは、前記照度分布補正サブステップにおいて補正された前記撮影画像の輝度値から、前記除去値を減算する
   ことを特徴とする請求項１に記載のキャリブレーション方法。
4. 前記照度分布補正サブステップでは、一様な色彩からなる照度分布補正用チャートを、前記基準チャートと略同一の撮影条件で撮影したときの撮影画像における輝度分布を用いて、前記撮像領域内の感度のばらつき及び前記基準チャートに照射される光源の照度のばらつきに起因する輝度分布を補正する
   ことを特徴とする請求項３に記載のキャリブレーション方法。
5. 前記基準チャートの幾何学模様は、複数の略円形の要素が配列された水玉模様であり、
   前記撮影ステップでは、前記測距装置が前記基準チャートを撮影したときの撮影画像において、前記複数の略円形の各要素の直径が２５画素以上となるように、前記基準チャートを撮影する
   ことを特徴とする請求項１に記載のキャリブレーション方法。
6. レンズと前記レンズに対応した撮像領域とからなる撮像系を複数備える測距装置により撮影された、複数の要素が配列された幾何学模様が表された基準チャートの撮影画像を用いて、各前記撮像系の特性を表すカメラパラメータを推定するキャリブレーション装置であって、
   前記撮影画像内の前記複数の要素を、個別に区画するように設定された各計算エリアにおいて、前記計算エリア内の輝度値の最小値に所定のオフセット値を加えた値である除去値を、各画素の輝度値から減算することにより、前記レンズの収差に起因する輝度分布を修正する収差輝度修正部と、
   前記収差輝度修正部で輝度分布が修正された前記撮影画像において、前記複数の要素のそれぞれの重心位置を特徴点位置として算出する特徴点位置算出部と、
   前記特徴点位置算出部で算出された前記特徴点位置と、前記基準チャートにおける実際の略重心位置とを用いて、前記カメラパラメータを推定するカメラパラメータ推定演算部とを備える
   ことを特徴とするキャリブレーション装置。
7. 複数の要素が配列された幾何学模様が表された基準チャートと、レンズと前記レンズに対応した撮像領域とからなる撮像系を複数備える測距装置と、前記測距装置により撮影された前記基準チャートの撮影画像を用いて、各前記撮像系の特性を表すカメラパラメータを推定するキャリブレーション装置とからなるキャリブレーションシステムであって、
   前記キャリブレーション装置は、
   前記撮影画像内の前記複数の要素を、個別に区画するように設定された各計算エリアにおいて、前記計算エリア内の輝度値の最小値に所定のオフセット値を加えた値である除去値を、各画素の輝度値から減算することにより、前記レンズの収差に起因する輝度分布を修正する収差輝度修正部と、
   前記収差輝度修正部で輝度分布が修正された前記撮影画像において、前記複数の要素のそれぞれの重心位置を特徴点位置として算出する特徴点位置算出部と、
   前記特徴点位置算出部で算出された前記特徴点位置と、前記基準チャートにおける実際の略重心位置とを用いて、前記カメラパラメータを推定するカメラパラメータ推定演算部とを備える
   ことを特徴とするキャリブレーションシステム。
8. 前記基準チャートには、複数の略円形の要素が配列された水玉模様が表されており、
   前記複数の略円形の要素の色は、背景色よりも明るい階調である
   ことを特徴とする請求項７に記載のキャリブレーションシステム。
9. レンズと前記レンズに対応した撮像領域とからなる撮像系を複数備える測距装置が、複数の要素が配列された幾何学模様が表された基準チャートを撮影した撮影画像を用いて、各前記撮像系の特性を表すカメラパラメータを推定するプログラムであって、
   前記撮影画像内の前記複数の要素を、個別に区画するように設定された各計算エリアにおいて、前記計算エリア内の輝度値の最小値に所定のオフセット値を加えた値である除去値を、各画素の輝度値から減算することにより、前記レンズの収差に起因する輝度分布を修正する収差輝度修正ステップと、
   前記収差輝度修正ステップで輝度分布が修正された前記撮影画像において、前記複数の要素のそれぞれの重心位置を特徴点位置として算出する特徴点位置算出ステップと、
   前記特徴点位置算出ステップで算出された前記特徴点位置と、前記基準チャートにおける実際の略重心位置とを用いて、前記カメラパラメータを推定するカメラパラメータ推定演算ステップとをコンピュータに実行させる
   ことを特徴とするプログラム。

Images