JP6536529B2 - 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 - Google Patents

Description

本開示は車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法に関する。

従来、車載カメラを用いて床面上に設けられたマーカを撮影し、得られた画像を用いて車載カメラの姿勢等をキャリブレーションする方法が知られている。このようなキャリブレーション方法として、特許文献１に開示された方法がある。

特許第４５５５８７６号公報

特許文献１に開示された車載カメラのキャリブレーション方法では、各カメラの撮影範囲にそれぞれマーカを設けておく必要がある。そのため、キャリブレーションを行うためには広いスペースが必要になる。また、多数のマーカを設けるために多大な労力を要する。

本開示は、床面に設けるマーカの数を抑制できる車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法を提供する。

本開示の一態様は、車載カメラ（１７、１９、２１、２３）のキャリブレーション装置（１）であって、車両（２７）に搭載された車載カメラを用いて画像を取得する画像取得ユニット（７）と、前記画像取得ユニットが取得した前記画像において床面上に設けられたマーカ（３９、４１、１３９、２３９）を認識するマーカ認識ユニット（９）と、前記画像取得ユニットが取得した前記画像において、前記車両の一定方向への移動にともない、前記マーカにおける第１の特徴部（４９、６１、６３、６９、７３）が、前記マーカにおける第２の特徴部（５１、６５、６７、７１、７５）に重なる位置に移動する過程が繰り返される回数に基づき、前記車両の移動距離を算出する移動距離算出ユニット（１１）と、前記画像取得ユニットが取得した前記画像のうち、前記マーカを含む特定画像を保存する画像保存ユニット（１３）と、前記画像保存ユニットが保存した前記特定画像を用いて前記車載カメラをキャリブレーションするキャリブレーションユニット（１５）と、を備える。

前記画像保存ユニットは、（ａ）前記マーカ認識ユニットが前記マーカを認識した画像と、（ｂ）過去に前記特定画像を取得したときの前記車両の位置からの、前記移動距離算出ユニットで算出した前記移動距離が、予め設定された距離に達したときに取得した前記画像とを、前記特定画像として保存するように構成される。

本開示の車載カメラのキャリブレーション装置は、過去に特定画像を取得したときの車両の位置から、予め設定された距離だけ移動したときに取得した画像も、特定画像として保存する。

そのため、１つのマーカについて、車両から見たマーカの相対位置がそれぞれ異なる複数の特定画像を保存することができる。そして、その複数の特定画像を用いて車載カメラのキャリブレーションを行うことができる。その結果、床面に予め設けておくマーカの数を抑制することができる。

また、本開示の車載カメラのキャリブレーション装置は、取得した画像において、車両の一定方向への移動にともない、マーカにおける第１の特徴部が、マーカにおける第２の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、車両の移動距離を算出する。そのため、１つの特定画像を取得してから、次の特定画像を取得するまでの車両の移動距離を正確に測定することができる。そのことにより、特定画像における、異なる時刻に撮影された同一のマーカ間の距離を正確に算出することができる。その結果、特定画像に基づくキャリブレーションを一層正確に行うことができる。

本開示の別態様は、車載カメラ（１７、１９、２１、２３）のキャリブレーション方法であって、車両（２７）に搭載された車載カメラを用いて画像を取得し（Ｓ１、Ｓ５）、取得した前記画像において床面上に設けられたマーカ（３９、４１、１３９、２３９）を認識し（Ｓ２）、取得した前記画像において、前記車両の一定方向への移動にともない、前記マーカにおける第１の特徴部が、前記マーカにおける第２の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、前記車両の移動距離を算出し（Ｓ６）、取得した前記画像のうち、前記マーカを含む特定画像を保存し（Ｓ４、Ｓ８）、保存した前記特定画像を用いて前記車載カメラをキャリブレーションする（Ｓ１０）。前記特定画像は、（ａ）前記マーカを認識した画像と、（ｂ）過去に前記特定画像を取得したときの前記車両の位置からの前記移動距離が、予め設定された距離に達したときに取得した前記画像とを含む。

本開示の車載カメラのキャリブレーション方法は、過去に特定画像を取得したときの車両の位置から、予め設定された距離だけ移動したときに取得した画像も、特定画像として保存する。
そのため、１つのマーカについて、車両から見たマーカの相対位置がそれぞれ異なる複数の特定画像を保存することができる。そして、その複数の特定画像を用いて車載カメラのキャリブレーションを行うことができる。その結果、床面に予め設けておくマーカの数を抑制することができる。

また、本開示の車載カメラのキャリブレーション方法では、取得した画像において、車両の一定方向への移動にともない、マーカにおける第１の特徴部が、マーカにおける第２の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、車両の移動距離を算出する。そのため、１つの特定画像を取得してから、次の特定画像を取得するまでの車両の移動距離を正確に測定することができる。そのことにより、特定画像における、異なる時刻に撮影された同一のマーカ間の距離を正確に算出することができる。その結果、特定画像に基づくキャリブレーションを一層正確に行うことができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

キャリブレーション装置１の構成を表すブロック図である。 キャリブレーション装置１の機能的構成を表すブロック図である。 マーカ３９、４１、前方範囲２９、右方範囲３１、左方範囲３３、及び後方範囲３５の位置関係を表す説明図である。 キャリブレーション装置１が実行する処理を表すフローチャートである。 マーカ３９、４１を認識する処理を表す説明図である。 移動距離Ｌの算出方法を表す説明図である。 画像５３、５５、５７、５９を表す説明図である。 キャリブレーション方法を表すフローチャートである。 前カメラ１７で撮影された画像５３と、解析パターンの座標とを表す説明図である。 マーカ３９、４１のマッチング方法を表す説明図である。 解析パターンとマーカ３９、４１との回転角を表す説明図である。 解析パターンを設置パターン座標系に移動させる方法を表す説明図である。 自車両２７とマーカ３９、４１との位置関係を表す説明図である。 カメラの方向を求める方法を表す説明図である。 移動距離Ｌの算出方法を表す説明図である。 移動距離Ｌの算出方法を表す説明図である。 第１の特定画像及び第２の特定画像を取得するときのマーカ３９、４１と、前方範囲２９との位置関係を表す説明図である。 画像５３に含まれるマーカ３９、４１を表す説明図である。

本開示の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．キャリブレーション装置１の構成
キャリブレーション装置１の構成を図１〜図３に基づき説明する。キャリブレーション装置１は、車載カメラのキャリブレーションを行う装置である。以下では、車載カメラを搭載している車両を自車両とする。キャリブレーション装置１は自車両に搭載されていてもよいし、自車両以外の場所に設置されていてもよい。

図１に示すように、キャリブレーション装置１は、ＣＰＵ３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５とする）と、を有する周知のマイクロコンピュータを中心に構成される。キャリブレーション装置１の各種機能は、ＣＰＵ３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、キャリブレーション装置１を構成するマイクロコンピュータの数は１つでも複数でもよい。

キャリブレーション装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図２に示すように、画像取得ユニット７と、マーカ認識ユニット９と、移動距離算出ユニット１１と、画像保存ユニット１３と、キャリブレーションユニット１５と、を備える。キャリブレーション装置１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

図１に示すように、自車両は、キャリブレーション装置１に加えて、前カメラ１７、右カメラ１９、左カメラ２１、後カメラ２３、及び表示装置２５を備える。前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３は車載カメラに対応する。

前カメラ１７により得られる画像は、図３に示すように、自車両２７の前方の撮影範囲（以下では前方範囲２９とする）を撮影した画像である。右カメラ１９により得られる画像は、図３に示すように、自車両２７の右方の撮影範囲（以下では右方範囲３１とする）を撮影した画像である。左カメラ２１により得られる画像は、図３に示すように、自車両２７の左方の撮影範囲（以下では左方範囲３３とする）を撮影した画像である。後カメラ２３により得られる画像は、図３に示すように、自車両２７の後方の撮影範囲（以下では後方範囲３５とする）を撮影した画像である。

前方範囲２９の一部は、右方範囲３１及び左方範囲３３とそれぞれ重複している。また、後方範囲３５の一部は、右方範囲３１及び左方範囲３３とそれぞれ重複している。前カメラ１７及び後カメラ２３は第１の車載カメラに対応し、右カメラ１９及び左カメラ２１は第２の車載カメラに対応する。表示装置２５は、キャリブレーション装置１から送られる信号に基づき画像を表示する。

２．自車両２７の移動及びマーカ３９、４１について
後述する処理を実行するときの自車両２７の動き、及びマーカ３９、４１について図３に基づき説明する。後述する処理を実行するとき、自車両２７は移動経路３７に沿って、一定の方向Ａに移動する。移動経路３７は直線の経路である。自車両２７の前後軸は、移動経路３７と平行であってもよいし、非平行であってもよい。

自車両２７が移動経路３７に沿って移動するとき、自車両２７の前後軸の方向は常に一定である。自車両２７は自走することで移動経路３７に沿って移動してもよいし、ベルトコンベア等の搬送ユニットによって移動経路３７に沿って搬送されてもよい。

自車両２７の移動の態様は、常に移動し続ける態様であってもよいし、移動と停止とを交互に繰り返す態様であってもよい。また、自車両２７の移動速度は一定であってもよいし、変化してもよい。

床面上には一対のマーカ３９、４１が設けられている。マーカ３９、４１は、例えば、塗料を床面に塗布して形成できる。マーカ３９、４１の形状及び大きさは、キャリブレーション装置１にとって既知の値である。マーカ３９、４１の形状は矩形である。なお、マーカ３９、４１の形状は、矩形以外の形状であってもよい。

自車両２７が移動経路３７に沿って移動するとき、少なくともいずれかの時期において、マーカ３９、４１は、前方範囲２９、右方範囲３１、左方範囲３３、及び後方範囲３５のうちのいずれかに含まれる。

例えば、時刻ｔ_０では、マーカ３９、４１は、前方範囲２９、右方範囲３１、左方範囲３３、及び後方範囲３５のいずれにも含まれないが、その後、時刻ｔ_１において、マーカ３９は、前方範囲２９と、右方範囲３１における前方寄りの部分とに含まれる。また、時刻ｔ_１において、マーカ４１は、前方範囲２９と、左方範囲３３における前方寄りの部分とに含まれる。

時刻ｔ_１における状態は、前方範囲２９と右方範囲３１とが重複する範囲にマーカ３９が含まれ、前方範囲２９と左方範囲３３とが重複する範囲にマーカ４１が含まれる状態である。

その後、時刻ｔ_２において、マーカ３９は、右方範囲３１における中央の部分に含まれる。また、時刻ｔ_２において、マーカ４１は、左方範囲３３における中央の部分に含まれる。中央とは、移動経路３７の方向における中央を意味する。

時刻ｔ_２における自車両２７の位置は、時刻ｔ_１における位置に比べて、移動距離Ｌ_１２だけ、方向Ａに進んでいる。よって、時刻ｔ_２における、右方範囲３１及び左方範囲３３を基準としたマーカ３９、４１の位置は、時刻ｔ_１における位置に比べて、移動距離Ｌ_１２だけ、方向Ａとは反対方向に移動している。

その後、時刻ｔ_３において、マーカ３９は、右方範囲３１における後方寄りの部分と、後方範囲３５とに含まれる。また、時刻ｔ_３において、マーカ４１は、左方範囲３３における後方寄りの部分と、後方範囲３５とに含まれる。

時刻ｔ_３における状態は、右方範囲３１と後方範囲３５とが重複する範囲にマーカ３９が含まれ、左方範囲３３と後方範囲３５とが重複する範囲にマーカ４１が含まれる状態である。

時刻ｔ_３における自車両２７の位置は、時刻ｔ_２における位置に比べて、移動距離Ｌ_２３だけ、方向Ａに進んでいる。よって、時刻ｔ_３における、右方範囲３１及び左方範囲３３を基準としたマーカ３９、４１の位置は、時刻ｔ_２における位置に比べて、移動距離Ｌ_２３だけ、方向Ａとは反対方向に移動している。

２．キャリブレーション装置１が実行する処理
キャリブレーション装置１が実行する処理を図３〜図１４に基づき説明する。図４のステップ１では、画像取得ユニット７が、前カメラ１７、右カメラ１９、及び左カメラ２１を用いて、同時に画像を取得する。

ステップ２では、マーカ認識ユニット９が、前記ステップ１で取得した前カメラ１７の画像において、マーカ３９、４１を認識する処理を実行する。この処理を図５に基づき説明する。マーカ認識ユニット９は、前カメラ１７の画像における一部をターゲット検出範囲４３とする。ターゲット検出範囲４３は、マーカ３９、４１が収まる広さを有する。

マーカ認識ユニット９は、ターゲット検出範囲４３において走査しながらパターンマッチングを行う。すなわち、走査方向４５に沿って、マーカ３９、４１に特有のパターンを探す。走査方向４５は車幅方向と平行である。マーカ３９、４１に特有のパターンとは、例えば、走査方向４５に沿って、「黒→白→黒」という輝度変化が２回繰り返されるパターンである。

図５に示す時刻ｔ_０の状況のように、ターゲット検出範囲４３にマーカ３９、４１が存在しない場合、マーカ３９、４１に特有のパターンが存在せず、マーカ３９、４１を認識できない。図５に示す時刻ｔ_１の状況のように、ターゲット検出範囲４３にマーカ３９、４１が存在する場合、マーカ３９、４１に特有のパターンが存在し、マーカ３９、４１を認識できる。

図４に戻り、ステップ３では、前記ステップ２においてマーカ３９、４１を認識できたか否かをマーカ認識ユニット９が判断する。マーカ３９、４１を認識できた場合はステップ４に進み、マーカ３９、４１を認識できなかった場合はステップ１に戻る。

ステップ４では、前記ステップ１で取得した画像であって、マーカ３９、４１を認識できた画像を、画像保存ユニット１３がメモリ５に保存する。本ステップで保存する画像を以下では第１の特定画像とする。第１の特定画像は特定画像に対応する。第１の特定画像は、その中にマーカ３９、４１を含む画像である。第１の特定画像には、前カメラ１７の画像と、右カメラ１９の画像と、左カメラ２１の画像とが含まれる。第１の特定画像は、図３に示す時刻ｔ_１の状態で撮影された画像である。

ステップ５では、画像取得ユニット７が、前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３を用いて、同時に画像を取得する。
ステップ６では、移動距離算出ユニット１１が自車両２７の移動距離Ｌを算出する。移動距離Ｌとは、最も新しい特定画像を取得したときの自車両２７の位置から、現時点の自車両２７の位置までの移動距離である。すなわち、第１の特定画像は取得済みであって、後述する第２の特定画像は未だ取得していない場合、移動距離Ｌは、第１の特定画像を取得したときの自車両２７の位置から、現時点の自車両２７の位置までの移動距離である。また、第２の特定画像は取得済みであって、後述する第３の特定画像は未だ取得していない場合、移動距離Ｌは、第２の特定画像を取得したときの自車両２７の位置から、現時点の自車両２７の位置までの移動距離である。

移動距離Ｌの算出方法を図６に基づき説明する。ステップ５〜７は、ステップ７で肯定判断されるまで繰り返し実行される。繰り返されるステップ５においてそれぞれ画像４７が得られる。画像４７は、右カメラ１９の画像である。

自車両２７は方向Ａに移動しているので、その移動にともない、図６に示すように、後で取得された画像４７であるほど、画像４７におけるマーカ３９の位置は、方向Ａとは反対方向に移動している。

図６に示すように、移動距離算出ユニット１１は、それぞれのステップ５で取得した画像４７において、マーカ３９、前辺４９、及び後辺５１を認識する。前辺４９は、マーカ３９の輪郭線のうち、方向Ａ側にある部分である。後辺５１は、マーカ３９の輪郭線のうち、方向Ａとは反対側にある部分である。前辺４９から後辺５１までの、方向Ａにおける距離はΔＬであり、既知の値である。前辺４９は第１の特徴部に対応し、後辺５１は第２の特徴部に対応する。

マーカ３９の位置が、１回目のステップ５で取得した画像４７における位置から、直近のステップ５で取得した画像４７における位置に至るまでには、ｊ回目のステップ５で取得した画像４７における前辺４９が、ｉ回目のステップ５で取得した画像４７における後辺５１に重なる位置に移動するという過程（以下では単位距離移動過程とする）がＸ回繰り返されている。図６に示す例では、ｊ回目のステップ５で取得した画像４７における前辺４９が、１回目のステップ５で取得した画像４７における後辺５１に重なる位置に移動している。

ここで、ｊ、iはそれぞれ自然数であり、ｊはｉより大きい。また、Ｘは自然数である。１回目のステップ５とは、ステップ４の実行直後、又は、後述するステップ９で否定判断された直後に実行されるステップ５である。１回目のステップ５を実行するタイミングは、過去に特定画像を取得したタイミングに対応する。ｉ、ｊ回目のステップ５とは、ステップ４の実行後、又は、後述するステップ９で否定判断された後において、ｉ、ｊ回目に実行されるステップ５である。

１回目のステップ５で画像４７を取得したときから、直近のステップ５で画像４７を取得したときまでに、マーカ３９は、画像４７において、ΔＬにＸを乗算した値だけ、方向Ａとは反対方向に移動している。このことは、直近のステップ５で画像４７を取得したときの自車両２７の位置が、１回目のステップ５で画像４７を取得したときの自車両２７の位置に比べて、ΔＬにＸを乗算した値だけ、方向Ａに移動していることを意味する。すなわち、ΔＬにＸを乗算した値は、移動距離Ｌに該当する。

移動距離算出ユニット１１は、それぞれのステップ５で取得した画像４７を用いて、前記のＸを求め、それをΔＬに乗算することで、移動距離Ｌを算出する。
図４に戻り、ステップ７では、前記ステップ６で算出した移動距離Ｌが、予め設定された距離に達したか否かを画像保存ユニット１３が判断する。第１の特定画像は保存済みであり、第２の特定画像は未だ保存していない場合、予め設定された距離は、上述したＬ_１２である。また、第２の特定画像は保存済みであり、第３の特定画像は未だ保存していない場合、予め設定された距離は、上述したＬ_２３である。移動距離Ｌが予め設定された距離に達している場合はステップ８に進み、達していない場合はステップ５に戻る。

ステップ８では、画像保存ユニット１３が、直近の前記ステップ５で取得した画像を特定画像としてメモリ５に保存する。保存する特定画像が、第１の特定画像の次に保存されるものである場合は、その特定画像を第２の特定画像とする。第２の特定画像は、図３に示す時刻ｔ_２の状態で撮影された画像である。第２の特定画像には、右カメラ１９の画像、及び左カメラ２１の画像が含まれる。

また、保存する特定画像が、第２の特定画像の次に保存されるものである場合は、その特定画像を第３の特定画像とする。第３の特定画像は、図３に示す時刻ｔ_３の状態で撮影された画像である。第３の特定画像には、右カメラ１９の画像、左カメラ２１の画像、及び後カメラ２３の画像が含まれる。第２の特定画像及び第３の特定画像は、過去に特定画像を取得したときの自車両の位置から、予め設定された距離だけ移動したときに取得した画像に対応する。

ステップ９では、第１〜第３の特定画像を全て保存済みであるか否かを画像保存ユニット１３判断する。全て保存済みである場合はステップ１０に進み、未だ保存していない特定画像がある場合はステップ５に戻る。

第１〜第３の特定画像により得られる、前カメラ１７の画像５３、右カメラ１９の画像５５、左カメラ２１の画像５７、及び後カメラ２３の画像５９を図７に示す。画像５３には、第１の特定画像におけるマーカ３９、４１が含まれる。画像５５及び画像５７には、第１〜第３の特定画像におけるマーカ３９、４１がそれぞれ含まれる。画像５９には、第３の特定画像におけるマーカ３９、４１が含まれる。

図４に戻り、ステップ１０では、画像５３、５５、５７、５９を用いて、前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３のキャリブレーションを行う。キャリブレーションの方法は、特許第４５５５８７６号公報に開示されている方法と同様である。以下ではその概要を説明する。

図８のステップ１１では、画像５３からマーカ３９、４１の二次元座標を検出する。つまり、図９に示すゆがんだ四角形であるマーカ３９、４１における４箇所の頂点の座標（ｘ₀、ｙ₀）を検出する。

次に、下記ステップ１２〜１４の処理を繰り返すことにより、後述する様に、ゆがんだ四角形の頂点の座標から、本来の長方形の頂点に対応する座標（以下では解析パターンの座標とする）を求めるとともに、その解析パターンに対する前カメラ１７の向き、すなわち、前カメラ１７の俯角θpitch及びロール角θrollを求める。

具体的には、ステップ１２では、以下の式１を用いて、ロール補正を行って、頂点の２次元座標（ｘ₀、ｙ₀）から補正後の座標（ｘ₁、ｙ₁）を求める。ロール補正とは、前カメラ１７の光軸における回転方向の補正である。

ステップ１３では、所定の俯角θpitchを用い、式２にて俯瞰変換を行って、前記補正後の座標（ｘ₁、ｙ₁）から俯瞰変換後の座標（ｘ₂、ｙ₂）を求める。なお、前記式２におけるｆはカメラ焦点距離を示し、Ｈはカメラ高さを示す。俯瞰変換とは、マーカ３９、４１が設けられた床面を上方から見た鳥瞰図にする変換である。

この俯瞰変換後の座標とは、図９に示すように、前カメラ１７の位置を原点として求めた解析パターンの位置である。
ステップ１４では、式３を用いて、マーカ３９、４１とのマッチング評価を行う。具体的には、例えば図１０に示すように、前記俯瞰変換後のマーカ３９、４１の頂点（ｘ₂、ｙ₂）と、本来の長方形形状のマーカ３９、４１の各頂点の座標との各誤差ｅ１〜ｅ４を求めるとともに、前記式３を用いて、その誤差ｅ１〜ｅ４の二乗の和Ｅｒｒを求める。

つまり、上述したステップ１２〜１４では、逐次、ロール角θroll、俯角θpitchを少しずつ変化させる処理を繰り返し、その際に、前記Ｅｒｒが最小となるロール角θroll及び俯角θpitchを決定するのである。

従って、決定されたロール角θroll及び俯角θpitchにより、前カメラ１７の向きが分かり、また、決定されたロール角θroll及び俯角θpitchを前記式２に適用することにより、撮影したマーカ３９、４１に対する前カメラ１７の位置が定まる。

右カメラ１９、左カメラ２１、及び後カメラ２３についても、同様に、ロール角θroll及び俯角θpitchを求める。
ステップ１５では、前記ステップ１２〜１４の処理によって求めた各カメラの俯角θpitch及びロール角θrollを出力する。

ステップ１６では、図１１に示すように、前記カメラ位置を原点として求めた解析パターンを、対応する床面上のマーカ３９、４１に一致させるための回転角θyawpを求める。
なお、図１１で示す回転角θyawpは、例えば本来のマーカ３９の外側の辺の延長線と解析パターン位置におけるマーカ３９の外側の辺の延長線とが交差する角度である。

ステップ１７では、図１２に示すように、式４を用いて、カメラ位置を原点として、解析パターンを前記回転角θyawp分回転させ、本来の床面上のマーカ３９、４１と方向を揃えたときの座標（ｘ₃、ｙ₃）を求める。

ステップ１８では、回転後の解析パターンの１頂点を原点とした時のカメラ座標（−ｘ₃、−ｙ₃）を求める。
ステップ１９では、式５を用いて、前記カメラ座標（−ｘ₃、−ｙ₃）から、既知の設置パターン座標系におけるカメラ座標（ｃ_ｘp、ｃ_ｙp）を求める。つまり、カメラ座標を図１２に示す様に平行移動して、設置パターン座標系におけるカメラ座標（ｃ_ｘp、ｃ_ｙp）を求める。

この設置パターン座標系とは、床面を基準とする座標系である。なお、前記式５の（ｘ_p、ｙ_p）は、床面にマーカ３９、４１を形成した際に、設置パターン座標系における座標として計測して取得しておく。

そして、各カメラにおいて、前記ステップ１６〜１９と同様な処理を行うことにより、各カメラとマーカ３９、４１との位置関係が定まることになる。
ステップ２０にて、カメラのカメラ座標（ｃｘ_p、ｃｙ_p）と、カメラ方向θyawpを出力する。なお、このカメラ方向θyawpは、図１１、図１２における回転角θyawpと同一である。

従って、図１３に示す様に、検出したカメラ位置と実際に自車両２７に搭載されたカメラ位置とを一致させるように、マーカ３９、４１の画像を移動させて画像合成を行うことにより、自車両２７とマーカ３９、４１との位置関係が明瞭になる。すなわち、マーカ３９、４１に対して、自車両２７がどのような位置及び方向に存在しているのかが分かる。

以下に示すステップ２１〜２３では、自車両２７に対する各カメラの方向の求め方を、前カメラ１７を例に挙げて説明する。各カメラの方向とは、床面と平行な平面における方向である。

なお、以下では、説明を分かりやすくするために、図１４に示すように、前カメラ１７及び後カメラ２３を結ぶ軸が、設置パターン系のＹ軸に対して傾いている場合であって、換言すれば、θyawcが大きい場合を例に挙げる。

ステップ２１では、設置パターン座標系において、例えば算出した前後のカメラ位置を結ぶ線の方向（以下では第１ずれ角θyawcとする）を算出する。なお、ここでは、設置パターン座標系の原点を同図上方に所定距離だけ移動してある。

ステップ２２では、車両座標系において、自車両２７の正中線に対する前後のカメラ位置の方向（以下では、第２ずれ角θyawc2とする）を求める。なお、前後のカメラが正中線上にある場合には、この第２ずれ角θyawc2は０である。なお、車両座標系とは、自車両２７の後端の中央を原点とする座標系である。また、自車両２７の正中線とは、自車両２７を左右対称に分割する線である。

続くステップ２３では、前記式６を用いて、自車両２７に対する前カメラ１７の水平面における方向θyawを算出する。具体的には、前記回転角θyawpに第１ずれ角θyawcと第２ずれ角θyawc2を加算する演算により、自車両２７に対する前カメラ１７の方向θyawを算出する。そして、その方向θyawを出力し、一旦本処理を終了する。

なお、右カメラ１９、左カメラ２１、及び後カメラ２３の方向も、同様に、例えば設置パターン座標系のＹ軸に対するずれ等を用いて求めることができるので、その説明は省略する。

従って、本実施形態では、上述した処理によって、自車両２７に対する各カメラの姿勢、すなわち、俯角θpitch、ロール角θroll、方向θyawを求めることができるので、これらの値とカメラ搭載設計値とを比較し、カメラ搭載設計値となるように例えば、図示しないカメラの駆動装置を駆動して調整することができる。

４．キャリブレーション装置１が奏する効果
（１Ａ）キャリブレーション装置１によれば、前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３のそれぞれについて、マーカ３９、４１を含む画像を得ることができる。そのため、全てのカメラの撮影範囲ごとに、予め床面にマーカを形成しておく必要がない。

（１Ｂ）図７に示すように、右カメラ１９の画像５５、及び左カメラ２１の画像５７は、仮想的に、複数のマーカを含む。そのため、単一のマーカを含む場合に比べて、キャリブレーションの精度を高めることができる。

（１Ｃ）キャリブレーション装置１は、画像４７において、自車両２７の方向Ａへの移動にともない、マーカ３９における前辺４９が後辺５１に重なる位置に移動する過程が繰り返される回数に基づき、自車両２７の移動距離Ｌ_１２、Ｌ_２３を正確に算出することができる。移動距離Ｌ_１２、Ｌ_２３は、図７に示す画像５５、５７におけるマーカ３９、４１の方向Ａにおける間隔である。よって、キャリブレーション装置１は、画像５５、５７におけるマーカ３９、４１の方向Ａにおける間隔を正確に算出することができる。その結果、画像５５、５７に基づくキャリブレーションを一層正確に行うことができる。

（１Ｄ）キャリブレーション装置１は、前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３のそれぞれについて、特定画像を保存し、キャリブレーションを行うことができる。

（１Ｅ）図３に示すように、キャリブレーション装置１は、時刻ｔ_１において、前方範囲２９と右方範囲３１とが重複する範囲にマーカ３９が含まれ、前方範囲２９と左方範囲３３とが重複する範囲にマーカ４１が含まれる状態で、前カメラ１７、右カメラ１９、及び左カメラ２１を用いて撮影を行う。そのため、前カメラ１７、右カメラ１９、及び左カメラ２１について、方向θyawを求めることができる。

また、キャリブレーション装置１は、時刻ｔ_３において、右方範囲３１と後方範囲３５とが重複する範囲にマーカ３９が含まれ、左方範囲３３と後方範囲３５とが重複する範囲にマーカ４１が含まれる状態で、右カメラ１９、左カメラ２１、及び後カメラ２３を用いて撮影を行う。そのため、右カメラ１９、左カメラ２１、及び後カメラ２３について、方向θyawを求めることができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）移動距離Ｌを算出する方法は他の方法であってもよい。例えば、図１５に示すように、画像４７において、自車両２７の方向Ａへの移動にともない、マーカ１３９における頂点６１が頂点６７に重なる位置まで移動し、頂点６３が頂点６５に重なる位置まで移動する過程が繰り返される回数に基づき、移動距離Ｌを算出してもよい。頂点６１、６３は、マーカ１３９のうち、方向Ａ側にある頂点であり、頂点６５、６７は、マーカ１３９のうち、方向Ａとは反対側にある頂点である。頂点６１と頂点６７との方向Ａにおける距離は既知の値ΔＬである。また、頂点６３と頂点６５との方向Ａにおける距離もΔＬである。頂点６１、６３は第１の特徴部に対応し、頂点６５、６７は第２の特徴部に対応する。

（２）移動距離Ｌを算出する方法は他の方法であってもよい。例えば、図１６に示すように、マーカ２３９は、輝度が高い正方形の領域６９、７１と、輝度が低い正方形の領域７３、７５とが組み合わされ、市松模様状の形態を有する。領域６９、７１、７３、７５の各辺の大きさは同一であり、既知の値ΔＬである。自車両２７の方向Ａへの移動にともない、領域７３が領域７１に重なる位置まで移動し、領域６９が領域７５に重なる位置まで移動する過程が繰り返される回数に基づき、移動距離Ｌを算出してもよい。

領域７３が領域７１に重なる位置まで移動し、領域６９が領域７５に重なる位置まで移動することは、例えば、以下のように検出することができる。移動前の画像４７と、移動後の画像４７とで、同じ位置にある画素間の輝度差を算出する。そして、その輝度差の絶対値の、各画素における総和を算出する。絶対値の総和は、領域７３が領域７１に重なる位置まで移動し、領域６９が領域７５に重なる位置まで移動したときに最大となる。よって、輝度差の絶対値の総和に基づき、領域７３が領域７１に重なる位置まで移動し、領域６９が領域７５に重なる位置まで移動したことを検出できる。領域６９、７３は第１の特徴部に対応し、領域７１、７５は第２の特徴部に対応する。

（３）自車両２７は、前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３のうちの１〜３個のカメラを備えていなくてもよい。例えば、自車両２７は、３個のカメラを備えるものであってもよい。３個のカメラとして、前カメラ１７、右カメラ１９、及び左カメラ２１の組み合わせ、右カメラ１９、左カメラ２１、及び後カメラ２３の組み合わせ、前カメラ１７、左カメラ２１、及び後カメラ２３の組み合わせ、前カメラ１７、右カメラ１９、及び後カメラ２３の組み合わせが挙げられる。

また、自車両２７は、２個のカメラを備えるものであってもよい。２個のカメラとして、前カメラ１７及び右カメラ１９の組み合わせ、前カメラ１７及び左カメラ２１の組み合わせ、右カメラ１９及び後カメラ２３の組み合わせ、左カメラ２１及び後カメラ２３の組み合わせが挙げられる。

また、自車両２７は、前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３のうちの１個のみを備えるものであってもよい。また、自車両２７は、前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３に加えてさらに他のカメラを備えていてもよい。他のカメラについても、前カメラ１７、右カメラ１９、左カメラ２１、及び後カメラ２３と同様にキャリブレーションを行うことができる。

（４）図１７に示すように、前方範囲２９には、第１の特定画像を取得するときだけでなく、第２の特定画像を取得するときにも、マーカ３９、４１が含まれていてもよい。この場合、図１８に示すように、前カメラ１７において得られる画像５３には、第１の特定画像におけるマーカ３９、４１と、第２の特定画像におけるマーカ３９、４１とが仮想的に含まれる。この場合、画像５３に含まれるマーカの数が増加するので、前カメラ１７のキャリブレーションを一層正確に行うことができる。

同様に、後方範囲３５には、第３の特定画像を取得するときだけでなく、第２の特定画像を取得するときにも、マーカ３９、４１が含まれていてもよい。この場合、後カメラ２３において得られる画像５９には、第２の特定画像におけるマーカ３９、４１と、第３の特定画像におけるマーカ３９、４１とが仮想的に含まれる。この場合、画像５９に含まれるマーカの数が増加するので、後カメラ２３のキャリブレーションを一層正確に行うことができる。

（５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（６）上述したキャリブレーション装置１の他、当該キャリブレーション装置１を構成要素とするシステム、当該キャリブレーション装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等、種々の形態で本開示を実現することもできる。

１…キャリブレーション装置、７…画像取得ユニット、９…マーカ認識ユニット、１１…移動距離算出ユニット、１３…画像保存ユニット、１５…キャリブレーションユニット、１７…前カメラ、１９…右カメラ、２１…左カメラ、２３…後カメラ、２７…自車両、３９、４１、１３９、２３９…マーカ、４７…画像、４９…前辺、５１…後辺、５３、５５、５７、５９…画像

Claims (6)

1. 車載カメラ（１７、１９、２１、２３）のキャリブレーション装置（１）であって、
   車両（２７）に搭載された車載カメラを用いて画像を取得する画像取得ユニット（７）と、
   前記画像取得ユニットが取得した前記画像において床面上に設けられたマーカ（３９、４１、１３９、２３９）を認識するマーカ認識ユニット（９）と、
   前記画像取得ユニットが取得した前記画像において、前記車両の一定方向への移動にともない、前記マーカにおける第１の特徴部（４９、６１、６３、６９、７３）が、前記マーカにおける第２の特徴部（５１、６５、６７、７１、７５）に重なる位置に移動する過程が繰り返される回数に基づき、前記車両の移動距離を算出する移動距離算出ユニット（１１）と、
   前記画像取得ユニットが取得した前記画像のうち、前記マーカを含む特定画像を保存する画像保存ユニット（１３）と、
   前記画像保存ユニットが保存した前記特定画像を用いて前記車載カメラをキャリブレーションするキャリブレーションユニット（１５）と、
   を備え、
   前記画像保存ユニットは、（ａ）前記マーカ認識ユニットが前記マーカを認識した画像と、（ｂ）過去に前記特定画像を取得したときの前記車両の位置からの、前記移動距離算出ユニットで算出した前記移動距離が、予め設定された距離に達したときに取得した前記画像とを、前記特定画像として保存するように構成された車載カメラのキャリブレーション装置。
2. 請求項１に記載の車載カメラのキャリブレーション装置であって、
   前記画像取得ユニットは、複数の前記車載カメラからそれぞれ前記画像を取得するように構成され、
   前記画像保存ユニットは、複数の前記車載カメラのそれぞれについて、前記特定画像を保存するように構成され、
   前記キャリブレーションユニットは、複数の前記車載カメラのそれぞれについてキャリブレーションを行うように構成された車載カメラのキャリブレーション装置。
3. 請求項２に記載の車載カメラのキャリブレーション装置であって、
   複数の前記車載カメラに含まれる第１の車載カメラ（１７、２３）及び第２の車載カメラ（１９、２１）は、重複する撮影範囲を有し、
   前記画像保存ユニットは、前記重複する撮影範囲に前記マーカが含まれる状況において同時に取得された前記第１の車載カメラの画像、及び前記第２の車載カメラの画像を、それぞれ、前記特定画像として保存するように構成された車載カメラのキャリブレーション装置。
4. 車載カメラ（１７、１９、２１、２３）のキャリブレーション方法であって、
   車両（２７）に搭載された車載カメラを用いて画像を取得し（Ｓ１、Ｓ５）、
   取得した前記画像において床面上に設けられたマーカ（３９、４１、１３９、２３９）を認識し（Ｓ２）、
   取得した前記画像において、前記車両の一定方向への移動にともない、前記マーカにおける第１の特徴部が、前記マーカにおける第２の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、前記車両の移動距離を算出し（Ｓ６）、
   取得した前記画像のうち、前記マーカを含む特定画像を保存し（Ｓ４、Ｓ８）、
   保存した前記特定画像を用いて前記車載カメラをキャリブレーションし（Ｓ１０）、
   前記特定画像は、（ａ）前記マーカを認識した画像と、（ｂ）過去に前記特定画像を取得したときの前記車両の位置からの前記移動距離が、予め設定された距離に達したときに取得した前記画像とを含む車載カメラのキャリブレーション方法。
5. 請求項４に記載の車載カメラのキャリブレーション方法であって、
   複数の前記車載カメラからそれぞれ前記画像を取得し、
   複数の前記車載カメラのそれぞれについて、前記特定画像を保存し、
   複数の前記車載カメラのそれぞれについてキャリブレーションを行う車載カメラのキャリブレーション方法。
6. 請求項５に記載の車載カメラのキャリブレーション方法であって、
   複数の前記車載カメラに含まれる第１の車載カメラ及び第２の車載カメラは、重複する撮影範囲を有し、
   前記特定画像には、前記重複する撮影範囲に前記マーカが含まれる状況において同時に取得された前記第１の車載カメラの画像、及び前記第２の車載カメラの画像が含まれる車載カメラのキャリブレーション方法。