JP2006011570A - カメラキャリブレーション方法及びカメラキャリブレーション装置 - Google Patents

Abstract

【課題】カメラの画像座標がレーザレーダの探査座標に確実に整合して障害物の誤認識を確実に防止し得るように、カメラの画像座標を校正する。
【解決手段】自車１の旋回半径から自車１の直進走行状態を検出し、かつ、スキャン式レーザレーダ２の探査結果に基づく自車１と障害物との距離の時間変化及び自車速から障害物が静止状態であることを検出したときに、前記距離と前記自車速とにより自車１と障害物とのレーダ側の衝突予測時間を算出し、単眼カメラ３の撮影画像上の障害物の水平方向の時間変化から自車１と障害物との画像側の衝突予測時間を算出し、両衝突予測時間のずれからレーザレーダ２の探査座標に対する単眼カメラ３の画像座標の水平方向のずれを検出し、このずれが打ち消されて両衝突予測時間が一致するように単眼カメラ３の画像座標を校正する。
【選択図】図１

Description

本発明は、スキャン式レーダの自車前方の探査結果とカメラの自車前方の撮影結果とを組み合わせたセンサフュージョンの認識処理により、自車前方の先行車等の障害物を認識する障害物認識における、前記カメラの画像座標の水平方向のずれを校正するカメラキャリブレーション方法及びカメラキャリブレーション装置に関する。

一般に、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等を搭載した車両において、いわゆる被害軽減自動ブレーキ機能等を実現するため、スキャン式レーザレーダの自車前方の探査結果とカメラ（画像センサ）の自車前方の撮影結果とを組み合わせたセンサフュージョンの認識処理により、自車前方の先行車等の障害物を認識することが、種々提案されている。

このセンサフュージョンの認識処理の一例として、本出願人は、画像センサ（カメラ）の撮影画像のエッジヒストグラムに基いて撮影画像の照合パターンを求めるとともに、スキャン式レーザレーダの自車前方の探査結果に基づいてレーザの各反射点の分布パターンを求め、両パターンを融合して得られた融合パターンと辞書パターンとのパターンマッチングにより、自車前方の先行車等の障害物を認識することを既に提案している（例えば、特許文献１参照。）。

また、前記のセンサフュージョンの認識処理の他の例として、画像処理装置により撮影した自車前方の物標の輪郭を抽出し、抽出した輪郭の物標につき、レ−ダ装置が計測したその物標までの距離値を用いて同物標の実際の寸法値を求め、その寸法値から物標が何であるかを識別することも提案されている（例えば、特許文献２参照。）。

特開２００３−９９７６２号公報（段落［００３２］−［００４８］、図１） 特開平７−１８２４８４号公報（段落［０００６］−［００１０］、図１）

前記従来のセンサフュージョンの障害物認識においては、レーダの探査座標とカメラの撮影座標とが整合しているものとして、レーダの探査結果とカメラの撮影結果とを組み合わせているが、自車に搭載するときの取り付け誤差や走行中の振動によってカメラの位置がずれると、レーダとカメラの座標のずれが発生して障害物の誤認識（認識できない状態を含む）が発生する問題がある。

なお、この問題を解消するため、カメラの画像座標を、例えば撮影画像中の自車のボンネットやエンブレム等の基準物（不動物）の位置ずれにしたがって校正することが考えられるが、この場合、レーザレーダの探査座標とは無関係に校正されるため、校正されたカメラの画像座標がレーザレーダの探査座標と整合するとは限らず、障害物の誤認識を確実に防止することはできない。

本発明は、スキャン式レーダの探査結果とカメラの撮影結果とに基くこの種のセンサフュージョンの障害物認識において、カメラの画像座標がレーザレーダの探査座標に確実に整合して障害物の誤認識を確実に防止し得るように、カメラの画像座標を校正することを目的とする。

上記した目的を達成するために、本発明のカメラキャリブレーション方法は、自車に搭載したスキャン式レーダの自車前方の探査結果と、自車に搭載したカメラの自車前方の撮影結果とを組み合わせたセンサフュージョンの認識処理により、自車前方の先行車等の障害物を認識する障害物認識の前記カメラの画像座標を校正するカメラキャリブレーション方法であって、自車の旋回半径から自車の直進走行状態を検出し、かつ、前記探査結果に基づく自車と前記障害物との距離の時間変化及び自車速から前記障害物が静止状態であることを検出したときに、前記距離と前記自車速とにより自車と前記障害物とのレーダ側の衝突予測時間を算出し、前記カメラの撮影画像上の前記障害物の水平方向の時間変化から自車と前記障害物との画像側の衝突予測時間を算出し、前記両衝突予測時間のずれから前記スキャン式レーダの探査座標に対する前記カメラの画像座標の前記水平方向のずれを検出し、前記水平方向のずれが打ち消されて前記両衝突予測時間が一致するように前記カメラの画像座標を校正することを特徴としている（請求項１）。

また、本発明のカメラキャリブレーション方法は、カメラの撮影画像の垂直エッジのヒストグラムのピーク点を検出し、前記カメラの撮影画像上の障害物の水平方向の時間変化を、前記カメラの撮影画像の垂直エッジのヒストグラムのピーク点の軌跡から検出することも特徴としている（請求項２）。

そして、本発明のカメラキャリブレーション方法は、スキャン式レーダがスキャン式レーザレーダであって、カメラが単眼カメラであることが実用的で好ましい（請求項３）。

つぎに、本発明のカメラキャリブレーション装置は、自車に搭載されたスキャン式レーダの自車前方の探査結果と自車に搭載されたカメラの自車前方の撮影結果とを組み合わせたセンサフュージョンの認識処理により、自車前方の先行車等の障害物を認識する障害物認識装置に設けらた前記カメラの画像座標校正用のカメラキャリブレーション装置であって、自車の旋回半径から自車の直進走行状態を検出する自車状態検出手段と、前記探査結果に基づく自車と前記障害物との距離の時間変化及び自車速から前記障害物の静止状態を検出する障害物状態検出手段と、前記自車状態検出手段が前記直進走行状態を検出し、かつ、前記障害物状態検出手段が前記静止状態を検出したときに、校正許可を発生する校正制御手段と、前記距離と前記自車速とにより自車と前記障害物とのレーダ側の衝突予測時間を算出し、前記カメラの撮影画像上の前記障害物の水平方向の時間変化から自車と前記障害物との画像側の衝突予測時間を算出する衝突予測時間算出手段と、前記両衝突予測時間のずれから前記スキャン式レーダの探査座標に対する前記カメラの画像座標の前記水平方向のずれを検出するカメラずれ検出手段と、前記水平方向のずれが打ち消されて前記両衝突予測時間が一致するように前記カメラの画像座標を更正する座標校正手段とを備えたことを特徴としている（請求項４）。

また、本発明のカメラキャリブレーション装置は、衝突予測時間算出手段により、カメラの撮影画像の垂直エッジのヒストグラムのピーク点を検出し、前記カメラの撮影画像上の障害物の水平方向の時間変化を、前記カメラの撮影画像の垂直エッジのヒストグラムのピーク点の軌跡から検出するようにしたことも特徴としている（請求項５）。

そして、本発明のカメラキャリブレーション装置も、スキャン式レーダがスキャン式レーザレーダであって、カメラが単眼カメラであることが実用的で好ましい（請求項６）。

まず、請求項１、４の構成によれば、自車の旋回半径から自車が直進走行状態であることを検出し、かつ、スキャン式レーダの探査結果から自車前方の障害物が静止状態であることを検出し、カメラの画像座標のずれの検出条件が整ったときに、スキャン式レーダの探査結果から算出したレーダ側の衝突予測時間と、カメラの撮影画像から算出した画像側の衝突予測時間とのずれに基き、スキャン式レーダの探査座標に対するカメラの画像座標の水平方向のずれを検出し、このずれを打ち消してスキャン式レーダの探査座標に整合するようにカメラの画像座標を校正することができ、障害物の誤認識を確実に防止することができる。

また、請求項２、５の構成によれば、カメラの撮影画像上の障害物の水平方向の時間変化検出する具体的な構成を提供することができ、請求項３、６の構成によれば、スキャン式レーダ、カメラの実用的な構成を提供することができる。

つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図８にしたがって詳述する。

図１はカメラキャリブレーション装置を搭載した自車１の自動ブレーキ制御機構のブロック図、図２は図１の動作説明用のフローチャート、図３は図２の一部の詳細な動作説明用のフローチャート、図４は図１の撮影画像、垂直エッジヒストグラムの時間変化の説明図、図５、図６は後述のトラッキング画像の一例、他の例の説明図、図７は自車１の走行による画像変化の説明図、図８はキャリブレーションの処理の模式図である。

そして、図１に示すように自車１に、自車前方を探査するスキャン式レーダとして、安価な汎用のスキャン式レーザレーダ２が搭載され、自車前方を撮影するカメラとして、小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラ３が搭載され、自車１はレーザレーダ２と単眼カメラ３からなるセンサフュージョンの自車前方検出センサを備える。

このとき、レーザレーダ２と単眼カメラ３とは、前記従来と同様のセンサフュージョンの障害物認識処理を行なうため、レーザレーダ２の各反射点の位置を示す２次元（ｘ、ｙ）の探査座標と単眼カメラ３の２次元（ｘ、ｙ）の画像座標との水平方向の軸（ｘ軸）が一致するように、自車１に取り付けられる。

具体的には、レーザレーダ２は例えば自車１のフロントバンパー或いはボンネット内の車幅方向のセンタ位置に、前方を車幅方向に掃引探査して車幅方向を水平方向（横軸方向）、高さ方向を垂直方向（縦軸方向）とする探査結果が得られるように取り付けられ、単眼カメラ３は例えば自車１の車室内の同じセンタ位置に、同様に、車幅方向を水平方向（横軸方向）、高さ方向を垂直方向（縦軸方向）とする撮影結果（撮影画像）が得られるように取り付けられる。

しかし、取り付け誤差や走行中の振動により、レーザレーダ２、単眼カメラ３の位置がずれて探査座標と撮影座標のずれが生じることがあり、センサフュージョンの障害物の認識処理において、前記したように、とくに両座標の水平方向のｘ軸のずれが問題となる。

つぎに、自車１は、自車速を検出する車輪速センサ構成の車速センサ４及び、自車１の旋回状態を検出するためのヨーレートセンサ５、舵角センサ６等の自車状態検出用の各種センサ等も備える。

そして、自車１のエンジン始動後、レーザレーダ２はレーザパルスを車幅方向（水平方向）に掃引照射して自車前方をくり返し探査し、探査結果の信号をマイクロコンピュータ構成の制御ＥＣＵ７に出力し、単眼カメラ３は自車前方を連続的に撮像して撮影画像の信号を制御ＥＣＵ７に出力する。

つぎに、制御ＥＣＵ７はメモリユニット８等に予め設定された図２のステップＳ１〜Ｓ７の障害物認識プログラム、その一部の詳細な処理を示した図３のステップＳ３１〜Ｓ３６のカメラキャリブレーションプログラムを実行することにより、図１の状態検出ユニット９、認識処理ユニット１０、カメラキャリブレーションユニット１１をソフトウエア処理で形成する。

そして、状態検出ユニット９、カメラキャリブレーションユニット１１によりカメラキャリブレーション装置が形成され、両ユニット９、１１はつぎの（ａ）〜（ｆ）の各手段を備える。なお、（ａ）、（ｂ）の手段は状態検出ユニット９が備え、（ｃ）〜（ｆ）の手段はカメラキャリブレーションユニット１１が備える。

（ａ）自車状態検出手段
この手段は、自車１の旋回半径から自車１の直進走行状態を検出する。具体的には、車速センサ４の自車速の検出及び、ヨーレートセンサ５、舵角センサ６のヨーレート、舵角の検出に基いて、時々刻々の自車１の推定自車旋回半径を演算して検出監視し、その旋回半径が予め設定された所定値以上か否かの比較検出に基き、自車１が直進走行状態か否かを判別して検出する。

（ｂ）障害物状態検出手段
この手段は、レーザレーダ２の探査結果に基づく自車１と自車前方の先行車等の障害物との距離の時間変化及び自車速から障害物の静止状態を検出する。具体的には、レーザレーダ２の送信から反射波受信までの時間に基づく周知の測距処理により、自車１と障害物との距離（車間距離等）を検出し、その時間変化から障害物の相対速度を検出し、この相対速度が自車速と逆向きで自車速の大きさであれば、障害物が停止中の先行車等の静止状態の障害物であることを検出する。

（ｃ）校正制御手段
この手段は、自車状態検出手段、障害物状態検出手段の検出結果のアンドゲート処理により、自車状態検出手段が直進走行状態を検出し、かつ、障害物状態検出手段が静止状態を検出したときに、カメラずれの校正許可を発生する。

これは、自車１がカーブ路を走行したり、右左折、進路変更等を行なったりするときには、自車の走行方向とずれた方向の車両等を自車前方の衝突の可能性がある障害物として誤認識するおそれがあり、また、障害物が静止状態でなければ後述の衝突予測時間が正確に求まらず、正確な校正が行えないからである。

（ｄ）衝突予測時間算出手段
この手段は、校正制御手段が校正許可を発生するときに限り、レーザレーダ２の探査結果に基づく自車１と障害物との検出距離（車間距離等）と、車速センサ４の自車速とに基づき、検出距離をＬｓｒ、自車速をＶｓとして、自車１と障害物とのレーダ側の衝突予測時間ＴＴＣ（ＬＳＲ）＝Ｌｓｒ／Ｖｒを算出し、また、つぎに説明するようにして、単眼カメラ３の撮影画像上の障害物の水平方向の時間変化から自車１と障害物との画像側の衝突予測時間ＴＴＣ（ＩＭＧ）を算出する。

この画像側の衝突予測時間ＴＴＣ（ＩＭＧ）の算出は、具体的には、次のようにして行なわれる。

まず、自車１の走行中に単眼カメラ３の撮影画像Ｐｉは例えば図４に示すように時間変化し、自車１の走行によって、障害物である停止中の先行車Ａが相対的に自車１に接近するにしたがって撮影画像Ｐｉの先行車Ａが大きくなる。

なお、図４のｔ−６、ｔ−５、ｔ−４、ｔ−３、ｔ−２、ｔ−１、ｔは撮影時刻を示し、Ｗは撮影画像のほぼ中央部分に予め設定された所定の大きさのＲＯＩ領域を示す。

そして、衝突予測時間算出手段は各時刻の撮影画像Ｐｉの少なくともＲＯＩ領域Ｗの部分を垂直成分のエッジ画像に変換した後二値化し、さらに、二値化した垂直成分のエッジ画像を水平方向に加算して図４中の垂直のヒストグラムＧを算出し、このヒストグラムＧの各ピーク点ｐを検出する。

このとき、先行車Ａについては車幅方向の両端部等の特徴部分に大きなピーク点ｐが発生し、各ピーク点ｐの発生位置は時間経過にしたがって広がる方向に移動する。

さらに、各時刻のヒストグラムＧの各ピーク点ｐをプロットして図５に示すような各ピーク点ｐの軌跡のトラッキング画像Ｐｔを形成する。

図５は各ピーク点ｐを白色で示したトラッキング画像Ｐｔの一例を示し、この画像Ｐｔはほぼ先行車Ａの左右両側端部のピーク点ｐの軌跡ａ、ｂのみを含み、両軌跡ａ、ｂが、時間の経過にしたがって、換言すれば、先行車Ａが相対的に接近するにしたがって、ほぼ「ハ」の字状に車幅方向に広がるという特徴的な時間変化特性を示す。

なお、時間軸を上向きにとれば、前記の「ハ」の字を上下逆さまにした状態で車幅方向に広がる軌跡になる。

また、自車１が直進走行して停止中の先行車Ａ等の検出対象の障害物に接近するような場合、前記の左右両側の「ハ」の字状の時間変化特性の軌跡は、例えば図６のトラッキング画像Ｐｔに示すように、ほぼ画像中央の画像中心座標（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）の垂線状の軌跡の左、右両側に位置し、このことは、先行車Ａ以外の衝突予測対象の障害物についても同様である。

なお、図５、図６のａ、ｂはピーク点ｐの軌跡である。また、前記の画像中心座標（ＦＯＥ）は画像内の無限遠点または消失点であり、単眼カメラ３の撮影座標の原点である。さらに、図６において、ｃは画像中心座標（ＦＯＥ）の軌跡、図中の矢印線ｘはピーク点ｐの画像中心座標（ＦＯＥ）からのｘ軸方向の距離を示し、図中の矢印線ｄｘ／ｄｔが衝突予測時間ＴＴＣ（ＩＭＧ）の算出に用いられる軌跡ａ、ｂの時間変化のベクトルである。

一方、図７は自車１の接近による画像状態変化を説明する模式図であり、自車１の走行を上から見た平面図に相当し、同図の左右が自車１の走行方向、上下が撮影画像の水平方向であって、自車１が右端部の停止中の先行車Ａに向かって直進走行しているとする。

このとき、前後する時刻ｔｎ、ｔｎ＋１に自車１の単眼カメラ３が先行車Ａを撮影すると、自車１の走行に基づき、図７の矢印線の撮影光路等からも明らかなように、撮影の距離や画像の大きさが変化し、単眼カメラ３のレンズ位置を自車位置＜ｏ＞、この位置＜ｏ＞から微小な一定距離ｆ後方の撮影画像Ｐｉが得られる位置を撮像面位置＜ｆ＞、自車前方の先行車Ａの後部左右端のピークエッジｐの位置を障害物停止位置＜ａ＞とすると、図７の時刻ｔｎ、ｔｎ＋１の位置変化からも明らかなように、自車位置＜ｏ＞、撮像面位置＜ｆ＞は時間変化するが、障害物停止位置＜ａ＞は時間変化しない固定の位置である。

また、時刻ｔｎの自車位置＜ｏ＞と障害物停止位置＜ａ＞との実距離をＺ、時刻ｔｎ＋１の自車位置＜ｏ＞と障害物停止位置＜ａ＞との実距離をＺ１とすると、距離Ｚ、Ｚ１が時刻ｔｎ、ｔｎ＋１のいわゆる車間距離であり、その差ΔＺ（＝Ｚ−Ｚ１）が時刻ｔｎから時刻ｔｎ＋１の間の自車１の走行距離である。

さらに、撮像面位置＜ｆ＞の点ｑ及び障害物停止位置＜ａ＞の点Ｑを通るカメラ光軸の位置が撮影画像Ｐｉの前記画像中心座標（ＦＯＥ）の位置に相当する。

そして、撮像面位置＜ｆ＞における、水平方向（ｘ軸方向）、高さ方向（ｙ軸方向）の二次元のｘｙ座標系が撮影座標系であり、この撮影座標系や探査座標系のような個別の座標系に対して、共通のワールド座標系が、自車１の走行方向をＺ軸方向、車幅方向（水平方向）をＸ軸方向、高さ方向をＹ軸方向とする３次元のＸＹＺ座標系であるとし、説明を簡単にするため、時刻ｔｎに、障害物停止位置＜ａ＞の座標（Ｘ、Ｙ、Ｚ）のピーク点ｐが、撮像面位置＜ｆ＞の座標（ｘ、ｙ）にピーク点ｐ（ｘ、ｙ）として撮影され、それから微小時間後の時刻ｔｎ＋１に、障害物停止位置＜ａ＞の座標（Ｘ１、Ｙ１、Ｚ１）のピーク点ｐ１が、撮像面位置＜ｆ＞の座標（ｘ１、ｙ１）にピーク点ｐ１として撮影されたとすると、図７からも明らかなように、つぎの（１）式が成り立つ。

Ｘ／Ｚ＝ｘ／ｆ （１）式

この（１）式を時間微分すると、つぎの（２）式を得る。

（ｄｘ／ｄｔ）・Ｚ＋ｘ・（ｄＺ／ｄｔ）＝ｆ・（ｄＸ／ｄｔ） （２）式

そして、自車１が直進走行するときには、先行車Ａが停止している条件下、（１）式、（２）式中のＸは一定値で変わらず、Ｘ＝Ｘ１になることから、（２）式の右辺が０となり、つぎの（３）式が求まる。

（ｄｘ／ｄｔ）・Ｚ＋ｘ・（ｄＺ／ｄｔ）＝０ （３）式

ここで、ｄｘ／ｄｔ（＝ｘ１−ｘ）＝ｕとして、（３）式を整理すると、つぎの（４）式を得る。

（ｄＺ／ｄｔ）＝−（ｕ・Ｚ／ｘ） （４）式

そして、（４）式に基き、衝突予測時間ＴＴＣ（ＩＭＧ）を、つぎの（５）式にしたがって撮影画像上から算出する。

ＴＴＣ（ＩＭＧ）＝−{Ｚ／（ｄＺ／ｄｔ）}＝ｘ／ｕ （５）式

すなわち、衝突予測時間演算手段は、例えば図６のトラッキング画像Ｐｔの各ピーク点ｐ（ｘ、ｙ）の軌跡のｘ軸方向の広がりの時間変化特性から、同図中の矢印線のｘ、ｕ（＝ｄｘ／ｄｔ）を求め、前記（５）式の演算から衝突予測時間ＴＴＣ（ＩＭＧ）を算出する。

なお、衝突予測時間ＴＴＣは、例えば、新たなピーク点ｐ（ｘ、ｙ）が得られる毎に算出して更新され、また、前記軌跡が複数個ある場合、全部または一部（１個の場合を含む）の軌跡について算出される。

（ｅ）カメラずれ検出手段
この手段は、両衝突予測時間ＴＴＣ（ＬＳＲ）、ＴＴＣ（ＩＭＧ）のずれに基き、レーザレーダ２の探査座標に対する単眼カメラ３の画像座標の水平方向のずれ（以下、誤差という）ＴＴＣｅｒｒを検出する。

具体的には、つぎのようにして誤差ＴＴＣｅｒｒを検出する。

まず、微小時間ｄｔに水平方向の位置（距離）が図７のｘからｘ１に変化すると、衝突予測時間ＴＴＣ（ＩＭＧ）は、前記（５）式に基き、つぎの（６）式で示される。

ＴＴＣ（ＩＭＧ）＝ｘ／ｕ＝ｘ１／（ｘ１−ｘ） （６）式

この（６）式の衝突予測時間ＴＴＣ（ＩＭＧ）において、単眼カメラ３のずれによって位置ｘ、ｘ１に誤差ＴＴＣｅｒｒが含まれるときは、衝突予測時間ＴＴＣ（ＬＳＲ）に対して、つぎの（７）式が成り立つ。

ＴＴＣ（ＬＳＲ）＝（ｘ１−ＴＴＣｅｒｒ）／（ｘ１−ｘ） （７）式

そして、衝突予測時間ＴＴＣ（ＬＳＲ）、位置ｘ１、ｘが実測、演算で得られることから、誤差ＴＴＣｅｒｒは、つぎの（８）式から求めて検出される。

ＴＴＣｅｒｒ＝ｘ１−ＴＴＣ（ＬＳＲ）×（ｘ１−ｘ）＝ｘ１（１−ＴＴＣ（ＬＳＲ）／ＴＴＣ（ＩＭＧ） （８）式

（ｆ）座標校正手段
この手段は、誤差（水平方向のずれ）ＴＴＣｅｒｒが打ち消されて両衝突予測時間ＴＴＣ（ＬＳＲ）、ＴＴＣ（ＩＭＧ）が一致するように単眼カメラ３の画像座標を校正する。

具体的には、例えばメモリユニット８に誤差ＴＴＣｅｒｒを書き換え自在に保持し、画像中心座標（ＦＯＥ）の水平方向の位置をメモリユニット８に保持した最新の誤差ＴＴＣｅｒｒずらし、単眼カメラ３の画像座標を校正する。

そして、この画像座標の校正により、レーザレーダ２の探査座標と単眼カメラ３の撮影座標とのとくに水平方向が正確に一致し、両座標の整合が図られる。

なお、前記のカメラキャリブレーションの処理を模式的に示すと、図８のようになり、同図のα、βは衝突予測時間算出手段のレーザレーダ側、カメラ側の処理ブロック、γはカメラずれ検出手段の処理ブロック、δは座標校正手段のブロックである。

つぎに、認識処理ユニット１０は、レーザレーダ２の探査結果とカメラキャリブレーションユニット１１で校正された単眼カメラ３の撮影結果とに基くセンサフュージョンの障害物認識処理を実行し、衝突可能性がある障害物を認識すると、ブレーキユニット１２を自動ブレーキ制御し、警報ユニット１３によりブザー音やランプ点灯或いは音声出力やメッセージ表示等で自動ブレーキがかかったことをドライバ等に警報する。

そして、認識処理ユニット１０のセンサフュージョンの障害物認識処理は、前記の特許文献１（特開２００３−９９７６２号公報）、特許文献２（特開平７−１８２４８４号公報）に記載のような周知のセンサフュージョンの障害物認識処理と同様の処理であり、具体的には、例えば前記特許文献１に記載の処理と同様、単眼カメラ３の撮影画像のエッジヒストグラムに基いて撮影画像の照合パターンを求めるとともに、レーザレーダ２の自車前方の探査結果に基づいてレーザの各反射点の分布パターンを求め、両パターンを融合して得られた融合パターンと辞書パターンとのパターンマッチングにより、自車前方の先行車等の障害物を認識する処理であり、さらに、認識した障害物と自車１との距離及び障害物の速度から、前記の衝突予測時間ＴＴＣ（ＬＳＲ）と同様の衝突予測時間を算出し、この時間と設定時間とに比較に基づいて衝突可能性がある障害物を検出する処理である。

そして、自車１の走行中に各ユニット９〜１１が上記の処理をくり返すことにより、制御ＥＣＵ７は、つぎに説明するように、図２に示す手順で衝突可能性がある障害物を認識して自動ブレーキをかける。

まず、自車１の走行中に図２のステップＳ１において、前記の自車状態検出手段により、自車１が直進走行中か否かを検出し、直進走行状態であれば、つぎのステップＳ２に移行し、前記の障害物状態検出手段により、自車前方に先行車Ａ等の静止状態の障害物があるか否かを検出し、静止状態の障害物があるときに限り、つぎのステップＳ３のカメラキャリブレーションに進む。

そして、ステップＳ３のカメラキャリブレーションの処理は、図３のステップＳ３１〜Ｓ３６からなり、前記の衝突予測時間算出手段の動作に基き、ステップＳ３１で単眼カメラ３の撮影画像Ｐｉの垂直エッジのヒストグラムＧのピーク点ｐを検出し、ステップＳ３２で前記のピーク点ｐの軌跡ａ、ｂからｄｘ／ｄｔの時間変化を検出し、ステップＳ３３、Ｓ３４により衝突予測時間ＴＴＣ（ＩＭＧ）、ＴＴＣ（ＬＳＲ）を算出する。

さらに、ステップＳ２５に移行し、カメラずれ検出手段によって衝突予測時間ＴＴＣ（ＩＭＧ）、ＴＴＣ（ＬＳＲ）のずれを検出し、この検出に基き、ステップＳ３６において、座標校正手段によって前記の画像中心座標（ＦＯＥ）を補正し、単眼カメラ３の撮影座標の水平方向のずれを校正し、レーザレーダ２の探査座標に対する単眼カメラ３の撮影座標のずれを自動的に修正する。

このカメラキャリブレーションが終了すると、図２のステップＳ３からステップＳ４に移行し、認識処理ユニット１０によるセンサフュージョンの障害物認識を実行し、衝突の可能性がある障害物を認識すると、ステップＳ５を介してステップＳ６に移行し、ブレーキユニット１２、警報ユニット１３を制御して自車１の自動ブレーキ制御、その警報を行う。

そして、自車１のエンジンが停止するまでステップＳ７を介してステップＳ１にもどり、このステップＳ１から処理をくり返す。

したがって、この実施形態の場合、取り付け誤差や走行中の振動によって単眼カメラ３の撮影座標がレーザレーダ２の探査座標とずれても、自車１の走行中の前記の画像座標の校正により、単眼カメラ３の撮影座標が、レーザレーダ２の探査座標と整合するように、ソフトウエア上で自動的に校正され、両座標が正確に整合した状態で衝突の可能性がある障害物が認識され、両座標のずれに起因した障害物の誤認識が確実に防止されて不用意に自動ブレーキがかかることがない。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、認識処理ユニット１０のセンサフュージョンの障害物認識処理等が前記実施形態の処理と異なる場合にも本発明が同様に適用できるのは勿論である。

また、制御ＥＣＵ７のその他のユニット９、１１の処理手順等が前記実施形態と異なっていてもよく、さらに、スキャン式レーダはスキャン式の種々のレーダであってよく、カメラはＣＣＤの単眼カメラ３に限られるものではなく、場合によっては、ステレオカメラでもよい。

そして、本発明の認識結果は、自動ブレーキ制御以外の自車走行制御等にも用いることができるのは勿論である。

ところで、自車１の装備部品数を少なくするため、例えば図１のレーザレーダ２、単眼カメラ３を追従走行制御等の他の制御のセンサに兼用する場合にも適用することができる。

この発明の１実施形態のブロック図である。 図１の動作説明用のフローチャートである。 図２の一部の詳細な動作説明用のフローチャートである。 図１の撮影画像、垂直エッジヒストグラムの時間変化の説明図である。 図４の垂直エッジヒストグラムのピーク点の軌跡の一例の説明図である。 図４の垂直エッジヒストグラムのピーク点の軌跡の他の例の説明図である。 図１の自車の走行に基く画像変化の説明図である。 図１のカメラキャリブレーションの処理の模式図である。

符号の説明

１ 自車
２ スキャン式レーザレーダ
３ 単眼カメラ
７ 制御ＥＣＵ

Claims (6)

1. 自車に搭載したスキャン式レーダの自車前方の探査結果と、自車に搭載したカメラの自車前方の撮影結果とを組み合わせたセンサフュージョンの認識処理により、自車前方の先行車等の障害物を認識する障害物認識の前記カメラの画像座標を校正するカメラキャリブレーション方法であって、
   自車の旋回半径から自車の直進走行状態を検出し、かつ、前記探査結果に基づく自車と前記障害物との距離の時間変化及び自車速から前記障害物が静止状態であることを検出したときに、
   前記距離と前記自車速とにより自車と前記障害物とのレーダ側の衝突予測時間を算出し、
   前記カメラの撮影画像上の前記障害物の水平方向の時間変化から自車と前記障害物との画像側の衝突予測時間を算出し、
   前記両衝突予測時間のずれから前記スキャン式レーダの探査座標に対する前記カメラの画像座標の前記水平方向のずれを検出し、
   前記水平方向のずれが打ち消されて前記両衝突予測時間が一致するように前記カメラの画像座標を校正することを特徴とするカメラキャリブレーション方法。
2. カメラの撮影画像の垂直エッジのヒストグラムのピーク点を検出し、
   前記カメラの撮影画像上の障害物の水平方向の時間変化を、前記カメラの撮影画像の垂直エッジのヒストグラムのピーク点の軌跡から検出することを特徴とする請求項１記載のカメラキャリブレーション方法。
3. スキャン式レーダがスキャン式レーザレーダであって、カメラが単眼カメラであることを特徴とする請求項１または２に記載のカメラキャリブレーション方法。
4. 自車に搭載されたスキャン式レーダの自車前方の探査結果と自車に搭載されたカメラの自車前方の撮影結果とを組み合わせたセンサフュージョンの認識処理により、自車前方の先行車等の障害物を認識する障害物認識装置に設けらた前記カメラの画像座標校正用のカメラキャリブレーション装置であって、
   自車の旋回半径から自車の直進走行状態を検出する自車状態検出手段と、
   前記探査結果に基づく自車と前記障害物との距離の時間変化及び自車速から前記障害物の静止状態を検出する障害物状態検出手段と、
   前記自車状態検出手段が前記直進走行状態を検出し、かつ、前記障害物状態検出手段が前記静止状態を検出したときに、校正許可を発生する校正制御手段と、
   前記距離と前記自車速とにより自車と前記障害物とのレーダ側の衝突予測時間を算出し、前記カメラの撮影画像上の前記障害物の水平方向の時間変化から自車と前記障害物との画像側の衝突予測時間を算出する衝突予測時間算出手段と、
   前記両衝突予測時間のずれから前記スキャン式レーダの探査座標に対する前記カメラの画像座標の前記水平方向のずれを検出するカメラずれ検出手段と、
   前記水平方向のずれが打ち消されて前記両衝突予測時間が一致するように前記カメラの画像座標を更正する座標校正手段とを備えたことを特徴とするカメラキャリブレーション装置。
5. 衝突予測時間算出手段により、カメラの撮影画像の垂直エッジのヒストグラムのピーク点を検出し、前記カメラの撮影画像上の障害物の水平方向の時間変化を、前記カメラの撮影画像の垂直エッジのヒストグラムのピーク点の軌跡から検出するようにしたことを特徴とする請求項４記載のカメラキャリブレーション装置。
6. スキャン式レーダがスキャン式レーザレーダであって、カメラが単眼カメラであることを特徴とする請求項４または５に記載のカメラキャリブレーション装置。