JP2015052548A - 車外環境認識装置 - Google Patents

Abstract

【課題】ＧＰＳによる自車両の絶対位置を高精度に較正する。【解決手段】車外環境認識装置１２０は、検出領域を撮像した画像データを取得する画像処理部１６０と、画像データに基づいて検出領域における複数の対象部位それぞれの自車両に対する相対位置を特定する空間位置情報生成部１６２と、画像データおよび対象部位の相対位置に基づいて対象部位に対応する特定物を特定し、特定物の相対位置を画像位置として保持させる特定物特定部１６４と、ＧＰＳに基づく自車両の絶対位置および地図データに基づいて特定物の自車両に対する相対位置であるデータ位置を特定するデータ位置特定部１７２と、画像位置とデータ位置との差である補正値を導出する補正値導出部１７４と、導出された補正値によりＧＰＳに基づく自車両の絶対位置を補正する位置補正部１７６と、を備える。【選択図】図２

Description

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、ＧＰＳに基づく自車両の絶対位置を補正する車外環境認識装置に関する。

従来、カーナビゲーション装置等には、立体物や道路等を電子データとして参照可能な地図データが用いられている。また、このような地図データの精度を高めるべく、航空機等から撮影した写真データをオルソ画像データに変換し、さらに地表面の道路ネットワークデータを抽出して、その道路ネットワークデータに各情報を重ね合わせる技術が知られている（例えば、特許文献１）。かかる技術によって地図上の地形を高精度に表すことができる。

特開平１１−１８４３７５号公報

ところで、自車両の前方に位置する信号機や車線等の静止物を検出し、自車両が進行する進行経路（進行路）を推定して運転者の運転操作を支援したり、自車両の前方に位置する車両（先行車両）等の移動物を検出し、先行車両との衝突を回避しつつ、車間距離を安全な距離に保つ、所謂ＡＣＣ（Adaptive Cruise Control）が脚光を浴びている。

かかる技術では、車両に搭載された撮像装置から得られる画像データに基づいて自車両前方の車外環境を認識し、自車両が進むべき進行経路や先行車両の動向に応じて自車両を制御する。ただし、認識可能な車外環境は、撮像装置が撮像可能な検出領域に限られ、撮像困難な死角や遠方については認識が難しかった。

そこで、本願発明者は、地図データ等を用い、撮像困難な広範囲で車外環境を認識することにより遠方の進行経路までも制御入力とし、走行制御の精度を高めることに想到した。こうすることで、遠方の道路状況を見据えた停止や減速等、自車両をより快適に制御することが可能となる。

しかし、カーナビゲーション装置等で用いられる地図データは、あくまで固定的な地形を示しているに過ぎず、地図で示される静止物と走行する車両との相対的な位置関係を把握することができない。ここで、車両に搭載されたＧＰＳ（Global Positioning System）を用いることで、車両の絶対位置を推定することはできるが、ＧＰＳの位置精度はさほど高くなく、このような絶対位置の誤差を制御入力として取り込むことで運転者の運転操作を十分に支援できないおそれがある。

本発明は、このような課題に鑑み、ＧＰＳによる自車両の絶対位置を高精度に較正することで、快適な走行が可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、検出領域を撮像した画像データを取得する画像処理部と、画像データに基づいて検出領域における複数の対象部位それぞれの自車両に対する相対位置を特定する空間位置情報生成部と、画像データおよび対象部位の相対位置に基づいて対象部位に対応する特定物を特定し、特定物の相対位置を画像位置として保持させる特定物特定部と、ＧＰＳに基づく自車両の絶対位置および地図データに基づいて特定物の自車両に対する相対位置であるデータ位置を特定するデータ位置特定部と、画像位置とデータ位置との差である補正値を導出する補正値導出部と、導出された補正値によりＧＰＳに基づく自車両の絶対位置を補正する位置補正部と、を備えることを特徴とする。

補正値導出部は、特定物特定部が特定物を特定できる期間において間欠的に補正値を導出してもよい。

車外環境を検知する車外環境検知部と、車外環境に応じて、画像データに基づく相対位置と、補正後のＧＰＳに基づく絶対位置とのいずれかを所定の制御に用いるか決定する基準決定部と、をさらに備えてもよい。

特定物は、自車両が進行する進行経路のうち、自車両から予め定められた距離離れた点であってもよい。

特定物は、信号機または道路標識であってもよい。

本発明によれば、ＧＰＳによる自車両の絶対位置を高精度に較正することで、快適な走行が可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 輝度画像と距離画像を説明するための説明図である。 信号機の特定動作を説明するための説明図である。 運転支援制御の流れを示した制御ブロック図である。 進行経路を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境検知部および基準決定部の概略的な割込処理の流れを説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した撮像装置によって自車両の前方の車外環境を撮像し、画像内における色情報や位置情報に基づいて信号機や車線等の特定物を検出し、自車両の進行経路を推定して運転者の運転操作を支援する技術が普及しつつある。ただし、認識可能な車外環境は、撮像装置が撮像可能な検出領域に限られ、死角や遠方については認識が難しかった。

そこで、本実施形態では、立体物や道路等を電子データとして参照可能な地図データを用い、撮像困難な領域における車外環境を認識することにより、遠方までの長い進行経路も制御入力として、走行制御の精度を高めることを試みる。しかし、地図データのみでは、地図で示される特定物と走行する車両との相対的な位置関係が把握できない。ここで、自車両に搭載されたＧＰＳを用いることで、自車両の絶対位置を把握することはできるが、ＧＰＳの位置精度はさほど高くなく、誤差を含んだ自車両の絶対位置を制御入力として取り込んだとしても、運転者の運転操作を十分に支援できないおそれがある。そこで、本実施形態では、画像に基づいて導出される相対位置を用い、ＧＰＳに基づく自車両の絶対位置を高精度に補正して、撮像装置では把握困難な地図データの情報を活用することで快適な走行を可能とする。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像と呼び、後述する距離画像と区別する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、特定物として認識する対象となる対象物は、車両、歩行者、信号機、道路標識、車線、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等の立体物の一部として特定できる物や、これらの対象物に基づいてさらなる演算を施すことで導出される進行経路等も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（車両前方方向の距離である奥行距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との奥行距離を用いて自車両前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

車外環境認識装置１２０は、特定物を特定すると、任意の特定物（例えば、車線）に応じて進行経路を導出し、導出した進行経路を適切に走行できるよう、その旨の情報を車外環境認識装置１２０に出力して運転者の運転操作を支援する。また、車外環境認識装置１２０は、任意の特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、ＧＰＳに基づく自車両１の絶対位置の補正について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（第１の実施形態：車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、空間位置情報生成部１６２、特定物特定部１６４、運転支援制御部１６６、ＧＰＳ取得部１６８、地図処理部１７０、データ位置特定部１７２、補正値導出部１７４、位置補正部１７６、拡大進行経路導出部１７８としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、特定物特定処理、運転支援制御、ＧＰＳに基づく自車両１の絶対位置の補正といった順に詳細な動作を説明する。

（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像した輝度画像の画面横方向を示し、「垂直」は、撮像した輝度画像の画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、画像中の任意の位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（奥行距離に相当）を画像データに対応付けた画像を距離画像という。

図３は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１０からブロック毎の視差を求め、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

図２に戻って説明すると、空間位置情報生成部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さ（垂直距離）および奥行距離を含む３次元の位置情報（相対位置）に変換する。ただし、本実施形態においては、少なくとも水平距離および奥行距離の２次元の相対位置が特定されればよい。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する奥行距離を導出する方法である。このとき、空間位置情報生成部１６２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（特定物特定処理）
特定物特定部１６４は、輝度画像２１０に基づく輝度および距離画像２１２に基づく３次元の相対位置を用いて、検出領域２１４における対象部位（画素やブロック）がいずれの特定物に対応するかを特定し、特定された特定物の相対位置を画像位置とし、特定物に関連付けてデータ保持部１５２に保持させる。例えば、本実施形態において、特定物特定部１６４は、自車両１の前方に位置する１または複数の信号機と、信号機それぞれにおいて発光している信号色（赤色信号色、黄色信号色、青色信号色）を特定する。

図４は、信号機の特定動作を説明するための説明図である。ここでは、信号機の赤色信号色の特定処理を例に挙げて、その特定手順を説明する。まず、特定物特定部１６４は、輝度画像２１０における任意の対象部位の輝度が、特定物（赤色信号色）の輝度範囲（例えば、基準値を輝度（Ｒ）として、輝度（Ｇ）は基準値（Ｒ）の０．５倍以下、輝度（Ｂ）は基準値（Ｒ）の０．３８倍以下）に含まれるか否か判定する。そして、対象となる輝度範囲に含まれれば、その対象部位に当該特定物を示す識別番号を付す。ここでは、図４の拡大図に示すように、特定物（赤色信号色）に対応する対象部位に識別番号「１」を付している。

次に、特定物特定部１６４は、任意の対象部位を基点として、その対象部位と、水平距離の差分および高さの差分（さらに奥行距離の差分を含めてもよい）が予め定められた所定範囲内にある、同一の特定物に対応するとみなされた（同一の識別番号が付された）対象部位をグループ化し、その対象部位も一体的な対象部位群とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、特定物特定部１６４は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分および高さの差分が所定範囲内にある、特定物（赤色信号色）が等しい対象部位をグループ化する。結果的に、同一の識別番号が付された対象部位同士の距離が所定範囲内であれば、それら全ての対象部位がグループ化されることとなる。ここでは、図４の拡大図に示すように、識別番号「１」が付された対象部位同士のグループ化された対象部位群２２０となる。

続いて、特定物特定部１６４は、グループ化した対象部位群２２０が、その特定物に関連付けられた高さ範囲（例えば、４．５〜７．０ｍ）、幅範囲（例えば、０．０５〜０．２ｍ）、形状（例えば、円形状）等、所定の条件が成立しているか否か判定する。ここで、形状に関しては、予め特定物に関連付けられたテンプレートを参照してその形が比較され（パターンマッチング）、所定値以上の相関があることで条件が成立していると判定される。そして、所定の条件が成立していれば、そのグループ化された対象部位群２２０を特定物（赤色信号色）または特定物（信号機）として決定する。こうして、特定物特定部１６４は、画像データに基づいて信号機を特定することができる。また、ここでは、赤色信号色を通じて信号機を特定する例を挙げたが、黄色信号色や青色信号色等に基づいて信号機を特定できることは言うまでもない。

また、対象部位群２２０が、その特定物特有の特徴を有する場合、その特徴を条件に特定物として決定されてもよい。例えば、信号機の発光体がＬＥＤ（Light Emitting Diode）で構成されている場合、その発光体は、人の目では把握できない周期（例えば１００Ｈｚ）で点滅している。したがって、特定物特定部１６４は、ＬＥＤの点滅タイミングと非同期に取得した輝度画像２１０の対象部位の輝度の時間方向の変化に基づいて特定物（赤色信号色）を決定することもできる。

また、特定物特定部１６４は、信号機と同様の処理を通じて自車両１が進行する進行経路を特定することもできる。この場合、特定物特定部１６４は、まず、自車両前方に展開される道路上の複数の白線を特定する。具体的に、特定物特定部１６４は、任意の対象部位の輝度が、特定物（白線）の輝度範囲に含まれるか否か判定する。そして、対象部位同士が予め定められた所定範囲内にある場合、特定物特定部１６４は、その対象部位同士をグループ化し、その対象部位も一体的な対象部位群とする。

続いて、特定物特定部１６４は、グループ化した対象部位群が、その特定物（白線）に関連付けられた高さ範囲（例えば、道路表面上）、幅範囲（例えば、０．１０〜０．２５ｍ）、形状（例えば、実線または破線）等、所定の条件が成立しているか否か判定する。そして、所定の条件が成立していれば、そのグループ化された対象部位群を特定物（白線）とする。続いて、特定物特定部１６４は、特定した自車両前方に展開される複数の白線のうち、水平距離が自車両１と最も近い白線を左右１本ずつ抽出し、抽出した左右１本ずつの白線の中央に位置し、かつ、平行する線を導出して進行経路とする。こうして、特定物特定部１６４は、画像データに基づいて進行経路を特定することができる。

（運転支援制御）
運転支援制御部１６６は、特定物特定部１６４が特定した進行経路に基づいて運転者の運転操作を支援する。例えば、運転支援制御部１６６は、自車両１の走行状態（例えば、ヨーレート、速度）に応じて、自車両１が実際に進行する進行経路を推定し、その実際の進行経路が、特定物特定部１６４が特定した進行経路と合致するように、すなわち、車線上を適切に自車両１が進行するように、自車両１の走行状態を制御する。かかる実際の進行経路の導出に関しては、特開２０１２−１８５５６２号公報、特開２０１０−１００１２０号公報、特開２００８−１３００５９号公報、特開２００７−１８６１７５号公報等、様々な既存の技術を適用可能なので、ここではその説明を省略する。

図５は、運転支援制御の流れを示した制御ブロック図である。運転支援制御部１６６は、曲率推定モジュール１６６ａ、曲率目標ヨーレートモジュール１６６ｂ、水平差分目標ヨーレートモジュール１６６ｃ、トルク導出モジュール１６６ｄを含んで構成され、進行経路に基づいて運転者の運転操作を支援する。

まず、曲率推定モジュール１６６ａは、画像データに基づいて導出された進行経路に基づいて、その進行経路が示す曲線の曲率半径Ｒを導出する。曲率目標ヨーレートモジュール１６６ｂは、曲率推定モジュール１６６ａが導出した曲率に基づいて自車両１に生じるべき目標ヨーレートγｒを導出する。

水平差分目標ヨーレートモジュール１６６ｃは、画像データに基づいて導出された進行経路と自車両前方における前方注視線とが交差する交点（前方注視点）の水平距離と、現在の走行状態（自車両１の速度、ヨーレート、舵角等）を維持した状態で前方注視線を通過する際の前方注視線との交点の水平距離とを導出し、交点間の水平距離の差分（水平差分）εを０（ゼロ）にするのに必要なヨーレートを導出し、水平差分に基づく目標ヨーレートγεとする。ここで、前方注視線は、自車両幅方向中心から前方方向に延長した直線（直進線）の、自車両１の所定距離（例えば、１０．２４ｍ）前方における垂線（幅方向に延びる線）である。また、ここでの水平距離は、前方注視線における、直進線からの距離を示す。

トルク導出モジュール１６６ｄは、フィードフォワード項としての曲率に基づく目標ヨーレートγｒ、および、フィードバック項としての水平差分に基づく目標ヨーレートγεに、以下の数式１の如く、それぞれ所定のチューニング係数ｋｒ、ｋε（例えば、ｋｒ＝０．５、ｋε＝０．５）を乗じて加算し、総合的な目標ヨーレートγｓを導出する。
γｓ＝ｋｒ・γｒ＋ｋε・γε … （数式１）

そして、トルク導出モジュール１６６ｄは、このような総合的な目標ヨーレートγｓを実現するための目標操舵角θｓを導出し、かかる目標操舵角θｓから求められる目標操舵トルクＴｓを制御対象、例えば、駆動機構１４４に出力する。上記運転支援制御については、本出願人の特開２００４−１９９２８６号公報等で具体的な処理が説明されているので、ここでは、その詳細な説明を省略する。こうして、運転支援制御部１６６は、進行経路に基づいて運転者の運転操作を支援することが可能となる。

（ＧＰＳに基づく自車両１の絶対位置の補正）
図６は、進行経路を説明するための説明図である。上述した運転支援制御では、特定物特定部１６４が画像データに基づいて特定した進行経路を用いて運転操作を支援している。しかし、画像データに基づく進行経路を用いて制御すると、図６において破線矢印で示したように、遠方までの十分に長い進行経路を取得できない場合がある。本実施形態では、上述したように、地図データを用い、撮像困難な領域も含んだ進行経路（図６において実線矢印で示した「ＧＰＳに基づく進行経路」）を取り入れ、走行制御の精度を高める。ここで、地図データを利用する場合、地図データ上の自車両１の絶対位置を、自車両１に搭載されたＧＰＳによって導出する必要が生じるが、ＧＰＳに基づく自車両１の絶対位置の位置精度はさほど高くない。そこで、以下のように、ＧＰＳに基づく自車両１の絶対位置を補正する。

ＧＰＳ取得部１６８は、ＧＰＳを通じて、自車両１の絶対位置（例えば、緯度、経度）を取得する。地図処理部１７０は、地図データを参照し、自車両１が走行している近傍の道路情報を取得する。かかる地図データは、データ保持部１５２に保持させてもよいが、自車両１に搭載したナビゲーション装置やインターネット等の通信網から取得するとしてもよい。

データ位置特定部１７２は、ＧＰＳ取得部１６８によって取得された自車両１の絶対位置を参照し、地図データのいずれの位置に自車両１が位置しているかを導出する。そして、地図データにおける、自車両１の絶対位置と、目的とする特定物の絶対位置とに基づいて、自車両１に対する特定物の相対位置であるデータ位置を導出する。

ここで、目的とする特定物は、地図データに絶対位置が示されている特定物や、地図データの他の特定物の絶対位置に基づいて演算により絶対位置を把握可能な特定物を適用することができる。前者の特定物としては、例えば、信号機や道路標識等を適用でき、後者の特定物としては、進行経路のうち、自車両１から予め定められた距離離れた点、例えば、進行経路と自車両前方の前方注視線とが交差する交点等を適用できる。ここで、道路標識は、案内標識、警戒標識、規制標識、指示標識および補助標識を含む。

ここで、目的とする特定物として、進行経路と前方注視線との交点を採用した場合、データ位置特定部１７２は、後述する拡大進行経路導出部１７８とは別に、地図データにおける道路情報、および、ＧＰＳ取得部１６８によって取得された自車両１の絶対位置に基づいて、地図データ上の進行経路を導出し、その進行経路と前方注視線との交点を導出することとなる。

補正値導出部１７４は、特定物特定部１６４が導出した画像位置と、データ位置特定部１７２が導出したデータ位置とを比較し、その差（画像位置−データ位置）である補正値を導出し、データ保持部１５２に保持する。ここで、補正値は、緯度の差分と経度の差分で示されてもよい。また、目的とする特定物として１のみならず、複数選択する場合、例えば、進行経路と自車両前方の前方注視線とが交差する交点および信号機とする場合、それぞれの画像位置とデータ位置との差を平均して補正値としてもよい。

ただし、特定物特定部１６４は、常に特定物を特定できるとは限らず、例えば、天気（車外環境）等、何らかの原因により撮像装置１１０から有効な画像データを取得できない場合に、特定物を正確に特定できない場合がある。この場合、補正値導出部１７４は、特定物特定部１６４が特定物を特定できる期間内において補正値を導出する。また、補正値導出部１７４は、処理負荷を軽減すべく、特定物を特定できる期間において間欠的（例えば、５分間に一度）に補正値を導出する。こうして新たに補正値が導出されるとデータ保持部１５２に保持されている補正値が更新される。

位置補正部１７６は、導出された補正値をＧＰＳ取得部１６８が取得した自車両１の絶対位置に加算することで、ＧＰＳに基づく自車両１の絶対位置を補正する。

拡大進行経路導出部１７８は、地図データにおける道路情報、および、補正後のＧＰＳに基づく自車両１の絶対位置によって、地図データ上の進行経路を導出する。そして、運転支援制御部１６６は、特定物特定部１６４が特定した進行経路の代わりに、拡大進行経路導出部１７８が導出した進行経路に基づいて運転者の運転操作を支援する。このように、ＧＰＳに基づく絶対位置を高精度に補正して、撮像装置１１０では認識困難な地図データの情報を活用することで、進行経路を十分長くとることができ、快適な走行が可能となる。

（第２の実施形態）
第１の実施形態では、画像データに基づく特定物の相対位置と、ＧＰＳに基づく特定物の相対位置とを比較し、その差（補正値）によってＧＰＳに基づく自車両１の絶対位置を補正し、さらに、補正後のＧＰＳに基づく自車両１の絶対位置を反映した地図データによって進行経路を計算して、画像データに基づく進行経路の代わりに、ＧＰＳに基づく進行経路を利用した。

しかし、ＧＰＳに基づく自車両１の絶対位置が常に取得できるとは限らず、また、上述したように画像データも常に取得できるとは限らない。そこで、本実施形態では、ＧＰＳに基づく絶対位置と、画像データに基づく相対位置とがどちらも利用できることを前提に、上述した運転支援制御等、所定の制御に用いる位置情報を、車外環境に応じて、ＧＰＳに基づく絶対位置と、画像データに基づく相対位置とで切り替える。

図７は、第２の実施形態における車外環境認識装置２５０の概略的な機能を示した機能ブロック図である。図７に示すように、車外環境認識装置２５０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。また、中央制御部１５４は、画像処理部１６０、空間位置情報生成部１６２、特定物特定部１６４、運転支援制御部１６６、ＧＰＳ取得部１６８、地図処理部１７０、データ位置特定部１７２、補正値導出部１７４、位置補正部１７６、拡大進行経路導出部１７８、車外環境検知部２８０、基準決定部２８２としても機能する。第１の実施形態における構成要素として既に述べたＩ／Ｆ部１５０、データ保持部１５２、中央制御部１５４、画像処理部１６０、空間位置情報生成部１６２、特定物特定部１６４、運転支援制御部１６６、ＧＰＳ取得部１６８、地図処理部１７０、データ位置特定部１７２、補正値導出部１７４、位置補正部１７６、拡大進行経路導出部１７８は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する車外環境検知部２８０、基準決定部２８２を主に説明する。

車外環境検知部２８０は、車外環境、特に、撮像装置１１０の撮像環境およびＧＰＳの電波環境を検知する。

基準決定部２８２は、車外環境検知部２８０が検知した車外環境に応じて、画像データに基づく相対位置と、補正後のＧＰＳに基づく絶対位置とのいずれかを所定の制御に用いるか決定する。

図８は、車外環境検知部２８０および基準決定部２８２の概略的な割込処理の流れを説明するためのフローチャートである。車外環境検知部２８０は、ＧＰＳの電波環境を検知し（Ｓ３００）、例えば、車外空間が開けている（トンネルではない）等、ＧＰＳに基づく自車両１の絶対位置が有効に検知できたか否か判定する（Ｓ３０２）、ここで、ＧＰＳに基づく自車両１の絶対位置が有効に検知できれば（Ｓ３０２におけるＹＥＳ）、基準決定部２８２は、ＧＰＳに基づく絶対位置を制御に用いることを決定する（Ｓ３０４）。また、自車両１の絶対位置が有効に検知できないと判定すると（Ｓ３０２におけるＮＯ）、基準決定部２８２は、画像データに基づく相対位置を制御に用いることを決定する（Ｓ３０６）。

こうして、トンネルや高層ビル間ではない領域において、ＧＰＳに基づく絶対位置を基準とする制御が実行され、曇りや雨等の何らかの原因により撮像装置１１０から有効な画像データを取得できない場合においても、自車両１の走行制御を高精度に維持することができる。また、トンネルや高層ビル間等、ＧＰＳに基づく自車両１の絶対位置が有効に検知できない領域では、ＧＰＳの代わりに画像データに基づく相対位置を基準とする制御を実行することで、やはり、自車両１の走行制御を高精度に維持することができる。

（第３の実施形態）
第２の実施形態では、車外環境に応じて、ＧＰＳに基づく絶対位置と、画像データに基づく相対位置とのいずれか一方を選択して制御に用いる例を挙げて説明した。しかし、ＧＰＳに基づく絶対位置と、画像データに基づく相対位置とがいずれも有効な場合、両者を補完的に利用することもできる。例えば、いずれか一方に基づく制御を実行しつつ、他方に基づいて、その制御の信頼性を評価する。こうすることで、両者の信頼性や精度を相互に高めることができ、より安定した走行制御が可能となる。

以上、説明したように、上記の車外環境認識装置１２０、２５０では、ＧＰＳによる自車両１の絶対位置を高精度に較正することができる。また、このように較正されたＧＰＳに基づき、地図データを用いた走行制御を実行することで、快適な走行が可能となる。さらに、車外環境に応じて、画像データに基づく相対位置と、補正後のＧＰＳに基づく絶対位置とのいずれかを、走行制御に用いることで、車外環境の変化に拘わらず、安定かつ高精度な走行制御を維持することができる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、ＧＰＳおよび地図データを用いる所定の制御として、運転支援制御を挙げて説明したが、かかる場合に限らず、ＡＣＣにおける先行車両追尾制御、舵角制御、トルク制御、減速制御、停止制御等、様々な制御に適用することが可能である。

また、上述した実施形態では、離隔して配置される２つの撮像装置１１０を用いる例を挙げて説明したが、特定物が特定できれば、１の撮像装置のみを用いても本実施形態を実現可能である。

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、ＧＰＳに基づく自車両の絶対位置を補正する車外環境認識装置に利用することができる。

１ 自車両
１１０ 撮像装置
１２０、２５０ 車外環境認識装置
１６０ 画像処理部
１６２ 空間位置情報生成部
１６４ 特定物特定部
１７２ データ位置特定部
１７４ 補正値導出部
１７６ 位置補正部
２８０ 車外環境検知部
２８２ 基準決定部

Claims (5)

1. 検出領域を撮像した画像データを取得する画像処理部と、
   前記画像データに基づいて前記検出領域における複数の対象部位それぞれの自車両に対する相対位置を特定する空間位置情報生成部と、
   前記画像データおよび前記対象部位の相対位置に基づいて該対象部位に対応する特定物を特定し、該特定物の相対位置を画像位置として保持させる特定物特定部と、
   ＧＰＳに基づく自車両の絶対位置および地図データに基づいて前記特定物の自車両に対する相対位置であるデータ位置を特定するデータ位置特定部と、
   前記画像位置と前記データ位置との差である補正値を導出する補正値導出部と、
   導出された補正値により前記ＧＰＳに基づく自車両の絶対位置を補正する位置補正部と、
   を備えることを特徴とする車外環境認識装置。
2. 前記補正値導出部は、前記特定物特定部が前記特定物を特定できる期間において間欠的に補正値を導出することを特徴とする請求項１に記載の車外環境認識装置。
3. 車外環境を検知する車外環境検知部と、
   前記車外環境に応じて、前記画像データに基づく相対位置と、補正後の前記ＧＰＳに基づく絶対位置とのいずれかを所定の制御に用いるか決定する基準決定部と、
   をさらに備えることを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記特定物は、自車両が進行する進行経路のうち、自車両から予め定められた距離離れた点であることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
5. 前記特定物は、信号機または道路標識であることを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。