JP2015032179A - 車外環境認識装置 - Google Patents

Abstract

【課題】進行軌跡の特定を工夫することで、自車両の制御入力となる交通指示体の特定精度を高める。【解決手段】車外環境認識装置１２０は、自車両の現在の運動状態に基づいて、自車両１が進行する軌跡である進行軌跡を推定する進行軌跡推定部１６６と、自車両の速度、方向指示器の指示状態、角速度もしくは操舵角から選択される少なくとも１または複数のパラメータに応じて、推定した進行軌跡を幅方向に制限する進行軌跡制限部１６８と、制限された進行軌跡に基づいて、自車両前方に存在し制御入力となる交通指示体を特定する制御入力特定部１７６と、を備える。【選択図】図２

Description

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、信号機や交通標識等の交通指示体を特定するのに適した車外環境認識装置に関する。

従来、自車両の前方に位置する車両や信号機等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、信号機の信号色を認識しつつ、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

このような特定物は、自車両前方の車外環境を撮像した画像から、その輝度や距離に基づいて抽出される。例えば、車外のカラー画像を撮像し、隣接する画素同士をグループ化して、距離、大きさ、高さ、および、自車両の進行路に対する位置等に基づいて信号機等の光源を認識する技術が知られている（例えば、特許文献２）。

特許第３３４９０６０号公報 特開２０１０−２２４９２５号公報

上述した特許文献２の技術では、実空間上の道路面の水平形状モデルに基づいて、道路面上の車線から自車両の進行路を把握し、自車両の進行路上に存在する信号機を自車両に対する信号機と判定している。しかし、天候や時刻等、車外環境によって車線を認識し難かったり、そもそも道路面上に車線が存在しない場合もある。このような場合、車外環境によっては自車両を制御するための制御入力となる信号機やその他の交通標識等の交通指示体を特定し難いといった問題が生じ得る。

そこで、車線等の認識結果を当てにせず、自車両の速度や角速度または操舵角等、自車両の現在の運動状態に基づいて、自車両が進行する軌跡である進行軌跡や、自車両が走行する幅を考慮した進行路を推定し、その進行軌跡等に基づいて交通指示体を特定することが考えられる。しかし、現在の運動状態を基に予測した進行軌跡と実際の進行軌跡とは必ずしも一致するとは限らない。例えば、障害物の回避や車線変更を行うためのステアリング操作は一時的なものであって実際の進行軌跡はほぼ直進であるが、ステアリング操作に基づいて進行軌跡が湾曲すると推定する場合がある。仮に現在の運動状態を基に予測した進行軌跡と実際の進行軌跡とが一致しない場合、本来、制御入力とすべき交通指示体を特定できず、誤って制御入力から除外してしまうおそれがある。

本発明は、このような課題に鑑み、進行軌跡の特定を工夫することで、自車両の制御入力となる交通指示体の特定精度を高めることが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、自車両の現在の運動状態に基づいて、自車両が進行する軌跡である進行軌跡を推定する進行軌跡推定部と、自車両の速度、方向指示器の指示状態、角速度もしくは操舵角から選択される少なくとも１または複数のパラメータに応じて、推定した進行軌跡を幅方向に制限する進行軌跡制限部と、制限された進行軌跡に基づいて、自車両前方に存在し制御入力となる交通指示体を特定する制御入力特定部と、を備えることを特徴とする。

進行軌跡制限部は、自車両の速度が所定値未満であれば、進行軌跡を左右いずれの幅方向にも制限してもよい。

進行軌跡制限部は、方向指示器が操作されていれば、進行軌跡を、左右の方向指示器が操作されていない側に制限してもよい。

進行軌跡制限部は、方向指示器の操作が終了した後、所定の延長時間の経過を待って、進行軌跡の制限を解消してもよい。

進行軌跡制限部は、自車両の速度が所定値以上であり、かつ、角速度もしくは操舵角の絶対値が所定値以上であれば、進行軌跡を左右いずれの幅方向にも制限してもよい。

進行軌跡制限部は、自車両の速度が所定値未満になり、または、角速度もしくは操舵角の絶対値が所定値未満になった後、所定の延長時間の経過を待って、進行軌跡の制限を解消してもよい。

本発明によれば、進行軌跡の特定を工夫することで、自車両を制御するための制御入力となる交通指示体の特定精度を高めることが可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 輝度画像と距離画像を説明するための説明図である。 信号機特定部の動作を説明するための説明図である。 進行軌跡制限部の動作を説明するためのフローチャートである。 制限された進行軌跡を説明するための説明図である。 制限された進行軌跡を説明するための説明図である。 制限された進行軌跡を説明するための説明図である。 信号機群同士の位置関係を説明するための説明図である。 制御入力特定部の動作を説明するためのフローチャートである。 進行軌跡のオフセットを説明するための説明図である。 １信号処理の流れを説明するためのフローチャートである。 １信号処理を説明するための説明図である。 片側信号処理の流れを説明するためのフローチャートである。 片側信号処理を説明するための説明図である。 同一色信号処理における信号機群を例示した説明図である。 異色信号処理の流れを説明するためのフローチャートである。 異色信号処理を説明するための説明図である。 異色信号処理を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

このような車外環境を認識する車外環境認識装置を搭載した車両では、車両前方に位置する信号機の信号色によって自車両の走行状態を制御することも考えられる。例えば、ＡＣＣでの走行中に前方の信号機の信号色が赤色であれば、車両を制動して停止状態に移行させること等が考えられる。

しかし、見通しのよい交差点等では自車両の検出領域において複数の信号機が同時に認識されてしまう。したがって、車外環境認識装置では、複数の信号が認識された場合、その複数の信号機から、自車両に対する信号色を発する（制御入力となる）信号機を特定し、その信号色に基づいて自車両の走行状態を制御する必要がある。ここで、道路面上の車線から自車両の進行路を把握し、自車両の進行路上に存在する信号機を、自車両の制御入力とすることも可能である。しかし、天候や時刻等、車外環境によって車線を認識し難かったり、そもそも道路面上に車線が存在しない場合、車外環境によっては制御入力となる信号機を特定できない場合も生じ得る。そこで、本実施形態では、車外環境に拘わらず、自車両を制御するための制御入力となる信号機の特定精度を高めることが可能な車外環境認識装置を提供する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像と呼び、後述する距離画像と区別する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する奥行距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との奥行距離を用いて自車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０に構成について詳述する。ここでは、本実施形態に特徴的な、制御入力となる信号機の特定手順と、その前提となる、自車両１が進行する軌跡である進行軌跡について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置情報生成部１６２、対象物特定部１６４、進行軌跡推定部１６６、進行軌跡制限部１６８、奥行距離取得部１７０、信号機群生成部１７２、横位置導出部１７４、制御入力特定部１７６としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、対象物特定処理、進行軌跡特定処理、制御入力特定処理といった順に詳細な動作を説明する。

（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像した輝度画像の画面横方向を示し、「垂直」は、撮像した輝度画像の画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する奥行距離に相当）を画像データに対応付けた画像を距離画像という。

図３は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１０からブロック毎の視差を求め、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

図２に戻って説明すると、３次元位置情報生成部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび奥行距離を含む３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する奥行距離を導出する方法である。このとき、３次元位置情報生成部１６２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（対象物特定処理）
対象物特定部１６４は、輝度画像２１０に基づく輝度および距離画像２１２に基づく３次元の位置情報を用いて検出領域２１４における対象部位（画素やブロック）がいずれの対象物に対応するかを特定する。また、対象物特定部１６４は、特定すべき対象物に応じて、様々な特定部として機能する。例えば、本実施形態においては、自車両１の前方に位置する１または複数の信号機と、信号機それぞれにおいて発光している信号色（赤色信号色、黄色信号色、青色信号色）を特定する信号機特定部として機能する。

図４は、信号機特定部の動作を説明するための説明図である。ここでは、信号機特定部による信号機の赤色信号色の特定処理を例に挙げて、その特定手順を説明する。まず、信号機特定部は、輝度画像２１０における任意の対象部位の輝度が、対象物（赤色信号色）の輝度範囲（例えば、基準値を輝度（Ｒ）として、輝度（Ｇ）は基準値（Ｒ）の０．５倍以下、輝度（Ｂ）は基準値（Ｒ）の０．３８倍以下）に含まれるか否か判定する。そして、対象となる輝度範囲に含まれれば、その対象部位に当該対象物を示す識別番号を付す。ここでは、図４の拡大図に示すように、対象物（赤色信号色）に対応する対象部位に識別番号「１」を付している。

次に、信号機特定部は、任意の対象部位を基点として、その対象部位と、水平距離の差分および高さの差分（さらに奥行距離の差分を含めてもよい）が予め定められた所定範囲内にある、同一の対象物に対応するとみなされた（同一の識別番号が付された）対象部位をグループ化し、その対象部位も一体的な対象部位群とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、信号機特定部は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分および高さの差分が所定範囲内にある、対象物（赤色信号色）が等しい対象部位をグループ化する。結果的に、同一の識別番号が付された対象部位同士の距離が所定範囲内であれば、それら全ての対象部位がグループ化されることとなる。ここでは、図４の拡大図に示すように、識別番号「１」が付された対象部位同士のグループ化された対象部位群２２０となる。

続いて、信号機特定部は、グループ化した対象部位群２２０が、その対象物に関連付けられた高さ範囲（例えば、４．５〜７．０ｍ）、幅範囲（例えば、０．０５〜０．２ｍ）、形状（例えば、円形状）等、所定の条件が成立しているか否か判定する。ここで、形状に関しては、予め対象物に関連付けられたテンプレートを参照してその形が比較され（パターンマッチング）、所定値以上の相関があることで条件が成立していると判定される。そして、所定の条件が成立していれば、そのグループ化された対象部位群２２０を対象物（赤色信号色）として決定する。また、ここでは、対象物として赤色信号色を特定する例を挙げたが、信号機特定部が黄色信号色や青色信号色等も特定できることは言うまでもない。

また、対象部位群２２０が、その対象物特有の特徴を有する場合、その特徴を条件に対象物として決定されてもよい。例えば、信号機の発光体がＬＥＤ（Light Emitting Diode）で構成されている場合、その発光体は、人の目では把握できない周期（例えば１００Ｈｚ）で点滅している。したがって、信号機特定部は、ＬＥＤの点滅タイミングと非同期に取得した輝度画像２１０の対象部位の輝度の時間方向の変化に基づいて対象物（赤色信号色）を決定することもできる。

（進行軌跡特定処理）
上述したように、本実施形態では、自車両１前方の検出領域２１４で認識された１または複数の信号機から、自車両１の制御入力となる信号機を特定し、その信号色に基づいて自車両１の走行状態を制御する必要がある。かかる制御入力となる信号機は、自車両１の進行軌跡に基づいて特定される。したがって、まず、自車両１の速度や角速度または操舵角等、自車両１の現在の運動状態に基づき、自車両１が進行する軌跡である進行軌跡を特定する。

ただし、現在の運動状態を基に予測した進行軌跡と実際の進行軌跡とは必ずしも一致するとは限らず、仮に一致しない場合、本来、制御入力とすべき信号機を特定できず、誤って制御入力から除外してしまうおそれがある。そのような状況として、例えば、自車両１が直進している状態で運転者が方向指示器（ウインカ）を操作せずに高速でステアリングを右に切った場合が考えられる。この場合、そのステアリング操作は右折を意図したものではなく、障害物の回避や車線変更を行った可能性が高い。したがって、その操作の前後で制御入力とすべき信号機を安易に変更すべきではなく、直進状態と同等に扱って信号機を特定すべきである。しかし、運動状態としては右旋回を伴っているため、現在の運動状態を基に推定した進行軌跡は右折方向に湾曲することになり、本来制御入力とすべき信号機を、制御入力から除外してしまう可能性がある。そこで、本実施形態においては、進行軌跡に幅方向の制限を設ける。

進行軌跡推定部１６６は、自車両１の角速度（ヨーレート）および速度に基づいて、自車両１が進行する軌跡である進行軌跡を推定する。また、自車両１の操舵角（ステアリング）が把握可能な場合、操舵角と速度によっても進行軌跡を推定可能である。かかる進行軌跡の導出に関しては、特開２０１２−１８５５６２号公報、特開２０１０−１００１２０号公報、特開２００８−１３００５９号公報、特開２００７−１８６１７５号公報等、様々な既存の技術を適用可能なので、ここではその説明を省略する。

進行軌跡制限部１６８は、自車両１の速度、方向指示器の操作状態、操舵角もしくは角速度から選択される少なくとも１または複数のパラメータに応じて、推定された進行軌跡を幅方向に制限する。こうして、進行軌跡が特定される。

図５は、進行軌跡制限部１６８の動作を説明するためのフローチャートであり、図６〜図８は、制限された進行軌跡を説明するための説明図である。図５を参照すると、進行軌跡制限部１６８は、まず、進行軌跡推定部１６６によって推定された進行軌跡を、道路面上に展開する（Ｓ３００）。

そして、進行軌跡制限部１６８は、自車両１の速度が所定値（例えば、３０ｋｍ／ｈ）未満であるか否か判定する（Ｓ３０２）。その結果、自車両１の速度が所定値未満と判定されれば（Ｓ３０２におけるＹＥＳ）、第１左制限フラグと第１右制限フラグをＯＮするとともに（Ｓ３０４）、延長時間として０を設定する（Ｓ３０６）。ここで、第１左制限フラグおよび後述する第２左制限フラグは、自車両１前方に対して道路面上の左側を制限することを示すフラグであり、それぞれ進行軌跡が制限される距離が異なる。第１右制限フラグおよび第２右制限フラグは、自車両１前方に対して道路面上の右側を制限することを示すフラグであり、それぞれ進行軌跡が制限される距離が異なる。延長時間は、条件を満たさなくなった後、その時点の制限を維持する時間である。

続いて、進行軌跡制限部１６８は、第１左制限フラグ、第２左制限フラグ、第１右制限フラグまたは第２右制限フラグのいずれかがＯＮとなっているか否か判定する（Ｓ３０８）。その結果、いずれかの条件を満たす場合（Ｓ３０８におけるＹＥＳ）、進行軌跡制限部１６８は、道路面上に展開された進行軌跡の、ＯＮとなっている制限フラグに対応する側（第１左制限フラグまたは第２左制限フラグＯＮなら左側を、第１右制限フラグまたは第２右制限フラグＯＮなら右側）を制限する（Ｓ３１０）。例えば、進行軌跡推定部１６６が図６（ａ）に破線の矢印で示したような進行軌跡を推定した場合において、第１左制限フラグまたは第２左制限フラグ、ならびに、第１右制限フラグまたは第２右制限フラグがＯＮになっていれば、左右のいずれも一点鎖線で示されるように、自車両１の前方直線（自車両１幅方向の中心から前方向に延長される直線）から所定の距離（例えば、２ｍ）までに制限され、新たに実線の矢印で示したような進行軌跡が形成される。ここで、制限される距離は、例えば、第１左制限フラグおよび第１右制限フラグに関しては０ｍ、第２左制限フラグおよび第２右制限フラグに関しては２ｍとする。したがって、第１左制限フラグおよび第１右制限フラグがＯＮになっている場合、図６（ｂ）のように、制限された進行軌跡は前方直線と等しくなる。また、制限される距離は、固定値でもよいし、制限の事象毎に異なる値を設定してもよい。また、自車両１が走行する幅を考慮した進行路は、図６（ａ）、（ｂ）にクロスハッチングで示すように、進行軌跡が中心線となるように左右に例えば±３ｍの幅を有する帯状の領域で表すことができる。

図５に戻り、第１左制限フラグ、第２左制限フラグ、第１右制限フラグおよび第２右制限フラグのいずれもＯＦＦの場合（Ｓ３０８におけるＮＯ）、進行軌跡制限部１６８は、延長時間が残っているか、すなわち、延長時間が０より大きいか否か判定する（Ｓ３１２）。その結果、延長時間が０より大きいと（Ｓ３１２におけるＹＥＳ）、例えば、図６に示したような前回までの制限を維持し（Ｓ３１４）、延長時間を割込時間間隔に相当する時間分だけデクリメントする（Ｓ３１６）。また、延長時間が０であれば（Ｓ３１２におけるＮＯ）、何らの制限も行わない（制限されていれば解除する）。ここでは、延長時間が経過するまで前回までの制限を維持するとしたが、延長時間の経過に伴って徐々に制限幅を広める等、制限を緩め、最終的に制限がなくなるとしてもよい。

図７は、自車両１の速度が所定値未満の場合に進行軌跡を制限する理由を説明するための説明図である。自車両１の速度が所定値未満の場合に進行軌跡を制限しているのは、以下の理由による。例えば、高速道路やバイパス等では、図７のように曲率の大きいカーブ２３０の先に、制御入力となるべき信号機ではない信号機が認識されることがある。自車両１が高速（例えば、３０ｋｍ／ｈ以上）で走行している場合は、以下に示すように、進行軌跡に対する進行横位置を判定することで、誤認識を回避できる。しかし、自車両１の速度が所定値未満の場合には、操舵角や角速度が大きかったとしても実際の移動量が小さく、操舵角によって進行軌跡を頻繁に変更すると却って制御が不安定になるので、直進しているとみなし、自車両１近傍にある信号機を制御入力とすべきである。そこで、自車両１の速度が所定値未満の場合には、進行軌跡を±０ｍに制限、すなわち、強制的に直進としている。また、自車両１の速度が所定値未満の場合は延長時間を０とし、条件を満たさなくなると即座に制限を解除する。

図５に戻り、速度判定ステップ（Ｓ３０２）において、自車両１の速度が所定値以上と判定されると（Ｓ３０２におけるＮＯ）、進行軌跡制限部１６８は、方向指示器が操作されているか否か判定する（Ｓ３１８）。その結果、方向指示器が操作されていれば（Ｓ３１８におけるＹＥＳ）、第２右制限フラグおよび第２左制限フラグのうち方向指示器が操作されていない側の制限フラグをＯＮするとともに（Ｓ３２０）、延長時間として所定値（例えば、４秒）を設定し（Ｓ３２２）、上記フラグ判定ステップＳ３０８に処理を移行する。このように設定することで、例えば、進行軌跡推定部１６６が図８に破線の矢印で示したような進行軌跡を推定した場合においても、方向指示器が左折を示していた場合、一点鎖線で示されるように右側のみ自車両１の前方直線から所定の距離（例えば、２ｍ）までに制限され、新たに実線の矢印で示したような進行軌跡が形成される。

ここで、方向指示器が操作されているときに進行軌跡を制限しているのは、例えば、方向指示器が右折を示すように操作している時に左方向にステアリングを回すことは考えにくく、仮にステアリングを左方向に回したとしても一時的なもので、大きく移動することはないので、逆方向への旋回と誤認識しないようにするためである。

また、方向指示器が操作された場合、進行軌跡制限部１６８は、方向指示器の操作が終了した後も方向指示器が操作されていたときの制限を維持し、所定の延長時間の経過を待って、進行軌跡の制限を解消する。こうすることで、右左折、車線変更後のステアリング操作による制御入力判定の影響を小さくすることができる。

図５に戻り、方向指示器判定ステップ（Ｓ３１８）において、方向指示器が操作されていないと判定されると（Ｓ３１８におけるＮＯ）、進行軌跡制限部１６８は、操舵角の絶対値が所定値（例えば、３０度）以上であるか否か判定する（Ｓ３２４）。ここでは、速度判定ステップ（Ｓ３０２）において、自車両１の速度が所定値以上と判定されているので（Ｓ３０２におけるＮＯ）、実際には、自車両１の速度が所定値以上、かつ、操舵角の絶対値が所定値以上であることを判定している。

その結果、操舵角の絶対値が所定値以上であれば（Ｓ３２４におけるＹＥＳ）、第１右制限フラグおよび第１左制限フラグをＯＮするとともに（Ｓ３２６）、延長時間として所定値（例えば、４秒）を設定し（Ｓ３２８）、上記フラグ判定ステップＳ３０８に処理を移行する。このように設定することで、例えば、進行軌跡が±０ｍに制限され、進行軌跡が強制的に直進となる。

ここで、自車両１の速度が所定値以上、かつ、操舵角の絶対値が所定値以上のときに進行軌跡を制限しているのは、速度が高いのに操舵角が大きい状況というのは、旋回を意図しているというより、むしろ、先行車両を回避したり、車線を変更している可能性が高いので、自車両１近傍にある信号機を制御入力とすべきだからである。

また、自車両１の速度が所定値以上、かつ、操舵角の絶対値が所定値以上となった場合、進行軌跡制限部１６８は、自車両１の速度が所定値未満になり、または、操舵角の絶対値が所定値未満になった後も、自車両１の速度が所定値以上、かつ、操舵角の絶対値が所定値以上であったときの制限を維持し、所定の延長時間の経過を待って、進行軌跡の制限を解消する。こうすることで、右左折、車線変更後のステアリング操作による制御入力判定の影響を小さくすることができる。

操舵角判定ステップ（Ｓ３２４）において、操舵角の絶対値が所定値未満であれば（Ｓ３２４におけるＮＯ）、第１左制限フラグ、第２左制限フラグ、第１右制限フラグおよび第２右制限フラグをＯＦＦ（既にＯＦＦになっている制限フラグはＯＦＦを維持）し（Ｓ３３０）、上記フラグ判定ステップＳ３０８に処理を移行する。以上の処理を通じて、進行軌跡を適切に制限することができる。

（制御入力特定処理）
このように進行軌跡が特定されると、進行軌跡に基づいて制御入力となる信号機を特定することができる。ここでは、１または複数の信号機から制御入力となる信号機を特定する。

図２に戻り、奥行距離取得部１７０は、距離画像２１２に基づき、自車両１から、信号機特定部が特定した信号機までの自車両１前方向の距離である奥行距離を取得する。

信号機群生成部１７２は、取得した奥行距離が予め定められた範囲内にある１または複数の信号機をグループ化し信号機群を生成する。本実施形態においては、奥行き方向に間隔を空けて複数の信号機群が形成される場合がある。

図９は、信号機群同士の位置関係を説明するための説明図である。信号機群は自車両１前方において１または複数形成される。例えば、図９の例では、自車両１に近い位置で１の信号機群が形成され、その奥行き方向の長さは約６０ｍとなる。そして、その信号機群から２０ｍの間隔を空けてまた信号機群が形成される。

横位置導出部１７４は、信号機群に含まれる１または複数の信号機の進行横位置および前方横位置を導出する。ここで、進行横位置は、自車両１の、進行軌跡に垂直な方向の相対的な位置であり、前方横位置は、自車両１の前方直線に対する自車両１の幅方向の相対的な位置である。進行横位置と前方横位置とは、その基準となる線が進行軌跡と前方直線といったように異なっている。

制御入力特定部１７６は、信号機の数、制限された進行軌跡に対して左右に配置されているか否か、および、複数の信号機の信号色が等しいか否かに基づいて、複数の信号機から制御入力となる信号機を特定する。本実施形態において、制御入力特定部１７６は、信号機群における信号機の数および進行軌跡に基づく進行横位置に応じて制御入力とする信号機を特定する。

図１０は、制御入力特定部１７６の動作を説明するためのフローチャートである。図１０を参照すると、制御入力特定部１７６は、信号機群内に存在する信号機が１つであるか否か判定する（Ｓ３５０）。その結果、信号機が１つであれば（Ｓ３５０におけるＹＥＳ）、１信号処理（Ｓ３５２）に処理を移行する。

また、信号機が複数であれば（Ｓ３５０におけるＮＯ）、制御入力特定部１７６は、その複数の信号機が進行軌跡を跨いで左右両方に配置されているか否か判定する（Ｓ３５４）。その結果、進行軌跡の左右に配置されていなければ、すなわち、一方にのみ偏っていれば（Ｓ３５４におけるＮＯ）、片側信号処理（Ｓ３５６）に処理を移行する。ただし、配置判定ステップ（Ｓ３５４）では、認識精度を高めるべく進行軌跡が一時的にオフセットされる。

図１１は、進行軌跡のオフセットを説明するための説明図である。配置判定ステップ（Ｓ３５４）では、破線の矢印で示した進行軌跡推定部１６６および進行軌跡制限部１６８に特定された進行軌跡を、自車両１の右方向に２ｍオフセットし、実線の矢印で示す進行軌跡を生成する。信号機は、様々な態様で設置され、例えば、自車両１の左側側道から延びて自車両１の進行路上に存在する場合がある。この場合、自車両１の実際の走行位置によっては、信号機が進行軌跡の左右いずれに出現するか不規則となる。すると、本来、進行軌跡の左側に位置すると判定されるべき信号機が右側にあると誤認識され、例えば、片側信号処理Ｓ３５６が遂行される場合がある。そこで、制御入力となる可能性が高い自車両１の進行路上に存在する信号機を左側に位置する信号機として判定させるため、進行軌跡自体を一時的に右方向に２ｍオフセットする。ここでは、オフセット幅を２ｍとしたが、車線間の推定幅３ｍ×１／２＝１．５ｍより大きな値であれば、任意に決定することができる。ただし、国によっては信号機の位置が異なるので、例えば、日本国以外では、このようなオフセットが不要な場合もある。

図１０に戻り、進行軌跡の左右に配置されていれば（Ｓ３５４におけるＹＥＳ）、信号機群の信号機全ての信号色が等しいか否か判定する（Ｓ３５８）。その結果、信号色が等しいと（Ｓ３５８におけるＹＥＳ）、同一色信号処理（Ｓ３６０）に処理を移行し、信号色が等しくないと（Ｓ３５８におけるＮＯ）、異色信号処理（Ｓ３６２）に処理を移行する。以下、１信号処理（Ｓ３５２）、片側信号処理（Ｓ３５６）、同一色信号処理（Ｓ３６０）、異色信号処理（Ｓ３６２）についてそれぞれ詳述する。

（１信号処理：Ｓ３５２）
図１２は、１信号処理の流れを説明するためのフローチャートであり、図１３は、１信号処理を説明するための説明図である。

信号機群内に存在する信号機が１つである場合、制御入力特定部１７６は、当該１の信号機の前方横位置が所定の境界位置（例えば、−７．５ｍ）より右側であるか否か判定する（Ｓ３７０）。ここで、境界位置の符号は前方横位置の方向を示し、＋は右側、−は左側であることを示す。その結果、図１３にクロスハッチングで示すように、所定の境界位置より右側にあれば（Ｓ３７０におけるＹＥＳ）、制御入力特定部１７６は、１の信号機の進行横位置が所定範囲（第３の所定範囲：例えば、−７ｍ〜＋７ｍ）かつ前方横位置が所定範囲（第４の所定範囲：例えば、−１０ｍ〜＋１０ｍ）に含まれるか否か判定する（Ｓ３７２）。その結果、進行横位置も前方横位置も条件を満たしていれば（Ｓ３７２におけるＹＥＳ）、その１の信号機を制御入力とする（Ｓ３７４）。

上記信号位置判定ステップ（Ｓ３７２）において、進行横位置および前方横位置の両方の条件を満たす信号機は、自車両１近傍に存在する信号機となり、適切に制御入力となる信号機を抽出することができる。

また、１の信号機の前方横位置が所定の境界位置より左側にあり（Ｓ３７０におけるＮＯ）、または、進行横位置または前方横位置のいずれかが条件を満たしていなければ（Ｓ３７２におけるＮＯ）、その１の信号機を制御入力としない（Ｓ３７６）。

（片側信号処理：Ｓ３５６）
図１４は、片側信号処理の流れを説明するためのフローチャートであり、図１５は、片側信号処理を説明するための説明図である。

信号機群に信号機が複数あり、複数の信号機の進行横位置が進行軌跡の左右に配置されていない場合、すなわち、図１５（ａ）に示すように、複数の信号機が進行軌跡に対して左右一方にのみ（ここでは左側のみ）存在する場合、制御入力特定部１７６は、進行横位置が進行軌跡に最も近い１の信号機を制御入力の候補として抽出する（Ｓ３８０）。そして、制御入力特定部１７６は、進行軌跡に最も近い信号機の進行横位置が所定範囲（第１の所定範囲：例えば、−２ｍ〜＋２ｍ）に含まれ、かつ、進行軌跡から最も遠い信号機の進行横位置が所定範囲（第２の所定範囲：例えば、−５ｍ〜＋５ｍ）に含まれるか否か判定する（Ｓ３８２）。その結果、最も近い信号機と最も遠い信号機とがいずれも条件を満たしていれば（Ｓ３８２におけるＹＥＳ）、その進行軌跡に最も近い信号機および、その信号機と信号色が等しい信号機とを制御入力とし、信号色が異なる信号機は全て制御入力としない（Ｓ３８４）。

また、最も近い信号機および最も遠い信号機のいずれか一方または両方が条件を満たしていなければ（Ｓ３８２におけるＮＯ）、信号機群内の全ての信号機を制御入力としない（Ｓ３８６）。

かかる片側信号処理Ｓ３５６では、１信号処理Ｓ３５２と異なり、進行軌跡に最も近い信号機に加え、進行軌跡から最も遠い信号機の進行横位置も判定している。これは、以下の理由による。例えば、高速道路やバイパス等では、図１５（ｂ）のように曲率の大きいカーブ２３０の先に、図１５（ｂ）中破線で囲んだ、制御入力となるべき信号機ではない信号機が認識されることがある。このような高速道路やバイパス等の近傍に位置する他の道路は、幹線道路等、道路幅が大きい場合が多い。一方、図１５（ｃ）のように道路が所定の位置２３２でオフセットした先にある図１５（ｃ）中破線で囲んだ信号機は、制御入力とすべきである。このようなオフセットのある道路は、わき道等、道路幅が小さい場合が多い。そこで、本実施形態では、このような道路幅の違いに着目し、道路幅が大きい、すなわち、信号機間の距離が長い場合にその信号機群を制御入力とせず、道路幅が小さい、すなわち、信号機間の距離が短い場合にその信号機群を制御入力とする。かかる判定を行うため、進行軌跡から最も遠い信号機の進行横位置が所定範囲に含まれる信号機群のみを制御入力と判定している。

また、片側信号処理Ｓ３５６では、１信号処理Ｓ３５２と異なり、前方横位置が所定範囲（第４の所定範囲：例えば、−１０ｍ〜＋１０ｍ）に含まれるか否かを判定していないが、１信号処理Ｓ３５２同様、条件の一つとして当該前方横位置の判定を加えてもよい。こうすることで、制御入力となる信号機の特定精度をより高めることができる。

このようにして、進行軌跡の左右一方にのみ信号機が存在する場合に、その信号機が所定の条件を満たす程度近傍にあれば、制御入力とすることが可能となり、近傍になければ、自車両１が走行する進行路と異なる進行路における信号機とみなして、制御入力から除外することができる。

（同一色信号処理：Ｓ３６０）
図１６は、同一色信号処理における信号機群を例示した説明図である。複数の信号機の進行横位置が進行軌跡の左右に配置されており、信号機群の信号機全ての信号色が等しい場合、制御入力特定部１７６は、無条件で信号機群の信号機全てを制御入力とする。

（異色信号処理：Ｓ３６２）
図１７は、異色信号処理の流れを説明するためのフローチャートであり、図１８および図１９は、異色信号処理を説明するための説明図である。

複数の信号機の進行横位置が進行軌跡の左右に配置されており、信号機群の信号機の信号色が等しくない場合、すなわち、少なくとも２以上の信号色が含まれる場合、制御入力特定部１７６は、認識精度を高めるべく進行軌跡をオフセットする（Ｓ３９０）。

仮に、図１８（ａ）に示すように、進行方向に２車線以上ある道路の右側の走行路を走行している場合、制御入力となるべき信号機の進行軌跡からの距離が、本来制御入力となるべきではない信号機より長くなる場合がある。すると、本来制御入力となるべきではない信号機が制御入力の候補として抽出されるおそれがある。そこで、図１８（ｂ）に示すように、制御入力特定部１７６は、破線の矢印で示す進行軌跡を自車両１の左方向に４ｍオフセットし、実線の矢印で示す進行軌跡を生成する。こうすることで、自車両１の左側に位置する信号機を優先的に制御入力の候補とすることができる。ここでは、オフセット幅を４ｍとしたが、車線間の推定幅３ｍより大きな値であれば、任意に決定することができる。

ただし、図１８（ｃ）のように、進行方向に１車線しかない道路では、４ｍオフセットすることで、本来、制御入力となる信号機が、却って進行軌跡より遠くなるおそれがある。そこで、オフセットの限界を、進行軌跡が最初に信号機に達するまで、すなわち、オフセット前の進行軌跡の左側で最も近い信号機までとする。

図１７に戻り、制御入力特定部１７６は、進行横位置が進行軌跡に最も近い１の信号機を制御入力の候補として抽出する（Ｓ３９２）。そして、制御入力特定部１７６は、進行軌跡に最も近い信号機の進行横位置が所定範囲（例えば、−７ｍ〜＋７ｍ）に含まれるか否か判定する（Ｓ３９４）。その結果、進行横位置が所定範囲に含まれていれば（Ｓ３９４におけるＹＥＳ）、図１９に示すように、その進行軌跡に最も近い信号機および、その信号機と信号色が等しい信号機とを制御入力とし、信号色が異なる信号機は全て制御入力としない（Ｓ３９６）。

また、進行軌跡に最も近い信号機の進行横位置が所定範囲に含まれていなければ（Ｓ３９４におけるＮＯ）、信号機群内の全ての信号機を制御入力としない（Ｓ３９８）。

このようにして、信号機群の信号機の信号色が等しくない場合に、その信号機が所定の条件を満たす程度近傍にあれば、制御入力とし、近傍になければ、自車両１が走行する進行路と異なる進行路における信号機だとして、制御入力から除外することができる。

本実施形態では、信号機群生成部１７２で生成された１または複数の信号機群のうち、自車両１に近い（手前にある）信号機群から順に１の信号機群を抽出し、その信号機群を対象として、上述した１信号処理（Ｓ３５２）、片側信号処理（Ｓ３５６）、同一色信号処理（Ｓ３６０）、異色信号処理（Ｓ３６２）のいずれかが遂行される。そして、各信号機群について、制御入力となる１または複数の信号機と１の信号色が特定される。

このように信号色が特定されると、車外環境認識装置１２０では、制御入力となる信号機の信号色によって自車両１の走行状態が制御される。例えば、最も自車両１に近い信号機群における信号機の信号色が赤色なら、その赤色に基づいて自車両１が制動され、信号色が青色なら次に自車両１に近い信号機群における信号機の信号色が参照され、その信号色に基づく制御が実行される。

以上、説明したように、本実施形態の車外環境認識装置１２０では、複数の信号機が様々なパターンで配置されていたとしても、信号機の数、進行軌跡に対して左右に配置されているか否か、および、複数の信号機の信号色が等しいか否かに基づいて自車両１の制御入力となる信号機を適切に特定することができ、その特定精度を高めることが可能となる。また、進行軌跡を幅方向に制限することで、運動状態を基に予測した進行軌跡と実際の進行軌跡との誤差を抑制して、本来制御入力とすべき信号機を制御入力から除外してしまうのを回避し、信号機の特定精度をさらに高めることが可能となる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

また、上述した実施形態においては、制御入力となる信号機を特定することを前提に、進行軌跡を制限しているが、制御入力となるのは、信号機に限らず、交通標識等、車両に対して何らかの交通規制を行う様々な交通指示体を適用することができる。したがって、本実施形態では、車外環境に拘わらず、進行軌跡に基づいて自車両１の制御入力となる交通指示体も特定することができ、その特定精度を高めることが可能となる。また、進行軌跡を幅方向に制限することで、進行軌跡の推定値と実際の値との誤差を抑制し、信号機のみならず、交通指示体の特定精度をさらに高めることが可能となる。

また、上述した実施形態においては、進行軌跡を幅方向に制限する例を挙げて説明したが、進行路を特定できる場合、進行軌跡に代えて進行路を幅方向に制限することもできる。

また、上述した実施形態においては、所定値、所定範囲、所定の条件、所定距離、所定の延長時間として適当な値を例示しているが、かかる値に限らず、様々な値を任意に設定することができる。

なお、上述した進行軌跡特定処理や制御入力特定処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、信号機や交通標識等の交通指示体を特定するのに適した車外環境認識装置に利用することができる。

１ 車両
１２０ 車外環境認識装置
１６６ 進行軌跡推定部
１６８ 進行軌跡制限部
１７６ 制御入力特定部

Claims (6)

1. 自車両の現在の運動状態に基づいて、自車両が進行する軌跡である進行軌跡を推定する進行軌跡推定部と、
   自車両の速度、方向指示器の指示状態、角速度もしくは操舵角から選択される少なくとも１または複数のパラメータに応じて、推定した進行軌跡を幅方向に制限する進行軌跡制限部と、
   制限された進行軌跡に基づいて、自車両前方に存在し制御入力となる交通指示体を特定する制御入力特定部と、
   を備えることを特徴とする車外環境認識装置。
2. 前記進行軌跡制限部は、前記自車両の速度が所定値未満であれば、進行軌跡を左右いずれの幅方向にも制限することを特徴とする請求項１に記載の車外環境認識装置。
3. 前記進行軌跡制限部は、前記方向指示器が操作されていれば、進行軌跡を、左右の該方向指示器が操作されていない側に制限することを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記進行軌跡制限部は、前記方向指示器の操作が終了した後、所定の延長時間の経過を待って、進行軌跡の制限を解消することを特徴とする請求項３に記載の車外環境認識装置。
5. 前記進行軌跡制限部は、前記自車両の速度が所定値以上であり、かつ、角速度もしくは操舵角の絶対値が所定値以上であれば、進行軌跡を左右いずれの幅方向にも制限することを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。
6. 前記進行軌跡制限部は、前記自車両の速度が所定値未満になり、または、角速度もしくは操舵角の絶対値が所定値未満になった後、所定の延長時間の経過を待って、進行軌跡の制限を解消することを特徴とする請求項５に記載の車外環境認識装置。