JP5591730B2 - 環境認識装置 - Google Patents

Description

本発明は、環境認識装置に係り、特に、道路上に設置された信号機を認識する環境認識装置に関する。

従来から、自車両に例えばＣＣＤカメラやＣＭＯＳカメラ等を搭載し、カメラで撮像した撮像画像中から、信号機の点灯されている信号灯等を検出する装置が知られている。

例えば、特許文献１に記載された装置では、カメラで撮像された撮像画像から赤色の発光部を抽出し、抽出した赤色発光部の撮像画像上での輝度や大きさ、撮像画像上での高さ、形状、楕円度等に基づいて信号機の赤色発光体の発光状態であるか否か、すなわち赤信号であるか否かを判定する。

しかし、信号機の中には、図２８（Ａ）〜（Ｃ）に示すように、青、黄、赤の各信号灯Ｌｂ、Ｌｙ、Ｌｒの他に、右折可や直進可、左折可を示す矢印信号Ａｌ、Ａｓ、Ａｒを備える信号機Ｓもある。このような信号機Ｓに対して上記のように赤信号Ｌｒのみを抽出してしまうと、例えばその情報に基づいて自車両の自動走行制御等を行うような場合、信号機Ｓの直進可の矢印信号Ａｓが点灯しているにも関わらず、自車両が停止線の手前で停止してしまう虞れがある。

このように、直進可の矢印信号Ａｓが点灯しているにも関わらず、自車両を停止線の手前で停止させてしまうと、直進可の矢印信号Ａｓが点灯しているために制動操作を行わない後続車両に追突される等の危険が生じる。そこで、例えば特許文献２では、信号機Ｓの赤信号Ｌｒや黄信号Ｌｙを検出し、赤信号Ｌｒや黄信号Ｌｙに対する所定の位置に探索領域を設定し、この探索領域内でテンプレートとの比較（すなわちテンプレートマッチング）により矢印信号Ａｌ、Ａｓ、Ａｒを検出する信号機認識装置が開示されている。

特開２００７−３４６９３号公報 特開２００９−４３０６８号公報

ところで、信号機ＳをＣＣＤカメラ等で撮像した場合、信号機Ｓが自車両に近い位置にあれば、例えば図２９に示すように、撮像された画像Ｔ中に矢印信号（図２９の場合は矢印信号Ａｓ）が比較的明瞭に撮像されるため、テンプレートマッチングにより矢印信号を検出し易い。

しかしながら、信号機Ｓが自車両からやや遠くなると、例えば図３０に示すように、画像Ｔ中に撮像された矢印信号Ａｓがぼやけてしまい、テンプレートマッチングによる矢印信号の検出は困難になる。そして、信号機Ｓが自車両からさらに遠くなると、例えば図３１に示すように、画像Ｔ中に撮像された矢印信号Ａｓがさらにぼやけてしまい、テンプレートマッチングによる矢印信号の検出はもはや不可能になる。

なお、図２９〜図３１における画像Ｔにおける各画素の大きさは同じであり、図３０や図３１は拡大した写真が示されている。すなわち、図２９に示した信号機Ｓのサイズから見た場合、図３０の画像Ｔには信号機Ｓはより小さいサイズで撮像され、図３１の画像Ｔには信号機Ｓはさらに小さいサイズで撮像される。

上記のように、テンプレートマッチングにより矢印信号を検出する手法を採用すると、信号機Ｓが自車両から遠い位置にあるうちは、矢印信号を検出することができず、矢印信号がテンプレートマッチングにより認識可能となる画像Ｔ中でのサイズで撮像されるまで信号機Ｓが自車両に接近した距離にならないと、矢印信号を認識することができないといった問題があった。

そのため、信号機Ｓがまだ自車両から遠い位置にある段階から、信号機Ｓの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが困難であった。

本発明は、このような事情に鑑みてなされたものであり、信号機の矢印信号を的確に認識することが可能で、しかも、信号機が自車両から遠い位置にある段階から矢印信号を認識することが可能な環境認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を１つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、
自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記矢印信号が指し示す方向を認識する手法を変えるように構成されており、
少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記自車両から遠い第一の所定区間内にある場合には、前記画像中における前記矢印信号と前記赤または黄の信号灯との相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。

第２の発明は、第１の発明の環境認識装置において、前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第一の所定区間より自車両に近い第二の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記画像中における前記矢印信号の左右または上下の対称性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。

第３の発明は、第２の発明の環境認識装置において、前記矢印信号抽出手段は、前記画像中に、前記矢印信号に対応する画素領域に外接する画像領域を設定し、当該画像領域の中心を通る上下方向または左右方向に延在する直線で当該画像領域を分割し、分割された各画像領域にそれぞれ含まれる前記矢印信号に対応する画素領域に属する画素数を比較することで、前記左右または上下の対称性を判定することを特徴とする。

第４の発明は、第２または第３の発明の環境認識装置において、前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第二の所定区間より自車両に近い第三の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の各画素領域の相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。

第５の発明は、第４の発明の環境認識装置において、前記矢印信号抽出手段は、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の前記各画素領域を、前記各画素領域にそれぞれ属する各画素数を比較することで識別することを特徴とする。

第６の発明は、第４または第５の発明の環境認識装置において、前記矢印信号抽出手段は、前記アローヘッド部と前記アローシャフト部とにそれぞれ対応する前記各画素領域の各中心点をそれぞれ算出し、前記各中心点を結ぶベクトルの方向性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。

第７の発明は、第１から第６のいずれかの発明の環境認識装置において、
さらに、前記画像から道路面を検出する路面検出手段を備え、
前記赤信号等検出手段は、前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさと、前記路面検出手段が検出した前記道路面の実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出することを特徴とする。

第８の発明は、環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を１つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、前記矢印信号が指し示す方向を認識する手法として互いに異なる手法で前記矢印信号が指し示す方向を認識する認識手段を複数備え、自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記複数の認識手段のうちのいずれかの前記認識手段が認識した前記方向を選択して出力することを特徴とする。

第１の発明によれば、少なくとも信号機Ｓの赤信号や黄信号までの実空間上の距離が自車両から遠い第一の所定区間内にある場合には、画像中における矢印信号と赤信号等との相互の位置関係に基づいて矢印信号が指し示す方向を認識するため、従来のテンプレートマッチングにより矢印信号が指し示す方向を検出する手法ではその方向を検出することができなかった自車両から非常に遠い位置にある信号機（例えば図３１参照）についても、矢印信号が指し示す方向を的確に認識して検出することが可能となる。

そのため、信号機がまだ自車両から遠い位置にある段階から、信号機の矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。

第２の発明によれば、自車両から赤信号等までの実空間上の距離が第一の所定区間より自車両に近い第二の所定区間にある場合（例えば図３０参照）も、やはり従来のテンプレートマッチングによる手法では矢印信号が指し示す方向を検出することが困難であったが、画像中における矢印信号の左右の対称性や上下の対称性に基づいて矢印信号の方向を的確に認識することが可能となる。

そのため、前記発明の効果に加え、自車両から比較的遠い位置にある信号機についても、矢印信号が指し示す方向を的確に認識して検出することが可能となる。そのため、信号機がまだ自車両から比較的遠い位置にある段階から、信号機の矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。

第３の発明によれば、画像中に設定した矢印信号に対応する画素領域に外接する画像領域を、その中心を通る上下方向や左右方向に延在する直線で各画像領域を分割し、分割された各画像領域にそれぞれ含まれる矢印信号に対応する画素領域に属する画素数を比較して左右の対称性や上下の対称性を判定することで、上記の矢印信号の左右の対称性や上下の対称性を的確に判定することが可能となる。

そして、的確に判定された左右の対称性や上下の対称性に基づいて、矢印信号が指し示す方向を的確に認識することが可能となり、前記第２の発明の効果がより的確に発揮させることが可能となる。

第４の発明によれば、前記各発明の効果に加え、信号機の赤信号等までの実空間上の距離が第二の所定区間より自車両に近い第三の所定区間内にある場合に、矢印信号を形成するアローヘッド部とアローシャフト部に対応する画像中の各画素領域の相互の位置関係に基づいて矢印信号が指し示す方向を認識するため、自車両に近い位置にある信号機（例えば図２９参照）について、矢印信号が指し示す方向を的確に認識して検出することが可能となる。

そのため、前記各発明の効果に加え、信号機の赤信号等までの実空間上の距離が自車両に近い第三の所定区間内にある場合にも、的確に認識された矢印信号が指し示す方向の情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。

また、それとともに、従来のテンプレートマッチングを用いる手法では処理が重くなり、処理に時間がかかってリアルタイム性が損なわれる可能性があり、また、変則的な矢印信号に対応するテンプレートが用意されていない場合には矢印信号の方向を認識することができなくなるといった問題が生じ得るが、上記のように構成することで、処理はさほど重くならず、リアルタイム性が確保されるとともに、変則的な矢印信号が標示される場合であっても矢印信号の方向を的確に認識することが可能となる。

第５の発明によれば、矢印信号を形成するアローヘッド部とアローシャフト部に対応する画像中の各画素領域を、各画素領域にそれぞれ属する各画素数を比較して識別することで、各画素領域を、アローヘッド部とアローシャフト部とに的確に対応付けることが可能となり、前記第４の発明の効果をより的確に発揮させることが可能となる。

第６の発明によれば、アローヘッド部とアローシャフト部とにそれぞれ対応する各画素領域の各中心点を結ぶベクトルの方向性に基づいて矢印信号が指し示す方向を認識することで、変則的な矢印信号も含めて矢印信号が指し示す方向をベクトルの方向性として認識することが可能となり、矢印信号の方向をより的確に認識することが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。

第７の発明によれば、路面検出手段が検出した路面自体の実空間上での高さと、画像中に抽出された赤信号等に対応するグループの実空間上の高さとに基づいて、赤信号等の実際の路面からの高さを算出することが可能となり、それに基づいて信号機の赤信号等を検出することが可能となる。

そのため、前記各発明の効果に加え、画像中に抽出された赤信号等に対応する可能性があるグループを、赤信号等に対応するグループであると的確に認識した上で、それ以降の各処理を行うことが可能となり、赤信号等の検出精度や、矢印信号の検出精度、矢印信号が指し示す方向の認識精度等を確実に向上させることが可能となる。

第８の発明によれば、矢印信号抽出手段に、矢印信号が指し示す方向を認識する手法として互いに異なる手法を採用する認識手段を複数設け、自車両から赤信号等までの実空間上の距離に応じて上記の複数の認識手段のうちのどの認識手段が認識した矢印信号が指し示す方向を選択して出力するように構成しても、前記各発明の効果と同等の有益な効果を発揮させることが可能となる。

本実施形態に係る環境認識装置の構成を示すブロック図である。 撮像手段で撮像される基準画像の例を示す図である。 距離検出手段のイメージプロセッサによるステレオマッチング処理を説明する図である。 作成された距離画像の例を示す図である。 基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。 自車両の左右に検出された車線の例を説明する図である。 形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。 基準画像上に撮像された赤信号の例を示す図である。 検出した画素の上下方向に探索して検出された第２の条件を満たす画素およびグループを示す図である。 図９の画素列の右隣の画素列におけるグループの検出の手法を説明する図である。 グループの縦方向の長さの変化を説明する図であり、（Ａ）は最大値になった場合、（Ｂ）は最大値より短い場合、（Ｃ）は（Ｂ）よりさらに短い場合を表す。 グループの縦方向の長さが最小値より増加した場合を説明する図である。 グループの範囲の上下に近接し実空間上の距離が検出されている各画素を表す図である。 グループの左右端の各画素および上下端の各画素を説明する図である。 矢印信号抽出手段における矢印信号の抽出処理および矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。 縦型の信号機およびその側方に設けられた矢印信号を表す図である。 基準画像の赤信号に対応するグループの下方および左右の側方に設定された探索領域を表す図である。 自車両から赤信号までの実空間上の距離を区分する第一の所定区間Sec１、第二の所定区間Sec２、第三の所定区間Sec３を説明する図である。 矢印信号抽出手段での認識手法１における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。 抽出した矢印信号に対応する画素領域と赤信号に対応するグループとの位置関係を説明する図である。 信号機が縦型の信号機である場合の抽出した矢印信号に対応する画素領域と赤信号に対応するグループとの位置関係を説明する図である。 矢印信号抽出手段での認識手法２における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。 矢印信号に対応する画素領域に外接する画像領域やその中心を通る直線等を説明する図である。 矢印信号が右折可を示す矢印信号である場合の矢印信号に対応する画素領域に外接する画像領域やその中心を通る直線等を説明する図である。 矢印信号抽出手段での認識手法３における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。 矢印信号のアローヘッド部やアローシャフト部に対応する各画素領域や各中心点、中心点同士を結ぶベクトル等を説明する図である。 矢印信号が変則的である場合のアローヘッド部やアローシャフト部、各中心点、中心点同士を結ぶベクトル等を説明する図である。 （Ａ）〜（Ｃ）は赤信号等の他に矢印信号が設けられた一般的な信号機の例を示す図である。 自車両から信号機までの距離が近い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。 自車両から信号機までの距離がやや遠い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。 自車両から信号機までの距離がさらに遠い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。

以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。

本実施形態に係る環境認識装置１は、図１に示すように、撮像手段２や距離検出手段６、統合処理手段１０等を有する処理部９等を備えて構成されている。

なお、距離検出手段６等を含む処理部９の上流側の構成については、本願出願人により先に提出された特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

一対のカメラのうち、メインカメラ２ａは運転者に近い側のカメラであり、例えば図２に示すような画像Ｔを撮像するようになっている。サブカメラ２ｂで撮像された画像と区別するために、以下、メインカメラ２ａで撮像された画像Ｔを基準画像Ｔ、サブカメラ２ｂで撮像された画像（図示省略）を比較画像Ｔｃという。

なお、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれＲＧＢ値等で表されるカラーの画像データＤが取得されるようになっているが、モノクロの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。

また、以下、カラーの画像データＤが、ＲＧＢ値、すなわちＲＧＢ表色系におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分の各輝度（Ｒ，Ｇ，Ｂ）として出力される場合について説明するが、ＲＧＢ値を例えばＬ^＊ａ^＊ｂ^＊表色系やＨＬＳ（ＨＳＬ、ＨＳＩともいう。）等で記述される各データ値に変換して処理を行うように構成することも可能である。さらに、上記のようにモノクロの画像データが取得される場合には、画像データは各画素の輝度で表される。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで各画素ごとに撮像された基準画像Ｔと比較画像Ｔｃの各画像データＤがそれぞれ順次送信されてくると、各画像データＤのＲＧＢ値をそれぞれ例えば０〜２５５の輝度のデジタル値に変換して画像補正部４に出力するようになっている。

画像補正部４は、送信されてきた基準画像Ｔと比較画像Ｔｃの各画像データＤに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Ｔと比較画像Ｔｃの各画像データＤを画像データメモリ５に順次格納するとともに、処理部９に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像Ｔｃの各画像データＤを距離検出手段６にも順次送信するようになっている。

距離検出手段６のイメージプロセッサ７では、基準画像Ｔと比較画像Ｔｃの各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差ｄｐを基準画像Ｔの各画素ごとに順次算出するようになっている。

イメージプロセッサ７におけるステレオマッチング処理では、基準画像Ｔと比較画像Ｔｃの各画像データＤが送信されてくると、図３に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて、下記（１）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。
ＳＡＤ＝Σ｜Ｄ１s,t−Ｄ２s,t｜
＝Σ｛｜Ｒ１s,t−Ｒ２s,t｜＋｜Ｇ１s,t−Ｇ２s,t｜
＋｜Ｂ１s,t−Ｂ２s,t｜｝ …（１）

なお、上記（１）式において、Ｄ１s,t等は基準画素ブロックＰＢ中の各画素の画像データＤ等を表し、Ｄ２s,t等は比較画素ブロックＰＢｃ中の各画素の画像データＤ等を表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。

イメージプロセッサ７は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを順次算出するようになっている。以下、基準画像Ｔの各画素に視差ｄｐを割り当てた画像を距離画像Ｔｚという。また、このようにして各画素ごとに算出された視差ｄｐの情報すなわち距離画像Ｔｚは、距離検出手段６の距離データメモリ８に順次格納されるとともに、処理部９に順次送信されるようになっている。

なお、実空間上で、前記一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（すなわち左右方向）をＸ軸方向、車高方向（すなわち上下方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の点（Ｘ，Ｙ，Ｚ）と、距離画像Ｔｚ上の画素の座標（ｉ，ｊ）および視差ｄｐすなわち（ｉ，ｊ，ｄｐ）とは、下記（２）〜（４）式で表される三角測量の原理に基づく座標変換により１対１に対応付けることができる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像Ｔｚ上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。

例えば、道路面の映像のみからなる特徴に乏しい４×４画素の基準画素ブロックＰＢに対して、比較画像Ｔｃ上でステレオマッチング処理を行っても、比較画像Ｔｃの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックＰＢｃが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。

そのため、そのような視差ｄｐはフィルタリング処理を施して無効とし、視差ｄｐの値として０を出力するようになっている。そして、０が割り当てられた視差ｄｐは、上記（４）式等に従った実空間上の座標（Ｚ，Ｙ，Ｚ）への変換は行われない。すなわち、視差ｄｐは、少なくとも実空間上の距離Ｚが不明であることを意味する。

そして、基準画像Ｔの各画素に、有効に算出された視差ｄｐを割り当てて（すなわち対応付けて）距離画像Ｔｚを作成すると、距離画像Ｔｚは、例えば図４に示すように、基準画像Ｔ上で有意な特徴を有する部分である撮像対象の辺縁部分（エッジ部分）等に有効な視差ｄｐが算出された画像となる。なお、距離画像Ｔｚの作成においては、上記（４）式等に従って予め視差ｄｐを距離Ｚ等に換算し、距離Ｚ等を基準画像Ｔの各画素に割り当てて作成するように構成することも可能である。

本実施形態では、処理部９の統合処理手段１０や距離算出手段１１、マッチング処理手段１２等における各処理では、必要に応じて、上記（２）〜（４）式に従って距離画像Ｔｚの各画素のｉ座標やｊ座標、視差ｄｐが、実空間上のＸ座標（すなわち左右方向の位置）やＹ座標（すなわち上下方向の位置）、距離Ｚに変換されて用いられる。

なお、本実施形態では、上記のように、撮像手段２としてメインカメラ２ａとサブカメラ２ｂとを備え、距離検出手段６は、それらで撮像された基準画像Ｔおよび比較画像Ｔｃに対するステレオマッチング処理により基準画像Ｔの各画素について実空間上の距離Ｚ（すなわち視差ｄｐ）を算出するように構成されているが、これに限定されず、撮像手段２は例えば単眼のカメラのように１枚の画像Ｔのみを出力するものであってもよい。

また、距離検出手段６は、実空間上の距離Ｚを算出又は測定して画像Ｔの各画素に割り当てる機能を有していればよく、例えば自車両前方にレーザ光等を照射してその反射光の情報に基づいて画像Ｔに撮像された撮像対象までの距離Ｚを測定するレーダ装置等で構成することも可能であり、検出の手法は特定の手法に限定されない。

処理部９は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータや、専用回路で構成されている。処理部９は、統合処理手段１０や距離算出手段１１、赤信号等検出手段１２、矢印信号抽出手段１３を備えて構成されている。また、本実施形態では、処理部９には、さらに車線検出手段１４と路面検出手段１５も設けられている。

また、処理部９に、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されており、それらから各測定値が入力されるようになっている。なお、処理部９において先行車両検出等の他の処理を行うように構成することも可能である。

ここで、本実施形態の処理部９の統合処理手段１０等における処理について説明する前に、車線検出手段１４や路面検出手段１５における処理について説明する。

なお、以下の説明において、車線とは、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。また、本実施形態では、以下に説明するように、車線検出手段１４で道路面に標示された車線を検出し、路面検出手段１５でその検出結果に基づいて道路面を検出するように構成されているが、路面検出手段１５は道路面を検出することができるものであれば以下に説明する形態に限定されない。

車線検出手段１４は、撮像手段２により撮像された基準画像Ｔ中から自車両側方の車線を検出するようになっている。具体的には、車線検出手段１４は、図５に示すように、基準画像Ｔを用いて、その１画素幅の水平ラインｊ上を例えば基準画像Ｔの中央から左右方向に探索し、輝度が隣接する画素の輝度から設定された閾値以上に大きく変化する画素を車線候補点ｃｌ、ｃｒとして検出する。

なお、この場合、画素の輝度として、例えば上記のように撮像手段２で撮像される画像がモノクロ画像である場合には、撮像された画像の各画素の画像データである画素ごとの輝度が用いられ、また、本実施形態のように撮像手段２で撮像される画像がカラー画像である場合には、例えば各画素ごとの輝度（Ｒ，Ｇ，Ｂ）の各色成分Ｒ、Ｇ、Ｂの和が画素ごとの輝度として用いられる。或いは、各色成分の値を参照して画素ごとの輝度を決めるように構成することも可能である。

そして、車線検出手段１４は、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点ｃｌ、ｃｒを検出していく。その際、車線検出手段１４は、検出した車線候補点の視差ｄｐ等に基づいて当該車線候補点ｃｌ、ｃｒが道路面上にないと判断した場合には当該車線候補点ｃｌ、ｃｒを車線候補点から除外する。

なお、この場合、今回のサンプリング周期での道路面は、後述するように、車線検出手段１４が検出した車線ＬＬ、ＬＲ（後述する図６参照）に基づいて検出されるため、車線検出手段１４での車線検出処理の際には、今回のサンプリング周期での道路面はまだ検出されていない。そこで、今回のサンプリング周期では、例えば、前回のサンプリング周期で路面検出手段１５が検出した道路面の位置の情報と、前回のサンプリング周期から今回のサンプリング周期までの自車両の挙動等に基づいて道路面の位置が推定される。

そして、車線検出手段１４は、残った車線候補点ｃｌ、ｃｒのうち、距離方向において自車両に近い側の車線候補点ｃｌ、ｃｒに基づいて、自車両の左右に、各車線を、ハフ変換等により直線で近似してそれぞれ検出する。そして、それより遠い側では、その直線に基づいて直線との位置関係等から車線候補点ｃｌ、ｃｒを選別して結んでいくことで、図６に示すように、自車両の左右にそれぞれ車線ＬＬ、ＬＲを検出するようになっている。

なお、以上の車線検出手段１４の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳しくは同公報等を参照されたい。また、車線検出手段１４は、このようにして検出した車線位置ＬＬ、ＬＲや車線候補点ｃｌ、ｃｒ等の情報を図示しないメモリに保存するようになっている。

路面検出手段１５は、車線検出手段１４が検出した車線位置ＬＬ、ＬＲや車線候補点ｃｌ、ｃｒの情報に基づいて車線モデルを三次元的に形成するようになっている。

本実施形態では、路面検出手段１５は、図７（Ａ）、（Ｂ）に示すように、自車両の左右の各車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図７（Ａ）は、Ｚ−Ｘ平面上の車線モデルすなわち水平形状モデル、図７（Ｂ）は、Ｚ−Ｙ平面上の車線モデルすなわち道路高モデルを表す。

具体的には、路面検出手段１５は、自車両の前方の実空間を自車両の位置（すなわち図７（Ａ）、（Ｂ）におけるＺ＝０の位置）からの例えば距離Ｚ７までの各区間に分け、検出した車線候補点ｃｌ、ｃｒの実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点ｃｌ、ｃｒを最小二乗法で直線近似し、各区間ごとに下記の（５）〜（８）式のパラメータａＬ、ｂＬ、ａＲ、ｂＲ、ｃＬ、ｄＬ、ｃＲ、ｄＲを算出して車線モデルを形成するようになっている。

［水平形状モデル］
左車線 Ｘ＝ａＬ・Ｚ＋ｂＬ …（５）
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ …（６）
［道路高モデル］
左車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ …（７）
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ …（８）

路面検出手段１５は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。また、路面検出手段１５は、このようにして形成した車線モデルすなわち算出した各区間のパラメータａＬ〜ｄＲをそれぞれメモリに保存するようになっている。

次に、処理部９（図１参照）の統合処理手段１０や距離算出手段１１、赤信号等検出手段１２、矢印信号抽出手段１３における各処理について説明するとともに、本実施形態に係る環境認識装置１の作用についてもあわせて説明する。

なお、以下では、信号機Ｓの赤信号Ｌｒ（すなわち赤の信号灯Ｌｒ。図２８（Ａ）〜（Ｃ）参照）を検出する場合について説明するが、各処理における色成分の輝度に関する条件等を変更すれば、黄信号Ｌｙ（すなわち黄の信号灯Ｌｙ）を検出するように構成することができる。そこで、赤信号Ｌｒと黄信号Ｌｙの検出処理を同時並行で行うように構成することも可能である。

また、本実施形態では、処理を行う対象として、撮像手段２のメインカメラ２ａで撮像された基準画像Ｔを用いるように構成されているが、撮像手段２のサブカメラ２ｂで撮像された比較画像Ｔｃを用いるように構成することも可能であり、また、それらの両方を用いるように構成することも可能である。

なお、本実施形態における統合処理手段１０や距離算出手段１１、赤信号等検出手段１２での各処理構成については、本願出願人が先に提出した特開２０１０−２２４９２５号公報に詳述されており、詳しくは同公報等を参照されたい。以下、統合処理手段１０や距離算出手段１１、赤信号等検出手段１２での各処理について、その要点を説明する。

統合処理手段１０は、基準画像Ｔ中において互いに隣接する画素ｐについて、当該隣接する画素ｐの各画像データＤに基づいて当該隣接する画素ｐを１つのグループに統合するか否かを判定し、統合すべきと判定した場合に１つのグループｇに統合するようになっている。

本実施形態では、統合処理手段１０は、基準画像Ｔ中の各画素ｐを探索し、画像データＤについての予め設定された第１の条件を満たす画像データＤを有する画素ｐ（以下、注目画素ｐ（ｉ，ｊ）という。）を検出すると、注目画素ｐ（ｉ，ｊ）の周囲に隣接する各画素ｐを探索する。

そして、第１の条件よりも広い範囲に設定された第２の条件を満たす画像データＤを有する画素ｐを検出すると、注目画素ｐ（ｉ，ｊ）と統合して１つのグループｇとする。そして、さらに当該グループｇの周囲に隣接する各画素ｐを探索し、第２の条件を満たす画像データＤを有する画素ｐを検出すると当該グループｇに統合するようになっている。

具体的には、統合処理手段１０は、撮像手段２のメインカメラ２ａから基準画像Ｔの各画素ｐの画像データＤが送信されてくると、基準画像Ｔ中の各画素ｐを探索し、画像データＤについての予め設定された下記の第１の条件を満たす画像データＤを有する画素ｐが探索する。

［第１の条件］
第１の条件としては、例えば、画素ｐの画像データＤの赤、緑、青の各色成分の輝度Ｒ、Ｇ、Ｂがそれぞれ例えば０〜２５５の輝度で表現される場合、
Ｒ≧２００、かつ、Ｇ、Ｂ＜２００ …（９）
を満たす画素ｐがあれば、その画素ｐを注目画素ｐ（ｉ，ｊ）として検出するように設定されている。

信号機Ｓの赤信号Ｌｒが撮像手段２で撮像されると、基準画像Ｔ上では、図８に示すように、赤信号Ｌｒの中心部分Ｌｃが赤みがかった白色に撮像され、その部分の画素ｐの画像データＤのＲ、Ｇ、Ｂの各色成分の輝度が全て２００を越えるほど大きな値として検出される。これは、赤信号Ｌｒに限った現象ではなく、例えば、信号機の青信号Ｌｂのような緑色の光を放つ信号灯でも、やはり基準画像Ｔ上では光源の中心部分が緑色っぽい白色に撮像される。

そのような場合に、第１の条件として赤信号Ｌｒの中心部分Ｌｃを検出することを目的として、第１の条件を、例えば後述する第２の条件の［条件２ｂ］のように、
Ｒ、Ｇ、Ｂ＞２００、かつ、Ｒ≧Ｇ、Ｒ≧Ｂ …（１０）
と設定すると、基準画像Ｔ中に撮像された空など白っぽく明るく撮影された対象が全て検出されてしまうため、信号機Ｓの赤信号Ｌｒのような赤い光を放つ光源を効率良く検出できない。

そのため、本実施形態では、赤信号Ｌｒの中心部分Ｌｃのように白く撮像された画素ｐではなく、その周囲の、赤く、かつ、明るく撮像された画素領域Ｌｌの画素ｐを最初に検出するように構成されている。

統合処理手段１０は、基準画像Ｔ上に上記の第１の条件を満たす画像データＤを有する注目画素ｐ（ｉ，ｊ）を検出すると、続いて、図９に示すように、検出した注目画素ｐ（ｉ，ｊ）を含む基準画像Ｔ中で上下方向に延在する１画素幅の画素列pls上を上下方向に１画素シフトさせながら、各画素ｐの画像データＤが、上記の第１の条件よりも広い範囲に設定された下記の第２の条件を満たすか否かを判定する。

［第２の条件］
［条件２ａ］Ｒ≧１６５、かつ、Ｇ、Ｂ＜１５０ …（１１）
［条件２ｂ］Ｒ、Ｇ、Ｂ＞２００、かつ、Ｒ≧Ｇ、Ｒ≧Ｂ …（１２）
［条件２ｃ］Ｒ≧２００、かつ、Ｇ、Ｂ＜２００ …（１３）

ここで、第２の条件の［条件２ａ］は、赤信号Ｌｒに特有の赤色を有するが、その明るさが上記の第１の条件で規定されるような明るく撮像された画素領域Ｌｌの画素ｐではなく、画素領域Ｌｌの周囲に撮像された、より暗い画素領域Ｌｄ（図８参照）の画素ｐを検出するための条件である。

また、第２の条件の［条件２ｂ］は、前述したように、赤信号Ｌｒに特定の赤色を有し、かつ、その明るさが第１の条件で規定される明るさよりもさらに明るく、白っぽく撮像された赤信号Ｌｒの中心部分の画素領域Ｌｃを検出するための条件である。

さらに、第２の条件の［条件２ｃ］は上記の第１の条件と同じ条件であり、注目画素ｐ（ｉ，ｊ）と同じく画素領域Ｌｌにある画素ｐを検出するための条件である。

統合処理手段１０は、例えば、注目画素ｐ（ｉ，ｊ）の上側に隣接する各画素ｐ（ｉ，ｊ＋１）の画像データＤが上記の第２の条件を満たすと判定すると、画素ｐ（ｉ，ｊ＋１）を注目画素ｐ（ｉ，ｊ）と統合して１つのグループｇとするようにして、画素列pls上を上下方向に１画素シフトさせながら各画素ｐの画像データＤが上記の第２の条件を満たすか否かを判定して、第２の条件のいずれの条件も満たさない画素ｐが出現するまで、第２の条件を満たす画素ｐをグループｇに統合していく。

そして、統合処理手段１０は、図１０に示すように、画素列pls上で統合したグループｇの上端の画素ｐの座標（ｉ，ｊmax）と下端の画素ｐの座標（ｉ，ｊmin）をそれぞれメモリに保存し、続いて、探索するを画素列plを画素列plsから基準画像Ｔ上の右方向および左方向にシフトさせながら、同様にして画素ｐの探索およびグループｇへの統合処理を行う。

なお、前述したように、距離検出手段６で基準画像Ｔの各画素ｐに算出された視差ｄｐが割り当てられて距離画像Ｔｚが作成されている。そこで、その視差ｄｐを利用して、上記の画素ｐのグループｇへの統合処理において、例えば、画素ｐが上記の第２の条件を満たしていても、当該画素ｐに対応する視差ｄｐと隣接する画素ｐに対応する視差ｄｐとの差異が閾値を越えて大きい場合には、当該画素ｐをグループｇに統合しないように構成することも可能である。

一方、本実施形態では、統合処理手段１０は、ある画素ｐをグループｇに統合するか否かの判定において、仮に画素ｐをグループｇに統合した場合に、基準画像Ｔ上でのグループｇの全体の形状が赤信号Ｌｒの形状である円形状でなくなる場合には、当該画素ｐをグループｇに統合せず、また、その時点で統合処理を終了するようになっている。

具体的には、統合処理手段１０で、各画素列pls、plにおけるグループｇの上端の画素ｐから下端の画素ｐまでの画素数ｒを監視するように構成し、例えば図１１（Ａ）に示すように各画素列pls、plにおけるグループｇの上下方向の画素数ｒが一旦最大値ｒmaxとなり、図１１（Ｂ）に示すように画素列plにおけるグループｇの上下方向の画素数ｒが最大値ｒmaxを下回り、図１１（Ｃ）に示すように画素列plにおけるグループｇの上下方向の画素数ｒの減少傾向が続いて、画素列plにグループｇが発見できなくなれば、すなわち第２の条件も満たす画素ｐが見出されなくなれば、その時点で右方向や左方向の画素列での探索を停止する。

また、図１２に示すように画素列plにおけるグループｇの上下方向の画素数ｒが減少して一旦最小値ｒminとなった後、再び最小値ｒminより大きな値になった場合には、基準画像Ｔ上でのグループｇの全体の形状が円形状でなくなるため、画素列plで右方向や左方向の画素列での探索をそこで停止し、その直前の最小値ｒminを与えた画素列までをグループｇが検出された範囲とするようになっている。

統合処理手段１０は、上記のようにして各画素ｐをグループｇに統合する統合処理を終了すると、基準画像Ｔ上で探索していない画素ｐがなくなるまで上記の統合処理を繰り返して、基準画像Ｔ上に各グループｇを統合して形成するようになっている。

距離算出手段１１は、統合処理手段１０により統合された各グループｇについて、実空間上の距離Ｚｇを算出するようになっている。

距離算出手段１１は、統合処理手段１０により統合された各グループｇについて、当該グループｇに属する各画素ｐに割り当てられた各視差ｄｐに基づいて、上記（４）式に従って算出した実空間上の各距離Ｚの平均値や中央値等を、当該グループｇの実空間上の距離Ｚｇとして算出するように構成することが可能である。

しかし、前述した距離検出手段６（図１参照）におけるフィルタリング処理で、当該グループｇに属する各画素ｐに０の視差ｄｐが割り当てられている可能性があり、このような場合には、上記の手法ではグループｇの実空間上の距離Ｚｇを算出することができない。

そこで、本実施形態では、距離算出手段１１は、グループｇに属する各画素ｐに対応する実空間上の各距離Ｚだけでなく、図１３に示すように、基準画像Ｔ上でグループｇの周囲に存在する各画素ｐ^＊に対応する実空間上の各距離Ｚをも用い、それらの各画素ｐ、ｐ^＊の実空間上の各距離Ｚの平均値や中央値等を、当該グループｇの実空間上の距離Ｚｇとして算出するようになっている。

なお、これらの各画素ｐ、ｐ^＊の実空間上の各距離Ｚを、例えばヒストグラムに投票し、その最頻値が属する階級の階級値を、当該グループｇの実空間上の距離Ｚｇとするように構成することも可能である。

次に、赤信号等検出手段１２は、各グループｇの実空間上の距離Ｚｇおよびグループｇの画像中での座標（ｉ，ｊ）に基づいて当該グループｇの実空間上の大きさや道路面からの実空間上の高さを算出し、算出した実空間上の大きさや道路面からの高さに基づいて、信号機Ｓの赤信号Ｌｒ（或いは黄信号Ｌｙ）を検出するようになっている。

具体的には、まず、グループｇの実空間上の大きさについては、図１４に示すように、グループｇの左端の画素ｐのｉ座標Ｉminと右端の画素ｐのｉ座標Ｉmax、および上端の画素ｐのｊ座標Ｊmaxと下端の画素ｐのｊ座標Ｊminを検出し、上記（２）〜（４）式に従って各画素ｐに対応する実空間上の位置（Ｘ，Ｙ）を算出する。そして、右端と左端のＸ座標の差を算出してグループｇの左右方向の実空間上の大きさとし、上端と下端のＹ座標の差を算出してグループｇの上下方向の実空間上の大きさとする。

そして、通常の場合、信号機Ｓの信号灯Ｌは直径が３０ｃｍや３５ｃｍ程度の円形に形成されるため、信号灯からの光の漏れ出しも含めて、本実施形態では、赤信号等検出手段１２は、各グループｇの左右方向および上下方向の実空間上の大きさが例えば４０ｃｍ以内の範囲内にあるか否かをチェックするようになっている。

また、道路面からの実空間上の高さについては、赤信号等検出手段１２は、グループｇの左端の画素ｐと右端の画素ｐの各ｉ座標Ｉmin、Ｉmax中間点のｉ座標Ｉｃ、および上端の画素ｐと下端の画素ｐのｊ座標Ｊmax、Ｊminとの中間点Ｊｃをそれぞれｉ座標、ｊ座標とするグループｇの中心点Ｇｃを算出する。そして、このＪｃとグループｇの実空間上の距離Ｚｇとを上記（３）式に代入して、グループｇの中心点Ｇｃの実空間上の高さＹｃを算出する。

また、赤信号等検出手段１２は、路面検出手段１５が検出した実空間上の道路面の道路高モデル（図７（Ｂ）参照）をメモリから読み出して、前述したグループｇの実空間上の距離Ｚｇにおける道路面の高さＹ^＊を算出する。そして、グループｇの道路面からの実空間上の高さを、グループｇの中心点Ｇｃの実空間上の高さＹｃと道路面の高さＹ^＊との差分Ｙｃ−Ｙ^＊として算出するようになっている。

そして、通常の場合、信号機の信号灯は道路面からの高さが５ｍ以上の高さに設置されるため、本実施形態では、多少幅を持たせて、赤信号等検出手段１２は、上記のようにして算出したグループｇの道路面からの実空間上の高さＹｃ−Ｙ^＊が例えば４ｍ以上の範囲内にあるか否かをチェックするようになっている。

なお、グループｇの実空間上の距離Ｚｇにおける道路面の高さＹ^＊は、各区間ごとに上記（７）式および（８）式で与えられる道路高モデルから線形補間する等して求めることができる。さらに、道路高モデルを含む車線モデルは、路面検出手段１５によって今回のサンプリング周期における車線モデルが検出されていればそれを用い、今回のサンプリング周期での車線モデルがまだ検出されていなければ、前述したように、前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。

また、基準画像Ｔ中に、複数の信号機Ｓが撮像されており、赤信号Ｌｒが複数撮像されている場合がある。そのため、本実施形態では、赤信号等検出手段１２は、上記のようにして算出したグループｇの中心点Ｇｃの実空間上の位置（Ｘｃ，Ｙｃ，Ｚｇ）と、路面検出手段１５が検出した実空間上の道路面の水平形状モデル（図７（Ａ）参照）とを対比して、自車両が走行する進行路上やその近傍に存在し、最も自車両に近い位置にある信号機Ｓを選択するようになっている。

本実施形態では、赤信号等検出手段１２は、上記の各チェック項目をクリアしたグループｇを、道路上に存在する信号機Ｓの赤信号Ｌｒ（或いは黄信号Ｌｙ）として検出するようになっている。

次に、矢印信号抽出手段１３は、上記のようにして検出された赤信号Ｌｒ（或いは黄信号Ｌｙ）の近傍に、矢印信号Ａｌや矢印信号Ａｓ、矢印信号Ａｒ（図２８（Ａ）〜（Ｃ）参照）が撮像されているか否かを探索して抽出するようになっている。以下、この矢印信号抽出手段１３における処理について、図１５等に示すフローチャート等を用いて具体的に説明する。

矢印信号抽出手段１３は、まず、上記のようにして検出された赤信号Ｌｒ（或いは黄信号Ｌｙ。以下同じ）の基準画像Ｔ中の位置に基づいて矢印信号Ａｌ、Ａｓ、Ａｒが撮像されている可能性がある画像領域を探索領域Ｒｓとして設定するようになっている（ステップＳ１）。

その際、矢印信号Ａｌ、Ａｓ、Ａｒ（以下、一般的に言う場合には矢印信号Ａという。）は、図２８（Ａ）〜（Ｃ）に示したように赤信号Ｌｒの下方に設けられている場合だけでなく、図１６に示すようないわば縦型の信号機Ｓの側方に矢印信号Ａが設けられているものも存在する。

そこで、本実施形態では、矢印信号抽出手段１３は、例えば図１７に示すように、基準画像Ｔの、赤信号Ｌｒに対応するグループｇの下方および左右の側方に、探索領域Ｒｓを設定するようになっている。

そして、矢印信号抽出手段１３は、探索領域Ｒｓ内を探索して探索領域Ｒｓ内に撮像されている矢印信号Ａを抽出する矢印信号抽出処理を行う（ステップＳ２）。

本実施形態では、矢印信号抽出処理（ステップＳ２）では、以下のように処理が行われるようになっている。なお、以下では、上記のように、基準画像Ｔの各画素ｐの画像データＤにおける各色成分の輝度Ｒ、Ｇ、Ｂがそれぞれ０〜２５５の値を有するものとして説明する。

具体的には、矢印信号Ａは、通常、緑色に標示されるため、矢印信号抽出手段１３は、探索領域Ｒｓの各画素ｐを探索し、その画像データＤにおける各輝度Ｒ、Ｇ、Ｂが、例えば、
Ｇ＞１５０ …（１４）
Ｂ＞Ｇ×０．６ …（１５）
Ｒ＜Ｇ×０．５ …（１６）
の条件を満たす場合に、当該画素ｐを抽出するようにして、各画素ｐを抽出していく。

そして、抽出した画素ｐの上下や左右に隣接する画素ｐも抽出されている場合には、それらの画素ｐを１つの画素領域Ｒａとしていくことで、探索領域Ｒｓ内に、矢印信号Ａに対応する画素領域Ｒａを抽出するようになっている。

なお、例えば図２８（Ａ）に示した信号機Ｓにおいて、左折可を示す矢印信号Ａｌと直進可を示す矢印信号Ａｓが同時に点灯する場合もあるため、探索領域Ｒｓ内に抽出される矢印信号Ａに対応する画素領域Ｒａは１つだけとは限らない。また、図３１に示したように信号機Ｓが自車両から遠い位置にある場合には、矢印信号Ａに対応する画素領域Ｒａとして、例えば１つの画素ｐしか抽出されないこともあり得る。

矢印信号抽出手段１３は、矢印信号抽出処理（ステップＳ２）で探索領域Ｒｓ内に矢印信号Ａを抽出しない場合には（ステップＳ３；ＮＯ）、今回のサンプリング周期における処理を終了し、次回のサンプリング周期で赤信号等検出手段１２等から信号機Ｓの赤信号Ｌｒに対応するグループｇ等の情報が送られてくるまで待機する。

また、矢印信号抽出手段１３は、矢印信号抽出処理（ステップＳ２）で探索領域Ｒｓ内に矢印信号Ａを抽出した場合には（ステップＳ３；ＹＥＳ）、続いて、抽出した矢印信号Ａが指し示す方向（以下、単に矢印信号Ａの方向という。）を認識する処理を行うようになっている。

その際、本発明では、矢印信号抽出手段１３は、図１８に示すように、自車両ＭＣ（正確には自車両に搭載された撮像手段２）から赤信号Ｌｒまでの実空間上の距離Ｚを、自車両ＭＣから遠い第一の所定区間Sec１、第一の所定区間より自車両に近い第二の所定区間Sec２、および第二の所定区間より自車両に近い第三の所定区間Sec３に区分し、各区間Sec１〜Sec３において、それぞれ矢印信号Ａの方向を認識する手法を変えるようになっている。

逆の言い方をすれば、以下で説明する認識手法２、３では矢印信号Ａの方向を認識することが困難であるが、認識手法１を用いれば矢印信号Ａの方向を認識することが可能な区間が第一の所定区間Sec１に設定され、認識手法３では矢印信号Ａの方向を認識することが困難であるが、認識手法２を用いれば矢印信号Ａの方向を認識することが可能な区間が第二の所定区間Sec２に設定され、認識手法３を用いて矢印信号Ａの方向を認識することが可能な区間が第三の所定区間Sec３に設定される。

そして、矢印信号抽出手段１３は、図１５のフローチャートに示すように、前述した距離算出手段１１が算出した赤信号Ｌｒ対応するグループｇ（図１７参照）までの実空間上の距離Ｚｇを各所定区間Sec１〜Sec３に場合分けして、それぞれの所定区間Sec１〜Sec３に対応する認識手法１〜３を用いて、抽出した矢印信号Ａの方向を認識するようになっている。

まず、自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣに近い第三の所定区間Sec３内になく（ステップＳ４；ＮＯ）、第二の所定区間Sec２内にもない場合（ステップＳ５；ＮＯ）、すなわち自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣから遠い第一の所定区間Sec１にある場合に適用される認識手法１（ステップＳ６）について説明する。

自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣから遠い第一の所定区間Sec１にある場合、赤信号Ｌｒや矢印信号Ａは、例えば図３１に示したように、それらに対応するグループｇや画素領域Ｒａに属する画素数が非常に少なく、いずれもぼやけていて輪郭等が不明瞭な状態で撮像される。特に、矢印信号Ａは、撮像された基準画像Ｔからでは矢印信号Ａの方向を認識することができない状態で撮像される。

認識手法１（ステップＳ６）では、図１９のフローチャートに示すように、矢印信号抽出手段１３は、まず、上記のように距離算出手段１１が算出した赤信号Ｌｒに対応するグループｇの実空間上の距離Ｚｇに基づいて、赤信号Ｌｒの例えば３５ｃｍの直径の信号灯がその距離Ｚｇに存在する場合に、その直径が基準画像Ｔ上で何画素に対応するかを算出して、赤信号Ｌｒの信号灯の直径に対応する画素数ｒを算出する（ステップＳ６１）。

なお、このステップＳ６１の処理において、赤信号Ｌｒに対応するグループｇの実空間上の距離Ｚｇに基づいて赤信号Ｌｒの直径に対応する画素数ｒを算出するように構成する代わりに、実際に検出した赤信号Ｌｒに対応するグループｇの基準画像Ｔ上での縦方向（すなわちｊ軸方向）や横方向（すなわちｉ軸方向）の幅を、赤信号Ｌｒの直径に対応する画素数ｒとして算出するように構成することも可能である。

続いて、矢印信号抽出手段１３は、基準画像Ｔ中における矢印信号Ａに対応する画素領域Ｒａと赤信号Ｌｒに対応するグループｇとの相互の位置関係に基づいて、矢印信号Ａの方向を認識するようになっている（ステップＳ６２）。

その際、実際の信号機Ｓにおいて、赤信号Ｌｒと右折可や直進可、左折可を示す矢印信号Ａｌ、Ａｓ、Ａｒの位置関係が図２８（Ａ）〜（Ｃ）に示したような位置関係にあることに基づいて、本実施形態では、矢印信号抽出手段１３は、図２０に示すように、
（１）抽出した矢印信号Ａに対応する画素領域Ｒａが、赤信号Ｌｒに対応するグループｇの信号灯１個分程度下方の位置にある場合には右折可を示す矢印信号Ａｒ、
（２）抽出した矢印信号Ａに対応する画素領域Ｒａが、赤信号Ｌｒに対応するグループｇの信号灯１個分程度下方の位置から信号灯１個分程度左側の位置にある場合には直進可を示す矢印信号Ａｓ、
（３）抽出した矢印信号Ａに対応する画素領域Ｒａが、赤信号Ｌｒに対応するグループｇの信号灯１個分程度下方の位置から信号灯２個分程度左側の位置にある場合には左折可を示す矢印信号Ａｌ、
であるとして、抽出した矢印信号Ａの方向を認識するようになっている。

また、図１６に示したような縦型の信号機Ｓでは、赤信号Ｌｒの右側に矢印信号Ａがある場合には矢印信号Ａは右折可を示す矢印信号Ａｒであり、赤信号Ｌｒの左側に矢印信号Ａがある場合（図示省略）には矢印信号Ａは左折可を示す矢印信号Ａｌである場合が多いことから、本実施形態では、矢印信号抽出手段１３は、さらに、図２１に示すように、
（４）抽出した矢印信号Ａに対応する画素領域Ｒａが、赤信号Ｌｒに対応するグループｇの信号灯１個分程度右側の位置にある場合には右折可を示す矢印信号Ａｒ、
（５）抽出した矢印信号Ａに対応する画素領域Ｒａが、赤信号Ｌｒに対応するグループｇの信号灯１個分程度左側の位置にある場合には左折可を示す矢印信号Ａｌ、
であるとして、抽出した矢印信号Ａの方向を認識するようになっている。

前述したように、自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣから遠い第一の所定区間Sec１にある場合、例えば図３１に示したように、矢印信号Ａに対応する画素領域Ｒａに属する画素数が少なく、その形状を解析しても、矢印信号Ａの方向を認識することが困難である場合が多い。

しかし、上記の本実施形態における認識手法１（ステップＳ６）によれば、上記のように基準画像Ｔ上に撮像された矢印信号Ａの形状自体に基づいて矢印信号Ａの方向を認識することができない場合であっても、検出した赤信号Ｌｒの基準画像Ｔ上の位置を基準として、基準画像Ｔ中における赤信号Ｌｒに対応するグループｇと矢印信号Ａに対応する画素領域Ｒａとの相互の位置関係から矢印信号Ａの方向を認識する。

そのため、基準画像Ｔ中に撮像された信号機Ｓや赤信号Ｌｒが、少なくとも図２８（Ａ）〜（Ｃ）や図１６に示したような一般的な信号機Ｓであればという前提付きではあるが、信号機Ｓにおける矢印信号Ａの方向を的確に認識することが可能となる。

次に、自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣに近い第二の所定区間Sec３内にないが（図１５のステップＳ４；ＮＯ）、第一の所定区間Sec１よりも自車両に近い第二の所定区間Sec２内にある場合（ステップＳ５；ＹＥＳ）に適用される認識手法２（ステップＳ７）について説明する。

自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが第二の所定区間Sec２（図１８参照）にある場合、赤信号Ｌｒや矢印信号Ａは、例えば図３０に示したようにぼやけた状態で撮像される。そして、矢印信号Ａは、後述するアローヘッド部Ａheadやアローシャフト部Ａshaft（後述する図２６等参照）が明瞭には区別できないが、撮像された基準画像Ｔから、矢印信号Ａの方向を辛うじて認識することが可能な状態で撮像される。

認識手法２（ステップＳ７）では、図２２に示すフローチャートに従って処理が行われる。ここでは、矢印信号Ａの方向を認識する手法として、基準画像Ｔ中における矢印信号Ａの左右の対称性や上下の対称性に基づいて、矢印信号Ａの方向を認識するようになっている。

矢印信号抽出手段１３は、図２３に示すように、まず、基準画像Ｔ中に、矢印信号Ａに対応する画素領域Ｒａに外接する例えば矩形状の画像領域Ａｅを設定し（ステップＳ７１）、当該画像領域Ａｅの中心Ｃｅを通る上下方向に延在する直線ｌ１で当該画像領域Ａｅを左右に分割する（ステップＳ７２）。

そして、分割された各画像領域Ａｅ１、Ａｅ２にそれぞれ含まれる矢印信号Ａに対応する画素領域Ａａに属する画素数を比較することで、矢印信号Ａに対応する画素領域Ａａの左右の対称性を判定するようになっている。

具体的には、矢印信号抽出手段１３は、左の画像領域Ａｅ１に含まれる矢印信号Ａに対応する画素領域Ａａに属する画素数ｒ(Ae1)と、右の画像領域Ａｅ２に含まれる矢印信号Ａに対応する画素領域Ａａに属する画素数ｒ(Ae2)との差の絶対値｜ｒ(Ae1)−ｒ(Ae2)｜を算出する。

そして、その差の絶対値｜ｒ(Ae1)−ｒ(Ae2)｜が閾値未満であれば（ステップＳ７３；ＹＥＳ）、矢印信号Ａの方向は直進方向であると認識する（ステップＳ７４）。すなわち、今回の判定の対象となった矢印信号Ａは、直進可を示す矢印信号Ａｓであると認識する。この場合、閾値は、例えば、矢印信号Ａに対応する画素領域Ａａの総画素数の１０％等として設定される。

図２３に示した例では、各画像領域Ａｅ１、Ａｅ２に含まれる矢印信号Ａに対応する画素領域Ａａに属する各画素数ｒ(Ae1)、ｒ(Ae2)の差の絶対値｜ｒ(Ae1)−ｒ(Ae2)｜が１画素である。また、矢印信号Ａに対応する画素領域Ａａの総画素数は２９画素であり、その１０％は２．９画素であるから、ステップＳ７３の判定基準を満たす。そのため、この場合は、矢印信号Ａの方向は直進方向であると認識される（ステップＳ７４）。

一方、例えば図２４に示す例では、各画像領域Ａｅ１、Ａｅ２に含まれる矢印信号Ａに対応する画素領域Ａａに属する各画素数ｒ(Ae1)、ｒ(Ae2)の差の絶対値｜ｒ(Ae1)−ｒ(Ae2)｜が、矢印信号Ａに対応する画素領域Ａａの総画素数の１０％を越えるため、ステップＳ７３の判定基準を満たさない（ステップＳ７３；ＮＯ）。

そこで、矢印信号抽出手段１３は、続いて、左の画像領域Ａｅ１に含まれる矢印信号Ａに対応する画素領域Ａａに属する各画素数ｒ(Ae1)が、右の画像領域Ａｅ２に含まれる矢印信号Ａに対応する画素領域Ａａに属する各画素数ｒ(Ae2)よりも上記の閾値以上に大きいか否かを判定する（ステップＳ７５）。そして、ステップＳ７５の判定基準が満たされれば（ステップＳ７５；ＹＥＳ）、矢印信号Ａの方向は左折方向であると認識する（ステップＳ７６）。すなわち、矢印信号Ａは左折可を示す矢印信号Ａｌであると認識する。

しかし、図２４に示した例では、逆に、右の画像領域Ａｅ２に含まれる矢印信号Ａに対応する画素領域Ａａに属する各画素数ｒ(Ae2)の方が、左の画像領域Ａｅ１に含まれる矢印信号Ａに対応する画素領域Ａａに属する各画素数ｒ(Ae1)よりも上記の閾値以上に大きいため（ステップＳ７５；ＮＯ）、矢印信号抽出手段１３は、矢印信号Ａの方向は右折方向であると認識する（ステップＳ７７）。すなわち、矢印信号Ａは右折可を示す矢印信号Ａｒであると認識するようになっている。

なお、図２２に示したフローチャートや図２３、図２４に示した各図では、基準画像Ｔ中に設定した、矢印信号Ａに対応する画素領域Ｒａに外接する画像領域Ａｅを、当該画像領域Ａｅの中心Ｃｅを通る上下方向に延在する直線ｌ１で左右に分割して、矢印信号Ａに対応する画素領域Ａａの左右の対称性を判定するように構成した場合について説明した。

しかし、図示を省略するが、矢印信号Ａに対応する画素領域Ｒａに外接する画像領域Ａｅを、当該画像領域Ａｅの中心Ｃｅを通る左右方向に延在する直線ｌ２で上下に分割して、矢印信号Ａに対応する画素領域Ａａの上下の対称性を判定するように構成しても、上記と同様に矢印信号Ａの方向を認識することが可能である。

前述したように、自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが第二の所定区間Sec２にある場合、例えば図３０に示したように、矢印信号Ａはぼやけた状態で撮像され、後述する認識手法３（ステップＳ８）で説明するように、矢印信号Ａに対応する画素領域ＡａをＡheadとアローシャフト部Ａshaft（後述する図２６参照）とに明瞭に区別して解析して矢印信号Ａの方向を認識することはできない。

しかし、上記の本実施形態における認識手法２（ステップＳ７）によれば、上記のように基準画像Ｔ上に撮像された矢印信号Ａに対応する画素領域Ａａの左右の対称性や上下の対称性に基づいて、矢印信号Ａの方向を的確に認識することが可能となる。

次に、自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣに近い第三の所定区間Sec３内にある場合（図１５のステップＳ４；ＹＥＳ）に適用される認識手法３（ステップＳ８）について説明する。

自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣに近い第三の所定区間Sec３（図１８参照）にある場合、赤信号Ｌｒや矢印信号Ａは、例えば図２９に示したように比較的明瞭に撮像され、矢印信号Ａは、後述する図２６に示すように、アローヘッド部Ａheadとアローシャフト部Ａshaftとが明瞭には区別された状態で撮像される。

そこで、認識手法３（ステップＳ８）では、矢印信号Ａの方向を認識する手法として、矢印信号Ａを形成するアローヘッド部Ａheadとアローシャフト部Ａshaftに対応する基準画像Ｔ中の各画素領域Ｒａhead、Ｒａshafの相互の位置関係に基づいて、矢印信号Ａの方向を認識するようになっている。

認識手法３（ステップＳ８）では、図２５に示すフローチャートに従って処理が行われる。

矢印信号抽出手段１３は、図２６に示すように、基準画像Ｔ中に抽出した矢印信号Ａに対応する一組の画素領域Ｒａの、各画素領域にそれぞれ属する各画素数を比較して、大きい方の画素領域（すなわち属する画素数が多い画素領域）を矢印信号Ａのアローヘッド部Ａheadに対応する画素領域Ｒａheadとし、小さい方の画素領域（すなわち属する画素数が少ない画素領域）を矢印信号Ａのアローシャフト部Ａshaftに対応する画素領域Ｒａshaftとして識別する（ステップＳ８１）。

なお、基準画像Ｔ中に抽出した矢印信号Ａに対応する２つの画素領域Ｒａが、同一の矢印信号Ａに属するアローヘッド部Ａheadとアローシャフト部Ａshaftに対応する一組の画素領域Ｒａであるか、或いは、別々の各矢印信号Ａにそれぞれ対応する各画素領域Ｒａであるかの判定を行うことが必要になる。

その場合、２つの画素領域Ｒａが同一の矢印信号Ａに属するものであれば、それらの画素領域Ｒａは、前述した赤信号Ｌｒの場合と同様に、実空間上で、直径が例えば３５ｃｍの円内に収まるはずである。そこで、例えば、前述した距離画像Ｔｚを参照して、２つの画素領域Ｒａにそれぞれ属する画素に割り当てられた視差ｄｐを割り出し、２つの画素領域Ｒａの実空間上の距離Ｚを算出する。

そして、算出した距離Ｚに基づいて、２つの画素領域Ｒａが実空間上で直径が例えば３５ｃｍの円内に収まるか否かを判定することにより、２つの画素領域Ｒａが同一の矢印信号Ａに属するものであるか否かを判定することができる。なお、２つの画素領域Ｒａがそれぞれ別の矢印信号Ａに属するものであると判定した場合には、それぞれ別個に処理される。

矢印信号抽出手段１３は、基準画像Ｔ上に、矢印信号Ａのアローヘッド部Ａheadに対応する画素領域Ｒａheadとアローシャフト部Ａshaftに対応する画素領域Ｒａshaftとを割り出すと、続いて、図２６に示すように、各画素領域Ｒａhead、Ｒａshaftの各中心点Ｃhead、Ｃshaftの座標（ｉ，ｊ）をそれぞれ算出する（ステップＳ８２）。

中心点は、例えば、そのｉ座標を、画素領域の左端の座標と右端の座標の平均値（すなわち左右端の中間の座標）とし、ｊ座標を、画素領域の上端の座標と下端の座標の平均値（すなわち上下端の中間の座標）として算出することができる。

そして、中心点Ｃhead、Ｃshaft同士を結ぶベクトルｖの方向性に基づいて、矢印信号Ａの方向を認識するようになっている（ステップＳ８３）。

すなわち、例えば、ベクトルｖとして中心点Ｃshaftから中心点Ｃheadに向かうベクトルを算出し、それと基準画像Ｔのｉ軸がなす角度を算出する。そして、算出した角度が約９０°であれば（すなわち図２６の場合）、矢印信号Ａの方向は直進方向であると認識する（すなわち矢印信号Ａは直進可を示す矢印信号Ａｓであると認識する）。

また、算出した角度が約０°であれば、矢印信号Ａの方向は右折方向であると認識し、算出した角度が約１８０°であれば、矢印信号Ａの方向は左折方向であると認識するように構成される。

なお、この検出手法３を用いると、図２７に示すように、矢印信号Ａとして、例えば左斜め前に進行可を示す矢印信号が標示されるようなやや変則的な場合でも、中心点Ｃhead、Ｃshaft同士を結ぶベクトルｖの方向性に基づいて、矢印信号Ａの方向を的確に認識することができる。すなわち、この場合は、ベクトルｖと基準画像Ｔのｉ軸とがなす角度が約１３５°になるため、矢印信号抽出手段１３は、矢印信号Ａの方向が左斜め前の方向であると的確に認識することが可能となる。

前述したように、自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣに近い第三の所定区間Sec３にある場合、例えば図２９に示したように、矢印信号Ａは、アローヘッド部Ａheadとアローシャフト部Ａshaft（図２６等参照）とに区別して撮像される。

そこで、上記の認識手法３（ステップＳ８）を採用して矢印信号Ａの方向を認識することで、矢印信号Ａを形成するアローヘッド部Ａheadとアローシャフト部Ａshaftに対応する基準画像Ｔ中の各画素領域Ｒａhead、Ｒａshaftの相互の位置関係に基づいて、矢印信号Ａの方向を的確に認識することが可能となる。

なお、自車両ＭＣから赤信号Ｌｒまでの実空間上の距離Ｚｇが自車両ＭＣに近い第三の所定区間Sec３（図１８参照）にある場合には、例えば図２９に示したように、矢印信号Ａが明瞭に撮像されるため、前述した特許文献２に記載されているように、テンプレートマッチングにより矢印信号Ａの方向を認識するように構成することも可能である。

しかし、テンプレートマッチングを用いる手法は処理に時間がかかる場合が少なくなく、矢印信号抽出手段１３が認識した矢印信号Ａの方向の情報を用いて例えば自車両の自動走行制御等を行うような場合には、リアルタイム性が損なわれる可能性がある。

また、右折可や直進可、左折可を示す矢印信号Ａｌ、Ａｓ、Ａｒ（図２８参照）のそれぞれについてテンプレートを用意してそれぞれ適用すると処理が重くなるうえ、例えば、図２７に示したような変則的な矢印信号Ａに対応するテンプレートが用意されていない場合には、矢印信号Ａの方向を認識することができなくなるといった問題が生じ得る。

その点、上記の認識手法３を採用して、矢印信号Ａを形成するアローヘッド部Ａheadとアローシャフト部Ａshaftに対応する基準画像Ｔ中の各画素領域Ｒａhead、Ｒａshaftの相互の位置関係に基づいて矢印信号Ａの方向を的確に認識するように構成すれば、処理はさほど重くならず、リアルタイム性が確保されるとともに、図２７に示したような変則的な矢印信号Ａが標示される場合であっても、矢印信号Ａの方向を的確に認識することが可能となる。

矢印信号抽出手段１３は、以上のようにして、認識手法１（図１５のステップＳ６）、認識手法２（ステップＳ７）、または認識手法３（ステップＳ８）を適用して、基準画像Ｔ中に抽出した矢印信号Ａの方向（すなわち矢印信号Ａが指し示す方向）を認識すると、認識した方向をメモリに保存するとともに、外部に出力するようになっている（ステップＳ９）。

そして、矢印信号抽出手段１３は、今回のサンプリング周期における処理を終了し、次回のサンプリング周期で赤信号等検出手段１２等から信号機Ｓの赤信号Ｌｒに対応するグループｇ等の情報が送られてくるまで待機するようになっている。

以上のように、本実施形態に係る環境認識装置１によれば、少なくとも信号機Ｓの赤信号Ｌｒや黄信号Ｌｙまでの実空間上の距離Ｚｇが自車両ＭＣから遠い第一の所定区間Sec１（図１８参照）内にある場合には、上記の認識手法１（ステップＳ６）を適用して、画像Ｔ中における矢印信号Ａと赤信号Ｌｒや黄信号Ｌｙとの相互の位置関係に基づいて矢印信号Ａが指し示す方向を認識する。

そのため、従来のテンプレートマッチングにより矢印信号Ａが指し示す方向を検出する手法ではその方向を検出することができなかった自車両ＭＣから非常に遠い位置にある信号機Ｓ（例えば図３１参照）についても、矢印信号Ａが指し示す方向を的確に認識して検出することが可能となる。

そのため、信号機Ｓがまだ自車両ＭＣから遠い位置にある段階から、信号機Ｓの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。

なお、自車両ＭＣから赤信号Ｌｒや黄信号Ｌｙまでの実空間上の距離Ｚｇが第二の所定区間Sec２（図１８参照）にある場合、矢印信号Ａは、例えば図３０に示したようにぼやけた状態で撮像されるため、やはり従来のテンプレートマッチングにより矢印信号Ａが指し示す方向を検出する手法では、その方向を検出することが困難であった。

しかし、本実施形態に係る環境認識装置１によれば、このように信号機Ｓの赤信号Ｌｒや黄信号Ｌｙまでの実空間上の距離Ｚｇが第二の所定区間Sec２内にある場合には、上記の認識手法２（ステップＳ７）を適用して、画像Ｔ中における矢印信号Ａの左右の対称性や上下の対称性に基づいて矢印信号Ａの方向を認識する。

そのため、従来のテンプレートマッチングにより矢印信号Ａが指し示す方向を検出する手法ではその方向を検出することが困難であった自車両ＭＣから比較的遠い位置にある信号機Ｓ（例えば図３０参照）についても、矢印信号Ａが指し示す方向を的確に認識して検出することが可能となる。

そのため、信号機Ｓがまだ自車両ＭＣから比較的遠い位置にある段階から、信号機Ｓの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。

また、本実施形態に係る環境認識装置１によれば、信号機Ｓの赤信号Ｌｒや黄信号Ｌｙまでの実空間上の距離Ｚｇが自車両ＭＣに近い第三の所定区間Sec３（図１８参照）内にある場合には、上記の認識手法３（ステップＳ８）を適用して、矢印信号Ａを形成するアローヘッド部Ａheadとアローシャフト部Ａshaftに対応する基準画像Ｔ中の各画素領域Ｒａhead、Ｒａshafの相互の位置関係に基づいて矢印信号Ａの方向を認識する。

そのため、自車両ＭＣに近い位置にある信号機Ｓ（例えば図２９参照）について、矢印信号Ａが指し示す方向を的確に認識して検出することが可能となり、信号機Ｓが自車両ＭＣに近い位置にある場合に、信号機Ｓの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。

また、それとともに、従来のテンプレートマッチングを用いる手法では処理が重くなり、処理に時間がかかってリアルタイム性が損なわれる可能性があり、また、変則的な矢印信号Ａに対応するテンプレートが用意されていない場合には矢印信号Ａの方向を認識することができなくなるといった問題が生じ得るが、上記の認識手法３を採用すれば、処理はさほど重くならず、リアルタイム性が確保されるとともに、変則的な矢印信号Ａが標示される場合であっても矢印信号Ａの方向を的確に認識することが可能となる。

なお、上記の実施形態では、図１５のフローチャートに示したように、矢印信号抽出手段１３が、自車両ＭＣから赤信号Ｌｒや黄信号Ｌｙまでの実空間上の距離Ｚｇに応じて認識手法１〜３のいずれかの手法を適用するように構成されている場合について説明した。

しかし、図示を省略するが、例えば、矢印信号抽出手段１３に、認識手法１を用いて矢印信号Ａが指し示す方向を認識する第１の認識手段と、認識手法２を用いて矢印信号Ａが指し示す方向を認識する第２の認識手段と、認識手法３を用いて矢印信号Ａが指し示す方向を認識する第３の認識手段とを設け、赤信号等検出手段１２等から信号機Ｓの赤信号Ｌｒに対応するグループｇ等の情報が送られてきた時点で、３つの認識手段で同時並行的に処理を行う。

そして、矢印信号抽出手段１３に、３つの認識手段のうちのいずれかの認識手段が認識した矢印信号Ａが指し示す方向を選択して出力する選択手段を設け、選択手段では、赤信号Ｌｒや黄信号Ｌｙまでの実空間上の距離Ｚｇが自車両ＭＣから遠い第一の所定区間Sec１、第一の所定区間Sec１よりも自車両ＭＣに近い第二の所定区間Sec２、または第一の所定区間Sec１よりも自車両ＭＣに近い第三の所定区間Sec３のいずれの所定区間内にあるかに応じて、どの認識手段が認識した上記の方向を選択して出力するかを切り替えるように構成することも可能である。

このように構成しても、上記の本実施形態の場合と全く同様の有益な作用効果を得ることが可能となる。

また、例えば、前述した路面検出手段１５が形成した車線モデル（上記（５）〜（８）式参照）上或いはその近傍に複数の信号機Ｓが存在する場合、画像Ｔ中にそれらの各信号機Ｓが撮像される場合がある。

そのような場合に、最も手前側すなわち自車両ＭＣに近い側の信号機Ｓにおける矢印信号Ａが指し示す方向が認識されるのは当然であるが、それ以外の、自車両ＭＣからより遠い側の信号機Ｓにおける矢印信号Ａが指し示す方向を同時に認識するように構成することも可能である。

その場合、最も手前側の信号機Ｓ以外の信号機Ｓの矢印信号Ａが指し示す方向を出力するか否かは、その出力情報を用いて自車両の自動走行制御等を行ったりドライバに警告を発したりする外部装置側でその情報を必要とするか否か等に基づいて、適宜決められる。

１ 環境認識装置
２ 撮像手段
６ 距離検出手段
１０ 統合処理手段
１１ 距離算出手段
１２ 赤信号等検出手段
１３ 矢印信号抽出手段
１５ 路面検出手段
Ａ、Ａｌ、Ａｓ、Ａｒ 矢印信号
Ａｅ１、Ａｅ２ 分割された画像領域
Ａhead アローヘッド部
Ａshaft アローシャフト部
Ｃｅ 中心
Ｃhead、Ｃshaft 中心点
Ｄ 画像データ
ｇ グループ
（ｉ，ｊ） 座標
ｌ１、ｌ２ 直線
Ｌｒ 赤信号（赤の信号灯）
Ｌｙ 黄信号（黄の信号灯）
ＭＣ 自車両
ｐ 画素
ｐ^＊ グループの周囲に存在する画素
ｒ(Ae1)、ｒ(Ae2) 画素数
Ｒａ 矢印信号に対応する画素領域
Ｒａhead アローヘッド部に対応する画素領域
Ｒａshaft アローシャフト部に対応する画素領域
Ｒｅ 外接する画像領域
Ｒｓ 探索領域
Ｓ 信号機
Sec１ 第一の所定区間
Sec２ 第二の所定区間
Sec３ 第三の所定区間
Ｔ 基準画像（画像）
ｖ 各中心点を結ぶベクトル
Ｙ 実空間上の高さ
Ｙ^＊ 道路面の実空間上の高さ
Ｙｃ グループの実空間上の高さ
Ｙｃ−Ｙ^＊ グループの道路面からの実空間上の高さ
Ｚ 実空間上の距離
Ｚｇ グループの実空間上の距離

Claims (8)

1. 画素ごとに画像データを有する画像を撮像する撮像手段と、
   前記画像の各画素について実空間上の距離を検出する距離検出手段と、
   前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を１つのグループに統合する統合処理手段と、
   前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
   前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
   検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
   を備え、
   前記矢印信号抽出手段は、
   自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記矢印信号が指し示す方向を認識する手法を変えるように構成されており、
   少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記自車両から遠い第一の所定区間内にある場合には、前記画像中における前記矢印信号と前記赤または黄の信号灯との相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする環境認識装置。
2. 前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第一の所定区間より自車両に近い第二の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記画像中における前記矢印信号の左右または上下の対称性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項１に記載の環境認識装置。
3. 前記矢印信号抽出手段は、前記画像中に、前記矢印信号に対応する画素領域に外接する画像領域を設定し、当該画像領域の中心を通る上下方向または左右方向に延在する直線で当該画像領域を分割し、分割された各画像領域にそれぞれ含まれる前記矢印信号に対応する画素領域に属する画素数を比較することで、前記左右または上下の対称性を判定することを特徴とする請求項２に記載の環境認識装置。
4. 前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第二の所定区間より自車両に近い第三の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の各画素領域の相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項２または請求項３に記載の環境認識装置。
5. 前記矢印信号抽出手段は、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の前記各画素領域を、前記各画素領域にそれぞれ属する各画素数を比較することで識別することを特徴とする請求項４に記載の環境認識装置。
6. 前記矢印信号抽出手段は、前記アローヘッド部と前記アローシャフト部とにそれぞれ対応する前記各画素領域の各中心点をそれぞれ算出し、前記各中心点を結ぶベクトルの方向性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項４または請求項５に記載の環境認識装置。
7. さらに、前記画像から道路面を検出する路面検出手段を備え、
   前記赤信号等検出手段は、前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさと、前記路面検出手段が検出した前記道路面の実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出することを特徴とする請求項１から請求項６のいずれか一項に記載の環境認識装置。
8. 画素ごとに画像データを有する画像を撮像する撮像手段と、
   前記画像の各画素について実空間上の距離を検出する距離検出手段と、
   前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を１つのグループに統合する統合処理手段と、
   前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
   前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
   検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
   を備え、
   前記矢印信号抽出手段は、前記矢印信号が指し示す方向を認識する手法として互いに異なる手法で前記矢印信号が指し示す方向を認識する認識手段を複数備え、自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記複数の認識手段のうちのいずれかの前記認識手段が認識した前記方向を選択して出力することを特徴とする環境認識装置。