JP2022161700A - 信号機認識装置 - Google Patents

Abstract

【課題】 弱光環境においても自車線用の信号機を適切に認識する。【解決手段】 信号機認識装置は、車両の前方領域を撮像することにより画像データを取得可能な撮像装置１１と、車両の前方領域を含む所定の範囲に光を照射し、当該範囲内に存在する立体物からの反射波を受光することにより当該立体物の相対位置及び形状を含む立体物情報を取得可能な光照射装置１２と、画像データに基づいて、灯火が存在する可能性がある領域を灯火領域として抽出し、立体物情報に基づいて、灯火領域に信号機が存在するか否かを判定し、灯火領域に信号機が存在すると判定した場合、立体物情報に基づいて、信号機が自車線用の信号機であるか否かを判定するように構成された制御ユニット１０と、を備える。【選択図】 図２

Description

本発明は、信号機を認識可能な信号機認識装置に関する。

従来から、信号機（灯火の色等も含む。）を認識可能な信号機認識装置が知られている。例えば、特許文献１の信号機認識装置（以下、「従来装置」とも称する。）は、撮像装置で信号機を撮像し、撮像された信号機画像から当該信号機の灯火（以下、「信号灯」とも称する。）の色度情報と輝度情報とを検出し、これらの色度情報及び輝度情報に基づいて信号灯の色を判断することにより、信号灯の色を認識するように構成されている。

特開２００９－０１５７５９号公報

従来装置のように、撮像装置により撮像された撮像画像に基づいて信号機を認識する場合、夜間などの弱光環境（周囲が比較的に暗い環境）下では信号機の筐体が撮像され難くなる。このため、弱光環境下では、撮像画像に含まれる灯火の色のみに基づいて信号機の存在有無を判定しなければならないが、この構成によれば、信号灯以外の灯火（例えば、街灯及び先行車のテールランプ）を信号灯として誤って認識（検出）してしまう可能性がある。また、撮像画像は二次元画像であるため、車両と信号機との位置関係の推定精度がそれほど高くない。このため、撮像画像に基づいて信号機を認識できたとしても、自車線用の信号機ではなく、自車線と交差する車線（立体交差する車線を含む）用の信号機を自車線用の信号機として誤って選択してしまう可能性がある。即ち、撮像画像に基づいて信号機を認識する構成では、特に弱光環境下では、信号機を誤検出したり誤選択したりするという問題がある。

本発明は、上述した問題に対処するためになされたものである。即ち、本発明の目的の一つは、弱光環境においても自車線用の信号機を適切に認識可能な信号機認識装置を提供することにある。

本発明による信号機認識装置（以下、「本発明装置」と称する。）は、
車両に搭載され、
前記車両の前方領域を撮像することにより画像データを取得可能な撮像装置（１１）と、
前記車両の前記前方領域を含む所定の範囲に光を照射し、当該範囲内に存在する立体物からの反射波を受光することにより当該立体物の相対位置及び形状を含む立体物情報を取得可能な光照射装置（１２）と、
前記画像データに基づいて、灯火が存在する可能性がある領域を灯火領域として抽出し（ステップ２１０）、
前記立体物情報に基づいて、前記灯火領域に信号機が存在するか否かを判定し（ステップ２１５）、
前記灯火領域に信号機が存在すると判定した場合、前記立体物情報に基づいて、前記信号機が自車線用の信号機であるか否かを判定する（ステップ２２５）、
ように構成された制御ユニット（１０）と、
を備える。

本発明装置は、光照射装置により取得された立体物情報に基づいて信号機の存在有無を判定する。立体物情報は周囲の明るさに関わらず取得可能である。加えて、立体物情報は、立体物の相対位置及び形状を含む三次元の情報である。このため、二次元の撮像画像に基づいて信号機を認識する構成と比較して、弱光環境においても信号機を精度良く認識でき、信号機を誤検出したり誤選択したりする可能性を大幅に低減できる。この構成によれば、弱光環境においても自車線用の信号機を適切に認識することが可能となる。

特に、本発明装置は、立体物情報に含まれる全ての立体物について当該立体物が信号機であるか否かを判定するのではなく、まず、画像データに基づいて灯火領域を抽出し、灯火領域に信号機が存在するか否かを判定するように構成されている。これは、信号灯は灯火の一種であるため、灯火領域以外の領域に存在する可能性は極めて低いという知見に基づいている。この構成によれば、信号機が存在するか否かの判定対象となる立体物の数を大幅に低減できるため、信号機の認識精度を低下させることなく処理負荷を軽減することができる。

更に、認識した信号機に基づいて車両を加減速制御する場合、立体物情報が三次元であることにより信号機までの距離を正確に演算できる。このため、複数の信号機を認識した場合、信号機までの距離に基づいて信号機に遭遇するタイミングを正確に演算できる。従って、信号機までの距離及び信号灯の色に基づいて、加減速制御の制御タイミング及び制御量を適切に演算することができる。

本発明の一側面は、
様々な種類の信号機の筐体の形状を含む筐体情報を予め記憶している記憶装置を更に備える。
前記制御ユニット（１０）は、
前記立体物情報に含まれる立体物のうち前記灯火領域に対応する領域に含まれる立体物の、信号機の筐体に対する近似度を前記筐体情報に基づいて演算し、当該近似度が所定の近似度閾値以上の場合に前記灯火領域に信号機が存在すると判定する、
ように構成されている。

立体物情報は三次元であるため、立体物の形状を高い精度で取得できる。このため、立体物の「筐体情報に含まれる信号機の筐体」に対する近似度が近似度閾値以上であるということは、当該立体物が信号機の筐体である可能性が極めて高いことを意味する。従って、この構成によれば、灯火領域に信号機が存在するか否かを高い精度で判定できる。

本発明の一側面では、
前記光照射装置は、三次元Ｌｉｄａｒである。

上記説明においては、発明の理解を助けるために、実施形態に対応する発明の構成要件に対して、実施形態で用いた符号を括弧書きで添えているが、発明の各構成要件は、前記符号によって規定される実施形態に限定されるものではない。

本発明の実施形態に係る信号機認識装置（本実施装置）の概略構成図である。 本実施装置の信号機認識ＥＣＵのＣＰＵが実行する処理手順を示す図である。

（構成）
以下、本発明の実施形態に係る信号機認識装置（以下、「本実施装置」とも称する。）について図面を参照しながら説明する。本実施装置は、車両に搭載される。本実施装置は、自車線用の信号機を認識し、その灯火の色及び当該信号機までの距離に基づいて車両を加減速させ、これにより自動運転制御又は運転支援制御を実行するように構成されている。以下、本実施装置が搭載された車両を「自車両」と称する。ここで、「自車線」とは、自車両が現在走行している車線を意味する。また、「自車線用の信号機」とは、信号機が、進行方向が同一である複数の車線を含む車道単位で設置される国においては、自車線及び自車線と進行方向が同一である車線を含む車道の交通を円滑にするために設置される車両用信号機を意味する。一方、信号機が車線単位で設置される国においては、「自車線用の信号機」とは、自車線の交通を円滑にするために設置される車両用信号機を意味する。

図１に示すように、本実施装置は、信号機認識ＥＣＵ１０、並びに、これに接続されたカメラセンサ１１、Ｌｉｄａｒセンサ１２、表示装置２０、駆動装置３０及び制動装置４０を備える。信号機認識ＥＣＵ１０は、マイクロコンピュータを主要部として備える。ＥＣＵは、Electronic Control Unitの略である。マイクロコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェース（Ｉ／Ｆ）等を含み、ＣＰＵはＲＯＭに格納されたインストラクション（プログラム、ルーチン）を実行することにより各種機能を実現するようになっている。

信号機認識ＥＣＵ１０は、カメラセンサ１１及びＬｉｄａｒセンサ１２が出力する信号を所定時間が経過する毎に取得し、取得した信号に基づいて表示装置２０、駆動装置３０及び制動装置４０を制御するように構成されている。以下では、信号機認識ＥＣＵ１０を単に「ＥＣＵ１０」とも称する。

カメラセンサ１１（撮像装置）は、自車両のルームミラー（インナーミラー／リアビューミラー）の裏面に設置されている。カメラセンサ１１は可視光カメラであり、自車両の前方領域を撮像し（別言すれば、前方領域に存在する立体物を撮像し）、撮像して得られた画像データをＥＣＵ１０に出力する。なお、立体物は、信号機、車両、街灯、中央分離帯及び建物等を含む。

Ｌｉｄａｒセンサ１２（光照射装置）は、三次元Ｌｉｄａｒセンサであり、自車両のルーフに設けられたドーム内に収容されている。Ｌｉｄａｒは、Light Detection and Rangingの略である。Ｌｉｄａｒセンサ１２は、自車両の全周囲３６０°の領域に、パルス状に発光する近赤外線波長帯域のレーザー光を照射し、立体物が存在する場合、その立体物からの反射光を受光する。Ｌｉｄａｒセンサ１２は、レーザー光の照射タイミングと受光タイミングと等に基づいて、立体物の有無と、立体物の相対位置及び形状（別言すれば、立体物の空間座標群）と、を演算する。なお、立体物の相対位置は、自車両から立体物までの距離、及び、自車両に対する立体物の方位等を含む。立体物の形状は、立体物の高さ、及び、立体物の向き（姿勢）等を含む。Ｌｉｄａｒセンサ１２は、演算結果を三次元点群情報としてＥＣＵ１０に出力する。三次元点群情報は、「立体物情報」の一例に相当する。

本実施形態では、Ｌｉｄａｒセンサ１２としてソリッドステート式のセンサが用いられるが、Ｌｉｄａｒセンサの種類はこれに限られず、例えばラスタースキャン式又はウォブリングスキャン式のセンサが用いられてもよい。また、三次元点群情報を取得するセンサはＬｉｄａｒセンサ１２に限られず、立体物の相対位置及び形状を三次元で精度良く演算可能なセンサであればよい。
加えて、Ｌｉｄａｒセンサ１２は、自車両の全周囲３６０°にレーザー光を照射する構成に限られず、少なくとも前方領域を含む領域にレーザー光を照射可能であればよい。

表示装置２０は、自車両のメータパネル（図示省略）に信号灯（信号機の灯火）の色に関する情報を表示するための装置である。ＥＣＵ１０は、表示装置２０を制御することにより、メータパネルに上記情報を表示させる。

駆動装置３０は、自車両を走行させるための駆動力をその駆動輪に付与するための装置である。ＥＣＵ１０は、駆動装置３０の作動を制御することにより、駆動輪に付与される駆動力を制御する。

制動装置４０は、自車両を制動するための制動力をその車輪に付与するための装置である。ＥＣＵ１０は、制動装置４０の作動を制御することにより、車輪に付与される制動力を制御する。

（作動の詳細）
続いて、ＥＣＵ１０の作動の詳細について図２を参照して説明する。図２は、ＥＣＵ１０のＣＰＵが自車線用の信号機を認識して装置２０乃至４０を制御する処理手順を示す図である。ＣＰＵは、イグニッションスイッチがオン状態にある期間中、所定時間が経過する毎に図２に示した処理をこの順に繰り返し実行するように構成されている。

所定のタイミングになると、ＣＰＵは、ステップ２００から処理を開始してステップ２０５に進み、カメラセンサ１１から画像データを取得するとともに、Ｌｉｄａｒセンサ１２から三次元点群情報を取得する。

続いて、ＣＰＵは、ステップ２１０に進み、ステップ２０５にて取得した画像データに基づいて撮像画像を生成し、当該撮像画像から灯火領域を抽出する。灯火領域は、灯火（信号灯、街灯、先行車のテールランプ及び対向車のヘッドランプ等）が存在する可能性がある領域であり、以下のようにして抽出される。即ち、ＣＰＵは、画像データに基づいて撮像画像をカラー画像として生成し、当該カラー画像を構成する各画素のＲＧＢ値（色情報）を演算し、各画素について、演算されたＲＧＢ値が「灯火の平均的なＲＧＢ値の範囲」内に含まれるか否かを判定する。ここで、「灯火の平均的なＲＧＢ値の範囲」とは、実験又はシミュレーションにより決定された範囲であり、ＥＣＵ１０のＲＯＭに予め格納されている。或る画素のＲＧＢ値が上記範囲内に含まれる場合、ＣＰＵは、当該画素を灯火候補であると判定する。灯火候補と判定された画素同士の距離が所定の距離閾値以下である場合、ＣＰＵは、これらの画素群を含む所定の範囲を灯火領域として抽出する。後述するように、灯火領域は、信号機の筐体を検出する際に利用されるため、上記「所定の範囲」は、これらの画素群の周囲と、その下方と、を含む矩形状の範囲であることが望ましい。

なお、灯火領域の抽出方法は上記に限られない。例えば、ＣＰＵは、画像データに基づいて撮像画像をグレースケール画像として生成し、当該グレースケール画像を構成する各画素の輝度値（明るさ情報）を演算してもよい。そして、所定の輝度閾値より高い輝度値を有する画素群を含む所定の範囲を灯火領域として抽出してもよい。但し、後述するように、本実施形態では信号灯の色がメータパネルに表示されるようになっているため、灯火領域がグレースケール画像に基づいて抽出される場合であっても、信号灯の色情報は別の方法で演算されることが望ましい。

次に、ＣＰＵは、ステップ２１５に進み、ステップ２０５にて取得した三次元点群情報に基づいて、ステップ２１０にて抽出した灯火領域に信号機が存在するか否かを判定する。具体的には、ＣＰＵは、まず、三次元点群情報に含まれる空間座標群から、灯火領域を構成する各画素の位置座標に対応する空間座標群を選択する（以下、選択された空間座標群を「灯火領域に対応する空間座標群」とも称する。）。ここで、ＥＣＵ１０のＲＯＭ（記憶装置）には、様々な種類の信号機（詳細には、車両用信号機）の筐体の形状（別言すれば、筐体の空間座標群）を含む筐体情報が予め記憶されている。ＣＰＵは、「灯火領域に対応する空間座標群に含まれる立体物の形状」と「筐体情報に含まれる信号機の筐体の形状」との近似度を演算する。そして、近似度が所定の近似度閾値以上の場合、灯火領域に信号機が存在する（別言すれば、灯火領域に含まれる灯火は信号灯である）と判定し、近似度が近似度閾値未満の場合、灯火領域に信号機が存在しない（別言すれば、灯火領域に含まれる灯火は信号灯以外の灯火である）と判定する。ＣＰＵは、ステップ２１０にて抽出した全ての灯火領域について、ステップ２１５の処理を実行する。信号機が存在すると判定された灯火領域がある場合、ＣＰＵは、ステップ２２０に進む。一方、信号機が存在すると判定された灯火領域がない場合、ＣＰＵは、ステップ２５５に進んで図２に示す処理を一旦終了する。

ステップ２２０では、ＣＰＵは、ステップ２１５にて信号機が存在すると判定された灯火領域に対応する空間座標群から、信号機の筐体（厳密には、筐体を表す空間座標群）を抽出する。
次いで、ＣＰＵは、ステップ２２５に進み、三次元点群情報と、ステップ２２０にて抽出された信号機の筐体の相対位置（距離及び方位）及び形状（高さ及び向き）と、に基づいて、当該信号機が自車線用の信号機であるか否かを判定する。

例えば、三次元点群情報により自車両と信号機との間に他車両とは異なる立体物（例えば、中央分離帯）が検出された場合、ＣＰＵは、当該信号機は自車線用の信号機ではない（例えば、自車線と交差する交差車線用の信号機である）と判定する。また、信号機の相対位置が自車線及び自車線と進行方向が同一である車線を含む車道から明らかに逸脱している場合、ＣＰＵは、当該信号機は自車線用の信号機ではない（例えば、交差車線用の信号機である）と判定する。更に、信号機の高さが所定の高さ閾値以上の場合、ＣＰＵは、当該信号機は自車線用の信号機ではない（例えば、自車線と立体的に交差する立体交差車線用の信号機である）と判定する。或いは、信号機が車線単位で設置される国においては、信号機の横位置（自車両の車幅方向における位置）が自車両から大幅に離間している場合、ＣＰＵは、当該信号機は自車線用の信号機ではない（例えば、隣接車線用の信号機である）と判定する。
これに対し、例えば、信号機が自車両の前方に位置しており、自車両と信号機との間に他車両以外の立体物が検出されておらず、信号機の高さが高さ閾値未満である場合、ＣＰＵは、当該信号機は自車線用の信号機であると判定する。

ＣＰＵは、ステップ２２０にて抽出した全ての信号機の筐体について、ステップ２２５の処理を実行する。自車線用の信号機が存在する場合、ＣＰＵは、ステップ２３０に進む。一方、自車線用の信号機が存在しない場合、ＣＰＵは、ステップ２５５に進んで図２に示す処理を一旦終了する。なお、Ｌｉｄａｒセンサ１２は比較的に長距離の測距及び空間イメージングが可能であるため、自車線用の信号機が複数存在する（検出される）場合がある。

ステップ２３０では、ＣＰＵは、ステップ２２５にて自車線用の信号機であると判定された信号機と同一の信号機情報がＥＣＵ１０のＲＡＭに格納されていないかを追跡する。ここで、信号機情報とは、自車線用の信号機の相対位置及び信号灯の色を含む情報である。
同一の信号機についての信号機情報がＲＡＭに格納されている場合、ＣＰＵは、ステップ２３５にて当該情報を更新する。具体的には、信号機の相対位置を更新するとともに、信号灯の色を追加する。信号灯の色を追加することにより、信号灯の色の変遷が記憶される（後述）。
一方、同一の信号機についての信号機情報がＲＡＭに格納されていない場合、ＣＰＵは、新たな信号機を検出したと判定し、ステップ２３５にて当該信号機の信号機情報をＲＡＭに格納（記憶）する。

その後、ＣＰＵは、ステップ２４０に進み、ステップ２３５にて更新された信号機情報に含まれる信号灯の色の変遷に基づいて、信号機の種別を判定する。信号機の種別は、典型的には、通常の信号機、点滅信号機、及び、予告信号機である。例えば、信号灯の色が「赤」、「黄」、「青」の順に変遷する場合、ＣＰＵは、信号機は通常の信号機であると判定する。一方、信号灯の色が「黄」の点滅である場合、ＣＰＵは、信号機は黄色の点滅信号機であると判定する。

続いて、ＣＰＵは、ステップ２４５に進み、表示装置２０を制御してメータパネルに信号灯の色に関する情報を表示する。ステップ２２５にて自車線用の信号機が複数検出されている場合、ＣＰＵは、信号灯の色に関する情報を、信号機に遭遇する順番で表示してもよい。また、信号機までの距離と関連付けて表示してもよい。

次いで、ＣＰＵは、ステップ２５０に進み、ＲＡＭに格納されている自車線用の信号機（厳密には、自車両から最も近い位置に存在する信号機）の信号機情報（即ち、信号機までの距離及び信号灯の色）に基づいて、駆動装置３０及び／又は制動装置４０を制御して自車両を加減速制御する。なお、ステップ２４５及びステップ２５０の処理の順序は問わない。その後、ＣＰＵは、ステップ２５５に進んで図２に示す処理を一旦終了する。

以上説明したように、本実施装置は、Ｌｉｄａｒセンサ１２により取得された三次元点群情報に基づいて信号機の存在有無を判定する。三次元点群情報は周囲の明るさに関わらず取得可能である。加えて、三次元点群情報は、立体物の相対位置及び形状を含む三次元の情報である。このため、二次元の撮像画像に基づいて信号機を認識する構成と比較して、弱光環境においても信号機を精度良く認識でき、信号機を誤検出したり誤選択したりする可能性を大幅に低減できる。この構成によれば、弱光環境においても自車線用の信号機を適切に認識することが可能となる。

特に、本実施装置は、三次元点群情報に含まれる全ての立体物について当該立体物が信号機であるか否かを判定するのではなく、まず、画像データに基づいて灯火領域を抽出し、灯火領域に信号機が存在するか否かを判定するように構成されている。これは、信号灯は灯火の一種であるため、灯火領域以外の領域に存在する可能性は極めて低いという知見に基づいている。この構成によれば、信号機が存在するか否かの判定対象となる立体物の数を大幅に低減できるため、信号機の認識精度を低下させることなく処理負荷を軽減することができる。

更に、本実施装置は、認識した信号機に基づいて車両を加減速制御するように構成されている。三次元点群情報によれば、信号機までの距離を正確に演算できる。このため、複数の信号機を認識した場合、信号機までの距離に基づいて信号機に遭遇するタイミングを正確に演算できる。従って、信号機までの距離及び信号灯の色に基づいて、加減速制御の制御タイミング及び制御量を適切に演算することができる。

以上、本実施形態に係る信号機認識装置について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限り、種々の変更が可能である。

例えば、信号機認識装置は、表示装置２０、駆動装置３０及び制動装置４０を含まないように構成されてもよい。この場合、ＥＣＵ１０は、表示装置２０、駆動装置３０及び制動装置４０をそれぞれ制御可能なＥＣＵに接続されており、ＥＣＵ１０での演算結果を各ＥＣＵに送信可能に構成され得る。

１０：信号機認識ＥＣＵ、１１：カメラセンサ、１２：Ｌｉｄａｒセンサ、２０：表示装置、３０：駆動装置、４０：制動装置

Claims (3)

1. 車両に搭載され、
   前記車両の前方領域を撮像することにより画像データを取得可能な撮像装置と、
   前記車両の前記前方領域を含む所定の範囲に光を照射し、当該範囲内に存在する立体物からの反射波を受光することにより当該立体物の相対位置及び形状を含む立体物情報を取得可能な光照射装置と、
   前記画像データに基づいて、灯火が存在する可能性がある領域を灯火領域として抽出し、
   前記立体物情報に基づいて、前記灯火領域に信号機が存在するか否かを判定し、
   前記灯火領域に信号機が存在すると判定した場合、前記立体物情報に基づいて、前記信号機が自車線用の信号機であるか否かを判定する、
   ように構成された制御ユニットと、
   を備える、
   信号機認識装置。
2. 請求項１に記載の信号機認識装置であって、
   様々な種類の信号機の筐体の形状を含む筐体情報を予め記憶している記憶装置を更に備え、
   前記制御ユニットは、
   前記立体物情報に含まれる立体物のうち前記灯火領域に対応する領域に含まれる立体物の、信号機の筐体に対する近似度を前記筐体情報に基づいて演算し、当該近似度が所定の近似度閾値以上の場合に前記灯火領域に信号機が存在すると判定する、
   ように構成された、
   信号機認識装置。
3. 請求項１又は請求項２に記載の信号機認識装置において、
   前記光照射装置は、三次元Ｌｉｄａｒである、
   信号機認識装置。

Images