JPWO2012140752A1

JPWO2012140752A1 - 車載周辺物認識装置及びこれを用いる運転支援装置

Info

Publication number: JPWO2012140752A1
Application number: JP2013509703A
Authority: JP
Inventors: 宇佐美　祐之; 祐之宇佐美
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-04-13
Filing date: 2011-04-13
Publication date: 2014-07-28
Anticipated expiration: 2031-04-13
Also published as: EP2698777B1; US20140022068A1; US8970357B2; WO2012140752A1; JP5617999B2; EP2698777A1; EP2698777A4

Abstract

車載周辺物認識装置は、車両の周辺環境を撮像するカメラと、画像処理装置とを備え、前記画像処理装置は、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断し、前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする。

Description

本発明は、車両の周辺環境を撮像するカメラと、画像処理装置とを備えた車載周辺物認識装置及びこれを用いる運転支援装置等に関する。

従来から、カメラにより撮像された画像を画像処理し、クラス化を行うことで先行車のテールランプやヘッドライト、路側の照明や標識等を認識する技術が知られている（例えば、特許文献１参照）。

米国特許公開２００７／０２２１８２２号

しかしながら、車両の前方照明装置の灯火状態によっては、同一の対象物であっても、カメラにより異なる態様で捕捉される場合がある。例えば、車両の前方照明装置により近赤外光を車両前方に投光し、近赤外光カメラを用いて画像認識を行う場合、近赤外光を投光した場合と近赤外光を投光していない場合とで、同一の対象物の像の色特性が変化する。

そこで、本発明は、車両の前方照明装置の灯火状態に応じて認識対象物の認識方法を可変する車載周辺物認識装置及びこれを用いる運転支援装置等の提供を目的とする。

本発明の一局面によれば、車両の周辺環境を撮像するカメラと、
画像処理装置とを備え、
前記画像処理装置は、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断し、
前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車載周辺物認識装置が提供される。

本発明によれば、車両の前方照明装置の灯火状態に応じて認識対象物の認識方法を可変する車載周辺物認識装置及びこれを用いる運転支援装置等が得られる。

本発明の一実施例による車載周辺物認識装置１の構成を示す図である。カメラ１２の搭載状態の一例と共に、ロービーム照射領域と近赤投光領域の関係の一例を示す図である。近赤外投光装置６の一例を示す図である。画像処理装置１４により実行される前方車両のテールランプ検出方法の一例を示すフローチャートである。画像処理装置１４により処理される前方環境画像の一例を模式的に示す図である。カメラ１２の画素構成（ＣＭＯＳイメージャカラーベイヤ配列）の一例を示す図である。カメラ１２の分光感度特性の一例を示す図である。図７（Ｃ）の特性におけるデニリエータの分光範囲を示す図であり、非近赤外投光用判定閾値の設定方法の説明図である。図７（Ｃ）の特性におけるデニリエータの分光範囲を示す図であり、近赤外投光用判定閾値の設定方法の説明図である。判定閾値のその他の例を示す図である。図７（Ｃ）の特性におけるテールランプの分光範囲を示す図である。本実施例の車載周辺物認識装置１を含む運転支援装置１００の一実施例を示すシステム図である。ランプ制御ＥＣＵ１０６により実行されるランプ点灯制御の一例を示すフローチャートである。運転支援装置１００により実行される運転支援制御の一例を示すフローチャートである。３種類の光源（ＬＥＤ，ハロゲン、ＨＩＤ）のそれぞれの場合のヘッドライト４の分光特性の一例を示す図である。ヘッドライト４の分光特性が考慮されたカメラ分光輝度特性の一例を示す図である。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の一実施例による車載周辺物認識装置１の構成を示す図である。

車載周辺物認識装置１は、カメラ１２と、画像処理装置１４とを含む。

カメラ１２は、近赤外光カメラであり、近赤外光に高い感度を有するＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、車両前方の路面を含む前方環境画像を取得する。カメラ１２は、図２に示すように、例えばルームミラーの裏側（車両前側の面）に取り付けられる。カメラ１２により撮像される車両前方領域は、後述のロービーム照射領域の全部若しくは少なくともその大部分を含む。また、カメラ１２により撮像される車両前方領域は、後述の近赤投光領域の全部若しくは一部を含む。カメラ１２は、車両走行中にリアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で画像処理装置１４に供給するものであってよい。

画像処理装置１４は、カメラ１２から得られる前方環境画像を画像処理して、車両前方に存在しうる前方車両（先行車や対向車）を検出する。前方環境画像中の前方車両を検出する方法は後に詳説する。

図２は、カメラ１２の搭載状態の一例と共に、ロービーム照射領域と近赤投光領域の関係の一例を示す図である。図３は、近赤外投光装置６の一例を示す図である。

車載周辺物認識装置１が搭載される車両は、ヘッドライト４と共に、近赤外投光装置６を有する。ヘッドライト４は、車両前方に向けて可視光を放つ。ヘッドライト４は、オン／オフの切換が可能であり、オン時に可視光を照射する。また、ヘッドライト４は、ロービームとハイビームとを切り替え可能である。尚、ロービーム用の光源とハイビーム用の光源とは別であってもよいし、共通であってもよい。後者の場合、ロービームとハイビームとの間の切り替えは、ハイビーム光を選択的に遮るように可動するシェードを駆動することにより実現されてもよい。図２には、ロービームによる照射領域の一例がロービーム照射領域として図示されている。

近赤外投光装置６は、車両前方に向けて近赤外光を放つ。近赤外投光装置６は、オン／オフの切換が可能であり、オン時に近赤外光を照射する。近赤外投光装置６は、例えば車両前部両側に装着される。近赤外投光装置６は、図３に示すように、ハイビームランプ４ａに組み込まれてもよい。図示の例では、近赤外投光装置６は、赤外線透過フィルタ６ａと、ソレノイド６ｂとを含む。ソレノイド６ｂは、赤外線透過フィルタ６ａを、図３（Ａ）に示すオフ位置と、図３（Ｂ）に示すオン位置の間で駆動する。オフ位置では、図３（Ａ）に示すように、赤外線透過フィルタ６ａがハイビームの光路外に退避され、ハイビーム光が車両前方に照射される。他方、オン位置では、図３（Ｂ）に示すように、赤外線透過フィルタ６ａがハイビームの光路上に配置され、近赤外光が車両前方に照射される。図２には、近赤投光領域の一例が図示されている。なお、図３に示す近赤外投光装置６を用いる場合、近赤投光領域は、ハイビームによる照射領域（ハイビーム照射領域）と実質的に同一となる。以下では、説明の複雑化を防止するため、近赤投光領域とハイビーム照射領域とは同一であるものとする。

近赤投光領域は、例えば、図２に示すように、ロービーム照射領域よりも遠方側に設定される。これは、近赤投光領域を、ロービームでは照明不能若しくは照明量が不足する領域に設定することで、運転者が目視により認識し難い遠方にいる歩行者等を監視するためである。例えば、ロービーム照射領域は、車両前方２０ｍ程度までの領域であってよく、近赤投光領域は、ロービーム照射領域よりも車両前方の領域であってよい。近赤投光領域とロービーム照射領域とは、互いに近接し、一部が重複してもよい。尚、以下では、近赤投光領域を含まないロービーム照射領域を、単に非近赤投光領域ともいう。

図４は、画像処理装置１４により実行される前方車両のテールランプ検出方法の一例を示すフローチャートである。図４に示す処理ルーチンは、例えばヘッドライト４がオンされている間、所定周期毎に実行されてもよい。図５は、画像処理装置１４により処理される前方環境画像の一例を模式的に示す図である。図５には、前方環境画像中における近赤投光領域が枠７０の中の領域として示されている。

ステップ４００では、前方環境画像における高輝度点のＲＧＢベクトルを抽出する。高輝度点は、所定輝度以上の画素又はその集合であり、所定輝度は、テールランプの光に係る像が確実に抽出される値に設定・適合される。ＲＧＢベクトルは、（Ｒ／（Ｒ^２＋Ｇ^２＋Ｂ^２）^０．５、Ｇ／（Ｒ^２＋Ｇ^２＋Ｂ^２）^０．５、Ｂ／（Ｒ^２＋Ｇ^２＋Ｂ^２）^０．５）である。尚、高輝度点が複数の画素の集合からなる場合は、ＲＧＢベクトルは、当該集合を構成する各画素の平均値として導出されてもよい。

尚、高輝度点が複数存在する場合には、各高輝度点に対して、それぞれ、ＲＧＢベクトルが算出され、ステップ４０２以降の処理が実行されてよい。或いは、テールランプ候補として２つのペアの高輝度点が検出された場合に、当該２つのペアの高輝度点に対して、それぞれ、ＲＧＢベクトルが算出され、ステップ４０２以降の処理が実行されてよいし、当該２つのペアの高輝度点を１つの光輝度点としてまとめてＲＧＢベクトルが算出され、ステップ４０２以降の処理が実行されてよい。

例えば本ステップ４００では、図５に示す例の場合、路側反射物（本例ではデリニエータ）の反射光８０２と、先行車のテールランプの光８０４と、対向車のヘッドライトの光８０６が高輝度点として検出されうる。尚、デリニエータの反射光８０２は、主に、車両（自車）のヘッドライト４からの光に起因するものである。先行車のテールランプの光８０４及び対向車のヘッドライトの光８０６は、それぞれのランプの点灯状態で発生される光(自発光)である。

ステップ４０２では、近赤外投光装置６がオンであり（近赤投光中であり）、且つ、高輝度点が近赤投光領域内（図５の符号７０参照）に存在するか否かを判定する。近赤外投光装置６がオンであり、且つ、高輝度点が近赤投光領域内にある場合、ステップ４０４に進む。他方、いずれか又は双方が満たされない場合は、ステップ４０６に進む。例えば、近赤外投光装置６がオンであるが、高輝度点が近赤投光領域外にある場合には、ステップ４０６に進む。

ステップ４０４では、近赤外投光用判定閾値を選択して、ステップ４０８に進む。近赤外投光用判定閾値は、近赤投光領域内にある先行車のテールランプの光と路側反射物の反射光とを切り分けるための閾値である。近赤投光領域内にある先行車のテールランプの光に起因した高輝度点と、近赤投光領域内にある路側反射物の反射光に起因した高輝度点とは、ＲＧＢベクトルに相違があるので、かかる相違を利用してこれらを切り分ける閾値である。近赤外投光用判定閾値は、試験データ（例えば、近赤投光領域内にある先行車のテールランプの光に起因した高輝度点のＲＧＢベクトルと、近赤投光領域内にある路側反射物の反射光に起因した高輝度点のＲＧＢベクトルの試験データ）に基づいて設定・適合されてもよい。近赤外投光用判定閾値の設定方法の他の例については、他の判定閾値の設定方法と共に後述する。

ステップ４０６では、非近赤外投光用判定閾値を選択して、ステップ４０８に進む。非非近赤外投光用判定閾値は、非近赤投光領域内にある先行車のテールランプの光と路側反射物の反射光とを切り分けるための閾値である。非近赤投光領域内にある先行車のテールランプの光に起因した高輝度点と、非近赤投光領域内にある路側反射物の反射光に起因した高輝度点とは、ＲＧＢベクトルに相違があるので、かかる相違を利用してこれらを切り分ける閾値である。非近赤外投光用判定閾値は、試験データ（例えば、非近赤投光領域内にある先行車のテールランプの光に起因した高輝度点のＲＧＢベクトルと、非近赤投光領域内にある路側反射物の反射光に起因した高輝度点のＲＧＢベクトルの試験データ）に基づいて設定・適合されてもよい。ここで、非近赤外投光用判定閾値と近赤外投光用判定閾値とは、互いに異なる。これは、近赤投光領域と非近赤投光領域とでは、カメラ１２の分光感度特性が異なるためである。非近赤外投光用判定閾値の設定方法の他の例については、他の判定閾値の設定方法と共に後述する。

ステップ４０８では、ハイビームがオンであり、且つ、高輝度点がハイビーム照射領域に存在するか否かを判定する。ハイビームがオンであり、且つ、高輝度点がハイビーム照射領域に存在する場合には、ステップ４１０に進み、それ以外の場合（少なくともいずれかが満たされない場合）、ステップ４１２に進む。

ステップ４１０では、ハイビーム用判定閾値を選択して、ステップ４１２に進む。ハイビーム用判定閾値は、既にいずれか選択した判定閾値（近赤外投光用判定閾値又は非近赤外投光用判定閾値）に基づいて選択されてもよい。例えば、近赤外投光用判定閾値が選択された場合のハイビーム用判定閾値は、近赤外投光用判定閾値に対して所定輝度増加分だけ補正された閾値であってよい。これは、ハイビームがオンしている場合には、近赤投光領域における路側反射物の反射光に起因して高輝度点の輝度(可視光範囲のみ)が高くなるためである。他方、非近赤外投光用判定閾値が選択された場合のハイビーム用判定閾値は、非近赤外投光用判定閾値と同一の閾値であってよい。ハイビーム用判定閾値の設定方法の他の例については、他の判定閾値の設定方法と共に後述する。

ステップ４１２では、選択した判定閾値と、上記ステップ４００で算出したＲＧＢベクトルとの関係に基づいて、高輝度点が路側反射物の反射光に起因するものか否かを判定する。高輝度点が路側反射物の反射光に起因するものと判定した場合、ステップ４１４に進み、高輝度点が路側反射物の反射光に起因するものでないと判定した場合、ステップ４１６に進む。

ステップ４１４では、路側反射物の反射光に起因すると判定した高輝度点を除去して、ステップ４１６に進む。尚、この除去の結果、残りの高輝度点が存在しない場合は、そのまま終了してもよい(この場合、今回の処理周期では先行車のテールランプが検出されないと判断されることになる)。

ステップ４１６では、高輝度点が先行車のテールランプの光に起因するものか否かを判定する。この判定方法は、任意であってよい。例えば先行車のテールランプの色の特性、属性（例えば２個ペアか否か）、動き等を考慮して判定されてもよい。テールランプの検出方法の一例については後述する。

ステップ４１８では、高輝度点が先行車のテールランプの光に起因するものとして確定する。即ち、先行車のテールランプを検出する。

ところで、上述の如く、前方環境画像を画像処理して導出される高輝度点の色成分の指標値（例えばＲＧＢベクトルの各要素）は、同一の対象物（例えば路側反射物）であっても、当該対象物が近赤投光領域内に存在するか非近赤投光領域に存在するかによって異なる。

この点、本実施例によれば、上述の如く、車両の前方照明装置の灯火状態（即ち、ハイビーム、近赤外投光装置の各状態）に応じて、先行車のテールランプ又は路側反射物を判定するための判定閾値が変更されるので、認識対象（又は除去対象）の対象物を他の物体（ノイズ等を含む）から精度良く切り分けることができる。これにより、画像処理装置１４による前方車両の画像認識精度が向上する。

尚、図４に示す処理において、上記ステップ４１６の判定は、上記ステップ４００での高輝度点の抽出態様によっては、省略されてもよい。例えば、上記ステップ４００で２個のペアの高輝度点のみが抽出され、且つ、ヘッドライトの光による高輝度点が除去されており、更に、ステップ４１４を経て又はステップ４１２の否定判定を経て２個のペアの高輝度点のみが残存している場合には、当該２個のペアの高輝度点を、先行車のテールランプの光に起因するものとして確定してもよい。この場合は、ステップ４１２では、選択した判定閾値と、上記ステップ４００で算出した２個のペアの高輝度点のＲＧＢベクトルとの関係に基づいて、当該２個のペアの高輝度点が、先行車のテールランプの光に起因するものか、又は、路側反射物の反射光に起因するものかが判定されることになる。尚、対向車のヘッドライトの光による高輝度点（例えば、図５の対向車のヘッドライトの光８０６）は、色の相違や輝度の相違（輝度が比較的高い）、動き（相対速度が比較的大きい）等の特徴に基づいて、先行車のテールランプの光による高輝度点や路側反射物の反射光による高輝度点に対して識別・除去されてもよい。

次に、近赤外投光用判定閾値及び非近赤外投光用判定閾値の設定方法の具体例について説明する。

ここでは、先ず、カメラ１２の分光感度特性について説明する。

図６は、一例としてＣＭＯＳカメラとして構成されるカメラ１２の画素構成（ＣＭＯＳイメージャカラーベイヤ配列）の一例を示す。図７は、カメラ１２の分光感度特性の一例を示す図であり、（Ａ）は、カメラ１２で用いられるカラーフィルタの分光透過率特性を示すグラフであり、（Ｂ）は、カメラ１２の撮像素子の感度特性を示すグラフであり、（Ｃ）は、カメラ１２の分光感度特性を示すグラフである。

図７（Ａ）に示すように、近赤外投光を行わない構成では色再現性確保のために７００ｎｍ以上の赤外波長をカットする赤外カットフィルタが設けられるが、本例では、近赤外投光を行うため、赤外感度確保のために赤外カットフィルタは設けられない。図７（Ｃ）は、図７（Ａ）と図７（Ｂ）の特性を乗算したグラフに相当する。尚、図７から明らかなように、図７（Ｃ）の特性の細かい部分は、カメラ１２のカラーフィルタや撮像素子の特性に応じて異なってくる。

図８は、図７（Ｃ）の特性におけるデニリエータ（路側反射物の一例）の分光範囲を示す図であり、非近赤外投光用判定閾値の設定方法の説明図である。図９は、図７（Ｃ）の特性におけるデニリエータの分光範囲を示す図であり、近赤外投光用判定閾値の設定方法の説明図である。

図８及び図９に示すように、デニリエータの反射光は、非近赤投光領域では主に分光範囲Ａ１（約５５０ｎｍ〜６２０ｎｍ）であるのに対して、近赤投光領域では分光範囲Ａ２（約７００ｎｍ以上）である。従って、非近赤投光領域内にあるデニリエータの反射光は、分光範囲Ａ１の特性に依存したＲＧＢベクトルとなるのに対して、近赤投光領域内にあるデニリエータの反射光は、分光範囲Ａ２の特性に依存したＲＧＢベクトルとなる。この点に着目して、非近赤外投光用判定閾値は、分光範囲Ａ１のＲＧＢの各強度（輝度）の積分値ｌｒ_Ａ１、ｌｇ_Ａ１、ｌｂ_Ａ１（図８の分光範囲Ａ１を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒ_Ａ１／（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）
緑成分基準値Ｒｅｆｇ＝ｌｇ_Ａ１／（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）
青成分基準値Ｒｅｆｂ＝ｌｂ_Ａ１／（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）
この場合、例えば、高輝度点のＲＧＢベクトルの各成分が、各成分の基準値に対して±５％に収まっている場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、それ以外の場合（いずれかの成分で基準値に対して５％を超える乖離がある場合）には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。

同様に、近赤外投光用判定閾値は、分光範囲Ａ１及び分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒ_{Ａ１＋Ａ２}、ｌｇ_{Ａ１＋Ａ２}、ｌｂ_{Ａ１＋Ａ２}（図９の分光範囲Ａ１及び分光範囲Ａ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒ_{Ａ１＋Ａ２}／（ｌｒ_{Ａ１＋Ａ２}＋ｌｇ_{Ａ１＋Ａ２}＋ｌｂ_{Ａ１＋Ａ２}）
緑成分基準値Ｒｅｆｇ＝ｌｇ_{Ａ１＋Ａ２}／（ｌｒ_{Ａ１＋Ａ２}＋ｌｇ_{Ａ１＋Ａ２}＋ｌｂ_{Ａ１＋Ａ２}）
青成分基準値Ｒｅｆｂ＝ｌｂ_{Ａ１＋Ａ２}／（ｌｒ_{Ａ１＋Ａ２}＋ｌｇ_{Ａ１＋Ａ２}＋ｌｂ_{Ａ１＋Ａ２}）
このような近赤外投光用判定閾値は、特に近赤投光領域がロービーム照射領域と少なくとも部分的に重複する場合に(重複領域に対して)好適である。この場合、同様に、例えば、高輝度点のＲＧＢベクトルの各成分が、各成分の基準値に対して±５％に収まっている場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、それ以外の場合（いずれかの成分で基準値に対して５％を超える乖離がある場合）には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。

或いは、近赤外投光用判定閾値は、分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒ_Ａ２、ｌｇ_Ａ２、ｌｂ_Ａ２（図９の分光範囲Ａ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒ_Ａ２／（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）
緑成分基準値Ｒｅｆｇ＝ｌｇ_Ａ２／（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）
青成分基準値Ｒｅｆｂ＝ｌｂ_Ａ２／（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）
このような近赤外投光用判定閾値は、特に近赤投光領域がロービーム照射領域と重複しない場合に(非重複領域に対して)好適である。この場合、同様に、例えば、高輝度点のＲＧＢベクトルの各成分が、各成分の基準値に対して±５％に収まっている場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、それ以外の場合（いずれかの成分で基準値に対して５％を超える乖離がある場合）には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。

また、近赤外投光用判定閾値が選択された場合のハイビーム用判定閾値（図４のステップ４１０参照）は、分光範囲Ａ１の各強度の積分値ｌｒ_Ａ１、ｌｇ_Ａ１、ｌｂ_Ａ１（図９の分光範囲Ａ１を積分区間として各曲線を積分して得られる値）及び分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒ_Ａ２、ｌｇ_Ａ２、ｌｂ_Ａ２（図９の分光範囲Ａ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝（ｌｒ_Ａ１＋ｌｒ_Ａ２＋α）／{（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）＋（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）＋α＋β＋γ）}
緑成分基準値Ｒｅｆｇ＝（ｌｇ_Ａ１＋ｌｇ_Ａ２＋β）／{（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）＋（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）＋α＋β＋γ）}
青成分基準値Ｒｅｆｂ＝（ｌｂ_Ａ１＋ｌｂ_Ａ２＋γ）／{（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）＋（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）＋α＋β＋γ）}
ここで、α、β、γは、それぞれの色成分におけるハイビームによる輝度増加分に対応する。この場合、同様に、例えば、高輝度点のＲＧＢベクトルの各成分が、各成分の基準値に対して±５％に収まっている場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、それ以外の場合（いずれかの成分で基準値に対して５％を超える乖離がある場合）には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。

図１０は、判定閾値のその他の例を示す図である。図１０には、ＲＧＢの各成分方向を３軸とした直交座標系において、判定閾値を表す球面が示されている。
球面は、以下で表される。
（Ｒ−Ｒｅｆｒ）^２＋（Ｇ−Ｒｅｆｇ）^２＋（Ｂ−Ｒｅｆｂ）^２≦ｅ^２
ここで、ｅは許容誤差であり、例えば０．０５（５％）であってよい。（Ｒｅｆｒ、Ｒｅｆｇ、Ｒｅｆｂ）は、上述の基準値であり、上述の如く、近赤外投光用判定閾値の場合と、非赤外投光用判定閾値の場合と、ハイビーム用判定閾値の場合とで異なる。この場合、この直交座標の原点を始点とする高輝度点のＲＧＢベクトルの終点が球面内に含まれる場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、球面の外に位置する場合には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。

次に、図４のステップ４１６に適用されてもよいテールランプの検出方法の一例について説明する。

図１１は、図７（Ｃ）の特性におけるテールランプの分光範囲を示す図であり、（Ａ）は、先行車のテールランプがＬＥＤ（light-emitting diode）である場合の分光範囲を示すグラフであり、（Ｂ）は、先行車のテールランプがハロゲン球である場合の分光範囲を示すグラフである。

テールランプの光は、ＬＥＤである場合には分光範囲Ｂ１であるのに対して、ハロゲン球である場合には分光範囲Ｂ２となる。先行車のテールランプがＬＥＤである場合のテールランプ判定用閾値は、分光範囲Ｂ１のＲＧＢの各強度（輝度）の積分値ｌｒ_ＬＥＤ、ｌｇ_ＬＥＤ、ｌｂ_ＬＥＤ（図１１の分光範囲Ｂ１を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒ_ＬＥＤ／（ｌｒ_ＬＥＤ＋ｌｇ_ＬＥＤ＋ｌｂ_ＬＥＤ）
緑成分基準値Ｒｅｆｇ＝ｌｇ_ＬＥＤ／（ｌｒ_ＬＥＤ＋ｌｇ_ＬＥＤ＋ｌｂ_ＬＥＤ）
青成分基準値Ｒｅｆｂ＝ｌｂ_ＬＥＤ／（ｌｒ_ＬＥＤ＋ｌｇ_ＬＥＤ＋ｌｂ_ＬＥＤ）
同様に、先行車のテールランプがハロゲン球である場合のテールランプ判定用閾値は、分光範囲Ｂ２のＲＧＢの各強度（輝度）の積分値ｌｒ_ｈａｌ、ｌｇ_ｈａｌ、ｌｂ_ｈａｌ（図１１の分光範囲Ｂ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒ_ｈａｌ／（ｌｒ_ｈａｌ＋ｌｇ_ｈａｌ＋ｌｂ_ｈａｌ）
緑成分基準値Ｒｅｆｇ＝ｌｇ_ｈａｌ／（ｌｒ_ｈａｌ＋ｌｇ_ｈａｌ＋ｌｂ_ｈａｌ）
青成分基準値Ｒｅｆｂ＝ｌｂ_ｈａｌ／（ｌｒ_ｈａｌ＋ｌｇ_ｈａｌ＋ｌｂ_ｈａｌ）
この場合、例えば、高輝度点のＲＧＢベクトルの各成分が、ＬＥＤである場合の各成分の基準値に対して±５％に収まっている場合、又は、ハロゲン球である場合の各成分の基準値に対して±５％に収まっている場合、当該高輝度点が先行車のテールランプの光に起因するものと判定し、それ以外の場合には、当該高輝度点が先行車のテールランプの光に起因するものでないと判定してもよい。或いは、図１０に示した球面の閾値と同様の考え方を使用してもよい。即ち、球面によるテールランプ判定用閾値は、以下の通りである。
（Ｒ−Ｒｅｆｒ）^２＋（Ｇ−Ｒｅｆｇ）^２＋（Ｂ−Ｒｅｆｂ）^２≦ｅ^２
ここで、ｅは許容誤差であり、例えば５［％］であってよい。（Ｒｅｆｒ、Ｒｅｆｇ、Ｒｅｆｂ）は、上述の基準値である。この際、ＬＥＤである場合とハロゲン球である場合とで２つの球面が形成される。この場合、この直交座標の原点を始点とする高輝度点のＲＧＢベクトルの終点がいずれかの球面内に含まれる場合には、当該高輝度点が先行車のテールランプの光に起因するものと判定し、いずれの球面の外に位置する場合には、当該高輝度点が先行車のテールランプの光に起因するものでないと判定してもよい（図４のステップ４１６参照）。尚、例えば車者間通信等により先行車のテールランプの種類（ＬＥＤ、ハロゲン球）が既知である場合には、それに応じたテールランプ判定用閾値が単独で使用されてもよい。

尚、図８乃至図１１では、デニリエータ又はテールランプを検出することでデニリエータとテールランプとを切り分ける閾値の設定方法が説明されているが、デニリエータとテールランプとを直接的に切り分ける判定閾値が使用されてもよい。この場合、近赤外投光用判定閾値は、例えば図１０に示した球面（近赤外投光用判定閾値用の基準値を使用した球面）と、図１１を参照して説明したテールランプ判定用閾値用の球面とを切り分ける関数で表現されてもよい。同様に、非近赤外投光用判定閾値は、例えば図１０に示した球面（非近近赤外投光用判定閾値用の基準値を使用した球面）と、図１１を参照して説明したテールランプ判定用閾値用の球面とを切り分ける関数で表現されてもよい。

図１２は、本実施例の車載周辺物認識装置１を含む運転支援装置１００の一実施例を示すシステム図である。

運転支援装置１００は、図１２に示すように、車載周辺物認識装置１と、ＥＣＢ・ＥＣＵ１０４と、ランプ制御ＥＣＵ１０６と、障害物衝突判断ＥＣＵ１１０とを含む。障害物衝突判断ＥＣＵ１１０は、車載周辺物認識装置１やミリ波レーダー１３６に接続されると共に、ランプ制御ＥＣＵ１０６やメーター１０８に接続される。また、障害物衝突判断ＥＣＵ１１０は、ＥＣＢ・ＥＣＵ１０４やヨーレートセンサ１３０にCAN（controller area network）などの適切なバス１５０を介して接続される。ＥＣＢ・ＥＣＵ１０４には、ブレーキアクチュエータ１２０、車輪速センサ１３２、警報ブザー１４０等が接続される。

図１３は、ランプ制御ＥＣＵ１０６により実行されるランプ点灯制御の一例を示すフローチャートである。

ステップ１３０２では、周囲の明るさが所定閾値αより低いか否かを判定する。周囲の明るさは、例えば日照センサからの情報に基づいて判断されてもよい。周囲の明るさが所定閾値αより低い場合は、ステップ１３０４に進み、周囲の明るさが所定閾値α以上である場合は、ステップ１３１０に進む。

ステップ１３０４では、ロービームがオンであるか否かを判定する。ロービームがオンである場合は、ステップ１３０６に進み、ロービームがオフである場合は、ステップ１３１０に進む。尚、ロービームがオフである場合は、ロービームをオンにして、ステップ１３０６に進むこととしてもよい。

ステップ１３０６では、車輪速センサ１３２に基づいて、車速が２０ｋｍ／ｈより大きいか否かを判定する。車速が２０ｋｍ／ｈより大きい場合は、ステップ１３０８に進み、車速が２０ｋｍ／ｈ以下である場合は、ステップ１３１０に進む。

ステップ１３０８では、近赤外投光装置６をオンにする。

ステップ１３１０では、近赤外投光装置６をオフにする。

図１４は、運転支援装置１００により実行される運転支援制御の一例を示すフローチャートである。

ステップ１４０２では、車載周辺物認識装置１は、上述の図４に示した処理に従って先行車のテールランプを検出する。

ステップ１４０４では、車載周辺物認識装置１の画像処理装置１４は、検出したテールランプの画素位置に基づいて、先行車までの距離及び先行車の方向（横位置）を算出（推定）する。この際、画像処理装置１４は、先行車までの距離の変化態様に基づいて、先行車との相対速度を算出してもよい。車載周辺物認識装置１は、これらの情報をランプ制御ＥＣＵ１０６及び障害物衝突判断ＥＣＵ１１０に送信する。

ステップ１４０６では、車載周辺物認識装置１によるテールランプの検出結果に基づいて、運転支援制御が実行される。例えば、障害物衝突判断ＥＣＵ１１０は、車載周辺物認識装置１による先行車のテールランプの検出結果に基づいて、先行車と車両との間の衝突の可能性を判断する。先行車と車両との間の衝突の可能性があると判断した場合には、障害物衝突判断ＥＣＵ１１０は、ＥＣＢ・ＥＣＵ１０４を介して警報ブザー１４０により警報を出力し、運転者による自主的なブレーキ操作等の衝突回避操作を促す。或いは、先行車と車両との間の衝突の可能性があると判断した場合には、障害物衝突判断ＥＣＵ１１０は、ＥＣＢ・ＥＣＵ１０４を介してブレーキアクチュエータ１２０を作動させて制動力を発生させる（介入制御）。尚、先行車との衝突の可能性の判断ロジックは、プリクラッシュ制御の分野で広く知られており、任意の方法が使用されてもよい。また、先行車との衝突の可能性の判断には、ミリ波レーダー１３６のようなレーダセンサの検出結果が利用されてもよい。また、ランプ制御ＥＣＵ１０６は、車載周辺物認識装置１による先行車のテールランプの検出結果に基づいて、ヘッドライト４の配光制御を実行してもよい。例えば、ランプ制御ＥＣＵ１０６は、先行車がハイビームにより照射されないように（先行車の運転者にハイビームによりグレアを与えないように）ヘッドライト４の配光を制御する。配光制御は、ヘッドライト４のスイブル角度を調整することや、シェードを動かしてハイビームの照射範囲の一部を遮蔽する遮蔽部分を可変することによって、実現されてもよい。尚、これらの運転支援制御は、任意の１つだけ又は任意の２つの組み合わせ又は３つの全てが実行されてもよい。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述した実施例では、好ましい実施例として、ハイビームの点灯の有無に応じて判定閾値を変更しているが（図４のステップ４１０参照）、かかる変更は省略されてもよい。これは、例えばロービーム照射領域と近赤投光領域の重複部分は、ハイビームの点灯の有無に応じて分光特性が大きく異ならないためである。

また、上述した実施例において、（１）非近赤投光領域、（２）ロービーム照射領域と近赤投光領域の重複部分、（３）ロービーム照射領域を含まない近赤投光領域、の３つの領域毎に判定閾値を変更してもよい。例えば、高輝度点がこれらの３つの領域のいずれに属するかに応じて、判定閾値を変更してもよい。ロービーム照射領域を含まない近赤投光領域に高輝度点が属する場合の判定閾値は、図９を参照して説明したような、分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒ_Ａ２、ｌｇ_Ａ２、ｌｂ_Ａ２を用いて設定される判定閾値であってよい。他方、ロービーム照射領域と近赤投光領域の重複部分に高輝度点が属する場合の判定閾値は、図９を参照して説明したような、分光範囲Ａ１及び分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒ_{Ａ１＋Ａ２}、ｌｇ_{Ａ１＋Ａ２}、ｌｂ_{Ａ１＋Ａ２}を用いて設定される判定閾値であってよい。また、ロービーム照射領域と近赤投光領域の重複部分、又は、ロービーム照射領域を含まない近赤投光領域に高輝度点が属する場合には、ハイビームの点灯の有無に応じて更に判定閾値を変更してもよい。この場合、ハイビーム用判定閾値は、上述したハイビームによる輝度増加分（α、β、γ）を考慮した判定閾値であってよい。

また、上述した実施例において、近赤外投光用判定閾値は、分光範囲Ａ１の各強度の積分値ｌｒ_Ａ１、ｌｇ_Ａ１、ｌｂ_Ａ１及び分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒ_Ａ２、ｌｇ_Ａ２、ｌｂ_Ａ２（図９の分光範囲Ａ１及び分光範囲Ａ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝（Ｋ×ｌｒ_Ａ１＋ｌｒ_Ａ２）／{Ｋ×（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）＋（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）}
緑成分基準値Ｒｅｆｇ＝（Ｋ×ｌｇ_Ａ１＋ｌｇ_Ａ２）／{Ｋ×（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）＋（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）}
青成分基準値Ｒｅｆｂ＝（Ｋ×ｌｂ_Ａ１＋ｌｂ_Ａ２）／{Ｋ×（ｌｒ_Ａ１＋ｌｇ_Ａ１＋ｌｂ_Ａ１）＋（ｌｒ_Ａ２＋ｌｇ_Ａ２＋ｌｂ_Ａ２）}
ここで、Ｋは、定数であり、ハイビームが点灯されていない場合におけるロービーム照射領域と近赤投光領域の重複部分に対しては１以下の値であってよい。この場合、車両からの距離が遠くなるにつれてＫが小さくなるように可変されてもよく、ロービーム照射領域を含まない近赤投光領域ではＫがゼロとされる。また、Ｋは、ハイビームが点灯されている場合は１より大きい値であってもよい。この場合も、車両からの距離が遠くなるにつれてＫが小さくなるように可変されてもよい。

また、上述した実施例では、各種判定閾値の決定方法において、ヘッドライト４の分光特性が考慮されていないが、ヘッドライト４の分光特性を考慮することも可能である。具体的には、図７（Ｃ）に示したカメラ１２のRGB分光感度特性に、図１５に示すようなヘッドライト４の分光特性を、乗じて得られるカメラ分光輝度特性（図１６参照）が使用されてもよい。即ち、上述の実施例では、図７（Ｃ）に示したカメラ１２のRGB分光感度特性が各種判定閾値の決定に使用されているが、各種判定閾値の決定には、図７（Ｃ）に示したカメラ１２のRGB分光感度特性に代えて、図１６に示すようなカメラ分光輝度特性が使用されてもよい。ここで、図１６は、カメラ分光輝度特性の一例を示す図であり、（Ａ）は、ヘッドライト４の光源がハロゲン球である場合のカメラ分光輝度特性を示すグラフであり、（Ｂ）は、ヘッドライト４の光源がＨＩＤ（High Intensity Discharge）である場合のカメラ分光輝度特性を示すグラフであり、（Ｃ）は、ヘッドライト４の光源がＬＥＤである場合のカメラ分光輝度特性を示すグラフである。

また、上述した実施例では、路側反射物の一例として、橙色であり丸型であり走行道路に沿って規則正しく配置されているデリニエータが想定されている。但し、本発明は、デリニエータ以外の路側反射物であって、任意の色特徴を有し且つ任意の特定の形状を有する路側反射物にも適用可能である。

また、上述した実施例では、車載周辺物認識装置１は、主に、対向車のテールランプを検出するために、当該テールランプとして誤って認識されやすいデリニエータ等の路側反射物を除去するものであったが、デリニエータ等の路側反射物を検出するための装置として具現化されてもよい。これは、デリニエータ等の路側反射物の検出結果は、対向車のテールランプを検出するための用途以外にも、種々の用途に利用可能であるためである。例えば、デリニエータ等の路側反射物の検出結果は、車両の走行レーン検出や走行予定方向の検出、ヘッドライト４の配光制御に利用されてもよい。ヘッドライト４の配光制御の場合、例えばデリニエータ等の路側反射物からの光が車両の運転者にグレアを与えないようにヘッドライト４の配光を可変する制御であってもよい。

また、上述した実施例では、車両前方を撮像するカメラ１２を用いているが、車両側方や車両後方を撮像するカメラを用いてもよい。

また、上述した実施例では、色成分の指標値としてＲＧＢベクトルを使用しているが、色成分の指標値は、各色成分の割合や、相対的な大きさ(強さ)を表す任意の指標値であってよい。また、２つ又は１つの色成分の指標値若しくは４つ以上の色成分の指標値を使用することも可能である。

１車載周辺物認識装置
４ヘッドライト
６近赤外投光装置
６ａ赤外線透過フィルタ
６ｂソレノイド
１２カメラ
１４画像処理装置
１００運転支援装置

本発明の一局面によれば、車両の周辺環境を撮像するカメラと、
画像処理装置とを備え、
前記画像処理装置は、前記カメラにより撮像された１種類の画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断し、
前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車載周辺物認識装置が提供される。

Claims

車両の周辺環境を撮像するカメラと、
画像処理装置とを備え、
前記画像処理装置は、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断し、
前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車載周辺物認識装置。
前記所定閾値は、周辺他車の灯火に係る像と路側反射物に係る像とを切り分けるための閾値である、請求項１に記載の車載周辺物認識装置。
色成分の指標値は、所定の色成分の割合を表し、
前記所定の色成分の割合が、前記所定閾値に対応する所定範囲内にある場合に、前記像が、路側反射物に係る像であると判断する、請求項２に記載の車載周辺物認識装置。
前記カメラは、近赤外光カメラであり、
前記車両の前方照明装置の灯火状態は、近赤外光を車両前方に投光しているか否かの灯火状態を含む、請求項１〜３のうちのいずれか１項に記載の車載周辺物認識装置。
前記車両の前方照明装置の灯火状態は、ハイビームによる光を車両前方に投光しているか否かの灯火状態を含む、請求項１〜４のうちのいずれか１項に記載の車載周辺物認識装置。
前記所定閾値は、前記所定輝度以上の像が、ロービームが投光され近赤外光が投光されない領域と、ロービームと近赤外光の双方が投光される領域と、ロービームが投光されず近赤外光が投光される領域のうちのいずれの領域に属しているかに応じて、変更される、請求項１〜３のうちのいずれか１項に記載の車載周辺物認識装置。
請求項１〜６のうちのいずれか１項に記載の車載周辺物認識装置と、
前記車載周辺物認識装置により前記像が周辺他車の灯火に係る像であると判断された場合に、前記像の検出結果に基づいて、運転支援制御を実行する制御装置とを含み、
前記運転支援制御は、周辺他車との接近状態を警報する接近警報制御、周辺他車との衝突を回避する衝突回避制御、周辺他車へのハイビームの照射範囲を制御する配光制御のうちの少なくともいずれか１つである、運転支援装置。
車載カメラにより車両の周辺環境を撮像し、
画像処理装置により、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断することを含み、
前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車両周辺物認識方法。
車両の周辺環境を撮像するカメラと、
画像処理装置とを備え、
前記画像処理装置は、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が路側反射物に係る像であるか否かを判断し、
前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車載周辺物認識装置。