JP2010097410A - Vehicle detection device - Google Patents
Vehicle detection device Download PDFInfo
- Publication number
- JP2010097410A JP2010097410A JP2008267646A JP2008267646A JP2010097410A JP 2010097410 A JP2010097410 A JP 2010097410A JP 2008267646 A JP2008267646 A JP 2008267646A JP 2008267646 A JP2008267646 A JP 2008267646A JP 2010097410 A JP2010097410 A JP 2010097410A
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- preceding vehicle
- visible light
- image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両の前方を撮像した画像情報から先行車両を検出する車両検出装置に関するものである。 The present invention relates to a vehicle detection device that detects a preceding vehicle from image information obtained by imaging the front of the vehicle.
従来、このような分野の技術として、特開2006−244331号公報がある。この公報に記載された夜間走行補助装置は、自車両の前方の画像をカメラによって撮像し、この画像における輝度情報に基づいて、所定値以上の輝度を有する輝度領域を検出し、画像内における輝度領域の位置関係などから車両のテールランプを検出することにより先行車両の検出を行っている。
しかしながら、前述した夜間走行補助装置にあっては、次のような課題がある。すなわち、自車両の前方の画像の輝度情報のみでは、道路沿いの建物などの照明と先行車両のテールランプとを明確に区別することが難しいため、建物などの照明をテールランプと誤認する慮があり、先行車両の検出に関する信頼性が低いという問題があった。 However, the night driving assistance device described above has the following problems. In other words, it is difficult to clearly distinguish lighting such as buildings along the road from the tail lamp of the preceding vehicle only with the luminance information of the image in front of the host vehicle. There was a problem that the reliability of detection of the preceding vehicle was low.
本発明は、このような課題を解決するためになされたものであり、先行車両を高精度に検出することができる車両検出装置を提供することを目的とする。 The present invention has been made to solve such a problem, and an object thereof is to provide a vehicle detection device capable of detecting a preceding vehicle with high accuracy.
本発明は、車両の前方を走行する先行車両を検出する車両検出装置であって、車両の前方における可視光画像を取得する可視光画像取得手段と、車両の前方に赤外線を照射する赤外線投光手段と、赤外線投光手段が赤外線を照射した車両前方における赤外線画像を取得する赤外線画像取得手段と、赤外線画像取得手段が取得した赤外線画像と可視光画像取得手段が取得した可視光画像とに基づいて、先行車両を検出する先行車両検出手段と、を備えることを特徴とする。 The present invention is a vehicle detection device that detects a preceding vehicle traveling in front of a vehicle, and includes visible light image acquisition means for acquiring a visible light image in front of the vehicle, and infrared projection that irradiates infrared light in front of the vehicle. Means, an infrared image acquisition means for acquiring an infrared image in front of the vehicle irradiated with infrared rays by the infrared projection means, an infrared image acquired by the infrared image acquisition means, and a visible light image acquired by the visible light image acquisition means And preceding vehicle detection means for detecting the preceding vehicle.
この車両検出装置では、車両前方における可視光画像が可視光画像取得手段によって取得され、赤外線投光手段から赤外線が照射された車両前方における赤外線画像が赤外線画像取得手段によって取得される。可視光画像には、路上に設置された路上反射器や先行車両背面のリフレクタが車両のヘッドライトなどを反射した光が写るが、道路沿いの建物に設けられた光源や先行車両のテールランプから放たれる光はリフレクタなどの反射光と比べて強く写る。そして、赤外線画像には、路上反射器や先行車両背面のリフレクタが赤外線を反射した光が強く写る一方、道路沿いの建物に設けられた光源や先行車両のテールランプは赤外線をあまり出さないため弱く写る。したがって、これらの可視光画像及び赤外線画像を比較してリフレクタなどの反射器とテールランプなどの光源とを区別し、その形状や位置関係などを認識することで、リフレクタとテールランプとを備える先行車両を高精度に検出することができる。 In this vehicle detection device, a visible light image in front of the vehicle is acquired by the visible light image acquisition unit, and an infrared image in front of the vehicle irradiated with infrared rays from the infrared projection unit is acquired by the infrared image acquisition unit. In the visible light image, the light reflected from the headlights of the vehicle by the road reflector installed on the road and the reflector on the back of the preceding vehicle is reflected, but it is emitted from the light source provided in the building along the road and the tail lamp of the preceding vehicle. The dripping light appears more intense than the reflected light from reflectors. In the infrared image, the light reflected by the road reflector and the reflector on the back of the preceding vehicle is reflected strongly. On the other hand, the light source provided in the building along the road and the tail lamp of the preceding vehicle do not emit much infrared light. . Therefore, by comparing the visible light image and the infrared image, the reflector such as the reflector is distinguished from the light source such as the tail lamp, and the shape and the positional relationship are recognized, so that the preceding vehicle including the reflector and the tail lamp can be obtained. It can be detected with high accuracy.
また、先行車両検出手段は、赤外線画像取得手段が取得した赤外線画像及び可視光画像取得手段が取得した可視光画像における画素間の輝度値の差が第1の閾値以上である場合に、先行車両を検出することが好ましい。先行車両検出手段は、赤外線画像の各画素の輝度と可視光画像の各画素の輝度との差が所定の閾値以上、すなわち赤外線画像において輝度が大きく、可視光画像において輝度の小さいリフレクタが検出されるか、又は赤外線画像において輝度が小さく、可視光画像において輝度の大きいテールランプが検出された画像内の領域を検出することで、可視光画像と赤外線画像とに基づくリフレクタとテールランプとを備える先行車両の検出が好適に実現される。 Further, the preceding vehicle detection means, when the difference in luminance value between the pixels in the infrared image acquired by the infrared image acquisition means and the visible light image acquired by the visible light image acquisition means is equal to or greater than the first threshold, Is preferably detected. The preceding vehicle detection means detects a reflector having a difference between the luminance of each pixel of the infrared image and the luminance of each pixel of the visible light image that is equal to or greater than a predetermined threshold, that is, a luminance that is high in the infrared image and low in the visible light image. Or a preceding vehicle having a reflector and a tail lamp based on a visible light image and an infrared image by detecting a region in the image in which a tail lamp having a low luminance in the infrared image and a high luminance in the visible light image is detected Is preferably realized.
また、可視光画像取得手段が取得した可視光画像及び赤外線画像取得手段が取得した赤外線画像のうち少なくとも一方に基づいて、先行車両候補領域を抽出する抽出手段を更に備え、先行車両検出手段は、抽出手段が抽出した先行車両候補領域に基づいて、先行車両を検出することが好ましい。 Further, the vehicle further includes an extraction unit that extracts a preceding vehicle candidate region based on at least one of the visible light image acquired by the visible light image acquisition unit and the infrared image acquired by the infrared image acquisition unit, and the preceding vehicle detection unit includes: It is preferable to detect the preceding vehicle based on the preceding vehicle candidate area extracted by the extracting means.
この車両検出装置では、抽出手段は、可視光画像において、例えば各画素における輝度(明るさ)を認識し、画像中で高い輝度を有する画素集合の形状や位置などからテールランプの候補となる画素集合を検出し、そのテールランプ候補の周辺の領域を先行車両候補領域として抽出する。或いは、抽出手段は、赤外線画像において、例えば各画素における輝度を認識し、画像中で高い輝度を有する画素集合の形状や位置などから先行車両背面のリフレクタの候補を検出し、そのリフレクタ候補の周辺の領域を先行車両候補領域として抽出する。このように先行車両候補領域を予め抽出することにより、先行車両検出手段は画像内で車両のテールランプやリフレクタの形状や位置関係と異なるもの(すなわち、車両以外の光源や反射器)を予め検出対象から外すことが可能となり、先行車両をより高精度に検出することができる。 In this vehicle detection device, the extraction means recognizes, for example, the luminance (brightness) of each pixel in the visible light image, and sets a pixel set as a tail lamp candidate from the shape and position of the pixel set having high luminance in the image. And the area around the tail lamp candidate is extracted as a preceding vehicle candidate area. Alternatively, the extracting means recognizes the brightness of each pixel in the infrared image, detects a reflector candidate on the back of the preceding vehicle from the shape and position of a pixel set having a high brightness in the image, and surrounds the reflector candidate Is extracted as a preceding vehicle candidate area. By previously extracting the preceding vehicle candidate area in this way, the preceding vehicle detection means detects in advance an object that is different from the shape and positional relationship of the tail lamp and reflector of the vehicle (that is, a light source and a reflector other than the vehicle) in the image. The preceding vehicle can be detected with higher accuracy.
また、赤外線投光手段は、抽出手段が先行車両候補領域を抽出した場合に消灯状態から点灯状態に切り換わることが好ましい。この場合、先行車両候補領域が抽出されるまでは、赤外線投光手段を消灯状態としておくことで、装置の省エネルギー化が図られる。 Moreover, it is preferable that an infrared light projection means switches from a light extinction state to a lighting state, when an extraction means extracts a preceding vehicle candidate area | region. In this case, until the preceding vehicle candidate area is extracted, the energy saving of the apparatus can be achieved by turning off the infrared light projecting unit.
また、赤外線投光手段は、抽出手段が先行車両候補領域を抽出した場合に点灯状態から消灯状態に切り換わることが好ましい。この場合、予め赤外線投光手段を点灯状態としておくことで、赤外線画像を取得した直後に赤外線投光手段を消灯して可視光画像を取得することが可能となる。その結果、赤外線投光手段の点灯後に赤外線の照射量が安定するまで待ってから赤外線画像を取得する必要がなく、赤外線画像と可視光画像との間における取得時間の差を少なくすることができるので、先行車両検出の速度の向上を図ることができる。 Moreover, it is preferable that an infrared light projection means switches from a lighting state to a light extinction state, when an extraction means extracts a preceding vehicle candidate area | region. In this case, it is possible to acquire the visible light image by turning off the infrared light projecting unit immediately after acquiring the infrared image by previously setting the infrared light projecting unit to the lighting state. As a result, there is no need to acquire an infrared image after waiting for the infrared irradiation amount to stabilize after the infrared light projecting means is turned on, and the difference in acquisition time between the infrared image and the visible light image can be reduced. Therefore, the speed of the preceding vehicle detection can be improved.
また、先行車両検出手段は、赤外線投光手段が点灯状態に切り換わった後、赤外線画像取得手段が取得した赤外線画像における所定時間毎の輝度変化量が第2の閾値以下である場合に、赤外線画像に基づいて先行車両を検出することが好ましい。このような構成によれば、赤外線投光手段が照射する赤外線の量が安定することで、赤外線画像における所定時間毎の輝度変化量が所定の閾値以下に落ち着くため、赤外線投光手段を点灯した直後の赤外線の量が不安定な状態で取得された赤外線画像が先行車両の検出に利用されることを防ぎ、先行車両をより高精度に検出することができる。 In addition, the preceding vehicle detection unit is configured to detect the infrared ray when the luminance change amount per predetermined time in the infrared image acquired by the infrared image acquisition unit is equal to or less than the second threshold after the infrared projection unit is switched to the lighting state. It is preferable to detect the preceding vehicle based on the image. According to such a configuration, since the amount of infrared light irradiated by the infrared light projecting unit is stabilized, the luminance change amount per predetermined time in the infrared image settles below a predetermined threshold value, the infrared light projecting unit is turned on. It is possible to prevent an infrared image acquired in a state where the amount of infrared rays immediately after is unstable from being used for detection of a preceding vehicle, and to detect the preceding vehicle with higher accuracy.
本発明によれば、先行車両をより高精度に検出することができる。 According to the present invention, the preceding vehicle can be detected with higher accuracy.
以下、図面を参照して、本発明に係る車両検出装置の実施の形態を説明する。 Hereinafter, an embodiment of a vehicle detection device according to the present invention will be described with reference to the drawings.
本実施の形態に係る車両検出装置は、自車両の前方に存在する先行車両を検出し、検出した先行車両情報をACC[Adaptive Cruise Control]装置などの運転支援装置に提供する。本実施の形態では、夜間において、路上障害物を検知するレーダセンサなどの検出範囲を超えた距離(例えば、自車両から600m〜700m前方の距離)に存在する四輪の先行車両の検出も可能である。 The vehicle detection device according to the present embodiment detects a preceding vehicle existing ahead of the host vehicle, and provides the detected preceding vehicle information to a driving support device such as an ACC [Adaptive Cruise Control] device. In the present embodiment, it is possible to detect a four-wheel preceding vehicle existing at a distance (for example, a distance 600 m to 700 m ahead of the host vehicle) that exceeds the detection range of a radar sensor or the like that detects an obstacle on the road at night. It is.
図1〜図8を参照して、第1の実施の形態に係る車両検出装置1について説明する。図1は、第1の実施の形態に係る車両検出装置を示す構成図である。図2は、図1に示すCCDカメラの撮像可能な波長領域を示すグラフである。図3は、自車両の前方における可視光画像の一例を示す図である。図4は、自車両の前方における近赤外線画像の一例を示す図である。図5は、図3の可視光画像と図4の近赤外線画像との先行車両候補領域内の差分を示す図である。図6は、自車両の前方における可視光画像の他の例を示す図である。図7は、自車両の前方における近赤外線画像の他の例を示す図である。図8は、図6の可視光画像と図7の近赤外線画像との先行車両候補領域内の差分を示す図である。なお、図3、図4、図6、及び図7において、実線は、画像に写っているもの(例えば、光を放つ先行車両のテールライトや光を反射しているリフレクタ)を示しており、破線は、画像に写っていないが、存在するもの(例えば、先行車両の車体や道路沿いの建物)を示す。また、図3〜図5と図6〜図8とは、先行車両のリフレクタの位置及び形状についてのみ異なっている。図3〜図5に示された先行車両20のリフレクタ22は、円形状をなし、テールランプ21の下方に備えられている。図6〜図8に示された先行車両30のリフレクタ32は、円環形状をなし、テールランプ31の周囲を囲むように備えられている。
With reference to FIGS. 1-8, the
車両検出装置1は、可視光の波長領域から近赤外線の波長領域まで撮像できるカメラによって、自車両の前方の可視光画像及び近赤外線画像を取得し、可視光画像と近赤外線画像とにおける画素間の輝度(明るさ)の差分から、自車両の前方に存在する先行車両20を検出する。そのために、車両検出装置1は、CCDカメラ4、近赤外線投光器5、運転支援装置6、及び車両検出ECU[Electric Control Unit]10を備えており、車両検出ECU10に可視光画像取得部13a、先行車両候補領域抽出部14a、近赤外線画像取得部15a、先行車両検出部16aが構成される。
The
なお、第1の実施の形態では、近赤外線投光器5が特許請求の範囲に記載する赤外線投光手段に相当し、CCDカメラ4及び可視光画像取得部13aが特許請求の範囲に記載する可視光画像取得手段に相当し、CCDカメラ4及び近赤外線画像取得部15aが特許請求の範囲に記載する近赤外線画像取得手段に相当し、先行車両候補領域抽出部14aが特許請求の範囲に記載する抽出手段に相当し、先行車両検出部16aが先行車両検出手段に相当する。
In the first embodiment, the near-
CCDカメラ4は、自車両の前方(例えば、ルームミラーのフロントガラス側)に備えられ、自車両の前方の画像を撮像する。CCDカメラ4には、光の波長領域を限定する光カットフィルタが取り付けられており、600nm〜1000nm(可視光の赤色領域から近赤外線領域)の光波長の画像を撮像する。CCDカメラ4は、撮像した自車両の前方の画像を画像信号として車両検出ECU10に送信する。 The CCD camera 4 is provided in front of the host vehicle (for example, on the windshield side of the rearview mirror) and captures an image in front of the host vehicle. The CCD camera 4 is provided with a light cut filter that limits the wavelength region of light, and picks up an image having a light wavelength of 600 nm to 1000 nm (from a visible red region to a near infrared region). The CCD camera 4 transmits the captured image ahead of the host vehicle to the vehicle detection ECU 10 as an image signal.
近赤外線投光器5は、自車両の前面(例えば、ヘッドライト収納部内)に備えられ、自車両の前方に近赤外線(800nm〜1000nmの波長領域の光)を照射する。近赤外線投光器5は、自車両の600m〜700m先まで近赤外線を照射するが、可視光を含まない近赤外線であるため対向車両などに眩惑などの影響を及ぼすことはない。このような近赤外線投光器5には、例えばハロゲン灯が用いられる。また、近赤外線投光器5は、車両検出ECU10から送信されるON信号によって点灯状態になると共に、車両検出ECU10から送信されるOFF信号によって消灯状態になる。
The near-
運転支援装置6は、自車両に備えられて、運転者による自車両の運転を支援する。このような運転支援装置6としては、例えば認識した先行車両に追従して自車両の走行制御を行うACC[Adaptive Cruise Control]装置や車内のディスプレイに先行車両を強調表示するなどにより運転者に対して注意喚起を行う注意喚起装置がある。 The driving support device 6 is provided in the host vehicle and supports driving of the host vehicle by the driver. As such a driving support device 6, for example, an ACC [Adaptive Cruise Control] device that performs traveling control of the host vehicle following the recognized preceding vehicle, or highlighting the preceding vehicle on the display in the vehicle, is provided to the driver. There is a warning device that calls attention.
車両検出ECU10は、演算処理を行うCPU[Central Processing Unit]、記憶部となるROM[Read Only Memory]及びRAM[Random Access Memory]、画像処理チップなどから構成される電子制御ユニットであり、CCDカメラ4、近赤外線投光器5、及び運転支援装置6と電気的に接続されて車両検出装置1を統括制御する。車両検出ECU10は、ROMに格納されるアプリケーションプログラムをRAMにロードしてCPUで実行することにより、可視光画像取得部13a、先行車両候補領域抽出部14a、近赤外線画像取得部15a、先行車両検出部16aを構成する。
The vehicle detection ECU 10 is an electronic control unit including a CPU [Central Processing Unit] that performs arithmetic processing, a ROM [Read Only Memory] and a RAM [Random Access Memory] that serve as a storage unit, an image processing chip, and the like. 4. It is electrically connected to the near-
可視光画像取得部13aは、近赤外線投光器5が消灯の状態でCCDカメラ4から送信された画像信号に基づいて、自車両の前方における可視光の赤色領域(600nm〜800nm)の画像(以下、可視光画像Aと呼ぶ)を取得する(図3及び図6参照)。この可視光画像Aには、先行車両20,30の円形のテールランプ21,31や道路沿いの建物(例えば、コンビニエンスストアなどの店舗や住宅)25の照明26などの光源から出る赤色領域の光が明確に写る。なお、図3及び図6に示す先行車両20,30及び建物25は、いずれも自車両のヘッドライトの有効照射距離(例えば、100m)以上離れており、例えば先行車両20,30のリフレクタ22,32や建物25自体は可視光画像Aに写り込んでいないものとする。
Based on the image signal transmitted from the CCD camera 4 with the near-
先行車両候補領域抽出部14aは、可視光画像取得部13aが取得した可視光画像Aに基づいて、画像中において先行車両が存在すると推定される領域である先行車両候補領域Tを抽出する。具体的には、先行車両候補領域抽出部14aは、可視光画像A中の各画素について、各画素の輝度(明るさ)が所定の輝度閾値よりも明るいか否かによって区別する二値化処理(輝度が輝度閾値以上の画素を1、輝度が輝度閾値以下の画素を0とする処理)を行う。そして、画像内においては先行車両20,30のテールランプ21,31が略水平方向に並ぶ左右一対で面積の等しい光源として写ることから、二値化処理後の画像内で輝度が1の画素の集合領域に対し、その形状、画像内における水平位置及び垂直位置、複数の画素集合領域間における水平距離や面積比などに関してラベリング処理を行う。その後、ラベリング処理の結果に基づき先行車両20,30のテールランプ21,31と推定される2つの画素集合をテールランプ候補として検出し、画像中においてテールランプ候補の画素集合とその周辺を囲む矩形領域を先行車両候補領域Tとして抽出する。この先行車両候補領域Tの大きさは、一定であってもよいが、例えばテールランプ候補として検出された画素集合の面積の大きさに応じて変化する態様であってもよく、またテールランプ候補として検出された2つの画素集合間の水平距離(すなわち左右一対のテールランプ21,31の間隔)に応じて変化する態様であってもよい。
Based on the visible light image A acquired by the visible light
近赤外線画像取得部15aは、先行車両候補領域抽出部14aが先行車両候補領域Tを抽出した場合に、近赤外線投光器5にON信号を送信する。近赤外線画像取得部15aは、近赤外線投光器5が点灯した状態でCCDカメラ4から送信された画像信号に基づき、自車両の前方における可視光の赤色領域から近赤外線領域の画像(以下、近赤外線画像Bと呼ぶ)を取得する。この近赤外線画像Bには、先行車両20,30のテールランプ21,31や道路沿いの建物25の照明26に加えて、先行車両20,30においてテールランプ21,31の下方に備えられたリフレクタ22,32や道路沿いのガードレール27に設けられた路上反射器28が近赤外線を反射して明確に写る(図4及び図7参照)。
The near-infrared
ここで、近赤外線投光器5がON状態になった直後は、照射する近赤外線の量が安定しないため、先行車両20,30のリフレクタ22,32やガードレール27の路上反射器28における反射光も安定せず、近赤外線画像Bに明確に写りこまない慮がある。そこで、先行車両検出部16aは、近赤外線画像取得部15aが近赤外線画像Bを取得した場合、近赤外線画像Bの各画素の輝度の単位時間変化量(例えば、1秒当たりの輝度の変化量)が所定の輝度変化閾値(第2の閾値)以下であるか否かを判定する。この輝度変化閾値は、時間経過に伴う近赤外線画像Bの各画素の輝度の単位時間変化量の減少、すなわち近赤外線投光器5の照射する近赤外線の反射光の単位時間変化量の減少から近赤外線投光器5が照射する近赤外線の量が安定したか否かを判断するために用いられ、実験等によりその値が決定される。
Here, immediately after the near-
先行車両検出部16aは、近赤外線画像Bの各画素の輝度の単位時間変化量が輝度変化閾値以下であると判定した場合、近赤外線投光器5の照射する近赤外線の量が安定した状態の近赤外線画像Bを取得できたと判断して近赤外線投光器5にOFF信号を送信する。
When the preceding
先行車両検出部16aは、近赤外線投光器5にOFF信号を送信した場合、先行車両候補領域抽出部14aが抽出した先行車両候補領域T内において、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分を算出する、すなわち近赤外線を照射することによって画像内に現れたリフレクタ22の輝度を認識する(図5及び図8参照)。具体的には、図5に示される図3の可視光画像Aと図4の近赤外線画像Bとの先行車両候補領域T内の差分として、先行車両20においてテールランプ21の下方に備えられた円形状のリフレクタ22の反射光及び路上反射器28の反射光の一部が算出される。また、図8に示される図6の可視光画像Aと図7の近赤外線画像Bとの先行車両候補領域T内の差分として、先行車両30においてテールランプ31の周囲に備えられた円環形状のリフレクタ32の反射光及び路上反射器28の反射光の一部が算出される。
When the preceding
先行車両検出部16aは、先行車両候補領域T内において、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が所定の差分閾値(第1の閾値)より大きいものが有るか否かを判定する。この差分閾値は、リフレクタ22,32以外のもの(例えば、ガードレール27の表面)による近赤外線の反射光をノイズとして除去するために用いられ、実験によりその値が決定される。
In the preceding vehicle candidate region T, the preceding
先行車両検出部16aは、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が所定の差分閾値より大きい先行車両候補領域Tが有ると判定した場合、当該先行車両候補領域Tにはテールランプ21,31及びリフレクタ22,32を備えた先行車両20が存在するとして先行車両20を検出する。先行車両検出部16aは、検出した先行車両20,30の情報を先行車両情報として運転支援装置6に送信する。
When the preceding
次に、図1〜図5及び図9を参照して、車両検出装置1における動作の流れについて詳細に説明する。図9は、第1の実施形態に係る車両検出装置の動作の流れを示すフローチャートである。
Next, with reference to FIG. 1 to FIG. 5 and FIG. 9, an operation flow in the
この車両検出装置1では、先行車両の検出開始時において近赤外線投光器5は消灯状態となっている。まずCCDカメラ4は、近赤外線投光器5が消灯された状態で自車両前方の画像を撮像し、画像信号を車両検出ECU10に送信する。そして、車両検出ECU10における可視光画像取得部13aは、近赤外線投光器5が消灯した状態でCCDカメラ4から送信された画像信号に基づいて、自車両の前方における可視光画像Aを取得する(S1)。
In this
先行車両候補領域抽出部14aは、可視光画像取得部13aが取得した可視光画像Aに基づいて、画像中において先行車両が存在すると推定される領域である先行車両候補領域Tを抽出する(S2)。
Based on the visible light image A acquired by the visible light
ステップS3において、先行車両候補領域抽出部14aは、先行車両候補領域Tが抽出できない場合、先行車両は存在しないと判断してステップS11に移行する。一方、先行車両候補領域抽出部14aによって先行車両候補領域Tが抽出できた場合、近赤外線画像取得部15aは、近赤外線投光器5にON信号を送信する(S4)。
In step S3, when the preceding vehicle candidate area T cannot be extracted, the preceding vehicle candidate
ON信号を送信された近赤外線投光器5は、点灯状態となり、自車両の前方に近赤外線を照射する。CCDカメラ4は、近赤外線投光器5が点灯した状態で自車両前方の画像を撮像し、画像信号を車両検出ECU10に送信する。車両検出ECU10における近赤外線画像取得部15aは、CCDカメラ4から送信された画像信号に基づき、自車両の前方における近赤外線画像Bを取得する(S5)。
The near-
続いて、先行車両検出部16aは、近赤外線画像Bの各画素の輝度の単位時間変化量が所定の輝度変化閾値以下であるか否かを判定する(S6)。先行車両検出部16aは、近赤外線画像Bの各画素における輝度の単位時間変化量が輝度変化閾値以下ではないと判定した場合、輝度の単位時間変化量が輝度変化閾値以下であると判定するまで上記輝度の単位時間変化量に関する判定を繰り返す。
Subsequently, the preceding
先行車両検出部16aは、近赤外線画像Bの各画素の輝度の単位時間変化量が輝度変化閾値以下であると判定した場合、近赤外線投光器5にOFF信号を送信する(S7)。OFF信号を送信された近赤外線投光器5は、消灯状態になる。その後、先行車両検出部16aは、先行車両候補領域抽出部14aが抽出した先行車両候補領域T内において、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分を算出する(S8)。
When the preceding
先行車両検出部16aは、先行車両候補領域T内において、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が所定の差分閾値より大きいものが有るか否かを判定する(S9)。先行車両検出部16aは、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Tがないと判定した場合、先行車両は存在しないと判断して、ステップS11に移行する。
In the preceding vehicle candidate area T, the preceding
先行車両検出部16aは、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Tが有ると判定した場合、当該先行車両候補領域Tにはテールランプ21及びリフレクタ22を備えた先行車両20が存在するとして先行車両20を検出する。ステップS11において、先行車両検出部16aは、検出した先行車両20に関する情報又は先行車両が存在しないとの判断を先行車両情報として運転支援装置6に送信する。
When the preceding
以上説明した車両検出装置1によれば、近赤外線投光器5から近赤外線が照射されない状態の自車両前方における可視光画像Aと、近赤外線投光器5から近赤外線が照射された状態の自車両前方における近赤外線画像Bとが取得される。可視光画像Aには、先行車両20の背面のリフレクタ22や道路沿いのガードレール27に設けられた路上反射器28が自車両のヘッドライトなどを反射した光が写る場合があるが、道路沿いの建物25の照明26や先行車両20のテールランプ21から放たれる光はリフレクタ22などの反射光と比べて強く写る。そして、近赤外線画像Bには、先行車両20のリフレクタ22や路上反射器28が近赤外線を反射した光が強く写る一方、先行車両20のテールランプ21や道路沿いの建物25の照明26は近赤外線をあまり出さないため可視光画像Aと比べて写り方にあまり差が生じない。したがって、これらの可視光画像A及び近赤外線画像Bを比較してテールランプ21などの光源とリフレクタ22などの反射器とを区別し、その形状や位置関係などを認識することで、リフレクタ22とテールランプ21とを備える先行車両20を高精度に検出することができる。このような車両検出装置1は、画像情報のみに基づく先行車両の検出を可能にするので、路上障害物を検知するレーダセンサなどの検出範囲を超えて自車両から離れた距離に存在する先行車両も検出できる。
According to the
また、車両検出ECU10における先行車両候補領域抽出部14aでは、可視光画像Aの各画素における輝度を認識し、画像中で高い輝度を有する画素集合の形状や位置などから先行車両のテールランプの候補となる画素集合を検出し、そのテールランプ候補を含む周辺の領域を先行車両候補領域Tとして抽出する。このように先行車両候補領域Tを予め抽出することにより、画像内で車両のテールランプの形状や位置関係と大きく異なるものを予め検出対象から外すことが可能となり、先行車両20をより高精度に検出することができる。更に、画像中の先行車両候補領域T以外の領域における各画素の輝度の差分算出が不要になるので、車両検出ECU10における演算処理の負荷を軽減することができる。
Further, the preceding vehicle candidate
また、車両検出ECU10における先行車両検出部16aでは、可視光画像取得部13aが取得した可視光画像A及び近赤外線画像取得部15aが取得した近赤外線画像Bにおける画素間の輝度の差分が所定の差分閾値以上である場合に、先行車両を検出する。これにより、先行車両検出部16aは、近赤外線画像Bの輝度と可視光画像Aの輝度との差が差分閾値以上、すなわち近赤外線画像Bにおいて輝度の大きく、可視光画像Aにおいて輝度の小さいリフレクタ22を検出することができる。更に、近赤外線画像Bの輝度と可視光画像Aの輝度との差が差分閾値以下、すなわちリフレクタ22以外のガードレール27の表面などによる近赤外線の反射光をノイズとして除去することができるので、可視光画像Aと近赤外線画像Bとに基づきリフレクタ22とテールランプ21とを備える先行車両20の検出が好適に実現される。
Further, in the preceding
また、車両検出ECU10における近赤外線画像取得部15aでは、先行車両候補領域抽出部14aが可視光画像Aに基づいて先行車両候補領域を抽出した場合に、近赤外線投光器5にON信号を送信して、近赤外線投光器5を消灯状態から点灯状態に切り換える。このように、先行車両候補領域Tが抽出されるまでの間、近赤外線投光器5を消灯状態としておくことで、車両検出装置1の省エネルギー化が図られる。
Further, the near-infrared
また、車両検出ECU10における先行車両候補領域抽出部14aでは、近赤外線投光器5が点灯状態に切り換わった後、近赤外線画像取得部15aが取得した近赤外線画像Bの各画素における輝度の単位時間変化量が所定の輝度変化閾値以下である場合に、近赤外線画像Bに基づいて先行車両を検出する。このような構成によれば、近赤外線投光器5を点灯状態にした直後の近赤外線の量が不安定な状態で取得された近赤外線画像Bが先行車両の検出に利用されることを防ぎ、先行車両20をより高精度に検出することができる。
Further, in the preceding vehicle candidate
図1〜図8を参照して、第2の実施の形態に係る車両検出装置2について説明する。車両検出装置2では、第1の実施の形態に係る車両検出装置1の構成と同様の構成について、同一の符号を付与し、その説明を省略する。
With reference to FIGS. 1-8, the vehicle detection apparatus 2 which concerns on 2nd Embodiment is demonstrated. In the vehicle detection apparatus 2, the same code | symbol is provided about the structure similar to the structure of the
車両検出装置2は、第1の実施の形態に係る車両検出装置1と比較すると、その動作の流れ及び車両検出ECU11の構成が異なり、可視光画像より先に近赤外線画像を取得し、この近赤外線画像に基づいて先行車両候補領域の抽出を行う。そのために、車両検出装置2は、CCDカメラ4、近赤外線投光器5、運転支援装置6、及び車両検出ECU11を備えており、車両検出ECU11に可視光画像取得部13b、先行車両候補領域抽出部14b、近赤外線画像取得部15b、先行車両検出部16bが構成される。
The vehicle detection device 2 differs from the
なお、第2の実施の形態では、近赤外線投光器5が特許請求の範囲に記載する赤外線投光手段に相当し、CCDカメラ4及び可視光画像取得部13bが特許請求の範囲に記載する可視光画像取得手段に相当し、CCDカメラ4及び近赤外線画像取得部15bが特許請求の範囲に記載する近赤外線画像取得手段に相当し、先行車両候補領域抽出部14bが特許請求の範囲に記載する抽出手段に相当し、先行車両検出部16bが先行車両検出手段に相当する。
In the second embodiment, the near-
可視光画像取得部13bは、近赤外線投光器5が消灯された状態でCCDカメラ4から送信された画像信号に基づいて、可視光画像Aを取得する。この可視光画像Aには、先行車両20,30のテールランプ21,31や道路沿いの建物25の照明26などの光源から出る赤色領域の光が明確に写る(図3及び図6参照)。
The visible light
近赤外線画像取得部15bは、先行車両の検出の開始時に、近赤外線投光器5にON信号を送信する。近赤外線画像取得部15bは、近赤外線投光器5にON信号を送信した場合、近赤外線投光器5が点灯した状態でCCDカメラ4から送信された画像信号に基づき、近赤外線画像Bを取得する。この近赤外線画像Bには、建物25の照明26及びガードレール27の路上反射器28に加えて、先行車両20,30のテールランプ21,31及びリフレクタ22,32が写る(図4及び図7参照)。
The near-infrared
近赤外線画像取得部15bは、取得した近赤外線画像Bについて、近赤外線画像Bの各画素の輝度の単位時間変化量が所定の輝度変化閾値(第2の閾値)以下であるか否かを判定する。近赤外線画像取得部15bは、近赤外線画像Bの各画素の輝度の単位時間変化量が輝度変化閾値以下であると判定した場合、近赤外線投光器5の照射する近赤外線の量が安定した状態の近赤外線画像Bを取得できたと判断する。
The near-infrared
先行車両候補領域抽出部14bは、近赤外線画像取得部15bが安定した状態の近赤外線画像Bを取得できたと判断した場合、近赤外線画像取得部15bが取得した近赤外線画像Bに基づいて、先行車両候補領域Tを抽出する。具体的には、先行車両候補領域抽出部14bは、近赤外線画像B中の各画素について、各画素の輝度が所定の輝度閾値よりも明るいか否かによって二値化処理(輝度が輝度閾値以上の画素を1、輝度が輝度閾値以下の画素を0とする処理)を行う。そして、画像中において先行車両20,30のテールランプ21,31やリフレクタ22,32が略水平方向に並ぶ左右一対で面積の等しい反射器であることから、二値化処理後の画像内で輝度が1の画素の集合領域に対し、その形状、画像内における水平位置及び垂直位置、複数の画素集合領域間における水平距離や面積比などに関してラベリング処理を行う。その後、ラベリング処理の結果に基づき先行車両20,30のテールランプ21,31と推定される2つの画素集合をテールランプ候補として検出し、リフレクタ22と推定される2つの画素集合をリフレクタ候補として検出する。そして、画像中でテールランプ候補の画素集合やリフレクタ候補の画素集合とその周辺を囲む矩形領域を先行車両候補領域Tとして抽出する。この先行車両候補領域Tの大きさは、一定であってもよいが、例えばテールランプ候補やリフレクタ候補として検出された画素集合の面積の大きさに応じて変化する態様であってもよい。先行車両候補領域抽出部14bは、先行車両候補領域Tを抽出した場合、近赤外線投光器5にOFF信号を送信する。
If the preceding vehicle candidate
先行車両検出部16bは、先行車両候補領域抽出部14bが抽出した先行車両候補領域T内において、近赤外線画像Bの各画素における輝度と可視光画像Aの各画素における輝度との差分を算出する、すなわち近赤外線投光器5をOFF状態にすることによって画像に写らなくなったリフレクタ22,32の輝度を認識する(図5及び図8参照)。
The preceding
先行車両検出部16bは、先行車両候補領域T内において、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が所定の差分閾値(第1の閾値)より大きいものが有るか否かを判定する。
In the preceding vehicle candidate region T, the preceding
先行車両検出部16bは、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Tが有ると判定した場合、当該先行車両候補領域Tにはテールランプ21,31及びリフレクタ22,32を備えた先行車両20,30が存在するとして先行車両20,30を検出する。先行車両検出部16bは、先行車両に関する情報を先行車両情報として運転支援装置6に送信する。
When the preceding
次に、図1〜図5及び図10を参照して、車両検出装置2における動作の流れについて詳細に説明する。図10は、第2の実施の形態に係る車両検出装置における動作の流れを示すフローチャートである。 Next, with reference to FIG. 1 to FIG. 5 and FIG. 10, the operation flow in the vehicle detection device 2 will be described in detail. FIG. 10 is a flowchart showing an operation flow in the vehicle detection device according to the second embodiment.
車両検出ECU11における近赤外線画像取得部15bは、先行車両の検出の開始時において、近赤外線投光器5にON信号を送信する(S21)。ON信号を送信された近赤外線投光器5は、点灯状態になり、自車両の前方に近赤外線を照射する。CCDカメラ4は、近赤外線投光器5が点灯した状態で自車両の前方を撮像する。近赤外線画像取得部15bは、CCDカメラ4から送信された画像信号に基づき、自車両の前方における近赤外線画像Bを取得する(S22)。
The near-infrared
次に、近赤外線画像取得部15bは、近赤外線画像Bの各画素の輝度の単位時間変化量が輝度変化閾値以下であるか否かを判定する(S23)。近赤外線画像取得部15bは、近赤外線画像Bの各画素の輝度の単位時間変化量が輝度変化閾値以下ではないと判定した場合、輝度の単位時間変化量が輝度変化閾値以下であると判定するまで上記輝度の単位時間変化量に関する判定を繰り返す。
Next, the near-infrared
近赤外線画像取得部15bは、近赤外線画像Bの各画素の輝度の単位時間変化量が輝度変化閾値以下であると判定した場合、近赤外線投光器5の照射する近赤外線の量が安定した状態の近赤外線画像Bを取得できたと判断する。先行車両候補領域抽出部14bは、近赤外線画像取得部15bが安定した状態の近赤外線画像Bを取得できたと判断した場合、近赤外線画像取得部15bが取得した近赤外線画像Bに基づいて、先行車両候補領域Tを抽出する(S24)。
When the near-infrared
ステップS25において、先行車両候補領域抽出部14bは、先行車両候補領域Tを抽出できない場合、先行車両は存在しないと判断してステップS31に移行する。先行車両候補領域抽出部14bは、先行車両候補領域Tを抽出できた場合、近赤外線投光器5にOFF信号を送信する(S26)。OFF信号を送信された近赤外線投光器5は、消灯状態になる。CCDカメラ4は、近赤外線投光器5が消灯の状態で自車両の前方を撮像する。可視光画像取得部13bは、近赤外線投光器5が消灯の状態でCCDカメラ4から送信された画像信号に基づいて、自車両の前方における可視光画像Aを取得する(S27)。
In step S25, when the preceding vehicle candidate
続いて、先行車両検出部16bは、先行車両候補領域抽出部14bが抽出した先行車両候補領域T内において、近赤外線画像Bの各画素における輝度と可視光画像Aの各画素における輝度との差分を算出する(S28)。
Subsequently, the preceding
その後、先行車両検出部16bは、先行車両候補領域T内において、近赤外線画像Bの各画素における輝度と可視光画像Aの各画素における輝度との差分が所定の差分閾値より大きいものが有るか否かを判定する(S29)。先行車両検出部16bは、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Tが無いと判定した場合、先行車両は存在しないと判断してステップS31に移行する。
Thereafter, in the preceding vehicle candidate area T, the preceding
先行車両検出部16bは、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Tが有ると判定した場合、当該先行車両候補領域Tにはテールランプ21及びリフレクタ22を備えた先行車両20が存在するとして先行車両20を検出する(S30)。ステップS31において、先行車両検出部16bは、検出した先行車両20に関する情報又は先行車両が存在しないとの判断を先行車両情報として運転支援装置6に送信する。
When the preceding
以上説明した第2の実施の形態に係る車両検出装置2も第1の実施の形態の車両検出装置1と同様の効果を奏するが以下の点について異なる効果を有する。すなわち、この車両検出装置2によれば、先に近赤外線画像を取得し、その近赤外線画像から先行車両候補領域Tが抽出された後、近赤外線投光器5が消灯されて可視光画像を取得する構成であるため、先行車両候補領域Tが抽出された後において近赤外線投光器5が照射する近赤外線の量が安定することを待つ必要がない。その結果、先行車両候補領域Tを抽出してから先行車両を検出するまでの時間を短くすることが可能となり、先行車両検出の速度の向上を図ることができる。
The vehicle detection device 2 according to the second embodiment described above has the same effects as the
図3、図4、図6、図7、及び図11〜図14を参照して、第3の実施の形態に係る車両検出装置3について説明する。車両検出装置3では、第1の実施の形態に係る車両検出装置1の構成と同様の構成について、同一の符号を付与し、その説明を省略する。図11は、第3の実施の形態に係る車両検出装置を示す構成図である。図12(a)は、図11に示す可視光カメラの撮像可能な波長領域を示すグラフであり、図12(b)は、図11に示す近赤外線カメラの撮像可能な波長領域を示すグラフである。図13は、第3の実施の形態に係る図3の可視光画像と図4の近赤外線画像との先行車両候補領域内の差分を示す図である。図14は、第3の実施形態に係る図6の可視光画像と図7の近赤外線画像との先行車両候補領域内の差分を示す図である。
A vehicle detection device 3 according to a third embodiment will be described with reference to FIGS. 3, 4, 6, 7, and 11 to 14. In the vehicle detection apparatus 3, the same code | symbol is provided about the structure similar to the structure of the
車両検出装置3は、第1の実施の形態に係る車両検出装置1と比較すると、CCDカメラ4に代えて可視光カメラ7と近赤外線カメラ8とを有している点と、車両検出ECU12における先行車両検出部17の機能とが異なる。車両検出装置3では、可視光カメラ7によって自車両前方の可視光画像を撮像すると共に、近赤外線カメラ8によって自車両前方の近赤外線画像を撮像し、先行車両検出部17において可視光画像及び近赤外線画像から先行車両を検出する。そのために、車両検出装置3は、近赤外線投光器5、運転支援装置6、可視光カメラ7、近赤外線カメラ8、及び車両検出ECU12を備えており、車両検出ECU12に可視光画像取得部13a、先行車両候補領域抽出部14a、近赤外線画像取得部15a、先行車両検出部17が構成される。
Compared to the
なお、第3の実施の形態では、近赤外線投光器5が特許請求の範囲に記載する赤外線投光手段に相当し、可視光カメラ7及び可視光画像取得部13aが特許請求の範囲に記載する可視光画像取得手段に相当し、近赤外線カメラ8及び近赤外線画像取得部15aが特許請求の範囲に記載する近赤外線画像取得手段に相当し、先行車両候補領域抽出部14aが特許請求の範囲に記載する抽出手段に相当し、先行車両検出部16aが先行車両検出手段に相当する。
In the third embodiment, the near-
以下、第1の実施の形態と異なる可視光カメラ7、近赤外線カメラ8、及び車両検出ECU12における先行車両検出部17について詳細に説明する。
Hereinafter, the visible
可視光カメラ7は、自車両の前方に備えられ、自車両の前方の画像を撮像するCCDカメラである。可視光カメラ7は、400nm〜1000nm(可視光の波長領域)の光波長の画像を撮像する(図12(a)参照)。可視光カメラ7は、撮像した自車両の前方の画像を可視光画像信号として車両検出ECU12に送信する。車両検出ECU12における可視光画像取得部13aは、可視光カメラ7が送信した可視光画像信号から可視光画像Aを取得する。この可視光カメラ7から取得された可視光画像Aには、先行車両20,30のテールランプ21,31や道路沿いの建物25の照明26などの光源から出る光が明確に写る(図3及び図6参照)。
The visible
近赤外線カメラ8は、自車両の前方に備えられ、自車両の前方の画像を撮像するCCDカメラである。近赤外線カメラ8には、光の波長領域を限定する光カットフィルタが取り付けられており、800nm〜1000nm(近赤外線の波長領域)の光波長の画像を撮像する(図12(b)参照)。近赤外線カメラ8は、近赤外線投光器5が点灯した状態で撮像した自車両の前方の画像を近赤外線画像信号として車両検出ECU12に送信する。車両検出ECU12における近赤外線画像取得部15aは、近赤外線カメラ8が送信した近赤外線画像信号から近赤外線画像Bを取得する。この近赤外線カメラ8から取得された近赤外線画像Bには、先行車両20,30のテールランプ21,31や道路沿いの建物25の照明26などの光源はほとんど近赤外線の波長領域の光を出さないため弱く写る一方、先行車両20,30のリフレクタ22,32や道路沿いのガードレール27に設けられた路上反射器28は近赤外線を反射して明確に写る(図4及び図7参照)。なお、この近赤外線画像Bにおいては、可視光が写らないため、近赤外線をほとんど出さないテールランプ21,31や照明26は第1及び第2の実施の形態と比べて輝度が小さくなる。
The near-
先行車両検出部17は、第1の実施の形態又は第2の実施の形態と同様に抽出された先行車両候補領域T内において、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分を算出する。ここで、先行車両20,30のテールランプ21,31や建物25の照明26から出る光は、可視光画像Aにおいて強く写る一方、近赤外線画像Bにおいては近赤外線をあまり含まないため弱く写る。また、先行車両20,30のリフレクタ22,32やガードレール27の路上反射器28は、自車両のヘッドライトの有効照射距離以上離れているため可視光画像Aにはほとんど写らないが、近赤外線画像Bにおいては、近赤外線投光器5の近赤外線を反射した光が強く写る。
In the preceding vehicle candidate region T extracted in the same manner as in the first embodiment or the second embodiment, the preceding
そこで、先行車両検出部17は、先行車両候補領域T内における可視光画像Aの各画素の輝度と近赤外線画像Bの各画素の輝度との差分を算出することにより、先行車両20,30のテールランプ21,31とリフレクタ22,32とを認識する(図13及び図14参照)。具体的には、図13に示される図3の可視光画像Aと図4の近赤外線画像Bとの先行車両候補領域T内の差分として、先行車両20のテールランプ21の光、テールランプ21の下方に備えられた円形状のリフレクタ22の反射光及び路上反射器28の反射光の一部が算出され、図14に示される図6の可視光画像Aと図7の近赤外線画像Bとの先行車両候補領域T内の差分として、先行車両30のテールランプ31の光、テールランプ31の周囲に備えられた円環形状のリフレクタ32の反射光、及び路上反射器28の反射光の一部が算出される。
Therefore, the preceding
その後、先行車両検出部17では、先行車両候補領域T内における可視光画像Aの各画素の輝度と近赤外線画像Bの各画素の輝度との差分が所定の差分閾値より大きいものが有ると判定した場合に、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分の正負を認識し、テールランプ21,31とリフレクタ22,32とを区別する。具体的には、可視光画像Aの各画素の輝度から近赤外線画像Bにおける各画素の輝度を差し引いた場合に、正の差分値を有する画素集合(すなわち可視光画像Aにおいて輝度が高く近赤外線画像Bにおいて輝度の小さい画素集合)をテールランプ21,31などの光源と判断し、負の差分値を有する画素集合(すなわち可視光画像Aにおいて輝度が小さく近赤外線画像Bにおいて輝度の高い画素集合)をリフレクタ22,32などの反射器と判断する。このようにして、先行車両検出部17では、テールランプ21,31及びリフレクタ22,32を有する先行車両20,30が検出される。
Thereafter, the preceding
この車両検出装置3における動作の流れは、第1の実施の形態における動作の流れと同じでもよく、また第2の実施の形態における動作の流れと同じであってもよい。 The operation flow in the vehicle detection device 3 may be the same as the operation flow in the first embodiment, or may be the same as the operation flow in the second embodiment.
この車両検出装置3によれば、第1の実施の形態に係る車両検出装置1又は第2の実施の形態に係る車両検出装置2と同様の効果を有する。
The vehicle detection device 3 has the same effects as the
本発明は、上述した実施形態に限定されるものではない。例えば、車両検出装置1,2,3は、四輪だけでなく二輪の先行車両を検出することができる。この場合、先行車両候補領域抽出部14a,14bは、二値化処理後の画像内で輝度が1の画素の集合領域に対し、二輪車のテールランプの形状などから画素集合をテールランプ候補として検出し、そのテールランプ候補を含む周囲の矩形領域を先行車両候補領域Tとして抽出する。その後、可視光画像Aの各画素における輝度と近赤外線画像Bの各画素における輝度との差分からテールランプ及びリフレクタを有する二輪の先行車両を検出する。
The present invention is not limited to the embodiment described above. For example, the
また、可視光画像Aの各画素における輝度と近赤外線画像の各画素Bにおける輝度との差分を取るにあたり、予め各画像を二値化処理した後、差分を取る態様であってもよい。この場合、車両検出ECU10,11,12における演算処理の負荷を軽減することができる。
In addition, in obtaining the difference between the luminance in each pixel of the visible light image A and the luminance in each pixel B of the near-infrared image, an aspect may be adopted in which the difference is obtained after binarizing each image in advance. In this case, the calculation processing load in the
また、先行車両候補領域Tは、矩形領域に限られず、楕円形や長円形の領域であってもよく、領域の形状は特に限定されない。 The preceding vehicle candidate area T is not limited to a rectangular area, and may be an elliptical or oval area, and the shape of the area is not particularly limited.
1,2,3…車両検出装置、4…CCDカメラ(可視光画像取得手段,近赤外線画像取得手段)、5…近赤外線投光器(赤外線投光手段)、6…運転支援装置、7…可視光カメラ(可視光画像取得手段)、8…近赤外線カメラ(赤外線画像取得手段)、10,11,12…車両検出ECU、13a,13b…可視光画像取得部(可視光画像取得手段)、14a,14b…先行車両候補領域抽出部(抽出手段)、15a,15b…近赤外線画像取得部(赤外線画像取得手段)、16a,16b,17…先行車両検出部(先行車両検出手段)、20,30…先行車両、21,31…テールランプ、22,32…リフレクタ、照明…26、路上反射器…28。
DESCRIPTION OF
Claims (6)
前記車両の前方における可視光画像を取得する可視光画像取得手段と、
前記車両の前方に赤外線を照射する赤外線投光手段と、
前記赤外線投光手段が赤外線を照射した前記車両前方における赤外線画像を取得する赤外線画像取得手段と、
前記赤外線画像取得手段が取得した前記赤外線画像と前記可視光画像取得手段が取得した前記可視光画像とに基づいて、先行車両を検出する先行車両検出手段と、を備えることを特徴とする車両検出装置。 A vehicle detection device for detecting a preceding vehicle traveling in front of a vehicle,
Visible light image acquisition means for acquiring a visible light image in front of the vehicle;
Infrared light projecting means for irradiating infrared light in front of the vehicle;
Infrared image acquisition means for acquiring an infrared image in front of the vehicle irradiated with infrared rays by the infrared projection means;
Vehicle detection comprising: preceding vehicle detection means for detecting a preceding vehicle based on the infrared image acquired by the infrared image acquisition means and the visible light image acquired by the visible light image acquisition means apparatus.
前記先行車両検出手段は、前記抽出手段が抽出した先行車両候補領域に基づいて、前記先行車両を検出することを特徴とする請求項1又は2に記載の車両検出装置。 An extraction means for extracting a preceding vehicle candidate area based on at least one of the visible light image acquired by the visible light image acquisition means and the infrared image acquired by the infrared image acquisition means;
The vehicle detection device according to claim 1, wherein the preceding vehicle detection unit detects the preceding vehicle based on a preceding vehicle candidate area extracted by the extraction unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008267646A JP5077184B2 (en) | 2008-10-16 | 2008-10-16 | Vehicle detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008267646A JP5077184B2 (en) | 2008-10-16 | 2008-10-16 | Vehicle detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010097410A true JP2010097410A (en) | 2010-04-30 |
JP5077184B2 JP5077184B2 (en) | 2012-11-21 |
Family
ID=42259045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008267646A Expired - Fee Related JP5077184B2 (en) | 2008-10-16 | 2008-10-16 | Vehicle detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5077184B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011252746A (en) * | 2010-06-01 | 2011-12-15 | Nippon Telegr & Teleph Corp <Ntt> | Device, method and program for detecting cable position |
JP2013016981A (en) * | 2011-07-01 | 2013-01-24 | Denso Corp | Imaging display control system |
WO2013118337A1 (en) * | 2012-02-06 | 2013-08-15 | 日立コンシューマエレクトロニクス株式会社 | Imaging device |
US8970357B2 (en) | 2011-04-13 | 2015-03-03 | Toyota Jidosha Kabushiki Kaisha | Vehicle-mounted surrounding object recognizing apparatus and drive support apparatus using the same |
KR20160101513A (en) * | 2015-02-17 | 2016-08-25 | 현대자동차주식회사 | Method for recognizing front vehicle or vehicle in front of front vehicle |
KR101936131B1 (en) * | 2012-09-03 | 2019-01-08 | 현대모비스 주식회사 | Apparatus for detecting inter-vehicle distance improving recognition of lamp image and Method for detecting inter-vehicle distance using the same |
WO2019180948A1 (en) * | 2018-03-23 | 2019-09-26 | 本田技研工業株式会社 | Object recognition device, vehicle, and object recognition method |
CN111830518A (en) * | 2019-04-22 | 2020-10-27 | 苏州翼搏特智能科技有限公司 | Relative pose measurement system and method based on near-infrared beacon |
JP2021005162A (en) * | 2019-06-25 | 2021-01-14 | 株式会社リコー | Image processing device, image forming apparatus and image processing method |
WO2021049239A1 (en) * | 2019-09-11 | 2021-03-18 | 株式会社小糸製作所 | Vehicle lamp system |
JP2021043633A (en) * | 2019-09-10 | 2021-03-18 | 株式会社豊田中央研究所 | Object identification device and object identification program |
CN114423991A (en) * | 2019-09-19 | 2022-04-29 | 株式会社小糸制作所 | Infrared lamp system for vehicle, infrared sensor built-in lamp for vehicle, and optical sensor built-in lamp |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10255019A (en) * | 1997-03-07 | 1998-09-25 | Toyota Motor Corp | Vehicle recognizing device |
JP2004104646A (en) * | 2002-09-12 | 2004-04-02 | Hitachi Ltd | On-vehicle image processor |
-
2008
- 2008-10-16 JP JP2008267646A patent/JP5077184B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10255019A (en) * | 1997-03-07 | 1998-09-25 | Toyota Motor Corp | Vehicle recognizing device |
JP2004104646A (en) * | 2002-09-12 | 2004-04-02 | Hitachi Ltd | On-vehicle image processor |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011252746A (en) * | 2010-06-01 | 2011-12-15 | Nippon Telegr & Teleph Corp <Ntt> | Device, method and program for detecting cable position |
US8970357B2 (en) | 2011-04-13 | 2015-03-03 | Toyota Jidosha Kabushiki Kaisha | Vehicle-mounted surrounding object recognizing apparatus and drive support apparatus using the same |
JP2013016981A (en) * | 2011-07-01 | 2013-01-24 | Denso Corp | Imaging display control system |
WO2013118337A1 (en) * | 2012-02-06 | 2013-08-15 | 日立コンシューマエレクトロニクス株式会社 | Imaging device |
KR101936131B1 (en) * | 2012-09-03 | 2019-01-08 | 현대모비스 주식회사 | Apparatus for detecting inter-vehicle distance improving recognition of lamp image and Method for detecting inter-vehicle distance using the same |
KR102262577B1 (en) * | 2015-02-17 | 2021-06-09 | 현대자동차주식회사 | Method for recognizing front vehicle or vehicle in front of front vehicle |
KR20160101513A (en) * | 2015-02-17 | 2016-08-25 | 현대자동차주식회사 | Method for recognizing front vehicle or vehicle in front of front vehicle |
WO2019180948A1 (en) * | 2018-03-23 | 2019-09-26 | 本田技研工業株式会社 | Object recognition device, vehicle, and object recognition method |
JPWO2019180948A1 (en) * | 2018-03-23 | 2021-01-14 | 本田技研工業株式会社 | Object recognition device, vehicle and object recognition method |
JP7060676B2 (en) | 2018-03-23 | 2022-04-26 | 本田技研工業株式会社 | Object recognition device, vehicle and object recognition method |
US11935308B2 (en) | 2018-03-23 | 2024-03-19 | Honda Motor Co., Ltd. | Object recognition apparatus, vehicle, and object recognition method |
CN111830518A (en) * | 2019-04-22 | 2020-10-27 | 苏州翼搏特智能科技有限公司 | Relative pose measurement system and method based on near-infrared beacon |
JP2021005162A (en) * | 2019-06-25 | 2021-01-14 | 株式会社リコー | Image processing device, image forming apparatus and image processing method |
JP7392302B2 (en) | 2019-06-25 | 2023-12-06 | 株式会社リコー | Image processing device, image forming device, and image processing method |
JP2021043633A (en) * | 2019-09-10 | 2021-03-18 | 株式会社豊田中央研究所 | Object identification device and object identification program |
JP7235308B2 (en) | 2019-09-10 | 2023-03-08 | 株式会社豊田中央研究所 | Object identification device and object identification program |
WO2021049239A1 (en) * | 2019-09-11 | 2021-03-18 | 株式会社小糸製作所 | Vehicle lamp system |
JP7538805B2 (en) | 2019-09-11 | 2024-08-22 | 株式会社小糸製作所 | Vehicle Lamp System |
US12083947B2 (en) | 2019-09-11 | 2024-09-10 | Koito Manufacturing Co., Ltd. | Vehicle lamp system |
EP4032751A4 (en) * | 2019-09-19 | 2022-10-26 | Koito Manufacturing Co., Ltd. | Infrared lighting unit system for vehicle, infrared sensor system for vehicle, and lighting unit with built-in infrared sensor and lighting unit with built-in optical sensor for vehicle |
CN114423991A (en) * | 2019-09-19 | 2022-04-29 | 株式会社小糸制作所 | Infrared lamp system for vehicle, infrared sensor built-in lamp for vehicle, and optical sensor built-in lamp |
US12096534B2 (en) | 2019-09-19 | 2024-09-17 | Koito Manufacturing Co., Ltd. | Vehicle infrared lamp system, vehicle infrared sensor system, vehicle infrared-sensor-equipped lamp, and optical-sensor-equipped lamp |
Also Published As
Publication number | Publication date |
---|---|
JP5077184B2 (en) | 2012-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5077184B2 (en) | Vehicle detection device | |
JP5617999B2 (en) | On-vehicle peripheral object recognition device and driving support device using the same | |
JP4253271B2 (en) | Image processing system and vehicle control system | |
US10442343B2 (en) | Vehicle exterior environment recognition apparatus | |
JP4544233B2 (en) | Vehicle detection device and headlamp control device | |
JP4253275B2 (en) | Vehicle control system | |
JP4538468B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP6075331B2 (en) | Vehicle lighting device | |
US20090046894A1 (en) | System for the detection by a motor vehicle of a phenomenon that interferes with visibility | |
JP2008040615A (en) | Vehicle detection device and head lamp controller | |
JP2008033872A (en) | Visibility condition determining device for vehicle | |
JP2006193068A (en) | Vehicular tunnel detector and vehicular light controller | |
JP2015009570A (en) | Headlight lamp control device | |
JP2008110723A (en) | Vehicular lighting system, vehicular lighting control method, and vehicular lighting control program | |
JP2008070979A (en) | Onboard fog decision unit | |
JP2008211410A (en) | Image recognition device for vehicle, and light distribution control unit and light distribution control method | |
JP2011103070A (en) | Nighttime vehicle detector | |
JP2009065360A (en) | Image processor, image processor for vehicle, image display device for vehicle and vehicle controller | |
CN109501667B (en) | Road surface determination device for vehicle | |
JP2012240530A (en) | Image processing apparatus | |
JP2006011671A (en) | Vehicle-mounted surrounding circumstance detection device | |
JP2010140171A (en) | Headlight system, and fault detection method | |
JP4735090B2 (en) | Infrared imaging device | |
JP2008134916A (en) | Vehicle forward recognition apparatus mounted on vehicle | |
WO2013137324A1 (en) | Vehicle-mounted illumination device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120731 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120813 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |