JP5839253B2 - Object detection device and in-vehicle device control device including the same - Google Patents
Object detection device and in-vehicle device control device including the same Download PDFInfo
- Publication number
- JP5839253B2 JP5839253B2 JP2010266419A JP2010266419A JP5839253B2 JP 5839253 B2 JP5839253 B2 JP 5839253B2 JP 2010266419 A JP2010266419 A JP 2010266419A JP 2010266419 A JP2010266419 A JP 2010266419A JP 5839253 B2 JP5839253 B2 JP 5839253B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- light
- detection
- polarization
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像手段が撮像した撮像画像に基づいて互いに異なる波長帯の光を発する少なくとも2種類の検出対象物を検出する物体検出装置及びこれを備えた車載機器制御装置に関するものである。 The present invention relates to an object detection device that detects at least two types of detection objects that emit light in different wavelength bands based on captured images captured by an imaging unit, and an on-vehicle device control device including the same.
従来、夜間において、車載カメラ(撮像装置)により自車の進行方向前方領域(撮像領域)を撮像し、その撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者(ドライバー)の運転負荷を軽減させる運転者支援システムが知られている。運転者支援システムでは、例えば、先行車両や対向車両等の検出結果を用いて運転者に知らせたり警告したりする情報提供制御を行うものがある。また、例えば、先行車両や対向車両等の検出結果を用いて、自車のヘッドランプの照射方向の切り換え制御(ハイビームとロービームの切り換え制御等)を行ったり、自車のワイパーによる視界確保の制御を行ったりする車載機器の制御を行うものもある。このような運転者支援システムは、運転者の運転に対する負荷を低減させるとともに、交通安全に寄与するものであり、非常に有益なシステムであるが、その先行車両や対向車両等の検出結果を用いた各種制御を適切に行うためには、先行車両や対向車両等の検出精度を高めることが重要となる。 Conventionally, at night, an in-vehicle camera (imaging device) captures a front area (imaging area) in the traveling direction of the host vehicle, and performs object detection processing based on the captured image to detect an object such as a preceding vehicle or an oncoming vehicle, A driver support system that reduces the driving load on the driver of the vehicle is known. Some driver support systems perform, for example, information provision control that notifies or warns the driver using detection results of preceding vehicles, oncoming vehicles, and the like. In addition, for example, by using the detection result of the preceding vehicle or the oncoming vehicle, control of switching the irradiation direction of the headlamp of the own vehicle (switching control between high beam and low beam, etc.), and control of ensuring visibility by the wiper of the own vehicle Some control the in-vehicle devices that perform the operation. Such a driver assistance system reduces the load on driving by the driver and contributes to traffic safety, and is a very useful system. However, the detection result of the preceding vehicle or the oncoming vehicle is used. In order to appropriately perform the various controls, it is important to improve the detection accuracy of the preceding vehicle, the oncoming vehicle, and the like.
このような運転者支援システムに利用される従来の物体検出装置は、撮像領域内に存在する物体からの反射光の明るさ情報(輝度情報)に基づいて撮像を行うモノクロ輝度カメラ(撮像装置)を用いたものが一般的である。夜間の先行車両や対向車両を検出するために自車の進行方向前方領域(撮像領域)を撮像する場合、その撮像領域からの光には、先行車両のテールランプや対向車両のヘッドランプ以外にも、各種の外乱光が含まれる。例えば、道路周辺に存在する自動販売機、店舗あるいは発光型看板などの発光体や、自車若しくは他車のヘッドランプ又はその他の光源からの光を反射する光反射物(例えば路側に設置されたリフレクタ等)からの光が、外乱光となり得る。そのため、モノクロ輝度カメラで撮像した撮像画像中には、先行車両のテールランプや対向車両のヘッドランプ以外のその他の外乱光も一緒に含まれることになる。したがって、夜間に先行車両や対向車両を高精度に検出するためには、先行車両のテールランプの光と、対向車両のヘッドランプの光と、その他の外乱光とを、高い精度で区別する必要がある。 A conventional object detection device used in such a driver assistance system is a monochrome luminance camera (imaging device) that performs imaging based on brightness information (luminance information) of reflected light from an object existing in an imaging region. The one using is generally used. When imaging a forward area (imaging area) in the traveling direction of the vehicle in order to detect a preceding vehicle or an oncoming vehicle at night, the light from the imaging area is not limited to the tail lamp of the preceding vehicle or the headlamp of the oncoming vehicle. And various disturbance lights. For example, a light reflector such as a vending machine, a store or a light-emitting signboard around a road, or a light reflector that reflects light from a headlamp or other light source of the own vehicle or another vehicle (for example, installed on the road side) Light from a reflector or the like can become disturbance light. Therefore, the captured image captured by the monochrome luminance camera also includes other disturbance light other than the tail lamp of the preceding vehicle and the head lamp of the oncoming vehicle. Therefore, in order to detect the preceding vehicle and the oncoming vehicle with high accuracy at night, it is necessary to distinguish the taillight light of the preceding vehicle, the headlamp light of the oncoming vehicle, and other disturbance light with high accuracy. is there.
特許文献1には、夜間に先行車両や対向車両を検出可能な物体検出装置として、画像センサによって撮像した画像に基づいて先行車両のテールランプや対向車両のヘッドランプを検出するシステムが開示されている。このシステムは、ヘッドランプからの強い白色光とテールランプからの強い赤色光とを抽出し、その抽出結果(分光情報)から対向車両や先行車両を検出している。具体的には、赤色のフィルタ染料で形成されたレンズと緑がかった青色のフィルタ染料で形成されたレンズとを画像センサの前段部に配置し、撮像領域からの入力光をこれらのレンズでそれぞれ画像センサ上の2箇所に集束させる。これにより、前者のレンズによって集束された光の輝度値から入力光の赤色成分が抽出され、後者のレンズによって集束された光の輝度値から入力光の青色成分が抽出される。そして、入力光の赤色成分が所定の明るさ(輝度)以上であるときには撮像領域内に先行車両のテールランプが存在するとみなして先行車両のテールランプを検出し、入力光の青色成分が所定の明るさ(輝度)以上であるときには撮像領域内に対向車両のヘッドランプが存在するとみなして対向車両のヘッドランプを検出する。 Patent Document 1 discloses a system that detects a tail lamp of a preceding vehicle and a headlamp of an oncoming vehicle based on an image captured by an image sensor as an object detection device that can detect the preceding vehicle and the oncoming vehicle at night. . This system extracts strong white light from a headlamp and strong red light from a tail lamp, and detects an oncoming vehicle or a preceding vehicle from the extraction result (spectral information). Specifically, a lens formed with a red filter dye and a lens formed with a greenish blue filter dye are arranged in the front stage of the image sensor, and the input light from the imaging region is respectively received by these lenses. Focusing is performed at two locations on the image sensor. As a result, the red component of the input light is extracted from the luminance value of the light focused by the former lens, and the blue component of the input light is extracted from the luminance value of the light focused by the latter lens. When the red component of the input light is equal to or higher than the predetermined brightness (luminance), it is assumed that the tail lamp of the preceding vehicle exists in the imaging region, and the tail lamp of the preceding vehicle is detected, and the blue component of the input light has the predetermined brightness. When the brightness is equal to or greater than (luminance), the headlamp of the oncoming vehicle is detected in the imaging region, and the headlamp of the oncoming vehicle is detected.
しかしながら、上記特許文献1に開示のシステムは、撮像領域からの入力光の赤色成分の輝度情報及び青色成分の輝度情報を単に検知しているだけなので、撮像領域内に検出対象物(ヘッドランプやテールランプ)の光と同程度の輝度をもつ同一波長の外乱光が存在する非検出対象物と、その外乱光を検出対象物の光と誤検知してしまうという問題がある。例えば、路面上あるいは道路周辺に、光を鏡面反射させるような鏡面反射体(路面上の水溜まり、路面上又は路側に存在する金属面など)が存在する場合、撮像領域外のヘッドランプやテールランプの光あるいはその他の光が撮像領域内の鏡面反射体に当たって、その鏡面反射体からヘッドランプやテールランプの光と同一波長で同程度の輝度を示す光が発せられる場合がある。この場合、上記特許文献1に開示のシステムのように入力光の輝度と波長で検出を行う場合には、検出対象物であるヘッドランプやテールランプの光とこのような外乱光とを区別して認識できない。 However, since the system disclosed in Patent Document 1 merely detects the luminance information of the red component and the luminance information of the blue component of the input light from the imaging region, a detection target (headlamp or There is a problem that a non-detection object having disturbance light of the same wavelength having the same brightness as that of the light of the tail lamp and the disturbance light is erroneously detected as light of the detection object. For example, when there is a specular reflector (such as a water pool on the road surface or a metal surface on or on the road surface) that specularly reflects light on the road surface or around the road, the headlamps and tail lamps outside the imaging area In some cases, light or other light strikes a specular reflector in the imaging region, and light having the same wavelength as the light of the headlamp or tail lamp is emitted from the specular reflector. In this case, when the detection is performed with the luminance and wavelength of the input light as in the system disclosed in Patent Document 1, the light of the head lamp or tail lamp, which is the detection target, and such disturbance light are distinguished and recognized. Can not.
なお、この問題は、先行車両や対向車両の物体検出処理に限られるものでない。詳しくは、互いに異なる波長帯の光を発する少なくとも2種類の物体(検出対象物)を検出する場合であって、その物体から発せられる光(反射光を含む。以下同じ。)と同じ波長帯を含みかつ同程度の輝度を示すような外乱光が撮像領域内に存在し得る場合には、同様に生じ得る問題である。 This problem is not limited to the object detection process of the preceding vehicle or the oncoming vehicle. Specifically, it is a case where at least two types of objects (detection target objects) that emit light in different wavelength bands are detected, and the same wavelength band as the light emitted from the objects (including reflected light; the same applies hereinafter). This is a problem that can occur in the same way when disturbing light that includes and exhibits the same level of brightness can exist in the imaging region.
本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、検出対象物から発せられる光と同じ波長帯を含みかつ同程度の輝度を示す外乱光を発する非検出対象物が存在する場合でも、高精度な検出が可能な物体検出装置及びこれを備えた車載機器制御装置を提供することである。 The present invention has been made in consideration of the aforementioned problems, it is an object of non-detection object that emits ambient light that indicates the detection of contain and comparable to the same wavelength band as light emitted from the object luminance An object detection device capable of highly accurate detection even when an object is present and an in-vehicle device control device including the same are provided.
上記目的を達成するために、請求項1の発明は、所定の波長帯をもつ分光成分を透過する分光部材と所定方向に振動する偏光成分を透過する偏光部材とを備え、撮像領域内に存在する物体から発せられる光を画像センサで受光して撮像領域内を撮像する撮像手段と、該撮像手段が撮像した撮像画像に基づいて車両を含む検出対象物の検出処理を行う物体検出処理手段とを有する物体検出装置において、上記撮像手段が撮像した撮像画像から、上記検出対象物の分光情報を取得する分光情報取得手段と、上記撮像手段が撮像した撮像画像から、該分光情報取得手段が取得する分光情報に対応した偏光情報を取得する偏光情報取得手段とを有し、上記物体検出処理手段は、該分光情報取得手段が取得した分光情報に基づく第1の検出処理と、該偏光情報取得手段が取得した前記所定方向に振動する偏光成分についての第一偏光情報および該第一偏光情報から算出される該所定方向と直交する方向に振動する光についての第二偏光情報に基づく第2の検出処理とを行うことにより、上記検出対象物の検出処理を行うことを特徴とするものである。
また、請求項2の発明は、請求項1の物体検出装置において、上記画像センサは、受光素子が2次元配置された画素アレイを有するものであり、上記分光部材は、撮像領域からの光を互いに異なる複数の検出波長帯に分光して該各検出波長帯の光を上記画像センサ上の互いに異なる受光素子に入射させるものであり、上記偏光部材は、該画像センサに入射される各検出波長帯の光について特定の偏光成分のみを遮光する偏光領域と非偏光のまま透過する透過領域とを備えたものであり、上記分光情報取得手段は、上記各検出波長帯の光を受光した各受光素子の受光量に基づく指標値を該各検出波長帯についての分光情報として取得し、上記偏光情報取得手段は、上記偏光領域に対応する受光素子の受光量に基づく指標値を第一偏光情報として取得し、上記透過領域に対応する受光素子の受光量から該偏光領域に対応する受光素子の受光量を差し引いた量に基づく指標値を第二偏光情報として取得することを特徴とするものである。
また、請求項3の発明は、請求項1又は2の物体検出装置において、上記撮像手段は、自車両の進行方向前方領域を撮像領域として撮像するものであり、上記検出対象物には、自車両に近づく方向に進行する他車両と自車両から離れる方向に進行する他車両とが含まれており、上記分光情報取得手段は、少なくとも車両のテールランプ色の波長帯についての分光情報及び車両のヘッドランプ色の波長帯についての分光情報を取得することを特徴とするものである。
また、請求項4の発明は、請求項3の物体検出装置において、上記物体検出処理手段が行う上記第2の検出処理では、上記偏光情報取得手段が取得した第一偏光情報及び第二偏光情報を用いて、他車両のテールランプ及び他車両のヘッドランプから直接入射した光についての正規分光情報と、該正規分光情報と同じ波長帯を有する路面からの光についての非正規分光情報とを識別し、該正規分光情報を用いて、自車両に近づく方向に進行する他車両と自車両から離れる方向に進行する他車両とを検出することを特徴とするものである。
また、請求項5の発明は、車両の周囲を撮像領域として撮像し、該撮像領域内に存在する車両を含む検出対象物を検出する物体検出手段と、該物体検出手段の検出結果に基づいて上記車両に搭載された車載機器の動作を制御する制御手段とを有する車載機器制御装置において、上記物体検出手段として、請求項1乃至4のいずれか1項に記載の物体検出装置を用いたことを特徴とするものである。
また、請求項6の発明は、請求項5の車載機器制御装置において、上記物体検出手段として、請求項3又は4の物体検出装置を用い、上記制御手段は、上記物体検出手段の検出結果に基づいて、上記車両に搭載された車載機器であるヘッドランプの照射方向を変更し又は該ヘッドランプの発光強度を変更する制御を行うことを特徴とするものである。
In order to achieve the above object, the invention of claim 1 includes a spectral member that transmits a spectral component having a predetermined wavelength band and a polarizing member that transmits a polarized component that vibrates in a predetermined direction, and exists in the imaging region. Imaging means for receiving light emitted from an object to be picked up by an image sensor and imaging the inside of the imaging area; object detection processing means for performing detection processing of a detection target including a vehicle based on a captured image captured by the imaging means; The spectral information acquisition unit acquires spectral information of the detection target from the captured image captured by the imaging unit, and the spectral information acquisition unit acquires from the captured image captured by the imaging unit. Polarization information acquisition means for acquiring polarization information corresponding to the spectral information to be obtained, and the object detection processing means includes a first detection process based on the spectral information acquired by the spectral information acquisition means, and the polarization information. The first polarization information about the polarization component that vibrates in the predetermined direction acquired by the information acquisition means and the second polarization information about the light that vibrates in the direction orthogonal to the predetermined direction calculated from the first polarization information. The detection process of the detection target is performed by performing the second detection process.
According to a second aspect of the present invention, in the object detection device according to the first aspect, the image sensor has a pixel array in which light receiving elements are two-dimensionally arranged, and the spectroscopic member receives light from the imaging region. The light is split into a plurality of different detection wavelength bands, and the light of each detection wavelength band is incident on different light receiving elements on the image sensor, and the polarizing member has each detection wavelength incident on the image sensor. The light having a polarization region that blocks only a specific polarization component of the band light and a transmission region that transmits the light without being polarized, and the spectral information acquisition unit receives each light of each detection wavelength band. An index value based on the amount of light received by the element is acquired as spectral information for each detection wavelength band, and the polarization information acquisition unit uses the index value based on the amount of light received by the light receiving element corresponding to the polarization region as first polarization information. An index value based on an amount obtained by subtracting the amount of light received by the light receiving element corresponding to the polarization region from the amount of light received by the light receiving element corresponding to the transmission region is obtained as second polarization information. .
Further, the invention of claim 3 is the object detection device of claim 1 or 2, wherein the imaging means images an area in front of the traveling direction of the host vehicle as an imaging area. A vehicle that travels in a direction approaching the vehicle and another vehicle that travels in a direction away from the host vehicle, and the spectral information acquisition unit includes spectral information about at least a wavelength band of a tail lamp color of the vehicle and a head of the vehicle. The spectral information about the wavelength band of the lamp color is acquired.
According to a fourth aspect of the present invention, in the object detection apparatus of the third aspect, in the second detection process performed by the object detection processing unit, the first polarization information and the second polarization information acquired by the polarization information acquisition unit. Is used to identify regular spectral information about light directly incident from a tail lamp of another vehicle and a headlamp of another vehicle, and non-regular spectral information about light from a road surface having the same wavelength band as the regular spectral information. The other spectroscopic information is used to detect another vehicle traveling in a direction approaching the own vehicle and another vehicle traveling in a direction away from the own vehicle.
Further, the invention according to claim 5 is based on an object detection means for picking up an image of the periphery of the vehicle as an image pickup area, detecting a detection target including the vehicle existing in the image pickup area, and a detection result of the object detection means. In the in-vehicle device control apparatus which has a control means which controls operation of the in-vehicle equipment carried in the above-mentioned vehicle, the object detection device given in any 1 paragraph of Claims 1 thru / or 4 was used as said object detection means. It is characterized by.
According to a sixth aspect of the present invention, in the in-vehicle device control apparatus according to the fifth aspect, the object detection device according to the third or fourth aspect is used as the object detection means, and the control means uses the detection result of the object detection means. Based on this, control is performed to change the irradiation direction of a headlamp which is an in-vehicle device mounted on the vehicle or to change the emission intensity of the headlamp.
本発明においては、撮像領域内における物体(自ら発光するものと光を反射するものとを含む。)を検出対象物とし、この検出対象物の分光情報を分光情報取得手段で撮像画像から取得し、その分光情報に基づき物体検出処理手段で撮像領域内の検出対象物を検出する。この物体検出処理手段による検出対象物の検出処理において、分光情報取得手段が取得する分光情報に対応した検出波長帯について偏光情報取得手段が撮像画像から取得した偏光情報も用いる。よって、検出対象物からの光と同じ波長をもち同程度の輝度を示す外乱光を発する非検出対象物が撮像領域内に存在する場合でも、検出対象物と非検出対象物との間に偏光成分の違いがあれば、これらを区別して認識することができる。例えば、検出対象物からの直接光と検出対象物からの光が鏡面反射体で反射した光との間では、一般に後者の光に含まれるS偏光成分が強いので、両者を区別して識別することができる。 In the present invention, (including as to reflect what the light itself emitted.) Contact Keru objects within the imaging region as a detection object, the spectral information spectral information acquisition means in an imaging image of the detection object obtained from, it detects the detection object in the imaging region by the object detection processing unit based on the spectral information. In the detection processing of the detection target by the object detection processing unit, the polarization information acquired from the captured image by the polarization information acquisition unit for the detection wavelength band corresponding to the spectral information acquired by the spectral information acquisition unit is also used. Therefore, even if there is a non-detection target in the imaging region that has the same wavelength as the light from the detection target and emits disturbance light having the same level of brightness, polarized light is detected between the detection target and the non-detection target. If there is a difference in components, these can be distinguished and recognized. For example, between the direct light from the object to be detected and the light from the object to be detected reflected by the specular reflector, the S-polarized component contained in the latter light is generally strong. Can do.
以上、本発明によれば、検出対象物から発せられる光と同じ波長帯を含みかつ同程度の輝度を示す外乱光を発する非検出対象物が存在する場合でも、検出対象物と非検出対象物との間に偏光成分の違いがあれば、検出対象物を非検出対象物と区別して識別でき、検出対象物を高精度に検出することができるという優れた効果が得られる。 As described above, according to the present invention, even when the non-detection object that emits ambient light that indicates the luminance of contain and comparable to the same wavelength band as light emitted from the detection object is present, the detection object and the non-detection target If there is a difference in the polarization component between the object and the object, the detection object can be distinguished from the non-detection object, and an excellent effect can be obtained that the detection object can be detected with high accuracy.
以下、本発明に係る物体検出装置を車載機器制御装置としてのヘッドランプ制御システムに用いる一実施形態について説明する。
なお、本発明に係る物体検出装置は、ヘッドランプ制御システムに限らず、例えば、当該物体検出装置により夜間に先行車両や対向車両などの検出対象物を検出して運転者に表示や警告を行う運転者支援システムにも同様に適用できる。
Hereinafter, an embodiment in which an object detection device according to the present invention is used in a headlamp control system as an in-vehicle device control device will be described.
The object detection device according to the present invention is not limited to the headlamp control system, and for example, the object detection device detects a detection target object such as a preceding vehicle or an oncoming vehicle at night and displays or warns the driver. The same applies to the driver assistance system.
図1は、本実施形態に係るヘッドランプ制御システムの機能ブロック図である。
このヘッドランプ制御システムは、主に、撮像手段としての撮像装置11と、車両挙動センサ12と、物体検出装置としての車両検出制御装置13と、制御手段としてのヘッドランプ制御装置14とから構成されている。
FIG. 1 is a functional block diagram of the headlamp control system according to the present embodiment.
This headlamp control system mainly includes an imaging device 11 as an imaging means, a vehicle behavior sensor 12, a vehicle detection control device 13 as an object detection device, and a headlamp control device 14 as a control means. ing.
撮像装置11は、自車両の進行方向前方領域を撮影することができるように、自車両に搭載される。具体的には、例えば、車室内に付属されたバックミラーの裏側のフロントガラス付近に取り付けたり、そのバックミラーに内蔵したり、ヘッドランプに内蔵したりする。撮像装置11の搭載時には、撮像装置11の撮影方向が所定の基準方向(例えば水平方向)に一致するように調整して固定される。なお、撮像装置11は、図示しない内蔵の制御部からの指示に応じて、シャッタースピード、フレームレート、及び、車両検出制御装置13へ出力するデジタル信号のゲイン等を調整することができるように構成されている。そして、撮像装置11は、撮像画像データとして、撮影した画像の画素ごとの明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに車両検出制御装置13へ出力する。 The imaging device 11 is mounted on the host vehicle so that the front area in the traveling direction of the host vehicle can be shot. Specifically, for example, it is attached to the vicinity of the windshield on the back side of the rearview mirror attached to the vehicle interior, built into the rearview mirror, or built into the headlamp. When the image pickup apparatus 11 is mounted, the image pickup direction of the image pickup apparatus 11 is adjusted and fixed so as to coincide with a predetermined reference direction (for example, the horizontal direction). The imaging device 11 is configured to be able to adjust the shutter speed, the frame rate, the gain of the digital signal output to the vehicle detection control device 13, and the like according to an instruction from a built-in control unit (not shown). Has been. And the imaging device 11 outputs the digital signal which shows the brightness (luminance) for every pixel of the image | photographed image as captured image data to the vehicle detection control apparatus 13 with the horizontal / vertical synchronizing signal of an image.
車両挙動センサ12は、例えば自車両の4輪のサスペンションに設置されたストロークセンサから構成され、自車両のピッチ方向やロール方向における挙動変化を検出する。自車両が走行して、前後左右に加速度が生じると、自車両の車体はピッチ方向やロール方向に揺動し、それに伴って撮像装置11の撮像方向も基準方向からずれる。車両挙動センサ12は、撮像装置11の撮像方向が基準方向からどの程度ずれたかを算出するための車両の挙動情報を車両検出制御装置13に与える。 The vehicle behavior sensor 12 is composed of, for example, a stroke sensor installed on a four-wheel suspension of the host vehicle, and detects behavior changes in the pitch direction and the roll direction of the host vehicle. When the host vehicle travels and acceleration occurs in the front, rear, left, and right directions, the body of the host vehicle swings in the pitch direction and the roll direction, and accordingly, the imaging direction of the imaging device 11 deviates from the reference direction. The vehicle behavior sensor 12 gives vehicle behavior information to the vehicle detection control device 13 for calculating how much the imaging direction of the imaging device 11 deviates from the reference direction.
車両検出制御装置13は、撮像装置11から入力された撮像画像データと車両挙動センサ12からの上述した車両の挙動情報とを用いて、所定の画像処理を施すことにより、画像に含まれる光源が、先行車両(自車両から離れる方向へ進行する他車両)のテールランプ、対向車両(自車両に近づく方向へ進行する他車両)のヘッドランプのいずれに該当するか又はいずれにも該当しないかを判断する。そして、画像に含まれる光源が先行車両のテールランプや対向車両のヘッドランプに該当すると判断した場合には、その先行車両や対向車両に関する検出情報をヘッドランプ制御装置14に出力する。 The vehicle detection control device 13 performs predetermined image processing using the captured image data input from the imaging device 11 and the above-described vehicle behavior information from the vehicle behavior sensor 12, so that the light source included in the image is detected. , Determine whether the tail lamp of the preceding vehicle (another vehicle traveling in a direction away from the host vehicle) or the headlamp of an oncoming vehicle (another vehicle traveling in a direction approaching the host vehicle) is applicable or not To do. When it is determined that the light source included in the image corresponds to the tail lamp of the preceding vehicle or the head lamp of the oncoming vehicle, detection information regarding the preceding vehicle or the oncoming vehicle is output to the headlamp control device 14.
ヘッドランプ制御装置14は、車両検出制御装置13から入力された、先行車両や対向車両に関する検出情報に基づいて、ヘッドランプの向き(光照射方向)を制御する。例えば、検出情報に基づいて特定される先行車両や対向車両までの距離が所定距離以下である場合には、ヘッドランプの向きをロービームとする。これにより、先行車両や対向車両の運転者が自車両のヘッドランプの光によって眩しさを感じにくくする。一方、先行車両や対向車両までの距離が所定距離を超えていたり、先行車両や対向車両が検出されていなかったりする場合には、ヘッドランプの向きをハイビームとする。これにより、夜間でも自車両の運転者の視界をより遠方まで確保することができるようになる。なお、ヘッドランプ制御装置14は、そのヘッドランプの向きの制御をユーザによってOFFに切り替えることが可能であり、ユーザの認識に応じてハイビームとロービームを手動で切り換えることもできる。 The headlamp control device 14 controls the direction of the headlamp (light irradiation direction) based on the detection information regarding the preceding vehicle and the oncoming vehicle input from the vehicle detection control device 13. For example, when the distance to the preceding vehicle or the oncoming vehicle specified based on the detection information is equal to or less than a predetermined distance, the headlamp direction is set to a low beam. This makes it difficult for the driver of the preceding vehicle or the oncoming vehicle to feel dazzled by the light of the headlamp of the host vehicle. On the other hand, when the distance to the preceding vehicle or the oncoming vehicle exceeds a predetermined distance, or when the preceding vehicle or the oncoming vehicle is not detected, the direction of the headlamp is set as a high beam. As a result, the field of view of the driver of the host vehicle can be secured even further at night. The headlamp control device 14 can switch the headlamp orientation OFF by the user, and can manually switch between the high beam and the low beam according to the user's recognition.
図2は、本実施形態における撮像装置11の概略構成を示す説明図である。
この撮像装置11は、主に、撮像レンズ1と、光学フィルタ2と、2次元配置された画素アレイを有する画像センサ4を含んだセンサ基板3と、センサ基板3から出力されるアナログ電気信号(画像センサ4上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部5とから構成されている。被写体(被検物)を含む撮像領域からの光は、撮像レンズ1を通り、光学フィルタ2を透過して、画像センサ4でその光強度に応じた電気信号に変換される。信号処理部5では、画像センサ4から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、画像センサ4上における各画素の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後段の機器へ出力する。
FIG. 2 is an explanatory diagram illustrating a schematic configuration of the imaging apparatus 11 according to the present embodiment.
The imaging device 11 mainly includes an imaging lens 1, an optical filter 2, a sensor substrate 3 including an image sensor 4 having a two-dimensionally arranged pixel array, and an analog electrical signal output from the sensor substrate 3 ( The signal processing unit 5 generates and outputs captured image data obtained by converting a received light amount received by each light receiving element on the image sensor 4 into a digital electric signal. Light from the imaging region including the subject (test object) passes through the imaging lens 1, passes through the optical filter 2, and is converted into an electrical signal corresponding to the light intensity by the image sensor 4. When the electrical signal (analog signal) output from the image sensor 4 is input to the signal processing unit 5, the brightness (luminance) of each pixel on the image sensor 4 is indicated as captured image data from the electrical signal. The digital signal is output to the subsequent device together with the horizontal / vertical synchronizing signal of the image.
図3は、光学フィルタ2と画像センサ4とを示す拡大図である。
画像センサ4は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード4aを用いている。フォトダイオード4aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード4aの集光効率を上げるために、各フォトダイオード4aの入射側にはマイクロレンズ4bが設けられている。この画像センサ4がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板3が形成されている。画像センサ4のマイクロレンズ4b側の面には、光学フィルタ2が近接配置されている。光学フィルタ2の画像センサ4側の面には、図4に示すように、光を透過する透過領域2aと、P偏光成分は透過するがS偏光成分は遮光するような偏光子として機能する偏光領域2bとが2次元方向で交互に隣接するように格子状に配置されて領域分割された格子パターン(領域分割パターン)を有している。個々の透過領域2a及び偏光領域2bは、図4に示すように、それぞれ、画像センサ4上の隣接2画素分(互いに隣接する2つのフォトダイオード4a)に対応するように配置されている。
FIG. 3 is an enlarged view showing the optical filter 2 and the image sensor 4.
The image sensor 4 is an image sensor using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and a photodiode 4a is used as a light receiving element thereof. The photodiodes 4a are two-dimensionally arranged for each pixel, and a microlens 4b is provided on the incident side of each photodiode 4a in order to increase the light collection efficiency of the photodiodes 4a. The image sensor 4 is bonded to a PWB (printed wiring board) by a technique such as wire bonding to form a sensor substrate 3. The optical filter 2 is disposed close to the surface of the image sensor 4 on the microlens 4b side. As shown in FIG. 4, the surface of the optical filter 2 on the image sensor 4 side is a transmission region 2a that transmits light, and polarized light that functions as a polarizer that transmits P-polarized components but shields S-polarized components. It has a lattice pattern (region division pattern) that is arranged in a lattice pattern so that the regions 2b are alternately adjacent to each other in the two-dimensional direction. As shown in FIG. 4, each transmission region 2 a and polarization region 2 b are arranged so as to correspond to two adjacent pixels (two photodiodes 4 a adjacent to each other) on the image sensor 4.
このような光学フィルタ2においては、その偏光領域2bとしては、例えば、液晶ディスプレイなどに用いられるヨウ素や染料を利用した有機系材料による偏光子を用いてもよいし、耐久性に優れたワイヤグリッド偏光子を用いてもよい。ワイヤグリッド偏光子は、図5におけるワイヤグリッドの断面構造の写真に示すように、アルミニウムなどの金属で構成された導電体線が特定のピッチで格子状に配列されたものである。ワイヤグリッド偏光子のピッチが入射光(例えば可視光の波長である400〜800nm)に比べて十分に短いピッチ(例えば入射光の1/2以下)であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させることができるので、単一偏光を作り出す偏光子として使用できる。 In such an optical filter 2, as the polarization region 2b, for example, a polarizer made of an organic material using iodine or a dye used for a liquid crystal display or the like may be used, or a wire grid having excellent durability. A polarizer may be used. As shown in the photograph of the cross-sectional structure of the wire grid in FIG. 5, the wire grid polarizer is formed by arranging conductor wires made of metal such as aluminum in a lattice pattern at a specific pitch. If the pitch of the wire grid polarizer is sufficiently shorter than the incident light (for example, 400 to 800 nm which is the wavelength of visible light) (for example, ½ or less of the incident light), it is parallel to the conductor line. Since most of the oscillating electric field vector component light is reflected and almost all the electric field vector component light perpendicular to the conductor line can be transmitted, it can be used as a polarizer for producing a single polarized light.
ワイヤグリッド偏光子は、よく知られる半導体プロセス、すなわちアルミニウム薄膜を蒸着した後にパターニングを行い、メタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成することで、製造することができる。なお、本実施形態のような格子パターンを形成するにあたっては、一様なワイヤグリッド層から上述した格子パターンに応じてワイヤグリッド部を除く方法と、一様にアルミニウムを蒸着した後に、格子パターンとワイヤグリッドの凹部形成を一括で作製する手法とが考えられる。後者の方が、工程数が少なくて済む。 The wire grid polarizer can be manufactured by a well-known semiconductor process, that is, by patterning after depositing an aluminum thin film and forming the subwavelength uneven structure of the wire grid by a technique such as metal etching. In forming the lattice pattern as in the present embodiment, a method of removing the wire grid portion from the uniform wire grid layer according to the lattice pattern described above, and after uniformly depositing aluminum, It is conceivable that the concave formation of the wire grid is made at once. The latter requires fewer steps.
なお、ワイヤグリッド偏光子を用いる場合の留意事項としては、金属ワイヤの断面積が増加すると消光比が増加してしまうことが挙げられる。また、周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少してしまうことが挙げられる。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高い消光比特性を示してしまうことが挙げられる。金属ワイヤが配置されている面の耐擦傷性や防汚性を高めるために樹脂などで封止するのが好ましい。 In addition, when using a wire grid polarizer, it is mentioned that the extinction ratio increases as the cross-sectional area of the metal wire increases. Moreover, it is mentioned that the transmittance | permeability will reduce with the metal wire more than the predetermined width with respect to a period width. Moreover, when the cross-sectional shape orthogonal to the longitudinal direction of the metal wire is a tapered shape, the wavelength dispersion of the transmittance and the polarization degree is small in a wide band, and high extinction ratio characteristics are exhibited. It is preferable to seal with a resin or the like in order to improve the scratch resistance and antifouling property of the surface on which the metal wire is disposed.
図6は、本発明者らが試作した本実施形態における光学フィルタ2に、S偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ2は、ストライプ幅が約6μmとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域2cとなり、後者の領域が透過領域2aとなっている。測定は、上記構成例1の場合と同様である。図6に示すように、黒くなっている部分は遮光されていることを示すものであり、S偏光成分の光はワイヤグリッドが形成されている偏光領域2cでは良好にカットされていることが確認できる。 FIG. 6 is an image showing a measurement result when light of an S-polarized component is incident on the optical filter 2 according to the present embodiment that has been prototyped by the present inventors. The prototype optical filter 2 is formed by forming a region with a wire grid and a region without a wire grid on a glass plate so that the stripe width is about 6 μm. The former region is a polarizing region 2c, and the latter This area is a transmission area 2a. The measurement is the same as in the case of the above configuration example 1. As shown in FIG. 6, the black portion indicates that the light is shielded, and it is confirmed that the light of the S-polarized component is well cut in the polarization region 2c where the wire grid is formed. it can.
本実施形態においては、画像センサ4上の画素(フォトダイオード4a)を4画素で1グループとし、各グループが、図4に示すように、車両のテールランプ色(赤色)の波長帯(赤色成分)の光を非偏光で受光する画素Rと、車両のヘッドランプ色(白色)の波長帯(白色成分=非分光)の光を非偏光で受光する画素Wと、赤色成分の光に含まれるP偏光成分を受光する画素RPと、非分光のP偏光成分を受光する画素WPとを含んでいる。 In the present embodiment, the pixels (photodiode 4a) on the image sensor 4 form one group with four pixels, and each group has a wavelength band (red component) of the tail lamp color (red) of the vehicle as shown in FIG. R that receives light of non-polarized light, a pixel W that receives light of a vehicle headlamp color (white) wavelength band (white component = non-spectral) with non-polarized light, and P included in red component light The pixel RP which receives a polarization component and the pixel WP which receives a non-spectral P polarization component are included.
本実施形態では、このような画像センサ4上の画素を、このような4種類の画素R,W,RP,WPとして機能するように領域分割するために、画像センサ4として、赤色成分のみを透過するカラーフィルタの領域とこのカラーフィルタが無い領域とが図4に示すように2次元方向で交互に隣接するように市松状に配置された分光フィルタを用いている。これにより、画像センサ4上の画素は、赤色成分を受光する画素R,RPと白色成分(非分光)を受光する画素W,WPとが2次元方向で交互に隣接するように市松状に配置されるように領域分割される。なお、使用するカラーフィルタは、赤色光(例えば波長600nm以上の光)のみを透過する半導体プロセスによって形成されたものを用いることができる。このようなフィルタであれば、染料を使ったフィルタと比較して、車室内という温度変化の激しい特殊な環境下に設置される撮像装置11に搭載しても、フィルタ機能の劣化が少ない。 In the present embodiment, in order to divide the pixels on the image sensor 4 so as to function as the four types of pixels R, W, RP, and WP, the image sensor 4 has only a red component. As shown in FIG. 4, spectral filters are used that are arranged in a checkered pattern so that the area of the color filter that passes through and the area without the color filter are alternately adjacent in the two-dimensional direction. Thereby, the pixels on the image sensor 4 are arranged in a checkered pattern so that the pixels R and RP that receive the red component and the pixels W and WP that receive the white component (non-spectral) are alternately adjacent in the two-dimensional direction. Is divided into regions. In addition, the color filter to be used can use what was formed by the semiconductor process which permeate | transmits only red light (for example, light with a wavelength of 600 nm or more). With such a filter, the filter function is less deteriorated when mounted in the imaging device 11 installed in a special environment such as a passenger compartment where the temperature changes drastically, as compared with a filter using a dye.
そして、本実施形態における光学フィルタ2は、上述したように、個々の透過領域2a及び偏光領域2bが、それぞれ、画像センサ4上の隣接2画素分に対応するように配置されている。よって、偏光領域2bに対向する隣接2画素(赤色成分を受光する画素と非分光を受光する画素)は、S偏光成分が除去されたP偏光成分だけの光を受光することになる。よって、偏光領域2bに対向する隣接2画素は、赤色成分の光に含まれるP偏光成分を受光する画素RP、及び、白色成分の光(非分光)に含まれるP偏光成分を受光する画素WPとして機能する。一方、透過領域2aに対向する隣接2画素は、非偏光の赤色成分を受光する画素R、及び、非偏光かつ非分光の光を受光する画素Wとして機能する。その結果、本実施形態によれば、図4に示すように、4種類の画素R,W,RP,WPが2×2画素のグループとなるように、画像センサ4上の画素が領域分割されたパターンを得ることができる。 As described above, the optical filter 2 in the present embodiment is arranged so that each transmission region 2a and polarization region 2b correspond to two adjacent pixels on the image sensor 4, respectively. Therefore, two adjacent pixels facing the polarization region 2b (a pixel that receives the red component and a pixel that receives the non-spectral light) receive only the P-polarized light component from which the S-polarized light component has been removed. Therefore, two adjacent pixels facing the polarization region 2b are a pixel RP that receives the P-polarized component included in the red component light, and a pixel WP that receives the P-polarized component included in the white component light (non-spectral). Function as. On the other hand, two adjacent pixels facing the transmission region 2a function as a pixel R that receives a non-polarized red component and a pixel W that receives non-polarized and non-spectral light. As a result, according to the present embodiment, as shown in FIG. 4, the pixels on the image sensor 4 are divided into regions so that the four types of pixels R, W, RP, and WP form a 2 × 2 pixel group. Pattern can be obtained.
画像センサ4上の画素がこのようなパターンで4種類の画素R,W,RP,WPに領域分割されていることにより、画像センサ4上における2×2画素を1画素とした各種画像を得ることができる。例えば、画素RPに対応した赤色成分のP偏光画像(P偏光赤色画像)と、画素WPに対応した白色成分すなわち非分光のP偏光画像(P偏光モノクロ輝度画像)と、画素Rに対応した非偏光の赤色画像と、画素Wに対応した非偏光のモノクロ輝度画像とを得ることができる。また、非偏光の赤色成分を受光する画素Rの輝度値と、これに隣接して赤色成分の光に含まれるP偏光成分を受光する画素RPの輝度値との差分は、当該赤色成分の光に含まれるS偏光成分に相当する。よって、画素Rの輝度値とこれに隣接する画素RPの輝度値との差分を用いることで、その差分値を画素値とした赤色成分のS偏光画像を得ることができる。同様に、画素Wの輝度値とこれに隣接する画素WPの輝度値との差分を用いることで、その差分値を画素値とした白色成分すなわち非分光のS偏光画像を得ることができる。 The pixels on the image sensor 4 are divided into four types of pixels R, W, RP, and WP in such a pattern, thereby obtaining various images with 2 × 2 pixels on the image sensor 4 as one pixel. be able to. For example, a red component P-polarized image corresponding to the pixel RP (P-polarized red image), a white component corresponding to the pixel WP, that is, a non-spectral P-polarized image (P-polarized monochrome luminance image), and a non-corresponding pixel R. A polarized red image and a non-polarized monochrome luminance image corresponding to the pixel W can be obtained. Further, the difference between the luminance value of the pixel R that receives the non-polarized red component and the luminance value of the pixel RP that receives the P-polarized component included in the red component light adjacent thereto is the light of the red component. Corresponds to the S-polarized light component contained in. Therefore, by using the difference between the luminance value of the pixel R and the luminance value of the pixel RP adjacent thereto, an S-polarized image of a red component using the difference value as the pixel value can be obtained. Similarly, by using the difference between the luminance value of the pixel W and the luminance value of the pixel WP adjacent thereto, a white component having the difference value as the pixel value, that is, a non-spectral S-polarized image can be obtained.
〔構成例1〕
ここで、本実施形態における光学フィルタ2及び画像センサ4の一構成例(以下、本構成例を「構成例1」という。)について説明する。
図7は、本構成例1における光学フィルタ2及び画像センサ4の説明図である。
本構成例1に係る光学フィルタ2は、非偏光の光を透過する透過領域2aと、P偏光成分は透過するがS偏光成分は遮光する偏光領域2bと、非偏光の赤色成分のみ通過させるフィルタ領域2cと、赤色成分のみ通過させるフィルタとP偏光成分は透過するがS偏光成分は遮光する偏光子とか組み合わさったフィルタ偏光領域2dとが、2×2画素のグループとなり、各グループが2次元方向に格子状に配置された領域分割パターンを有している。このような光学フィルタ2を用いれば、画像センサ4にカラーフィルタを設けることなく、画像センサ4の画素を上記実施形態と同じように領域分割したパターンが得られる。よって、画像センサ4上における2×2画素を1画素とした上記実施形態と同様の各種画像を得ることができる。
[Configuration example 1]
Here, a configuration example of the optical filter 2 and the image sensor 4 in the present embodiment (hereinafter referred to as “configuration example 1”) will be described.
FIG. 7 is an explanatory diagram of the optical filter 2 and the image sensor 4 in the first configuration example.
The optical filter 2 according to Configuration Example 1 includes a transmission region 2a that transmits non-polarized light, a polarization region 2b that transmits a P-polarized component but shields an S-polarized component, and a filter that transmits only a non-polarized red component. The region 2c, a filter that allows only the red component to pass through, and a filter polarization region 2d that combines a polarizer that transmits the P-polarized component but shields the S-polarized component, form a 2 × 2 pixel group, and each group is two-dimensional. It has area division patterns arranged in a grid pattern in the direction. If such an optical filter 2 is used, a pattern in which the pixels of the image sensor 4 are divided into regions as in the above-described embodiment can be obtained without providing a color filter in the image sensor 4. Therefore, it is possible to obtain various images similar to those in the above embodiment in which 2 × 2 pixels on the image sensor 4 are one pixel.
本構成例1では、画像センサ4として、多品種が存在するモノクロ専用画像センサを用いることができる。よって、所望のセンサ仕様を満たすセンサを容易に入手できる点で好適である。 In the first configuration example, as the image sensor 4, it is possible to use a monochrome-dedicated image sensor in which various types exist. Therefore, it is preferable in that a sensor satisfying a desired sensor specification can be easily obtained.
〔構成例2〕
また、本実施形態における光学フィルタ2及び画像センサ4の他の構成例(以下、本構成例を「構成例2」という。)について説明する。
図8は、本構成例2における光学フィルタ2及び画像センサ4の説明図である。
本構成例2に係る光学フィルタ2は、非偏光の光を透過する透過領域2aと、P偏光成分は透過するがS偏光成分は遮光する偏光領域2bとが、特定方向(図中左右方向)に交互に配置されたストライプ状の領域分割パターンを有している。このようなストライプ状のパターンをもつ光学フィルタ2は、画像センサ4との位置調整を行うにあたっては当該特定方向のみの位置調整を行えばよく、上記実施形態や上記構成例1の光学フィルタ2と比較して、実装精度が緩和されるという利点がある。
[Configuration example 2]
Further, another configuration example of the optical filter 2 and the image sensor 4 in the present embodiment (hereinafter referred to as “configuration example 2”) will be described.
FIG. 8 is an explanatory diagram of the optical filter 2 and the image sensor 4 in the second configuration example.
In the optical filter 2 according to Configuration Example 2, a transmissive region 2a that transmits non-polarized light and a polarizing region 2b that transmits a P-polarized component but shields an S-polarized component are in a specific direction (left-right direction in the figure). Have stripe-shaped area division patterns alternately arranged. The optical filter 2 having such a stripe pattern may be adjusted only in the specific direction when adjusting the position with the image sensor 4. In comparison, there is an advantage that the mounting accuracy is relaxed.
一方、本構成例2の画像センサ4は、上記実施形態と同様に、赤色成分のみを透過するカラーフィルタの領域とこのカラーフィルタが無い領域とが図8に示すように2次元方向で交互に隣接するように市松状に配置されたものを用いている。その結果、上記光学フィルタ2と組み合わせることで、4種類の画素R,W,RP,WPが2×2画素のグループとなるように画像センサ4上の画素が領域分割されたパターンを得ることができる。ただし、本構成例2における各グループ内における種類の画素R,W,RP,WPの配列は上記実施形態のものとは異なるものとなる。しかしながら、画像センサ4上における2×2画素を1画素とした上記実施形態と同様の各種画像を得ることはできる。 On the other hand, in the image sensor 4 of Configuration Example 2, as in the above embodiment, the color filter region that transmits only the red component and the region without this color filter are alternately arranged in a two-dimensional direction as shown in FIG. The ones arranged in a checkered pattern so as to be adjacent to each other are used. As a result, by combining with the optical filter 2, it is possible to obtain a pattern in which the pixels on the image sensor 4 are divided into regions so that the four types of pixels R, W, RP, and WP form a 2 × 2 pixel group. it can. However, the arrangement of the types of pixels R, W, RP, and WP in each group in Configuration Example 2 is different from that in the above embodiment. However, it is possible to obtain various images similar to those in the above embodiment in which 2 × 2 pixels on the image sensor 4 are one pixel.
〔構成例3〕
また、本実施形態における光学フィルタ2及び画像センサ4の更に他の構成例(以下、本構成例を「構成例3」という。)について説明する。
図9は、本構成例3における光学フィルタ2及び画像センサ4の説明図である。
本構成例3の画像センサ4は、上記実施形態と同様に、赤色成分のみを透過するカラーフィルタの領域とこのカラーフィルタが無い領域とが図8に示すように2次元方向で交互に隣接するように市松状に配置されたものを用いている。一方、本構成例3に係る光学フィルタ2は、2×2画素のグループ中において画像センサ4上のカラーフィルタが無い2つの画素(非分光を受光する2つの画素)のうちの一方に対向するように、P偏光成分は透過するがS偏光成分は遮光する偏光領域2bが配置され、残りは非偏光の光を透過する透過領域2aが配置された領域分割パターンを有している。
[Configuration example 3]
Further, still another configuration example of the optical filter 2 and the image sensor 4 in the present embodiment (hereinafter referred to as “configuration example 3”) will be described.
FIG. 9 is an explanatory diagram of the optical filter 2 and the image sensor 4 in the third configuration example.
In the image sensor 4 of Configuration Example 3, as in the above embodiment, the color filter region that transmits only the red component and the region without this color filter are alternately adjacent in the two-dimensional direction as shown in FIG. In this way, a checkered pattern is used. On the other hand, the optical filter 2 according to the configuration example 3 faces one of two pixels (two pixels that receive non-spectral light) that do not have a color filter on the image sensor 4 in the group of 2 × 2 pixels. As described above, a polarization region 2b that transmits the P-polarized component but shields the S-polarized component is disposed, and the rest has a region division pattern in which the transmissive region 2a that transmits non-polarized light is disposed.
本構成例3においては、赤色成分のP偏光成分については画像センサ4によって受光されない。すなわち、図9に示すように、3種類の画素(2つの画素Rと、1つずつの画素W,WP)が2×2画素のグループとなるように画像センサ4上の画素が領域分割されたパターンを得ることができる。よって、本構成例3によれば、画素WPに対応した白色成分すなわち非分光のP偏光画像と、画素Rに対応した非偏光の赤色画像と、画素Wに対応した非偏光のモノクロ輝度画像と、モノクロのS偏光画像とを得ることができる。詳しくは後述するが、先行車両のテールランプについては路面からの反射光のような外乱光を区別しない(又は区別する必要がない)場合には、本構成例3を採用することができる。 In the configuration example 3, the P-polarized component of the red component is not received by the image sensor 4. That is, as shown in FIG. 9, the pixels on the image sensor 4 are divided into regions so that three types of pixels (two pixels R and one pixel W and WP) form a 2 × 2 pixel group. Pattern can be obtained. Therefore, according to the configuration example 3, the white component corresponding to the pixel WP, that is, the non-spectral P-polarized image, the non-polarized red image corresponding to the pixel R, and the non-polarized monochrome luminance image corresponding to the pixel W A monochrome S-polarized image can be obtained. As will be described in detail later, the configuration example 3 can be employed when the tail lamp of the preceding vehicle does not distinguish (or does not need to distinguish) disturbance light such as reflected light from the road surface.
〔構成例4〕
また、本実施形態における光学フィルタ2及び画像センサ4の更に他の構成例(以下、本構成例を「構成例4」という。)について説明する。
図10は、本構成例4における光学フィルタ2の偏光領域2cを、画像センサ4上に重ねて示した説明図である。
本構成例4に係る光学フィルタ2は、透過領域2aと偏光領域2cとが1次元方向で交互に隣接するように配置されてストライプ状に領域分割された格子パターンを有している点で上記構成例2と同様である。しかしながら、上記構成例2では、偏光領域2cの長尺方向が画像センサ4上の画素列に平行であったのに対し、本構成例4では、偏光領域2cの長尺方向が画像センサ4上の画素列に対して斜めとなっている点で異なっている。本構成例4の光学フィルタ2において、偏光領域2cは、図10に示すように、図中横方向に画像センサ4の一画素分の幅をもち、図中縦方向に画像センサ4の二画素分の幅を持っており、図中横方向一画素分について図中縦方向二画素分変位するように、画像センサ4上の画素列に対して斜めに配置される。
[Configuration Example 4]
Further, still another configuration example of the optical filter 2 and the image sensor 4 in the present embodiment (hereinafter referred to as “configuration example 4”) will be described.
FIG. 10 is an explanatory diagram showing the polarization region 2 c of the optical filter 2 in the configuration example 4 superimposed on the image sensor 4.
The optical filter 2 according to Configuration Example 4 has the lattice pattern in which the transmission regions 2a and the polarization regions 2c are alternately arranged in the one-dimensional direction and have a lattice pattern divided into stripes. This is the same as the configuration example 2. However, in the configuration example 2, the longitudinal direction of the polarization region 2c is parallel to the pixel row on the image sensor 4, whereas in the configuration example 4, the longitudinal direction of the polarization region 2c is on the image sensor 4. The pixel array is different in that it is slanted. In the optical filter 2 of Configuration Example 4, as shown in FIG. 10, the polarization region 2c has a width corresponding to one pixel of the image sensor 4 in the horizontal direction in the figure, and two pixels of the image sensor 4 in the vertical direction in the figure. It is arranged obliquely with respect to the pixel row on the image sensor 4 so that one horizontal pixel in the figure is displaced by two vertical pixels in the figure.
一方、本構成例4の画像センサ4は、図10に示すように、赤色成分のみを透過するカラーフィルタの領域とこのカラーフィルタが無い領域とが、画像センサ4上の画素列(図中横方向に延びる画素列)に沿ってストライプ状に配置されたものを用いている。その結果、上記光学フィルタ2と組み合わせることで、4種類の画素R,W,RP,WPが2×2画素のグループとなるように画像センサ4上の画素が領域分割されたパターンを得ることができる。ただし、本構成例4における各グループ内における種類の画素R,W,RP,WPの配列は上記実施形態のものとも上記構成例2のものとも異なるものとなる。しかしながら、画像センサ4上における2×2画素を1画素とした上記実施形態と同様の各種画像を得ることはできる。 On the other hand, as shown in FIG. 10, the image sensor 4 of the present configuration example 4 includes a color filter region that transmits only a red component and a region without this color filter. (Pixel rows extending in the direction) are used that are arranged in stripes. As a result, by combining with the optical filter 2, it is possible to obtain a pattern in which the pixels on the image sensor 4 are divided into regions so that the four types of pixels R, W, RP, and WP form a 2 × 2 pixel group. it can. However, the arrangement of the types of pixels R, W, RP, and WP in each group in the configuration example 4 is different from that in the above embodiment and the above configuration example 2. However, it is possible to obtain various images similar to those in the above embodiment in which 2 × 2 pixels on the image sensor 4 are one pixel.
図11は、本発明者らが試作した本構成例4における光学フィルタ2に、S偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ2は、ストライプ幅が約6μmとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域2cとなり、後者の領域が透過領域2aとなっている。測定は、上記構成例2の場合と同様である。図11に示すように、黒くなっている部分は遮光されていることを示すものであり、S偏光成分の光はワイヤグリッドが形成されている偏光領域2cでは良好にカットされていることが確認できる。 FIG. 11 is an image showing a measurement result when light of an S-polarized component is incident on the optical filter 2 in the present configuration example 4 made by the present inventors. The prototype optical filter 2 is formed by forming a region with a wire grid and a region without a wire grid on a glass plate so that the stripe width is about 6 μm. The former region is a polarizing region 2c, and the latter This area is a transmission area 2a. The measurement is the same as in the case of the above configuration example 2. As shown in FIG. 11, the black portion indicates that the light is shielded, and it is confirmed that the light of the S-polarized component is well cut in the polarization region 2c where the wire grid is formed. it can.
これらの構成例1〜4を含む本実施形態の光学フィルタ2は、これらの構成例1〜4を含む本実施形態の画像センサ4の前段に設置される。その設置方法は、光学フィルタ2の凹凸構造面を画像センサ4の受光面と対向するような向きで近接配置の上、固定する。固定方法としては、画像センサ4の受光面周辺にスペーサを配置して光学フィルタ2を保持する方法や、光学フィルタ2の凹凸構造面と画像センサ4との間に接着剤を充填して接着する方法などが挙げられる。後者の方法の場合、光学フィルタ2と画像センサ4との間に接着剤が充填されるため、これらの間が空気層である場合と同程度の透過率性能を得るためには、高アスペクト比の構造とする必要があり、製造が難しくなる。この点で、前者の方法の方が好ましい。 The optical filter 2 of the present embodiment including these configuration examples 1 to 4 is installed in the front stage of the image sensor 4 of the present embodiment including these configuration examples 1 to 4. In the installation method, the concave-convex structure surface of the optical filter 2 is arranged in the proximity so as to face the light receiving surface of the image sensor 4 and then fixed. As a fixing method, a spacer is disposed around the light receiving surface of the image sensor 4 to hold the optical filter 2, or an adhesive is filled between the concavo-convex structure surface of the optical filter 2 and the image sensor 4 for bonding. The method etc. are mentioned. In the case of the latter method, since an adhesive is filled between the optical filter 2 and the image sensor 4, a high aspect ratio is obtained in order to obtain the same transmittance performance as when the space is an air layer. Therefore, it is difficult to manufacture the structure. In this respect, the former method is preferable.
光学フィルタ2を画像センサ4に取り付ける方法としては、画像センサ4をワイヤボンディングなどの手法によりPWB上に設置したセンサ基板3に、光学フィルタ2を後から固定(ASSY)する方法と、光学フィルタ2と画像センサ4を予め固着したものをPWB上に実装する方法とが考えられる。より望ましくは、画像センサ4のウエハと光学フィルタ2が形成されたウエハとを接着したものをダイシング加工することで低コストに作製することができる。 As a method of attaching the optical filter 2 to the image sensor 4, a method of fixing the optical filter 2 to the sensor substrate 3 installed on the PWB by a method such as wire bonding (ASSY) later, or an optical filter 2. And a method of mounting the image sensor 4 fixed in advance on the PWB. More desirably, it can be manufactured at a low cost by dicing a wafer obtained by bonding the wafer of the image sensor 4 and the wafer on which the optical filter 2 is formed.
次に、上述した撮像装置11によって撮像した撮像画像データ(画像センサ4上の各受光素子で受光される受光量を示す画素データ群)からは、種々の情報が得られる。具体的には、撮像領域内の各地点(光源)から発せられる光の強さ(明るさ情報)、ヘッドランプやテールランプなどの光源(他車両)と自車両との距離(距離情報)、各光源から発せられる光の赤色成分と白色成分(非分光)の分光情報、各光源から発せられる光の白色成分(非分光)についてのP偏光成分(あるいはS偏光成分)に関する偏光情報、各光源から発せられる光の赤色成分についてのP偏光成分(あるいはS偏光成分)に関する偏光情報などが得られる。 Next, various pieces of information are obtained from captured image data (a pixel data group indicating the amount of received light received by each light receiving element on the image sensor 4) captured by the imaging device 11 described above. Specifically, the intensity (brightness information) of light emitted from each point (light source) in the imaging region, the distance (distance information) between the light source (other vehicle) such as a headlamp and tail lamp and the own vehicle, Spectral information on red and white components (non-spectral) of light emitted from the light source, polarization information on P-polarized component (or S-polarized component) on the white component (non-spectral) of light emitted from each light source, from each light source Polarization information on the P-polarized component (or S-polarized component) for the red component of the emitted light is obtained.
明るさ情報について説明すると、夜間に、先行車両や対向車両が自車両から同じ距離に存在する場合、撮像装置11によってそれらの先行車両及び対向車両を撮影すると、撮影画像データ上では検出対象物の1つである対向車両のヘッドランプが最も明るく映し出され、検出対象物の1つである先行車両のテールランプはそれよりも暗く映し出される。また、リフレクタが撮像画像データに映し出されている場合、リフレクタは自ら発光する光源ではなく、自車両のヘッドランプを反射することによって明るく映し出されるものに過ぎないので、先行車両のテールランプよりもさらに暗くなる。一方、対向車両のヘッドランプ、先行車両のテールランプ及びリフレクタからの光は、距離が遠くなるにつれて、それを受光する画像センサ4上ではだんだん暗く観測される。よって、撮像画像データから得られる明るさ(輝度情報)を用いることで 2種類の検出対象物(ヘッドランプとテールランプ)及びリフレクタの一次的な識別が可能である。 The brightness information will be described. When the preceding vehicle and the oncoming vehicle are present at the same distance from the own vehicle at night, when the preceding vehicle and the oncoming vehicle are photographed by the imaging device 11, the detected object is indicated on the photographed image data. One headlamp of the oncoming vehicle is projected brightest, and the tail lamp of the preceding vehicle, which is one of the detection objects, is projected darker than that. In addition, when the reflector is displayed in the captured image data, the reflector is not a light source that emits light by itself, but merely a bright image that is reflected by reflecting the headlamp of the host vehicle, so that it is darker than the tail lamp of the preceding vehicle. Become. On the other hand, the light from the headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the reflector is gradually darkened on the image sensor 4 that receives the light as the distance increases. Therefore, by using the brightness (luminance information) obtained from the captured image data, primary identification of the two types of detection objects (head lamp and tail lamp) and the reflector is possible.
また、距離情報について説明すると、ヘッドランプやテールランプは、そのほとんどが左右一対のペアランプの構成であるため、この構成の特徴を利用してヘッドランプやテールランプ(すなわち他車両)と自車両との距離を求めることが可能である。ペアとなる左右一対のランプは、撮像装置11が撮像した撮像画像データ上では、互いに近接して同じ高さ方向位置に映し出され、当該ランプを映し出すランプ画像領域の広さはほぼ同じで、かつ、当該ランプ画像領域の形状もほぼ同じである。よって、これらの特徴を条件とすれば、その条件を満たすランプ画像領域同士をペアランプであると識別できる。なお、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなり、単一ランプとして認識される。 Further, the distance information will be described. Most headlamps and tail lamps have a pair of left and right pair lamps. Therefore, the distance between the headlamps and tail lamps (that is, other vehicles) and the host vehicle is utilized using the characteristics of this configuration. Can be obtained. The pair of left and right lamps that are paired are displayed close to each other on the same image in the height direction on the captured image data captured by the imaging device 11, and the widths of the lamp image areas that project the lamps are substantially the same. The shape of the lamp image area is almost the same. Therefore, if these characteristics are used as conditions, lamp image areas satisfying the conditions can be identified as pair lamps. At a long distance, the left and right lamps constituting the pair lamp cannot be distinguished and recognized as a single lamp.
このような方法でペアランプを識別できた場合、そのペアランプ構成であるヘッドランプやテールランプの光源までの距離を算出することが可能である。すなわち、車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値w0(例えば1.5m程度)で近似することができる。一方、撮像装置11における撮像レンズ1の焦点距離fは既知であるため、撮像装置11の画像センサ4上における左右ランプにそれぞれ対応した2つのランプ画像領域間の距離w1を撮像画像データから算出することにより、そのペアランプ構成であるヘッドランプやテールランプの光源と自車両までの距離xは、単純な比例計算(x=f×w0/w1)により求めることができる。また、このようにして算出される距離xが適正範囲であれば、その算出に用いた2つのランプ画像領域は他車両のヘッドランプとテールランプであると識別することができる。よって、この距離情報を用いることで、検出対象物であるヘッドランプとテールランプの識別精度が向上する。 When a pair lamp can be identified by such a method, it is possible to calculate the distance to the light source of the head lamp and tail lamp which are the pair lamp structure. That is, the distance between the left and right headlamps and the distance between the left and right tail lamps of the vehicle can be approximated by a constant value w0 (for example, about 1.5 m). On the other hand, since the focal length f of the imaging lens 1 in the imaging device 11 is known, the distance w1 between the two lamp image areas respectively corresponding to the left and right lamps on the image sensor 4 of the imaging device 11 is calculated from the captured image data. Accordingly, the distance x between the light source of the headlamp or taillamp which is the pair lamp configuration and the host vehicle can be obtained by simple proportional calculation (x = f × w0 / w1). If the distance x calculated in this way is within an appropriate range, the two lamp image areas used for the calculation can be identified as headlamps and taillamps of other vehicles. Therefore, by using this distance information, the identification accuracy of the head lamp and tail lamp, which are detection objects, is improved.
また、分光情報について説明すると、本実施形態では、上述したとおり、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素Rに対応した画素データのみを抽出することで、撮像領域内の赤色成分だけを映し出した非偏光赤色画像を生成することができる。同様に、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素Wに対応した画素データのみを抽出することで、撮像領域内の非偏光モノクロ輝度画像を生成することができる。よって、非偏光赤色画像において所定輝度以上の輝度を有する画像領域が存在する場合、その画像領域はテールランプを映し出したテールランプ画像領域であると識別することができる。さらに、非偏光赤色画像上の画像領域と、この画像領域に対応した非偏光モノクロ輝度画像上の画像領域との間の輝度比率(赤色輝度比率)を算出することもできる。この赤色輝度比率を用いれば、撮像領域内に存在する物体(光源)から発せられる光に含まれる相対的な赤色成分の比率を把握することができる。テールランプの赤色輝度比率は、ヘッドランプや他のほとんどの光源よりも十分に高い値をとるので、この赤色輝度比率を用いればテールランプの識別精度が向上する。 Further, the spectral information will be described. In the present embodiment, as described above, by extracting only pixel data corresponding to the pixel R on the image sensor 4 from the captured image data captured by the imaging device 11, It is possible to generate a non-polarized red image in which only the red component is projected. Similarly, by extracting only pixel data corresponding to the pixel W on the image sensor 4 from the captured image data captured by the imaging device 11, a non-polarized monochrome luminance image in the imaging region can be generated. Therefore, when there is an image region having a luminance equal to or higher than a predetermined luminance in the non-polarized red image, the image region can be identified as a tail lamp image region in which a tail lamp is projected. Furthermore, the luminance ratio (red luminance ratio) between the image area on the non-polarized red image and the image area on the non-polarized monochrome luminance image corresponding to the image area can be calculated. By using this red luminance ratio, it is possible to grasp the ratio of the relative red component contained in the light emitted from the object (light source) existing in the imaging region. Since the red luminance ratio of the tail lamp is sufficiently higher than that of the headlamp and most other light sources, the identification accuracy of the tail lamp is improved by using this red luminance ratio.
また、偏光情報について説明すると、本実施形態では、上述したとおり、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素RPに対応した画素データのみを抽出することで、撮像領域内の赤色成分に含まれるP偏光成分だけを映し出したP偏光赤色画像を生成することができる。同様に、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素WPに対応した画素データのみを抽出することで、撮像領域内の非分光のP偏光成分だけを映し出したP偏光モノクロ輝度画像を生成することができる。
また、S偏光成分は、非偏光の輝度値からP偏光成分の輝度値を差し引くことで算出することができる。したがって、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素RPに対応した画素データと画素Rに対応した画素データとを抽出し、画素Rの画素データから画素RPの画素データを差し引いた画素データを算出することで、赤色成分に含まれるS偏光成分の画素データを得ることができ、撮像領域内の赤色成分に含まれるS偏光成分だけを映し出したS偏光赤色画像を生成することもできる。同様に、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素WPに対応した画素データと画素Wに対応した画素データとを抽出し、画素Wの画素データから画素WPの画素データを差し引いた画素データを算出することで、非分光のS偏光成分の画素データを得ることができ、撮像領域内の非分光のS偏光成分だけを映し出したS偏光モノクロ輝度画像を生成することもできる。
Further, the polarization information will be described. In the present embodiment, as described above, by extracting only the pixel data corresponding to the pixel RP on the image sensor 4 from the captured image data captured by the imaging device 11, It is possible to generate a P-polarized red image in which only the P-polarized component included in the red component is projected. Similarly, by extracting only the pixel data corresponding to the pixel WP on the image sensor 4 from the captured image data captured by the imaging device 11, only the non-spectral P-polarized component in the imaging region is projected. A luminance image can be generated.
The S-polarized component can be calculated by subtracting the luminance value of the P-polarized component from the non-polarized luminance value. Therefore, the pixel data corresponding to the pixel RP and the pixel data corresponding to the pixel R on the image sensor 4 are extracted from the captured image data captured by the imaging device 11, and the pixel data of the pixel RP is extracted from the pixel data of the pixel R. By calculating the subtracted pixel data, the pixel data of the S-polarized component included in the red component can be obtained, and an S-polarized red image in which only the S-polarized component included in the red component in the imaging region is displayed is generated. You can also. Similarly, pixel data corresponding to the pixel WP on the image sensor 4 and pixel data corresponding to the pixel W are extracted from the captured image data captured by the imaging device 11, and the pixel data of the pixel WP is extracted from the pixel data of the pixel W. By subtracting the pixel data, pixel data of the non-spectral S-polarized component can be obtained, and an S-polarized monochrome luminance image showing only the non-spectral S-polarized component in the imaging region can be generated. it can.
このような偏光情報を用いることで、上述した明るさ情報、距離情報、分光情報だけでは、ヘッドランプやテールランプを映し出したランプ画像領域であるかどうかを高精度に識別することが困難である場合でも、その識別精度を向上させることができる。
例えば、一般に、鏡面で反射した光はS偏光成分が常に強くなることが知られており、特にS偏光成分とP偏光成分との比率S/Pや差分偏光度(S−P)/(S+P)等のS偏光成分及びP偏光成分の相対関係を示す指標値は、特定角度(ブリュースター角度)において最大となることが知られている。晴れの日のように路面上に水が付着していないアスファルト面等の路面は、一般に散乱面であるが、降雨などによって路面上に水が付着した状態になると、その路面(以下「雨路面」という。)は鏡面に近い状態となる。そのため、雨路面に反射した光は、その雨路面に入射した光に対して、S偏光成分が強くなったものとなる。なお、S偏光成分とは横偏光成分のことをいう。ヘッドランプやテールランプから直接的に撮像装置11へ入射する光は、通常、非偏光の状態である。これに対し、ヘッドランプやテールランプからの光が雨路面に反射して撮像装置11へ入射した場合、その反射光はS偏光成分が強いものとなる。
When such polarization information is used, it is difficult to identify with high accuracy whether or not it is a lamp image area in which a headlamp or a tail lamp is projected only with the brightness information, distance information, and spectral information described above. However, the identification accuracy can be improved.
For example, in general, it is known that light reflected by a mirror surface has an S-polarized component that is always strong, and in particular, the ratio S / P between the S-polarized component and the P-polarized component and the differential polarization degree (SP) / (S + P). It is known that the index value indicating the relative relationship between the S-polarized component and the P-polarized component such as) becomes maximum at a specific angle (Brewster angle). A road surface such as an asphalt surface that does not have water on the road surface on a sunny day is generally a scattering surface. However, when water is attached to the road surface due to rain or the like, the road surface (hereinafter referred to as “rain road surface”). ") Is close to a mirror surface. Therefore, the light reflected on the rainy road surface has a stronger S-polarized component than the light incident on the rainy road surface. Note that the S-polarized light component refers to a laterally polarized light component. The light that is directly incident on the imaging device 11 from the headlamp or tail lamp is usually in a non-polarized state. On the other hand, when light from the headlamp or tail lamp is reflected on the rainy road surface and enters the imaging device 11, the reflected light has a strong S-polarized component.
図12は、雨の日に、本実施形態の撮像装置11を用いて、ヘッドランプから直接入射する光(直接光)と、ヘッドランプからの光が雨路面で反射した光(照り返し光)とを撮像した結果を示すヒストグラムである。
このヒストグラムは、横軸には差分偏光度(S−P)/(S+P)をとり、縦軸には頻度(1に規格化したもの)をとったものである。このヒストグラムから分かるように、照り返し光については、直接光よりもS偏光成分が強い方向へ分布がシフトしている。
FIG. 12 shows light directly incident from a headlamp (direct light) and light reflected from a rainy road surface (reflected light) using the imaging device 11 of the present embodiment on a rainy day. It is a histogram which shows the result of having imaged.
In this histogram, the horizontal axis represents differential polarization degree (SP) / (S + P), and the vertical axis represents frequency (normalized to 1). As can be seen from this histogram, the distribution of reflected light is shifted in the direction in which the S-polarized light component is stronger than the direct light.
図13は、雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を撮像装置11で撮像した場合の一例を示す模式図である。
このような状況においては、明るさ情報と距離情報だけでは、先行車両のテールランプ、雨路面からのテールランプの照り返し光、対向車両のヘッドランプ、雨路面からのヘッドランプの照り返し光を、互いに区別して検出することが困難である。
FIG. 13 is a schematic diagram illustrating an example in which the imaging device 11 captures an image of a situation in which both the preceding vehicle and the oncoming vehicle exist at approximately the same distance ahead in the traveling direction when the host vehicle is traveling on a rainy road surface. FIG.
In such a situation, only the brightness information and distance information distinguish the taillight of the preceding vehicle, the taillight reflected from the rainy road surface, the headlamp of the oncoming vehicle, and the headlamp reflected from the rainy road surface. It is difficult to detect.
本実施形態によれば、このような状況でも、まず、先行車両のテールランプ及び雨路面からのテールランプの照り返し光と、対向車両のヘッドランプ及び雨路面からのヘッドランプの照り返し光との区別については、上述した分光情報を用いて高精度に識別できる。具体的には、明るさ情報や距離情報を用いて絞り込んだランプ画像領域において、上述した赤色画像の画素値(輝度値)あるいは赤色輝度比率が所定の閾値を超える画像領域は、先行車両のテールランプ又は雨路面からのテールランプの照り返し光を映し出したテールランプ画像領域であり、当該閾値以下である画像領域は、対向車両のヘッドランプ又は雨路面からのヘッドランプの照り返し光を映し出したヘッドランプ画像領域であると識別する。 According to the present embodiment, even in such a situation, first, the distinction between the taillight reflected from the tail lamp and the rainy road surface of the preceding vehicle and the headlight from the oncoming vehicle and the headlamp from the rainy road surface. , And can be identified with high accuracy using the spectral information described above. Specifically, in the lamp image area narrowed down using the brightness information and the distance information, the image area in which the pixel value (brightness value) or the red luminance ratio of the red image described above exceeds a predetermined threshold is the tail lamp of the preceding vehicle. Alternatively, the tail lamp image area that reflects the taillight reflected light from the rainy road surface, and the image area that is equal to or less than the threshold is the headlamp image area that reflects the headlight of the oncoming vehicle or the headlamp from the rainy road surface. Identify it.
また、本実施形態によれば、このように分光情報により識別した各ランプ画像領域について、上述した偏光情報を用いることにより、テールランプやヘッドランプからの直接光と照り返し光とを高い精度で識別できる。具体的には、例えば、テールランプに関しては、上述したS偏光赤色画像の画素値(輝度値)やその差分偏光度を元に、S偏光成分の頻度や強さの違いを利用して、先行車両のテールランプからの直接光と雨路面からのテールランプの照り返し光とを識別する。また、例えば、ヘッドランプに関しては、上述したS偏光モノクロ輝度画像の画素値(輝度値)やその差分偏光度を元に、S偏光成分の頻度や強さの違いを利用して、先行車両のヘッドランプからの直接光と雨路面からのヘッドランプの照り返し光とを識別する。 Further, according to the present embodiment, the direct light and the reflected light from the tail lamp or the head lamp can be identified with high accuracy by using the polarization information described above for each lamp image area identified by the spectral information in this way. . Specifically, for example, with respect to the tail lamp, the preceding vehicle is utilized by using the difference in the frequency and intensity of the S-polarized component based on the pixel value (luminance value) of the S-polarized red image and the differential polarization degree. Discriminate between direct light from the taillight and taillight reflected from the rain surface. For example, regarding the headlamp, based on the pixel value (brightness value) of the above-described S-polarized monochrome luminance image and the differential polarization degree thereof, the difference in the frequency and intensity of the S-polarized component is used. The direct light from the headlamp and the reflected light of the headlamp from the rain road surface are distinguished.
次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図14は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像装置11が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源の種類が2種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
Next, a flow of detection processing for the preceding vehicle and the oncoming vehicle in the present embodiment will be described.
FIG. 14 is a flowchart showing a flow of vehicle detection processing in the present embodiment.
In the vehicle detection process of the present embodiment, image processing is performed on the image data captured by the imaging device 11, and an image region that is considered to be a detection target is extracted. Then, the preceding vehicle and the oncoming vehicle are detected by identifying which of the two types of detection objects is the type of light source displayed in the image area.
まず、ステップS1では、撮像装置11の画像センサ4によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ4の各画素における輝度を示す信号を含む。次に、ステップS2では、自車両の挙動に関する情報を車両挙動センサ12から取り込む。 First, in step S1, image data in front of the host vehicle imaged by the image sensor 4 of the imaging device 11 is taken into a memory. As described above, this image data includes a signal indicating the luminance in each pixel of the image sensor 4. Next, in step S <b> 2, information regarding the behavior of the host vehicle is acquired from the vehicle behavior sensor 12.
ステップS3では、メモリに取り込まれた画像データから検出対象物(先行車両のテールランプ及び対向車両のベッドランプ)であると思われる輝度の高い画像領域(高輝度画像領域)を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。 In step S3, an image area with high brightness (high brightness image area) that is considered to be a detection target (tail lamp of the preceding vehicle and bed lamp of the oncoming vehicle) is extracted from the image data captured in the memory. This high luminance image region is a bright region having a luminance higher than a predetermined threshold luminance in the image data, and there are many cases where a plurality of high luminance image regions are extracted, but all of them are extracted. Therefore, at this stage, an image area that reflects reflected light from the rainy road surface is also extracted as a high-luminance image area.
高輝度画像領域抽出処理では、まず、ステップS31において、画像センサ4上の各画素の輝度値を所定の閾値輝度と比較することにより2値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。次に、ステップS32において、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、1つの高輝度画像領域として抽出される。 In the high-luminance image region extraction processing, first, in step S31, binarization processing is performed by comparing the luminance value of each pixel on the image sensor 4 with a predetermined threshold luminance. Specifically, a binary image is created by assigning “1” to pixels having a luminance equal to or higher than a predetermined threshold luminance and assigning “0” to other pixels. Next, in step S32, when pixels assigned with “1” are close to each other in the binarized image, a labeling process for recognizing them as one high luminance image region is performed. Thereby, a set of a plurality of adjacent pixels having a high luminance value is extracted as one high luminance image region.
上述した高輝度画像領域抽出処理の後に実行されるステップS4では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右1対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。 In step S4, which is executed after the above-described high-intensity image region extraction process, the distance between the object in the imaging region corresponding to each extracted high-intensity image region and the host vehicle is calculated. In this distance calculation process, the pair lamp distance calculation process that detects the distance by using the pair of left and right lamps of the vehicle and the left and right lamps constituting the pair lamp cannot be distinguished and recognized at a long distance. A single lamp distance calculation process is executed when the pair lamp is recognized as a single lamp.
まず、ペアランプ距離算出処理のために、ステップS41では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像装置11が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップS42のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値w0(例えば1.5m程度)で近似することができる。一方、撮像装置11における焦点距離fは既知であるため、撮像装置11の画像センサ4上の左右ランプ距離w1を算出することにより、ペアランプまでの実際の距離xは、単純な比例計算(x=f・w0/w1)により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。 First, for a pair lamp distance calculation process, in step S41, a pair lamp creation process, which is a process of creating a lamp pair, is performed. The pair of left and right lamps that are paired are in the position where they are close to each other and have substantially the same height in the image data captured by the imaging device 11, the area of the high-luminance image region is substantially the same, and the shape of the high-luminance image region is the same. Satisfy the condition of being the same. Therefore, the high-intensity image areas that satisfy such conditions are used as a pair lamp. High brightness image areas that cannot be paired are considered a single lamp. When a pair lamp is created, the distance to the pair lamp is calculated by the pair lamp distance calculation process in step S42. The distance between the left and right headlamps of the vehicle and the distance between the left and right taillamps can be approximated by a constant value w0 (for example, about 1.5 m). On the other hand, since the focal length f in the imaging device 11 is known, the actual distance x to the pair lamps is calculated by a simple proportional calculation (x = f · w0 / w1). It should be noted that a dedicated distance sensor such as a laser radar or a millimeter wave radar may be used to detect the distance to the preceding vehicle or the oncoming vehicle.
ステップS5では、非偏光赤色画像と非偏光モノクロ輝度画像との比率を分光情報として用い、この分光情報から、ペアランプとされた2つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップS51において、ペアランプとされた高輝度画像領域について、画像センサ4上の画素Rに対応した画素データと画像センサ4上の画素Wに対応した画素データとの比率を画素値とした赤色比画像を作成する。そして、ステップS52において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。 In step S5, the ratio between the non-polarized red image and the non-polarized monochrome luminance image is used as spectral information. From this spectral information, whether the two high-intensity image regions that are paired lamps are due to light from the headlamps, A lamp type identification process for identifying whether the light is from the tail lamp is performed. In this lamp type identification process, first, in step S51, the ratio of the pixel data corresponding to the pixel R on the image sensor 4 to the pixel data corresponding to the pixel W on the image sensor 4 for the high-intensity image area that is a pair lamp. A red ratio image with the pixel value as is created. In step S52, the pixel value of the red ratio image is compared with a predetermined threshold, and a high-luminance image region that is equal to or higher than the predetermined threshold is determined to be a tail lamp image region by light from the tail lamp. For a certain high-intensity image area, a lamp type process is performed in which a headlamp image area is formed by light from the headlamp.
続いて、ステップS6では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度(S−P)/(S+P)を偏光情報として用いて、テールランプ又はヘッドランプから直接受光された直接光によるものなのか、テールランプ又はヘッドランプからの光が雨路面等の鏡面部で反射して受光された照り返し光によるものなのかを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップS61において、テールランプ画像領域について、画像センサ4上の画素RPに対応した画素データと画像センサ4上の画素Wに対応した画素データとを用いて差分偏光度(S−P)/(S+P)を算出し、その差分偏光度(S−P)/(S+P)を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域について、画像センサ4上の画素WPに対応した画素データと画像センサ4上の画素Wに対応した画素データとを用いて差分偏光度(S−P)/(S+P)を算出し、その差分偏光度(S−P)/(S+P)を画素値とした差分偏光度画像を作成する。そして、ステップS62において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。 Subsequently, in step S6, for each image region identified as the tail lamp image region and the head lamp image region, light is directly received from the tail lamp or the head lamp using the difference polarization degree (SP) / (S + P) as the polarization information. A reflection identification process is performed to identify whether the light is from the direct light or the light from the tail lamp or the head lamp reflected by a mirror surface such as a rainy road surface. In this reflection identification process, first, in step S61, with respect to the tail lamp image area, the differential polarization degree (S) is calculated using pixel data corresponding to the pixel RP on the image sensor 4 and pixel data corresponding to the pixel W on the image sensor 4. -P) / (S + P) is calculated, and a differential polarization degree image with the differential polarization degree (S-P) / (S + P) as a pixel value is created. Similarly, with respect to the headlamp image region, the degree of differential polarization (S−P) / () using pixel data corresponding to the pixel WP on the image sensor 4 and pixel data corresponding to the pixel W on the image sensor 4. (S + P) is calculated, and a differential polarization degree image with the differential polarization degree (S−P) / (S + P) as a pixel value is created. In step S62, the pixel value of each differential polarization degree image is compared with a predetermined threshold value, and it is determined that the tail lamp image area and the head lamp image area that are equal to or larger than the predetermined threshold value are caused by reflected light. Those image areas are excluded because they do not reflect the tail lamp of the preceding vehicle or the head lamp of the oncoming vehicle. The tail lamp image area and the head lamp image area remaining after performing this exclusion process are identified as those that reflect the tail lamp of the preceding vehicle or those that reflect the head lamp of the oncoming vehicle.
。
なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。また、運転者(ドライバー)がワイパーを稼働している場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理S6を実行するようにしてもよい。
.
Note that the reflection identification process S6 described above may be executed only when a rain sensor or the like is mounted on the vehicle and it is confirmed that the rain sensor is raining. Further, the above-described reflection identification process S6 may be executed only when the driver (driver) is operating the wiper. In short, the above-described reflection identification process S6 may be executed only in rainy weather when reflection from the rainy road surface is assumed.
以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの光照射方向の制御に用いられる。
具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドライト照明光が入射する距離範囲A内に近づいた場合に、その先行車両に自車両のヘッドライト照明光が当たらないように、自車両のヘッドライトの一部を遮光したり、自車両のヘッドライトの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドライト照明光が当たる距離範囲B内に近づいた場合に、その対向車両に自車両のヘッドライト照明光が当たらないように、自車両のヘッドライトの一部を遮光したり、自車両のヘッドライトの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
In the present embodiment, the detection results of the preceding vehicle and the oncoming vehicle detected by the vehicle detection process as described above are used for controlling the light irradiation direction of the headlamp that is an in-vehicle device of the host vehicle.
Specifically, when the tail lamp is detected by the vehicle detection process and approaches the distance range A where the headlight illumination light of the host vehicle is incident on the rearview mirror of the preceding vehicle, the headlight of the host vehicle is approached to the preceding vehicle. Control is performed to block a part of the headlight of the host vehicle or to shift the light irradiation direction of the headlight of the host vehicle in the vertical direction or the horizontal direction so that the illumination light does not strike.
Further, when the bed lamp is detected by the vehicle detection process and the driver of the oncoming vehicle approaches within the distance range B where the headlight illumination light of the own vehicle hits, the headlight illumination light of the own vehicle is approached to the oncoming vehicle. In order not to hit the vehicle, a part of the headlight of the host vehicle is blocked, or the light irradiation direction of the headlight of the host vehicle is shifted in the vertical direction or the horizontal direction.
以上の説明では、本発明に係る物体検出装置を、車載機器制御装置としてのヘッドランプ制御システムに用いる場合を例に挙げたが、これに限られるものではない。例えば、本発明に係る物体検出装置を、車載機器である表示モニターを制御して他車両の接近を警告する例や、自車両が他車両に衝突することを回避したり衝突時の衝撃を軽減したりするために車載機器であるブレーキを制御する例、先行車両との車間距離を維持するために車載機器であるアクセル調整機器を制御して自車両の速度を自動調整する例など、本発明は、様々な車載機器制御装置に適用することができる。
また、本発明は、このような車載機器制御装置に限らず、上述した直接光とその照り返し光とを区別することが望まれる様々な物体識別装置に適用可能である。
In the above description, the case where the object detection device according to the present invention is used in a headlamp control system as an in-vehicle device control device has been described as an example. However, the present invention is not limited to this. For example, the object detection device according to the present invention controls an on-board device display monitor to warn of the approach of another vehicle, avoids the collision of the own vehicle with another vehicle, or reduces the impact at the time of the collision The present invention includes an example in which a brake that is an in-vehicle device is controlled in order to automatically adjust the speed of the host vehicle by controlling an accelerator adjusting device that is an in-vehicle device in order to maintain the inter-vehicle distance from the preceding vehicle. Can be applied to various in-vehicle device control devices.
The present invention is not limited to such an in-vehicle device control device, and can be applied to various object identification devices in which it is desired to distinguish between the direct light and the reflected light described above.
また、以上の説明では、偏光情報を、雨路面のような鏡面部からの反射光(照り返し光)を検出対象物からの直接光と区別するために用いた例について説明したが、偏光情報はこのような直接光と照り返し光との区別以外の識別処理にも有効な場合がある。すなわち、本発明は、検出対象物からの直接光とそれ以外の外乱光との間に偏光情報の違いが存在する場合に、これらを有効に識別できるものである。 In the above description, the example in which the polarization information is used to distinguish the reflected light (reflected light) from the mirror surface portion such as the rainy road surface from the direct light from the detection target is described. In some cases, this is effective for identification processing other than the distinction between direct light and reflected light. That is, according to the present invention, when there is a difference in polarization information between the direct light from the detection target and other disturbance light, these can be effectively identified.
以上、本実施形態に係るヘッドランプ制御システムは、自車両の周囲を撮像領域として撮像し、その撮像領域内に存在する物体のうち互いに異なる波長帯の光を発する少なくとも2種類の検出対象物である対向車両のヘッドランプと先行車両のテールランプを検出する物体検出手段である物体検出装置と、物体検出装置の検出結果に基づいて自車両に搭載された車載機器であるヘッドランプの動作を制御する制御手段としてのヘッドランプ制御装置14とを有する車載機器制御装置である。このヘッドランプ制御システムで用いられる物体検出装置は、撮像領域内に存在する物体から発せられる光を画像センサ4で受光して撮像領域内を撮像する撮像手段としての撮像装置11と、撮像装置11が撮像した撮像画像に基づいて対向車両のヘッドランプと先行車両のテールランプの検出処理を行う物体検出処理手段としての車両検出制御装置13とを有する。車両検出制御装置13は、撮像装置11が撮像した撮像画像から、対向車両のヘッドランプと先行車両のテールランプがそれぞれ発する光の波長帯である各検出波長帯(赤色と白色)についての分光情報を取得する分光情報取得手段と、撮像装置11が撮像した撮像画像から、当該分光情報取得手段が取得する分光情報に対応した検出波長帯(赤色と白色)についての偏光情報である差分偏光度(S−P)/(S+P)を取得する偏光情報取得手段として機能する。そして、車両検出制御装置13は、分光情報取得手段が取得した分光情報と偏光情報取得手段が取得した偏光情報を用いて対向車両のヘッドランプと先行車両のテールランプの検出処理を行う。これにより、明るさ情報、距離情報、分光情報を用いただけでは識別が困難な、対向車両のヘッドランプや先行車両のテールランプから直接入射される直接光と雨路面からの照り返し光(外乱光)とを、偏光情報を用いて高精度に識別できるようになる。したがって、ヘッドランプ制御装置14によるヘッドランプの動作制御を高精度に行うことができる。
特に、本実施形態において、画像センサ4は、受光素子4aが2次元配置された画素アレイを有するものであり、撮像装置11は、撮像領域からの光を各検出波長帯(赤色と白色)に分光して各検出波長帯の光を画像センサ4上の互いに異なる受光素子に入射させる分光部材としての分光フィルタと、画像センサ4に入射される各検出波長帯の光について特定の偏光成分であるS偏光成分のみを遮光する偏光領域2bとS偏光成分を透過する透過領域2aとを備えた偏光部材としての光学フィルタ2とを有する。そして、各検出波長帯(赤色と白色)の光を受光した各受光素子R,Wの受光量に基づく指標値R/Wを各検出波長帯についての分光情報として取得する。また、偏光領域2bに対応する受光素子RP,WPの受光量に基づく指標値である差分偏光度(S−P)/(S+P)を偏光情報として取得する。このような構成により、撮像装置11による1回の撮像動作で撮像される1つの撮像画像データから、分光情報及び偏光情報の両方を取得することができる。よって、高速な物体識別処理が実現することができる。
また、本実施形態では、撮像装置11は、自車両の進行方向前方領域を撮像領域として撮像するものであり、2種類の検出対象物には、自車両に近づく方向に進行する他車両である対向車両と自車両から離れる方向に進行する他車両である先行車両とが含まれており、少なくとも先行車両のテールランプ色の波長帯(赤色波長帯)についての分光情報及び対向車両のヘッドランプ色の波長帯(白色波長帯)についての分光情報を取得する。これにより、先行車両と対向車両を高精度に検出することができる。
特に、本実施形態においては、偏光情報を用いて、先行車両のテールランプ及び対向車両のヘッドランプから直接入射した直接光についての正規分光情報と、その正規分光情報と同じ波長帯を有する路面からの照り返し光についての非正規分光情報とを識別し、当該正規分光情報を用いて先行車両と対向車両とを検出する。撮像画像データ中に、先行車両のテールランプや対向車両のヘッドランプからの光が雨路面のような鏡面部で反射した照り返し光が映り込んでいる場合、その照り返し光は直接光と同じ波長帯で同程度の輝度を示すものであるため、直接光についての正規分光情報と照り返し光についての非正規分光情報とを識別することが困難である。本実施形態によれば、これらを高精度に識別できるので、照り返し光を先行車両や対向車両であると誤検知することが抑制される。
As described above, the headlamp control system according to the present embodiment captures the surroundings of the host vehicle as an imaging region, and includes at least two types of detection objects that emit light in different wavelength bands among objects existing in the imaging region. Controls the operation of an object detection device that is an object detection means for detecting a headlamp of an oncoming vehicle and a tail lamp of a preceding vehicle, and a headlamp that is an in-vehicle device mounted on the host vehicle based on the detection result of the object detection device. It is an in-vehicle device control device having a headlamp control device 14 as control means. The object detection device used in this headlamp control system includes an imaging device 11 as an imaging unit that receives light emitted from an object existing in the imaging region by the image sensor 4 and images the imaging region, and the imaging device 11. Has a vehicle detection control device 13 as object detection processing means for performing detection processing of the headlamp of the oncoming vehicle and the tail lamp of the preceding vehicle based on the captured image captured by the vehicle. The vehicle detection control device 13 obtains spectral information about each detection wavelength band (red and white) that is a wavelength band of light emitted from the headlamp of the oncoming vehicle and the tail lamp of the preceding vehicle from the captured image captured by the imaging device 11. The differential polarization degree (S) which is polarization information about the detection wavelength band (red and white) corresponding to the spectral information acquired by the spectral information acquisition unit from the acquired spectral information acquisition unit and the captured image captured by the imaging device 11. It functions as polarization information acquisition means for acquiring (−P) / (S + P). And the vehicle detection control apparatus 13 performs the detection process of the headlamp of an oncoming vehicle, and the tail lamp of a preceding vehicle using the spectral information which the spectral information acquisition means acquired, and the polarization information which the polarization information acquisition means acquired. As a result, direct light directly incident from the headlamps of the oncoming vehicle and the tail lamp of the preceding vehicle and the reflected light (disturbance light) from the rainy road surface, which is difficult to identify using only brightness information, distance information, and spectral information Can be identified with high accuracy using polarization information. Therefore, the headlamp operation control by the headlamp control device 14 can be performed with high accuracy.
In particular, in the present embodiment, the image sensor 4 has a pixel array in which the light receiving elements 4a are two-dimensionally arranged, and the imaging device 11 uses light from the imaging region in each detection wavelength band (red and white). A spectral filter as a spectral member that splits light of each detection wavelength band into different light receiving elements on the image sensor 4 and a specific polarization component for the light of each detection wavelength band incident on the image sensor 4 It has an optical filter 2 as a polarizing member having a polarizing region 2b that shields only the S-polarized component and a transmission region 2a that transmits the S-polarized component. Then, an index value R / W based on the amount of light received by each of the light receiving elements R and W that has received light in each detection wavelength band (red and white) is acquired as spectral information for each detection wavelength band. Further, the degree of differential polarization (SP) / (S + P), which is an index value based on the amount of light received by the light receiving elements RP and WP corresponding to the polarization region 2b, is acquired as polarization information. With such a configuration, it is possible to acquire both spectral information and polarization information from one captured image data imaged by one imaging operation by the imaging device 11. Therefore, high-speed object identification processing can be realized.
Further, in the present embodiment, the imaging device 11 captures an image of a forward area in the traveling direction of the host vehicle as an imaging region, and the two types of detection objects are other vehicles that travel in a direction approaching the host vehicle. An oncoming vehicle and a preceding vehicle that is another vehicle traveling in a direction away from the host vehicle, and includes at least spectral information on the wavelength band of the tail lamp color (red wavelength band) of the preceding vehicle and the headlamp color of the oncoming vehicle. Spectral information about the wavelength band (white wavelength band) is acquired. Thereby, a preceding vehicle and an oncoming vehicle can be detected with high accuracy.
In particular, in the present embodiment, using polarization information, normal spectral information about direct light directly incident from a tail lamp of a preceding vehicle and a head lamp of an oncoming vehicle, and a road surface having the same wavelength band as the normal spectral information. The non-regular spectral information about the reflected light is identified, and the preceding vehicle and the oncoming vehicle are detected using the regular spectral information. In the captured image data, if the reflected light reflected from the mirror surface part such as the rain road surface is reflected from the tail lamp of the preceding vehicle or the headlamp of the oncoming vehicle, the reflected light is in the same wavelength band as the direct light. Since the luminance is comparable, it is difficult to distinguish between the regular spectral information about the direct light and the non-regular spectral information about the reflected light. According to this embodiment, since these can be identified with high accuracy, it is possible to suppress erroneous detection of reflected light as a preceding vehicle or an oncoming vehicle.
1 撮像レンズ
2 光学フィルタ
2a 透過領域
2b 偏光領域
2c フィルタ領域
2d フィルタ偏光領域
3 センサ基板
4 画像センサ
4a フォトダイオード(受光素子)
4b マイクロレンズ
5 信号処理部
11 撮像装置
12 車両挙動センサ
13 車両検出制御装置
14 ヘッドランプ制御装置
DESCRIPTION OF SYMBOLS 1 Imaging lens 2 Optical filter 2a Transmission area 2b Polarization area 2c Filter area 2d Filter polarization area 3 Sensor substrate 4 Image sensor 4a Photodiode (light receiving element)
4b Microlens 5 Signal processing unit 11 Imaging device 12 Vehicle behavior sensor 13 Vehicle detection control device 14 Headlamp control device
Claims (6)
該撮像手段が撮像した撮像画像に基づいて車両を含む検出対象物の検出処理を行う物体検出処理手段とを有する物体検出装置において、
上記撮像手段が撮像した撮像画像から、上記検出対象物の分光情報を取得する分光情報取得手段と、
上記撮像手段が撮像した撮像画像から、該分光情報取得手段が取得する分光情報に対応した偏光情報を取得する偏光情報取得手段とを有し、
上記物体検出処理手段は、該分光情報取得手段が取得した分光情報に基づく第1の検出処理と、該偏光情報取得手段が取得した前記所定方向に振動する偏光成分についての第一偏光情報および該第一偏光情報から算出される該所定方向と直交する方向に振動する光についての第二偏光情報に基づく第2の検出処理とを行うことにより、上記検出対象物の検出処理を行うことを特徴とする物体検出装置。 An image sensor comprising: a spectral member that transmits a spectral component having a predetermined wavelength band; and a polarizing member that transmits a polarized component that vibrates in a predetermined direction. The image sensor receives light emitted from an object existing in the imaging region. Imaging means for imaging the interior;
In an object detection apparatus having object detection processing means for performing detection processing of a detection target including a vehicle based on a captured image captured by the imaging means,
Spectral information acquisition means for acquiring spectral information of the detection object from a captured image captured by the imaging means;
Polarization information acquisition means for acquiring polarization information corresponding to spectral information acquired by the spectral information acquisition means from a captured image captured by the imaging means;
The object detection processing unit includes a first detection process based on the spectral information acquired by the spectral information acquisition unit, a first polarization information about the polarization component oscillating in the predetermined direction acquired by the polarization information acquisition unit, and the The detection process of the detection target is performed by performing a second detection process based on the second polarization information for light oscillating in a direction orthogonal to the predetermined direction calculated from the first polarization information. An object detection device.
上記画像センサは、受光素子が2次元配置された画素アレイを有するものであり、
上記分光部材は、撮像領域からの光を互いに異なる複数の検出波長帯に分光して該各検出波長帯の光を上記画像センサ上の互いに異なる受光素子に入射させるものであり、
上記偏光部材は、該画像センサに入射される各検出波長帯の光について特定の偏光成分のみを遮光する偏光領域と非偏光のまま透過する透過領域とを備えたものであり、
上記分光情報取得手段は、上記各検出波長帯の光を受光した各受光素子の受光量に基づく指標値を該各検出波長帯についての分光情報として取得し、
上記偏光情報取得手段は、上記偏光領域に対応する受光素子の受光量に基づく指標値を第一偏光情報として取得し、上記透過領域に対応する受光素子の受光量から該偏光領域に対応する受光素子の受光量を差し引いた量に基づく指標値を第二偏光情報として取得することを特徴とする物体検出装置。 The object detection device according to claim 1.
The image sensor has a pixel array in which light receiving elements are two-dimensionally arranged,
The spectroscopic member separates light from the imaging region into a plurality of different detection wavelength bands and makes the light in each detection wavelength band enter different light receiving elements on the image sensor,
The polarizing member includes a polarization region that blocks only a specific polarization component of light in each detection wavelength band incident on the image sensor, and a transmission region that transmits unpolarized light,
The spectral information acquisition means acquires an index value based on the amount of light received by each light receiving element that receives light in each detection wavelength band as spectral information for each detection wavelength band,
The polarization information acquisition means acquires, as first polarization information, an index value based on the light reception amount of the light receiving element corresponding to the polarization region, and receives light corresponding to the polarization region from the light reception amount of the light reception element corresponding to the transmission region. An object detection apparatus characterized in that an index value based on an amount obtained by subtracting an amount of light received by an element is acquired as second polarization information.
上記撮像手段は、自車両の進行方向前方領域を撮像領域として撮像するものであり、
上記検出対象物には、自車両に近づく方向に進行する他車両と自車両から離れる方向に進行する他車両とが含まれており、
上記分光情報取得手段は、少なくとも車両のテールランプ色の波長帯についての分光情報及び車両のヘッドランプ色の波長帯についての分光情報を取得することを特徴とする物体検出装置。 The object detection device according to claim 1 or 2,
The imaging means captures an area in the traveling direction of the host vehicle as an imaging area,
The detection objects include other vehicles that travel in a direction approaching the host vehicle and other vehicles that travel in a direction away from the host vehicle,
The spectral information acquisition means acquires spectral information about at least a wavelength band of a tail lamp color of a vehicle and spectral information about a wavelength band of a head lamp color of the vehicle.
上記物体検出処理手段が行う上記第2の検出処理では、上記偏光情報取得手段が取得した第一偏光情報及び第二偏光情報を用いて、他車両のテールランプ及び他車両のヘッドランプから直接入射した光についての正規分光情報と、該正規分光情報と同じ波長帯を有する路面からの光についての非正規分光情報とを識別し、該正規分光情報を用いて、自車両に近づく方向に進行する他車両と自車両から離れる方向に進行する他車両とを検出することを特徴とする物体検出装置。 The object detection device according to claim 3.
In the second detection process performed by the object detection processing unit, the first polarization information and the second polarization information acquired by the polarization information acquisition unit are directly incident from the tail lamp of the other vehicle and the head lamp of the other vehicle. Identifying regular spectral information about light and non-regular spectral information about light from a road surface having the same wavelength band as the regular spectral information, and using the regular spectral information, proceeding in a direction approaching the host vehicle An object detection apparatus for detecting a vehicle and another vehicle traveling in a direction away from the host vehicle.
該物体検出手段の検出結果に基づいて上記車両に搭載された車載機器の動作を制御する制御手段とを有する車載機器制御装置において、
上記物体検出手段として、請求項1乃至4のいずれか1項に記載の物体検出装置を用いたことを特徴とする車載機器制御装置。 An object detection means for imaging the periphery of the vehicle as an imaging region, and detecting a detection target including the vehicle existing in the imaging region;
In an in-vehicle device control device having a control means for controlling the operation of the in-vehicle device mounted on the vehicle based on the detection result of the object detection means,
An in-vehicle device control device using the object detection device according to any one of claims 1 to 4 as the object detection means.
上記物体検出手段として、請求項3又は4の物体検出装置を用い、
上記制御手段は、上記物体検出手段の検出結果に基づいて、上記車両に搭載された車載機器であるヘッドランプの照射方向を変更し又は該ヘッドランプの発光強度を変更する制御を行うことを特徴とする車載機器制御装置。 In the in-vehicle device control device according to claim 5,
Using the object detection device according to claim 3 or 4 as the object detection means,
The control means performs control to change the irradiation direction of a headlamp which is an in-vehicle device mounted on the vehicle or to change the emission intensity of the headlamp based on the detection result of the object detection means. In-vehicle device control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010266419A JP5839253B2 (en) | 2010-11-30 | 2010-11-30 | Object detection device and in-vehicle device control device including the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010266419A JP5839253B2 (en) | 2010-11-30 | 2010-11-30 | Object detection device and in-vehicle device control device including the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012117872A JP2012117872A (en) | 2012-06-21 |
JP5839253B2 true JP5839253B2 (en) | 2016-01-06 |
Family
ID=46500882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010266419A Expired - Fee Related JP5839253B2 (en) | 2010-11-30 | 2010-11-30 | Object detection device and in-vehicle device control device including the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5839253B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013031054A (en) | 2011-07-29 | 2013-02-07 | Ricoh Co Ltd | Image pickup device and object detection device incorporating the same and optical filter and manufacturing method thereof |
JP5895448B2 (en) * | 2011-10-27 | 2016-03-30 | 株式会社リコー | Vehicle recognition device, vehicle recognition method, and program |
CN108090490A (en) * | 2016-11-21 | 2018-05-29 | 南京理工大学 | A kind of Stealthy Target detecting system and method based on multispectral polarization imaging |
JP6876269B2 (en) * | 2017-03-08 | 2021-05-26 | スズキ株式会社 | Road surface condition estimation device |
KR20220076523A (en) * | 2019-10-16 | 2022-06-08 | 웨이모 엘엘씨 | Systems and Methods for Infrared Sensing |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4664883B2 (en) * | 2006-09-13 | 2011-04-06 | パナソニック株式会社 | Headlight control device |
JP2008122217A (en) * | 2006-11-13 | 2008-05-29 | Denso It Laboratory Inc | Road surface state detector |
CN103152582B (en) * | 2007-12-07 | 2015-02-25 | 松下电器产业株式会社 | Image processing device and image processing method |
-
2010
- 2010-11-30 JP JP2010266419A patent/JP5839253B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012117872A (en) | 2012-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6380843B2 (en) | Object detection apparatus, mobile device control system including the same, and object detection program | |
US10406994B2 (en) | In-vehicle camera and vehicle control system | |
JP6468482B2 (en) | IMAGING DEVICE, OBJECT DETECTION DEVICE, AND MOBILE DEVICE CONTROL SYSTEM | |
US9344691B2 (en) | Imaging device, object detecting apparatus, optical filter, and manufacturing method of optical filter | |
JP5846485B2 (en) | Adhering matter detection apparatus and adhering matter detection method | |
CN104512411B (en) | Vehicle control system and imaging sensor | |
US20140300738A1 (en) | Camera System for a Vehicle | |
JP5995140B2 (en) | Imaging apparatus, vehicle system including the same, and image processing method | |
JP5936098B2 (en) | Imaging apparatus, object detection apparatus including the same, and optical filter | |
JP2013029451A (en) | Deposit detection device and deposit detection method | |
JP5990953B2 (en) | Imaging device, object detection device, vehicle travel support image processing system, and vehicle | |
JP5839253B2 (en) | Object detection device and in-vehicle device control device including the same | |
JP6555569B2 (en) | Image processing apparatus, mobile device control system, and image processing program | |
JP5858327B2 (en) | IMAGING DEVICE, OBJECT DETECTION DEVICE HAVING THE SAME, AND POLARIZING FILTER | |
JP2013095315A (en) | Inside rear view mirror device with built-in imaging device, and vehicle equipped with the same | |
JP5590457B2 (en) | IMAGING DEVICE, OBJECT DETECTION DEVICE HAVING THE SAME, AND ON-VEHICLE DEVICE CONTROL DEVICE | |
JP2013162492A (en) | Image pickup device, vehicle incorporating the same, and position adjustment method | |
JP2015194388A (en) | Imaging device and imaging system | |
JP2016146583A (en) | Imaging device, mobile apparatus control system and program | |
JP6701542B2 (en) | Detection device, mobile device control system, and detection program | |
JP6536946B2 (en) | Imaging device, imaging method, program, and mobile device control system | |
JP2015169567A (en) | Deposit detection device, mobile device control system, and deposit detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151029 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5839253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |