JP2007193702A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2007193702A JP2007193702A JP2006013118A JP2006013118A JP2007193702A JP 2007193702 A JP2007193702 A JP 2007193702A JP 2006013118 A JP2006013118 A JP 2006013118A JP 2006013118 A JP2006013118 A JP 2006013118A JP 2007193702 A JP2007193702 A JP 2007193702A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image processing
- vehicle lamp
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、道路を含む領域を撮像して得られた撮像画像に基づいて、車灯の存在を判定するための処理を行う画像処理装置に関し、特に車灯を夜間の路面反射から区別することができる画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus that performs processing for determining the presence of a vehicle light based on a captured image obtained by imaging an area including a road, and particularly distinguishes a vehicle light from night road surface reflection. The present invention relates to an image processing apparatus and an image processing method.
円滑な交通又は交通事故抑止のために、道路上の車両に関する詳細な交通情報を提供するシステムが求められており、ビデオカメラなどの撮像装置で道路を含む所定の領域を撮像し、得られた撮像画像と、車両が通行していない場合の撮像画像とを比較して車両の存在を検出するシステムがある。しかし、夜間においては、車両の車灯(ヘッドライト又はテールライト)からの光が路面で反射するため、路面で反射した反射像を車両として誤って検出する場合があった。 There is a need for a system that provides detailed traffic information on vehicles on the road for smooth traffic or traffic accident suppression, and obtained by imaging a predetermined area including the road with an imaging device such as a video camera. There is a system that detects the presence of a vehicle by comparing a captured image with a captured image when the vehicle is not passing. However, at night, since the light from the vehicle light (headlight or taillight) of the vehicle is reflected on the road surface, the reflected image reflected on the road surface may be erroneously detected as a vehicle.
そこで、夜間等に路上を走行する車両の撮像画像から、その特徴点として車灯を抽出して車両を検出する場合、入力画像パターンの輝度値と路面基準輝度値との差分値の分布パターンを判別することにより、車灯による路面反射像を除去する画像処理式交通流計測装置が提案されている(特許文献1参照)。 Therefore, when a vehicle is detected by extracting a vehicle lamp as a feature point from a captured image of a vehicle traveling on the road at night or the like, a distribution pattern of a difference value between the luminance value of the input image pattern and the road surface reference luminance value is set. There has been proposed an image processing type traffic flow measuring apparatus that removes a road surface reflection image by a car lamp by making a determination (see Patent Document 1).
また、道路を走行する車両を撮像した画像から路面反射があるか否かを判定し、路面反射があると判断された場合に、画像をエッジ処理した処理画像の各画素について横方向の輝度を加算する。加算値は、車両とその反射像とに対応する位置において大きくなる傾向があり、逆に車両とその反射像との境界に対応する位置で小さくなる傾向があることから、この加算値に基づいて、車両の位置を正確に検出することができる車両検出方法が提案されている(特許文献2参照)。
しかしながら、特許文献1の画像処理式交通流計測装置にあっては、所定の方向に計測ライン毎に走査し、一対の輝度偏移部分の計測ライン方向の長さが一定長より大きい場合、走行車両の車灯部分として検出した上で、検出した車灯の前方の明るい部分の有無を判定して、該明るい部分が所定の条件を満たすときは、路面反射像として除去する。このため、走行車両の車灯部分を正確に検出できない場合、路面反射像も検出することができず、必ずしも精度良く路面反射像を除去することができない虞がある。
However, in the image processing type traffic flow measuring device disclosed in
また、特許文献2の車両検出方法にあっては、雨天時に路面反射がある場合、撮像画像をエッジ処理して車両及びその反射像の輪郭を明確にした上で、車両及びその反射像の各画素について横方向に輝度を加算して、加算値の2つのピークの間にある最小値に基づいて、車両の一を検出するものであり、夜間に走行する車両のように、エッジ処理による車両の検出が困難な場合には、精度良く検出できない虞がある。
Further, in the vehicle detection method of
本発明は、斯かる事情に鑑みてなされたものであり、撮像画像の各画素の少なくとも輝度又は色相に基づいて、抽出した車灯候補領域の形状を示す指標値を算出する算出手段、及び算出された指標値に基づいて、車灯の存在を判定する判定手段を備えることにより、夜間走行する車両の車灯と路面反射とを判別して、精度良く車灯の存在を判定することができる画像処理装置及び画像処理方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and a calculation unit that calculates an index value indicating the shape of the extracted vehicle lamp candidate region based on at least the luminance or hue of each pixel of the captured image, and calculation By providing a determination means for determining the presence of a vehicle light based on the index value thus determined, it is possible to determine the vehicle light and road surface reflection of a vehicle traveling at night and accurately determine the presence of the vehicle light. An object is to provide an image processing apparatus and an image processing method.
また、本発明の他の目的は、前記指標値は、車灯候補領域の形状の円形に対する類似度であることにより、路面の状況、走行車両の状況などに応じて路面反射の状況が変化する場合でも、路面反射を除去して車灯の存在を確実に判定することができる画像処理装置を提供することにある。 Another object of the present invention is that the index value is a similarity to the circular shape of the vehicle lamp candidate area, so that the road surface reflection state changes depending on the road surface state, the traveling vehicle state, and the like. Even in such a case, an object of the present invention is to provide an image processing apparatus that can reliably determine the presence of a vehicle lamp by removing road surface reflection.
また、本発明の他の目的は、前記判定手段は、遠距離にある撮像領域に対応する撮像画像上の領域においては第1閾値に基づいて、車灯の存在を判定し、近距離にある撮像領域に対応する撮像画像上の領域においては前記第1閾値より大きい第2閾値に基づいて、車灯を判定するように構成することにより、車両までの距離に拘わらず、精度良く車灯の存在を判定することができる画像処理装置を提供することにある。 Another object of the present invention is to determine the presence of a vehicle lamp based on a first threshold in an area on a captured image corresponding to an imaging area at a long distance, and to determine whether the determination means is at a short distance. In the area on the captured image corresponding to the imaging area, the vehicle lamp is determined based on the second threshold value that is larger than the first threshold value, so that the vehicle lamp can be accurately detected regardless of the distance to the vehicle. An object of the present invention is to provide an image processing apparatus capable of determining existence.
また、本発明の他の目的は、車灯の存在が判定された場合、前記車灯に対応する車灯領域の撮像画像上の座標に基づいて、車両を検出する検出手段を備えることにより、夜間であっても、路面反射と区別して車両を精度良く検出することができる画像処理装置を提供することにある。 Another object of the present invention is to provide a detection means for detecting a vehicle based on coordinates on a captured image of a vehicle lamp area corresponding to the vehicle lamp when the presence of the vehicle lamp is determined. An object of the present invention is to provide an image processing apparatus capable of accurately detecting a vehicle even at night, as distinguished from road surface reflection.
第1発明に係る画像処理装置は、道路を含む領域を撮像して得られた撮像画像に基づいて、車灯の存在を判定するための処理を行う画像処理装置において、撮像画像の各画素の少なくとも輝度又は色相に基づいて、車灯候補領域を抽出する抽出手段と、抽出された車灯候補領域の形状を示す指標値を算出する算出手段と、算出された指標値に基づいて、車灯の存在を判定する判定手段とを備えることを特徴とする。 An image processing apparatus according to a first aspect of the present invention is an image processing apparatus that performs processing for determining the presence of a vehicle lamp based on a captured image obtained by capturing an area including a road. Extraction means for extracting a vehicle lamp candidate area based on at least luminance or hue, calculation means for calculating an index value indicating the shape of the extracted vehicle lamp candidate area, and vehicle light based on the calculated index value And determining means for determining the presence of.
第2発明に係る画像処理装置は、第1発明において、前記指標値は、車灯候補領域の形状の円形に対する類似度であることを特徴とする。 An image processing apparatus according to a second invention is characterized in that, in the first invention, the index value is a similarity to a circular shape of the shape of the candidate lamp region.
第3発明に係る画像処理装置は、第1発明又は第2発明において、前記判定手段は、遠距離にある撮像領域に対応する撮像画像上の領域においては第1閾値に基づいて、車灯の存在を判定し、近距離にある撮像領域に対応する撮像画像上の領域においては前記第1閾値より大きい第2閾値に基づいて、車灯を判定するように構成してあることを特徴とする。 In the image processing apparatus according to a third aspect of the present invention, in the first or second aspect of the invention, the determining means determines whether the vehicle lamp The vehicle light is determined based on a second threshold value that is greater than the first threshold value in a region on the captured image corresponding to the imaging region at a short distance. .
第4発明に係る画像処理装置は、第1発明乃至第3発明のいずれかにおいて、前記判定手段で車灯の存在が判定された場合、前記車灯に対応する車灯領域の撮像画像上の座標に基づいて、車両を検出する検出手段を備えることを特徴とする。 An image processing apparatus according to a fourth aspect of the present invention is the image processing apparatus according to any one of the first to third aspects of the present invention, on the captured image of the vehicle lamp area corresponding to the vehicle lamp when the determination means determines the presence of the vehicle lamp A detection means for detecting the vehicle based on the coordinates is provided.
第5発明に係る画像処理方法は、道路を含む領域を撮像して得られた撮像画像に基づいて、車灯の存在を判定するための処理を行う画像処理方法において、撮像画像の各画素の少なくとも輝度又は色相に基づいて、車灯候補領域を抽出し、抽出された車灯候補領域の形状を示す指標値を算出し、算出された指標値に基づいて、車灯の存在を判定することを特徴とする。 An image processing method according to a fifth aspect of the present invention is an image processing method for performing processing for determining the presence of a vehicle lamp based on a captured image obtained by capturing an area including a road. Extracting a vehicle lamp candidate area based on at least luminance or hue, calculating an index value indicating the shape of the extracted vehicle lamp candidate area, and determining the presence of a vehicle lamp based on the calculated index value It is characterized by.
第1発明及び第5発明にあっては、抽出手段は、道路を含む領域を撮像して得られた撮像画像の各画素の少なくとも輝度又は色相に基づいて、車灯候補領域を抽出する。例えば、夜間に道路を走行する車両を撮像した場合、車両の車灯部分及び車灯などによる路面反射の部分の輝度が比較的高くなることを利用し、撮像画像を所定の輝度閾値に基づいて、2値化し、2値化画像において、連結領域を特定して車灯候補領域を抽出する。算出手段は、抽出された車灯候補領域の形状を示す指標値を算出する。判定手段は、算出された指標値に基づいて、車灯の存在を判定する。 In the first invention and the fifth invention, the extraction means extracts the vehicle lamp candidate area based on at least the luminance or the hue of each pixel of the captured image obtained by imaging the area including the road. For example, when a vehicle traveling on a road at night is imaged, the captured image is based on a predetermined luminance threshold by utilizing the fact that the luminance of the vehicle's vehicle light part and the road surface reflection part by the vehicle light is relatively high. Binarization is performed, and in the binarized image, a connected region is specified and a vehicle lamp candidate region is extracted. The calculation means calculates an index value indicating the shape of the extracted vehicle lamp candidate area. The determination means determines the presence of the vehicle lamp based on the calculated index value.
第2発明にあっては、前記指標値は、車灯候補領域の形状の円形に対する類似度である。例えば、類似度として円形度を用いた場合、車灯候補領域が円形に類似するときは、該車灯候補領域は車灯であると判定できる。また、車灯候補領域が円形に類似しないときは、車灯候補領域は路面反射であるとして除去することができる。これにより、路面の状況、走行車両の状況(例えば、車両の台数、隣車線を走行する車両)などに応じて路面反射の状況(例えば、撮像画像上での形状)が変化する場合でも、路面反射を除去する。 In the second invention, the index value is a similarity to the circular shape of the shape of the vehicle lamp candidate area. For example, when the circularity is used as the similarity, when the vehicle lamp candidate area is similar to a circle, it can be determined that the vehicle lamp candidate area is a vehicle lamp. Further, when the vehicle lamp candidate area is not similar to a circle, the vehicle lamp candidate area can be removed as being road surface reflection. Thus, even when the road surface reflection state (for example, the shape on the captured image) changes according to the road surface state, the state of the traveling vehicle (for example, the number of vehicles, the vehicle traveling in the adjacent lane), etc. Remove reflections.
第3発明にあっては、前記判定手段は、遠距離にある撮像領域に対応する撮像画像上の領域においては第1閾値に基づいて、車灯の存在を判定し、近距離にある撮像領域に対応する撮像画像上の領域においては前記第1閾値より大きい第2閾値に基づいて、車灯を判定する。車両が近距離にある場合、車灯は円形に近似し、車両が遠距離にある場合、車灯はやや楕円状になる。距離に応じて、車灯の存在を判定するための閾値を変更することにより、撮像画像上での車灯候補領域の形状が変化しても、より精度良く車灯を判定する。 In the third invention, the determination means determines the presence of the vehicle lamp based on the first threshold in the area on the captured image corresponding to the imaging area at a long distance, and the imaging area at a short distance. In the region on the captured image corresponding to, the vehicle light is determined based on a second threshold value that is larger than the first threshold value. When the vehicle is at a short distance, the car light approximates a circle, and when the vehicle is at a long distance, the car light is slightly elliptical. By changing the threshold value for determining the presence of the vehicle light according to the distance, the vehicle light is determined with higher accuracy even if the shape of the vehicle light candidate region on the captured image changes.
第4発明にあっては、検出手段は、車灯の存在が判定された場合、前記車灯に対応する車灯領域の撮像画像上の座標に基づいて、車両を検出する。例えば、複数の車灯の存在が判定された場合、撮像画像上の縦座標が近似する一対の車灯領域の横座標の距離が所定の範囲にある場合、前記一対の車灯領域を一の車両として検出する。 In the fourth invention, when the presence of the vehicle light is determined, the detection means detects the vehicle based on the coordinates on the captured image of the vehicle light region corresponding to the vehicle light. For example, when the presence of a plurality of vehicle lamps is determined, the distance between the abscissas of a pair of vehicle lamp regions that approximate the ordinate on the captured image is within a predetermined range. Detect as a vehicle.
第1発明及び第5発明にあっては、撮像画像の各画素の少なくとも輝度又は色相に基づいて、抽出した車灯候補領域の形状を示す指標値を算出する算出手段、及び算出された指標値に基づいて、車灯の存在を判定する判定手段を備えることにより、夜間走行する車両の車灯と路面反射とを判別して、精度良く車灯の存在を判定することができる。これにより、車灯による路面反射を除去することができ、夜間の交通流計測に適用することが可能となる。 In the first invention and the fifth invention, calculation means for calculating an index value indicating the shape of the extracted vehicle lamp candidate area based on at least the luminance or the hue of each pixel of the captured image, and the calculated index value Therefore, the presence of the vehicle light can be determined with high accuracy by determining the vehicle light and the road surface reflection of the vehicle traveling at night. Thereby, the road surface reflection by a vehicle light can be removed and it becomes possible to apply to nighttime traffic flow measurement.
第2発明にあっては、前記指標値が、車灯候補領域の形状の円形に対する類似度であることにより、路面の状況、走行車両の状況などに応じて路面反射の状況が変化する場合でも、路面反射を除去して車灯の存在を確実に判定することができる。 In the second aspect of the invention, the index value is a similarity to the circular shape of the vehicle lamp candidate area, so that even when the road surface reflection state changes depending on the road surface condition, the traveling vehicle condition, etc. The presence of the vehicle light can be reliably determined by removing the road surface reflection.
第3発明にあっては、前記判定手段は、遠距離にある撮像領域に対応する撮像画像上の領域においては第1閾値に基づいて、車灯の存在を判定し、近距離にある撮像領域に対応する撮像画像上の領域においては前記第1閾値より大きい第2閾値に基づいて、車灯を判定するように構成することにより、車両までの距離に拘わらず、精度良く車灯の存在を判定することができる。 In the third invention, the determination means determines the presence of the vehicle lamp based on the first threshold in the area on the captured image corresponding to the imaging area at a long distance, and the imaging area at a short distance. In the region on the captured image corresponding to, the vehicle light is determined based on the second threshold value that is larger than the first threshold value, so that the presence of the vehicle light can be accurately detected regardless of the distance to the vehicle. Can be determined.
第4発明にあっては、車灯の存在が判定された場合、前記車灯に対応する車灯領域の撮像画像上の座標に基づいて、車両を検出する検出手段を備えることにより、夜間であっても、路面反射と区別して車両を精度良く検出することができる。 In the fourth invention, when it is determined that the vehicle lamp is present, the vehicle is detected at night by providing a detection means for detecting the vehicle based on the coordinates on the captured image of the vehicle lamp area corresponding to the vehicle lamp. Even if it exists, a vehicle can be detected with high accuracy in distinction from road surface reflection.
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は本発明に係る画像処理装置を備えた交通流計測の概要を示す模式図である。図において、1はビデオカメラである。ビデオカメラ1は、例えば、交差点付近の路上10m程度の位置に、光軸を道路方向に沿って配置してあり、交差点から上流側の道路の数十mの判定領域の交通流を撮像する。
Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments. FIG. 1 is a schematic diagram showing an outline of traffic flow measurement provided with an image processing apparatus according to the present invention. In the figure,
ビデオカメラ1には、画像処理装置2を接続してあり、画像処理装置2は、ビデオカメラ1で撮像して得られた撮像画像を処理し、車両の車灯(ヘッドライトなど)の存在の判定を行う。画像処理装置2には、通信回線5を介して信号制御装置3が接続され、信号制御装置3には、信号機4を接続してある。
An
画像処理装置2は、判定領域内に車灯の存在を判定した場合、判定信号を信号制御装置3へ出力する。信号制御装置3は、画像処理装置2から車灯の判定信号を受付けた場合、信号機4の右折信号を青にするための右折感応、又は信号機4が赤点滅を行っているときに青信号に変えるリコール感応などの制御のための制御信号を信号機4へ出力する。なお、図においては、片側3車線の例を示しているが、ビデオカメラ1、画像処理装置2等が設置される道路は、これに限定されるものではない。
The
図2は画像処理装置2の構成を示すブロック図である。ビデオカメラ1は撮像して得られた撮像画像を映像信号(アナログ信号)として画像入力部21へ出力する。画像入力部21は、取得した映像信号をA/D変換部22へ出力し、A/D変換部22は、入力された映像信号をデジタル信号に変換し、変換されたデジタル信号を画像データとして画像メモリ23へ記憶する。この場合、画像データは、ビデオカメラ1のフレームレート(撮像時点の間隔、例えば、1秒間に30フレーム)と同期して、1フレーム単位(例えば、640×480画素)で画像メモリ23に記憶される。
FIG. 2 is a block diagram showing the configuration of the
画像処理部24は、ASICなどにより構成され、画像メモリ23から1フレーム単位の画像データを読み出し、読み出した画像データを所定の輝度閾値に基づいて、2値化した2値化画像(例えば、輝度値を8ビットで表現する場合、輝度値「255」と輝度値「0」とに2値化する)を生成する。夜間、道路を走行する車両を撮像した場合、車両の車灯(ヘッドライト)が最も輝度値が高く、ついで車灯による路面反射部分の輝度が高く、この両者の区別は困難である。一方、車灯を除く車両部分又は車灯の光が当たっていない路面、周囲などは輝度値が低い。このため輝度閾値としては、車灯及び路面反射と、その他の部分とを区別することができるように設定することができる。なお、輝度に限定されず、色相などを利用することもできる。
The
画像処理部24は、2値化画像において、いわゆるラベリング処理を行い、輝度値「255」の領域で隣接する領域同士を連結し、連結された領域を車灯候補領域として抽出する。
The
画像処理部24は、抽出した車灯候補領域に対して、車灯候補領域がどれだけ円形に近似しているかを示す円形度を算出する。1つの撮像画像において、複数の車灯候補領域が抽出された場合、夫々の車灯候補領域について円形度を算出する。なお、車灯候補領域の形状がどれだけ円形に近似(類似)しているかを示す指標値(形状を解析する特徴量)としての円形度以外に、丸さの度合い、針状度などの指標値を用いることも可能である。
The
画像処理部24は、算出した円形度が所定の閾値以上である場合、車灯候補領域を車灯領域として特定し、車灯が判定領域内に存在すると判定し、判定信号を出力する。また、画像処理部24は、算出した円形度が所定の閾値より小さい場合、車灯候補領域は路面反射領域として特定し、路面反射領域と判定された領域の輝度値を「0」にすることにより、路面反射領域を除去する。これにより、車灯と路面反射とを判別して、車灯の存在を精度良く判定することができる。
If the calculated circularity is greater than or equal to a predetermined threshold, the
画像処理部24は、車灯の存在が判定された場合、撮像画像上での車灯領域の座標を特定する。撮像画像上の横、縦方向を夫々X、Y軸方向とした場合、Y座標が近似する車灯領域の中で、X座標の距離(間隔)が所定の範囲内にある一対の車灯領域を一の車両として検出する。これにより、車灯の存在に基づいて、車両の検出をすることができる。また、車両として検出された一対の車灯領域以外の車灯領域は、例えば、二輪車として検出することができる。なお、車両を検出する際の前記所定の範囲は、車種(大型車、普通車など)に応じて適宜設定することができる。
When the presence of the vehicle lamp is determined, the
インタフェース部25は、画像処理装置2で判定された車灯の存在の判定信号を、通信回線5を介して信号制御装置3へ送信するためのインタフェース機能を備えている。また、インタフェース部25は、車両の検出結果などを出力するためのインタフェース機能を備えている。
The
図3及び図4は円形度の算出方法を示す概念図である。円形度は、ある領域がどれだけ円形に近いかを示す指標値である。ある領域の面積をS、領域の周囲長をLとすると、円形度Eは、E=4πS/L2で表される。この場合、0<E≦1である。図3(a)に示すように、撮像画像内の領域Aの面積Sは、領域Aの画素数で表される。また、領域Aの周囲長Lは、例えば、領域Aの外周となる画素の中心を結んだ線の距離で表される。 3 and 4 are conceptual diagrams showing a method for calculating the circularity. The circularity is an index value indicating how close a certain area is to a circular shape. When the area of a certain region is S and the peripheral length of the region is L, the circularity E is expressed by E = 4πS / L 2 . In this case, 0 <E ≦ 1. As shown in FIG. 3A, the area S of the region A in the captured image is represented by the number of pixels of the region A. Further, the peripheral length L of the region A is expressed by, for example, the distance of a line connecting the centers of the pixels that are the outer periphery of the region A.
次に領域Aの面積S及び周囲長Lの算出方法を示す。簡単のため、図3(b)に示すように、領域Aの一部領域Bを拡大した拡大画像(画素数が7×7=49画素から構成される画素ブロック)に基づいて説明する。拡大画像の内、模様のある領域が領域Aの一部領域A1であり、白抜きの領域が領域A以外の領域である。 Next, a method for calculating the area S and the peripheral length L of the region A will be described. For the sake of simplicity, as shown in FIG. 3B, description will be made based on an enlarged image (a pixel block including 7 × 7 = 49 pixels) obtained by enlarging a partial area B of the area A. In the enlarged image, a region with a pattern is a partial region A1 of the region A, and a white region is a region other than the region A.
図4(a)に示すように、領域A1の面積S1は、領域A1の画素数である「31」となる。また、図4(b)に示すように、領域A1の周囲長L1は、領域A1の外周となる画素の中心を結んだ線の距離である。デジタル画像であるので、隣接する画素間の上下左右方向の距離は「1.0」、隣接する画素の斜め方向の距離は「1.5」とすると、周囲長L1は「8」となる。 As shown in FIG. 4A, the area S1 of the region A1 is “31” which is the number of pixels of the region A1. As shown in FIG. 4B, the peripheral length L1 of the region A1 is the distance of a line connecting the centers of the pixels that are the outer periphery of the region A1. Since it is a digital image, if the distance between adjacent pixels in the vertical and horizontal directions is “1.0”, and the diagonal distance between adjacent pixels is “1.5”, the peripheral length L1 is “8”.
上述の面積及び周囲長の算出方法を領域Aに適用することにより、例えば、領域Aの面積Sが「2962」、周囲長Lが「208」であるとすると、領域Aの円形度Eは、「0.86」となる。 By applying the above-described area and perimeter calculation method to the region A, for example, assuming that the area S of the region A is “2962” and the perimeter L is “208”, the circularity E of the region A is “0.86”.
撮像画像上での車灯候補領域の面積は、車灯候補領域の画素数で表される。車灯候補領域の周囲長は、例えば、車灯候補領域の外周となる画素の中心を結んだ線の距離として算出することができる。 The area of the vehicle lamp candidate area on the captured image is represented by the number of pixels of the vehicle lamp candidate area. The peripheral length of the vehicle lamp candidate area can be calculated as, for example, the distance of a line connecting the centers of the pixels that are the outer periphery of the vehicle lamp candidate area.
なお、車灯を判定するための指標値は、円形度に限定されるものではなく、(絶対最大長の2乗/面積)×(π/4)で表される丸さの度合い、(パターン幅/絶対最大長)で表される針状度などを用いることもできる。ここで、絶対最大長は、領域の輪郭線上の任意の2点間の距離の最大値であり、パターン幅は、絶対最大長の方向にパターン領域をはさむ2直線間の距離である。 The index value for determining the vehicle light is not limited to the circularity, but the degree of roundness represented by (absolute maximum length squared / area) × (π / 4), (pattern The acicular degree represented by (width / absolute maximum length) can also be used. Here, the absolute maximum length is the maximum value of the distance between any two points on the contour line of the region, and the pattern width is the distance between two straight lines that sandwich the pattern region in the direction of the absolute maximum length.
図5は領域の形状と円形度との関係を示す説明図である。図に示すように、真円の場合、円形度は、1.00であり、円形に近い楕円の場合、円形度は、0.85、長方形の場合、円形度は0.71などである。これにより、例えば、円形度の閾値を0.8程度にすることにより、車灯と路面反射とを精度良く判別することができることがわかる。また、走行車両の数、路面の状況、道路の周囲状況などにより、路面反射の状態が変化し、撮像画像上の路面反射像の形状が変化した場合でも、円形度(円形に対する類似度)を用いることにより、路面反射を確実に車灯と区別して認識することができる。 FIG. 5 is an explanatory diagram showing the relationship between the shape of the region and the circularity. As shown in the figure, the circularity is 1.00 in the case of a perfect circle, the circularity is 0.85 in the case of an ellipse close to a circle, and the circularity is 0.71 in the case of a rectangle. Thereby, it can be seen that, for example, by setting the circularity threshold to about 0.8, it is possible to accurately discriminate between the vehicle lamp and the road surface reflection. In addition, even when the road surface reflection state changes depending on the number of traveling vehicles, road surface conditions, road surrounding conditions, etc., and the shape of the road surface reflection image on the captured image changes, the circularity (similarity to the circular shape) By using it, it is possible to reliably recognize road surface reflections from vehicle lights.
車両を撮像する場合、近距離にある車両の車灯の形状は円形に近く、遠距離にある車両の車灯の形状は楕円状になる。そこで、円形度に基づいて車灯であるか否かを判定するための閾値を、撮像画像の遠距離に対応する領域においては小さい閾値を用い、撮像画像の近距離に対応する領域においては大きい閾値を用いることにより、車両までの距離に拘わらず、より精度良く車灯を判定することができる。この場合、例えば、撮像画像上の縦方向、すなわちY座標の値に基づいて、大きい閾値を用いる領域と小さい閾値を用いる領域を分けることができ、また、段階的に3つ以上の値の異なる閾値を用いてもよい。さらに、予め所定の初期閾値を設定しておき、車灯候補領域のY座標値に基づいて、初期閾値に係数を積算して閾値を算出することもできる。 When the vehicle is imaged, the shape of the vehicle light of the vehicle at a short distance is nearly circular, and the shape of the vehicle light of the vehicle at a long distance is elliptical. Therefore, a threshold value for determining whether or not a vehicle lamp is based on the circularity is set to a small threshold value in a region corresponding to a long distance of a captured image, and large in a region corresponding to a short distance of the captured image. By using the threshold value, it is possible to determine the vehicle light with higher accuracy regardless of the distance to the vehicle. In this case, for example, based on the vertical direction on the captured image, that is, the value of the Y coordinate, a region using a large threshold value and a region using a small threshold value can be separated, and three or more values differ stepwise. A threshold may be used. Furthermore, a predetermined initial threshold value can be set in advance, and the threshold value can be calculated by adding a coefficient to the initial threshold value based on the Y coordinate value of the vehicle lamp candidate area.
次に、本発明に係る画像処理装置の動作について説明する。図6は車灯の存在の判定処理手順を示すフローチャートである。画像処理部24は、撮像画像を取得し(S11)、取得した撮像画像を2値化する(S12)。画像処理部24は、2値化画像において、ラベルリング処理により隣接する領域を連結して、一定以上の面積を有する領域を車灯候補領域として抽出する(S13)。これにより、車灯候補領域を抽出する場合、車灯候補領域の面積が小さいものは、ノイズとして除去する。
Next, the operation of the image processing apparatus according to the present invention will be described. FIG. 6 is a flowchart showing a procedure for determining the presence of a vehicle light. The
画像処理部24は、抽出した車灯候補領域の円形度を算出し(S14)、算出した円形度が閾値以上であるか否かを判定する(S15)。円形度が閾値以上である場合(S15でYES)、画像処理部24は、その車灯候補領域を車灯領域として特定し(S16)、車灯の存在判定信号を出力し(S17)、すべての車灯候補領域について円形度を算出したか否かを判定する(S18)。
The
円形度が閾値より小さい場合(S15でNO)、画像処理部24は、その車灯候補領域を路面反射であるとして撮像画像から除去し(S19)、ステップS18以降の処理を続ける。すべての車灯候補領域について円形度を算出していない場合(S18でNO)、画像処理部24は、ステップS14以降の処理を続ける。
When the circularity is smaller than the threshold value (NO in S15), the
すべての車灯候補領域について円形度を算出した場合(S18でYES)、画像処理部24は、車灯領域の撮像画像上での座標を算出し(S20)、一対の車灯領域の間隔(例えば、撮像画像上のX座標の距離)が所定範囲内であるか否かを判定する(S21)。車灯領域の間隔が所定範囲内である場合(S21でYES)、画像処理部24は、車両の存在を検出し(S22)、すべての車灯領域について処理を行ったか否かを判定する(S23)。
When the circularity is calculated for all the vehicle lamp candidate areas (YES in S18), the
車灯領域の間隔が所定範囲内でない場合(S21でNO)、画像処理部24は、ステップS23以降の処理を続ける。すべての車灯領域について処理を行っていない場合(S23でNO)、画像処理部24は、ステップS21以降の処理を続ける。すべての車灯領域について処理を行った場合(S23でYES)、画像処理部24は、処理終了要求の有無を判定し(S24)、処理終了要求がない場合(S24でNO)、ステップS11以降の処理を続け、処理終了要求がある場合(S24でYES)、処理を終了する。
If the interval between the vehicle lamp areas is not within the predetermined range (NO in S21), the
図7は撮像画像の例を示す模式図である。図に示すように、例えば、夜間走行する車両を撮像した場合、車灯(ヘッドライト)の部分、ヘッドライトの光が路面で反射して生ずる路面反射の部分、車両の輪郭などが映し出される。 FIG. 7 is a schematic diagram illustrating an example of a captured image. As shown in the figure, for example, when a vehicle traveling at night is imaged, a vehicle lamp (headlight) portion, a portion of road surface reflection caused by reflection of light from the headlight on the road surface, a contour of the vehicle, and the like are displayed.
図8は撮像画像を2値化した2値化画像の例を示す模式図である。所定の輝度閾値を用いて図7に示す撮像画像を2値化することにより、車灯、路面反射などの輝度値が高い部分を車灯候補領域B、C、Dとして抽出することができる。図において、模様のある領域が高輝度(例えば、輝度値「255」)の領域であり、それ以外の領域が低輝度(例えば、輝度値「0」)の領域である。 FIG. 8 is a schematic diagram illustrating an example of a binarized image obtained by binarizing a captured image. By binarizing the captured image shown in FIG. 7 using a predetermined luminance threshold, it is possible to extract portions having high luminance values, such as car lamps and road surface reflections, as car lamp candidate areas B, C, and D. In the figure, a region with a pattern is a region with high luminance (for example, luminance value “255”), and the other region is a region with low luminance (for example, luminance value “0”).
図9は車灯の存在を判定した判定画像の例を示す模式図である。図8の2値化画像における車灯候補領域B、C、Dの円形度を算出し、算出した円形度を所定の閾値と比較することにより、車灯候補領域Dを路面反射による領域として除去(輝度値を「0」にする)し、車灯領域のみを抽出したものである。 FIG. 9 is a schematic diagram illustrating an example of a determination image in which the presence of a vehicle lamp is determined. The circularity of the vehicle lamp candidate areas B, C, and D in the binarized image of FIG. 8 is calculated, and the calculated circularity is compared with a predetermined threshold value, thereby removing the vehicle lamp candidate area D as an area due to road surface reflection. (Luminance value is set to “0”), and only the vehicle lamp area is extracted.
以上説明したように、本発明にあっては、夜間走行する車両の車灯と路面反射とを判別して、精度良く車灯の存在を判定することができる。これにより、車灯による路面反射を除去することができ、夜間の交通流計測に適用することが可能となる。また、路面の状況、走行車両の状況などに応じて路面反射の状況が変化する場合でも、路面反射を除去して車灯の存在を確実に判定することができる。また、車両までの距離に拘わらず、精度良く車灯の存在を判定することができる。 As described above, according to the present invention, it is possible to determine the presence of a vehicle light with high accuracy by determining the vehicle light and road surface reflection of a vehicle traveling at night. Thereby, the road surface reflection by a vehicle light can be removed and it becomes possible to apply to nighttime traffic flow measurement. Further, even when the road surface reflection state changes according to the road surface state, the traveling vehicle state, and the like, the road surface reflection can be removed to reliably determine the presence of the vehicle light. In addition, it is possible to accurately determine the presence of a vehicle light regardless of the distance to the vehicle.
上述の実施の形態においては、道路上の判定領域内に車灯が存在する場合、判定信号を出力して信号機を制御する構成であったが、これに限定されるものではなく、本発明は、他の例にも適用することが可能である。例えば、所定の判定領域内の車灯の存在を所定時間継続して判定し、判定された車灯数に関連する統計的処理(例えば、時間平均など)を行うことにより、交通流を判断する情報として用いることもできる。 In the above-described embodiment, when a vehicle lamp is present in the determination area on the road, the determination signal is output and the traffic light is controlled. However, the present invention is not limited to this. It is possible to apply to other examples. For example, the presence of vehicle lights in a predetermined determination area is continuously determined for a predetermined time, and the traffic flow is determined by performing statistical processing (for example, time average) related to the determined number of vehicle lights. It can also be used as information.
上述の実施の形態においては、信号機の制御の例として、右折感応、リコール感応などを挙げて説明したが、信号機の制御は、これに限定されるものではなく、交通量に応じて、信号機の青色、黄色、赤色の点灯時間、点灯間隔の制御など、種々の制御に利用することができる。 In the above-described embodiment, as an example of traffic signal control, right turn sensitivity, recall sensitivity, and the like have been described. However, traffic signal control is not limited to this, and depending on traffic volume, It can be used for various controls such as control of lighting times and lighting intervals of blue, yellow, and red.
本発明は、夜間のみならず、昼間であっても雨天時などの状況化においても適用することができる。 The present invention can be applied not only at night, but also in daytime or in situations such as rainy weather.
1 ビデオカメラ
2 画像処理装置
3 信号制御装置
4 信号機
5 通信回線
21 画像入力部
22 A/D変換部
23 画像メモリ
24 画像処理部
25 インタフェース部
DESCRIPTION OF
Claims (5)
撮像画像の各画素の少なくとも輝度又は色相に基づいて、車灯候補領域を抽出する抽出手段と、
抽出された車灯候補領域の形状を示す指標値を算出する算出手段と、
算出された指標値に基づいて、車灯の存在を判定する判定手段と
を備えることを特徴とする画像処理装置。 In an image processing apparatus that performs processing for determining the presence of a vehicle lamp based on a captured image obtained by imaging a region including a road,
Extraction means for extracting a vehicle lamp candidate region based on at least the luminance or hue of each pixel of the captured image;
Calculating means for calculating an index value indicating the shape of the extracted vehicle lamp candidate area;
An image processing apparatus comprising: determination means for determining the presence of a vehicle light based on the calculated index value.
遠距離にある撮像領域に対応する撮像画像上の領域においては第1閾値に基づいて、車灯の存在を判定し、近距離にある撮像領域に対応する撮像画像上の領域においては前記第1閾値より大きい第2閾値に基づいて、車灯を判定するように構成してあることを特徴とする請求項1又は請求項2に記載の画像処理装置。 The determination means includes
In the area on the captured image corresponding to the imaged area at a long distance, the presence of the vehicle lamp is determined based on the first threshold value, and the first on the area on the imaged image corresponding to the imaged area at the short distance. The image processing apparatus according to claim 1, wherein the vehicle light is determined based on a second threshold value that is larger than the threshold value.
撮像画像の各画素の少なくとも輝度又は色相に基づいて、車灯候補領域を抽出し、
抽出された車灯候補領域の形状を示す指標値を算出し、
算出された指標値に基づいて、車灯の存在を判定することを特徴とする画像処理方法。 In an image processing method for performing processing for determining the presence of a vehicle lamp based on a captured image obtained by imaging a region including a road,
Based on at least the luminance or hue of each pixel of the captured image, extract the vehicle lamp candidate area,
Calculate an index value that indicates the shape of the extracted car lamp candidate area,
An image processing method, wherein presence of a vehicle light is determined based on a calculated index value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006013118A JP2007193702A (en) | 2006-01-20 | 2006-01-20 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006013118A JP2007193702A (en) | 2006-01-20 | 2006-01-20 | Image processing device and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007193702A true JP2007193702A (en) | 2007-08-02 |
Family
ID=38449340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006013118A Pending JP2007193702A (en) | 2006-01-20 | 2006-01-20 | Image processing device and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007193702A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103050008A (en) * | 2013-01-14 | 2013-04-17 | 哈尔滨工程大学 | Method for detecting vehicles in night complex traffic videos |
KR20150070800A (en) * | 2013-12-17 | 2015-06-25 | 현대자동차주식회사 | Apparatus and Method for Image Processing mounted in the Vehicle |
KR20150125818A (en) * | 2014-04-30 | 2015-11-10 | 전자부품연구원 | Forward Vehicle Identification Method and System with the Vehicular Brake Lamp at Night Time |
KR101664749B1 (en) * | 2015-11-09 | 2016-10-12 | 현대자동차주식회사 | Apparatus for enhancing low light level image and method thereof |
CN109614852A (en) * | 2018-10-29 | 2019-04-12 | 昆山睿力得软件技术有限公司 | A kind of car light detection technique based on image procossing |
CN113723304A (en) * | 2021-08-31 | 2021-11-30 | 上海商汤临港智能科技有限公司 | Vehicle lamp detection method and device, electronic equipment and storage medium |
CN114379562A (en) * | 2020-10-20 | 2022-04-22 | 三菱电机株式会社 | Vehicle position detection device and vehicle position detection method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06215292A (en) * | 1993-01-19 | 1994-08-05 | Aisin Seiki Co Ltd | Method of detecting object existing ahead of vehicle |
JPH11353580A (en) * | 1998-06-09 | 1999-12-24 | Anritsu Corp | Method and device for discriminating kind of vehicle at night |
JP2002024809A (en) * | 2000-07-10 | 2002-01-25 | Mitsubishi Heavy Ind Ltd | Vehicle detection apparatus |
JP2005301519A (en) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | Signaler detection device and signaler detection method |
-
2006
- 2006-01-20 JP JP2006013118A patent/JP2007193702A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06215292A (en) * | 1993-01-19 | 1994-08-05 | Aisin Seiki Co Ltd | Method of detecting object existing ahead of vehicle |
JPH11353580A (en) * | 1998-06-09 | 1999-12-24 | Anritsu Corp | Method and device for discriminating kind of vehicle at night |
JP2002024809A (en) * | 2000-07-10 | 2002-01-25 | Mitsubishi Heavy Ind Ltd | Vehicle detection apparatus |
JP2005301519A (en) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | Signaler detection device and signaler detection method |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103050008A (en) * | 2013-01-14 | 2013-04-17 | 哈尔滨工程大学 | Method for detecting vehicles in night complex traffic videos |
KR20150070800A (en) * | 2013-12-17 | 2015-06-25 | 현대자동차주식회사 | Apparatus and Method for Image Processing mounted in the Vehicle |
KR101601375B1 (en) | 2013-12-17 | 2016-03-08 | 현대자동차주식회사 | Apparatus and Method for Image Processing mounted in the Vehicle |
US9280713B2 (en) | 2013-12-17 | 2016-03-08 | Hyundai Motor Company | Apparatus and method for processing image mounted in vehicle |
KR20150125818A (en) * | 2014-04-30 | 2015-11-10 | 전자부품연구원 | Forward Vehicle Identification Method and System with the Vehicular Brake Lamp at Night Time |
KR101616462B1 (en) * | 2014-04-30 | 2016-04-29 | 전자부품연구원 | Forward Vehicle Identification Method and System with the Vehicular Brake Lamp at Night Time |
KR101664749B1 (en) * | 2015-11-09 | 2016-10-12 | 현대자동차주식회사 | Apparatus for enhancing low light level image and method thereof |
CN109614852A (en) * | 2018-10-29 | 2019-04-12 | 昆山睿力得软件技术有限公司 | A kind of car light detection technique based on image procossing |
CN114379562A (en) * | 2020-10-20 | 2022-04-22 | 三菱电机株式会社 | Vehicle position detection device and vehicle position detection method |
CN114379562B (en) * | 2020-10-20 | 2024-05-10 | 三菱电机株式会社 | Vehicle position detection device and vehicle position detection method |
CN113723304A (en) * | 2021-08-31 | 2021-11-30 | 上海商汤临港智能科技有限公司 | Vehicle lamp detection method and device, electronic equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105981042B (en) | Vehicle detection system and method | |
US7566851B2 (en) | Headlight, taillight and streetlight detection | |
JP4853160B2 (en) | Vehicle detection device and headlamp control device | |
JP3503230B2 (en) | Nighttime vehicle recognition device | |
JP5852637B2 (en) | Arrow signal recognition device | |
JP5995140B2 (en) | Imaging apparatus, vehicle system including the same, and image processing method | |
US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
KR101727054B1 (en) | Method for detecting and recognizing traffic lights signal based on features | |
JP2007193702A (en) | Image processing device and image processing method | |
JP2007316997A (en) | Vehicle type determining program and apparatus | |
JP6297396B2 (en) | Traffic signal recognition device and computer program | |
JP2011103070A (en) | Nighttime vehicle detector | |
JP2009276910A (en) | Image processor, method and program | |
JP5983729B2 (en) | White line detection device, white line detection filter device, and white line detection method | |
JPH08193831A (en) | Apparatus for detecting approaching vehicle | |
JP2005318408A (en) | Vehicle surrounding monitoring apparatus and method | |
JP2007179386A (en) | Method and apparatus for recognizing white line | |
JP2000306097A (en) | Road area decision device | |
JP2008028478A (en) | Obstacle detection system, and obstacle detecting method | |
JP4119041B2 (en) | Vehicle detection apparatus using color information | |
JPH11219493A (en) | Method for processing traffic information | |
JPH05290293A (en) | Vehicle head detector | |
JP2007257242A (en) | White line recognition device | |
JP3671460B2 (en) | Lamp lighting detection method and stop lamp lighting detection device | |
JP2855770B2 (en) | Image processing type traffic flow measurement device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110809 |