JP3532896B2 - Smear detection method and image processing apparatus using the smear detection method - Google Patents
Smear detection method and image processing apparatus using the smear detection methodInfo
- Publication number
- JP3532896B2 JP3532896B2 JP2001371938A JP2001371938A JP3532896B2 JP 3532896 B2 JP3532896 B2 JP 3532896B2 JP 2001371938 A JP2001371938 A JP 2001371938A JP 2001371938 A JP2001371938 A JP 2001371938A JP 3532896 B2 JP3532896 B2 JP 3532896B2
- Authority
- JP
- Japan
- Prior art keywords
- smear
- pixel
- pixels
- image
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 72
- 238000001514 detection method Methods 0.000 title claims description 51
- 238000012544 monitoring process Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 47
- 230000002265 prevention Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 24
- 239000000047 product Substances 0.000 description 13
- 230000002195 synergetic effect Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【0001】[0001]
【発明の属する技術分野】この発明は、CCDカメラを
撮像手段として用いた画像処理装置と、この画像処理装
置におけるスミア検出方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus using a CCD camera as an image pickup means and a smear detecting method in this image processing apparatus.
【0002】[0002]
【従来の技術】カメラ(CCDカメラなど、以下CCD
という場合もある)で撮影して得た画像データを処理し
て、画面内から目的の画像を抽出し、様々に利用するこ
とは広く行なわれている。ところで、撮影した画面内に
高輝度の光源、例えば太陽や自動車の前照灯などが写っ
ていると、この光源から明るい線が放射されたように写
ってしまう、いわゆるスミア現象と呼ばれる現象があ
り、前述の画像処理を行なう上で障害となる。スミア現
象とは、強烈な光の入射により、CCDの画素の信号レ
ベルが飽和し、その飽和現象が画素信号の転送方向(一
般的には画像の上下方向)に伝播することで、画像中に
直線状の高輝度領域が線のように形成される(以下、こ
の高輝度領域をスミアと呼ぶ)現象である。カメラ画像
の画像処理では、一般に、画像の輝度値をもとに演算を
行って対象物を検出するものが多いので、スミアは対象
物であると誤検出される要因となっている。2. Description of the Related Art Cameras (CCD cameras, etc.
It is widely practiced to process the image data obtained by taking the image), extract the target image from the screen, and use it in various ways. By the way, when a high-intensity light source, such as the sun or a headlight of a car, appears in the captured image, there is a phenomenon called a so-called smear phenomenon in which a bright line is emitted from this light source. , It becomes an obstacle in performing the above-mentioned image processing. The smear phenomenon is a phenomenon in which the signal level of pixels of the CCD is saturated due to the incidence of intense light, and the saturation phenomenon is propagated in the transfer direction of pixel signals (generally, the vertical direction of the image). This is a phenomenon in which a linear high-intensity region is formed like a line (hereinafter, this high-intensity region is referred to as smear). In image processing of camera images, generally, there are many cases in which an object is detected by performing a calculation based on the brightness value of the image, and therefore smear is a cause of being erroneously detected as an object.
【0003】ここで、スミアの発生がどのような悪影響
を及ぼすかを例を示して説明する。例えば、車両上にカ
メラを前方又は後方に向けて搭載し、前方車両又は後続
車を含む道路を撮影して、前後の車との車間距離の異常
を検出し、警報を発する車間距離監視・警報装置があ
る。図9はこのような車間距離監視警報装置(以下、略
して監視警報装置と言う)の構成図を示す。なお、説明
の都合上、ここでは後方を監視するものとして説明する
が前方でも原理的には同じである。この装置は、CCD
カメラで撮像した後方道路画像中から接近してくる後続
車を検出し、必要に応じて警報を鳴らす。この監視警報
装置では、画面内の対象物の移動量に着目して対象物を
検出する。即ち、現在時刻Tnに撮像された画像と、現在
時刻Tn-1に撮像された画像の輝度差と、現在時刻Tnに撮
像された画像の微分値を基に、画像中に存在する移動体
の移動量を検出し、検出された移動量を後続車の接近を
表す危険度として用い、危険度に応じて警報ブザーを吹
鳴している。Here, the adverse effects of the occurrence of smear will be described with reference to an example. For example, by mounting a camera on the vehicle facing forward or backward, photographing the road including the preceding vehicle or the following vehicle, detecting an abnormality in the inter-vehicle distance between the front and rear vehicles, and issuing an alarm. There is a device. FIG. 9 shows a block diagram of such an inter-vehicle distance monitoring alarm device (hereinafter, abbreviated as monitoring alarm device). Note that, for convenience of explanation, the case of monitoring the rear side is described here, but the principle is the same for the front side. This device is a CCD
An approaching vehicle is detected from the rear road image captured by the camera, and an alarm is sounded if necessary. In this monitoring and warning device, the target object is detected by focusing on the movement amount of the target object on the screen. That is, the image captured to the current time T n, based on the luminance difference of the captured images to the current time T n-1, the differential value of the captured image to the current time T n, existing in the image The moving amount of the moving body is detected, and the detected moving amount is used as a risk level indicating the approach of the following vehicle, and an alarm buzzer is sounded according to the risk level.
【0004】図において、1は監視・警報装置の本体部
分、2は該本体部分内にあって外部の各種入力機器(後
述)の信号を中継する入力インターフェース、3は以下
に説明する画像処理を実行するマイクロプロセッサ、4
は上記マイクロプロセッサ3と外部の各種出力機器(後
述)間を中継する出力インターフェース、5は上記マイ
クロプロセッサ3との間で情報交換が行われるメモリ
(以下RAM)であり、後述の画像処理情報等が読み書
きされる。また上記マイクロプロセッサ3は図示しない
システムメモリ(以下ROM)と接続されている。RO
Mには後述する各種の手段を実行するためのプログラム
が格納されている。20は自動車の後部に設置されたC
CDカメラ等の後方監視カメラ(以下カメラ)であり、
カメラ20はNTSC規格による画像信号を上記マイク
ロプロセッサ3に送信する。マイクロプロセッサ3はカ
メラ20の画像信号を仮想画面作成手段30によって、
例えば256ドット×240ドットの仮想画面上の各画
素に対応した夫々の画像メモリに対して、色度情報や輝
度情報を例えば各8ビットのディジタル情報として書き
込む(要するに画像を記憶する)ようになっている。2
1はこの自動車のハンドル角の回転角度に応動した信号
を発生する操舵角センサであり、22はこの車の車速セ
ンサである。操舵角センサ21からの信号と、車速セン
サ22からの信号は、探索線設定手段31で探索線の湾
曲化補正(後述)を行う際に使用する。In the figure, 1 is a main body of a monitoring / warning device, 2 is an input interface for relaying signals of various external input devices (described later) in the main body, and 3 is image processing described below. Microprocessor to execute, 4
Is an output interface for relaying between the microprocessor 3 and various external output devices (described later), and 5 is a memory (hereinafter referred to as RAM) for exchanging information with the microprocessor 3, such as image processing information described later. Is read and written. The microprocessor 3 is connected to a system memory (hereinafter, ROM) not shown. RO
A program for executing various means described later is stored in M. 20 is C installed at the rear of the car
It is a rear monitoring camera (hereinafter referred to as a camera) such as a CD camera,
The camera 20 transmits an image signal according to the NTSC standard to the microprocessor 3. The microprocessor 3 converts the image signal of the camera 20 by the virtual screen creating means 30.
For example, the chromaticity information and the luminance information are written as, for example, 8-bit digital information (in short, the image is stored) in each image memory corresponding to each pixel on the virtual screen of 256 dots × 240 dots. ing. Two
Reference numeral 1 is a steering angle sensor that generates a signal in response to a rotation angle of a steering wheel angle of the automobile, and reference numeral 22 is a vehicle speed sensor of the automobile. The signal from the steering angle sensor 21 and the signal from the vehicle speed sensor 22 are used when the search line setting means 31 corrects the curve of the search line (described later).
【0005】23は例えばこの車のブレーキペダルを踏
んだ時、或いはアクセルペダルを戻した時に閉路する減
速スイッチであり、減速スイッチ23の信号は比較判定
手段33で使用する。カメラ20、操舵角センサ21、
車速センサ22、減速スイッチ23のそれぞれの信号
は、入力インターフェース2を介してマイクロプロセッ
サ3に供給される。40は警報ブザーであり、41はL
ED等の警報表示器である。警報ブザー40と警報表示
器41は、出力インターフェース4を介してマイクロプ
ロセッサ3から駆動される。Reference numeral 23 is a deceleration switch that is closed when the brake pedal of the vehicle is depressed or when the accelerator pedal is returned. The signal from the deceleration switch 23 is used by the comparison / determination means 33. Camera 20, steering angle sensor 21,
The respective signals from the vehicle speed sensor 22 and the deceleration switch 23 are supplied to the microprocessor 3 via the input interface 2. 40 is an alarm buzzer, 41 is L
It is an alarm indicator such as an ED. The alarm buzzer 40 and the alarm indicator 41 are driven by the microprocessor 3 via the output interface 4.
【0006】仮想画面作成手段30は、前述したように
カメラ20より入力される画像信号を、ディジタル信号
としてメモリ5に書き込む手段である。書き込まれた画
面の情報を仮想画面と呼び、例えば図10の300に示
すようなものである。探索線設定手段31は、仮想画面
300上に、後続車を探知する為の探索線(図11の3
02L,302Rなど)を設定する手段であり、本発明
を理解する上で必要なので、念のため、以下にやや詳細
に説明する。探索線設定手段31の処理手順を図12の
フローチャートに示す。図12のステップS201で
は、カメラ20の設置高さや俯角及び自車幅などを基
に、図11に示す探索線302L、302Rの初期設定
を行う。この初期設定は直線路走行を前提としたもので
ある。ステップS202では、路面上に設けられた車線
区分用のレーンマーキング301L,301Rが検出で
きるかどうかの判定を行う。ステップS202で検出可
能と判定された場合、ステップS203でレーンマーキ
ング301L,301Rの検出及び認識を行い、ステッ
プS204で探索線302L,302Rの位置の補正を
行う。The virtual screen creating means 30 is means for writing the image signal input from the camera 20 into the memory 5 as a digital signal as described above. The written screen information is called a virtual screen, and is, for example, as shown at 300 in FIG. The search line setting means 31 displays a search line (3 in FIG. 11) for detecting a following vehicle on the virtual screen 300.
02L, 302R, etc.) and is necessary for understanding the present invention, and therefore will be described in some detail below as a precaution. The processing procedure of the search line setting means 31 is shown in the flowchart of FIG. In step S201 of FIG. 12, search lines 302L and 302R shown in FIG. 11 are initialized based on the installation height of the camera 20, the depression angle, the vehicle width, and the like. This initial setting is premised on traveling on a straight road. In step S202, it is determined whether the lane markings 301L and 301R for lane markings provided on the road surface can be detected. If it is determined that the lane markings 301L and 301R are detected in step S202, the lane markings 301L and 301R are detected and recognized, and the positions of the search lines 302L and 302R are corrected in step S204.
【0007】ステップS204では、ステップS203
で検出されたレーンマーキング301L,301Rより
も幅位置を所定値分だけシフトした位置、至近距離から
遠方位置になるにしたがって漸減するようにした位置に
探索線302R,302Lを補正して、図13に示すよ
うにする。ステップS202で検出不可能と判定された
場合、ステップS205で操舵角センサ21と車速セン
サ22から入力信号を読取り、ステップS206で入力
信号を基に探索線302R,302Lの曲線補正を行
う。ステップS205では、操舵角センサ21から操舵
角を読取り、車速センサ22から車速を読取る。ステッ
プS206では、車速が速くて操舵角が大きいほど速や
かに大きな曲線に補正し、操舵角が0に復帰すれば再び
速やかに直線復帰するような補正を探索線302R,3
02Lに対して行う。ステップS207では、上記工程
で決定された探索線302R,302Lを複数の線分領
域に分割し、各線分領域毎に危険度の判定を行うための
閾値を設定する工程であり、該閾値は至近位置から遠方
位置になるにしたがって漸減する値として予め初期設定
されている。In step S204, step S203
The widths of the lane markings 301L and 301R detected in step S1 are shifted by a predetermined value, and the search lines 302R and 302L are corrected so as to be gradually reduced from the closest distance to the farther position. As shown in. When it is determined in step S202 that the detection is impossible, the input signals are read from the steering angle sensor 21 and the vehicle speed sensor 22 in step S205, and the curves of the search lines 302R and 302L are corrected based on the input signals in step S206. In step S205, the steering angle is read from the steering angle sensor 21 and the vehicle speed is read from the vehicle speed sensor 22. In step S206, the search line 302R, 3 is corrected so that the larger the vehicle speed is and the larger the steering angle is, the more quickly the curve is corrected, and the steering angle is returned to 0.
Perform on 02L. In step S207, the search lines 302R and 302L determined in the above step are divided into a plurality of line segment areas, and a threshold value for determining the degree of risk is set for each line segment area. It is preset as a value that gradually decreases as the position moves away from the position.
【0008】危険度演算手段32は、後続車の接近によ
る危険度を演算する手段であり、処理手順を図14のフ
ローチャートに示している。図15,図16は、画像メ
モリに書き込まれた横256×縦240画素の仮想画面
の一例であり、図15は図14のフローのある回の工程
で作成された仮想画面、図16は繰返し行なわれるその
次の回の工程で作成された仮想画面を表している。図1
7(a)〜(d)の図は、図16の探索線302Rにつ
いて行った各処理の結果を説明するための図である。ス
テップS401では、仮想画面作成手段30で画像メモ
リに書き込まれた仮想画面の輝度データから、探索線3
02R,302Lに対応する各画素のデータを抽出し、
輝度分布を作成する。輝度分布は例えば図17(a)に
示すようになる。601は前回作成した図15の輝度分
布(旧輝度分布という)であり、602は今回作成した
図16の輝度分布(新輝度分布という)である。この
時、路面より明るく見える部分は山形の輝度分布を示す
ので、路面より明るいスミア部分と、後続車の画像はと
もに山形の輝度分布となって表れる。The risk calculating means 32 is a means for calculating the risk due to the approach of a following vehicle, and the processing procedure is shown in the flowchart of FIG. 15 and 16 are examples of a virtual screen of horizontal 256 × vertical 240 pixels written in the image memory, FIG. 15 is a virtual screen created in a certain step of the flow of FIG. 14, and FIG. 16 is repeated. It shows a virtual screen created in the next process performed. Figure 1
7 (a) to 7 (d) are diagrams for explaining the results of each processing performed on the search line 302R in FIG. In step S401, the search line 3 is calculated from the brightness data of the virtual screen written in the image memory by the virtual screen creating means 30.
Data of each pixel corresponding to 02R, 302L is extracted,
Create a brightness distribution. The brightness distribution is, for example, as shown in FIG. Reference numeral 601 denotes the luminance distribution of FIG. 15 created previously (referred to as old luminance distribution), and 602 is the luminance distribution of FIG. 16 created this time (referred to as new luminance distribution). At this time, a portion that appears brighter than the road surface has a mountain-shaped luminance distribution, so that the smear portion brighter than the road surface and the image of the following vehicle both have a mountain-shaped luminance distribution.
【0009】ステップS402では、今回の工程のステ
ップS401で抽出した輝度から、前回の工程のステッ
プS401で抽出した輝度を差し引いて、輝度差分布を
作成する。輝度差分布は例えば図17(b)の603に
示すようになる。探索線上の画素Z(m1,n1)の位置におけ
る新輝度分布602の輝度値をA(m1,n1)とし、旧輝度分
布601の輝度値をB(m1,n1)とすると、輝度差はA
(m1,n1)−B(m1 ,n1)で求められる。In step S402, the brightness difference distribution is created by subtracting the brightness extracted in step S401 of the previous process from the brightness extracted in step S401 of the current process. The brightness difference distribution is, for example, as shown by 603 in FIG. If the brightness value of the new brightness distribution 602 at the position of the pixel Z (m1, n1) on the search line is A (m1, n1) and the brightness value of the old brightness distribution 601 is B (m1, n1) , the brightness difference is A
It is calculated by (m1, n1) −B (m1 , n1) .
【0010】ステップS403では、ステップS401
で作成した輝度分布の微分値分布を作成する。これは例
えば、輝度分布602の探索線に沿った隣接画素間の輝
度差を求めることにより実行される。微分値分布は、例
えば図17(c)図の604に示すようになる。探索線
上の画素Z(m1,n1)の右隣(遠方方向)の画素Z(m2,n2)の
位置における新輝度分布602の輝度値をA(m2,n2)とす
ると、微分値はA(m1,n1)−A(m2,n2)で求められる。In step S403, step S401
Create a differential value distribution of the brightness distribution created in. This is performed, for example, by obtaining the brightness difference between adjacent pixels along the search line of the brightness distribution 602. The differential value distribution is as shown by 604 in FIG. 17 (c), for example. If the brightness value of the new brightness distribution 602 at the position of the pixel Z (m2, n2 ) on the right side (far direction) of the pixel Z (m1, n1) on the search line is A (m2, n2) , the differential value is A ( It is calculated by m1, n1) −A (m2, n2) .
【0011】ステップS404では、ステップS402
で作成した輝度差分布603と、ステップS403で作
成した微分値分布604の相乗積を演算し、探索線30
2R,302Lに沿った相乗積分布を作成する。相乗積
分布は例えば図17(d)の605に示すようになる。
相乗積は、輝度差(A(m1,n1)−B(m1,n1))×微分値(A
(m1,n1)−A(m2,n2))で求められる。In step S404, step S402
The product of the luminance difference distribution 603 created in step S403 and the differential value distribution 604 created in step S403 is calculated and the search line 30 is calculated.
Create a synergistic product distribution along 2R, 302L. The synergistic product distribution is, for example, as shown by 605 in FIG.
The cross product is the brightness difference (A (m1, n1) −B (m1, n1) ) × differential value (A
It is calculated by (m1, n1) −A (m2, n2) ).
【0012】旧輝度分布601で、輝度A(m1,n1)と同じ値
となる輝度B(mx,nx)の画素位置をZ(m x,nx)とすると、位
相差(Z(m1,n1)−Z(mx,nx))は後続車の接近度合い(相
対速度)を表す値である。輝度差(A(m1,n1)−
B(m1,n1))は、この位相差(Z(m1,n1)−Z(mx,nx))とほ
ぼ等価な意味合いとなり、便宜上で後続車の接近度合い
(相対速度)を表す値と見なし得る。ただし、接近度合
いを輝度差で表した場合、後続車が接近中であるか否か
の判断要素として微分値(A(m1,n1)−A(m2,n2))の正負
を用いる必要がある。すなわち、相乗積((A(m1,n1)−
B(m1,n1))×(A(m1,n1)−A(m2,n2)))が負の場合は接
近中、正の場合は車間距離が拡大中であると考えられ
る。[0012] In the former brightness distribution 601, the pixel positions of the luminance A (m1, n1) becomes equal to the luminance B (mx, nx) and Z (m x, nx), the phase difference (Z (m1, n1 ) −Z (mx, nx) ) is a value that represents the approaching degree (relative speed) of the following vehicle. Brightness difference (A (m1, n1) −
B (m1, n1) ) has almost the same meaning as this phase difference (Z (m1, n1) −Z (mx, nx) ), and is regarded as a value representing the approaching degree (relative speed) of the following vehicle for convenience. obtain. However, when the approaching degree is represented by a brightness difference, it is necessary to use the positive / negative of the differential value (A (m1, n1) −A (m2, n2) ) as a judgment factor of whether or not the following vehicle is approaching. . That is, the product ((A (m1, n1) −
When B (m1, n1) ) × (A (m1, n1) − A (m2, n2) )) is negative, it is considered to be approaching, and when it is positive, the inter-vehicle distance is expanding.
【0013】次に図9の比較判定手段33について説明
する。比較判定手段33は、後続車の接近による危険度
から、警報出力の判断を行う手段であり、処理手順を図
1823のフローチャートに示している。ステップS1
01では、危険度演算手段32で得られる相乗積分布6
05の中から、負数の絶対値のみを抽出し、探索線30
2R,302Lを分割した各線分毎の最大絶対値を抽出
する。ステップS102では、ステップS101で抽出
された最大絶対値を、あらかじめ線分毎に設定された閾
値と比較する。ステップS103は、各線分毎の比較が
完了してなければステップS102へ復帰させるように
作用する繰返し工程である。Next, the comparison / determination means 33 shown in FIG. 9 will be described. The comparison / determination unit 33 is a unit that determines the warning output based on the degree of danger due to the approach of the following vehicle, and the processing procedure is shown in the flowchart of FIG. 1823. Step S1
In 01, the synergistic product distribution 6 obtained by the risk calculating means 32
Only the absolute value of the negative number is extracted from 05 and the search line 30
The maximum absolute value for each line segment obtained by dividing 2R and 302L is extracted. In step S102, the maximum absolute value extracted in step S101 is compared with a threshold value set in advance for each line segment. Step S103 is a repetitive process that acts to return to step S102 if the comparison for each line segment is not completed.
【0014】ステップS102で最大相乗積の絶対値が
閾値よりも大きい箇所があった場合にはステップS10
4へ移行し、減速スイッチ23がONしているかどうか
を判定する。ONしておれば、ステップS105で警報
出力を発生し、以後少なくとも一定の時間長さの間は、
警報ブザー40を吹鳴させたり、警報表示器41を点滅
させる。ステップS102の判定で全ての箇所の最大絶
対値が閾値以下であった場合と、ステップS104で減
速スイッチがOFFしていると判定された場合にステッ
プS106で警報出力を停止する。If there is a portion where the absolute value of the maximum product is larger than the threshold value in step S102, step S10
4 and it is determined whether the deceleration switch 23 is ON. If it is turned on, an alarm output is generated in step S105, and thereafter, at least for a certain period of time,
The alarm buzzer 40 is sounded and the alarm display 41 is blinked. If it is determined in step S102 that the maximum absolute values of all locations are equal to or less than the threshold value, or if it is determined in step S104 that the deceleration switch is OFF, the alarm output is stopped in step S106.
【0015】このように、監視・警報装置は、オプチカ
ルフローで物体の移動量を演算し、対象物を検出する画
像処理演算を行なっているので、画像中にスミアが存在
した場合においては、スミアの輝度は十分高いので、光
源やカメラの移動等によりスミアの位置が変化したとき
に、これを移動する対象物として誤検出するという問題
点があった。As described above, since the monitoring / warning apparatus calculates the amount of movement of the object by the optical flow and performs the image processing calculation for detecting the object, when the smear is present in the image, the smear is detected. Has a sufficiently high luminance, there is a problem that when the position of the smear changes due to the movement of the light source or the camera, the smear is erroneously detected as a moving object.
【0016】勿論、従来から、それら画像処理装置にお
けるスミアの検出方法と検出したスミアの影響を回避す
る画像処理技術については種々提案されている。例え
ば、第1の方法として、特開2000−242793号
公報には、CCDカメラで撮像した道路画像中の白線情
報を検出する白線認識装置が開示されている。この白線
認識装置のスミア検出方法について、図19の撮影され
た道路画像により説明する。Of course, various types of smear detection methods and image processing techniques for avoiding the influence of the detected smear have been proposed in the past. For example, as a first method, Japanese Patent Laid-Open No. 2000-242793 discloses a white line recognition device that detects white line information in a road image captured by a CCD camera. The smear detection method of the white line recognition device will be described with reference to the captured road image in FIG.
【0017】図において300は撮影画面全体、301
Rは撮影された道路の左端のレーンマーキング、301
Lは同じく右レーンマーキング、303は画面内に写っ
ている自車のバンパー、502は画面内に写った太陽
(高輝度光源)、503はスミア、60はこの画面30
0を撮影するカメラ(図示しない)の視野内(ここでは
上端)に設けた遮光領域(何も写らないように覆いをし
た領域)である。カメラの撮像視野の上端領域を遮光6
0したので、得られる道路画像の遮光領域60には本来
何も写っていないはずであるが、スミアはこの領域内に
も生じる。そこで、遮光領域60内の高輝度部分61を
検出し、高輝度部分61から真下方向に筋状に延びる領
域をスミア領域503として検出する。この画像処理は
道路の白線を検出するのが本来の目的なので、画面内の
高輝度部分を白線として認識する処理を行なっている
が、スミア503を検出した時には、スミア領域503
を白線の候補から除外することにより、スミア503に
より誤検出が生じるのを防止している。ここで遮光領域
60はある程度の幅(図の縦方向の寸法)が必要であ
る。その理由は遮光領域の上端から下端まで達する高輝
度部分をスミアと判定するため、例えば1画素の幅しか
ないと、ノイズが入っただけでスミアと判定し、誤検出
が増えるからである。In the figure, reference numeral 300 designates the entire photographing screen, and 301.
R is the left lane marking of the road taken, 301
L is also the right lane marking, 303 is the bumper of the vehicle shown in the screen, 502 is the sun (high brightness light source) shown in the screen, 503 is a smear, 60 is this screen 30
It is a light-shielding area (area covered so that nothing is imaged) provided in the field of view (here, the upper end) of a camera (not shown) that captures 0. Shields the upper end area of the camera's visual field 6
Since it was set to 0, nothing should originally appear in the light-shielded area 60 of the obtained road image, but smear also occurs in this area. Therefore, the high-brightness portion 61 in the light-shielded area 60 is detected, and the area extending straight downward from the high-brightness portion 61 is detected as the smear area 503. Since the original purpose of this image processing is to detect a white line on the road, a process of recognizing a high-intensity part in the screen as a white line is performed. However, when the smear 503 is detected, the smear area 503 is detected.
Is excluded from the candidates for the white line, thereby preventing the smear 503 from causing an erroneous detection. Here, the light shielding region 60 needs to have a certain width (dimension in the vertical direction in the drawing). The reason is that the high-luminance portion reaching from the upper end to the lower end of the light-shielded area is determined to be smear, and if the width is only one pixel, for example, it is determined to be smear due to the presence of noise, and false detection increases.
【0018】また、第2の方法として、図20は特開平
10−141921号公報に開示された道路画像中の走
行路を検出する走行路検出装置の構成図である。この装
置では、走行路検出の演算用画像を撮像する普通の感度
のカメラ251と、スミア検出の演算用画像を撮像する
低感度カメラ252の2台のカメラを同じ撮像領域を持
つように設置する。低感度カメラ252には原理的にス
ミアが生じないことを利用して、走行路検出の演算用画
像から、明度補正したスミア検出の演算用画像を差分演
算し、得られた差分画像の高輝度領域をスミア領域とし
て検出している。スミア検出後の処理は、前記特開20
00−242793号公報と同じであるので説明は省略
する。As a second method, FIG. 20 is a configuration diagram of a traveling road detecting device for detecting a traveling road in a road image disclosed in Japanese Patent Laid-Open No. 10-141921. In this apparatus, two cameras, an ordinary sensitivity camera 251 that captures a travel path detection calculation image and a low sensitivity camera 252 that captures a smear detection calculation image, are installed so as to have the same imaging area. . In principle, the smear does not occur in the low-sensitivity camera 252, and a difference calculation is performed on the brightness-corrected calculation image for smear detection from the calculation image for road detection to obtain a high brightness of the obtained difference image. The area is detected as a smear area. The process after the smear detection is described in the above-mentioned Japanese Patent Laid-Open No.
The description is omitted because it is the same as that of Japanese Patent Publication No. 00-242793.
【0019】また、第3の方法として、図21は特開平
09−142208号公報に開示された周辺物体認識装
置の構成図である。この装置は、CCDカメラで撮像し
た画像画像(原画像)のエッジ画像を生成し、エッジ点
の座標を含む直線状の領域の輝度値が、閾値以上であれ
ば、このエッジをスミア領域であるとして検出するもの
である。スミアを検出した時は、スミア領域の画像を補
間した画像を処理に用いることで、スミアによる誤検出
の防止を行っている。As a third method, FIG. 21 is a block diagram of a peripheral object recognition device disclosed in Japanese Patent Laid-Open No. 09-142208. This device generates an edge image of an image image (original image) captured by a CCD camera, and if the brightness value of a linear area including the coordinates of the edge point is equal to or greater than a threshold value, this edge is a smear area. Is detected as. When a smear is detected, an image obtained by interpolating an image in the smear area is used for processing to prevent erroneous detection due to smear.
【0020】[0020]
【発明が解決しようとする課題】従来のスミア検出方法
は、以上のように構成されていたので、画像の一部に遮
光領域を設定する方法では、画像情報の一部が使用出来
なくなるという問題点があった。その為、限られた範囲
の画像情報だけを必要とする画像処理装置には適する
が、撮像領域全ての画像情報を必要とする画像処理装置
には適さないという課題があった。Since the conventional smear detection method is constructed as described above, the method of setting the light-shielding area in a part of the image cannot use a part of the image information. There was a point. Therefore, there is a problem that it is suitable for an image processing apparatus that requires only a limited range of image information, but is not suitable for an image processing apparatus that requires image information of the entire imaging region.
【0021】また、本来の画像処理に用いる画像を得る
為のカメラとは別に、スミア検出の為の画像を得る低感
度カメラを設置する方法では、カメラが2台となりコス
トが高くなるという課題があった。また、明度補正や、
差分処理といった演算量の多い処理を必要とする為、演
算時間が長くなり、高速な処理を必要とする画像処理装
置には適さないという課題があった。Further, in the method of installing a low-sensitivity camera for obtaining an image for smear detection in addition to the camera for obtaining an image used for the original image processing, there is a problem that the number of cameras becomes two and the cost becomes high. there were. Also, brightness correction,
Since a process with a large amount of calculation such as a difference process is required, the calculation time becomes long, and there is a problem that it is not suitable for an image processing apparatus that requires high-speed processing.
【0022】また、エッジ画像処理を行なう方法では、
演算量の多い画像処理を必要とする為、高速な処理を必
要とする用途には適さなかった。また、スミアの検出条
件が輝度値の明るさである為、オートゲインにより調整
された画像では、スミアが検出できないという課題があ
った。Further, in the method of performing edge image processing,
Since it requires a large amount of image processing, it is not suitable for applications requiring high-speed processing. Further, since the smear detection condition is the brightness of the brightness value, there is a problem that the smear cannot be detected in the image adjusted by the auto gain.
【0023】また、オプチカルフロー等で物体の移動量
を演算する従来の画像処理装置では、対象物を検出する
画像処理演算において、光源やカメラの移動等によりス
ミアの位置が変化した場合、スミアの位置の変化が移動
量として検出し、対象物として誤検出するという課題が
あった。Further, in the conventional image processing apparatus for calculating the movement amount of the object by the optical flow or the like, in the image processing calculation for detecting the object, when the position of the smear changes due to the movement of the light source or the camera, the smear There has been a problem that a change in position is detected as a movement amount and is falsely detected as an object.
【0024】本発明は、上記の問題点を解決する為にな
されたもので、CCDカメラで撮像される画像情報を欠落
させることなく、また2台のカメラを必要とせず、オー
トゲインで調整された画像でも、少ない演算量で高速に
スミアを検出することを可能としたスミア検出方法を提
供することを目的としている。また、このスミア検出方
法を用いた画像処理装置を提供することを目的としてい
る。また、スミアによる誤検出のない移動体検出手段を
備えた画像処理装置を提供することを目的としている。The present invention has been made in order to solve the above-mentioned problems, and does not lose image information picked up by a CCD camera, does not require two cameras, and is adjusted by auto gain. It is an object of the present invention to provide a smear detection method capable of detecting smear at high speed with a small amount of calculation even for an image. Another object of the present invention is to provide an image processing device using this smear detection method. Another object of the present invention is to provide an image processing apparatus provided with a moving body detection unit that does not cause false detection due to smear.
【0025】[0025]
【課題を解決するための手段】この発明によるスミア検
出方法は、画面上に、発生が予想されるスミアの方向に
対して直交する方向にスミア監視領域を設定するスミア
監視領域設定手順と、前記監視領域を構成する第1画素
の全てについて、各第1画素の輝度と、各第1画素から
前記スミアに対して直交方向に所定の画素数離れた位置
に存在する第2画素の輝度との輝度差を求め、この輝度
差が所定の閾値以上である前記第1画素をスミア候補画
素として検出するスミア候補画素検出手順と、前記スミ
ア候補画素を含み前記スミアと平行な直線上に存在する
第3画素の輝度と、この第3画素から前記スミアに対し
て直交方向に所定の画素数離れた位置に存在する第4画
素の輝度との輝度差を求め、この輝度差が所定の閾値以
上であった場合、前記スミア候補画素と前記第3画素と
を含む領域をスミア発生領域であると判定するスミア判
定手順とを含むものである。A smear detecting method according to the present invention comprises a smear monitoring area setting procedure for setting a smear monitoring area on a screen in a direction orthogonal to a direction of a smear expected to occur. For all of the first pixels forming the monitoring area, the brightness of each first pixel and the brightness of each second pixel existing at a position apart from each first pixel by a predetermined number of pixels in the direction orthogonal to the smear A smear candidate pixel detection procedure of obtaining a brightness difference and detecting the first pixel having a brightness difference equal to or larger than a predetermined threshold as a smear candidate pixel, and a smear candidate pixel existing on a straight line parallel to the smear including the smear candidate pixel. The brightness difference between the brightness of three pixels and the brightness of the fourth pixel existing at a position that is a predetermined number of pixels away from the third pixel in the direction orthogonal to the smear is obtained, and the brightness difference is equal to or more than a predetermined threshold value. If there is, An area including the serial smear candidate pixel and said third pixel is intended to include the and determining the smear determining step is a smear generation area.
【0026】また、前記スミア判定手順による判定結果
の変化を時系列的に監視し、スミアであるとの判定が所
定の回数連続したとき、スミアであると確定するスミア
確定手順を含むものである。Further, it includes a smear determining procedure for monitoring the change of the determination result by the smear determining procedure in time series and determining the smear when the determination of the smear is continued for a predetermined number of times.
【0027】この発明による画像処理装置は、強い光源
に対して特定方向にスミアを生じる撮像手段、前記撮像
手段により得た画面上で、前記スミアに対して直交する
線状のスミア監視領域を設定するスミア監視領域設定手
段、前記監視領域を構成する第1画素の全てについて、
各第1画素の輝度と、各第1画素から前記スミアに対し
て直交方向に所定の画素数離れた位置に存在する第2画
素の輝度との輝度差を求め、この輝度差が所定の閾値以
上である前記第1画素をスミア候補画素として検出する
スミア候補検出手段、前記スミア候補画素を含み前記ス
ミアと平行な直線上に存在する第3画素の輝度と、この
第3画素から前記スミアに対して直交方向に所定の画素
数離れた位置に存在する第4画素の輝度との輝度差を求
め、この輝度差が所定の閾値以上であった場合、前記ス
ミア候補画素と前記第3画素とを含む領域をスミア発生
領域であると判定するスミア判定手段を備えたものであ
る。In the image processing apparatus according to the present invention, an image pickup means for producing a smear in a specific direction with respect to a strong light source, and a linear smear monitoring area orthogonal to the smear on the screen obtained by the image pickup means are set. Smear monitoring area setting means for all of the first pixels forming the monitoring area,
The brightness difference between the brightness of each first pixel and the brightness of a second pixel existing at a position that is a predetermined number of pixels away from each first pixel in the direction orthogonal to the smear is obtained, and this brightness difference is a predetermined threshold value. The smear candidate detection means for detecting the first pixel as a smear candidate pixel, the brightness of the third pixel existing on a straight line parallel to the smear including the smear candidate pixel, and the smear from the third pixel On the other hand, the brightness difference from the brightness of the fourth pixel existing at a position separated by a predetermined number of pixels in the orthogonal direction is obtained, and when the brightness difference is equal to or more than a predetermined threshold value, the smear candidate pixel and the third pixel The smear determining means is provided for determining that the area including is a smear occurrence area.
【0028】また、前記スミア監視領域設定手段は、前
記撮像手段より得られた画面上で、前記スミアに対して
直交方向に設定した複数の線のそれぞれについて、前記
線上の画素の平均輝度値を求めた後、前記線の中から前
記画素の平均輝度値の時系列的な平均値が最も低い値と
なる前記線をスミア監視領域としたものである。Further, the smear monitoring area setting means sets, on the screen obtained by the image pickup means, for each of a plurality of lines set in a direction orthogonal to the smear, an average luminance value of pixels on the line. After the determination, the line having the lowest time-series average value of the average luminance values of the pixels in the line is the smear monitoring region.
【0029】また、強い光源に対して特定方向にスミア
を生じる撮像手段、前記撮像手段により得た画面上で、
前記スミアに対して直交する線状のスミア監視領域を設
定するスミア監視領域設定手段、前記監視領域を構成す
る第1画素の全てについて、各第1画素の輝度と、各第
1画素から前記スミアに対して直交方向に所定の画素数
離れた位置に存在する第2画素の輝度との輝度差を求
め、この輝度差が所定の閾値以上である前記第1画素を
スミア候補画素として検出するスミア候補検出手段、前
記スミア候補画素を含み前記スミアに平行な線上に存在
する全ての第3画素の輝度と、この全ての第3画素のそ
れぞれから前記スミアに対して直交方向に所定の画素数
離れた位置に存在する第4画素の輝度との輝度差を求
め、求めた輝度差が所定の閾値以上である画素の割合が
所定の割合以上であった場合、前記スミア候補画素を含
み前記スミアに平行な線はスミア発生領域であると判定
するスミア判定手段を備えたものである。Further, on an image pickup means for producing smear in a specific direction with respect to a strong light source, on a screen obtained by the image pickup means,
Smear monitoring area setting means for setting a linear smear monitoring area orthogonal to the smear, the brightness of each first pixel, and the smear from each first pixel for all of the first pixels forming the monitoring area. A smear for detecting a brightness difference from the brightness of a second pixel existing at a position separated by a predetermined number of pixels in the orthogonal direction with respect to the first pixel whose brightness difference is a predetermined threshold value or more as a smear candidate pixel. Candidate detecting means, luminance of all third pixels including the smear candidate pixel and existing on a line parallel to the smear, and a predetermined number of pixels away from each of all the third pixels in the direction orthogonal to the smear. The brightness difference from the brightness of the fourth pixel existing at the position is found, and if the ratio of the pixels having the calculated brightness difference is equal to or more than a predetermined threshold value is equal to or more than a predetermined ratio, the smear is included in the smear candidate pixel. Parallel Are those with a smear determining means for determining that the smear generation area.
【0030】また、強い光源に対して特定方向にスミア
を生じる撮像手段、前記撮像手段により得た画面上で、
前記スミアに対して直交する線状のスミア監視領域を設
定するスミア監視領域設定手段、前記監視領域を構成す
る第1画素の全てについて、各第1画素の輝度と、各第
1画素から前記スミアに対して直交方向に所定の画素数
離れた位置に存在する第2画素の輝度との輝度差を求
め、この輝度差が所定の閾値以上である前記第1画素を
スミア候補画素として検出するスミア候補検出手段、前
記スミア候補画素を含み前記スミアに平行な線上に存在
する複数の画素の輝度と、この複数の画素のそれぞれか
らスミア発生に対して直交方向に所定の画素数離れた位
置に存在する画素の輝度との輝度差を求め、求めた輝度
差が所定の閾値以上である画素の割合が所定の割合以上
であった場合、前記前記スミア候補画素を含み前記スミ
アに平行な線はスミア発生領域であると判定するスミア
判定手段を備えたものである。Further, on an image pickup means for producing smear in a specific direction with respect to a strong light source, on a screen obtained by the image pickup means,
Smear monitoring area setting means for setting a linear smear monitoring area orthogonal to the smear, the brightness of each first pixel, and the smear from each first pixel for all of the first pixels forming the monitoring area. A smear for detecting a brightness difference from the brightness of a second pixel existing at a position separated by a predetermined number of pixels in the orthogonal direction with respect to the first pixel whose brightness difference is a predetermined threshold value or more as a smear candidate pixel. Candidate detection means, luminance of a plurality of pixels existing on a line parallel to the smear including the smear candidate pixel, and present at a position separated from each of the plurality of pixels by a predetermined number of pixels in a direction orthogonal to the smear occurrence. If the ratio of the pixels whose brightness difference is greater than or equal to a predetermined threshold value is greater than or equal to a predetermined ratio, the line parallel to the smear including the smear candidate pixel is smeared. Those having a smear determining means for determining that the generation region.
【0031】また、前記撮像手段により得られた画面中
の画像処理対象を画像処理して、その画像を抽出する画
像抽出手段、前記スミア発生領域と判定した領域を前記
画面の画像処理対象から除外する除外手段を備えたもの
である。Further, the image processing means for image-processing the image processing object in the screen obtained by the image pickup means and extracting the image, the area determined as the smear occurrence area is excluded from the image processing objects of the screen. It is provided with an excluding means to do so.
【0032】また、前記撮像手段は車両の前方又は後方
に向けて搭載されており、前記スミア監視領域は、前記
撮像手段より得られた画面上に撮影されている前記車両
のパンパー像の近傍に設定されたものである。Further, the image pickup means is mounted toward the front or rear of the vehicle, and the smear monitoring area is near the bumper image of the vehicle photographed on the screen obtained by the image pickup means. It has been set.
【0033】また、画像抽出手段は、前記画面内の画像
の移動量を演算し、前記移動量が所定のレベルを超える
画像を対象として抽出する抽出手段を含み、前記演算し
た移動量の内、前記スミア判定手段で判定されたスミア
発生領域内の画像の前記移動量を前記抽出対象から除外
する誤検出防止手段を備えたものである。Further, the image extracting means includes an extracting means for calculating a moving amount of the image within the screen and extracting an image for which the moving amount exceeds a predetermined level as a target. It is provided with an erroneous detection prevention unit that excludes the movement amount of the image in the smear occurrence region determined by the smear determination unit from the extraction target.
【0034】また、前記スミア監視領域は1画素幅とし
たものである。また、前記撮像手段はCCDカメラを用
いたものである。The smear monitoring area has a width of one pixel. The image pickup means uses a CCD camera.
【0035】[0035]
【発明の実施の形態】実施の形態1.図1は、この発明
の実施の形態1のスミア検出方法を用いた画像処理装置
の構成図である。具体的な事例で説明するため、ここで
は、従来例で説明したと同様の車両に積載して後方を監
視し、車間距離についての警報を発する監視・警報装置
を例として説明する。図1において、1は車両用後方監
視・警報装置の本体部分、2は該本体部分内にあって外
部の各種入力機器(後述)の信号を中継する入力インタ
ーフェース、3は以下に説明する画像処理を実行するマ
イクロプロセッサ、4は上記マイクロプロセッサ3と外
部の各種出力機器(後述)間を中継する出力インターフ
ェース、5は上記マイクロプロセッサ3との間で情報交
換が行われるメモリ(以下RAM)であり、該RAM内
には後述の画像処理情報等が読み書きされる。また上記
マイクロプロセッサ3は図示しないシステムメモリ(以
下ROM)と接続され、このROMには後述する各種の
手段を実行するためのプログラムが格納されている。BEST MODE FOR CARRYING OUT THE INVENTION Embodiment 1. 1 is a block diagram of an image processing apparatus using the smear detection method according to the first embodiment of the present invention. In order to explain in a specific case, here, a monitoring / warning device will be described as an example, which is mounted on a vehicle similar to that described in the conventional example, monitors the rear, and issues a warning about an inter-vehicle distance. In FIG. 1, reference numeral 1 is a main body portion of a vehicle rear monitoring / warning device, 2 is an input interface for relaying signals of various external input devices (described later) inside the main body portion, and 3 is image processing described below. 4 is an output interface for relaying between the microprocessor 3 and various external output devices (described later), and 5 is a memory (hereinafter RAM) for exchanging information with the microprocessor 3. Image processing information, which will be described later, is read and written in the RAM. Further, the microprocessor 3 is connected to a system memory (hereinafter referred to as ROM) not shown, and the ROM stores programs for executing various means described later.
【0036】20は自動車の後部に設置されたCCDカ
メラ等の後方監視カメラ(以下カメラ)であり、カメラ
20はNTSC規格による画像信号を上記マイクロプロ
セッサ3に送信する。マイクロプロセッサ3はカメラ2
0の画像信号を仮想画面作成手段30によって、例えば
256ドット×240ドットの仮想画面上の各画素に対
応した夫々の画像メモリに対して、色度情報や輝度情報
を例えば各8ビットのディジタル情報として書き込む
(要するに画像を記憶する)ようになっている。21は
この自動車のハンドル角の回転角度に応動した信号を発
生する操舵角センサであり、22はこの車の車速センサ
である。操舵角センサ21からの信号と、車速センサ2
2からの信号は、探索線設定手段31で探索線の湾曲化
補正(後述)を行う際に使用する。23は例えばこの車
のブレーキペダルを踏んだ時、或いはアクセルペダルを
戻した時に閉路する減速スイッチであり、減速スイッチ
23の信号は比較判定手段33で使用する。カメラ2
0、操舵角センサ21、車速センサ22、減速スイッチ
23のそれぞれの信号は、入力インターフェース2を介
してマイクロプロセッサ3に供給される。40は警報ブ
ザーであり、41はLED等の警報表示器である。警報
ブザー40と警報表示器41は、出力インターフェース
4を介してマイクロプロセッサ3から駆動される。Reference numeral 20 denotes a rear monitoring camera (hereinafter referred to as a camera) such as a CCD camera installed in the rear portion of the automobile, and the camera 20 sends an image signal according to the NTSC standard to the microprocessor 3. Microprocessor 3 is camera 2
The image signal of 0 is output by the virtual screen creating means 30 to each image memory corresponding to each pixel on the virtual screen of, for example, 256 dots × 240 dots, and the chromaticity information and the brightness information are, for example, 8-bit digital information. Is written (in short, the image is stored). Reference numeral 21 is a steering angle sensor that generates a signal in response to the rotation angle of the steering wheel angle of this vehicle, and 22 is a vehicle speed sensor of this vehicle. The signal from the steering angle sensor 21 and the vehicle speed sensor 2
The signal from 2 is used when the search line setting unit 31 corrects the curved search line (described later). Reference numeral 23 denotes a deceleration switch that is closed when the brake pedal of the vehicle is depressed or when the accelerator pedal is returned. The signal from the deceleration switch 23 is used by the comparison / determination means 33. Camera 2
Signals of 0, the steering angle sensor 21, the vehicle speed sensor 22, and the deceleration switch 23 are supplied to the microprocessor 3 via the input interface 2. Reference numeral 40 is an alarm buzzer, and 41 is an alarm indicator such as an LED. The alarm buzzer 40 and the alarm indicator 41 are driven by the microprocessor 3 via the output interface 4.
【0037】仮想画面作成手段30は、従来例で前述し
たように後方監視カメラ20より入力される画像信号
を、ディジタル信号としてメモリ5に書き込む手段であ
る。書き込まれた画面の情報は仮想画面と呼ぶ。探索線
設定手段31は、仮想画面上に後続車を探知する為の探
索線を設定する手段であり従来例で説明したと同じ機能
なので説明を省略する。危険度演算手段32は、後続車の
接近による危険度を演算する手段であるが、従来例で説
明したと同じ機能なので説明を省略する。比較判定手段
33は、後続車の接近による危険度から、警報出力の判断
を行う手段であるが、従来例で説明したと同じ機能なの
で説明を省略する。The virtual screen creating means 30 is means for writing the image signal input from the rear monitoring camera 20 into the memory 5 as a digital signal as described in the conventional example. The written screen information is called a virtual screen. The search line setting means 31 is a means for setting a search line for detecting a following vehicle on the virtual screen and has the same function as that described in the conventional example, and therefore its description is omitted. The risk calculating means 32 is a means for calculating the risk due to the approach of the following vehicle, but the description thereof is omitted because it has the same function as described in the conventional example. Comparison judgment means
Reference numeral 33 is a means for making a warning output judgment based on the degree of danger due to the approach of the following vehicle, but the description thereof is omitted because it has the same function as described in the conventional example.
【0038】50はこの発明によるスミア検出手段であ
り、内部には、後述するスミア監視領域設定手段50a
と、スミア候補検出手段50bと、スミア判定手段50
cとを含む。ここでスミア候補検出手段50bは、横方
向検出手段とも言う。スミア判定手段50cは縦方向検
出手段とも言う。その処理手順はそれぞれ図3と図5の
フローチャートに示す。また理解を助けるため図2に説
明用の道路画像を、図4と図5に処理データの例を示
す。まず、図3によりスミア監視領域設定手段50aの
動作について説明する。ステップS700aで、図2に
示すように、画面300の中に、通常この領域には、道
路しか映らないと考えられて、輝度値は低いはずと思わ
れる領域を選んでスミア監視領域504を設定する。図
2の例では、スミア監視領域504は、発生するであろ
うスミアに対して直交する(画面では水平)方向に、自
車バンパー像303のすぐ上に1画素幅の1本のライン
として設定している。この手順をスミア監視領域設定手
順と言い、スミア監視領域設定手段50aにより行われ
る。Reference numeral 50 is a smear detecting means according to the present invention, and inside thereof, a smear monitoring area setting means 50a described later.
, Smear candidate detecting means 50b, and smear determining means 50
Including c and. Here, the smear candidate detecting means 50b is also referred to as a lateral direction detecting means. The smear determination means 50c is also referred to as vertical direction detection means. The processing procedure is shown in the flowcharts of FIGS. 3 and 5, respectively. Further, in order to facilitate understanding, a road image for explanation is shown in FIG. 2, and an example of processed data is shown in FIGS. 4 and 5. First, the operation of the smear monitoring area setting means 50a will be described with reference to FIG. In step S700a, as shown in FIG. 2, the smear monitoring area 504 is set by selecting an area in the screen 300 where only the road is considered to be normally reflected in the area and the brightness value should be low. To do. In the example of FIG. 2, the smear monitoring area 504 is set as one line having a one-pixel width immediately above the vehicle bumper image 303 in a direction (horizontal on the screen) orthogonal to a smear that may occur. is doing. This procedure is called a smear monitoring area setting procedure and is performed by the smear monitoring area setting means 50a.
【0039】次に、スミア候補検出手段50bについて
説明する。ステップS701では、仮想画面作成手段3
0でメモリ5に書き込まれた仮想画面の輝度データか
ら、スミア監視領域504に対応する各画素(スミア監
視領域を構成する画素を第1画素と言う)のデータを抽
出し、例えば図4(a)図に示すように輝度分布801
を作成する。図2の仮想画面300上の位置を横軸i=
0〜255、縦軸j=0〜239とし、各第1画素をC
(i,j) (i=0〜255,j=0〜239)、C(i,j)の輝度値をP
1(i, j) で表す。こうすると、例えば、画面の下から第
l行目の全画素はC(i,l) (i=0〜255)、C(i,l)の輝度
値はP1(i,l) (i=0〜255)と表すものとする。説明
の都合上、スミア監視領域504の座標を、i=0〜2
55、j=yであったとすると、監視領域504上の各
第1画素の座標はC(i,y) (i=0〜255)、C(i,y)の輝度
値はP1(i,y) (i=0〜255)となる。ステップS70
2では、監視領域504上の各第1画素について、その
左右3画素隣に存在する画素(両方とも第2画素と言
う)の輝度差をそれぞれに求め、小さい方の輝度差を処
理後の値とする処理を行う。即ち、スミア監視領域50
4上の上記処理後の輝度値をP2(i,y) (i=0〜255)
とすると、P2(i,y)=Min(P1(i,y)−P1(i-3,y),
P1(i,y)−P1(i+3,y) )で表される。なお、ここで
は左右の3画素隣に存在する画素を用いて(最大幅5画
素)明るい領域を検出すると説明したが、検出したい領
域の幅に応じて、比較に用いる画素(第2画素)の位置
は決定してよい。図4(b)の図は、輝度分布801に
対してステップS702の処理を施した輝度差グラフP
2である。Next, the smear candidate detecting means 50b will be described. In step S701, the virtual screen creating means 3
At 0, data of each pixel corresponding to the smear monitoring area 504 (pixels forming the smear monitoring area is referred to as a first pixel) is extracted from the brightness data of the virtual screen written in the memory 5 at 0, for example, as shown in FIG. ) As shown in the figure, the luminance distribution 801
To create. The horizontal axis of the position on the virtual screen 300 in FIG.
0-255, vertical axis j = 0-239, each first pixel is C
(i, j) (i = 0 to 255, j = 0 to 239), and the brightness value of C (i, j) is P
Expressed as 1 (i, j) . This way, for example, from the bottom of the screen
It is assumed that all pixels in the l-th row are represented by C (i, l) (i = 0 to 255), and the luminance value of C (i, l) is represented by P1 (i, l) (i = 0 to 255). For convenience of description, the coordinates of the smear monitoring area 504 are i = 0 to 2
55, j = y, the coordinates of each first pixel on the monitoring area 504 are C (i, y) (i = 0 to 255), and the brightness value of C (i, y) is P1 (i, y) . y) (i = 0 to 255). Step S70
In FIG. 2, for each first pixel on the monitoring area 504, the brightness difference between the pixels existing three pixels on the left and right of the first pixel (both are referred to as the second pixel) is obtained, and the smaller brightness difference is the processed value. And perform the process. That is, the smear monitoring area 50
P2 (i, y) (i = 0-255)
Then, P2 (i, y) = Min (P1 (i, y) -P1 (i-3, y) ,
It is represented by P1 (i, y) -P1 (i + 3, y) ). Although it has been described here that the bright area is detected by using the pixels existing next to the three pixels on the left and right (maximum width is 5 pixels), the pixels (second pixels) used for comparison are selected according to the width of the area to be detected. The position may be determined. In the diagram of FIG. 4B, the luminance difference graph P obtained by performing the process of step S702 on the luminance distribution 801 is shown.
It is 2.
【0040】ステップS703では、ステップS702
で得られた値P2(i,y)と、所定の閾値との比較を行
い、値P2(i,y)が閾値以上の場合、すなわち画素C
(i,y) が左右の画素より明るいと判断できる場合は、そ
の画素に1を付与し、閾値以下の場合は0を付与するニ
値化処理を行う。図4(c)図は、輝度差グラフP2を
ニ値化したデータである。ステップS704では、ステ
ップS703の二値化処理後の値が1である画素C (i,y)
を、スミア候補画素(スミアであると判定するための候
補)として抽出する。なお、本実施の形態では最大幅5
画素までの明るい領域が検出される為、周囲の画素より
明るいと判断された画素が横方向に何点か連続して存在
する場合がある。そのような場合は、連続する画素の真
中に存在する画素、または、最も明るい輝度を持つ画素
のみをスミア候補画素にしても良い。ステップS701
からステップS704はスミア候補画素検出手順と言
い、スミア候補検出手段50bにより実行される。In step S703, step S702
Value P2 obtained in(i, y)And a predetermined threshold value are compared.
Value P2(i, y)Is above the threshold, that is, pixel C
(i, y) If you can determine that is brighter than the left and right pixels,
1 is added to the pixel of
Perform value conversion processing. FIG. 4C shows a brightness difference graph P2.
This is the binarized data. In step S704, the step
Pixel C whose value is 1 after the binarization processing in step S703 (i, y)
Is a smear candidate pixel (indicating that a smear is
Supplement) to extract. In this embodiment, the maximum width is 5
Bright areas up to pixels are detected, so it is better than surrounding pixels
Pixels that are judged to be bright exist in a row in the horizontal direction.
There is a case. In such cases, the true
Pixels that exist inside or have the brightest brightness
Only the smear candidate pixel may be used as the smear candidate pixel. Step S701
From step S704 is a smear candidate pixel detection procedure.
Smear candidate detection means 50b.
【0041】次に図1のスミア判定手段50c(縦方向
検出手段)の動作について図5のフローチャートと、図
6の処理データ説明図により説明する。ステップS70
5aでは、図3のステップS704で抽出されたスミア
候補画素の縦方向に存在する画素(第3画素と言う)に
ついて、まず輝度分布P(k,j)、(j=0〜239)を
求める。これを図6(a)に示す。次にこの各第3画素
について、ステップS702と同様に左右に3画素離れ
た位置の画素(両方とも第4画素と呼ぶ)との輝度差比
較処理を行う。即ち、スミア候補画素をC(k,y)とすると
その輝度値はP1(k,y)、縦方向に存在する第3画素はC
(k,j) (j=0〜239)、その輝度値をP1(k,j) (j=0
〜239)で表し、輝度差比較処理後の値をP2(k,j)とす
ると、P2(k,j) =Min(P1(k,j)−P1(k-3,j),P
1(k,j)−P1(k+3,j) )で表される。図6(b)図
は、スミア候補画素C(k,y) の縦方向に存在する画素C
(k,j) (j=0〜239)に対して、ステップS705
の処理を施した縦方向輝度差グラフP2である。ステッ
プS706では、ステップS705で得られた輝度差値
P2(k,j)に対して、所定の閾値と比較を行い、値が閾
値以上の場合、すなわち画素C(k,j) が左右の周囲の画
素より明るいと判断できる場合は処理後の値として1を
与え、閾値以下の場合は0を与えるニ値化処理を行う。
ここで用いる閾値は、ステップS702で得られた値P
2(i,y)−α(αは考えられる誤差分である)と同様の
ものとする。図6(c図)は、輝度差グラフP2をニ値
化したデータ806である。Next, the operation of the smear determining means 50c (vertical direction detecting means) of FIG. 1 will be described with reference to the flowchart of FIG. 5 and the processing data explanatory diagram of FIG. Step S70
In 5a, the luminance distribution P (k, j) , (j = 0 to 239) is first obtained for the pixels existing in the vertical direction of the smear candidate pixels extracted in step S704 of FIG. 3 (referred to as third pixels). . This is shown in FIG. Next, with respect to each of the third pixels, similarly to step S702, a brightness difference comparison process is performed with respect to pixels at positions three pixels left and right (both are referred to as fourth pixels). That is, if the smear candidate pixel is C (k, y) , its luminance value is P1 (k, y) , and the third pixel existing in the vertical direction is C (k, y) .
(k, j) (j = 0 to 239) and its brightness value is P1 (k, j) (j = 0
~ 239), and the value after the brightness difference comparison process is P2 (k, j) , P2 (k, j) = Min (P1 (k, j) -P1 (k-3, j) , P
1 (k, j) -P1 (k + 3, j) ). FIG. 6B shows a pixel C existing in the vertical direction of the smear candidate pixel C (k, y).
For (k, j) (j = 0 to 239), step S705
11 is a vertical luminance difference graph P2 that has been subjected to the processing of FIG. In step S706, the brightness difference value P2 (k, j) obtained in step S705 is compared with a predetermined threshold value, and when the value is equal to or more than the threshold value, that is, the pixel C (k, j) is in the left and right surroundings. If it can be determined that the pixel is brighter than the pixel of 1, the value after processing is given 1 and if it is less than the threshold value, 0 is given.
The threshold value used here is the value P obtained in step S702.
2 (i, y) −α (α is a possible error). FIG. 6C is data 806 obtained by binarizing the brightness difference graph P2.
【0042】ステップS707では、スミア候補画素の
縦方向に存在する画素の全てが周囲の画素より明るい場
合のみ、スミア候補画素(C(k,y))をスミアと判定し、
それ以外は、スミア候補画素を候補から外す判定を行
う。判定後の結果を表すスミア判定フラグをS1(k)と
すると、例えば、ステップS706の結果が全て1であ
った場合はS1(k)を1にして次ステップS708へ処理
を移行し、その他の場合は、S1(k)を0にしてステッ
プS709へ処理を移行する。勿論1がスミア、0はス
ミアではないを表す。ステップS705aからステップ
S707は、この発明に言うスミア判定手順と言い、ス
ミア判定手段50cにより実行される。In step S707, the smear candidate pixel (C (k, y) ) is determined to be a smear only when all the pixels existing in the vertical direction of the smear candidate pixel are brighter than the surrounding pixels.
Otherwise, it is determined that the smear candidate pixel is excluded from the candidates. Assuming that the smear determination flag representing the result after the determination is S1 (k) , for example, if the results of step S706 are all 1, S1 (k) is set to 1 and the process proceeds to the next step S708. In this case, S1 (k) is set to 0 and the process proceeds to step S709. Of course, 1 means smear and 0 means not smear. Steps S705a to S707 are called a smear determination procedure according to the present invention, and are executed by the smear determination means 50c.
【0043】次に時系列処理に基づくスミア確定手順に
ついて説明する。図3、図5のフローは繰返し行なうの
で、時系列的にデータが得られる。ステップS708で
は、スミア判定フラグS1(k)ノ変化を、図7(a)に示
すように、時系列的に監視し、監視領域504上に現れ
た道路の汚れや表示等の一時的なノイズ(データがすぐ
消えることで識別)による誤検出を除去する処理を行
い、ステップS707でスミアと判定した画素C(k,y)が
スミアであるか否かの最終的な決定、確定を行う。この
判定後の結果を表すスミア決定フラグをS2(k) とし、
画素C(k,y) がスミアである場合は1、スミアでない場
合は0とする。図7(b)図に示すように、S2(k)の
値は、S1(k)が時系列的に、例えば3回以上連続して
1であった場合は1に変化させ、3回以上連続して0で
あった場合は0に変化させる。ステップS708をスミ
ア確定手順という。Next, a smear determination procedure based on time series processing will be described. Since the flow of FIGS. 3 and 5 is repeated, data can be obtained in time series. In step S708, changes in the smear determination flag S1 (k) are monitored in time series, as shown in FIG. 7A, and temporary noise such as road stains and displays appearing on the monitoring area 504. Erroneous detection due to (identification by disappearance of data immediately) is removed, and the final determination and determination of whether or not the pixel C (k, y) determined as smear in step S707 is smear is performed. The smear determination flag indicating the result after this determination is set to S2 (k) ,
The pixel C (k, y) is set to 1 when it is a smear, and is set to 0 when it is not a smear. As shown in FIG. 7B, the value of S2 (k) is changed to 1 when S1 (k) is 1 in a time series, for example, three times or more consecutively, and is changed three times or more. If it is 0 continuously, it is changed to 0. Step S708 is called a smear confirmation procedure.
【0044】なお、本実施の形態では、最大幅5画素ま
でのスミアが検出できる為、S2(k )が1である場合
は、画素C(k,y)を中心にスミア発生に対して直交方向
(図2では横方向)に最大5画素の幅にある画素C
(k-2,y) 〜 C(k+2,y) を含む(Z=3)縦方向に存在す
る画素の領域C(k-2,j) 〜 C(k+2,j)(j=0〜239)にス
ミアが発生していると考えられるので、この領域をスミ
ア領域と判定する。本実施の形態では、時系列的判定の
判定基準の連続回数を3回と説明しているが、これに限
らず、装置や環境条件に応じて決定すればよい。In this embodiment, smear with a maximum width of 5 pixels can be detected. Therefore, when S2 (k ) is 1, the smear is orthogonal to the pixel C (k, y). Pixel C with a maximum width of 5 pixels in the direction (horizontal direction in FIG. 2)
Pixel region C (k-2, j) to C (k + 2, j) (j that exists in the vertical direction including (k-2, y) to C (k + 2, y) (Z = 3) = 0 to 239), it is considered that smear has occurred, so this area is determined to be a smear area. In the present embodiment, the number of continuous determination criteria for time-series determination is three times, but the determination is not limited to this and may be determined according to the device and environmental conditions.
【0045】ステップS709は、全てのスミア候補に
ついてのスミア判定が完了したかどうかを判断し、して
いなければステップS705へ復帰させるスミア判定完
了確認用工程であり、全てのスミア候補についてスミア
判定が完了していれば、動作繰返しステップS710へ
処理が移行し、スミア検出手段50を終了(必要に応じ
て繰り返し)する。Step S709 is a smear determination completion confirmation step of determining whether or not smear determination has been completed for all smear candidates and returning to step S705 if not, and smear determination is performed for all smear candidates. If it is completed, the process proceeds to the operation repeating step S710, and the smear detecting means 50 is terminated (repeated as necessary).
【0046】図2のスミア領域503を対象物と誤認識
しないように削除するスミア削除手段51は、相乗積分
布(従来例の図17の(d)図の605であり、画像の
移動量を表すといえる)から、スミア領域と判定された
部分を削除する手段(誤検出防止手段という)である。
具体的には、危険度演算手段32で得られた探索線上の
相乗積分布605に対して、スミア検出手段50で検出
されたスミア領域503内にある画素の相乗積を強制的
に0に置き換えて、検出対象から除外する処理を行う。
相乗積分布を求める手段はこの発明に言う移動画像抽出
手段である。図8(a)図は、危険度演算手段32で得
られた探索線上の相乗積分布605と、スミア検出手段
50で検出されたスミア領域C(k-2,j) 〜 C(k+2,j)(j
=0〜239)を重ねて表しており、図8(b)図は、削除
処理後の相乗積分布901を表している。また、特に移
動画像の抽出対象から除外するだけでなく、一般的に行
われる全ての画像抽出処理対象から除外するとしても良
い。以上の説明では、スミア監視領域504の幅を1画
素であると説明したが、勿論複数画素の幅であっても良
い。幅を狭くするほどノイズの混入による誤判定が増加
するが、本発明では、縦横のスミア判定を実施している
ので、この両判定に同じようにノイズが入るという確率
は極めて少ないので、横方向のスミア判定にノイズが混
入して誤検出しても、次の縦方向の検出で排除される。
したがってスミア監視領域の幅は狭くても良い。幅が狭
ければ処理時間も短縮される。また、スミア監視領域5
04は従来のように遮蔽されているのではないので、一
般の画像処理を行うことができ、画面の縮小となること
がない。The smear deleting means 51 for deleting the smear area 503 in FIG. 2 so as not to be erroneously recognized as an object is a synergistic product distribution (605 in FIG. 17 (d) of the conventional example, which represents the moving amount of the image). It can be said that it is represented), and means for deleting a portion determined to be a smear area (referred to as erroneous detection prevention means).
Specifically, for the synergistic product distribution 605 on the search line obtained by the risk calculating means 32, the synergistic product of the pixels in the smear area 503 detected by the smear detecting means 50 is forcibly replaced with 0. Then, the process of excluding it from the detection target is performed.
The means for obtaining the synergistic product distribution is the moving image extracting means referred to in the present invention. FIG. 8A is a diagram showing the synergistic product distribution 605 on the search line obtained by the risk calculating means 32 and the smear areas C (k-2, j) to C (k + 2 ) detected by the smear detecting means 50. , j) (j
= 0) to 239), and FIG. 8B shows the synergistic product distribution 901 after the deletion processing. Further, not only may be excluded from the extraction target of the moving image, but it may be excluded from all the image extraction processing targets that are generally performed. In the above description, the width of the smear monitoring area 504 has been described as one pixel, but of course, the width may be a plurality of pixels. The narrower the width, the greater the number of erroneous determinations due to the mixing of noise.However, in the present invention, since vertical and horizontal smear determinations are performed, the probability that noise will enter both determinations is extremely low. Even if noise is mixed in the smear determination and the erroneous detection is performed, the smear determination is eliminated in the next vertical detection.
Therefore, the width of the smear monitoring area may be narrow. The narrower the width, the shorter the processing time. Also, smear monitoring area 5
Since 04 is not shielded as in the conventional case, general image processing can be performed, and the screen is not reduced.
【0047】実施の形態2.以上の説明では、スミア判
定時の条件をスミア候補の縦方向に存在する画素の全て
が周囲の画素より明るい場合としているが、判定条件は
仕様に応じて変更して良い。例えば、スミア候補の縦方
向に存在する画素の内、周囲の画素より明るいものの割
合が数十%以上とすれば、ノイズを含む画像に対しても
スミアを検出できる。スミア判定時のステップS705
〜707は、スミア候補の縦方向に存在する画素の全て
について行うと説明したが、スミアは縦方向には安定し
ているので、画素を間引きして処理を行い(例えば数個
の画素毎に1つだけ処理するなど)判定すると、演算量
を削減できるので、より高速にスミアを検出できる。Embodiment 2. In the above description, the condition at the time of smear determination is that all the pixels existing in the vertical direction of the smear candidate are brighter than the surrounding pixels, but the determination condition may be changed according to the specifications. For example, among the pixels existing in the vertical direction of the smear candidate, if the ratio of those brighter than the surrounding pixels is several tens% or more, smear can be detected even in an image containing noise. Step S705 for smear determination
It is described that the smear is performed for all the pixels existing in the vertical direction of the smear candidate. However, since the smear is stable in the vertical direction, the pixels are thinned out and processed (for example, every several pixels are processed). If only one processing is performed), the amount of calculation can be reduced, so that smear can be detected at higher speed.
【0048】実施の形態3.なお、上記説明では、スミ
ア監視領域504を、通常、輝度が低いはずであると考
えられる自車バンパー像303のすぐ上に、発生が予想
されるスミアに対して直交方向(画面に向かって水平)
となるように1画素幅のラインを設定しているが、もっ
と一般化した方法として、仮想画面作成手段30で画像
メモリ5に書き込まれた輝度データから輝度値の低い領
域を検索し、これをスミア監視領域504とするように
自動的に設定するようにしてもよい。具体的には、ま
ず、発生するスミアに対して直交方向(横方向)となる
任意の複数のラインを設定し、各々のライン上に存在す
る画素の平均輝度値を求める処理を所定時間繰り返し行
う。次に、各々のラインについて得られた所定時間分の
平均輝度値の平均値を求め、最も少ない値となる1ライ
ンをスミア監視領域504として選択すればよい。これ
は要するに、得られる画面の中で最も暗いものを抽出し
ているのである。Embodiment 3. In the above description, the smear monitoring area 504 is located right above the bumper image 303 of the vehicle, which is considered to have low brightness, in a direction orthogonal to the smear expected to occur (horizontally toward the screen). )
The line having a width of 1 pixel is set so that as a more generalized method, the virtual screen creating means 30 searches the brightness data written in the image memory 5 for an area having a low brightness value, and this is used. The smear monitoring area 504 may be automatically set. Specifically, first, a plurality of lines that are orthogonal to the generated smear (horizontal direction) are set, and the process of obtaining the average luminance value of the pixels existing on each line is repeated for a predetermined time. . Next, the average value of the average luminance values for the predetermined time obtained for each line is calculated, and one line having the smallest value may be selected as the smear monitoring area 504. In essence, this is extracting the darkest of the resulting screens.
【0049】また、上記の説明では、車両の後方を監視
するカメラを用いた説明を行なったが、これに限定され
るものではなく、たとえば前方監視カメラや工場監視カ
メラ等を用いた画像処理に応用できることは言うまでも
ない。In the above description, a camera for monitoring the rear of the vehicle is used, but the invention is not limited to this. For example, image processing using a front monitoring camera, a factory monitoring camera, or the like. It goes without saying that it can be applied.
【0050】[0050]
【発明の効果】以上説明したように、本発明のスミア検
出方法では、得られた画面内からスミア候補画素を検出
し、スミア候補画素に対して直交する方向の輝度差をも
とにスミアかどうかを判定しているので、画面全体を画
像処理対象として利用することができ、また、スミア検
出専用画像を撮像するカメラは必要とせずカメラは1台
で済み、その演算量も少なくてすむという効果が得られ
る。As described above, according to the smear detection method of the present invention, smear candidate pixels are detected from the obtained screen, and whether smear is detected based on the luminance difference in the direction orthogonal to the smear candidate pixels. Since it determines whether or not it is possible to use the entire screen as an image processing target, it does not require a camera for capturing an image dedicated to smear detection, only one camera is required, and the amount of calculation is small. The effect is obtained.
【0051】また、判定結果を時系列的に監視して、ス
ミアと判定した結果が所定の回数連続したとき、スミア
であると鑑定しているので、一時的なノイズによる誤判
定を避けることができる。Further, the judgment result is monitored in time series, and when the smear judgment result continues for a predetermined number of times, it is judged as smear, so that erroneous judgment due to temporary noise can be avoided. it can.
【0052】この発明の画像処理装置では、得られた画
面上でスミア監視領域を設定するスミア監視領域設定手
段と、この領域内で輝度の高い部分をスミア候補画素と
して検出するスミア候補画素検出手段と、このスミア候
補画素を含みスミアに平行する線上の画素の輝度が所定
のレベルより高ければスミア領域であると判定するスミ
ア判定手段とを備えているので、スミア監視領域を含む
画面全体を画像処理対象として利用することができ、ま
た、カメラは1台で済み、その演算量も少なくてすむと
いう効果が得られる。また、周囲の画素との輝度差を用
いてスミア検出を行うので、オートゲイン等で明るさを
調整された画像からでも、スミアを検出することができ
る。In the image processing apparatus of the present invention, the smear monitoring area setting means for setting the smear monitoring area on the obtained screen, and the smear candidate pixel detecting means for detecting the high brightness portion in this area as the smear candidate pixel. And a smear determination means for determining that the smear area is a smear area if the brightness of the pixels on the line including the smear candidate pixel and parallel to the smear is higher than a predetermined level, the entire screen including the smear monitoring area is imaged. It can be used as a processing target, and only one camera is required, and the calculation amount can be reduced. In addition, since smear detection is performed using the brightness difference from surrounding pixels, smear can be detected even from an image whose brightness is adjusted by auto gain or the like.
【0053】また、スミア候補画素を含みスミアに対し
て平行となる直線上に存在する全ての画素の輝度と、こ
の全ての画素のそれぞれからスミアに対して直交方向に
所定の画素数離れた位置に存在する画素の輝度との輝度
差を求め、求めた輝度差が所定の閾値以上である画素の
割合が所定の割合以上であった場合、全ての画素はスミ
ア発生領域であると判定するスミア判定手段を備えてい
るので、スミア判定の信頼度が高い。Further, the brightness of all the pixels existing on the straight line including the smear candidate pixel and parallel to the smear, and the positions separated from each of the pixels by a predetermined number of pixels in the direction orthogonal to the smear. The brightness difference with the brightness of the pixels existing in the pixel is found, and if the ratio of the pixels whose calculated brightness difference is greater than or equal to a predetermined threshold is greater than or equal to the predetermined ratio, it is determined that all pixels are smear occurrence areas. Since the determination means is provided, the reliability of smear determination is high.
【0054】また、スミア候補画素を含みスミアに対し
て平行となる直線上に存在する複数の画素の輝度と、こ
の複数の画素のそれぞれからスミアに対して直交方向に
所定の画素数離れた位置に存在する画素の輝度との輝度
差を求め、求めた輝度差が所定の閾値以上である画素の
割合が所定の割合以上であった場合、前記複数の画素は
スミア発生領域であると判定するスミア判定手段を備え
ているので、スミア判定の処理速度が早い。Further, the brightness of a plurality of pixels existing on a straight line including the smear candidate pixel and parallel to the smear, and the position separated from each of the plurality of pixels by a predetermined number of pixels in the direction orthogonal to the smear. The brightness difference with the brightness of the pixel existing in the, the brightness difference is a predetermined threshold value or more, if the ratio of pixels is a predetermined ratio or more, it is determined that the plurality of pixels is a smear occurrence region Since the smear determination means is provided, the processing speed of smear determination is high.
【0055】また、スミア監視領域設定手段は複数のラ
インの中から、最も暗いラインをスミア監視領域として
選択するので、不特定の用途にも利用することができ
る。Since the smear monitoring area setting means selects the darkest line from the plurality of lines as the smear monitoring area, the smear monitoring area setting means can be used for unspecified purposes.
【0056】また、スミア発生領域と判定した領域を画
像処理の対象から除外するので、誤った画像抽出を避け
ることができる。Further, since the area determined as the smear occurrence area is excluded from the object of image processing, erroneous image extraction can be avoided.
【0057】また、車両の前方または後方に向けて搭載
された撮像手段を有し、スミア監視領域設定手段は、画
面上に撮影された自車のパンパーの近傍に設定したの
で、他の車の灯光が入りにくく誤作動しにくい。Further, since there is an image pickup means mounted toward the front or the rear of the vehicle, and the smear monitoring area setting means is set in the vicinity of the bumper of the own vehicle photographed on the screen, the other vehicle's Light does not enter easily and it does not easily malfunction.
【0058】また、移動画像を抽出する移動画像抽出手
段と、前記スミア内の画像を移動抽出対象から除外する
誤検出防止手段を備えたので、画面中の移動画像の抽出
の誤検出を防止することができる。Further, since the moving image extracting means for extracting the moving image and the erroneous detection preventing means for excluding the image in the smear from the moving extraction target are provided, the erroneous detection of the extraction of the moving image in the screen is prevented. be able to.
【0059】また、スミア監視領域は1画素幅としたの
で、スミア監視の演算量が少なく、処理を高速化でき
る。また、撮像手段はCCDカメラなので、スミア検出
がより効果的に行われる。Further, since the smear monitoring area has a one-pixel width, the amount of calculation for smear monitoring is small, and the processing speed can be increased. Further, since the image pickup means is a CCD camera, smear detection is performed more effectively.
【図1】 本発明の実施の形態1による画像処理装置の
構成図である。FIG. 1 is a configuration diagram of an image processing apparatus according to a first embodiment of the present invention.
【図2】 図2、図3のフローを説明するための画面説
明図である。FIG. 2 is an explanatory diagram of a screen for explaining the flows of FIGS. 2 and 3.
【図3】 図1のスミア検出手段の内、横方向検出手段
の動作を説明するフローチャートである。FIG. 3 is a flowchart illustrating an operation of a lateral direction detecting unit of the smear detecting unit of FIG.
【図4】 図3のフローの処理結果を説明する図であ
る。FIG. 4 is a diagram illustrating a processing result of the flow of FIG.
【図5】 図1のスミア検出手段の内、縦方向検出手段
の動作を説明するフローチャートである。5 is a flow chart for explaining the operation of the vertical direction detection means of the smear detection means of FIG.
【図6】 図5のフローの処理結果を説明する図であ
る。FIG. 6 is a diagram illustrating a processing result of the flow of FIG.
【図7】 図5のフローの処理結果を説明する図であ
る。FIG. 7 is a diagram illustrating a processing result of the flow of FIG.
【図8】 図1のスミアの削除手段の動作を説明する図
である。FIG. 8 is a diagram for explaining the operation of the smear deleting means of FIG.
【図9】 従来の画像処理装置の構成図である。FIG. 9 is a configuration diagram of a conventional image processing apparatus.
【図10】 図9の動作を説明するための仮想画面の説
明図である。10 is an explanatory diagram of a virtual screen for explaining the operation of FIG.
【図11】 図10の仮想画面における探索線の説明図
である。FIG. 11 is an explanatory diagram of search lines on the virtual screen of FIG.
【図12】 図9の探索線設定手段の動作を説明するフ
ローチャートである。12 is a flowchart illustrating the operation of the search line setting means in FIG.
【図13】 図12の探索線を補正する状況の説明図で
ある。FIG. 13 is an explanatory diagram of a situation where the search line in FIG. 12 is corrected.
【図14】 図9の危険度演算手段の動作を説明するフ
ローチャートである。FIG. 14 is a flowchart for explaining the operation of the risk degree calculating means of FIG.
【図15】 対象物抽出動作を説明する画面の図であ
る。FIG. 15 is a diagram of a screen explaining an object extracting operation.
【図16】 対象物検出動作を説明する画面の図であ
る。FIG. 16 is a diagram of a screen explaining an object detection operation.
【図17】 車間距離の危険度を演算する動作の説明図
である。FIG. 17 is an explanatory diagram of an operation of calculating a risk of an inter-vehicle distance.
【図18】 従来の比較判定手段の動作を説明するフロ
ーチャートである。FIG. 18 is a flowchart illustrating the operation of a conventional comparison / determination unit.
【図19】 従来の第1のスミア検出方法を説明する画
面の図である。FIG. 19 is a screen diagram illustrating a first conventional smear detection method.
【図20】 従来の第2のスミア検出方法を説明するた
めの画像処理装置の構成図である。FIG. 20 is a configuration diagram of an image processing apparatus for explaining a second conventional smear detection method.
【図21】 従来の第3のスミア検出方法を説明するた
めの画像処理装置の構成図である。FIG. 21 is a configuration diagram of an image processing apparatus for explaining a third conventional smear detection method.
1 監視警報装置本体、 2 入力インターフェー
ス、3 CPU、 4 出力インターフェース、
5 メモリ、20 カメラ、 21 操舵角センサ、
22 車速センサ、23 減速スイッチ、 30
仮想画面作成手段、31 探索線設定手段、 32
危険度演算手段、33 比較判定手段、 40 警
報ブザー、41 警報表示器、 50 スミア検出手
段、50a スミア監視領域設定手段、 50b ス
ミア候補検出手段、50c スミア判定手段、51 ス
ミア部分の削除手段、 300 仮想画面、30
1R レーンマーキング(右)、 301L レーンマ
ーキング(左)、302R 探索線(右)、 302
L 探索線(左)、303 自車バンパー、 501
後続車、 502 スミア、503 強い光源(太
陽)、 504 スミア監視領域、505 路上表
示。1 monitoring and alarm device body, 2 input interface, 3 CPU, 4 output interface,
5 memory, 20 camera, 21 steering angle sensor,
22 vehicle speed sensor, 23 deceleration switch, 30
Virtual screen creating means, 31 search line setting means, 32
Risk calculation means, 33 comparison determination means, 40 alarm buzzer, 41 alarm display, 50 smear detection means, 50a smear monitoring area setting means, 50b smear candidate detection means, 50c smear determination means, 51 smear portion deletion means, 300 Virtual screen, 30
1R lane marking (right), 301L lane marking (left), 302R search line (right), 302
L search line (left), 303 own vehicle bumper, 501
Following vehicle, 502 smear, 503 strong light source (sun), 504 smear monitoring area, 505 road display.
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/18 H04N 5/335 ─────────────────────────────────────────────────── ─── Continuation of front page (58) Fields surveyed (Int.Cl. 7 , DB name) H04N 7/18 H04N 5/335
Claims (11)
向に対して直交する方向にスミア監視領域を設定するス
ミア監視領域設定手順と、 前記監視領域を構成する第1画素の全てについて、各第
1画素の輝度と、各第1画素から前記スミアに対して直
交方向に所定の画素数離れた位置に存在する第2画素の
輝度との輝度差を求め、この輝度差が所定の閾値以上で
ある前記第1画素をスミア候補画素として検出するスミ
ア候補画素検出手順と、 前記スミア候補画素を含み前記スミアと平行な直線上に
存在する第3画素の輝度と、この第3画素から前記スミ
アに対して直交方向に所定の画素数離れた位置に存在す
る第4画素の輝度との輝度差を求め、この輝度差が所定
の閾値以上であった場合、前記スミア候補画素と前記第
3画素とを含む領域をスミア発生領域であると判定する
スミア判定手順とを含むことを特徴とするスミア検出方
法。1. A smear monitoring area setting procedure for setting a smear monitoring area on a screen in a direction orthogonal to a direction of smear expected to occur, and all of the first pixels forming the monitoring area, The brightness difference between the brightness of each first pixel and the brightness of a second pixel existing at a position that is a predetermined number of pixels away from each first pixel in the direction orthogonal to the smear is obtained, and this brightness difference is a predetermined threshold value. The smear candidate pixel detection procedure for detecting the first pixel as a smear candidate pixel, the brightness of the third pixel existing on a straight line parallel to the smear and including the smear candidate pixel, and the third pixel A brightness difference from the brightness of the fourth pixel existing at a position that is a predetermined number of pixels away from the smear in the orthogonal direction is obtained, and when the brightness difference is equal to or larger than a predetermined threshold value, the smear candidate pixel and the third pixel The area containing the pixel and Smear detection method characterized by including the and determining the smear determining step is Mia generation region.
化を時系列的に監視し、スミアであるとの判定が所定の
回数連続したとき、スミアであると確定するスミア確定
手順を含むことを特徴とする請求項1に記載のスミア判
定方法。2. A smear determining procedure for observing a change in the determination result by the smear determining procedure in time series, and determining the smear when the smear determination continues for a predetermined number of times. The smear determination method according to claim 1.
じる撮像手段、 前記撮像手段により得た画面上で、前記スミアに対して
直交する線状のスミア監視領域を設定するスミア監視領
域設定手段、 前記監視領域を構成する第1画素の全てについて、各第
1画素の輝度と、各第1画素から前記スミアに対して直
交方向に所定の画素数離れた位置に存在する第2画素の
輝度との輝度差を求め、この輝度差が所定の閾値以上で
ある前記第1画素をスミア候補画素として検出するスミ
ア候補検出手段、 前記スミア候補画素を含み前記スミアと平行な直線上に
存在する第3画素の輝度と、この第3画素から前記スミ
アに対して直交方向に所定の画素数離れた位置に存在す
る第4画素の輝度との輝度差を求め、この輝度差が所定
の閾値以上であった場合、前記スミア候補画素と前記第
3画素とを含む領域をスミア発生領域であると判定する
スミア判定手段を備えたことを特徴とする画像処理装
置。3. An image pickup means for producing a smear in a specific direction with respect to a strong light source, and a smear monitoring area setting means for setting a linear smear monitoring area orthogonal to the smear on a screen obtained by the image pickup means. , Luminance of each first pixel and luminance of each second pixel existing at a position distant from the first pixel by a predetermined number of pixels in the direction orthogonal to the smear for all of the first pixels constituting the monitoring area And a smear candidate detecting means for detecting the first pixel having a brightness difference of not less than a predetermined threshold value as a smear candidate pixel, a smear candidate pixel existing on a straight line parallel to the smear including the smear candidate pixel. The brightness difference between the brightness of three pixels and the brightness of the fourth pixel existing at a position that is a predetermined number of pixels away from the third pixel in the direction orthogonal to the smear is obtained, and the brightness difference is equal to or more than a predetermined threshold value. If there is, An image processing apparatus comprising: a smear determining unit that determines an area including the smear candidate pixel and the third pixel as a smear occurrence area.
じる撮像手段、 前記撮像手段により得た画面上で、前記スミアに対して
直交する線状のスミア監視領域を設定するスミア監視領
域設定手段、 前記監視領域を構成する第1画素の全てについて、各第
1画素の輝度と、各第1画素から前記スミアに対して直
交方向に所定の画素数離れた位置に存在する第2画素の
輝度との輝度差を求め、この輝度差が所定の閾値以上で
ある前記第1画素をスミア候補画素として検出するスミ
ア候補検出手段、 前記スミア候補画素を含み前記スミアに平行な線上に存
在する全ての第3画素の輝度と、この全ての第3画素の
それぞれから前記スミアに対して直交方向に所定の画素
数離れた位置に存在する第4画素の輝度との輝度差を求
め、求めた輝度差が所定の閾値以上である画素の割合が
所定の割合以上であった場合、前記スミア候補画素を含
み前記スミアに平行な線はスミア発生領域であると判定
するスミア判定手段を備えたことを特徴とする画像処理
装置。4. An image pickup means for causing smear in a specific direction with respect to a strong light source, and a smear monitoring area setting means for setting a linear smear monitoring area orthogonal to the smear on a screen obtained by the image pickup means. , Luminance of each first pixel and luminance of each second pixel existing at a position distant from the first pixel by a predetermined number of pixels in the direction orthogonal to the smear for all of the first pixels constituting the monitoring area And a smear candidate detection means for detecting the first pixel whose brightness difference is equal to or more than a predetermined threshold value as a smear candidate pixel, and all of the smear candidate pixels existing on a line parallel to the smear. The luminance difference between the luminance of the third pixel and the luminance of the fourth pixel existing at a position distant by a predetermined number of pixels in the direction orthogonal to the smear from each of all the third pixels, and the obtained luminance difference Is predetermined When the ratio of pixels that are equal to or greater than a threshold value is equal to or higher than a predetermined ratio, a line including the smear candidate pixel and parallel to the smear is provided with a smear determination unit that determines that the line is a smear occurrence region. Processing equipment.
じる撮像手段、 前記撮像手段により得た画面上で、前記スミアに対して
直交する線状のスミア監視領域を設定するスミア監視領
域設定手段、 前記監視領域を構成する第1画素の全てについて、各第
1画素の輝度と、各第1画素から前記スミアに対して直
交方向に所定の画素数離れた位置に存在する第2画素の
輝度との輝度差を求め、この輝度差が所定の閾値以上で
ある前記第1画素をスミア候補画素として検出するスミ
ア候補検出手段、 前記スミア候補画素を含み前記スミアに平行な線上に存
在する複数の画素の輝度と、この複数の画素のそれぞれ
からスミア発生に対して直交方向に所定の画素数離れた
位置に存在する画素の輝度との輝度差を求め、求めた輝
度差が所定の閾値以上である画素の割合が所定の割合以
上であった場合、前記前記スミア候補画素を含み前記ス
ミアに平行な線はスミア発生領域であると判定するスミ
ア判定手段を備えたことを特徴とする画像処理装置。5. An image pickup means for producing a smear in a specific direction with respect to a strong light source, and a smear monitoring area setting means for setting a linear smear monitoring area orthogonal to the smear on a screen obtained by the image pickup means. , Luminance of each first pixel and luminance of each second pixel existing at a position distant from the first pixel by a predetermined number of pixels in the direction orthogonal to the smear for all of the first pixels constituting the monitoring area And a smear candidate detecting means for detecting the first pixel having a brightness difference of not less than a predetermined threshold value as a smear candidate pixel, a plurality of smear candidate pixels existing on a line parallel to the smear. The brightness difference between the brightness of the pixel and the brightness of the pixel existing at a position that is a predetermined number of pixels away from each of the plurality of pixels in the direction orthogonal to the occurrence of smear is found. Ah When the ratio of the pixels to be smeared is a predetermined ratio or more, a line including the smear candidate pixel and parallel to the smear is provided with a smear judging means for judging that the line is a smear occurrence area. .
像手段より得られた画面上で、前記スミアに対して直交
方向に設定した複数の線のそれぞれについて、前記線上
の画素の平均輝度値を求めた後、前記線の中から前記画
素の平均輝度値の時系列的な平均値が最も低い値となる
前記線をスミア監視領域としたものであることを特徴と
する請求項3乃至5のいずれか一項に記載の画像処理装
置。6. The smear monitoring area setting means, for each of a plurality of lines set in a direction orthogonal to the smear on the screen obtained by the image pickup means, sets an average luminance value of pixels on the line. 6. The smear monitoring area is defined as the line having the lowest time-series average value of the average luminance values of the pixels after the determination. The image processing device according to any one of claims.
像処理対象を画像処理して、その画像を抽出する画像抽
出手段、 前記スミア発生領域と判定した領域を前記画像処理対象
から除外する除外手段を備えたことを特徴とする請求項
3乃至6のいずれか一項に記載の画像処理装置。7. An image extracting means for performing image processing on an image processing target in a screen obtained by the image capturing means to extract the image, and excluding an area determined to be the smear occurrence area from the image processing target. The image processing apparatus according to claim 3, further comprising a unit.
けて搭載されており、前記スミア監視領域は、前記撮像
手段より得られた画面上に撮影されている前記車両のパ
ンパー像の近傍に設定されたことを特徴とする請求項3
乃至5のいずれか一項に記載の画像処理装置。8. The image pickup means is mounted toward the front or the rear of the vehicle, and the smear monitoring area is in the vicinity of a bumper image of the vehicle photographed on the screen obtained by the image pickup means. It is set, The claim 3 characterized by the above-mentioned.
The image processing apparatus according to any one of items 1 to 5.
の移動量を演算し、前記移動量が所定のレベルを超える
画像を抽出する移動画像抽出手段を含み、 前記演算した移動量の内、前記スミア判定手段で判定さ
れた前記スミア発生領域内の画像の移動量を前記レベル
の判定対象から除外する誤検出防止手段を備えたことを
特徴とする請求項7に記載の画像処理装置。9. The image extracting means includes moving image extracting means for calculating a moving amount of the image within the screen and extracting an image in which the moving amount exceeds a predetermined level. The image processing apparatus according to claim 7, further comprising: an erroneous detection prevention unit that excludes a movement amount of the image in the smear occurrence region determined by the smear determination unit from a determination target of the level.
ものであることを特徴とする請求項3乃至9のいずれか
一項に記載の画像処理装置。10. The image processing apparatus according to claim 3, wherein the smear monitoring area has a width of one pixel.
とを特徴とする請求項3乃至10のいずれか一項に記載
の画像処理装置。11. The image processing apparatus according to claim 3, wherein the image pickup unit is a CCD camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001371938A JP3532896B2 (en) | 2001-12-05 | 2001-12-05 | Smear detection method and image processing apparatus using the smear detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001371938A JP3532896B2 (en) | 2001-12-05 | 2001-12-05 | Smear detection method and image processing apparatus using the smear detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003174642A JP2003174642A (en) | 2003-06-20 |
JP3532896B2 true JP3532896B2 (en) | 2004-05-31 |
Family
ID=19180914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001371938A Expired - Lifetime JP3532896B2 (en) | 2001-12-05 | 2001-12-05 | Smear detection method and image processing apparatus using the smear detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3532896B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5073548B2 (en) * | 2008-03-27 | 2012-11-14 | 富士重工業株式会社 | Vehicle environment recognition device and preceding vehicle tracking control system |
JP5499988B2 (en) * | 2010-08-16 | 2014-05-21 | 富士通セミコンダクター株式会社 | Image processing device |
WO2021059339A1 (en) * | 2019-09-24 | 2021-04-01 | 株式会社日立国際電気 | Monitoring camera system |
CN112488994B (en) * | 2020-11-17 | 2024-03-01 | 广州视源电子科技股份有限公司 | Method, device, equipment and storage medium for detecting motion characteristics of display equipment |
CN113345093B (en) * | 2021-05-17 | 2022-07-05 | 立得空间信息技术股份有限公司 | Filtering method for laser radar point cloud trailing points |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3563508B2 (en) * | 1995-10-19 | 2004-09-08 | 富士写真フイルム株式会社 | Automatic focusing device |
JP2000207563A (en) * | 1999-01-20 | 2000-07-28 | Fujitsu Ten Ltd | Image recognizing device |
-
2001
- 2001-12-05 JP JP2001371938A patent/JP3532896B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003174642A (en) | 2003-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10755116B2 (en) | Image processing apparatus, imaging apparatus, and device control system | |
JP3780922B2 (en) | Road white line recognition device | |
EP2993654B1 (en) | Method and system for forward collision warning | |
US10776946B2 (en) | Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium | |
US6690011B2 (en) | Infrared image-processing apparatus | |
CN111971682B (en) | Road surface detection device, image display device, obstacle detection device, road surface detection method, image display method, and obstacle detection method | |
WO2017014023A1 (en) | Onboard environment recognition device | |
JP3716623B2 (en) | Thermal detector | |
US20070211919A1 (en) | Vehicle surroundings monitoring apparatus | |
JP2004112144A (en) | Front car tracking system and method for tracking front car | |
KR101176693B1 (en) | Method and System for Detecting Lane by Using Distance Sensor | |
US10853963B2 (en) | Object detection device, device control system, and medium | |
JP2008158958A (en) | Road surface determination method and road surface determination device | |
WO2016129301A1 (en) | Entry possibility determining device for vehicle | |
US20090052742A1 (en) | Image processing apparatus and method thereof | |
EP3115966B1 (en) | Object detection device, object detection method, and computer program | |
JP2008262333A (en) | Road surface discrimination device and road surface discrimination method | |
JP2005318408A (en) | Vehicle surrounding monitoring apparatus and method | |
JP3532896B2 (en) | Smear detection method and image processing apparatus using the smear detection method | |
CN113884068A (en) | Obstacle detection device, obstacle detection method, and storage medium | |
JP6378547B2 (en) | Outside environment recognition device | |
JP6533244B2 (en) | Object detection device, object detection method, and object detection program | |
JP7460282B2 (en) | Obstacle detection device, obstacle detection method, and obstacle detection program | |
JP4798576B2 (en) | Attachment detection device | |
JP7113935B1 (en) | Road surface detection device and road surface detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040304 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080312 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120312 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |