[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4013856B2 - Rear side warning device - Google Patents

Rear side warning device Download PDF

Info

Publication number
JP4013856B2
JP4013856B2 JP2003272004A JP2003272004A JP4013856B2 JP 4013856 B2 JP4013856 B2 JP 4013856B2 JP 2003272004 A JP2003272004 A JP 2003272004A JP 2003272004 A JP2003272004 A JP 2003272004A JP 4013856 B2 JP4013856 B2 JP 4013856B2
Authority
JP
Japan
Prior art keywords
obstacle
rear side
image
camera
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003272004A
Other languages
Japanese (ja)
Other versions
JP2005032075A (en
Inventor
高橋  宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003272004A priority Critical patent/JP4013856B2/en
Publication of JP2005032075A publication Critical patent/JP2005032075A/en
Application granted granted Critical
Publication of JP4013856B2 publication Critical patent/JP4013856B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、自車両の近傍に存在する障害物を検出して、必要な場合に警報動作を行う後側方警報装置に関する。   The present invention relates to a rear side alarm device that detects an obstacle existing in the vicinity of a host vehicle and performs an alarm operation when necessary.

従来より、車両の運転操作の安全性を高めることを目的として、走行している自車両の側方に存在する障害物を検出し、運転者に対して報知する装置が知られている(例えば、特許文献1参照。)。   2. Description of the Related Art Conventionally, for the purpose of improving the safety of driving operation of a vehicle, an apparatus that detects an obstacle present on the side of a traveling vehicle and notifies the driver (for example, is known) , See Patent Document 1).

特許文献1には、自車両の側方に視軸を向けたビデオカメラで撮像した信号に基づいて側方車両を監視する車両側方監視装置が開示されている。この特許文献1にて開示される車両側方監視装置は、撮像した画像の各フレームから特徴点を抽出し、この特徴点がフレーム間に画像中を移動する移動量に基づいて、自車両の側方の画像におけるオプティカルフローを算出する。また、自車両の速度に基づいて、当該自車両が移動することによる画像の移動量に相当する移動フロー長を算出する。そして、算出されたオプティカルフローと移動フロー長とを比較して、両者が異なる場合には、自車両の側方に車両が存在するものと判定し、警報を発するようにしている。
特開平7−296297号公報
Patent Document 1 discloses a vehicle side monitoring apparatus that monitors a side vehicle based on a signal captured by a video camera having a visual axis directed to the side of the host vehicle. The vehicle side monitoring apparatus disclosed in Patent Document 1 extracts a feature point from each frame of a captured image, and based on the amount of movement of the feature point in the image between frames, The optical flow in the side image is calculated. Further, based on the speed of the host vehicle, a movement flow length corresponding to the amount of movement of the image as the host vehicle moves is calculated. Then, the calculated optical flow and the moving flow length are compared, and if they are different, it is determined that the vehicle is present on the side of the host vehicle, and an alarm is issued.
JP 7-296297 A

ところで、上述した特許文献1に記載された従来の技術においては、輝度分布といった画像情報に基づいて画像のフレーム毎に抽出した特徴点から、同一の特徴点を判別する必要がある。しかしながら、自車両の側方に存在する車両の輝度分布等の画像情報は、当該車両と自車両との相対的位置の変化による投影面の違いや、周囲の構造物による陰影の変化等に応じて、一定とならないものである。したがって、従来の技術においては、同一の特徴点であることを画像のフレーム間で判別することができない事態を招来し、この場合には、オプティカルフローを算出することができず、結果として、側方に存在する車両を検出することができなくなることがあった。   Incidentally, in the conventional technique described in Patent Document 1 described above, it is necessary to determine the same feature point from the feature points extracted for each frame of the image based on image information such as luminance distribution. However, the image information such as the brightness distribution of the vehicle that exists on the side of the host vehicle depends on the difference in the projection plane due to the change in the relative position between the vehicle and the host vehicle, the change in the shadow due to surrounding structures, etc. Therefore, it is not constant. Therefore, in the conventional technique, the situation that the same feature point cannot be discriminated between the frames of the image is caused, and in this case, the optical flow cannot be calculated. In some cases, it is impossible to detect a vehicle existing in the direction.

また、この種の従来の技術においては、計算処理に要する負荷が大きく、安価なCPU(Central Processing Unit)によって処理を実行せざるを得ない環境下では処理を行うことは困難であり、検出システムを構築するために要するコストの高騰を招来するという問題もあった。   Also, in this type of conventional technology, it is difficult to perform processing in an environment where the processing load is large and processing must be performed by an inexpensive CPU (Central Processing Unit). There was also a problem of incurring a rise in the cost required to build the system.

特に、この種の従来技術は、撮像手段によって撮像される画像を用いた画像処理により、撮像手段の視野内に障害物が存在することを判定するようにしており、障害物が撮像手段の視野内から逸脱した場合にも同様の画像処理で障害物の存在を判定しようとすると、判定のためのアルゴリズムが更に複雑となって、CPUに極めて高い処理能力が要求され、コストアップが避けられない。   In particular, this type of prior art determines that an obstacle exists in the field of view of the imaging unit by image processing using an image captured by the imaging unit. Even if it deviates from the inside, if an attempt is made to determine the presence of an obstacle by the same image processing, the algorithm for the determination becomes more complicated, the CPU is required to have a very high processing capacity, and an increase in cost is inevitable. .

本発明は、以上のような従来の実情に鑑みてなされたものであり、簡素な構成で自車両の近傍に存在する障害物を精度良く検出して適切な警報動作を行うことができ、低コスト化を図ることができる後側方警報装置を提供することを目的としている。   The present invention has been made in view of the conventional situation as described above, and can accurately detect an obstacle existing in the vicinity of the host vehicle with a simple configuration and perform an appropriate alarm operation. It aims at providing the rear side warning device which can aim at cost reduction.

本発明に係る後側方警報装置は、自車両後側方を視野範囲とする撮像手段により撮像された画像を用いて障害物を検出し、必要に応じて警報動作を行うものであり、障害物が撮像手段の視野範囲から逸脱するときにはこれを検出して、そのときに撮像手段により撮像される画像における垂直端面の輝度変化を観測し、その輝度の時間変化の変曲点に基づいて障害物の通過速度を算出して、撮像手段の視野範囲外における障害物の位置を予測することを特徴とする。 The rear side alarm device according to the present invention detects an obstacle using an image picked up by an imaging means having a field of view behind the host vehicle, and performs an alarm operation as necessary. When an object deviates from the field of view of the imaging means, this is detected, and the luminance change of the vertical end face in the image taken by the imaging means is observed at that time, and the obstacle is based on the inflection point of the time change of the luminance The object passing speed is calculated to predict the position of the obstacle outside the field of view of the imaging means.

本発明に係る後側方警報装置によれば、障害物全体が撮像手段の視野範囲内に存在している場合には所定の画像処理手法を用いて当該障害物を検出する一方で、障害物全体が撮像手段の視野範囲から逸脱した後は、画像処理による検出を行わずに、画像における垂直端面の輝度の時間変化の変曲点をもとに障害物の通過速度を算出し、当該障害物の位置を予測して、これに基づいた警報動作を行うようにしているので、計算処理に要する負荷を低減して低コスト化を実現しながら、必要な場合に適切な警報動作を行うことができる。 According to the rear side alarm device according to the present invention, when the entire obstacle is present within the field of view of the imaging means, the obstacle is detected using a predetermined image processing technique. After the whole deviates from the field of view of the imaging means , the obstacle passing speed is calculated based on the inflection point of the time change in luminance of the vertical end face in the image without performing detection by image processing. Predicts the position of an object and performs an alarm action based on this, so it can reduce the load required for calculation processing and reduce costs while performing an appropriate alarm action when necessary. Can do.

以下、本発明を適用した後側方警報装置の具体的な実施形態について、図面を参照しながら詳細に説明する。   Hereinafter, specific embodiments of a rear side alarm device to which the present invention is applied will be described in detail with reference to the drawings.

本発明を適用した後側方警報装置は、自車両に搭載されたカメラ(撮像手段)により撮像された画像を用いて、走行する自車両の後側方に存在する障害物を検出し、必要な場合に警報動作を行うものである。そして、特にこの後側方警報装置では、障害物全体がのカメラの視野範囲から逸脱した後は、一般的なテンプレートマッチング等の画像処理による検出を行わず、逸脱直後の障害物の通過速度等に基づいて当該障害物の位置を予測するようにしている。   A rear side warning device to which the present invention is applied uses an image captured by a camera (imaging means) mounted on the own vehicle to detect an obstacle existing on the rear side of the traveling own vehicle, and is necessary In this case, an alarm action is performed. Especially in this rear side warning device, after the entire obstacle has deviated from the field of view of the camera, detection by image processing such as general template matching is not performed, and the passing speed of the obstacle immediately after the departure, etc. Based on the above, the position of the obstacle is predicted.

(第1の実施形態)
まず、本発明を適用した第1の実施の形態の後側方警報装置について説明する。
(First embodiment)
First, a rear side alarm device according to a first embodiment to which the present invention is applied will be described.

図1に示すように、本実施形態の後側方警報装置は、自車両10に搭載されたカメラ21と、このカメラ21によって撮像された画像に対して画像処理を施す画像処理装置22と、カメラ21の視野範囲外における障害物の位置を予測する位置予測装置23と、警報動作を行う警報制御装置24と、自車両10におけるステアリングの操舵角を検出する操舵角センサ25と、自車両10におけるウィンカを動作させるウィンカスイッチ26と、所定の警報音を出力する警報ブザー27と備えて構成される。   As shown in FIG. 1, the rear side warning device of the present embodiment includes a camera 21 mounted on the host vehicle 10, an image processing device 22 that performs image processing on an image captured by the camera 21, A position prediction device 23 that predicts the position of an obstacle outside the field of view of the camera 21, an alarm control device 24 that performs an alarm operation, a steering angle sensor 25 that detects the steering angle of the steering in the host vehicle 10, and the host vehicle 10 And a blinker switch 26 for operating the blinker and an alarm buzzer 27 for outputting a predetermined alarm sound.

なお、これら各部のうち、画像処理装置22は、障害物がカメラ21の視野範囲から逸脱することを検出する障害物逸脱検出手段と、障害物がカメラ21の視野範囲から逸脱する際に撮像される画像における垂直端面の輝度変化を観測する輝度変化観測手段とを構成し、位置予測装置23は、輝度変化観測手段による観測結果に基づいて、カメラ21の視野範囲外における障害物の位置を予測する位置予測手段を構成し、警報制御装置24は、カメラ21の視野範囲内における障害物の位置又は位置予測手段によって予測した障害物の位置と、運転者による自車両10の操舵操作方向と、運転者によるウィンカの操作方向とに基づいて、警報動作を行う警報手段を構成するものである。   Of these units, the image processing device 22 is captured when the obstacle deviates from the visual field range of the camera 21 and the obstacle deviation detection means for detecting that the obstacle deviates from the visual field range of the camera 21. The position predicting device 23 predicts the position of an obstacle outside the visual field range of the camera 21 based on the observation result by the brightness change observing means. The alarm control device 24 includes a position of the obstacle within the visual field range of the camera 21 or the position of the obstacle predicted by the position prediction means, the steering operation direction of the host vehicle 10 by the driver, Based on the direction of operation of the winker by the driver, alarm means for performing an alarm operation is configured.

カメラ21は、同図中斜線部Aで示す領域、すなわち自車両10の右後側方における所定の視野角からなる領域が視野範囲となるように、自車両10に搭載されている。このカメラ21は、自車両10の右側を移動体障害物としての追越車両30が追い越していく場合には、当該追越車両30が自車両10の右後方に到達した際に当該追越車両30を含む画像を撮像することが可能とされる。このカメラ21から出力される画像信号は、画像処理装置23に供給される。   The camera 21 is mounted on the host vehicle 10 so that the region indicated by the hatched portion A in the drawing, that is, the region having a predetermined viewing angle on the right rear side of the host vehicle 10 is the viewing range. When the overtaking vehicle 30 as a moving obstacle passes over the right side of the own vehicle 10, the camera 21 receives the overtaking vehicle when the overtaking vehicle 30 reaches the right rear side of the own vehicle 10. 30 images can be taken. The image signal output from the camera 21 is supplied to the image processing device 23.

画像処理装置22は、カメラ21から出力される画像信号に対して所定の画像処理を施すことにより、カメラ21の視野範囲内に進入した追越車両30等の障害物を検出する。また、画像処理装置22は、追越車両30等の障害物がカメラ21の視野範囲から逸脱する場合にそれを検出して、その検出信号を位置予測装置23に供給する。   The image processing device 22 detects an obstacle such as the overtaking vehicle 30 that has entered the visual field range of the camera 21 by performing predetermined image processing on the image signal output from the camera 21. Further, the image processing device 22 detects when an obstacle such as the passing vehicle 30 deviates from the visual field range of the camera 21, and supplies the detection signal to the position prediction device 23.

位置予測装置23は、画像処理装置22から供給された検出信号に基づいて、カメラ21の視野範囲外における障害物の位置を予測する。位置予測装置23は、予測した障害物の位置を示す予測信号を警報制御装置24に供給する。   The position prediction device 23 predicts the position of an obstacle outside the visual field range of the camera 21 based on the detection signal supplied from the image processing device 22. The position prediction device 23 supplies a prediction signal indicating the predicted position of the obstacle to the alarm control device 24.

警報制御装置24は、画像処理装置22によって検出されたカメラ21の視野範囲内における障害物の位置、または位置予測装置23によって予測されたカメラ21の視野範囲外における障害物の位置と、操舵角センサ25によって検出された検出信号と、ウィンカスイッチ26から供給されたウィンカ操作方向信号とに基づいて、自車両10と追越車両30等の障害物との接近状態を判定して、両者が接近状態にあると判定した場合には障害物警報ブザー27を動作させることにより、警報動作を行う。   The alarm control device 24 detects the position of the obstacle within the visual field range of the camera 21 detected by the image processing device 22 or the position of the obstacle outside the visual field range of the camera 21 predicted by the position prediction device 23 and the steering angle. Based on the detection signal detected by the sensor 25 and the winker operation direction signal supplied from the winker switch 26, the approaching state between the host vehicle 10 and an obstacle such as the passing vehicle 30 is determined, and both approach. When it is determined that the vehicle is in the state, an alarm operation is performed by operating the obstacle alarm buzzer 27.

操舵角センサ25は、運転者による図示しないステアリングの操舵角を検出する。この操舵角センサ25によって検出された検出信号は、警報制御装置24に供給される。   The steering angle sensor 25 detects the steering angle of the steering (not shown) by the driver. A detection signal detected by the steering angle sensor 25 is supplied to the alarm control device 24.

ウィンカスイッチ26は、運転者による図示しないウィンカの操作方向に応じたウィンカ操作方向信号を生成する。このウィンカスイッチ26によって生成されたウィンカ操作方向信号は、警報制御装置24に供給される。   The blinker switch 26 generates a blinker operation direction signal corresponding to the operation direction of the blinker (not shown) by the driver. The winker operation direction signal generated by the winker switch 26 is supplied to the alarm control device 24.

警報ブザー27は、警報制御装置24の制御のもとに、所定の警報音を出力する。   The alarm buzzer 27 outputs a predetermined alarm sound under the control of the alarm control device 24.

以上のように構成される後側方警報装置では、図2及び図3に示すような一連の処理を経ることで、障害物の検出及び警報動作を行う。   The rear side alarm device configured as described above performs obstacle detection and alarm operation through a series of processes as shown in FIGS.

まず、後側方警報装置は、図2に示すように、ステップS1において、カメラ21から出力される画像信号に基づいて画像処理装置22において画像処理を行って、カメラ21の視野範囲内に障害物が存在するかどうかを判断し、カメラ21の視野範囲内に障害物が存在する場合にはその障害物の画像内での位置を算出する。この手法としては、例えば、いわゆるテンプレートマッチングやオプティカルフローの算出による処理等が考えられるが、CPU(Central Processing Unit)の負荷を可能な限り軽減し、安価なCPUを用いたシステム構成とするために、計算負荷が高いオプティカルフローの算出よりもテンプレートマッチングを採用するのが望ましい。具体的には、後側方警報装置は、例えば、タイヤ間隔やヘッドライト間隔といったように、後方から当該自車両10を追い越していく障害物の正面を捉えた画像から抽出できる特徴量をテンプレートとして設定して、このテンプレートを用いたマッチング処理により当該障害物の画像内における位置を算出する。   First, as shown in FIG. 2, the rear side warning device performs image processing in the image processing device 22 based on the image signal output from the camera 21 in step S <b> 1, and causes a failure within the visual field range of the camera 21. It is determined whether or not an object is present, and if an obstacle exists within the visual field range of the camera 21, the position of the obstacle in the image is calculated. As this technique, for example, processing by so-called template matching or optical flow calculation can be considered, but in order to reduce the load on the CPU (Central Processing Unit) as much as possible and to make a system configuration using an inexpensive CPU. It is desirable to employ template matching rather than optical flow calculation, which has a high calculation load. Specifically, the rear side warning device uses, as a template, a feature amount that can be extracted from an image that captures the front of an obstacle passing the host vehicle 10 from behind, such as a tire interval or a headlight interval. After setting, the position of the obstacle in the image is calculated by the matching process using the template.

続いて、後側方警報装置は、ステップS2において、画像内での障害物の位置を実際の空間的な位置に変換する。この変換処理は、一般的な幾何学的変換手法を用いて容易に実現可能である。この変換処理を行うことで、後側方警報装置は、自車両10に対する相対的な障害物の位置を設定することができる。   Subsequently, in step S2, the rear side alarm device converts the position of the obstacle in the image into an actual spatial position. This conversion process can be easily realized by using a general geometric conversion method. By performing this conversion process, the rear side warning device can set the position of the obstacle relative to the host vehicle 10.

続いて、後側方警報装置は、ステップS3において、画像処理装置22によって障害物が引き続きカメラ21の視野範囲内に存在するか否かを判定する。すなわち、後側方警報装置は、画像処理装置22によって障害物がカメラ21の視野範囲から逸脱することを検出する。このとき、後側方警報装置は、ステップS2にて自車両10と障害物との空間的な位置関係を把握していることから、この空間的な位置においてカメラ21の視野角を比較することにより、障害物がカメラ21の視野範囲から逸脱し始める瞬間を容易に観測することができる。   Subsequently, in step S <b> 3, the rear side warning device determines whether or not an obstacle continues to exist within the visual field range of the camera 21 by the image processing device 22. That is, the rear side warning device detects that the obstacle deviates from the visual field range of the camera 21 by the image processing device 22. At this time, since the rear side warning device grasps the spatial positional relationship between the host vehicle 10 and the obstacle in step S2, it compares the viewing angle of the camera 21 at this spatial position. Thus, the moment when the obstacle starts to deviate from the visual field range of the camera 21 can be easily observed.

ここで、後側方警報装置は、障害物が引き続きカメラ21の視野範囲内に存在しているものと判定した場合には、図3中ステップS14へと処理を移行する。   Here, if the rear side alarm device determines that the obstacle is still present within the visual field range of the camera 21, the process proceeds to step S14 in FIG.

一方、後側方警報装置は、障害物がカメラ21の視野範囲から逸脱したものと判定した場合には、ステップS4へと処理を移行し、画像処理装置22により、障害物がカメラ21の視野範囲から逸脱する際に撮像される画像における垂直端面の縦方向輝度変化を観測する。すなわち、例えば図4(A)に示すように、カメラ21の視野範囲から障害物としての追越車両30が逸脱しようとしている際に撮像される画像は、同図(B)に示すようなものとなるが、後側方警報装置は、この画像における追越車両30の進行方向に対応する垂直端面EDの縦方向輝度変化を観測する。   On the other hand, when the rear side warning device determines that the obstacle has deviated from the visual field range of the camera 21, the process proceeds to step S <b> 4, and the image processing device 22 causes the obstacle to be seen by the visual field of the camera 21. Observe the vertical luminance change of the vertical end face in the image taken when deviating from the range. That is, for example, as shown in FIG. 4A, an image captured when the passing vehicle 30 as an obstacle is about to deviate from the field of view of the camera 21 is as shown in FIG. However, the rear side warning device observes the vertical luminance change of the vertical end surface ED corresponding to the traveling direction of the overtaking vehicle 30 in this image.

続いて、後側方警報装置は、ステップS5において、位置予測装置23により、ステップS4における観測結果を時系列に並べて得られる輝度の時間変化のグラフの変曲点を求め、輝度変化が生じ始めた時刻から変曲点が生じた時刻までの時間Tyを算定する。   Subsequently, in step S5, the rear side warning device obtains the inflection point of the time change graph of the luminance obtained by arranging the observation results in step S4 in time series by the position prediction device 23, and the luminance change starts to occur. The time Ty from the time until the time when the inflection point occurs is calculated.

具体的に説明すると、カメラ21により例えば図5(A)乃至同図(C)に示す画像が撮像された場合、垂直端面EDの縦方向に輝度変化が生じるのは追越車両100が垂直端面EDに現れたときであるから、同図(A)に示す画像が得られた時刻が、輝度変化が生じ始めた時刻となる。後側方警報装置は、この時刻を基準として、画像における垂直端面EDの輝度変化を時系列で求めると、例えば同図(D)に示すグラフを得ることができる。なお、同図(D)に示すグラフは、縦軸に8ビット階調で表した輝度を示し、横軸に時間(又は追越車両30の相対速度)を示したものである。また、このグラフにおけるaで表す部分は、同図(A)に示す画像の垂直端面ED内における画素の輝度を示し、bで表す部分は、同図(B)に示す画像の垂直端面ED内における画素の輝度を示し、cで表す部分は、同図(C)に示す画像の垂直端面ED内における画素の輝度を示している。   Specifically, for example, when the image shown in FIGS. 5A to 5C is captured by the camera 21, the luminance change occurs in the vertical direction of the vertical end surface ED. Since it is when it appears on the ED, the time when the image shown in FIG. When the rear side alarm device obtains the luminance change of the vertical end face ED in the image in time series with this time as a reference, for example, a graph shown in FIG. In the graph shown in FIG. 4D, the vertical axis represents luminance expressed in 8-bit gradation, and the horizontal axis represents time (or relative speed of the overtaking vehicle 30). In this graph, the part indicated by a represents the luminance of the pixel in the vertical end face ED of the image shown in FIG. 5A, and the part indicated by b is in the vertical end face ED of the image shown in FIG. The portion indicated by c represents the luminance of the pixel in the vertical end face ED of the image shown in FIG.

後側方警報装置は、位置予測装置23により、同図(D)に示すようなグラフから変曲点、すなわち、bで表す部分を求め、輝度変化が生じ始めた時刻から変曲点が生じた時刻までの時間Tyを算定する。   The rear side warning device obtains an inflection point, that is, a portion represented by b from the graph as shown in FIG. 4D by the position prediction device 23, and the inflection point is generated from the time when the luminance change starts to occur. The time Ty until the given time is calculated.

また、後側方警報装置は、ステップS6において、位置予測装置23によって障害物の通過速度を算出する。一般に、車両の正面の幅は1.7mであることが多いので、後側方警報装置は、この値を障害物の幅寸法のデフォルト値として定めておき、この値をステップS5にて算定した時間Tyを除すことにより、障害物が画像における垂直端面EDを通過する際の速度を算出する。なお、後側方警報装置は、例えば、カメラ21の視野範囲内に存在する障害物の全体を検出したときに、テンプレートから得られたタイヤ幅や正面横方向の車両輪郭幅等に基づいて障害物の幅寸法を求めるようにしてもよい。   Further, the rear side warning device calculates the passing speed of the obstacle by the position prediction device 23 in step S6. In general, since the width of the front of the vehicle is often 1.7 m, the rear side warning device determines this value as the default value of the width dimension of the obstacle and calculates this value in step S5. By dividing the time Ty, the speed at which the obstacle passes through the vertical end face ED in the image is calculated. For example, when the rear side warning device detects the entire obstacle existing in the visual field range of the camera 21, the obstacle is based on the tire width obtained from the template, the vehicle contour width in the front lateral direction, or the like. You may make it obtain | require the width dimension of a thing.

続いて、後側方警報装置は、ステップS7において、位置予測装置23により、障害物がステップS6にて得られた通過速度で等速運動をしているものと仮定して、ステップS5にて求めた変曲点が生じた後、障害物が自車両10を通過していくまでの間の当該障害物の相対的位置を予測する。具体的には、後側方警報装置は、ステップS6にて通過速度Vが得られた場合には、例えば図6に示すように、変曲点が生じた時間Tに通過速度Vを乗じることにより、相対的な位置をカメラ21の視野範囲端面から算出して設定する。   Subsequently, in step S7, the rear side warning device assumes that the obstacle is moving at a constant speed at the passing speed obtained in step S6 by the position predicting device 23 in step S7. After the obtained inflection point occurs, the relative position of the obstacle until the obstacle passes through the host vehicle 10 is predicted. Specifically, when the passing speed V is obtained in step S6, the rear side warning device multiplies the passing speed V by the time T at which the inflection point occurs, for example, as shown in FIG. Thus, the relative position is calculated and set from the end face of the field of view of the camera 21.

続いて、後側方警報装置は、ステップS8において、自車両10の速度を観測し、ステップS9において、自車両10の速度がステップS6における障害物の通過速度の算出を行ったときよりも減速しているか否かを判定する。   Subsequently, the rear side warning device observes the speed of the host vehicle 10 in step S8, and in step S9, the speed of the host vehicle 10 decelerates compared to when the obstacle passing speed is calculated in step S6. It is determined whether or not.

ここで、後側方警報装置は、自車両10の速度が減速しているものと判定した場合には、障害物の速度が自車両10の速度に比べて相対的に速くなることから、ステップS10において、減速分の速度δV×Tを、ステップS6における通過速度Vに加算して、図3中ステップS13の処理へと移行する。   Here, when the rear side warning device determines that the speed of the host vehicle 10 is decelerating, the speed of the obstacle is relatively higher than the speed of the host vehicle 10, so that the step is performed. In S10, the speed δV × T for deceleration is added to the passing speed V in Step S6, and the process proceeds to Step S13 in FIG.

一方、後側方警報装置は、自車両10の速度が減速していないものと判定した場合には、図3に示すように、ステップS11において、自車両10の速度がステップS6における障害物の通過速度の算出を行ったときよりも加速しているか否かを判定する。   On the other hand, if the rear side warning device determines that the speed of the host vehicle 10 is not decelerated, as shown in FIG. 3, the speed of the host vehicle 10 is determined as the obstacle in step S6 in step S11. It is determined whether or not the vehicle is accelerating more than when the passage speed is calculated.

ここで、後側方警報装置は、自車両10の速度が加速していないものと判定した場合には、ステップS13の処理へと移行する。   Here, if the rear side warning device determines that the speed of the host vehicle 10 is not accelerated, the rear side warning device proceeds to the process of step S13.

一方、後側方警報装置は、自車両10の速度が加速しているものと判定した場合には、障害物の速度が自車両10の速度に比べて相対的に遅くなることから、ステップS12において、加速分の速度δV×Tを、ステップS6における通過速度Vから減算する。   On the other hand, if the rear side warning device determines that the speed of the host vehicle 10 is accelerating, the speed of the obstacle is relatively slower than the speed of the host vehicle 10, so step S12. , The acceleration speed δV × T is subtracted from the passing speed V in step S6.

そして、後側方警報装置は、ステップS13において、予測した位置が予め設定した範囲内にあるか否かを判定する。   Then, in step S13, the rear side warning device determines whether or not the predicted position is within a preset range.

ここで、後側方警報装置は、予測した位置が予め設定した範囲内にあるものと判定した場合には、図2中ステップS7からの処理を繰り返す一方で、予測した位置が予め設定した範囲内にないものと判定した場合には、障害物が既にカメラ21の視野範囲から逸脱したものと判定し、ステップS14以降の後側方警報としての処理に移行する。   Here, when the rear side alarm device determines that the predicted position is within the preset range, the process from step S7 in FIG. 2 is repeated while the predicted position is within the preset range. If it is determined that the obstacle is not within the range, it is determined that the obstacle has already deviated from the visual field range of the camera 21, and the process proceeds to processing as a rear side alarm after step S14.

後側方警報装置は、後側方警報としての処理に移行すると、ステップS14において、自車両10と障害物との距離を算出し、ステップS15において、運転者によって自車両10が障害物に近付く方向を指示するウィンカが操作されたか否かを判定する。   When the rear side warning device shifts to the processing as the rear side warning, in step S14, the distance between the host vehicle 10 and the obstacle is calculated, and in step S15, the driver approaches the host vehicle 10 to the obstacle. It is determined whether or not the turn signal indicating the direction has been operated.

ここで、後側方警報装置は、ウィンカが操作されたものと判定した場合には、ステップS17へと処理を移行する一方で、ウィンカが操作されていないものと判定した場合には、ステップS16において、運転者によって自車両10が障害物に近付く方向へと操舵操作されたか否かを判定する。   Here, when it is determined that the winker is operated, the rear side warning device shifts the process to step S17, while when it is determined that the winker is not operated, step S16. In step (1), it is determined whether or not the driver has steered the host vehicle 10 in a direction to approach the obstacle.

そして、後側方警報装置は、操舵操作されていないものと判定した場合には、障害物との接触の可能性がないものと判定し、図2中ステップS1から処理を繰り返す。   When the rear side warning device determines that the steering operation is not performed, it determines that there is no possibility of contact with the obstacle, and repeats the processing from step S1 in FIG.

一方、後側方警報装置は、操舵操作されたものと判定した場合には、ステップS17において、ステップS14にて算出した自車両10と障害物との距離が所定値よりも小さいか否かを判定する。   On the other hand, if the rear side warning device determines that the steering operation has been performed, in step S17, it is determined whether or not the distance between the host vehicle 10 and the obstacle calculated in step S14 is smaller than a predetermined value. judge.

そして、後側方警報装置は、自車両10と障害物との距離が所定値以上であると判定した場合には、障害物との接触の可能性がないものと判定し、図2中ステップS7からの処理を繰り返す。   Then, when it is determined that the distance between the host vehicle 10 and the obstacle is equal to or greater than the predetermined value, the rear side warning device determines that there is no possibility of contact with the obstacle, and the step in FIG. The processing from S7 is repeated.

一方、後側方警報装置は、自車両10と障害物との距離が所定値よりも小さいものと判定した場合には、走行レーンのチェンジ時に障害物との接触の可能性があるものと判定し、ステップS18において、運転者の注意を喚起すべく、後側方警報装置24を用いて所定の警報動作を行い、一連の処理を終了する。   On the other hand, when it is determined that the distance between the host vehicle 10 and the obstacle is smaller than the predetermined value, the rear side warning device determines that there is a possibility of contact with the obstacle when the traveling lane is changed. In step S18, a predetermined alarm operation is performed using the rear side alarm device 24 in order to call the driver's attention, and the series of processes is terminated.

後側方警報装置は、以上のような一連の処理を経ることにより、自車両10の後側方に存在する障害物を検出して、自車両10が障害物と接触する可能性がある場合に適切な警報動作を行うことができる。   The rear side alarm device detects an obstacle existing behind the host vehicle 10 through a series of processes as described above, and the host vehicle 10 may come into contact with the obstacle. An appropriate alarm action can be performed.

なお、以上では、説明の便宜上、障害物が自車両10の後方から前方へと追い越していき、当該障害物がカメラ21の視野範囲端面を通過する際の相対的な速度変化は一切ないものと仮定しているが、側方車両通過の形態としては、自車両10が側方に存在する車両を追い越すことも考えられる。   In the above description, for convenience of explanation, it is assumed that the obstacle passes from the rear to the front of the host vehicle 10 and there is no relative speed change when the obstacle passes through the end face of the field of view of the camera 21. Although it is assumed, as a form of passing through the side vehicle, it is conceivable that the host vehicle 10 overtakes a vehicle existing on the side.

このように自車両10が側方に存在する車両を追い越す場合には、車両の後方がセンサの視野範囲内に進入してくることになる。ただし、この場合、運転者は、斜め前方の車両を認識することは容易である。したがって、後側方警報装置は、自車両10が障害物を追い越していく場合には利用する必要はなく、障害物が完全にセンサの視野範囲内に進入するまでは、この後側方警報装置の機能を停止させておいても問題ない。   Thus, when the own vehicle 10 overtakes the vehicle existing on the side, the rear of the vehicle enters the field of view of the sensor. However, in this case, it is easy for the driver to recognize the vehicle obliquely ahead. Therefore, it is not necessary to use the rear side warning device when the host vehicle 10 passes the obstacle, and this rear side warning device is used until the obstacle completely enters the field of view of the sensor. There is no problem even if the function is stopped.

運転者にとって後側方警報にて注意すべき範囲は、カメラ21の視野範囲内に後方から運転者に気付かないように接近してきた障害物の位置と、カメラ21の視野範囲から逸脱して正面画角が20°程度まで前方の範囲に障害物が移動した場合と考えられる。したがって、後側方警報装置は、後方から接近してきた障害物については確実に検出できるようにして、当該障害物の存在に対応することができるようにすればよいと考えられる。   For the driver, the range to be noted in the rear side warning is that the position of an obstacle that has approached the driver 21 from the rear in the visual field range of the camera 21 and the front side deviating from the visual field range of the camera 21. It is considered that the obstacle has moved to the front range up to about 20 °. Therefore, it is considered that the rear side warning device should be able to reliably detect an obstacle approaching from the rear so as to cope with the presence of the obstacle.

一方、後側方警報装置においては、画像における垂直端面を障害物が通過する際には、一律に単純な変曲点が認められる保証はない。すなわち、画像における垂直端面の縦方向輝度変化の観測結果を時系列に並べて得られる輝度の時間変化のグラフは、当該障害物が端面を通過する際の相対的な速度変化に応じて、例えば図7に示すように、複数の変曲点が生じるものとなる場合がある。   On the other hand, in the rear side warning device, there is no guarantee that a simple inflection point is recognized when an obstacle passes through a vertical end face in an image. That is, the graph of the luminance temporal change obtained by arranging the observation results of the vertical luminance change of the vertical end face in the image in time series is, for example, according to the relative speed change when the obstacle passes through the end face. As shown in FIG. 7, a plurality of inflection points may occur.

このような場合、後側方警報装置は、図2中ステップS7の処理を変更し、図7に示した輝度の変化の傾きが複数の変曲点を経てなだらかになった場面を検出すればよい。   In such a case, if the rear side warning device changes the process of step S7 in FIG. 2 and detects a scene in which the slope of the change in luminance shown in FIG. 7 becomes gentle through a plurality of inflection points. Good.

この輝度の変化の傾きがなだらかになった場面は、相対的な速度変化が生じた場合であっても、障害物の正面の全てがカメラ21の視野範囲外に逸脱したことを意味している。したがって、後側方警報装置は、この輝度の変化の傾きがなだらかになった時刻から位置を基準にして、障害物の位置を予測するようにすればよい。この場合、後側方警報装置は、障害物の挙動予測のための速度として、傾きが変化するまでの時間を車両幅から除し、加減速があったなかでの平均的な値を用いる。   The scene where the slope of the change in brightness becomes gentle means that all of the front of the obstacle has deviated out of the visual field range of the camera 21 even when the relative speed change occurs. . Therefore, the rear side warning device may predict the position of the obstacle based on the position from the time when the gradient of the change in luminance becomes gentle. In this case, the rear side warning device uses an average value during acceleration / deceleration as the speed for predicting the behavior of the obstacle by dividing the time until the inclination changes from the vehicle width.

以上詳細に説明したように、第1の実施の形態として示した後側方警報装置は、画像処理装置22を用いて、障害物がカメラ21の視野範囲から逸脱することを検出するとともに、障害物がカメラ21の視野範囲から逸脱する際に撮像される画像における垂直端面の輝度変化を観測し、この観測結果に基づいて、位置予測装置23を用いてカメラ21の視野範囲外における障害物の位置を予測する。すなわち、この後側方警報装置は、通常であれば、障害物全体がカメラ21の視野範囲内に存在している場合には所定の画像処理手法を用いて当該障害物を検出する一方で、障害物がカメラ21の視野範囲から逸脱した場合には必要なアルゴリズムが複雑となることに起因して高いCPUの性能が要求される他の画像処理手法を用いる必要があるところ、障害物全体がカメラ21の視野範囲から逸脱した後は、画像処理による検出を行わずに当該障害物の位置を予測する。したがって、この後側方警報装置は、単純なセンサ演算構成を実現することができる。   As described above in detail, the rear side alarm device shown as the first embodiment uses the image processing device 22 to detect that an obstacle deviates from the visual field range of the camera 21 and The luminance change of the vertical end face in the image captured when the object deviates from the visual field range of the camera 21 is observed, and based on the observation result, the position prediction device 23 is used to detect the obstacle outside the visual field range of the camera 21. Predict position. That is, this rear side warning device normally detects the obstacle using a predetermined image processing method when the entire obstacle is within the visual field range of the camera 21, When the obstacle deviates from the visual field range of the camera 21, it is necessary to use another image processing method that requires high CPU performance due to the complexity of the necessary algorithm. After deviating from the visual field range of the camera 21, the position of the obstacle is predicted without performing detection by image processing. Therefore, this rear side alarm device can realize a simple sensor calculation configuration.

また、この後側方警報装置は、位置予測装置23により、画像における垂直端面の輝度の時間変化の変曲点を求め、この変曲点に基づいて、障害物の通過速度を算出する。すなわち、この後側方警報装置は、障害物全体がカメラ21の視野範囲から逸脱する直前の速度パラメータを視野角端面の単純な時間的変化に基づいて算出することができる。したがって、この後側方警報装置は、安価なCPU環境下であっても、容易に障害物の位置を予測することが可能となり、また、カメラ21の視野範囲から逸脱する直前の障害物の速度を測定することにより、位置の予測精度を向上させることができる。   In addition, the rear side warning device obtains an inflection point of the temporal change in luminance of the vertical end face in the image by the position predicting device 23, and calculates the passing speed of the obstacle based on the inflection point. That is, the rear side warning device can calculate the speed parameter immediately before the entire obstacle deviates from the visual field range of the camera 21 based on a simple temporal change of the viewing angle end face. Therefore, this rear side alarm device can easily predict the position of the obstacle even in an inexpensive CPU environment, and the speed of the obstacle just before deviating from the visual field range of the camera 21. By measuring, the position prediction accuracy can be improved.

さらに、この後側方警報装置は、位置予測装置23によって予測した障害物の位置と、運転者による自車両10の操舵操作方向と、運転者によるウィンカの操作方向とに基づいて、警報制御装置24の制御のもとに警報動作を適宜行うことから、運転者に対して適切に注意を喚起することができる。   Further, the rear side warning device is based on the obstacle position predicted by the position prediction device 23, the steering operation direction of the host vehicle 10 by the driver, and the winker operation direction by the driver. Since the alarm operation is appropriately performed under the control of 24, the driver can be appropriately alerted.

以上のように、この後側方警報装置は、単純な構成のもとに高精度且つ確実に自車両の後側方に存在する障害物を検出することができ、低コスト化を実現しながら、必要な場合に適切な警報動作を行うことができる。   As described above, the rear side warning device can detect an obstacle present on the rear side of the host vehicle with high accuracy and reliability with a simple configuration, while realizing cost reduction. Appropriate alarm action can be performed when necessary.

(第2の実施形態)
次に、本発明を適用した第2の実施の形態の後側方警報装置について説明する。本実施形態の後側方警報装置は、カメラ21により撮像された画像からテンプレートマッチングによってカメラ21の視野範囲内に存在する障害物を検出する際に、基本的にはカメラ21の視野範囲の両端にマッチングのためのウィンドウを設定し、求められるべき変曲点が所定時間内に求められなかった場合や、変曲点が所定時間内に多数求められた場合等には、ウィンドウ幅を拡げて視野範囲を広い範囲でスキャンするようにしたものである。以下、本実施形態の後側方警報装置に特徴的な部分を中心に説明し、第1の実施の形態と同様の部分については、同一の符号及び同一のステップ番号を付して詳細な説明を省略する。
(Second Embodiment)
Next, a rear side alarm device according to a second embodiment to which the present invention is applied will be described. The rear side warning device of the present embodiment basically detects both ends of the visual field range of the camera 21 when detecting an obstacle existing in the visual field range of the camera 21 by template matching from the image captured by the camera 21. If a window for matching is set, and the inflection points to be found are not found within a predetermined time, or if a large number of inflection points are found within a predetermined time, the window width is increased. The field of view is scanned over a wide range. The following description will focus on the characteristic features of the rear side warning device of the present embodiment, and the same components as those in the first embodiment will be described with the same reference numerals and the same step numbers. Is omitted.

図8に示すように、本実施形態の後側方警報は、自車両10に搭載されたカメラ21、画像処理装置22、位置予測装置23、警報制御装置24、操舵角センサ25、ウィンカスイッチ26、警報ブザー27の他、テンプレートマッチングを行う際のウィンドウを設定するウィンドウ設定装置28と、画像処理装置22において視野端面の輝度変化を観測した結果に基づいてこのウィンドウ設定装置28に対して設定ウィンドウの幅を指定するウィンドウ幅指定装置29とを備えて構成される。   As shown in FIG. 8, the rear side alarm of this embodiment includes a camera 21, an image processing device 22, a position prediction device 23, an alarm control device 24, a steering angle sensor 25, and a winker switch 26 mounted on the host vehicle 10. In addition to the alarm buzzer 27, a window setting device 28 for setting a window for performing template matching, and a setting window for the window setting device 28 based on the result of observing the luminance change of the visual field end face in the image processing device 22. And a window width designating device 29 for designating the width of the image.

ウィンドウ設定装置28は、画像処理装置22においてカメラ21の視野範囲内に存在する障害物を検出するためのテンプレートマッチングを行う範囲(ウィンドウ)を設定するものである。また、ウィンドウ幅指定装置29は、ウィンドウ設定装置28に対して設定するウィンドウの幅を指定するものであり、特にこのウィンドウ幅指定装置29は、図2中ステップS7にて求められるべき変曲点が所定時間内に求められなかった場合や、変曲点が所定時間内に多数求められた場合等には、カメラ21の視野両端以外の広い領域もスキャンされるように、ウィンドウ設定装置28に対して、広い幅でウィンドウの設定を行うように指定する。   The window setting device 28 sets a range (window) for performing template matching for detecting an obstacle existing in the visual field range of the camera 21 in the image processing device 22. The window width designating device 29 designates the window width to be set for the window setting device 28. In particular, the window width designating device 29 is an inflection point to be obtained in step S7 in FIG. Is not obtained within a predetermined time, or when a large number of inflection points are obtained within a predetermined time, the window setting device 28 is scanned so that a wide area other than both ends of the field of view of the camera 21 is also scanned. On the other hand, it is specified to set the window with a wide width.

このような後側方警報装置は、自車両10の後側方に存在する障害物を検出するために、基本的には先に図2及び図3に示した一連の処理と同様の処理を行うが、図2中ステップS1での処理の中で、ウィンドウ設定装置28によるウィンドウ設定についての処理が行われるとともに、図2中ステップS7の処理の後段に、ウィンドウ幅指示装置29によるウィンドウ幅を指定する処理が付加される。   Such a rear side warning device basically performs the same processing as the series of processing shown in FIGS. 2 and 3 in order to detect an obstacle existing behind the host vehicle 10. However, in the process at step S1 in FIG. 2, the window setting device 28 performs a window setting process, and the window width by the window width instruction device 29 is set after the process at step S7 in FIG. The specified process is added.

すなわち、本実施形態の後側方警報装置は、図2中ステップS1の処理の中で、テンプレートマッチングを行うためのウィンドウを設定する。ここで、後側方警報装置は、カメラ21の視野範囲内に障害物が存在しない場合には、障害物がカメラ21の視野範囲の両端から進入してくることを考慮して、カメラ21の視野範囲の両端にウィンドウを設定し、視野範囲の両端(カメラ21により撮像された画像の両端)をスキャンして、障害物が視野範囲内に進入することを監視する。   That is, the rear side warning device of this embodiment sets a window for performing template matching in the process of step S1 in FIG. Here, the rear side warning device considers that the obstacle enters from both ends of the visual field range of the camera 21 when there is no obstacle in the visual field range of the camera 21. A window is set at both ends of the visual field range, and both ends of the visual field range (both ends of the image captured by the camera 21) are scanned to monitor whether an obstacle enters the visual field range.

具体的には、図9に示すように、ステップS31において、ウィンドウ幅指定装置29が指定するウィンドウ幅をウィンドウ設定装置28が読み込み、テンプレートマッチングのためのウィンドウを設定する。そして、ステップS32において、カメラ21の視野両端に設定したウィンドウ内の領域をスキャンした結果、障害物が出現したか否かを判定する。   Specifically, as shown in FIG. 9, in step S31, the window setting device 28 reads the window width specified by the window width specifying device 29, and sets a window for template matching. In step S32, it is determined whether or not an obstacle has appeared as a result of scanning the areas in the window set at both ends of the visual field of the camera 21.

ここで、後側方警報装置は、障害物が出現していないものと判定した場合には、ステップS32の処理を繰り返す一方で、障害物が出現したものと判定した場合には、ステップS33において、設定したウィンドウ内をテンプレートマッチングし、図2中ステップS2以降へと処理を移行する。   Here, when it is determined that no obstacle has appeared, the rear side warning device repeats the process of step S32, while when it is determined that an obstacle has appeared, in step S33. Then, template matching is performed within the set window, and the process proceeds to step S2 and subsequent steps in FIG.

そして、後側方警報装置は、図2中ステップS2乃至ステップS7の処理を終了すると、図10に示すように、ステップS51において、ウィンドウ幅指定装置29により、変曲点が求められたか否かを判定する。   Then, when the rear side alarm device completes the processing from step S2 to step S7 in FIG. 2, whether or not an inflection point has been obtained by the window width designating device 29 in step S51 as shown in FIG. Determine.

ここで、後側方警報装置は、変曲点が求められていないものと判定した場合には、ステップS52において、ウィンドウ幅指定装置29により、図9にて設定したウィンドウ幅を大きく設定した後、図2中ステップ8以降へと処理を移行する。   Here, if the rear side alarm device determines that the inflection point has not been obtained, after the window width designating device 29 sets the window width set in FIG. Then, the process proceeds to step 8 and the subsequent steps in FIG.

一方、後側方警報装置は、変曲点が求められたものと判定した場合には、ステップS53において、ウィンドウ幅指定装置29により、図9にて設定したウィンドウ幅を小さく設定し、図2中ステップ8以降へと処理を移行する。   On the other hand, when it is determined that the inflection point has been obtained, the rear side alarm device sets the window width set in FIG. 9 to be small by the window width designation device 29 in step S53, and FIG. The process proceeds to middle step 8 and subsequent steps.

このように、後側方警報装置は、変曲点を監視する機能を利用して、テンプレートマッチングを行う際に、ウィンドウ設定装置28によってウィンドウを設定し、求められるべき変曲点が所定時間内に求められなかった場合や、変曲点が所定時間内に多数求められた場合等には、ウィンドウ幅指定装置29からウィンドウ設定装置28に対して広いウィンドウ幅での設定を行うように指定する。   As described above, the rear side warning device uses the function of monitoring the inflection point to set the window by the window setting device 28 when performing template matching, and the inflection point to be obtained is within a predetermined time. If a large number of inflection points are obtained within a predetermined time, the window width designating device 29 designates the window setting device 28 to perform setting with a wide window width. .

後側方警報装置は、広いウィンドウ幅での設定を指定した場合には、光学的外乱等の影響により、画像から障害物の挙動を検出しにくい状態であることを把握しており、検出の信頼性を向上させるべく、画像処理装置22によってカメラ21の視野範囲内の全ての領域を改めてスキャンする。   The rear side warning device knows that it is difficult to detect the behavior of obstacles from the image due to the influence of optical disturbance, etc. when setting with a wide window width is specified. In order to improve the reliability, the image processing device 22 scans all the regions in the field of view of the camera 21 again.

このとき、後側方警報装置は、CPUの処理速度を低速に抑え、安価にシステムを実現すべく、常時スキャンするのではなく、特異的な異常が発生した場合のみ、特別な処理を行うようにする。   At this time, the rear side alarm device does not always scan, but performs special processing only when a specific abnormality occurs in order to reduce the CPU processing speed and realize a system at low cost. To.

後側方警報装置は、上述した場合においても、視野内の全ての領域をスキャンして障害物を検出した場合には、その時点から、第1の実施の形態として示した後側方警報装置における図2中ステップS1の処理を行う。この場合、後側方警報装置は、後側方警報の処理においては後側方に複数の障害物が存在した場合であっても、自車両10に影響が大きいもののみに注目すればよいことから、小さなウィンドウ幅のウィンドウを用いて当該障害物のみをトレースすることになる。   Even in the case described above, the rear side alarm device scans all areas in the field of view and detects an obstacle, and from that point on, the rear side alarm device shown as the first embodiment is used. The process of step S1 in FIG. In this case, the rear side warning device only needs to pay attention to the one having a great influence on the own vehicle 10 even when there are a plurality of obstacles on the rear side in the processing of the rear side warning. Therefore, only the obstacle is traced using a window having a small window width.

以上詳細に説明したように、第2の実施の形態として示した後側方警報装置は、変曲点が所定時間内に求められなかった場合や、変曲点が所定時間内に多数求められた場合には、画像処理装置22によってカメラ21の視野範囲内の全ての領域を改めてスキャンすることから、光学的外乱等の影響により、変曲点に基づく障害物の速度算出を行うことができず、画像から当該障害物の挙動を検出しにくい場合であっても、確実に当該障害物を検出することができ、検出の信頼性を向上させることができる。   As explained in detail above, the rear side warning device shown as the second embodiment is not able to obtain an inflection point within a predetermined time or many inflection points are obtained within a predetermined time. In this case, since the image processing device 22 scans all the regions in the field of view of the camera 21 again, it is possible to calculate the speed of the obstacle based on the inflection point due to the influence of an optical disturbance or the like. Even when it is difficult to detect the behavior of the obstacle from the image, the obstacle can be reliably detected, and the detection reliability can be improved.

また、この後側方警報装置は、カメラ21によって撮像された画像からテンプレートマッチングによって障害物を検出する際に、マッチングを行うウィンドウを設定し、このウィンドウの幅を適宜変更できるようにしているので、自車両10に影響が大きい障害物のみに注目して適切なウィンドウ幅のウィンドウを用いて当該障害物のみをトレースすることが可能となり、CPUの負荷を軽減することができる。   In addition, when detecting an obstacle from the image captured by the camera 21 by template matching, the rear side warning device sets a window for performing matching, so that the width of the window can be appropriately changed. It is possible to trace only the obstacle using a window having an appropriate window width while paying attention only to the obstacle having a large influence on the host vehicle 10, and to reduce the load on the CPU.

以上、本発明の実施の形態について具体的に説明したが、本発明が上述した実施の形態に限定されるものではないことは勿論である。例えば、上述した各実施の形態では、所定の警報音を出力することによって警報動作を行うものとして説明したが、本発明は、所定の視覚的な情報を表示画面に表示することによって警報動作を行うようにしてもよく、警報動作としては任意の手法を適用することができる。   Although the embodiment of the present invention has been specifically described above, it is needless to say that the present invention is not limited to the above-described embodiment. For example, in each of the above-described embodiments, the alarm operation is performed by outputting a predetermined alarm sound. However, the present invention performs the alarm operation by displaying predetermined visual information on the display screen. Any method may be applied as the alarm operation.

また、上述した実施の形態では、後側方警報装置を構成する各部が恰も物理的に別個の装置であるものとして説明したが、本発明は、例えばCPU等によって実行可能なソフトウェアとして構成することもできることは勿論である。その他、本発明は、上述した実施の形態以外の形態であっても、当該本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはいうまでもない。   Further, in the above-described embodiment, each part constituting the rear side alarm device has been described as a physically separate device. However, the present invention is configured as software that can be executed by a CPU or the like, for example. Of course you can also. In addition, even if the present invention is in a form other than the above-described embodiment, various modifications can be made depending on the design and the like as long as the technical idea of the present invention is not deviated. Not too long.

第1の実施形態の後側方警報装置の構成を示すブロック図である。It is a block diagram which shows the structure of the rear side warning apparatus of 1st Embodiment. 第1の実施形態の後側方警報装置で自車両の後側方に存在する障害物を検出して接触の可能性がある場合に警報動作を行う一連の処理を説明するフローチャートである。It is a flowchart explaining a series of processes which perform an alarm operation when an obstacle existing on the rear side of the host vehicle is detected by the rear side alarm device of the first embodiment and there is a possibility of contact. 第1の実施形態の後側方警報装置で自車両の後側方に存在する障害物を検出して接触の可能性がある場合に警報動作を行う一連の処理を説明するフローチャートである。It is a flowchart explaining a series of processes which perform an alarm operation when an obstacle existing on the rear side of the host vehicle is detected by the rear side alarm device of the first embodiment and there is a possibility of contact. 障害物がカメラの視野範囲から逸脱する際の画像における垂直端面の縦方向輝度変化を観測する様子を説明するための図であり、(A)はカメラの視野範囲から障害物としての追越車両が逸脱しようとしている様子を示す図であり、(B)は(A)に示す状況でカメラにより撮像される画像を示す図である。It is a figure for demonstrating a mode that the vertical direction luminance change of the vertical end surface in an image when an obstacle deviates from the visual field range of a camera, (A) is an overtaking vehicle as an obstacle from the visual field range of a camera. FIG. 4B is a diagram illustrating a state in which the camera is about to deviate, and FIG. 5B is a diagram illustrating an image captured by the camera in the situation illustrated in FIG. 障害物がカメラの視野範囲から逸脱する際の画像における垂直端面の縦方向輝度変化を観測した結果を分析する処理を説明するための図であり、(A)は輝度変化が生じ始めた時刻に撮像された画像を示す図であり、(B)は(A)に示す画像よりも後の時刻に撮像された画像を示す図であり、(C)は(B)に示す画像よりもさらに後の時刻に撮像された画像を示す図であり、(D)は(A)乃至(C)で示す画像における垂直端面の輝度変化を時系列で求めたグラフを示す図である。It is a figure for demonstrating the process which analyzes the result of having observed the vertical direction luminance change of the vertical end surface in the image when an obstacle deviates from the visual field range of a camera, and (A) is the time when the luminance change began to occur. It is a figure which shows the imaged image, (B) is a figure which shows the image imaged at the time after the image shown to (A), (C) is further after the image shown to (B). (D) is a diagram showing a graph in which the luminance change of the vertical end face in the images shown in (A) to (C) is obtained in time series. 図5(D)に示す変曲点が生じた後、障害物が自車両を通過していくまでの間の当該障害物の相対的位置を予測する処理を説明するための図である。It is a figure for demonstrating the process which estimates the relative position of the said obstacle after the inflection point shown in FIG.5 (D) arises until an obstacle passes the own vehicle. 画像における垂直端面の輝度変化を時系列で求めたグラフを示す図であって、複数の変曲点が生じている様子を説明するための図である。It is a figure which shows the graph which calculated | required the luminance change of the vertical end surface in an image in time series, Comprising: It is a figure for demonstrating a mode that several inflection points have arisen. 第2の実施形態の後側方警報装置の構成を示すブロック図である。It is a block diagram which shows the structure of the rear side warning apparatus of 2nd Embodiment. 第2の実施形態の後側方警報装置でカメラの視野範囲内に存在する障害物を検出する処理を説明するフローチャートである。It is a flowchart explaining the process which detects the obstruction which exists in the visual field range of a camera with the rear side warning apparatus of 2nd Embodiment. 第2の実施形態の後側方警報装置で輝度変化の観測結果に応じて設定ウィンドウ幅の指定を行う処理を説明するフローチャートである。It is a flowchart explaining the process which designates a setting window width | variety according to the observation result of a luminance change in the rear side warning apparatus of 2nd Embodiment.

符号の説明Explanation of symbols

10 自車両
21 カメラ
22 画像処理装置
23 位置予測装置
24 警報制御装置
25 操舵角センサ
26 ウィンカスイッチ
27 警報ブザー
28 ウィンドウ設定装置
29 ウィンドウ幅指定装置
30 追越車両
DESCRIPTION OF SYMBOLS 10 Own vehicle 21 Camera 22 Image processing apparatus 23 Position prediction apparatus 24 Alarm control apparatus 25 Steering angle sensor 26 Winker switch 27 Alarm buzzer 28 Window setting apparatus 29 Window width designation apparatus 30 Passing vehicle

Claims (4)

自車両の後側方を視野範囲とする撮像手段により撮像された画像を用いて障害物を検出し、必要に応じて警報動作を行う後側方警報装置において、
障害物が前記撮像手段の視野範囲から逸脱することを検出する障害物逸脱検出手段と、
前記障害物が前記撮像手段の視野範囲から逸脱する際に撮像される画像における垂直端面の輝度変化を観測する輝度変化観測手段と、
前記輝度変化観測手段による観測結果に基づいて、前記撮像手段の視野範囲外における前記障害物の位置を予測する位置予測手段とを備え
前記位置予測手段は、前記画像における垂直端面の輝度の時間変化の変曲点を求め、この変曲点に基づいて、前記障害物の通過速度を算出することを特徴とする後側方警報装置。
In a rear side warning device that detects an obstacle using an image picked up by an imaging means having a field of view on the rear side of the host vehicle, and performs a warning operation as necessary,
Obstacle departure detecting means for detecting an obstacle deviating from the field of view of the imaging means;
A luminance change observation means for observing a luminance change of a vertical end face in an image captured when the obstacle deviates from the visual field range of the imaging means;
A position predicting means for predicting the position of the obstacle outside the field of view of the imaging means based on the observation result by the brightness change observing means ,
The position predicting means obtains an inflection point of time change in luminance of the vertical end face in the image, and calculates a passing speed of the obstacle based on the inflection point. .
前記変曲点が所定時間内に求められなかった場合、又は前記変曲点が所定時間内に多数求められた場合には、前記画像内の全ての領域が改めてスキャンされて、前記撮像手段の視野範囲内に前記障害物が存在するか否かが確認されることを特徴とする請求項1に記載の後側方警報装置。When the inflection points are not obtained within a predetermined time, or when a large number of inflection points are obtained within a predetermined time, all the areas in the image are scanned again, and the imaging means The rear side warning device according to claim 1, wherein whether or not the obstacle exists within a visual field range is confirmed. 前記撮像手段の視野範囲内における前記障害物の位置を算出するためのテンプレートマッチングを行うウィンドウを設定するウィンドウ設定手段と、Window setting means for setting a window for performing template matching for calculating the position of the obstacle in the field of view of the imaging means;
前記輝度変化観測手段による観測結果に基づいて、前記ウィンドウ設定手段に対して設定ウィンドウの幅を指定するウィンドウ幅指定手段とを備えることを特徴とする請求項1又は2に記載の後側方警報装置。The rear side warning according to claim 1 or 2, further comprising: a window width designating unit that designates a width of a setting window for the window setting unit based on an observation result by the luminance change observation unit. apparatus.
前記撮像手段の視野範囲内における前記障害物の位置又は前記位置予測手段によって予測した前記撮像手段の視野範囲外における前記障害物の位置と、運転者による前記自車両の操舵操作方向と、前記運転者によるウィンカの操作方向とに基づいて、警報動作を行う警報手段を備えることを特徴とする請求項1乃至3の何れか1項に記載の後側方警報装置。The position of the obstacle within the field of view of the imaging means or the position of the obstacle outside the field of view of the imaging means predicted by the position prediction means, the steering operation direction of the host vehicle by the driver, and the driving The rear side alarm device according to any one of claims 1 to 3, further comprising alarm means for performing an alarm operation based on an operation direction of the winker by a person.
JP2003272004A 2003-07-08 2003-07-08 Rear side warning device Expired - Fee Related JP4013856B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003272004A JP4013856B2 (en) 2003-07-08 2003-07-08 Rear side warning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003272004A JP4013856B2 (en) 2003-07-08 2003-07-08 Rear side warning device

Publications (2)

Publication Number Publication Date
JP2005032075A JP2005032075A (en) 2005-02-03
JP4013856B2 true JP4013856B2 (en) 2007-11-28

Family

ID=34209697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003272004A Expired - Fee Related JP4013856B2 (en) 2003-07-08 2003-07-08 Rear side warning device

Country Status (1)

Country Link
JP (1) JP4013856B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4572772B2 (en) * 2005-08-05 2010-11-04 アイシン・エィ・ダブリュ株式会社 Vehicle periphery monitoring device
US8013758B2 (en) 2006-09-29 2011-09-06 Aisin Seiki Kabushiki Kaisha Warning device and method for vehicle
JP5338566B2 (en) * 2009-08-25 2013-11-13 富士通株式会社 Vehicle detection device, vehicle detection program, and vehicle detection method
JP6716857B2 (en) * 2014-12-26 2020-07-01 株式会社リコー Mobile object, measuring system, measuring method and program
JP6958001B2 (en) * 2017-06-09 2021-11-02 トヨタ自動車株式会社 Lane change support device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04262499A (en) * 1991-02-08 1992-09-17 Mitsubishi Electric Corp Inter-vehicle distance detector
JP3915200B2 (en) * 1997-10-18 2007-05-16 マツダ株式会社 Vehicle obstacle warning device
JP3424808B2 (en) * 1998-10-21 2003-07-07 矢崎総業株式会社 Rear side monitoring device for vehicles
JP4113628B2 (en) * 1999-01-26 2008-07-09 マツダ株式会社 Vehicle display device
JP3822417B2 (en) * 2000-05-30 2006-09-20 三菱電機株式会社 Vehicle periphery monitoring device
JP3838020B2 (en) * 2000-11-13 2006-10-25 日産自動車株式会社 Obstacle detection device

Also Published As

Publication number Publication date
JP2005032075A (en) 2005-02-03

Similar Documents

Publication Publication Date Title
JP3897305B2 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, control program, and readable recording medium
JP3739693B2 (en) Image recognition device
JP5421072B2 (en) Approaching object detection system
US9690996B2 (en) On-vehicle image processor
EP3188156B1 (en) Object recognition device and vehicle control system
JP3304687B2 (en) Vehicle lane recognition device, obstacle detection device, road departure notification device
EP2784763A1 (en) Vehicle periphery monitoring device
JP2000251080A (en) Rear side monitoring device for vehicle
JP2002308030A (en) Periphery monitoring system for vehicle
JP2002079895A6 (en) Lane departure judgment device
JP2005309797A (en) Warning device for pedestrian
JP2006215642A (en) Apparatus and method for monitoring area around moving object, control program, and readable recording medium
JP3952305B2 (en) Moving object periphery monitoring device, moving object periphery monitoring method, control program, and readable recording medium
JP2005276056A (en) Nose view monitoring device
JP3888055B2 (en) Train forward anomaly detection device using optical flow
JP4013856B2 (en) Rear side warning device
JP2004038877A (en) Perimeter monitoring device and image processing apparatus for vehicles
JP2011191859A (en) Apparatus for monitoring surroundings of vehicle
JP2005309660A (en) Device supporting vehicle in turning right or left
JP6253175B2 (en) Vehicle external environment recognition device
JP3084208B2 (en) Image processing device
JP2000251199A (en) Rear side part monitoring device for vehicle
JP3226699B2 (en) Perimeter monitoring device for vehicles
JP2001023092A (en) Monitoring device for vehicle peripheral area
JP2000315255A (en) Back side direction monitoring device for vehicle and back side direction monitoring alarm device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees