[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015125590A1 - 外界認識システム、車両、及びカメラの汚れ検出方法 - Google Patents

外界認識システム、車両、及びカメラの汚れ検出方法 Download PDF

Info

Publication number
WO2015125590A1
WO2015125590A1 PCT/JP2015/052778 JP2015052778W WO2015125590A1 WO 2015125590 A1 WO2015125590 A1 WO 2015125590A1 JP 2015052778 W JP2015052778 W JP 2015052778W WO 2015125590 A1 WO2015125590 A1 WO 2015125590A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
line
reference line
camera
dirt
Prior art date
Application number
PCT/JP2015/052778
Other languages
English (en)
French (fr)
Inventor
秋山　靖浩
克行 中村
耕太 入江
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US15/117,777 priority Critical patent/US10268902B2/en
Priority to EP15752457.0A priority patent/EP3110145B1/en
Publication of WO2015125590A1 publication Critical patent/WO2015125590A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Definitions

  • the present invention relates to an external recognition system that recognizes the periphery of a vehicle based on a camera image, and more particularly to an external recognition system that detects dirt on a camera.
  • Patent Document 1 JP-A-2007-228448
  • Japanese Patent Laid-Open Publication No. 2003-259259 discloses that "information on objects and textures such as signs and pedestrian crossings that are present in the field of view of the imaging device before the image recognition process is performed by imaging the periphery of the vehicle with an imaging device attached to the vehicle. Then, the image recognition unit recognizes the object or texture existing in the field of view, and based on the recognized object shape or texture and the previously acquired object or texture information, the recognized object shape or texture distortion. "Determines the imaging environment such as the presence or absence of water droplets, dirt, or fog on the lens based on the distortion / blurring degree calculated from the shape or texture of the recognized object” (see summary). ).
  • the edge displacement of the bumper is observed from the image of the rear in-vehicle camera of the host vehicle, and the average value is calculated after each observation value is summed. Since the edge observation points are set at a predetermined interval, dirt or the like in a portion that is not an edge observation point is not reflected in the observation value. For this reason, the stain
  • An object of the present invention is to provide an external recognition system that improves the accuracy of detection of dirt on a vehicle-mounted camera.
  • a representative example of the present invention includes a camera mounted on a vehicle, analyzes an image of the camera, and recognizes a state around the vehicle based on an analysis result of the image of the camera.
  • the system includes a dirt detection unit that detects whether or not dirt is attached to the camera, and the dirt detection unit is at least one of objects that do not change on the image of the camera even when the vehicle moves.
  • Some lines are set as at least one reference line, an observation line corresponding to the reference line is calculated from an image of the camera, a displacement amount of the observation line from the reference line is calculated, and the displacement amount is calculated. Based on this, it is detected whether or not dirt is attached to the camera.
  • FIG. 6 is an explanatory diagram of observation line calculation processing according to the first embodiment.
  • FIG. 3 is a flowchart of processing by the external environment recognition system according to the first embodiment. It is explanatory drawing of the vehicle carrying the external field recognition system of Example 2.
  • FIG. 1 is an explanatory diagram of an external environment recognition system 100 according to the first embodiment.
  • the external environment recognition system 100 receives an image of the in-vehicle camera 111 installed in the vehicle, executes predetermined image signal processing on the input image, recognizes the state of the vehicle, and recognizes the recognition result as the vehicle's own vehicle. Notify the control unit 114 and the driver (driver).
  • the recognition of the state of the surroundings of the vehicle means that the external environment recognition system 100 analyzes the image of the in-vehicle camera 111, and the presence or absence of other vehicles and pedestrians including motorcycles or bicycles in the vicinity of the host vehicle and in the surrounding peripheral space. It is to recognize the presence or absence of an obstacle that hinders driving or parking of the vehicle, and a traveling lane or the like for allowing the host vehicle to stably travel on the road.
  • the recognition of the state of the surroundings of the vehicle by detecting the sudden approach of other vehicles and pedestrians (approaching objects) including motorcycles or bicycles in the vicinity and distant from the own vehicle, And predicting a collision between the host vehicle and an obstacle.
  • the external environment recognition system 100 is connected to the in-vehicle camera 111, the control unit 112, the memory 113, and the host vehicle control unit 114 via a signal bus.
  • the in-vehicle camera 111 is installed, for example, on the rear side of the vehicle, and more specifically, is installed between a finisher that is a part of the vehicle body and a bumper that exists below the finisher.
  • the in-vehicle camera 111 captures the state around the vehicle, and the captured image is temporarily stored in the memory 113.
  • the installation position of the in-vehicle camera 111 is not limited to the rear side of the vehicle, and may be, for example, the front side of the vehicle or at least one side of the left and right sides.
  • the control unit 112 controls input / output of images stored in the control unit 112 and input / output of alarm signals between the external environment recognition system 100 and the host vehicle control unit 114.
  • the memory 113 stores an image captured by the in-vehicle camera 111 and various programs executed by the control unit 112.
  • the own vehicle control unit 114 controls vehicle operations such as vehicle engine control and brake control.
  • the external environment recognition system 100 includes a dirt detection unit 101, a surrounding state recognition unit 106, an alarm processing unit 110, and a driver notification unit 109.
  • the external environment recognition system 100 includes a processor and a memory (not shown), and programs corresponding to the dirt detection unit 101, the peripheral state recognition unit 106, the alarm processing unit 110, and the driver notification unit 109 are stored in the memory. When the processor executes these programs, the functions of the dirt detection unit 101, the surrounding state recognition unit 106, the alarm processing unit 110, and the driver notification unit 109 are implemented in the external environment recognition system 100.
  • the dirt detection unit 101 analyzes the image of the in-vehicle camera 111 and detects whether or not dirt is attached to the lens of the in-vehicle camera 111. More specifically, the dirt detection unit 101 calculates the displacement of a predetermined reference line that does not change due to the movement of the vehicle on the image input from the in-vehicle camera 111, so that dirt is attached to the lens of the in-vehicle camera 111. Detect whether or not. For example, when dirt such as raindrops adheres to the lens of the in-vehicle camera 111, the image of the in-vehicle camera 111 corresponding to a predetermined reference line on the image of the in-vehicle camera 111 that does not change due to the movement of the vehicle. This is based on the fact that the lines are distorted.
  • the stain detection unit 101 includes an observation point setting unit 102, an edge displacement observation unit 103, a stain score calculation unit 104, and a stain determination unit 105.
  • the observation point setting unit 102 sets a plurality of observation points on the reference line.
  • the subject imaged by the in-vehicle camera 111 includes a finisher and a bumper, which are a part of the vehicle, and therefore do not change depending on the movement of the vehicle on the image input from the in-vehicle camera 111. Therefore, in this embodiment, the finisher edge line is the upper reference line (finisher reference line (first reference line)), and the bumper edge line is the lower reference line (bumper reference line (second reference line)).
  • the edge displacement observation unit 103 calculates a displacement amount (edge displacement) on the image of the in-vehicle camera 111 of the observation point set by the observation point setting unit 102, calculates a displacement point corresponding to each observation point, and calculates The observation line corresponding to the reference line is calculated by complementing between the displacement points.
  • An observation line corresponding to the finisher reference line is called a finisher observation line
  • an observation line corresponding to the bumper reference line is called a bumper observation line.
  • the dirt score calculation unit 104 calculates the amount of displacement of the observation line from the reference line.
  • the dirt score calculation unit 104 calculates the area of a predetermined region using the first method or the second method in order to calculate the displacement amount of the observation line from the reference line.
  • the dirt score calculation unit 104 calculates the area of the region between the observation line and the reference line in the first method, and calculates the area of the region between the finisher observation line and the bumper observation line in the second method. .
  • the dirt determination unit 105 compares the amount of displacement of the observation line from the reference line with a threshold value, determines whether or not dirt is attached to the lens of the in-vehicle camera 111, and the determination result is determined by the surrounding state recognition unit 106. The result is output to the dirt diagnosis unit 108.
  • the surrounding state recognition unit 106 includes a dirt diagnosis unit 108 and a surrounding recognition unit 107.
  • the dirt diagnosis unit 108 diagnoses whether or not dirt is attached to the lens of the in-vehicle camera 111 based on the determination result. In 107, it is difficult to perform accurate image recognition processing and misrecognition is likely to occur. Therefore, FAIL information indicating that the recognition of the state of the surroundings of the vehicle is stopped is output to the periphery recognition unit 107, and the periphery recognition unit 107 is contaminated.
  • the dirt notification information for notifying the driver that the recognition is stopped is output to the driver notification unit 109.
  • the periphery recognition unit 107 analyzes the image of the in-vehicle camera 111, recognizes the state of the periphery of the vehicle, and outputs a recognition result and alarm information to the alarm processing unit 110.
  • the periphery recognition unit 107 stops recognizing the state around the vehicle.
  • the warning processing unit 110 transmits the recognition result and the warning signal input from the periphery recognition unit 107 to the host vehicle control unit 114 as a warning signal.
  • the own vehicle control unit 114 controls the vehicle based on the received warning signal, and outputs a warning to the driver.
  • the driver notification unit 109 When the dirt notification information is input from the dirt diagnosis unit 108, the driver notification unit 109 notifies the driver that dirt is attached to the lens of the in-vehicle camera 111 and the recognition processing of the periphery recognition unit 107 is stopped.
  • the fact may be displayed on a display installed outside the external world recognition system 100, or a voice to that effect may be output from a speaker installed outside the external world recognition system 100. .
  • the dirt detection unit 101 of the present embodiment can detect not only raindrops but also dirt such as snow, mud, and cloudiness of the lens of the in-vehicle camera 111.
  • FIG. 2 is an explanatory diagram of an image of the in-vehicle camera 111 according to the first embodiment.
  • the in-vehicle camera 111 is installed between a finisher that is a part of a body on the rear side of the vehicle and a bumper that exists below the finisher.
  • the subject of the image of the in-vehicle camera 111 includes a light shielding plate 201, a finisher 202, a bumper 203, a number plate 204, and a road surface 205.
  • the light shielding plate 201 is an image of the light shielding plate attached to the upper part of the lens of the in-vehicle camera 111 so that unnecessary external light such as sunlight is not reflected.
  • the finisher 202 is an image of the finisher above the in-vehicle camera 111.
  • the bumper 203 is an image of a bumper below the in-vehicle camera 111.
  • the license plate 204 is an image of a vehicle license plate.
  • the road surface 205 is an image of the road surface behind the host vehicle including other vehicles and scenery behind the vehicle.
  • the subject of the road surface 205 of the image of the in-vehicle camera 111 changes with time as the vehicle moves.
  • the light shielding plate 201, the finisher 202, the bumper 203, and the The license plate 204 does not change with the movement of the host vehicle and always appears as a stationary subject.
  • the reference line is not limited to this as long as it is a stationary subject, and the light shielding plate 201 is used.
  • the license plate 204 may be used.
  • the first method is used to calculate the amount of displacement of the observation line from the reference line
  • at least one reference line is set from among the light shielding plate 201, the finisher 202, the bumper 203, and the license plate 204.
  • the second method for calculating the amount of displacement of the observation line from the reference line at least two reference lines are set from among the light shielding plate 201, the finisher 202, the bumper 203, and the license plate 204. Just do it.
  • the subject may be used as a reference line.
  • FIG. 3A is an explanatory diagram of the finisher reference line and the bumper reference line.
  • the observation point setting unit 102 reflects the finisher on the image of the in-vehicle camera 111 when the lens of the in-vehicle camera 111 is not contaminated, and sets the edge line of the finisher image as the finisher reference line 301. Similarly, the observation point setting unit 102 reflects the bumper on the image of the in-vehicle camera 111 when the lens of the in-vehicle camera 111 is not contaminated, and sets the edge line of the bumper image as the bumper reference line 302. To do.
  • the observation point setting unit 102 sets the finisher reference line and the bumper reference line based on the design information of the shape of the host vehicle, the installation position information of the in-vehicle camera 111, and the parameter information of the in-vehicle camera 111.
  • the installation position information of the in-vehicle camera 111 includes the height and depth of the position where the in-vehicle camera 111 is installed.
  • the parameter information of the in-vehicle camera 111 includes internal parameter information and external parameter information.
  • the internal parameter information includes the focal length, the pixel center position (center position of the image sensor), the lens distortion count, and the like of the in-vehicle camera 111.
  • the information is an installation angle of the in-vehicle camera 111.
  • the installation angle of the in-vehicle camera 111 is represented by three axis angle values of pitch (X axis), yaw (Y axis), and roll (Z axis).
  • the pitch is the vertical axis rotation
  • the yaw is the horizontal axis rotation
  • the roll is the axial rotation of the in-vehicle camera 111 in the shooting direction.
  • FIG. 3B is an explanatory diagram of a plurality of observation points set on each reference line.
  • the observation point setting unit 102 sets a plurality of observation points (finisher observation points) 303 at predetermined intervals on the finisher reference line 301, and a plurality of observation points (bumper observation points 304) at predetermined intervals on the bumper reference line 302. ) Is set.
  • the number of observation points set for each reference line is arbitrary, but in order to improve the accuracy of the observation line calculated from the displacement points corresponding to the observation points, the observation points are set as many as possible. It is desirable.
  • FIG. 4 is an explanatory diagram of changes in the bumper observation line due to raindrops adhering to the lens of the in-vehicle camera 111 according to the first embodiment.
  • the finisher observation line and the bumper observation line tend to change greatly when dirt such as raindrops adheres to the lens of the in-vehicle camera 111 compared to before the dirt adheres.
  • FIG. 4B shows a bumper observation line 401 before raindrops are attached to the lens of the in-vehicle camera 111.
  • FIG. 4C shows a bumper observation line 403 when raindrops are attached to the lens of the in-vehicle camera 111.
  • the bumper observation line 403 at the spot 402 where the raindrops are attached is greatly deformed due to the light refraction phenomenon when light rays pass through the waterdrops (or water film). It should be noted that the observation line with respect to the reference line such as the bumper observation line 403 is greatly deformed in this way, not only for raindrops, but also for dirt such as snow, mud, and cloudiness.
  • FIG. 5 is an explanatory diagram of a method for calculating the displacement point of the observation point 304 with the bumper reference line 302 according to the first embodiment.
  • the edge displacement observation unit 103 is a luminance value of pixels located within a predetermined range (pixel acquisition range) 501 (H1 to H3) from the observation point 304 set on the bumper reference line 302 in a direction orthogonal to the bumper reference line 302. For example, 0 to 255) is acquired. Then, the edge displacement observation unit 103 calculates the position of the pixel where the gradient of the brightness value of the adjacent pixel is maximum as the displacement point.
  • the pixel acquisition range 501 is arbitrarily set within a range in which the gradient of the luminance value can be calculated. Further, the pixel acquisition range 501 may be set to a different value for each observation point.
  • the center of the pixel acquisition range 501 is set at the observation point 304 so that the observation can be performed regardless of whether the displacement point is displaced in the vertical direction of the observation point 304. May be set to be shifted upward or downward in the observation point 304.
  • the bumper reference line 302 is a line extending in the left-right direction
  • the pixel acquisition range 501 is set in a direction (vertical direction) orthogonal to the bumper reference line 302.
  • the reference line extends in the vertical direction.
  • the pixel acquisition range 501 is set in the left-right direction.
  • FIG. 6 is an explanatory diagram of changes in luminance values of pixels in the pixel acquisition range 501 at the observation point 304 according to the first embodiment.
  • the horizontal axis 600 indicates the pixel position of the pixel in the pixel acquisition range 501
  • the vertical axis 601 indicates the luminance value of each pixel.
  • the change in the luminance value when the lower side of the bumper reference line 302 is darker than the upper side and no dirt is attached to the lens of the in-vehicle camera 111 is shown by a curve A602. become that way. That is, in the curve A602, the luminance value of the pixel whose pixel position is in the H1 direction is large, and the luminance value of the pixel is small when the pixel position is in the H2 direction from the position P1.
  • the pixel position where the gradient of the luminance value of the curve A602 is maximum is the position (maximum gradient position) P1, and corresponds to the observation point 304 when the pixel at the position P1 is not contaminated with the lens of the in-vehicle camera 111. This is the displacement point.
  • the maximum gradient position of curve B603 changes from position P1 to position P2. This is presumed that the maximum gradient position has changed from the position P1 to the position P2 due to dirt such as raindrops attached to the lens of the in-vehicle camera 111.
  • FIG. 7 is an explanatory diagram of the observation line calculation process of the first embodiment.
  • observation points 304A to 304D are set on the bumper reference line 302, and the edge displacement observation unit 103 performs displacement points 701A to 701D corresponding to all the observation points 304A to 304D by the method described in FIG. Is calculated. Then, the edge displacement observation unit 103 generates a line passing through the coordinates of the calculated displacement points 701A to 701D as the bumper observation line 702.
  • the dirt score calculation unit 104 calculates the amount of displacement of the bumper observation line 702 from the bumper reference line 302 as a score.
  • the displacement of the bumper observation line 702 from the bumper reference line 302 is calculated by, for example, the area between the bumper observation line 702 and the bumper reference line 302.
  • the bumper observation line 702 When dirt (for example, raindrops, etc.) is not attached to the lens of the in-vehicle camera 111, the bumper observation line 702 is not displaced from the bumper reference line 302, so the area between the bumper observation line 702 and the bumper reference line 302 is 0. Become.
  • a finisher observation line (not shown) of the finisher reference line 301 can be calculated using the same method.
  • the displacements from the observation points 304A to 304D to the displacement points 701A to 701D are displacement amounts D1 to D4.
  • the edge displacement observation unit 103 complements the region between the displacement points using the least square method with these displacement amounts D1 to D4 as inputs, and calculates the observation line 702 as a quadratic function curve.
  • the least squares method uses a difference (residual) between an estimated value (corresponding to a reference line) and a measured value (corresponding to an observation line) to minimize the sum of the squares of the residuals.
  • This is a method for calculating a count. Specifically, a quadratic function curve serving as an observation line is calculated by Equation 1.
  • Equation 1 W2, W1, and W0 are quadratic function counts, and X is the X coordinate of each observation point 304A to 304D.
  • Equation 2 a total value T of values obtained by squaring all the displacement amounts D1 to D4 is calculated using Equation 2.
  • T in Equation 2 is the sum of squares of the displacement amounts D1 to D4, x is the X coordinate of each observation point 304A to 304D, f (x) is the y coordinate of the displacement points 701A to 701D, and Y Is the y coordinate of the observation points 304A to 304D at the x position.
  • Equation 3 Since T in Equation 3 can be regarded as a function of the coefficients W2, W1, and W0, T becomes minimum when the equation obtained by differentiating T in Equation 3 with the coefficients W2, W1, and W0 becomes zero.
  • Equation 3 when the simultaneous equations under the condition that T is minimum is expressed by a determinant, Equation 4 is obtained.
  • the quadratic function curve connecting the displacement points 701A to 701D of the observation points 304A to 304D is calculated using the least square method.
  • the method of calculating the observation line from the displacement point is not limited to the least square method, and other methods may be used.
  • the first method and the second method will be described as the score calculation method by the stain score calculation unit 104.
  • the stain score calculation unit 104 calculates the score using at least one of the first method and the second method. Good.
  • FIG. 8A is an explanatory diagram of a score calculation process using the first method by the dirt score calculation unit 104.
  • the score that is the displacement of the observation line from the reference line is calculated by calculating the area between the observation line and the reference line.
  • the area of the region (dirt score region 801) between the finisher observation line 703 and the finisher reference line is calculated as a score.
  • the area of the region between the bumper observation line 702 and the bumper reference line 302 can be calculated.
  • FIG. 8B is an explanatory diagram of a score calculation process using the second method by the dirt score calculation unit 104.
  • the score that is the displacement of the observation line from the reference line is calculated by calculating the area between the two observation lines. Specifically, the area of the region (dirt score region 802) between the finisher observation line 703 and the bumper observation line 702 is calculated as a score.
  • the area of the dirt score region 802 from ⁇ to ⁇ is calculated.
  • ⁇ and ⁇ are intersections of the finisher observation line 703 and the bumper observation line 702.
  • the area of the dirt score area 802 of the second method is larger than the area of the dirt score area 801 of the first method, it corresponds to a threshold value for determining that dirt is attached to the lens of the in-vehicle camera 111.
  • the margin becomes large, and it becomes easy to compare the area by the dirt determination unit 105 with the threshold value. This improves the accuracy of determining whether or not dirt is attached to the lens of the in-vehicle camera 111.
  • FIG. 9 is an explanatory diagram of the displacement point correction process by the edge displacement observation unit 103 according to the first embodiment.
  • the displacement point correction process is executed after the edge displacement observation unit 103 calculates the displacement point when the dirt score calculation unit 104 calculates the score using the second method.
  • the displacement points 701E and 701G are calculated above the finisher reference line 301, and the displacement point 701F is calculated below the finisher reference line 301.
  • the areas are offset by the displacement in the different displacement directions. Therefore, the displacement of the observation line from the reference line cannot be calculated accurately. For example, if one of the two displacement points of a reference line is displaced upward, the other displacement point is displaced downward, and these displacements are the same, the two observation lines If the area of the area in between is calculated, the area becomes 0, and the observation line is not changed from the reference line.
  • the displacement direction of the displacement point from a certain reference line is corrected to either the direction in which the area decreases or the direction in which the area increases.
  • the displacement point 701E is displaced downward by the amount of displacement of the displacement point 701E, and the displacement point 701E is corrected to the displacement point 701E ′.
  • the displacement point 701G is displaced downward by the amount of displacement of the displacement point 701G, and the displacement point 701G is corrected to the displacement point 701G ′.
  • the displacement point is displaced upward by the amount of displacement.
  • the area between the finisher observation line 703 and the bumper observation line 702 decreases (the correction direction of the displacement point above the finisher reference line 301 is downward).
  • the correction point of the displacement point below the bumper reference line 302 is corrected upward), thereby preventing the area from being canceled by the displacement point having a different displacement direction, and the reference line of the observation line It is possible to accurately calculate the displacement from.
  • FIG. 10 is an explanatory diagram of the relationship between the score calculated by the dirt score calculation unit 104 according to the first embodiment and a threshold value.
  • the dirt determination unit 105 determines whether or not dirt is attached to the lens of the in-vehicle camera 111 by comparing the magnitude relationship between the score calculated by the dirt score calculation unit 104 and the threshold value.
  • FIG. 10A is an explanatory diagram of the relationship between the score and the threshold value according to the first method.
  • the area (finisher score value SC1 (1000)) between the finisher observation line 703 and the finisher reference line 301 and the area between the bumper observation line 702 and the bumper reference line 302 are calculated.
  • at least one of the areas (bumper score value SC2 (1001)) may be calculated, in this embodiment, a case where both the finisher score value SC1 (1000) and the bumper score value SC2 (1001) are calculated will be described. .
  • Threshold value TH1 (1002) is set for finisher score value SC1 (1000), and threshold value TH2 (1003) is set for bumper score value SC2 (1001).
  • threshold values TH1 (1002) and threshold value TH2 (1003) are initially set to predetermined values when the own vehicle starts ignition and the outside recognition system 100 starts.
  • the same value is set for the threshold value TH1 (1002) and the threshold value TH2 (1003), but different values may be set.
  • the finisher score value SC1 (1000) and the bumper score value SC2 (1001) are calculated, for example, the sum of the finisher score value SC1 (1000) and the bumper score value SC2 (1001) is calculated.
  • one threshold value may be set.
  • FIG. 10B is an explanatory diagram of the relationship between the score and the threshold value according to the second method.
  • Threshold value TH (1005) is initially set to a predetermined value when the vehicle starts ignition and external environment recognition system 100 starts.
  • FIG. 11 is an explanatory diagram of the determination result of the dirt determination unit 105.
  • FIG. 11A is an explanatory diagram of a stain determination result based on the finisher score value SC1 (1000) according to the first method.
  • the dirt determination unit 105 determines whether or not the score value calculated by the first method is equal to or larger than the threshold value. If the score value is equal to or larger than the threshold value, dirt is attached to the lens of the in-vehicle camera 111. It is determined that
  • FIG. 11A is a graph in which the vertical axis is the finisher score value SC1 (1000) and the horizontal axis is time T1100.
  • the finisher score value SC1 (1000) increases with time and becomes equal to or greater than the threshold value TH1 (1002) at time T2. For this reason, the determination result of the contamination determination unit 105 is no contamination from time T1 to time T2, and there is contamination from time T2 to time T3.
  • FIG. 11B is an explanatory diagram of a stain determination result based on the score value SC (1004) according to the second method.
  • the dirt determination unit 105 determines whether or not the score value calculated by the second method is equal to or less than the threshold value. If the score value is equal to or less than the threshold value, dirt is attached to the lens of the in-vehicle camera 111. It is determined that
  • FIG. 11B is a graph in which the vertical axis is score value SC (1004) and the horizontal axis is time T1100.
  • the score value SC (1004) decreases with time and becomes equal to or less than the threshold value TH (1005) at time T2. For this reason, the determination result of the contamination determination unit 105 is no contamination from time T1 to time T2, and there is contamination from time T2 to time T3.
  • the dirt determination unit 105 determines whether or not the score value calculated by the second method is equal to or greater than the threshold value. If the score value is equal to or greater than the threshold value, dirt is attached to the lens of the in-vehicle camera 111. It is determined that
  • FIG. 12 is a flowchart of processing performed by the external environment recognition system 100 according to the first embodiment.
  • the external environment recognition system 100 determines whether or not the ignition of the host vehicle is turned on (S1).
  • the external recognition system 100 when it is determined that the ignition is not turned on, the external recognition system 100 repeatedly executes the process of S1 until it is determined that the ignition is turned on.
  • the observation point setting unit 102 sets the finisher observation point 303 and the bumper observation point 304 (S2).
  • the observation point setting unit 102 sets the finisher reference line and the bumper reference line based on the design information of the shape of the own vehicle, the installation position information of the in-vehicle camera 111, and the parameter information of the in-vehicle camera 111. Also good.
  • the observation point setting unit 102 sets a threshold used by the dirt determination unit 105 (S3).
  • the observation point setting unit 102 may acquire the current weather information by a predetermined method, and set a threshold based on the acquired weather information. For example, when the weather information is rain or snow, the observation point setting unit 102 may set a threshold value that makes it difficult to determine that the dirt is attached, and when the weather information is clear, the dirt is attached. A threshold value that can be easily determined may be set. In the threshold value corresponding to the score value according to the first method and the score value according to the second method in which the area is increased in the direction of increasing the area, the threshold value that is difficult to determine that the dirt has adhered is a value that is larger than the normal threshold value.
  • the threshold value that is easily determined to be attached is a value smaller than the normal threshold value.
  • the threshold value that is difficult to determine that dirt has adhered is a value smaller than the normal threshold value, and the threshold value that is likely to determine that dirt has adhered is less than the normal threshold value. Large value.
  • the current weather information may be determined based on the image of the in-vehicle camera 111, the weather information of the current location may be acquired via another Internet or the like, or the driver may input manually. Good.
  • the edge displacement observation unit 103 calculates a displacement point 701 corresponding to the finisher observation point 303 based on the input image (S4).
  • the calculation of the displacement point 701 has been described in detail with reference to FIG.
  • the edge displacement observation unit 103 calculates the finisher observation line 703 based on the displacement point 701 calculated in the process of S4 (S5).
  • the calculation of the finisher observation line 703 has been described with reference to FIG. Note that when the score is calculated using the second method, the edge displacement observation unit 103 performs the displacement point correction described in FIGS. 9A and 9B on the displacement point 701 calculated in the process of S4. After executing the processing, the finisher observation line 703 is calculated.
  • the edge displacement observation unit 103 calculates a displacement point 701 corresponding to the bumper observation point 304 based on the input image (S6).
  • the calculation of the displacement point has also been described in detail with reference to FIG.
  • the edge displacement observation unit 103 calculates the bumper observation line 702 by complementing the region between the displacement points 701 based on the displacement points 701 calculated in the process of S4 (S7).
  • the calculation of the bumper observation line 702 has been described with reference to FIG.
  • the edge displacement observation unit 103 explains the displacement point 701 calculated in the process of S5 with reference to FIGS. 9A and 9B.
  • the bumper observation line 702 is calculated.
  • the dirt score calculation unit 104 calculates the area of the region between the finisher observation line 703 and the finisher reference line 301 as the finisher score value SC1 (1000), and the bumper observation line 702 Is calculated as a bumper score value SC2 (1001) (S8).
  • the dirt score calculation unit 104 calculates the area of the region between the finisher observation line 703 and the bumper observation line 702 as the score value SC (1004) in the case of the second method.
  • the finisher score value SC1 (1000), the bumper score value SC2 (1001), and the score value SC (1004) are calculated.
  • the dirt determination unit 105 determines whether or not the finisher score value SC1 (1000) according to the first method is equal to or greater than the threshold value TH1 (1002), and the bumper score value SC2 (1001) according to the first method is equal to the threshold value TH2 (1003). ) It is determined whether or not it is above (S9A).
  • the score value according to the first method is determined. It may be determined that it is equal to or greater than the threshold value, and dirt is attached to the lens of the in-vehicle camera 111, the finisher score value SC1 (1000) is equal to or greater than the threshold value TH1 (1002), and the bumper score value SC2 (1001) is the threshold value.
  • TH2 1003
  • the dirt determination unit 105 determines whether or not dirt is attached to the lens of the in-vehicle camera 111 by determining whether or not the score value SC (1004) is equal to or less than the threshold value TH (1005) (S9B). ).
  • the dirt determination unit 105 determines that dirt is attached to the lens of the in-vehicle camera 111. (S10), the determination result is output to the stain diagnosis unit 108.
  • the dirt diagnosis unit 108 When the determination result indicating that dirt has adhered to the lens of the in-vehicle camera 111 is input, the dirt diagnosis unit 108 outputs FAIL information indicating that the operation is stopped to the periphery recognition unit 107 (S11). In order to notify the driver that the periphery recognizing unit 107 has stopped operating due to dirt on the lens, dirt notification information is output to the driver notifying unit 109 (S12). Note that when the dirt notification information is input, the driver notification unit 109 notifies the driver to that effect. As a mode of notification, the fact may be displayed on a display screen mounted on the host vehicle, or a voice indicating that may be output from a speaker mounted on the host vehicle.
  • the external environment recognition system 100 determines whether or not to end the process by determining whether or not the ignition is turned off (S15). If it is determined in step S15 that the ignition is turned off, the process is terminated. If it is determined that the ignition is not turned off, the process returns to step S3.
  • the dirt determination unit 105 determines that dirt is not attached to the lens of the in-vehicle camera 111. A determination is made (S13), and the determination result is output to the dirt diagnosis unit.
  • the stain diagnosis unit 108 When the determination result indicating that dirt is not attached to the lens of the in-vehicle camera 111 is input, the stain diagnosis unit 108 does not output the FAIL information to the periphery recognition unit 107 and causes the periphery recognition unit 107 to continue the operation ( The process proceeds to S14) and S15.
  • the process proceeds to S10. However, if it is determined that both the processing in S9A and the processing in S9B indicate that the lens of the in-vehicle camera 111 is contaminated, the processing may proceed to S10. In addition, as described with reference to FIG. 8, the area calculated by the second method is larger than the area calculated by the first method and the margin with the threshold value is increased, so that dirt is attached to the lens of the in-vehicle camera 111. Considering that the determination of whether or not it has been performed is accurate, at least the process of S9B may proceed to the process of S10 when it is determined that dirt is attached to the lens of the in-vehicle camera 111.
  • both the score value by the first method and the score value by the second method are calculated, but either one of the score values may be calculated.
  • the score value by the first method it is not necessary to calculate both the finisher score value SC1 (1000) and the bumper score value SC2 (1001), and only one of them may be calculated.
  • the finisher score value SC1 (1000) it is not necessary to set the bumper observation point 304 in the process of S2, and it is not necessary to execute the processes of S6 and S7.
  • only the bumper score value SC2 (1001) is calculated, it is not necessary to set the finisher observation point 303 in the process of S2, and it is not necessary to execute the processes of S4 and S5.
  • the external environment recognition system 100 calculates the amount of displacement of the observation line from the reference line, and whether or not dirt is attached to the lens of the in-vehicle camera 111 based on the calculated amount of displacement. Determine.
  • the dirt of the lens of the in-vehicle camera 111 can be detected more accurately than in Patent Document 1 in which dirt or the like that is not an edge observation point is not reflected in the observed value.
  • the external environment recognition system 100 calculates the area of the region between the observation line and the reference line by the first method, thereby shifting the observation line from the reference line.
  • the amount may be calculated, or, as described with reference to FIG. 8B, between the first observation line (finisher observation line 703) and the second observation line (bumper observation line 702) by the second method.
  • the amount of displacement of each observation line from each reference line may be calculated by calculating the area of the region. In this way, by using the area, it is possible to calculate the total displacement amount of the observation line from the reference line, and thus it is possible to accurately detect the contamination of the lens of the in-vehicle camera 111.
  • the external environment recognition system 100 is a displacement point corresponding to the observation point of the first reference line (finisher reference line 301).
  • the displacement direction of the displacement point corresponding to the observation point of the second reference line (bumper reference line 302) are unified to either the direction in which the area increases or the direction in which the area decreases. Therefore, it is possible to prevent a situation where the dirt cannot be detected even though the area is canceled by the displacement points having different displacement directions, and the dirt of the lens of the in-vehicle camera 111 is attached.
  • the external environment recognition system 100 calculates the observation line by interpolating between the displacement points using, for example, the least square method or the like.
  • the displacement from the reference line can be calculated more accurately.
  • the external environment recognition system 100 acquires the luminance value of the pixel in the pixel acquisition range 501 at the observation point set as the reference line, and selects the pixel having the maximum gradient of the acquired luminance value. Calculated as the displacement point. Thereby, the point corresponding to the observation point in the image of the in-vehicle camera 111 can be accurately calculated as the displacement point.
  • the external environment recognition system 100 sets the reference line based on the design information of the shape of the own vehicle, the installation position information of the in-vehicle camera 111, and the parameter information of the in-vehicle camera 111.
  • the position of an object to be a reference line on the image of the in-vehicle camera 111 can be accurately set as the reference line.
  • FIG. 13 is an explanatory diagram of the vehicle 10 on which the external environment recognition system 100 according to the second embodiment is mounted. Among the configurations shown in FIG. 13, the same configurations as the configurations shown in FIG.
  • the vehicle 10 includes an external environment recognition system 100, an in-vehicle camera 111, a control unit 112, a memory 113, a host vehicle control unit 114, an LED 1200, a speaker 1201, a display 1202, and a car navigation (navigation device) 1203.
  • the driver notification unit 109 When the dirt notification information is input from the dirt diagnosis unit 108, the driver notification unit 109 notifies the driver that dirt is attached to the lens of the in-vehicle camera 111 and the recognition processing of the periphery recognition unit 107 is stopped. Is transmitted to at least one of the LED 1200, the speaker 1201, the display 1202, and the car navigation system 1203.
  • the LED 1200 When the LED 1200 receives the notification signal, the LED 1200 is turned on to notify the driver that the lens of the in-vehicle camera 111 is contaminated and the recognition processing of the periphery recognition unit 107 is stopped.
  • the LED 1200 may be installed outside the vehicle 10 or may be installed inside.
  • the speaker 1201 When the speaker 1201 receives the notification signal, it outputs sound information indicating that the lens of the in-vehicle camera 111 is contaminated and the recognition processing of the periphery recognition unit 107 is stopped, and notifies the driver of that.
  • the display 1202 When the display 1202 receives the notification signal, it indicates that the lens of the in-vehicle camera 111 is contaminated and the recognition processing of the periphery recognition unit 107 is stopped, and notifies that to the driver.
  • the lens of the in-vehicle camera 111 is soiled, and the recognition processing of the periphery recognition unit 107 is stopped on the display of the car navigation system 1203, and that is notified to the driver. .
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, or SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • control lines and information lines are those that are considered necessary for explanation, and not all control lines and information lines on the product are shown. In fact, almost all configurations are connected to each other. You may think that it is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　車両に搭載されたカメラを備え、カメラの画像を解析して、カメラの画像の解析結果に基づいて車両の周辺の状態を認識する外界認識システムであって、汚れ検出部は、車両が移動してもカメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、カメラの画像から基準線に対応する観測線を算出し、観測線の基準線からの変位量を算出し、変位量に基づいてカメラに汚れが付着しているか否かを検出することを特徴とする。

Description

外界認識システム、車両、及びカメラの汚れ検出方法 参照による取り込み
　本出願は、平成２６年（２０１４年）２月１８日に出願された日本出願である特願２０１４－２８４１４の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　カメラの画像に基づいて車両の周辺を認識する外界認識システムに関し、特に、カメラの汚れを検出する外界認識システムに関する。
　車両同士の衝突及び人と車両との衝突等の事故を未然に避けるため、車両の周辺の状況を車載カメラでモニタし、危険が感知された場合、その旨をドライバーに警報を出力すると共に、車両の挙動を自動で制御する技術が進展している。
　車載カメラを車両の外部に設置したシステムでは、悪天候、泥、及び粉塵等によって車載カメラのレンズに汚れが付着しやすい。この汚れが原因となり、誤った警報を出力し、安全性の低下を招く可能性がある。
　そこで、車載カメラのレンズの汚れを自動的に検出し、エアー又は水等を吹きかけて車載カメラのレンズの汚れを除去するシステムも実用化されている。
　例えば、車載カメラのレンズの汚れを検出する技術として、特開２００７－２２８４４８号公報（特許文献１）がある。
　特許文献１の公報には、「車両に取り付けられた撮像装置により自車周辺を撮像し、画像認識処理を実行前に撮像装置の視野内に存在する標識や横断歩道などの物体やテクスチャの情報を取得する。そして、視野内に存在する物体やテクスチャを画像認識部で認識し、認識した物体の形状あるいはテクスチャと予め取得した物体やテクスチャの情報に基づき、認識した物体の形状あるいはテクスチャの歪み、ボケ度合いを算出する。認識した物体の形状あるいはテクスチャから算出した歪み・ボケ度合いに基づきレンズについた水滴や汚れ，霧の有無等の撮像環境を認識する。」と記載されている（要約参照）。
特開２００７－２２８４４８号公報
　特許文献１に記載された技術では、自車両のリアの車載カメラの画像からバンパーのエッジ変位が点群観測され、各観測値が合計された後に平均値が算出される。エッジ観測点は所定間隔で設定されるため、エッジ観測点でない部分の汚れ等が観測値に反映されない。このため、車載カメラの汚れを正確に検出できない。
　本発明は、車載カメラの汚れの検出の正確性を向上させた外界認識システムを提供することを目的とする。
　本発明の代表的な一例を示せば、車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、前記汚れ検出部は、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、前記カメラの画像から前記基準線に対応する観測線を算出し、前記観測線の前記基準線からの変位量を算出し、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出することを特徴とする。
　本願において開示される発明のうち代表的なものによって得られる効果を簡潔に説明すれば、下記の通りである。すなわち、車載カメラの汚れの検出の正確性を向上させた外界認識システムを提供できる。
　上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
実施例１の外界認識システムの説明図である。 実施例１の車載カメラの画像の説明図である。 実施例１のフィニッシャー基準線及びバンパー基準線、並びに各基準線に設定される観測点の説明図である。 実施例１の車載カメラのレンズに雨滴が付着したことによるバンパー観測線の変化の説明図である。 実施例１のバンパー基準線のある観測点の変位点の算出方法の説明図である。 実施例１の観測点の画素取得範囲の画素の輝度値の変化の説明図である。 実施例１の観測線の算出処理の説明図である。 実施例１の汚れスコア計算部によるスコアの算出処理の説明図である。 実施例１のエッジ変位観測部による変位点補正処理の説明図である。 実施例１の汚れスコア計算部に算出されたスコアと閾値との関係の説明図である。 実施例１の汚れ判定部の判定結果の説明図である。 実施例１の外界認識システムによる処理のフローチャートである。 実施例２の外界認識システムが搭載された車両の説明図である。
　実施例１について図１～図１２を用いて説明する。図１は、実施例１の外界認識システム１００の説明図である。
　外界認識システム１００は、車両に設置された車載カメラ１１１の画像が入力され、入力された画像に所定の画像信号処理を実行し、車両の周辺の状態を認識し、認識結果を車両の自車両制御部１１４及びドライバー（運転手）に報知する。
　車両の周辺の状態の認識とは、外界認識システム１００が車載カメラ１１１の画像を解析し、自車両の近傍及び遠方の周辺空間において、バイク又は自転車を含む他の車両及び歩行者の有無、自車両の走行又は駐車の妨げになる障害物の有無、並びに自車両が道路を安定して走行できるための走行レーン等を認識することである。車両の周辺の状態の認識は、他にも、自車両の近傍及び遠方のバイク又は自転車を含む他の車両及び歩行者（接近物）の急接近を検知することによって、自車両と接近物との衝突を予測すること、並びに自車両と障害物との衝突を予測することを含む。
　外界認識システム１００は、信号バスを介して車載カメラ１１１、制御部１１２、メモリ１１３、及び自車両制御部１１４に接続される。
　車載カメラ１１１は、例えば、車両の後方側に設置され、より詳細には、車両のボディの一部であるフィニッシャーと当該フィニッシャーの下方に存在するバンパーとの間に設置される。車載カメラ１１１は車両の周辺の状態を撮影し、撮影した画像はメモリ１１３に一時的に記憶される。なお、車載カメラ１１１の設置位置は車両の後方側に限定されず、例えば、車両の前方側であってもよいし、左右側方の少なくとも一方側であってもよい。
　制御部１１２は、制御部１１２に記憶された画像の入出力、及び外界認識システム１００と自車両制御部１１４との間における警報信号の入出力を制御する。メモリ１１３には、車載カメラ１１１が撮影した画像及び制御部１１２が実行する各種プログラムが記憶される。
　自車両制御部１１４は、車両のエンジン制御及びブレーキ制御等の車両の動作を制御する。
　外界認識システム１００は、汚れ検出部１０１、周辺状態認識部１０６、警報処理部１１０、及びドライバー通知部１０９を備える。外界認識システム１００は、図示しないプロセッサ及びメモリを備え、メモリには、汚れ検出部１０１、周辺状態認識部１０６、警報処理部１１０、及びドライバー通知部１０９に対応するプログラムが記憶される。プロセッサがこれらのプログラムを実行することによって、汚れ検出部１０１、周辺状態認識部１０６、警報処理部１１０、及びドライバー通知部１０９の機能が外界認識システム１００に実装される。
　汚れ検出部１０１は、車載カメラ１１１の画像を解析し、車載カメラ１１１のレンズに汚れが付着しているか否かを検出する。より詳細には、汚れ検出部１０１は、車載カメラ１１１から入力された画像上において、車両の移動によって変化しない所定の基準線の変位を算出することによって、車載カメラ１１１のレンズに汚れが付着しているか否かを検出する。これは、車載カメラ１１１のレンズに例えば雨滴等の汚れが付着している場合には、車両の移動によって変化しない車載カメラ１１１の画像上の所定の基準線に対応する車載カメラ１１１の画像上における線に歪みが生じていることに着目したものである。
　汚れ検出部１０１は、観測点設定部１０２、エッジ変位観測部１０３、汚れスコア計算部１０４、及び汚れ判定部１０５を有する。
　観測点設定部１０２は、基準線上に複数の観測点を設定する。車載カメラ１１１が撮像する被写体には、フィニッシャー及びバンパーが含まれ、これらは車両の一部であるため、車載カメラ１１１から入力された画像上では車両の移動によっては変化しない。このため、本実施例では、フィニッシャーのエッジ線を上方の基準線（フィニッシャー基準線（第１基準線））とし、バンパーのエッジ線を下方の基準線（バンパー基準線（第２基準線））とする。
　エッジ変位観測部１０３は、観測点設定部１０２によって設定された観測点の車載カメラ１１１の画像上の変位量（エッジ変位）を算出し、各観測点に対応する変位点を算出し、算出した変位点間を補完して基準線に対応する観測線を算出する。なお、フィニッシャー基準線に対応する観測線をフィニッシャー観測線といい、バンパー基準線に対応する観測線をバンパー観測線という。
　汚れスコア計算部１０４は、観測線の基準線からの変位量を算出する。汚れスコア計算部１０４は、観測線の基準線からの変位量の算出するために第１方式又は第２方式を用いて所定の領域の面積を算出する。汚れスコア計算部１０４は、第１方式では、観測線と基準線との間の領域の面積を算出し、第２方式では、フィニッシャー観測線とバンパー観測線との間の領域の面積を算出する。
　汚れ判定部１０５は、観測線の基準線からの変位量と閾値とを比較して、車載カメラ１１１のレンズに汚れが付着しているか否かを判定し、判定結果を周辺状態認識部１０６の汚れ診断部１０８に出力する。
　周辺状態認識部１０６は、汚れ診断部１０８及び周辺認識部１０７を有する。汚れ診断部１０８は、判定結果に基づいて、車載カメラ１１１のレンズに汚れが付着しているか否かを診断し、車載カメラ１１１のレンズに汚れが付着していると診断した場合、周辺認識部１０７において正確な画像認識処理の実行が困難であり、誤認識が生じやすいため、周辺認識部１０７に車両の周辺の状態の認識を停止させる旨のＦＡＩＬ情報を出力し、汚れにより周辺認識部１０７の認識を停止する旨をドライバーに報知するための汚れ通知情報をドライバー通知部１０９に出力する。
　周辺認識部１０７は、車載カメラ１１１の画像を解析し、車両の周辺の状態を認識し、認識結果及び警報情報を警報処理部１１０に出力する。なお、周辺認識部１０７は、汚れ診断部１０８からＦＡＩＬ情報が入力された場合、車両の周辺の状態の認識を停止する。
　警報処理部１１０は、周辺認識部１０７から入力された認識結果及び警報信号を警報信号として自車両制御部１１４に送信する。自車両制御部１１４は、警報信号を受信すると、受信した警報信号に基づいて車両を制御し、ドライバーに警報を出力する。
　ドライバー通知部１０９は、汚れ診断部１０８から汚れ通知情報が入力された場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨をドライバーに報知する。報知の態様としては、外界認識システム１００の外部に設置されたディスプレイにその旨を表示してもよいし、外界認識システム１００の外部に設置されたスピーカからその旨の音声を出力してもよい。
　なお、本実施例の汚れ検出部１０１は、雨滴のみならず、車載カメラ１１１のレンズの雪、泥、及び白濁等の汚れを検出可能である。
　図２は、実施例１の車載カメラ１１１の画像の説明図である。
　図１で説明したように、車載カメラ１１１は、車両の後方側のボディの一部であるフィニッシャーと当該フィニッシャーの下方に存在するバンパーとの間に設置される。
　車載カメラ１１１の画像の被写体は、遮光板２０１、フィニッシャー２０２、バンパー２０３、ナンバープレート２０４、及び路面２０５を含む。
　遮光板２０１は、太陽光等の不要な外光を映り込まないようにするために、車載カメラ１１１のレンズの上部に装着される遮光板の画像である。フィニッシャー２０２は、車載カメラ１１１の上方のフィニッシャーの画像である。バンパー２０３は、車載カメラ１１１の下方のバンパーの画像である。ナンバープレート２０４は、車両のナンバープレートの画像である。路面２０５は、他の車両及び後方の風景等を含む自車両の後方の路面の画像である。
　車載カメラ１１１の画像の路面２０５は、自車両の移動によって時間経過とともに被写体が変化する。一方、遮光板、フィニッシャー、バンパー、及びナンバープレートと車載カメラ１１１との相対的な位置関係は自車両の移動によって変化しないので、車載カメラ１１１の画像の遮光板２０１、フィニッシャー２０２、バンパー２０３、及びナンバープレート２０４は、自車両の移動によって変化せず、常に静止した被写体として映る。
　本実施例では、静止した被写体のうち、フィニッシャー２０２及びバンパー２０３を基準線として設定する例について説明するが、基準線は、静止した被写体であればこれに限定されず、遮光板２０１であってもよいし、ナンバープレート２０４であってもよい。また、観測線の基準線からの変位量の算出に第１方式を用いる場合には、基準線は、遮光板２０１、フィニッシャー２０２、バンパー２０３、及びナンバープレート２０４の中から少なくとも一つ設定されればよく、観測線の基準線からの変位量の算出に第２方式を用いる場合には、基準線は、遮光板２０１、フィニッシャー２０２、バンパー２０３、及びナンバープレート２０４の中から少なくとも二つ設定されればよい。また、車載カメラ１１１の画像に常に静止している被写体が映り込む場合には、当該被写体を基準線としてもよい。
　図３（Ａ）は、フィニッシャー基準線及びバンパー基準線の説明図である。
　観測点設定部１０２は、車載カメラ１１１のレンズに汚れが付着していない場合の車載カメラ１１１の画像上でフィニッシャーが映り込み、当該フィニッシャーの画像のエッジ線をフィニッシャー基準線３０１に設定する。同様に、観測点設定部１０２は、車載カメラ１１１のレンズに汚れが付着していない場合の車載カメラ１１１の画像上でバンパーが映り込み、当該バンパーの画像のエッジ線をバンパー基準線３０２に設定する。
　具体的には、観測点設定部１０２は、自車両の形状の設計情報、車載カメラ１１１の設置位置情報、及び車載カメラ１１１のパラメータ情報に基づいて、フィニッシャー基準線及びバンパー基準線を設定する。車載カメラ１１１の設置位置情報としては、車載カメラ１１１が設置された位置の高さ及び奥行き等がある。車載カメラ１１１のパラメータ情報は内部パラメータ情報及び外部パラメータ情報を含み、内部パラメータ情報は、車載カメラ１１１の焦点距離、画素中心位置（撮像素子の中心位置）、及びレンズ歪み計数等であり、外部パラメータ情報は、車載カメラ１１１の設置角度である。当該車載カメラ１１１の設置角度は、ピッチ(Ｘ軸)、ヨー(Ｙ軸)、及びロール(Ｚ軸)の三軸の角度値で表わされる。ピッチは上下方向の軸回転、ヨーは左右方向の軸回転、ロールは車載カメラ１１１の撮影方向の軸回転である。
　図３（Ｂ）は、各基準線上に設定された複数の観測点の説明図である。
　観測点設定部１０２は、フィニッシャー基準線３０１上に所定の間隔で複数の観測点（フィニッシャー観測点）３０３を設定し、バンパー基準線３０２上に所定の間隔で複数の観測点（バンパー観測点３０４）を設定する。
　なお、各基準線に設定される観測点の数は任意であるが、観測点に対応する変位点から算出される観測線の精度を向上させるために、観測点は可能な範囲で多く設定されることが望ましい。
　図４は、実施例１の車載カメラ１１１のレンズに雨滴が付着したことによるバンパー観測線の変化の説明図である。
　フィニッシャー観測線及びバンパー観測線は、車載カメラ１１１のレンズに雨滴等の汚れが付着すると、汚れの付着前に比べて大きく変化する傾向がある。
　例えば、図４（Ａ）の車載カメラ１１１の画像のバンパー２０３の一部の領域４００に注目する。図４（Ｂ）では、車載カメラ１１１のレンズに雨滴が付着する前のバンパー観測線４０１を示す。図４（Ｃ）では、車載カメラ１１１のレンズに雨滴が付着した場合のバンパー観測線４０３を示す。雨滴が付着した箇所４０２のバンパー観測線４０３は、水滴（又は水膜）内を光線が通過する場合の光の屈折現象によって、大きく変形している。なお、このように、バンパー観測線４０３等の基準線に対する観測線が大きく変形するのは、雨滴にかぎらず、雪、泥、及び白濁等の汚れであっても同様である。
　図５は、実施例１のバンパー基準線３０２のある観測点３０４の変位点の算出方法の説明図である。
　エッジ変位観測部１０３は、バンパー基準線３０２と直交する方向でバンパー基準線３０２に設定された観測点３０４から所定の範囲（画素取得範囲）５０１（Ｈ１～Ｈ３）に位置する画素の輝度値（例えば、０～２５５）を取得する。そして、エッジ変位観測部１０３は、隣接する画素の輝度値の大きさの勾配が最大となる画素の位置を変位点として算出する。なお、画素取得範囲５０１は、輝度値の勾配を算出可能な範囲で任意に設定される。また、観測点毎に画素取得範囲５０１が異なった値に設定されてもよい。
　図５では、変位点が観測点３０４の上下方向のどちらに変位しても観測できるようにするために、画素取得範囲５０１の中心が観測点３０４に設定されるが、画素取得範囲５０１の中心は観測点３０４の上方向又は下方向にずらして設定されてもよい。
　図５では、バンパー基準線３０２が左右方向に渡る線であり、画素取得範囲５０１はバンパー基準線３０２と直交する方向（上下方向）に設定されているが、例えば、基準線が上下方向に渡る線である場合には、画素取得範囲５０１は左右方向に設定されることになる。
　図６は、実施例１の観測点３０４の画素取得範囲５０１の画素の輝度値の変化の説明図である。
　図６に示すグラフの横軸６００は画素取得範囲５０１の画素の画素位置を示し、縦軸６０１は各画素の輝度値を示す。
　例えば、図５に示すように、バンパー基準線３０２の下方が上方より暗くなっている場合であって、かつ車載カメラ１１１のレンズに汚れが付着していない場合の輝度値の変化は、曲線Ａ６０２のようになる。つまり、曲線Ａ６０２は、画素位置がＨ１方向の画素の輝度値が大きく、画素位置が位置Ｐ１よりＨ２方向になると画素の輝度値が小さくなる。なお、曲線Ａ６０２の輝度値の勾配が最大となる画素位置は位置（最大勾配位置）Ｐ１であり、位置Ｐ１の画素が車載カメラ１１１のレンズに汚れが付着していない場合の観測点３０４に対応する変位点となる。
　一方、車載カメラ１１１のレンズに汚れが付着している場合、汚れによる光線の屈折現象により画像に歪みが生じるので、エッジ線の形状が変化する。このため、車載カメラ１１１のレンズに汚れが付着している場合の輝度値は、汚れが付着していない場合の輝度値から変化し、曲線Ｂ６０３のようになる。
　曲線Ｂ６０３の最大勾配位置は位置Ｐ１から変化し位置Ｐ２となる。これは、車載カメラ１１１のレンズに付着した雨滴等の汚れが原因で最大勾配位置が位置Ｐ１から位置Ｐ２に変化したと推定される。
　図７は、実施例１の観測線の算出処理の説明図である。
　図７では、バンパー基準線３０２に例えば観測点３０４Ａ～３０４Ｄが設定されており、エッジ変位観測部１０３は、図６で説明した方法で全ての観測点３０４Ａ～３０４Ｄに対応する変位点７０１Ａ～７０１Ｄを算出する。そして、エッジ変位観測部１０３は、算出した変位点７０１Ａ～７０１Ｄの座標を通る線をバンパー観測線７０２として生成する。
　汚れスコア計算部１０４は、バンパー観測線７０２のバンパー基準線３０２からの変位量をスコアとして算出する。バンパー観測線７０２のバンパー基準線３０２からの変位は、例えば、バンパー観測線７０２とバンパー基準線３０２との間の面積によって算出される。
　車載カメラ１１１のレンズに汚れ（例えば雨滴等）が付着していない場合、バンパー観測線７０２はバンパー基準線３０２から変位しないので、バンパー観測線７０２とバンパー基準線３０２との間の面積は０となる。
　車載カメラ１１１のレンズに汚れが付着していくと、バンパー観測線７０２のバンパー基準線３０２からの変位量は大きくなり、バンパー観測線７０２とバンパー基準線３０２との間の面積は大きくなる。
　ここで、バンパー観測線７０２の算出方法について説明する。なお、フィニッシャー基準線３０１の図示しないフィニッシャー観測線も同じ方法を用いて算出できる。
　各観測点３０４Ａ～３０４Ｄから各変位点７０１Ａ～７０１Ｄへの変位が変位量Ｄ１～Ｄ４であるとする。エッジ変位観測部１０３は、これらの変位量Ｄ１～Ｄ４を入力とする最小二乗法を用いて変位点間の領域を補完して、二次関数曲線として観測線７０２を算出する。
　最小二乗法とは、推定値（基準線に相当）と測定値（観測線に相当）との差（残差）を用いて、残差の二乗和が最小となるように二次関数曲線の計数を算出する手法である。具体的には、式１によって観測線となる二次関数曲線が算出される。
Figure JPOXMLDOC01-appb-M000001
　式１のＷ２、Ｗ１、及びＷ０は二次関数の計数であり、Ｘは各観測点３０４Ａ～３０４ＤのＸ座標である。
　最小二乗法では、まず、式２を用いて全ての変位量Ｄ１～Ｄ４を二乗した値の合計値Ｔが算出される。
Figure JPOXMLDOC01-appb-M000002
　式２のＴは、変位量Ｄ１～Ｄ４の二乗和の合計であり、ｘは各観測点３０４Ａ～３０４ＤのＸ座標であり、ｆ（ｘ）は変位点７０１Ａ～７０１Ｄのｙ座標であり、Ｙは、ｘ位置の観測点３０４Ａ～３０４Ｄのｙ座標である。
　式１の二次関数を式２に代入すると式３となる。式３のＴは、係数Ｗ２、Ｗ１及びＷ０の関数とみなすことができるので、式３のＴを係数Ｗ２、Ｗ１及びＷ０で微分した式が０となるとき、Ｔが最小となる。
Figure JPOXMLDOC01-appb-M000003
　式３において、Ｔが最小となる条件の連立方程式を行列式で表すと式４となる。
Figure JPOXMLDOC01-appb-M000004
　式４の行列式を解き、係数Ｗ２、Ｗ１及びＷ０を算出することによって、各変位点７０１Ａ～７０４Ｄに基づく二次関数曲線が算出される。
　以上によって、各観測点３０４Ａ～３０４Ｄの各変位点７０１Ａ～７０１Ｄを結ぶ二次関数曲線が最小二乗法を用いて算出される。なお、変位点から観測線を算出する方法については、最小二乗法に限定されず他の方法を用いてもよい。
　次に、図８を用いて汚れスコア計算部１０４によるスコアの算出処理について説明する。
　汚れスコア計算部１０４によるスコアの算出方式として、第１方式及び第２方式を説明するが、汚れスコア計算部１０４は、第１方式及び第２方式の少なくとも一つを用いてスコアを計算すればよい。
　図８（Ａ）は、汚れスコア計算部１０４による第１方式を用いたスコアの算出処理の説明図である。
　第１方式は、観測線の基準線からの変位となるスコアを、観測線と基準線との間の面積を算出することによって算出する。なお、図８（Ａ）では、例として、フィニッシャー観測線７０３とフィニッシャー基準線との間の領域（汚れスコア領域８０１）の面積をスコアとして算出する。同様の方法で、バンパー観測線７０２とバンパー基準線３０２との間の領域の面積を算出可能である。
　フィニッシャー基準線３０１の二次関数式をｙ＝ｆ（ｘ）とし、フィニッシャー観測線７０３の二次関数式をｙ＝ｇ（ｘ）とした場合のαからβまでの汚れスコア領域８０１の面積Ｓは、式５を用いて算出される。
Figure JPOXMLDOC01-appb-M000005
　図８（Ｂ）は、汚れスコア計算部１０４による第２方式を用いたスコアの算出処理の説明図である。
　第２方式は、観測線の基準線からの変位となるスコアを二つの観測線の間の面積を算出することによって算出する。具体的には、フィニッシャー観測線７０３とバンパー観測線７０２との間の領域（汚れスコア領域８０２）の面積をスコアとして算出する。
　図８（Ｂ）では、例として、αからβまでの汚れスコア領域８０２の面積が算出される。なお、α及びβは、フィニッシャー観測線７０３とバンパー観測線７０２との交点である。
　フィニッシャー観測線７０３の二次関数式をｙ＝ａｘ＾２＋ｂｘ＋ｃとし、バンパー観測線７０２の二次関数式をｙ＝ｄｘ＾２＋ｅｘ＋ｆとすると、αからβまでの汚れスコア領域８０２の面積Ｓは、式６を用いて算出される。
Figure JPOXMLDOC01-appb-M000006
　なお、第２方式の汚れスコア領域８０２の面積は、第１方式の汚れスコア領域８０１の面積に比べて大きくなるため、車載カメラ１１１のレンズに汚れが付着していると判定するための閾値に対するマージンが大きくなり、汚れ判定部１０５による面積と閾値とを比較しやくなる。これによって、車載カメラ１１１のレンズに汚れが付着したか否かの判定の正確性が向上する。
　図９は、実施例１のエッジ変位観測部１０３による変位点補正処理の説明図である。
　変位点補正処理は、汚れスコア計算部１０４が第２方式を用いてスコアを算出する場合に、エッジ変位観測部１０３が変位点を算出した後に実行される。
　図９（Ａ）では、フィニッシャー基準線３０１より上方に変位点７０１Ｅ及び７０１Ｇが算出され、フィニッシャー基準線３０１より下方に変位点７０１Ｆが算出される。このように、ある基準線の観測点に対応する複数の変位点の変位方向がそれぞれ異なる状態で、二つの観測線の間の領域の面積を算出すると、異なる変位方向の変位によって面積が相殺されてしまい、観測線の基準線からの変位を正確に算出できない。例えば、ある基準線の二つの変位点のうち一の変位点が上方向に変位し、他方の変位点が下方向に変位し、これらの変位量が同じである場合に、二つの観測線の間の領域の面積を算出すると、面積が０になってしまい、観測線は基準線から変化していないことになってしまう。
　このような事態を防止するために、ある基準線からの変位点の変位方向を、面積が小さくなる方向及び面積が大きくなる方向のいずれか一方側に補正する。
　例えば、図９（Ｂ）では、変位点７０１Ｅを当該変位点７０１Ｅの変位量の分だけ下方向に変位させ、変位点７０１Ｅを変位点７０１Ｅ'に補正する。また、変位点７０１Ｇを当該変位点７０１Ｇの変位量の分だけ下方向に変位させ、変位点７０１Ｇを変位点７０１Ｇ'に補正する。この場合、バンパー基準線３０２より下方に変位点が算出された場合、当該変位点を変位量の分だけ上方向に変位させる。このように、図９（Ａ）及び（Ｂ）では、フィニッシャー観測線７０３とバンパー観測線７０２との間の面積が小さくなる方向（フィニッシャー基準線３０１より上方向の変位点の補正方向は下方向、及びバンパー基準線３０２より下方向の変位点の補正方向は上方向）に変位点を補正することによって、変位方向の異なる変位点により面積が相殺されることを防止し、観測線の基準線からの変位を正確に算出することが可能となる。
　なお、図９（Ａ）及び（Ｂ）では、フィニッシャー観測線７０３とバンパー観測線７０２との間の面積が小さくなる方向に変位点を補正することについて説明したが、フィニッシャー観測線７０３とバンパー観測線７０２との間の面積が大きくなる方向に補正してもよい。この場合、フィニッシャー基準線３０１より下方向の変位点は上方向に補正し、バンパー基準線３０２より上方向の変位点の補正方向は下方向に補正する。
　図１０は、実施例１の汚れスコア計算部１０４に算出されたスコアと閾値との関係の説明図である。
　汚れ判定部１０５は、汚れスコア計算部１０４に算出されたスコアと閾値との大小関係を比較することによって、車載カメラ１１１のレンズに汚れが付着しているか否かを判定する。
　図１０（Ａ）は、第１方式によるスコアと閾値との関係の説明図である。
　第１方式によるスコアの算出では、フィニッシャー観測線７０３とフィニッシャー基準線３０１との間の領域の面積（フィニッシャースコア値ＳＣ１（１０００））及びバンパー観測線７０２とバンパー基準線３０２との間の領域の面積（バンパースコア値ＳＣ２（１００１））の少なくとも一方を算出すればよいが、本実施例では、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）の両方が算出された場合について説明する。
　フィニッシャースコア値ＳＣ１（１０００）に対して閾値ＴＨ１（１００２）が設定され、バンパースコア値ＳＣ２（１００１）に対して閾値ＴＨ２（１００３）が設定される。
　これらの閾値ＴＨ１（１００２）及び閾値ＴＨ２（１００３）は、自車両がイグニッションを起動し、外界認識システム１００が起動した場合に所定の値に初期設定される。
　なお、図１０（Ａ）では、閾値ＴＨ１（１００２）及び閾値ＴＨ２（１００３）には同じ値が設定されているが、異なる値が設定されてもよい。
　また、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）の両方が算出された場合であっても、例えば、フィニッシャースコア値ＳＣ１（１０００）とバンパースコア値ＳＣ２（１００１）との和を閾値と比較する場合には、閾値は一つ設定されればよい。
　また、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）のいずれか一方だけ算出される場合、算出されるスコア値に対応する閾値のみ設定されればよい。
　図１０（Ｂ）は、第２方式によるスコアと閾値との関係の説明図である。
　第２方式によるスコアの算出では、フィニッシャー観測線７０３とバンパー観測線７０２との間の一つの領域の面積が算出されるため、一つのスコア値ＳＣ（１００４）が算出され、このスコア値ＳＣ（１００４）に対応する閾値ＴＨ（１００５）が設定される。
　閾値ＴＨ（１００５）は、自車両がイグニッション起動し、外界認識システム１００が起動した場合に所定の値に初期設定される。
　図１１は、汚れ判定部１０５の判定結果の説明図である。
　図１１（Ａ）は、第１方式によるフィニッシャースコア値ＳＣ１（１０００）に基づく汚れ判定結果の説明図である。
　第１方式では、車載カメラ１１１のレンズの汚れの付着が進行すると、観測線の基準線からの変位が大きくなるため、観測線と基準線との間の領域の面積も増加する。このため、汚れ判定部１０５は、第１方式によって算出されたスコア値が閾値以上であるか否かを判定し、スコア値が閾値以上であれば、車載カメラ１１１のレンズに汚れが付着していると判定する。
　図１１（Ａ）では、縦軸をフィニッシャースコア値ＳＣ１（１０００）とし、横軸を時刻Ｔ１１００としたグラフである。フィニッシャースコア値ＳＣ１（１０００）は時間経過とともに増加していき、時刻Ｔ２で閾値ＴＨ１（１００２）以上となる。このため、汚れ判定部１０５の判定結果は、時刻Ｔ１からＴ２までは汚れなしであり、時刻Ｔ２から時刻Ｔ３までは汚れありとなる。
　なお、バンパースコア値ＳＣ２（１００１）の判定についても、図１１（Ａ）で説明した方法を用いることができる。
　図１１（Ｂ）は、第２方式によるスコア値ＳＣ（１００４）に基づく汚れ判定結果の説明図である。
　ここでは、図９（Ａ）及び（Ｂ）で説明した面積が小さくなる方向に変位点が補正される場合について説明する。面積が小さくなる方向に変位点が補正される場合には、車載カメラ１１１のレンズの汚れの付着が進行すると、フィニッシャー観測線７０３は下方向に変位していき、バンパー観測線７０２は上方向に変位していき、フィニッシャー観測線７０３とバンパー観測線７０２との間の領域の面積が減少する。
　このため、汚れ判定部１０５は、第２方式によって算出されたスコア値が閾値以下であるか否かを判定し、スコア値が閾値以下であれば、車載カメラ１１１のレンズに汚れが付着していると判定する。
　図１１（Ｂ）では、縦軸をスコア値ＳＣ（１００４）とし、横軸を時刻Ｔ１１００としたグラフである。スコア値ＳＣ（１００４）は時間経過とともに減少していき、時刻Ｔ２で閾値ＴＨ（１００５）以下となる。このため、汚れ判定部１０５の判定結果は、時刻Ｔ１からＴ２までは汚れなしであり、時刻Ｔ２から時刻Ｔ３までは汚れありとなる。
　なお、面積が大きくなる方向に変位点が補正される場合には、車載カメラ１１１のレンズの汚れの付着が進行すると、フィニッシャー観測線７０３は上方向に変位していき、バンパー観測線７０２は下方向に変位していき、フィニッシャー観測線７０３とバンパー観測線７０２との間の領域の面積が増加する。この場合、汚れ判定部１０５は、第２方式によって算出されたスコア値が閾値以上であるか否かを判定し、スコア値が閾値以上であれば、車載カメラ１１１のレンズに汚れが付着していると判定する。
　図１２は、実施例１の外界認識システム１００による処理のフローチャートである。
　まず、外界認識システム１００は、自車両のイグニッションがオンになったか否かを判定する（Ｓ１）。
　Ｓ１の処理で、イグニッションがオンになっていないと判定された場合、外界認識システム１００は、イグニッションがオンになったと判定されるまでＳ１の処理を繰り返し実行する。
　一方、イグニッションがオンになったと判定された場合、観測点設定部１０２は、フィニッシャー観測点３０３及びバンパー観測点３０４を設定する（Ｓ２）。Ｓ２の処理で、観測点設定部１０２は、自車両の形状の設計情報、車載カメラ１１１の設置位置情報、及び車載カメラ１１１のパラメータ情報に基づいて、フィニッシャー基準線及びバンパー基準線を設定してもよい。
　次に、観測点設定部１０２は、汚れ判定部１０５が用いる閾値を設定する（Ｓ３）。なお、観測点設定部１０２は、現在の天候情報を所定の方法によって取得し、取得した天候情報に基づいて、閾値を設定してもよい。観測点設定部１０２は、例えば、天候情報が雨及び雪等である場合、汚れが付着したと判定されにくい閾値を設定してもよいし、天候情報が晴れである場合、汚れが付着したと判定されやすい閾値を設定してもよい。第１方式によるスコア値に対応する閾値、及び面積が大きくなる方向に補正する第２方式によるスコア値では、汚れが付着したと判定されにくい閾値とは通常の閾値より大きい値であり、汚れが付着したと判定されやすい閾値とは通常の閾値より小さい値である。一方、面積が小さくなる方向に補正する第２方式では、汚れが付着したと判定されにくい閾値とは通常の閾値より小さい値であり、汚れが付着したと判定されやすい閾値とは通常の閾値より大きい値である。
　また、現在の天候情報は、車載カメラ１１１の画像に基づき判定してもよいし、他のインターネット等を介して現在地の天候情報を取得してもよいし、ドライバーが手入力で入力してもよい。
　外界認識システム１００に車載カメラ１１１の画像が入力された場合（Ｓ４）、エッジ変位観測部１０３は、入力された画像に基づいてフィニッシャー観測点３０３に対応する変位点７０１を算出する（Ｓ４）。この変位点７０１の算出については図６で詳細に説明した。
　そして、エッジ変位観測部１０３は、Ｓ４の処理で算出した変位点７０１に基づいて、フィニッシャー観測線７０３を算出する（Ｓ５）。フィニッシャー観測線７０３の算出については、図７で説明した。なお、第２方式を用いてスコアを算出する場合には、エッジ変位観測部１０３は、Ｓ４の処理で算出した変位点７０１に対して図９（Ａ）及び（Ｂ）で説明した変位点補正処理を実行した後で、フィニッシャー観測線７０３を算出する。
　次に、エッジ変位観測部１０３は、入力された画像に基づいてバンパー観測点３０４に対応する変位点７０１を算出する（Ｓ６）。この変位点の算出についても図６で詳細に説明した。
　そして、エッジ変位観測部１０３は、Ｓ４の処理で算出した変位点７０１に基づいて、変位点７０１間の領域を補完してバンパー観測線７０２を算出する（Ｓ７）。バンパー観測線７０２の算出については、図７で説明した。なお、第２方式を用いてスコアを算出する場合には、Ｓ５と同じく、エッジ変位観測部１０３は、Ｓ５の処理で算出した変位点７０１に対して図９（Ａ）及び（Ｂ）で説明した変位点補正処理を実行した後で、バンパー観測線７０２を算出する。
　次に、汚れスコア計算部１０４は、第１方式による場合には、フィニッシャー観測線７０３とフィニッシャー基準線３０１との間の領域の面積をフィニッシャースコア値ＳＣ１（１０００）として算出し、バンパー観測線７０２とフィニッシャー基準線３０１との間の領域の面積をバンパースコア値ＳＣ２（１００１）として算出する（Ｓ８）。また、Ｓ８の処理では、汚れスコア計算部１０４は、第２方式による場合には、フィニッシャー観測線７０３とバンパー観測線７０２との間の領域の面積をスコア値ＳＣ（１００４）として算出する。本実施例では、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）、並びにスコア値ＳＣ（１００４）が算出されるものとする。
　次に、汚れ判定部１０５は、第１方式によるフィニッシャースコア値ＳＣ１（１０００）が閾値ＴＨ１（１００２）以上であるか否か、及び第１方式によるバンパースコア値ＳＣ２（１００１）が閾値ＴＨ２（１００３）以上であるか否かを判定する（Ｓ９Ａ）。
　Ｓ９Ａの処理では、フィニッシャースコア値ＳＣ１（１０００）が閾値ＴＨ１（１００２）以上、及びバンパースコア値ＳＣ２（１００１）が閾値ＴＨ２（１００３）以上の少なくとも一方が成立する場合、第１方式によるスコア値が閾値以上であり、車載カメラ１１１のレンズに汚れが付着していると判定してもよいし、フィニッシャースコア値ＳＣ１（１０００）が閾値ＴＨ１（１００２）以上、及びバンパースコア値ＳＣ２（１００１）が閾値ＴＨ２（１００３）以上の両方が成立する場合、第１方式によるスコア値が閾値以上であり、車載カメラ１１１のレンズに汚れが付着していると判定してもよい。
　また、汚れ判定部１０５は、スコア値ＳＣ（１００４）が閾値ＴＨ（１００５）以下であるか否かを判定することによって車載カメラ１１１のレンズに汚れが付着しているか否かを判定する（Ｓ９Ｂ）。
　Ｓ９Ａの処理及びＳ９Ｂの処理の少なくも一方で、車載カメラ１１１のレンズに汚れが付着していると判定された場合、汚れ判定部１０５は、車載カメラ１１１のレンズに汚れが付着したと判定し（Ｓ１０）、当該判定結果を汚れ診断部１０８に出力する。
　汚れ診断部１０８は、車載カメラ１１１のレンズに汚れが付着した旨の判定結果が入力された場合、周辺認識部１０７に動作を停止させる旨のＦＡＩＬ情報を出力し（Ｓ１１）、車載カメラ１１１のレンズに汚れが付着しているため周辺認識部１０７が動作を停止した旨をドライバーに通知するため、汚れ通知情報をドライバー通知部１０９に出力する（Ｓ１２）。なお、ドライバー通知部１０９は、汚れ通知情報が入力された場合、その旨をドライバーに報知する。報知の態様としては、自車両に搭載された表示画面にその旨を表示してもよいし、自車両に搭載されたスピーカからその旨の音声を出力してもよい。
　次に、外界認識システム１００が、イグニッションがオフとなったか否かを判定することによって処理を終了するか否かを判定する（Ｓ１５）。Ｓ１５の処理で、イグニッションがオフとなったと判定された場合、処理を終了し、イグニッションがオフとなっていないと判定された場合、Ｓ３の処理に戻る。
　一方、Ｓ９Ａの処理及びＳ９Ｂの処理の両方で、車載カメラ１１１のレンズに汚れが付着していないと判定された場合、汚れ判定部１０５は、車載カメラ１１１のレンズに汚れが付着していないと判定し（Ｓ１３）、当該判定結果を汚れ診断部１０８に出力する。
　汚れ診断部１０８は、車載カメラ１１１のレンズに汚れが付着していない旨の判定結果が入力された場合、ＦＡＩＬ情報を周辺認識部１０７に出力せず、周辺認識部１０７に動作を継続させ（Ｓ１４）、Ｓ１５の処理に進む。
　これによって、車載カメラ１１１のレンズに汚れが付着しているか否かを判定することができる。
　なお、Ｓ９Ａの処理及びＳ９Ｂの処理の少なくも一方で、車載カメラ１１１のレンズに汚れが付着していると判定された場合にＳ１０の処理に進み、汚れ判定部１０５は、車載カメラ１１１のレンズに汚れが付着したと判定するとしたが、Ｓ９Ａの処理及びＳ９Ｂの処理の両方で、車載カメラ１１１のレンズに汚れが付着していると判定された場合にＳ１０の処理に進むようにしてもよい。また、図８で説明したように、第２方式によって算出された面積のほうが第１方式によって算出された面積より大きくなり、閾値とのマージンが大きくなるため、車載カメラ１１１のレンズに汚れが付着したか否かの判定が正確になることを考慮して、少なくともＳ９Ｂの処理で、車載カメラ１１１のレンズに汚れが付着していると判定された場合にＳ１０の処理に進むようにしてもよい。
　また、Ｓ９Ａの処理では、フィニッシャースコア値ＳＣ１（１０００）とバンパースコア値ＳＣ２（１００１）との合計値が閾値以上であれば、車載カメラ１１１のレンズに汚れが付着したと判定してもよい。
　さらに、上記した説明では、第１方式によるスコア値及び第２方式によるスコア値の両方を算出したが、どちらか一方のスコア値を算出してもよい。この場合、第１方式によるスコア値を算出する場合には、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）の両方を算出する必要はなく、いずれか一方のみを算出してもよい。フィニッシャースコア値ＳＣ１（１０００）のみを算出する場合には、Ｓ２の処理で、バンパー観測点３０４を設定する必要はなく、Ｓ６及びＳ７の処理も実行する必要はない。また、バンパースコア値ＳＣ２（１００１）のみを算出する場合には、Ｓ２の処理で、フィニッシャー観測点３０３を設定する必要はなく、Ｓ４及びＳ５の処理も実行する必要はない。
　以上のように、本実施例では、外界認識システム１００は、観測線の基準線からの変位量を算出し、算出した変位量に基づいて車載カメラ１１１のレンズに汚れが付着しているか否かを判定する。エッジ観測点でない部分の汚れ等が観測値に反映されない特許文献１よりも車載カメラ１１１のレンズの汚れを正確に検出できる。
　また、外界認識システム１００は、図８（Ａ）で説明したように、第１方式により、観測線と基準線との間の領域の面積を算出することによって、観測線の基準線からの変位量を算出してもよいし、図８（Ｂ）で説明したように、第２方式により、第１観測線（フィニッシャー観測線７０３）と第２観測線（バンパー観測線７０２）との間の領域の面積を算出することによって、各観測線の各基準線からの変位量を算出してもよい。このように、面積を用いることによって、観測線の基準線からの全体の変位量を算出できるため、車載カメラ１１１のレンズの汚れを正確に検出できる。
　さらに、外界認識システム１００は、第２方式を用いる場合には、図９（Ａ）及び（Ｂ）で説明したように、第１基準線（フィニッシャー基準線３０１）の観測点に対応する変位点の変位方向と、第２基準線（バンパー基準線３０２）の観測点に対応する変位点の変位方向とを、面積が大きくなる方向又は小さくなる方向のいずれかに統一して変位点を補正するので、変位方向の異なる変位点により面積が相殺され、車載カメラ１１１のレンズに汚れが付着しているにもかかわらず、当該汚れを検出できない事態を防止できる。
　さらに、外界認識システム１００は、図７で説明したように、例えば、最小二乗法等を用いて、各変位点の間を補間することによって、観測線を算出するので、観測点がない領域の基準線からの変位をより正確に算出できる。
　さらに、外界認識システム１００は、図６で説明したように、基準線に設定された観測点の画素取得範囲５０１の画素の輝度値を取得し、取得した輝度値の勾配が最大となる画素を変位点として算出する。これによって、車載カメラ１１１の画像のうち観測点に対応する点を変位点として正確に算出できる。
　さらに、外界認識システム１００は、図３で説明したように、自車両の形状の設計情報、車載カメラ１１１の設置位置情報、及び車載カメラ１１１のパラメータ情報に基づいて、基準線を設定するため、車載カメラ１１１の画像上での基準線の対象となる物の位置を正確に基準線として設定できる。
　本実施例について図１３を用いて説明する。本実施例では、実施例１の外界認識システム１００が搭載された車両１０について説明する。
　図１３は、実施例２の外界認識システム１００が搭載された車両１０の説明図である。図１３に示す構成のうち、実施例１の図１に示す構成と同じ構成は同じ符号を付与し、説明を省略する。
　車両１０は、外界認識システム１００、車載カメラ１１１、制御部１１２、メモリ１１３、自車両制御部１１４、ＬＥＤ１２００、スピーカ１２０１、ディスプレイ１２０２、及びカーナビ（ナビゲーション装置）１２０３を備える。
　ドライバー通知部１０９は、汚れ診断部１０８から汚れ通知情報が入力された場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨をドライバーに報知するための報知信号を、ＬＥＤ１２００、スピーカ１２０１、ディスプレイ１２０２、及びカーナビ１２０３の少なくとも一つに送信する。
　ＬＥＤ１２００が報知信号を受信した場合、ＬＥＤ１２００を点灯させ、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨をドライバーに報知する。ＬＥＤ１２００は、車両１０の外部に設置されてもよいし、内部に設置されていてもよい。
　スピーカ１２０１が報知信号を受信した場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨を示す音声情報を出力し、その旨をドライバーに報知する。
　ディスプレイ１２０２が報知信号を受信した場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨を表示し、その旨をドライバーに報知する。
　カーナビ１２０３が報知信号を受信した場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨をカーナビ１２０３のディスプレイに表示し、その旨をドライバーに報知する。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない、実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (12)

  1. 　車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、
    　前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、
    　前記汚れ検出部は、
    　前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
    　前記カメラの画像から前記基準線に対応する観測線を算出し、
    　前記観測線の前記基準線からの変位量を算出し、
    　前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。
  2. 　請求項１に記載の外界認識システムであって、
    　前記汚れ検出部は、前記観測線と前記基準線との間の領域の面積を算出することによって、前記観測線の前記基準線からの変位量を算出することを特徴とする外界認識システム。
  3. 　請求項２に記載の外界認識システムであって、
    　前記基準線は、前記車両のボディの一部の第１基準線及び前記車両のバンパーの一部の第２基準線を含み、
    　前記汚れ検出部は、
    　前記カメラの画像から前記第１基準線に対応する第１観測線を算出し、
    　前記カメラの画像から前記第２基準線に対応する第２観測線を算出し、
    　前記第１観測線と前記第１基準線との間の領域の第１面積を算出し、
    　前記第２観測線と前記第２観測線との間の領域の第２面積を算出し、
    　前記第１面積と所定の第１閾値との大小関係、及び前記第２面積と所定の第２閾値との大小関係、又は前記第１面積と前記第２面積との合計面積と所定の第３閾値との大小関係に基づいて、前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。
  4. 　請求項１に記載の外界認識システムであって、
    　前記汚れ検出部は、
    　第１基準線及び第２基準線を前記基準線として設定し、
    　前記カメラの画像から前記第１基準線に対応する第１観測線を算出し、
    　前記カメラの画像から前記第２基準線に対応する第２観測線を算出し、
    　前記第１観測線と前記第２観測線との間の領域の面積を算出することによって、前記第１観測線の前記第１基準線からの変位量及び前記第２観測線の前記第２基準線からの変位量を算出することを特徴とする外界認識システム。
  5. 　請求項４に記載の外界認識システムであって、
    　前記汚れ検出部は、
    　前記第１基準線及び前記第２基準線上にそれぞれ複数の観測点を設定する観測点設定部と、
    　前記カメラの画像上における前記複数の観測点に対応する複数の変位点を観測する変位観測部と、を有し、
    　前記変位観測部は、前記第１基準線上に設定された複数の観測点に対応する変位点の変位方向が異なり、前記第２基準線上に設定された複数の観測点に対応する変位点の変位方向が異なる場合、前記第１観測線と前記第２観測線との間の領域の面積が大きくなる方向及び小さくなる方向のいずれか一方向に統一して、前記第１基準線上に設定された複数の観測点に対応する変位点及び前記第２基準線上に設定された複数の観測点に対応する変位点を補正することを特徴とする外界認識システム。
  6. 　請求項４に記載の外界認識システムであって、
    　前記第１基準線は、前記車両のボディの一部の基準線であり、
    　前記第２基準線は、前記車両のバンパーの一部の基準線であり、
    　前記第１観測線と前記第２観測線との間の領域の面積と所定の第４閾値との大小関係に基づいて、前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。
  7. 　請求項１に記載の外界認識システムであって、
    　前記汚れ検出部は、
    　前記基準線上に複数の観測点を設定する観測点設定部と、
    　前記カメラの画像上における前記複数の観測点に対応する複数の変位点を観測する変位観測部と、を有し、
    　前記変位観測部は、前記観測した複数の変位点を補間することによって、前記観測線を算出することを特徴とする外界認識システム。
  8. 　請求項７に記載の外界認識システムであって、
    　前記変位観測部は、
    　前記観測点の前記基準線に対して直交する方向の複数の画素の輝度値を取得し、
    　隣接する画素の輝度値の大きさの勾配が最大となる画素を前記観測点に対応する変位点として算出することを特徴とする外界認識システム。
  9. 　請求項１に記載の外界認識システムであって、
    　前記汚れ検出部は、前記車両の設計情報、前記カメラの搭載位置情報、及び前記カメラのパラメータ情報に基づいて、前記基準線を設定することを特徴とする外界認識システム。
  10. 　請求項１に記載の外界認識システムであって、
    　前記汚れ検出部は、
    　前記カメラに汚れが付着していることを検出した場合、前記カメラの画面の解析結果に基づいて前記車両の周辺の状態を認識することを停止し、
    　前記カメラに汚れが付着していることを検出した旨を前記車両の運転者に報知することを特徴とする外界認識システム。
  11. 　請求項１から請求項１０のいずれか一つに記載の前記外界認識システムを搭載することを特徴とする車両。
  12. 　車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムにおける前記カメラの汚れ検出方法であって、
    　前記方法は、
    　前記外界認識システムが、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
    　前記外界認識システムが、前記カメラの画像から前記基準線に対応する観測線を算出し、
    　前記外界認識システムが、前記観測線の前記基準線からの変位量を算出し、
    　前記外界認識システムが、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出することを特徴とする汚れ検出方法。
PCT/JP2015/052778 2014-02-18 2015-01-30 外界認識システム、車両、及びカメラの汚れ検出方法 WO2015125590A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/117,777 US10268902B2 (en) 2014-02-18 2015-01-30 Outside recognition system, vehicle and camera dirtiness detection method
EP15752457.0A EP3110145B1 (en) 2014-02-18 2015-01-30 External-environment recognition system, vehicle, and camera-dirtiness detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-028414 2014-02-18
JP2014028414A JP6246014B2 (ja) 2014-02-18 2014-02-18 外界認識システム、車両、及びカメラの汚れ検出方法

Publications (1)

Publication Number Publication Date
WO2015125590A1 true WO2015125590A1 (ja) 2015-08-27

Family

ID=53878102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/052778 WO2015125590A1 (ja) 2014-02-18 2015-01-30 外界認識システム、車両、及びカメラの汚れ検出方法

Country Status (4)

Country Link
US (1) US10268902B2 (ja)
EP (1) EP3110145B1 (ja)
JP (1) JP6246014B2 (ja)
WO (1) WO2015125590A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339812B2 (en) 2017-03-02 2019-07-02 Denso International America, Inc. Surrounding view camera blockage detection

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10126928B2 (en) * 2014-03-31 2018-11-13 Magna Electronics Inc. Vehicle human machine interface with auto-customization
TWI607901B (zh) * 2015-11-06 2017-12-11 財團法人工業技術研究院 影像修補系統及其方法
WO2018008542A1 (ja) 2016-07-05 2018-01-11 住友建機株式会社 ショベル
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP6772113B2 (ja) * 2017-08-02 2020-10-21 クラリオン株式会社 付着物検出装置、および、それを備えた車両システム
JP6970911B2 (ja) * 2017-08-04 2021-11-24 パナソニックＩｐマネジメント株式会社 汚れ検出装置の制御方法、および汚れ検出装置
US10710585B2 (en) * 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
DE102017121376B4 (de) * 2017-09-14 2021-01-14 Motherson Innovations Company Limited Verfahren zum Betreiben eines Kraftfahrzeugs mit zumindest einer Außenkamera sowie Kraftfahrzeug mit zumindest einer Außenkamera
US10900857B2 (en) * 2018-06-06 2021-01-26 Ford Global Technologies, Llc Methods and systems for fluid leak determination
KR102634349B1 (ko) * 2018-10-11 2024-02-07 현대자동차주식회사 차량의 제어 장치 및 방법
JP7271908B2 (ja) * 2018-11-08 2023-05-12 株式会社アイシン 周辺監視装置
JP7230507B2 (ja) * 2018-12-28 2023-03-01 株式会社デンソーテン 付着物検出装置
US10706293B1 (en) * 2019-04-11 2020-07-07 Ford Global Technologies, Llc Vehicle camera clearness detection and alert
US11829128B2 (en) * 2019-10-23 2023-11-28 GM Global Technology Operations LLC Perception system diagnosis using predicted sensor data and perception results
JP7077356B2 (ja) * 2020-04-21 2022-05-30 住友重機械工業株式会社 作業機械用周辺監視システム
DE102020209796A1 (de) 2020-08-04 2022-02-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Anordnung zum Betreiben einer kamerabasierten Sensoreinrichtung, Computerprogrammprodukt und landwirtschaftliche Vorrichtung
US11333112B2 (en) 2020-10-21 2022-05-17 Ford Global Technologies, Llc Method and system for a vehicle evaporative emissions control system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
JP2010273014A (ja) * 2009-05-20 2010-12-02 Toshiba Alpine Automotive Technology Corp 移動体用カメラ装置及び付着物検出方法
WO2012140976A1 (ja) * 2011-04-13 2012-10-18 日産自動車株式会社 走行支援装置及びその雨滴検出方法
WO2013136878A1 (ja) * 2012-03-14 2013-09-19 日立オートモティブシステムズ株式会社 物体検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005162168A (ja) * 2003-12-05 2005-06-23 Calsonic Kansei Corp リアワイパ装置
JP5022609B2 (ja) 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
CN104509102B (zh) * 2012-07-27 2017-12-29 日产自动车株式会社 三维物体检测装置和异物检测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
JP2010273014A (ja) * 2009-05-20 2010-12-02 Toshiba Alpine Automotive Technology Corp 移動体用カメラ装置及び付着物検出方法
WO2012140976A1 (ja) * 2011-04-13 2012-10-18 日産自動車株式会社 走行支援装置及びその雨滴検出方法
WO2013136878A1 (ja) * 2012-03-14 2013-09-19 日立オートモティブシステムズ株式会社 物体検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3110145A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339812B2 (en) 2017-03-02 2019-07-02 Denso International America, Inc. Surrounding view camera blockage detection

Also Published As

Publication number Publication date
EP3110145A1 (en) 2016-12-28
US20160364620A1 (en) 2016-12-15
EP3110145B1 (en) 2023-05-17
JP2015153295A (ja) 2015-08-24
EP3110145A4 (en) 2017-09-13
JP6246014B2 (ja) 2017-12-13
US10268902B2 (en) 2019-04-23

Similar Documents

Publication Publication Date Title
JP6246014B2 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
US10274598B2 (en) Navigation based on radar-cued visual imaging
JP6174975B2 (ja) 周囲環境認識装置
JP4420011B2 (ja) 物体検知装置
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP5022609B2 (ja) 撮像環境認識装置
US11620837B2 (en) Systems and methods for augmenting upright object detection
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
WO2016017340A1 (ja) 周囲環境認識装置
EP2928178B1 (en) On-board control device
WO2015189847A1 (en) Top-down refinement in lane marking navigation
TWI531499B (zh) Anti-collision warning method and device for tracking moving object
CN107004250B (zh) 图像生成装置及图像生成方法
EP3865815A1 (en) Vehicle-mounted system
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
US11417115B2 (en) Obstacle recognition device
JP2011090490A (ja) 障害物認識装置
JP4381394B2 (ja) 障害物検知装置及びその方法
JP2020017184A (ja) 車両検知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15752457

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015752457

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15117777

Country of ref document: US

Ref document number: 2015752457

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE