[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109327677B - 周围监视装置 - Google Patents

周围监视装置 Download PDF

Info

Publication number
CN109327677B
CN109327677B CN201810845388.3A CN201810845388A CN109327677B CN 109327677 B CN109327677 B CN 109327677B CN 201810845388 A CN201810845388 A CN 201810845388A CN 109327677 B CN109327677 B CN 109327677B
Authority
CN
China
Prior art keywords
state
area
threshold
dirt
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810845388.3A
Other languages
English (en)
Other versions
CN109327677A (zh
Inventor
贵田明宏
钓部智行
廣瀬信幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Panasonic Holdings Corp
Original Assignee
Toyota Motor Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Matsushita Electric Industrial Co Ltd filed Critical Toyota Motor Corp
Publication of CN109327677A publication Critical patent/CN109327677A/zh
Application granted granted Critical
Publication of CN109327677B publication Critical patent/CN109327677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种周围监视装置。周围监视ECU实施辅助控制，辅助控制用于根据由通过保护窗而对本车辆的周围区域进行拍摄的摄像机所拍摄到的摄像机图像，而对本车辆的驾驶进行辅助。周围监视ECU在第一区域指标值小于预定的污垢阈值的情况下，判断为保护窗的状态为全部污垢状态，第一区域指标值根据属于第一区域的像素的各自的边缘强度而被计算，并且在被判断为全部污垢状态的情况下不实施辅助控制。周围监视ECU在被判断为全部污垢状态的情况下，当第一区域指标值在第一解除阈值以上的第一条件以及第二区域指标值在第二解除阈值以上的第二条件中的至少一个条件成立时，判断为全部污垢状态已被解除，第二区域指标值根据属于第二区域的像素的各自的边缘强度而被计算。

Description

周围监视装置
技术领域
本发明涉及一种实施辅助控制的周围监视装置，其中，辅助控制用于根据通过保护窗而对本车辆的周围区域进行拍摄的摄像机所拍摄到的摄像机图像，来对本车辆的驾驶进行辅助。
背景技术
一直以来，已知一种实施辅助控制的装置，其中，辅助控制用于根据摄像机所拍摄到的摄像机图像，来对车道标志、其他车辆、行人、道路标志以及停车格等进行检测，并对车辆的驾驶进行辅助。另一方面，当摄像机的镜头上附着有水滴、白浊物、水滴印以及泥等污垢时，有可能无法确切地实施上述辅助控制。因此，现有装置之一利用摄像机图像的像素的边缘强度来对这些污垢进行检测，并在检测出污垢的情况下中止辅助控制(参照专利文献1)。
在先技术文献
专利文献
专利文献1：日本特开2015-95886号公报(参照第0022段，第0049段，第0087段以及第0092段等)
发明内容
通常，虽然在摄像机图像的中央部附近易于准确地计算出边缘强度，但是在摄像机图像的周围区域中，边缘强度易于被计算为小于原始值。摄像机镜头的视角越大，该倾向越显著。然而，现有装置在不考虑这种摄像机图像的特性的条件下实施污垢的检测。因此，现有装置有可能无法准确地判断出附着有污垢的情况，并且有可能无法准确地判断出污垢已被去除。
本发明是为了应对前文所述的课题而完成的发明。即，本发明的目的之一在于，提供一种使能够准确地对是否附着有污垢以及污垢是否已被去除进行判断的可能性得到提高的周围监视装置。
本发明的周围监视装置(以下，也称为“本发明装置”)具备：控制部(10)，其实施辅助控制，所述辅助控制用于根据由通过露出于本车辆的外部的保护窗(22)而对该本车辆的周围区域进行拍摄的摄像机(21)所拍摄到的图像即摄像机图像，而对所述本车辆的驾驶进行辅助；判断部(10)，其根据所述摄像机图像中所包含的像素的边缘强度(ES)，来对所述保护窗的状态是否为污垢附着在所述保护窗的全部上的状态即全部污垢状态进行判断(步骤740)，并在被判断为所述保护窗的状态为所述全部污垢状态的情况下，根据所述边缘强度来对所述全部污垢状态是否已被解除进行判断(步骤940以及步骤975)。
而且，所述控制部被构成为，在被判断为所述保护窗的状态为所述全部污垢状态的情况下(步骤630“否”)，不实施所述辅助控制。
而且，所述判断部被构成为，在第一区域指标值(中央边缘区域数CEN)小于预定的污垢阈值(阈值区域数CEN1th)的情况下(步骤740“是”)，判断为所述保护窗的状态为所述全部污垢状态，其中，所述第一区域指标值为，根据属于包括所述摄像机图像的中央部在内的第一区域(中央区域CA)的像素的各自的所述边缘强度而被计算的值，并且，当所述第一区域指标值在第一解除阈值以上(阈值区域数CEN1th)的第一条件以及第二区域指标值(外侧边缘区域数OEN)在第二解除阈值(阈值区域数OEN1th)以上的第二条件中的至少一个条件成立时(步骤940“否”以及步骤975“否”)，判断为所述全部污垢状态已被解除(步骤945)，其中，所述第二区域指标值为，根据属于包括所述摄像机图像的所述第一区域以外的部分在内的第二区域(外侧区域OA)的像素的各自的所述边缘强度而被计算出的值。
包括摄像机图像的中央部在内的第一区域与包括第一区域以外的部分在内的第二区域相比，更易于准确地计算边缘强度。使用“根据属于更易于准确地计算边缘强度的第一区域的像素的各自的边缘强度而被计算出的第一区域指标值”，来对是否为全部污垢状态进行判断。即，“根据属于不易准确地计算边缘强度的第二区域的像素的各自的边缘强度而被计算出的第二区域指标值”不被用于是否为全部污垢状态的判断。由此，可提高能够准确地对是否为全部污垢状态进行判断的可能性。
而且，当第一条件以及第二条件中的至少一个条件成立时，判断为全部污垢状态已被解除。第二条件为，当“根据属于不易准确地计算边缘强度的第二区域的像素的各自的边缘强度而被计算出的第二区域指标值”在第二解除阈值以上时成立的条件。因此，即使在摄像机21对全部污垢已被去除的情况下第一区域中无法检测出边缘的风景进行拍摄时，也能够准确地判断出全部污垢已被去除的情况。
在本发明的一个方式中，所述判断部被构成为，将与属于所述第一区域且所述边缘强度在第一阈值强度(ES1th)以上的像素的数具有相关关系的值(CEN)作为所述第一区域指标值而进行计算(步骤935)，并将与属于所述第二区域且所述边缘强度在第二阈值强度(ES1th)以上的像素的数量具有相关关系的值(OEN)作为所述第二区域指标值而进行计算。
将与“属于第一区域且边缘强度在第一阈值强度以上的像素”的数量具有相关关系的值作为第一区域指标值而进行计算，并将与“属于第二区域且边缘强度在第二阈值强度以上的像素”的数量具有相关关系的值作为第二区域指标值而进行计算。由此，能够更准确地判断出保护窗的状态为全部污垢状态的情况，且能够更准确地判断出全部污垢状态已被解除的情况。
在本发明的一个方式中，所述判断部被构成为，将所述第一区域分割成多个独立区域(AR)，并将第一边缘区域数(CEN)作为所述第一区域指标值而进行计算(步骤735)，在所述第一边缘区域数小于作为所述污垢阈值的第一阈值区域数(CEN1th)的情况下(步骤740“是”)，判断为所述保护窗的状态为所述全部污垢状态(步骤745)，其中，所述第一边缘区域数(CEN)为，属于所述第一区域的所述多个独立区域中的各个区域且所述边缘强度在所述第一阈值强度以上的像素的数量(边缘像素数EN)为第一阈值像素数(EN1th)以上的所述独立区域的数量。
“属于第一区域的多个独立区域的各个区域且边缘强度在第一阈值强度以上的像素”的数量为第一阈值像素数以上的独立区域的数量即第一边缘区域数被用作第一区域指标值。由此，能够更准确地判断出保护窗的状态为全部污垢状态的情况，且能够更准确地判断出全部污垢状态已被解除的情况。
在本发明的一个方式中，所述判断部被构成为，将所述第二区域分割成多个独立区域(AR)，并将第二边缘区域数(OEN)计算为所述第二区域指标值(步骤970)，在所述第二边缘区域数在作为所述第二解除阈值的第二阈值区域数(OEN1th)以上的情况下(步骤740“否”)，判断为所述第二条件成立，其中，所述第二边缘区域数(OEN)为，属于所述第二区域的所述多个独立区域的各个区域且所述边缘强度在所述第二阈值强度以上的像素的数量(边缘像素数EN)为第二阈值像素数(EN1th)以上的所述独立区域的数量。
“属于第二区域的多个独立区域的各个区域且边缘强度在第二阈值强度以上的像素”的数量为第二阈值像素数以上的独立区域的数量即第二边缘区域数被用作第二区域指标值。由此，能够更准确地判断出全部污垢状态已被解除的情况。
在本发明的一个方式中，所述判断部被构成为，将所述第一区域以及所述第二区域分别分割成多个独立区域(AR)，并且在无变化区域(UCA)被包含于所述摄像机图像中的情况下(步骤850“是”)，判断为所述保护窗的状态为污垢附着在与所述保护窗的所述无变化区域相对应的部分上的状态即局部污垢状态(步骤855)，其中，所述无变化区域(UCA)为，所述像素中预定时间内的像素值的变化量在变化量判断值以下的像素的数量(UCPN)成为阈值像素数(UCPN1th)以上的所述独立区域，所述控制部被构成为，在判断为所述保护窗的状态为所述局部污垢状态的情况下(步骤630“否”)，不实施所述辅助控制。
检测出与“摄像机图像的像素值在经过预定时间的期间内未实质性发生变化的像素的数量成为阈值像素数以上的独立区域即无变化区域”相对应的部分的污垢(局部污垢)。能够禁止基于在这样的局部污垢附着在保护窗上的状态下所拍摄的可能不准确的摄像机图像而导致的辅助控制的实施。
在本发明的一个方式中，所述判断部被构成为，在判断为所述保护窗的状态为所述局部污垢状态的情况下(步骤950“是”)，当属于所述无变化区域且所述边缘强度在第三阈值强度以上的像素的数量(EN)成为第三阈值像素数(EN1th)以上时(步骤960“是”)，判断为相对于所述无变化区域的所述局部污垢状态以已被解除(步骤965)。
由此，由于在局部污垢是否已被去除的判断中未考虑无变化区域以外的区域，因此能够准确地判断出局部污垢已被去除的情况。
在本发明的一个方式中，所述判断部被构成为，在所述本车辆的起动时判断为所述保护窗的状态为所述全部污垢状态。
由于通过在从本车辆停车到车辆起动的期间内，雪、霜、雨滴等附着在保护窗上，从而全部污垢可能附着在保护窗上，因此在本车辆的起动时，判断为处于全部污垢状态。由此，能够禁止基于在本车辆的起动时通过附着有全部污垢的保护窗而拍摄的可能不准确的摄像机图像而导致的辅助控制的实施。
另外，在上述说明中，为了帮助理解本发明，对于与后述的实施方式相对应的本发明的结构，该实施方式中使用的名称和/或符号被付加在括号中。然而，发明的各结构要素并不限定于由所述名称和/或符号规定的实施方式。从参照以下的附图而被描述的本发明的实施方式的说明中，容易地理解本发明的其它目的，其它特征以及附带优点。
附图说明
图1为本发明的实施方式所涉及的周围监视装置(本监视装置)的简要系统结构图。
图2为摄像机以及间隙声纳的安装位置以及行驶预测行进路线的说明图。
图3为摄像机图像中的中央区域以及外侧区域的说明图。
图4为在污垢附着在保护窗的全部的状态下所拍摄到的摄像机图像的说明图。
图5为在中央区域中未提取边缘的摄像机图像的说明图。
图6为表示图1所示的周围监视ECU的CPU所执行的程序的流程图。
图7为表示图1所示的周围监视ECU的CPU所执行的其他程序的流程图。
图8为表示图1所示的周围监视ECU的CPU所执行的其他程序的流程图。
图9为表示图1所示的周围监视ECU的CPU所执行的其他程序的流程图。
具体实施方式
实施方式
以下，利用附图，对本发明的实施方式所涉及的周围监视装置(以下，有时称为“本监视装置”)进行说明。在需要区别于其他车辆的情况下，将搭载有本监视装置的车辆称为“本车辆SV”。
本监视装置实施如下的辅助控制，所述辅助控制用于根据图1所示的摄像机系统20所具备的摄像机21通过保护窗22而拍摄到的摄像机图像，来对本车辆SV的驾驶进行辅助。而且，本监视装置对污垢是否附着于保护窗22上进行判断，在附着有污垢的情况下，禁止基于具有该保护窗22的摄像机21所拍摄到的摄像机图像而导致的辅助控制的实施。
如图1所示，本监视装置具备周围监视ECU10。周围监视ECU10具备包含CPU11、ROM12以及RAM13等的微型计算机。另外，在本说明书中，ECU为“Electric Control Unit：电子控制单元”的缩写，并且具备微型计算机以作为主要部分。微型计算机包括CPU和ROM以及RAM等存储装置。CPU通过执行存储于ROM中的指令(例程，程序)，从而实现各种功能。
本监视装置还具备摄像机系统20、间隙声纳24A至24D、换档位置传感器25、车辆状态传感器26、显示部30、扬声器31、制动器ECU32、制动器传感器33、制动器执行器34、发动机ECU35以及发动机执行器36。周围监视ECU10与摄像机系统20、间隙声纳24A至24D、换档位置传感器25、车辆状态传感器26、显示部30、扬声器31、制动器ECU32以及发动机ECU35相连接。在对间隙声纳24A至24D进行统称的情况下，简称为“间隙声纳24”。
摄像机系统20具有摄像机21以及图像处理装置23。如图2所示，摄像机21被设置于本车辆SV的后端部的车辆宽度方向的中央处。回到图1，由于摄像机21被设置在车外，因此具有透光性的板部件即保护窗22，所述保护窗22用于保护镜头免受水滴、泥、灰尘以及尘土等的影响。摄像机21通过保护窗22对本车辆SV的后方的区域的风景进行拍摄。另外，摄像机21的视角为广角(例如，大致180度左右)。摄像机21每经过预定时间而对风景进行拍摄，并将所拍摄到的图像(摄像机图像或者摄像机图像数据)发送至图像处理装置23。
图像处理装置23从摄像机21所拍摄到的摄像机图像中提取预先设定的种类(行人、其他车辆以及两轮车等)的物标。更详细而言，图像处理装置23预先存储有各种类的物标的图像特征量，以作为对照图案。图像处理装置23将摄像机图像划分为预定大小的局部区域，并对该局部区域的图像特征量进行计算。并且，图像处理装置23对计算出的图像特征量和作为对照图案而存储的图像特征量进行比较，并从摄像机图像中提取物标。图像处理装置23每经过预定时间就向周围监视ECU10发送摄像机图像信息，所述摄像机图像信息包括摄像机图像、表示提取到的物标的种类的信息和表示该物标在摄像机图像中的位置的位置信息。
间隙声纳24利用超声波，而对存在于本车辆SV的后方侧的立体物(物标)的位置以及相对于本车辆SV的相对速度进行检测。更详细而言，间隙声纳24发射(发送)超声波，并接收被存在于超声波的发射范围内的物标反射的超声波(反射波)。并且，间隙声纳24根据从超声波的发送到接收为止的时间，来对从本车辆SV到物标的距离进行计算，并根据被反射的超声波的方向，来对物标相对于本车辆SV的方位进行计算。根据从本车辆SV到物标的距离以及物标相对于本车辆SV的方位，来确定物标相对于本车辆SV的位置。而且，间隙声纳24根据反射波的频率变化(多普勒效应)，来对物标相对于本车辆SV的相对速度进行计算。间隙声纳24将包括物标的位置以及物标的相对速度在内的物标信息发送至周围监视ECU10。
如图2所示，间隙声纳24A至24D以在车辆宽度方向上隔开间隔的方式被安装在本车辆SV的后端部上。间隙声纳24A被安装在本车辆SV的后端部的右端处，并对存在于本车辆SV的后方的右角的区域DRA中的物标进行检测。间隙声纳24B被安装在本车辆SV的后端部的右侧处，并对存在于本车辆SV的右后方的区域DRB中的物标进行检测。间隙声纳24C被安装在本车辆SV的后端部的左侧处，并对存在于本车辆SV的左后方的区域DRC中的物标进行检测。间隙声纳24D被安装在本车辆SV的后端部的左端处，并对存在于本车辆SV的后方的左角的区域DRD中的物标进行检测。
回到图1，换档位置传感器25对驾驶员所操作的换档杆的位置(以下，称为“换档位置”)进行检测，并产生表示检测到的换档位置的信号。换档位置有停车档“P”、前进档“D”、后退档“R”以及空档“N”等。周围监视ECU10被设置成，每经过预定时间而从换档位置传感器25取得(检测)换档位置。
车辆状态传感器26包括：对本车辆SV的速度(即，车速)Vs进行检测的车速传感器、对本车辆SV的水平方向上的前后方向以及左右(横)方向的加速度As进行检测的加速度传感器、对本车辆SV的横摆率Yr进行检测的横摆率传感器以及对转向轮的转向角θ进行检测的转向角传感器等。周围监视ECU10被设置成，每经过预定时间而从车辆状态传感器26中取得(检测出)车辆状态信息(车速Vs、加速度As、横摆率Yr以及转向角θ)。
周围监视ECU10在从换档位置传感器25中取得的换档位置为“R”的情况下(即，在本车辆SV后退的情况下)，将摄像机图像信息以及物标信息融合在一起，从而确定存在于本车辆SV的后方的物标的位置。并且，周围监视ECU10在于本车辆SV的后方存在物标且有可能与该物标发生碰撞的情况下，利用显示部30以及扬声器31，向驾驶员警告存在有该物标。而且，在与存在于本车辆的后方的物标发生碰撞的可能性与警告时相比提高时，周围监视ECU10对制动器ECU32以及发动机ECU35进行控制，从而在与该物标发生碰撞之前使本车辆SV的车速Vs减速，并使本车辆SV停止。
显示部30为，接收来自本车辆SV内的各种ECU以及导航装置的显示信息，并将该显示信息显示在本车辆SV的前窗玻璃的一部分的区域(显示区域)上的仰视显示器(以下，称为“HUD”)。在显示部30上显示有如下的注意提醒画面，所述注意提醒画面用于提醒驾驶员注意“存在于本车辆SV的后方且有可能与本车辆SV发生碰撞的物标(障碍物)”。显示部30在从周围监视ECU10接收到注意提醒画面的显示指示即显示指示信号的情况下，显示注意提醒画面。另外，显示部30也可以为液晶显示器。
扬声器31在从周围监视ECU10接收到警报声的输出指示即输出指示信号的情况下，响应接收到的输出指示信号，从而输出针对障碍物的“提醒驾驶员注意的警报声”。
制动器ECU32与“车辆状态传感器26的用于对车速Vs进行检测的未图示的车速传感器”以及制动器传感器33相连接，并且被设置成接收这些传感器的检测信号。制动器传感器33为，对在控制被搭载于本车辆SV上的制动器装置(未图示)时所使用的参数进行检测的传感器，并且包括对制动器踏板的操作量(踩下量)进行检测的传感器等。
而且，制动器ECU32与制动器执行器34相连接。制动器执行器34为液压控制致动器。制动器执行器34被配置在如下的摩擦制动器装置之间的液压回路(均省略图示)上，所述摩擦制动器装置包含根据制动器踏板的踏力而对工作油进行加压的主汽缸、和被设置在各车轮上的众所周知的轮缸。制动器执行器34对供给至轮缸的液压进行调节。制动器ECU32被设置成，通过使制动器执行器34驱动，从而对各车轮调节制动力(本车辆SV的加速度(负加速度，即，减速度))。
在从周围监视ECU10接收到制动指示信号时，制动器ECU32对制动器执行器34进行控制，从而通过制动而使车速Vs降低，进而使本车辆SV的实际的加速度As与制动指示信号中所包含的目标减速度TG一致。另外，周围监视ECU10被设置成，从车辆状态传感器26的加速度传感器中取得本车辆SV的加速度As。
发动机ECU35与发动机执行器36相连接。发动机执行器36为用于变更本车辆SV的驱动源即未图示的内燃机的运转状态的致动器，至少包括对节气门的开度进行变更的节气门致动器。发动机ECU35通过驱动发动机执行器36，从而能够变更内燃机所产生的扭矩，由此，能够对本车辆SV的驱动力进行控制。另外，当从周围监视ECU10向制动器ECU32发送制动指示信号时，从周围监视ECU10向发动机ECU35发送扭矩降低指示信号。发动机ECU35在接收到扭矩降低指示信号时，对发动机执行器36进行驱动(实际上，通过对节气门致动器进行驱动，从而将节气门开度变更为最小开度)，进而将内燃机的扭矩变更为最小扭矩。
(工作的概要)
接下来，对本监视装置的工作的概要进行说明。如前文所述，本监视装置根据由摄像机21拍摄到的摄像机图像以及间隙声纳24的检测结果，来对存在于本车辆SV的后方侧的物标进行识别，并从已识别出的物标中提取有可能与本车辆SV发生碰撞的障碍物。而且，本监视装置对如下的碰撞所需时间TTC(Time To Collision)进行计算，所述碰撞所需时间TTC表示到被提取出的障碍物与本车辆SV发生碰撞为止(或者到最接近本车辆SV为止)所需的时间。另外，障碍物的提取处理以及碰撞所需时间TTC的计算处理的详细情况在后文中进行叙述。
在碰撞所需时间TTC在警告控制用的阈值时间T1th以下的情况下，本监视装置实施如下的警告控制，即，通过将前文所述的显示指示信号发送至显示部30，并将前文所述的输出指示信号发送至扬声器31，从而向驾驶员警告存在障碍物的状况(对驾驶员的驾驶进行辅助的辅助控制之一)。
在碰撞所需时间TTC在碰撞回避控制用的阈值时间T2th以下的情况下，本监视装置对在与障碍物发生碰撞之前使本车辆SV停止的目标减速度TG进行计算。另外，阈值时间T2th被设定为，小于前文所述的阈值时间T1th的值。并且，本监视装置通过将包含目标减速度TG在内的前文所述的制动指示信号发送至制动器ECU32，并将前文所述的扭矩降低指示信号发送至发动机ECU35，从而实施制动控制(对驾驶员的驾驶进行辅助的另一个辅助控制)。
然而，虽然本监视装置如前文所述那样根据摄像机图像以及间隙声纳24的检测结果来对物标进行检测，但是在污垢附着于摄像机21的保护窗22上的情况下，无法准确地检测出物标的可能性较高。
作为附着在保护窗22上的污垢，考虑到如雪、水滴以及融雪剂等附着于保护窗22的全部上的全部污垢、和如泥等附着于保护窗22的一部分上的局部污垢。本监视装置执行对保护窗22的状态是否为全部污垢状态进行判断的全部污垢判断处理，并执行对保护窗22的状态是否为局部污垢状态进行判断的局部污垢判断处理。
当被判断为保护窗22的状态为全部污垢状态以及局部污垢状态中的至少一个状态的情况下，本监视装置禁止基于摄像机图像的控制(即，前文所述的警告控制以及制动控制)的实施。而且，本监视装置执行如下的污垢解除判断处理，即，在被判断为保护窗22的状态为全部污垢状态的情况下，对全部污垢是否被去除，且全部污垢状态是否已被解除进行判断，并且在被判断为保护窗22的状态为局部污垢状态的情况下，对局部污垢是否被去除，且局部污垢状态是否已被解除进行判断。在通过污垢解除判断处理，从而被判断为保护窗22的状态已成为无污垢状态的情况下(即，在任一污垢状态均被解除的情况下)，本监视装置允许实施基于前文所述的摄像机图像的控制。
首先，对全部污垢判断处理进行说明。如图3所示，本监视装置将椭圆形的摄像机图像CI划分为包含摄像机图像CI的中心点Pc的判断用区域CIc和除此以外的区域。而且，本监视装置将该判断用区域CIc划分为“包含中心点Pc的长方形的中央区域CA”和“与中央区域CA相比靠外侧的外侧区域OA”。中央区域CA有时被称为“第一区域”，外侧区域OA有时被称为“第二区域”。判断用区域CIc被划分为多个独立区域AR。多个独立区域AR的每个区域都为长方形。在图3所示的示例中，中央区域CA包含20个独立区域AR，外侧区域OA包含21个独立区域AR。
然而，通常，摄像机图像在摄像机图像的中心处最为清晰，随着远离该中心而变得不清晰。换言之，摄像机图像的模糊在摄像机图像的中心处最小，并且随着远离该中心而变大。因此，通常，摄像机图像的中心附近的边缘强度变得大于摄像机图像的周围附近的边缘强度。即，因为外侧区域OA与中央区域CA相比更远离摄像机图像CI的中心，所以在外侧区域OA中边缘强度变得相对较小，而在中央区域CA中边缘强度变得相对较大。
因此，本监视装置利用这样的摄像机图像的特性，来实施全部污垢判断处理。首先，本监视装置根据式1，对属于独立区域AR的每个区域的各像素的水平方向边缘强度ESx进行计算，并且根据式2，对属于独立区域AR的每个区域的各像素的垂直方向边缘强度ESy进行计算。接下来，本监视装置对属于独立区域AR的每个区域的各像素的边缘强度ES进行计算。
数学式1
ESx＝I(x，y)-I(x-l，y)…(式1)
ESy＝I(x，y)-I(x，y-1)…(式2)
Figure BDA0001746513390000111
另外，独立区域AR的每个区域的左下的像素被规定为x-y坐标的原点O。而且，独立区域AR的每个区域的左右方向被设定为x轴，独立区域AR的每个区域的上下方向被设定为y轴。式1以及式2的“I(x、y)”表示坐标(x、y)的像素的像素值(R、G、B)。由此，水平方向边缘强度ESx为具有红、绿以及蓝的成分值(XR、XG、XB)的向量，其大小为(XR2+XG2+XB2)1/2。同样地，垂直方向边缘强度ESy为具有红、绿以及蓝的成分值(YR、YG、YB)的向量，其大小为(YR2+YG2+YB2)1/2。
接下来，本监视装置对各独立区域AR中边缘强度ES在阈值强度(第一阈值强度)ES1th以上的像素的数(以下，称为“边缘像素数”)EN进行计算。并且，本监视装置对边缘像素数EN在阈值像素数(第一阈值像素数)EN1th以上的独立区域AR进行确定。以下，边缘像素数EN在阈值像素数EN1th以上的独立区域AR也被称为“强边缘区域”。强边缘区域为，边缘能够被明确地检测到的区域。
接下来，本监视装置对中央区域CA中所包含的独立区域AR中作为强边缘区域的区域的数CEN进行确定。以下，数CEN有时也被称为“中央边缘区域数”、“第一边缘区域数”或“第一区域指标值”。
而且，本监视装置对中央边缘区域数CEN是否小于阈值区域数CEN1th进行判断。例如，阈值区域数CEN1th被设定为“1”。
在中央边缘区域数CEN在阈值区域数CEN1th以上的情况下，本监视装置不将保护窗22的状态判断为全部污垢状态。在图3所示的示例中，当设置为在保护窗22上未附着有污垢时，道路的白线的边缘于“属于中央区域CA的独立区域AR1至AR7”中被提取。由此，本监视装置将属于中央区域CA的独立区域AR1至AR7的每个区域确定为强边缘区域。此时，中央边缘区域数CEN为“7”，中央边缘区域数CEN在阈值区域数CEN1th以上。因此，本监视装置不将保护窗22的状态判断为全部污垢状态。
另一方面，在中央边缘区域数CEN小于阈值区域数CEN1th的情况下，本监视装置判断出保护窗22的状态为“污垢附着在保护窗22的全部的状态(即，全部污垢状态)”。在污垢附着在保护窗22的全部的情况下的摄像机图像中，在中央区域CA以及外侧区域OA中边缘未被提取的可能性较高。图4中示出了雪附着在保护窗22的全部的情况下的摄像机图像的一个示例。在图4所示的摄像机图像中，由于中央边缘区域数CEN为“0”，且中央边缘区域数CEN小于阈值区域数CEN1th，因此本监视装置将保护窗22的状态判断为全部污垢状态。
如前文所述那样，存在如下趋势，即，与中央区域CA相比，在外侧区域OA中边缘强度ES被计算得较小。因此，即使在保护窗22的状态并不是全部污垢状态的情况下，属于外侧区域OA的独立区域AR中被确定为强边缘区域的可能性也会降低。因此，本监视装置不使用外侧区域OA中的强边缘区域的数量，而使用中央区域CA中的强边缘区域的数量，来对保护窗22的状态是否为全部污垢进行判断。由此，能够提高可以准确地对是否为全部污垢进行判断的可能性。
在判断出保护窗22的状态为全部污垢状态的情况下，当以下的条件(1)以及(2)中的任一条件成立时，本监视装置判断为全部污垢已被去除(即，全部污垢状态已被解除)。条件(1)有时也被称为第一条件，条件(2)有时也被称为第二条件。
条件(1)中央边缘区域数CEN在阈值区域数CEN1th以上。
条件(2)外侧区域OA中的强边缘区域的数量(以下，称为“外侧边缘区域数”，有时也称为“第二边缘区域数”或“第二区域指标值”)OEN在“第二解除阈值即阈值区域数OEN1th”以上。
外侧区域OA中的强边缘区域为，边缘强度ES在第二阈值强度以上的边缘像素数为第二阈值像素数以上的独立区域AR。另外，虽然在本示例中，第二阈值强度被设定为与第一阈值强度ES1th相等的值，但是第二阈值强度也可以被设定为与第一阈值强度ES1th不同的值。而且，虽然第二阈值像素数被设定为与第一阈值像素数EN1th相等的值，但是第二阈值像素数也可以被设定为与第一阈值像素数EN1th不同的值。
而且，虽然在本示例中，阈值区域数OEN1th与阈值区域数CEN1th同样地被设定为“1”，但是它们也可以互不相同。
如前文所述那样，存在如下趋势，即，与中央区域CA相比，在外侧区域OA中边缘强度ES被计算得较小。因此，当在这样的外侧区域OA中，外侧边缘区域数OEN在阈值区域数OEN1th以上的情况下(即，在条件(2)成立的情况下)，可以认为附着在保护窗22的全部的污垢已被去除。通常，可以认为，在外侧边缘区域数OEN在阈值区域数OEN1th以上的情况下，中央边缘区域数CEN也成为阈值区域数CEN1th以上(即，条件(1)也成立)。
然而，如图5所示，根据摄像机21所拍摄到的风景而存在如下情况，即，在中央区域CA中未提取到边缘，而能够在外侧区域OA中提取到边缘。在图5所示的摄像机图像中，由于在中央区域CA中未提取到边缘，因此中央边缘区域数CEN小于阈值区域数CEN1th，条件(1)不成立。但是，由于在外侧区域OA的中央区域CA的上方的区域中检测到7条白线的边缘，因此外侧边缘区域数OEN成为阈值区域数OEN1th以上。由此，由于在图5所示的摄像机图像中，虽然条件(1)不成立，但是条件(2)成立，因此本监视装置能够将保护窗22的状态判断为无污垢状态。即，即使在仅条件(2)成立的情况下，本监视装置也会解除全部污垢状态。
接下来，对局部污垢判断处理进行说明。本监视装置每经过预定时间而实施如下处理，即，对像素值未实质上发生变化的区域进行确定。而且，本监视装置经过预定的处理次数，将像素值未实质上发生变化的独立区域AR确定为无变化区域UCA。并且，在存在有无变化区域UCA的情况下，本监视装置将该区域UCA确定为局部污垢区域，并将保护窗22的状态判断为局部污垢状态。
本监视装置在判断为保护窗22的状态为局部污垢状态的情况下，对局部污垢区域(即，无变化区域UCA)中的每个区域是否变化为“污垢解除强边缘区域”进行判断。污垢解除强边缘区域为，“属于局部污垢区域的每个区域的像素且该边缘强度ES在阈值强度(第三阈值强度)以上的像素”的数量为第三阈值像素数以上的独立区域AR。而且，本监视装置在被判断为局部污垢边缘区域的全部独立区域AR变化为污垢解除强边缘区域的情况下，判断为保护窗22的状态变成了无局部污垢的状态(即，局部污垢状态已被解除)。另外，虽然在本示例中，第三阈值强度被设定为与第一阈值强度ES1th相等的值，但是第三阈值强度也可以被设定为与第一阈值强度ES1th不同的值。而且，虽然在本示例中，第三阈值像素数被设定为与第一阈值像素数EN1th相等的值，但是第三阈值像素数也可以被设定为与第一阈值像素数EN1th不同的值。
从以上的示例中可以理解，本监视装置在全部污垢判断处理中，不是在难以出现强边缘区域的外侧区域OA的强边缘区域的数量小于阈值区域数CEN1th的情况下，而是在易于出现强边缘区域的中央区域CA的强边缘区域的数量(中央边缘区域数)CEN小于阈值区域数CEN1th的情况下，将保护窗22的状态判断为全部污垢状态。如此，由于本监视装置根据中央区域CA的强边缘区域的数量CEN，来对是否为全部污垢状态进行判断，因此能够准确地判断出是否为全部污垢状态。
而且，本监视装置在保护窗22的状态为全部污垢状态的情况下，当前文所述的条件(1)以及条件(2)中的任一条件成立时，判断为全部污垢已被去除。即，在有如下趋势即边缘强度ES被计算为小于中央区域CA的值的外侧区域OA中，当外侧边缘区域数OEN在阈值区域数OEN1th以上的情况下，即使中央边缘区域数CEN小于阈值区域数CEN1th，本监视装置也能够判断为全部污垢已被去除。由此，本监视装置能够准确地对全部污垢是否已被去除进行判断。而且，如前文所述那样，即使为在中央区域CA中未检测到边缘的摄像机图像，在条件(2)成立的情况下，本监视装置也能够判断为全部污垢已被去除。
(具体的工作)
周围监视ECU10的CPU11每经过预定时间而执行在图6中用流程图所示的程序。图6所示的程序为，用于在本车辆SV后退时，针对本车辆SV的后方侧的障碍物而实施辅助控制之一的预碰撞控制(后退时预碰撞控制)的程序。
因此，当到达预定的时刻时，CPU11从图6的步骤600开始进行处理，并进入步骤605，由此从换档位置传感器25中取得换档位置。接下来，CPU11进入步骤610，从而对在步骤605中取得的换档位置是否为后退档(“R”)进行判断。在换档位置并不是“R”的情况下，即，在换档位置为前进档(“D”)以及空档(“N”)等的情况下，CPU11在步骤610中判断为“否”，并进入步骤695，暂时结束本程序。其结果为，不实施预碰撞控制。
另一方面，在换档位置为“R”的情况下，CPU11在步骤610中判断为“是”，并进入步骤615，从车辆状态传感器26中取得车辆状态信息，进入步骤620。
在步骤620中，CPU11根据在步骤615中所取得的车辆状态信息，来对“被预测为本车辆SV自此开始行驶的行进路线即行驶预测行进路线RCR(参照图2)”进行推断，并进入步骤625。
使用图2，对步骤620的处理详细地进行说明。
CPU11根据在步骤615中取得的车辆状态信息所包含的“本车辆SV的车速Vs以及横摆率Yr”，来对本车辆SV的转弯半径进行计算。并且，CPU11根据已计算出的转弯半径，将本车辆SV的左右的后轮的车轴上的中心点PO(参照图2)所朝向的行驶路线推断为行驶预测行进路线RCR。在产生横摆率Yr的情况下，CPU11将圆弧状的行进路线推断为行驶预测行进路线RCR。另一方面，在横摆率Yr为“0”的情况下，CPU11将沿着作用于本车辆SV的加速度的方向的直线行进路线推断为行驶预测行进路线RCR。
回到图6，在步骤625中，CPU11从间隙声纳24取得物标信息，进入步骤630，从而对全部污垢标示Xz的值以及局部污垢标示Xb的值是否均为“0”进行判断。当通过下文所述的处理从而判断为保护窗22的状态为全部污垢状态时，全部污垢标示Xz的值被设定为“1”。而且，在全部污垢标示Xz的值为“1”的情况下，当通过下文所述的处理从而判断为保护窗22的全部污垢状态已被解除时，全部污垢标示Xz的值被设定为“0”。当通过下文所述的处理从而判断为保护窗22的状态为局部污垢状态时，局部污垢标示Xb的值被设定为“1”。而且，在局部污垢标示Xb的值为“1”的情况下，当通过下文所述的处理从而判断为保护窗22的局部污垢状态已被解除时，局部污垢标示Xb的值被设定为“0”。因此，CPU11在步骤630中，实质性地对RAM13中是否存储有“无污垢信息即对保护窗22的状态为无污垢状态的内容进行表示的信息”进行判断。
在全部污垢标示Xz的值以及局部污垢标示Xb的值中的至少一个值为“1”的情况下(即，在RAM13中存储有“表示保护窗22的状态为全部污垢状态的的全部污垢信息”以及“表示保护窗22的状态为局部污垢状态的局部污垢信息”中的至少一个信息的情况下)，CPU11在步骤630中判断为“否”，并进入步骤695，暂时结束本程序。在保护窗22的状态为全部污垢状态以及局部污垢状态中的至少一个状态的情况下，通过保护窗22而拍摄到的摄像机图像中映入污垢，从而无法准确地提取物标的可能性较高。因此，由于存在误实施预碰撞控制的可能性，因此CPU11禁止预碰撞控制的实施。
另一方面，在全部污垢标示Xz的值以及局部污垢标示Xb的值均为“0”的情况下(即，在RAM13中存储有无污垢信息的情况下)，CPU11在步骤630中判断为“是”，并进入步骤635，从而从摄像机系统20中取得摄像机图像信息。接下来，CPU11进入步骤640，从而将在步骤625中所取得的物标信息以及在步骤635中所取得的摄像机图像信息融合在一起，进而对物标相对于本车辆SV的位置进行确定。
之后，CPU11进入步骤645，从而根据在步骤620中推断出的本车辆SV的行驶预测行进路线RCR、“在步骤640中确定的物标的位置”和该物标的相对速度，而从在步骤640中确定了位置的物标之中，提取被推断为有可能与本车辆SV发生碰撞的物标(包含被推断为虽然不会与本车辆SV发生碰撞但是与本车辆SV极其接近的物标)，以作为障碍物。
使用图2，对步骤645的处理详细地进行说明。
CPU11根据“有限长度的行驶预测行进路线RCR”，来对左侧行驶预测行进路线LEC和右侧行驶预测行进路线REC进行推断，其中，左侧行驶预测行进路线LEC为，位于从本车辆SV的车身的左端部起进一步向左侧移动固定距离αL的点PL所通过的路线，右侧行驶预测行进路线REC为，位于从本车辆SV的车身的右端部起进一步向右侧移动固定距离αR的点PR所通过的路线。左侧行驶预测行进路线LEC为，使行驶预测行进路线RCR向本车辆SV的左右方向的左侧平行移动“距离αL加上车辆宽度的一半而得到的值”后的路线。右侧行驶预测行进路线REC为，使行驶预测行进路线RCR向本车辆SV的左右方向的右侧平行移动“距离αR加上车辆宽度的一半而得到的值”后的路线。距离αL以及距离αR均为“0”以上的值，既可以彼此不同也可以相同。而且，CPU11将左侧行驶预测行进路线LEC和右侧行驶预测行进路线REC之间的区域确定为行驶预测行进路线区域ECA。
并且，CPU11根据过去的物标的位置来对物标的移动轨迹进行计算(推断)，并根据计算出的物标的移动轨迹，而对物标相对于本车辆SV的移动方向进行计算。接下来，CPU11根据行驶预测行进路线区域ECA、本车辆SV与物标的相对关系(相对位置以及相对速度)、物标相对于本车辆SV的移动方向，来提取已经存在于行驶预测行进路线区域ECA内且被预测为与本车辆SV的后端区域TA交叉的物标、和被预测为将来进入行驶预测行进路线区域ECA且与本车辆的后端区域TA交叉的物标，以作为有可能与本车辆SV发生碰撞的障碍物。在此，本车辆SV的后端区域TA为，通过将点PL和点PR连结的线段来表示的区域。
另外，CPU11将左侧行驶预测行进路线LEC推断为点PL所通过的路线，且将右侧行驶预测行进路线REC推断为点PR所通过的路线。因此，如果值αL以及值αR为正值，则CPU11将可能穿过本车辆SV的左侧面附近或右侧面附近的物标也判断为“已经存在于行驶预测行进路线区域ECA内，且被预测为与本车辆SV的后端区域TA交叉”或者“被预测为将来进入行驶预测行进路线区域ECA且与本车辆SV的后端区域TA交叉”。因此，CPU11也提取有可能穿过本车辆SV的左侧方或者右侧方的物标，以作为障碍物。
回到图6，CPU11在执行步骤645后，进入步骤650，从而对在步骤645中是否提取了障碍物进行判断。当在步骤645中未提取障碍物的情况下，
CPU11在步骤650中判断为“否”，并进入步骤695，暂时结束本程序。其结果为，不实施预碰撞控制。另一方面，当在步骤645中提取了障碍物的情况下，CPU11在步骤650中判断为“是”，并进入步骤655。
在步骤655中，CPU11对碰撞所需时间TTC进行计算，并进入步骤660，其中，碰撞所需时间TTC表示到障碍物与本车辆SV的区域TA(参照图2)交叉为止所需的时间。
对步骤655的处理，详细地进行说明。
CPU11通过本车辆SV与障碍物之间的距离(相对距离)除以障碍物相对于本车辆SV的相对速度，从而对障碍物的碰撞所需时间TTC进行计算。
碰撞所需时间TTC为，以下的时间T1以及时间T2中的任意一个。
·到被预测为障碍物与本车辆SV发生碰撞的时间点为止的时间T1(从当前时间点到碰撞预测时间点的时间)
·到有可能穿过本车辆SV的侧方的障碍物最接近本车辆SV的时间点为止的时间T2(从当前时间点到最接近预测时间点的时间)
该碰撞所需时间TTC为，到假设障碍物和本车辆SV在维持当前时间点的相对速度以及相对移动方向的同时进行移动的情况下的障碍物到达“本车辆SV的后端区域TA”为止的时间。
碰撞所需时间TTC表示，能够实施预碰撞控制或基于驾驶员的碰撞回避操作的时间。而且，碰撞所需时间TTC为，表示障碍物和本车辆SV发生碰撞的可能性(碰撞可能性)的指标值。碰撞所需时间TTC越小，表示碰撞可能性较高，碰撞所需时间TTC越大，表示碰撞可能性较低。
在步骤660中，CPU11对在步骤655中计算出的碰撞所需时间TTC是否在阈值时间T(n)th以下进行判断。在碰撞所需时间TTC大于阈值时间T(n)th的情况下，CPU11在步骤660中判断为“否”，并进入步骤695，暂时结束本程序。相对于此，在碰撞所需时间TTC为阈值时间T(n)th以下的情况下，CPU11在步骤660中判断为“是”，并进入步骤665，实施预碰撞控制。之后，CPU11进入步骤695，暂时结束本程序。
另外，在本示例中，作为上述的阈值时间T(n)th，设定有警告控制用的阈值时间T1th和制动控制用的阈值时间T2th。阈值时间T1th大于阈值时间T2th。在碰撞所需时间TTC为阈值时间T1th以下的情况下，CPU11向显示部30发送显示指示信号，从而使注意提醒画面显示于显示部30上，并向扬声器31发送输出指示信号，从而从扬声器31输出警报声。在碰撞所需时间TTC为阈值时间T2th以下的情况下，CPU11对成为阈值时间T2th以下的碰撞所需时间TTC中最小的碰撞所需时间TTC的障碍物进行确定。而且，CPU11根据该障碍物的相对速度以及位置，来对为了在与该确定的障碍物发生碰撞之前使本车辆SV停止所需的减速度(即，目标减速度TG)进行计算。而且，CPU11将包含目标减速度TG的制动指示信号发送至制动器ECU32，并将扭矩降低指示信号发送至发动机ECU35。其结果为，本车辆SV以与目标减速度TG大致相等的减速度进行减速。
此外，CPU11每经过预定时间而执行在图7中用流程图所示的程序。图7所示的程序为，用于对保护窗22的状态是否为全部污垢状态进行判断的程序。
因此，当到预定的时刻时，CPU11从图7的步骤700开始进行处理，并进入步骤705，对全部污垢标示Xz的值是否为“0”(即，RAM13中是否存储有全部污垢信息)进行判断。在全部污垢标示Xz的值为“1”的情况下(即，在已经被判断为保护窗22的状态为全部污垢状态的情况下)，CPU11在步骤705中判断为“否”，并进入步骤795，暂时结束本程序。
另一方面，在全部污垢标示Xz的值为“0”的情况下(即，在RAM13中未存储有全部污垢信息的情况下)，CPU11在步骤705中判断为“是”，并依次实施以下所叙述的步骤710至步骤735的处理，进入步骤740。
步骤710：CPU11从摄像机系统20中取得摄像机图像信息。
步骤715：CPU11将摄像机图像信息中所包含的摄像机图像分割成多个独立区域AR(参照图3)。
步骤720：CPU11将多个独立区域AR划分为中央区域CA(参照图3)和外侧区域OA(参照图3)。
步骤725：CPU11根据前文所述的式1至式3，来对属于多个独立区域AR的各像素的边缘强度ES进行计算，其中，多个独立区域AR属于中央区域CA。
步骤730：CPU11对属于中央区域CA的多个独立区域AR的每个区域中，边缘强度ES在阈值强度ES1th以上的边缘像素数EN进行计算。
步骤735：CPU11对边缘像素数EN在阈值像素数EN1th以上的独立区域AR的数量(即，中央边缘区域数CEN)进行计算。
在步骤740中，CPU11对在步骤735中计算出的中央边缘区域数CEN是否小于阈值区域数(第一阈值区域数)CEN1th进行判断。在中央边缘区域数CEN为阈值区域数CEN1th以上的情况下，能够判断为保护窗22的状态并不是全部污垢状态。因此，在中央边缘区域数CEN为阈值区域数CEN1th以上的情况下，CPU11在步骤740中判断为“否”，并直接进入步骤795，暂时结束本程序。其结果为，RAM13中未存储有全部污垢信息。
另一方面，在中央边缘区域数CEN小于阈值区域数CEN1th的情况下，能够判断为保护窗22的状态为全部污垢状态。因此，在中央边缘区域数CEN小于阈值区域数CEN1th的情况下，CPU11在步骤740中判断为“是”，并进入步骤745，从而将全部污垢标示Xz的值设定为“1”。即，CPU11将全部污垢信息存储于RAM13内。之后，CPU11进入步骤795，暂时结束本程序。
从以上的示例中可以理解到，CPU11在中央边缘区域数CEN小于阈值区域数CEN1th的情况下，判断为保护窗22上附着有全部污垢，并将全部污垢标示Xz的值设定为“1”。由此，CPU11能够根据有如下趋势即通过原始值来计算边缘强度ES的中央区域CA中的边缘区域数CEN，来对保护窗22上是否附着有全部污垢进行判断，并能够准确地判断出是否附着有全部污垢。
此外，CPU11每经过预定时间而执行在图8中用流程图所示的程序。图8所示的程序为，用于对保护窗22的状态是否为局部污垢状态进行判断的程序。
因此，当到预定的时刻时，CPU11从图8的步骤800开始进行处理，并进入步骤805，从车辆状态传感器26中取得车辆状态信息。
接下来，CPU11进入步骤810，对在步骤805中取得的车辆状态信息中所包含的车速Vs的绝对值是否大于“0m/s”(即，本车辆SV是否正在行驶中)进行判断。
在车速Vs的绝对值为“0m/s”的情况下，CPU11在步骤810中判断为“否”，并直接进入步骤895，暂时结束本程序。在车速Vs的绝对值为“0m/s”的情况下(即，在本车辆SV停止的情况下)，与保护窗22上是否附着有局部污垢无关地，在本次取得的摄像机图像Fn和上次取得的摄像机图像Fn－1中像素值不发生变化的可能性较高。因此，CPU11不进行步骤815的处理之后的处理，并暂时结束本程序。
另一方面，在车速Vs的绝对值大于“0m/s”的情况下，CPU11在步骤810中判断为“是”，并依次实施以下所叙述的步骤815至步骤830的处理，之后，进入步骤835。
步骤815：CPU11从摄像机系统20中取得摄像机图像信息，以作为本次摄像机图像Fn。另外，在预定时间前执行该步骤815时所取得的摄像机图像被称为上次摄像机图像Fn－1。
步骤820：CPU11生成本次摄像机图像Fn与上一次摄像机图像Fn－1的差分图像Sn(Sn＝Fn－Fn－1)。
更详细而言，CPU11通过从本次摄像机图像Fn的各像素的像素值分别减去上一次摄像机图像Fn－1的各像素的像素值，从而求出各像素的减法运算值，并取得该减法运算值的绝对值，以作为差分图像Sn的各像素的像素值。
步骤825：CPU11将差分图像Sn累计在被存储于RAM13内的指定部分(以下，称为“累计存储器”)中的累计差分图像上，并将该结果存储于累计存储器内，以作为新的累计差分图像。其结果为，计算出从累计存储器被初始化到当前时间点为止的摄像机图像的各像素的像素值的变化的大小的总值(以下，称为“累计值”)VI。
步骤830：CPU11将累计次数计数器AC的值加上“1”后得到的值设定为新的累计次数计数器AC的值。累计次数计数器AC为，对差分图像Sn被累计的次数进行表示的计数器。
接下来，CPU进入步骤835，对累计次数计数器AC的值是否在阈值计数器值AC1th以上进行判断。虽然在本示例中，阈值计数器值AC1th被设定为“10”，但是也可以为其它值。在累计次数计数器AC的值小于阈值计数器值AC1th的情况下，CPU11在步骤835中判断为“否”，并直接进入步骤895，暂时结束本程序。另一方面，在累计次数计数器AC的值为阈值计数器值AC1th以上的情况下，CPU11在步骤835中判断为“是”，并进入步骤840。
在步骤840中，CPU11将差分图像Sn分割成多个独立区域AR，并对各独立区域AR中，累计值IV成为阈值累计值(变化量判断值)IV1th以下的像素的数(以下，称为“无变化像素数”)UCPN进行计算。
接下来，CPU11进入步骤845，并对无变化像素数UCPN在阈值像素数UCPN1th以上的独立区域AR(以下，称为“无变化区域UCA”)进行确定。换言之，该无变化区域UCA能够表现为，成为累计值IV在阈值累计值IV1th以下的像素(以下，称为“无变化像素”)在独立区域AR中的密度为阈值密度以上的独立区域AR。
接下来，CPU11进入步骤850，并且对是否在步骤845中确定了无变化区域UCA进行判断。当在步骤845中确定了无变化区域UCA的情况下，能够判断为保护窗22上附着有局部污垢。
因此，CPU11在确定了无变化区域UCA的情况下，在步骤850中判断为“是”，并依次实施以下所叙述的步骤855至步骤865的处理，并进入步骤895，暂时结束本程序。
步骤855：CPU11将局部污垢标示Xb的值设定为“1”。即，CPU11将局部污垢信息存储于RAM13内。此时，CPU11将用于对在步骤845中确定的无变化区域UCA为哪个独立区域进行识别的信息也存储于RAM13内。
而且，在执行步骤855的处理的时间点上局部污垢标示Xb的值已经被设定为“1”的情况下，CPU11将局部污垢标示Xb的值再次设定为“1”，并将在刚刚进行的步骤845中确定的无变化区域UCA的识别信息存储于RAM13内。
步骤860：CPU11消去被存储于累计存储器内的差分图像Sn，进而将累计存储器初始化。
步骤865：CPU11通过将累计次数计数器AC的值设定为“0”，从而将累计次数计数器AC初始化。
对此，在CPU11于执行步骤850的处理的时间点上未确定无变化区域UCA的情况下，CPU11在该步骤850中判断为“否”，并进入步骤860之后的处理。
从以上的示例中可以理解到，在哪怕检测出一个包含预定数量以上的摄像机图像的像素值在经过预定时间的期间内未实质性发生变化的像素的独立区域AR(即，无变化像素数UCPN在阈值像素数UCPN1th以上的独立区域AR即无变化区域UCA)的情况下，CPU11也判断为保护窗22的状态为局部污垢状态。由此，能够将仅附着在保护窗22的一部分上的污垢(例如，泥)检测为局部污垢。
而且，CPU11每经过预定时间而执行在图9中用流程图所示的程序。图9所示的程序为，用于对附着在保护窗22上的全部污垢以及局部污垢是否被去除进行判断的程序。
因此，当到达预定的时刻时，CPU11从图9的步骤900开始进行处理，并依次实施以下所叙述的步骤905至步骤925的处理，并进入步骤930。
步骤905：CPU11从摄像机系统20中取得摄像机图像信息。
步骤910：与图7的步骤715相同地，CPU11将摄像机图像分割成多个独立区域AR。
步骤915：与图7的步骤720相同地，CPU11将多个独立区域AR划分为中央区域CA和外侧区域OA。
步骤920：CPU11根据前文所述的式1至式3，来对属于多个独立区域AR的各像素的边缘强度ES进行计算。
步骤925：CPU11对多个独立区域AR的每个区域中，边缘强度ES在阈值强度ES1th以上的边缘像素数EN进行计算。
接下来，CPU11进入步骤930，从而对全部污垢标示Xz的值是否为“1”进行判断。即，CPU11对全部污垢信息是否被存储于RAM13内进行判断。在全部污垢标示Xz的值为“1”的情况下，CPU11在步骤930中判断为“是”，并进入步骤935。
在步骤935中，与图7的步骤735相同地，CPU11对属于中央区域CA的多个独立区域AR中边缘像素数EN在阈值像素数EN1th以上的独立区域AR的数量(即，中央边缘区域数CEN)进行计算。接下来，CPU11进入步骤940，从而对中央边缘区域数CEN是否小于阈值区域数CEN1th进行判断。
在中央边缘区域数CEN为阈值区域数CEN1th以上的情况下，能够判断为附着在保护窗22上的全部污垢已被去除。因此，此时，CPU11在步骤940中判断为“否”，并进入步骤945，将全部污垢标示Xz的值设定为“0”。即，CPU11从RAM13中消去全部污垢信息。之后，CPU11进入步骤950。
在步骤950中，CPU11对局部污垢标示Xb的值是否为“1”进行判断。即，CPU11对局部污垢信息是否被存储于RAM13内进行判断。在局部污垢标示Xb的值为“1”的情况下，CPU11在步骤950中判断为“是”，并进入步骤960。
在步骤960中，CPU11对通过步骤845的处理而被确定为无变化区域UCA的所有的独立区域AR的每个区域的边缘像素数EN是否在阈值像素数EN1th以上进行判断。即，CPU11对所有的无变化区域UCA是否为强边缘区域(明确检测到边缘的区域)进行判断。
在步骤960的判断条件成立的情况下，能够判断为所有附着在保护窗22上的局部污垢已被去除。因此，此时，CPU11在步骤960中判断为“是”，并进入步骤965，将局部污垢标示Xb的值设定为“0”。即，CPU11从RAM13中消去局部污垢信息。之后，CPU11进入步骤995，暂时结束本程序。
另一方面，当CPU11进入步骤930时，在全部污垢标示Xz的值并不是“1”的情况下(即，在RAM13中存储有全部污垢信息的情况下)，CPU11在该步骤930中判断为“否”，并直接进入步骤950。
而且，当CPU11进入步骤940时，在中央边缘区域数CEN小于阈值区域数CEN1th的情况下，CPU11在该步骤940中判断为“是”，并进入步骤970。在步骤970中，CPU11对属于外侧区域OA的独立区域AR且边缘像素数EN在阈值像素数EN1th以上的独立区域AR的数即外侧边缘区域数OEN进行计算，并进入步骤975。
在步骤975中，CPU11对外侧边缘区域数OEN是否小于阈值区域数(第二阈值区域数)OEN1th进行判断。在本示例中，阈值区域数OEN1th被设定为“1”。在外侧边缘区域数OEN在阈值区域数OEN1th以上的情况下(即，在不易明确地对边缘进行检测的外侧区域中存在边缘被明确地检测出的独立区域AR的情况下)，能够判断为附着在保护窗22上的全部污垢已被去除。因此，在外侧边缘区域数OEN为阈值区域数OEN1th以上的情况下，CPU11在步骤975中判断为“否”，并进入步骤945，将全部污垢标示Xz的值设定为“0”。相对于此，在外侧边缘区域数OEN小于阈值区域数OEN1th的情况下，CPU11在步骤975中判断为“是”，并直接进入步骤950。
而且，当CPU11进入步骤950后，在局部污垢标示Xb的值为“0”的情况下(即，在RAM13中未存储有局部污垢信息的情况下)，CPU11在该步骤950中判断为“否”，并直接进入步骤995，暂时结束本程序。
而且，当CPU11进入步骤960后，在通过步骤845的处理而被确定为无变化区域UCA的独立区域AR中的至少一个为“边缘像素数EN小于阈值像素数EN1th”的情况下，能够判断为附着在保护窗22上的局部污垢还未被去除。因此，此时，CPU11在步骤960中判断为“否”，并直接进入步骤995，暂时结束本程序。
从以上的示例中可以理解，在判断为附着有全部污垢的情况下，当中央边缘区域数CEN在阈值区域数CEN1th以上的条件(1)以及外侧边缘区域数OEN在阈值区域数OEN1th以上的条件(2)中的至少一个成立时，CPU11判断为全部污垢已被去除。尤其是，条件(2)为，在有如下趋势即边缘强度ES被计算得较小的外侧区域OA中，明确地检测出边缘的强边缘区域的数量(即，外侧边缘区域数OEN)在阈值区域数OEN1th以上时成立的条件。因此，即使在摄像机21在全部污垢已被去除的情况下，对中央区域CA中未能检测到边缘的风景进行拍摄时，CPU11也能够准确地判断出全部污垢已被去除这一内容。
而且，在判断为附着有局部污垢的情况下，在被确定为局部污垢区域(无变化区域UCA)的所有的独立区域AR的各边缘像素数EN在阈值像素数EN1th以上时，CPU11判断为局部污垢已被去除。如此，由于在局部污垢是否已被去除的判断中，未考虑无变化区域UCA以外的区域，因此CPU11能够准确地判断出局部污垢已被去除这一内容。
而且，CPU11在被判断为附着有全部污垢的情况和判断为附着有局部污垢的情况下，使用于判断为这些污垢已被去除的条件(去除判断条件)有所不同。因此，CPU11能够对与各污垢相对应的去除判断条件进行设定，并能够准确地判断出这些污垢已被去除这一内容。
本发明并不限定于上述的实施方式，能够采用本发明的各种改变例。例如，本监视装置也可以在将本车辆SV的未图示的点火钥匙开关从断开位置向接通位置变更的操作被实施的时刻(以下，成为“初始状态”，有时也称为“起动时”)，将全部污垢标示Xz的值设定为“1”。这是因为，通过在将点火钥匙开关从接通位置向断开位置变更的操作被实施从而使本车辆SV停车后，到本车辆SV成为初始状态为止的期间内，保护窗22上附着有雪、霜以及雨滴等，从而在保护窗22的全部上有可能附着有污垢。据此，本监视装置禁止基于“有可能不准确的摄像机图像”的后退时预碰撞控制的实施，直到初始状态后判断为全部污垢状态已被解除为止(即，直到将全部污垢标示Xz的值设定为“0”为止)。
而且，例如，本监视装置也可以具备对车外的气温(外部气温)进行测量的未图示的气温传感器。此时，本监视装置也可以在初始状态下从气温传感器取得外部气温，并且在外部气温为阈值气温以下的情况下，将全部污垢标示Xz的值设定为“1”。由此，在初始状态下于保护窗22上附着有雪以及霜的可能性更高的情况下，能够禁止实施基于“有可能不准确的摄像机图像”的后退时预碰撞控制的实施。
而且，也可以将步骤940中所使用的阈值区域数CEN1th和步骤975中所使用的阈值区域数OEN1th设定为互不相同的值。因为中央区域CA与外侧区域OA相比，易于准确地计算出边缘强度ES，所以阈值区域数CEN1th也可以被设定为小于阈值区域数OEN1th的值。由此，能够更准确地判断出全部污垢已被去除这一内容。而且，因为外侧区域OA与中央区域CA相比，边缘强度ES易于被计算得较小，所以阈值区域数OEN1th也可以被设定为小于阈值区域数CEN1th的值。由此，能够在更早的阶段对全部污垢已被去除这一内容进行判断。
而且，是否为全部污垢状态的判断中所使用的阈值区域数CEN1th(步骤740中所使用的阈值区域数CEN1th)和全部污垢状态是否已被解除的判断中所使用的阈值区域数CEN1th(步骤940中所使用的阈值区域数CEN1th)也可以被设定为互不相同的值。此时，优选为，全部污垢状态是否已被解除的判断中所使用的阈值区域数CEN1th大于是否为全部污垢状态的判断中所使用的阈值区域数CEN1th。
而且，本监视装置也可以对各独立区域AR的边缘强度ES的平均值AVE进行计算，并将中央区域CA所包含的独立区域AR且计算出的平均值AVE在阈值平均值AVE1th以上的独立区域AR的数量作为中央边缘区域数CEN而进行计算，以取代图7所示的步骤730以及步骤735的处理。在图9所示的步骤935中，本监视装置也可以将中央区域CA中所包含的独立区域AR且计算出的平均值AVE在阈值平均值AVE1th以上的独立区域AR的数量作为中央边缘区域数CEN而进行计算。而且，在图9所示的步骤955中，本监视装置也可以将无变化区域UCA中所包含的独立区域AR且计算出的平均值AVE在阈值平均值AVE1th以上的独立区域AR的数量作为局部污垢边缘区域数DEN而进行计算。而且，在图9所示的步骤970中，本监视装置也可以将外侧区域OA中所包含的独立区域AR且计算出的平均值AVE在阈值平均值AVE1th以上的独立区域AR的数量作为外侧边缘区域数OEN而进行计算。
而且，在前文所述的实施例中，也可以在全部污垢以及局部污垢的至少一个附着在被安装于本车辆SV的前端部且对本车辆SV的前方侧的风景进行拍摄的未图示的前方摄像机的未图示的保护窗上的情况下，禁止辅助控制之一的前进时预碰撞控制的实施。此时，在本车辆SV的前端部的车辆宽度方向的中心处安装有毫米波雷达。毫米波雷达发射毫米波段的电波(以下，称为“毫米波”)，并接收其反射波，从而对物标相对于本车辆SV的位置进行检测，并对物标相对于本车辆SV的相对速度进行检测。另外，如果前方摄像机能够根据所拍摄到的图像来对物标的位置进行确定，则也可以不具备毫米波雷达。本监视装置根据毫米波雷达的检测结果以及由前方摄像机拍摄到的摄像机图像(以下，称为“前方摄像机图像”)，来对存在于本车辆SV的前方侧的物标的位置进行确定。用于实施前进时预碰撞控制的处理与图6中流程图所示的程序仅在针对存在于本车辆SV的前方的障碍物而被实施的这一点上有所不同。
针对前方摄像机的保护窗的全部污垢判断处理与图7所示的程序相同，针对该保护窗的局部污垢判断处理与图8所示的程序相同，针对该保护窗的污垢解除判断处理与图9所示的程序相同。
如果能够根据摄像机21所拍摄到的摄像机图像来对物标相对于本车辆SV的位置进行确定，则本监视装置也可以不具备间隙声纳24。
而且，间隙声纳24只需为通过发射无线介质，并接收被反射的无线介质，从而对物标进行检测的传感器即可。因此，也可以使用毫米波雷达以及红外线雷达等，以取代间隙声纳24。
显示部30未被特别限定于HUD。即，显示部30可以为MID(Multi InformationDisplay)以及导航装置的触摸面板等。MID为，集合了车速表、转速表、燃油表、水温测量仪、Odo/Trip计数器以及警示灯等的仪表类部件并配置在仪表盘上的显示面板。
符号说明
10…周围监视ECU；11…CPU；12…ROM；13…RAM；20…摄像机系统；21…摄像机；22…保护窗；23…图像处理装置；24A至24D…间隙声纳；25…换档位置传感器；26…车辆状态传感器；30…显示部；31…扬声器；32…制动器ECU；33…制动器传感器；34…制动器执行器；35…发动机ECU；36…发动机执行器。

Claims (7)

1.一种周围监视装置，具备：
控制部，其实施辅助控制，所述辅助控制用于根据由通过露出于本车辆的外部的保护窗而对该本车辆的周围区域进行拍摄的摄像机所拍摄到的图像、即摄像机图像，而对所述本车辆的驾驶进行辅助；
判断部，其根据所述摄像机图像中所包含的像素的边缘强度，来对所述保护窗的状态是否为污垢附着在所述保护窗的全部上的状态即全部污垢状态进行判断，并在被判断为所述保护窗的状态为所述全部污垢状态的情况下，根据所述边缘强度来对所述全部污垢状态是否已被解除进行判断，
在所述周围监视装置中，
所述控制部被构成为，在被判断为所述保护窗的状态为所述全部污垢状态的情况下，不实施所述辅助控制，
所述判断部被构成为，
在第一区域指标值小于预定的污垢阈值的情况下，判断为所述保护窗的状态为所述全部污垢状态，其中，所述第一区域指标值为，根据属于包括所述摄像机图像的中央部在内的第一区域的像素的各自的所述边缘强度而被计算出的值，并且，
当所述第一区域指标值在第一解除阈值以上的第一条件以及第二区域指标值在第二解除阈值以上的第二条件中的至少一个条件成立时，判断为所述全部污垢状态已被解除，其中，所述第二区域指标值为，根据属于包括所述摄像机图像的所述第一区域以外的部分在内的第二区域的像素的各自的所述边缘强度而被计算出的值。
2.如权利要求1所述的周围监视装置，其中，
所述判断部被构成为，将与属于所述第一区域且所述边缘强度在第一阈值强度以上的像素的数量具有相关关系的值作为所述第一区域指标值而进行计算，并将与属于所述第二区域且所述边缘强度在第二阈值强度以上的像素的数量具有相关关系的值作为所述第二区域指标值而进行计算。
3.如权利要求2所述的周围监视装置，其中，
所述判断部被构成为，将所述第一区域分割成多个独立区域，并将第一边缘区域数作为所述第一区域指标值而进行计算，在所述第一边缘区域数小于作为所述污垢阈值的第一阈值区域数的情况下，判断为所述保护窗的状态为所述全部污垢状态，其中，所述第一边缘区域数为，属于所述第一区域的所述多个独立区域中的各个区域且所述边缘强度在所述第一阈值强度以上的像素的数量在第一阈值像素数以上的所述独立区域的数量。
4.如权利要求2所述的周围监视装置，其中，
所述判断部被构成为，将所述第二区域分割成多个独立区域，并将第二边缘区域数作为所述第二区域指标值而进行计算，在所述第二边缘区域数在作为所述第二解除阈值的第二阈值区域数以上的情况下，判断为所述第二条件成立，其中，所述第二边缘区域数为，属于所述第二区域的所述多个独立区域中的各个区域且所述边缘强度在所述第二阈值强度以上的像素的数量在第二阈值像素数以上的所述独立区域的数量。
5.如权利要求1所述的周围监视装置，其中，
所述判断部被构成为，将所述第一区域以及所述第二区域分别分割成多个独立区域，并且在无变化区域被包含于所述摄像机图像中的情况下，判断为所述保护窗的状态为污垢附着在与所述保护窗的所述无变化区域相对应的部分上的状态、即局部污垢状态，其中，所述无变化区域为，所述像素中预定时间内的像素值的变化量在变化量判断值以下的像素的数量成为阈值像素数以上的所述独立区域，
所述控制部被构成为，在判断为所述保护窗的状态为所述局部污垢状态的情况下，不实施所述辅助控制。
6.如权利要求5所述的周围监视装置，其中，
所述判断部被构成为，在判断为所述保护窗的状态为所述局部污垢状态的情况下，当属于所述无变化区域且所述边缘强度在第三阈值强度以上的像素的数量成为第三阈值像素数以上时，判断为相对于所述无变化区域的所述局部污垢状态已被解除。
7.如权利要求1所述的周围监视装置，其中，
所述判断部被构成为，在所述本车辆的起动时判断为所述保护窗的状态为所述全部污垢状态。
CN201810845388.3A 2017-08-01 2018-07-27 周围监视装置 Active CN109327677B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-149307 2017-08-01
JP2017149307A JP6936070B2 (ja) 2017-08-01 2017-08-01 周辺監視装置

Publications (2)

Publication Number Publication Date
CN109327677A CN109327677A (zh) 2019-02-12
CN109327677B true CN109327677B (zh) 2021-07-09

Family

ID=65019956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810845388.3A Active CN109327677B (zh) 2017-08-01 2018-07-27 周围监视装置

Country Status (4)

Country Link
US (1) US11194324B2 (zh)
JP (1) JP6936070B2 (zh)
CN (1) CN109327677B (zh)
DE (1) DE102018118463A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6772113B2 (ja) * 2017-08-02 2020-10-21 クラリオン株式会社 付着物検出装置、および、それを備えた車両システム
JP7230507B2 (ja) * 2018-12-28 2023-03-01 株式会社デンソーテン 付着物検出装置
US11089205B2 (en) * 2019-08-16 2021-08-10 Toyota Motor Engineering & Manufacturing North America, Inc. Window position monitoring system
JP7172931B2 (ja) * 2019-09-20 2022-11-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7188336B2 (ja) * 2019-09-20 2022-12-13 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7172932B2 (ja) * 2019-09-20 2022-11-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN114502984A (zh) * 2019-10-04 2022-05-13 株式会社电装 测距装置、以及检测测距装置的窗口的污垢的方法
JP7283461B2 (ja) * 2020-11-19 2023-05-30 トヨタ自動車株式会社 車両制御装置
JP7447783B2 (ja) * 2020-12-24 2024-03-12 トヨタ自動車株式会社 車両制御システム及び車両走行制御装置
JP7410848B2 (ja) * 2020-12-28 2024-01-10 本田技研工業株式会社 車両用認識システムおよび認識方法
US20230068848A1 (en) * 2021-08-25 2023-03-02 Argo AI, LLC Systems and methods for vehicle camera obstruction detection

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041120A (ja) * 2008-07-31 2010-02-18 Olympus Corp 撮像装置及びこの撮像装置に適用されるレンズカバー
CN201427565Y (zh) * 2009-07-14 2010-03-24 虞积勇 车用刮雨器
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
JP6055224B2 (ja) 2012-07-27 2016-12-27 クラリオン株式会社 レンズ洗浄装置
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
JP6245875B2 (ja) * 2013-07-26 2017-12-13 クラリオン株式会社 レンズ汚れ検出装置およびレンズ汚れ検出方法
JP6174975B2 (ja) * 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
JP6048384B2 (ja) * 2013-12-11 2016-12-21 トヨタ自動車株式会社 画像判定装置
CN203739844U (zh) * 2014-01-22 2014-07-30 成都华川电装有限责任公司 后风挡洗涤器喷淋装置
EP3149656B1 (en) * 2014-05-27 2020-01-15 Robert Bosch GmbH Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
KR102351508B1 (ko) * 2015-04-28 2022-01-14 삼성디스플레이 주식회사 액정 표시 장치
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량

Also Published As

Publication number Publication date
US20190041849A1 (en) 2019-02-07
JP6936070B2 (ja) 2021-09-15
DE102018118463A1 (de) 2019-02-07
CN109327677A (zh) 2019-02-12
US11194324B2 (en) 2021-12-07
JP2019029901A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
CN109327677B (zh) 周围监视装置
US8831867B2 (en) Device and method for driver assistance
CA3002641C (en) Parking space detection method and device
RU2654839C2 (ru) Устройство для обеспечения предотвращения столкновений
CN107077792B (zh) 行驶控制系统
CN108140312B (zh) 停车辅助方法及停车辅助装置
JP6428713B2 (ja) 情報表示装置
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
JP6597590B2 (ja) 運転支援装置
WO2016017822A1 (ja) 衝突予想時間算出装置および衝突予想時間算出方法
US20190073540A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2001199260A (ja) 車間距離制御装置、車両走行状況表示装置、車速制御解除装置、及び車両急制動警告装置
JP2017503715A (ja) 車載カメラ・システムを用いた路面状態を割り出すための方法および装置
CN107004367B (zh) 车辆的行驶控制装置以及行驶控制方法
US9540002B2 (en) Target recognition apparatus
US11042996B2 (en) Recognition apparatus
JP6970547B2 (ja) 車両制御装置及び車両制御方法
JP4961592B2 (ja) 車両の走行支援装置
JP6462492B2 (ja) 車両の運転支援装置、及び運転支援方法
JP2007304069A (ja) 物体検知装置
WO2017018192A1 (ja) 情報表示装置
JP2017062539A (ja) 走行制御装置
JP5298104B2 (ja) 車両の制御装置
JP2016224712A (ja) 車両の運転支援装置、及び運転支援方法
JP2009140145A (ja) 車両の走行支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant