[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113103957A - 一种盲区监测方法、装置、电子设备及存储介质 - Google Patents

一种盲区监测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113103957A
CN113103957A CN202110467776.4A CN202110467776A CN113103957A CN 113103957 A CN113103957 A CN 113103957A CN 202110467776 A CN202110467776 A CN 202110467776A CN 113103957 A CN113103957 A CN 113103957A
Authority
CN
China
Prior art keywords
distance information
information
target vehicle
frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110467776.4A
Other languages
English (en)
Other versions
CN113103957B (zh
Inventor
罗铨
李弘扬
蒋沁宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202110467776.4A priority Critical patent/CN113103957B/zh
Publication of CN113103957A publication Critical patent/CN113103957A/zh
Priority to PCT/CN2022/084399 priority patent/WO2022228023A1/zh
Application granted granted Critical
Publication of CN113103957B publication Critical patent/CN113103957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开提供了一种盲区监测方法、装置、电子设备及存储介质，其中，该盲区监测方法包括：获取目标车辆上的采集设备采集得到的当前帧监测图像；对所述当前帧监测图像进行对象检测，得到所述当前帧监测图像中包括的对象的类型信息和位置；根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象；根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果。

Description

一种盲区监测方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种盲区监测方法、装置、电子设备及存储介质。
背景技术
在车辆、机器人的行车过程中，由于可以观测到的范围有限，因此容易出现行车盲区。由于盲区的存在，极易造成驾驶人员或者自动驾驶车辆的判断和操作失误，降低行车的安全性。
发明内容
本公开实施例至少提供一种盲区监测方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供了一种盲区监测方法，包括：获取目标车辆上的采集设备采集得到的当前帧监测图像；对所述当前帧监测图像进行对象检测，得到所述当前帧监测图像中包括的对象的类型信息和位置；根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象；根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果。
本公开实施例通过获取目标车辆上的采集设备采集得到的当前帧监测图像，并对当前帧监测图像进行对象检测，确定当前帧监测图像中包括的对象的类型信息和位置，然后根据对象的位置和目标车辆的视野盲区，判断位于目标车辆的视野盲区中的目标对象；然后根据目标对象的类型信息和位置、以及目标车辆的行车状态，生成监测结果。这样，能够针对不同类型的目标对象产生不同的监测结果，从而提升行车安全以及盲区监测性能。
在一种可能的实施方式中，所述监测结果包括告警信息，所述目标车辆的行车状态包括所述目标车辆的转向信息；所述根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果，包括：根据所述目标对象的类型信息和位置以及所述目标车辆的转向信息，确定告警信息的级别；生成确定的级别的告警信息并提示。
在一种可能的实施方式中，所述监测结果包括车辆控制指令，所述目标车辆的行车状态包括所述目标车辆的转向信息；所述根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果，包括：根据所述目标对象的类型信息和位置以及所述目标车辆的转向信息，生成所述车辆控制指令；所述盲区监测方法还包括：基于所述车辆控制指令，控制所述目标车辆行驶。
这样，可以根据目标对象的类型信息和位置以及目标车辆的行车状态，生成更具针对性、更准确的监测结果。
在一种可能的实施方式中，根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象，包括：根据所述当前帧监测图像中所述对象的位置，确定所述目标车辆与所述当前帧监测图像中所述对象的当前第一距离信息；根据所述当前第一距离信息，确定位于所述目标车辆的视野盲区中的目标对象。
这样，可以准确将位于目标车辆的视野盲区中的目标对象，从当前帧监测图像包括的所有对象中检测出来。
在一种可能的实施方式中，所述根据所述当前帧监测图像中所述对象的位置，确定所述目标车辆与所述当前帧监测图像中所述对象的当前第一距离信息，包括：基于所述当前帧监测图像，确定所述目标车辆与所述当前帧监测图像中的对象的待调整距离信息；基于所述对象在所述采集设备采集的多帧历史帧监测图像中相邻两帧监测图像中的尺度之间的尺度变化信息、以及所述多帧历史帧监测图像中每帧历史帧监测图像中的所述对象与所述目标车辆之间的历史第一距离信息，对所述待调整距离信息进行调整，得到所述目标车辆与所述对象之间的当前第一距离信息。
在一种可能的实施方式中，所述对所述待调整距离信息进行调整，得到所述目标车辆与所述对象之间的当前第一距离信息，包括：对所述待调整距离信息进行调整，直至所述尺度变化信息的误差量最小，得到调整后的距离信息；其中，所述误差量基于所述待调整距离信息、所述尺度变化信息以及所述多帧历史帧监测图像中每帧历史帧监测图像对应的历史第一距离信息确定；基于所述调整后的距离信息，确定所述当前第一距离信息。
本公开实施例中，通过对对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息进行不断优化，可以降低获取到的对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息的误差，从而提高调整后的距离信息的稳定性。
在一种可能的实施方式中，所述基于所述调整后的距离信息，确定所述当前第一距离信息之前，所述盲区监测方法还包括：对所述当前帧监测图像进行目标检测，确定所述当前帧监测图像中包含的所述对象的检测框的位置信息；基于所述检测框的位置信息、以及所述采集设备的标定参数，确定当前第二距离信息；所述基于所述调整后的距离信息，确定所述当前第一距离信息，包括：基于所述当前第二距离信息、所述多帧历史帧监测图像中的每帧历史帧监测图像中所述对象与所述目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定针对所述调整后的距离信息的距离偏置信息；基于所述距离偏置信息对所述调整后的距离信息进行调整，得到所述当前第一距离信息。
本公开实施例中，在得到距离偏置信息后，可以对调整后的距离信息进行进一步调整，从而得到目标车辆和对象在当前准确度较高的距离信息。
在一种可能的实施方式中，所述基于所述当前第二距离信息、所述多帧历史帧监测图像中的每帧历史帧监测图像中所述对象与所述目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定针对所述调整后的距离信息的距离偏置信息，包括：基于所述当前第二距离信息以及所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第二距离信息，确定由所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第二距离信息和所述当前第二距离信息拟合成的第一拟合曲线的第一线性拟合系数；基于所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定由所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第一距离信息和所述调整后的距离信息拟合成的第二拟合曲线的第二线性拟合系数；基于所述第一线性拟合系数和所述第二线性拟合系数，确定针对所述调整后的距离信息的距离偏置信息。
在一种可能的实施方式中，所述基于所述检测框的位置信息、以及所述采集设备的标定参数，确定所述当前第二距离信息，包括：基于所述检测框的位置信息，获取所述检测框中设定角点的像素坐标值；基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值，确定所述当前第二距离信息。
在一种可能的实施方式中，所述采集设备的标定参数包括所述采集设备相对于地面的第一高度值以及所述采集设备的焦距；所述基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值，确定所述当前第二距离信息，包括：基于所述车道线消失点的像素坐标值以及所述检测框中设定角点的像素坐标值，确定所述采集设备相对于地面的第一像素高度值；基于所述设定角点的像素坐标值，确定所述当前帧监测图像中的所述对象相对于地面的第二像素高度值；基于所述第一像素高度值、所述第二像素高度值以及所述第一高度值，确定所述对象相对于地面的第二高度值；基于所述第二高度值、所述采集设备的焦距以及所述第二像素高度值，确定所述当前第二距离信息。
本公开实施例中，在能够检测出当前帧监测图像中的对象的完整检测框的情况下，可以通过引入车道线消失点的像素坐标值、采集设备的标定参数快速准确的得到对象的实际高度值，进一步可以快速准确地确定出目标车辆与对象的当前第二距离信息。
在一种可能的实施方式中，所述基于所述当前帧监测图像，确定所述目标车辆与所述当前帧监测图像中的对象的待调整距离信息，包括：获取所述对象在所述当前帧监测图像中的尺度和在与所述当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息；基于所述尺度变化信息、以及与所述当前帧监测图像相邻的历史帧监测图像对应的所述历史第一距离信息，确定所述待调整距离信息。
本公开实施例中，通过与当前帧监测图像相邻的历史帧监测图像对应的准确度较高的历史第一距离信息，以及所述对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息，可以较为准确的得到待调整距离信息，以便在后期基于该待调整距离信息确定当前第一距离信息时，能够提高调整速度。
在一种可能的实施方式中，按照以下方式确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息：分别提取所述对象包含的多个特征点在所述相邻两帧监测图像中前一帧监测图像中的第一位置信息，以及在后一帧监测图像中的第二位置信息；基于所述第一位置信息和所述第二位置信息，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息。
在一种可能的实施方式中，所述基于所述第一位置信息和所述第二位置信息，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息，包括：基于所述第一位置信息，确定所述对象包含的多个特征点所构成的目标线段在所述前一帧监测图像中的第一尺度值；基于所述第二位置信息，确定所述目标线段在所述后一帧监测图像中的第二尺度值；基于所述第一尺度值和所述第二尺度值，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息。
本公开实施例中，通过提取对象包含的多个特征点在监测图像中的位置信息，可以更加准确的表示对象在监测图像中位置信息，从而得到更加准确的尺度变化信息，便于在基于该尺度变化信息调整待调整距离信息时，能够得到更加准确的当前第一距离信息。
第二方面，本公开实施例提供了一种盲区监测装置，包括：
获取模块，用于获取目标车辆上的采集设备采集得到的当前帧监测图像；
检测模块，用于对所述当前帧监测图像进行对象检测，得到所述图像中包括的对象的类型信息和位置；
确定模块，用于根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象；
生成模块，用于根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的盲区监测方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的盲区监测方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种盲区监测方法的流程图；
图2示出了本公开实施例所提供的一种确定视野盲区的示意图；
图3示出了本公开实施例所提供的一种确定当前第一距离信息的具体方法的流程图；
图4示出了本公开实施例所提供的一种确定尺度变化信息的方法流程图；
图5示出了本公开实施例所提供的一种确定待调整距离信息的方法流程图；
图6示出了本公开实施例所提供的一种确定当前第一距离信息的方法流程图；
图7示出了本公开实施例所提供的一种确定当前第二距离信息的方法流程图；
图8示出了本公开实施例所提供的一种目标装置、采集设备和目标对象之间的位置关系示意图；
图9示出了本公开实施例所提供的一种目标对象的检测框的示意图；
图10示出了本公开实施例所提供的一种确定当前第二距离信息的原理示意图；
图11示出了本公开实施例所提供的一种确定当前第二距离信息的场景示意图；
图12示出了本公开实施例所提供的一种盲区监测装置的结构示意图；
图13示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，在利用雷达监测盲区中的目标对象时，由于雷达在扫描时得到的点云点是针对盲区的整个范围的，因此在监测时除了关注车辆、行人和标识牌外，还会监测到其他非关注的物体。通过该种方式进行盲区监测时，一旦通过雷达监测到有物体位于车辆的视野盲区内，就会产生告警。但实际上，并非是所有的物体位于视野盲区内时，都会对车辆行车安全造成影响，这就导致了存在很多无效告警，造成当前的盲区监测方法存在监测性能较差的问题。
基于上述研究，本公开实施例提供了一种盲区监测方法，本公开实施例通过获取目标车辆上的采集设备采集得到的当前帧监测图像，并对当前帧监测图像进行对象检测，确定当前帧监测图像中包括的对象的类型信息和位置，然后根据对象的位置和目标车辆的视野盲区，判断位于目标车辆的视野盲区中的目标对象；然后根据目标对象的类型信息和位置、以及目标车辆的行车状态，生成监测结果。这样，能够针对不同类型的目标对象产生不同的监测结果，从而提升盲区监测性能，并提高行车安全性。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种盲区监测方法进行详细介绍，本公开实施例所提供的盲区监测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为计算设备、车载设备等。在一些可能的实现方式中，该盲区监测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种盲区监测方法的流程图，该盲区监测方法包括以下S101～S104：
S101，获取目标车辆上的采集设备采集得到的当前帧监测图像；
S102，对当前帧监测图像进行对象检测，得到当前帧监测图像中包括的对象的类型信息和位置；
S103，根据对象的位置和目标车辆的视野盲区，确定位于目标车辆的视野盲区中的目标对象；
S104，根据目标对象的类型信息和位置以及目标车辆的行车状态，生成监测结果。
针对上述S101，在不同的场景中，对应的目标车辆也有所不同。
示例性的，在驾驶员驾驶车辆的场景中，目标车辆例如可以包含驾驶员驾驶的车辆；在自动驾驶场景中时，目标车辆例如可以包括自动驾驶车辆；在仓储货运场景中时，目标车辆例如可以包括货运机器人。本公开实施例以目标车辆为车辆为例进行说明。
在目标车辆上还可以搭载有采集设备，采集设备可以为设置于目标车辆上的单目相机，用于在目标车辆行驶过程中进行拍摄。示例性的，若目标区域包括：车辆的视野盲区，可以将采集设备安装在车辆的立柱上，并且采集设备的拍摄镜头朝向车辆的视野盲区。
其中，不同的目标车辆由于其车型的不同，对应的视野盲区可能会有所区别。本公开实施例参考国标标准确定视野盲区，具体参见图2所示，为本公开实施例提供的一种确定视野盲区的示意图。在图2中，车辆1上搭载采集设备2，采集设备2采集的目标区域包括的视野盲区包括3和4指示的位置。
具体地，在获取目标车辆上的采集设备采集的当前帧监测图像时，例如可以采用下述方式：获取目标车辆上的采集设备对目标区域进行图像采集得到的监测视频；从监测视频中确定当前帧监测图像；其中，目标区域包括：位于采集设备拍摄视野范围内的区域。
在利用采集设备对目标区域进行拍摄时，其拍摄的方向可以预先设定好；在目标车辆上搭载好采集设备后，即可以确定拍摄的目标区域即为采集设备拍摄视野范围内的区域。在车辆行驶或者停止的过程中，采集设备均可以对目标区域进行图像采集，获取监测视频，并从监测视频中确定当前帧监测图像。
其中，在利用监测视频确定当前帧监测图像时，可以采用从监测视频中确定视频帧图像的方式确定，例如将拍摄的视频帧图像中距离当前时间最近的一帧作为当前帧监测图像。
针对上述S102，在利用上述S101采集得到当前帧监测图像后，还可以对当前帧监测图像进行对象检测，以得到当前帧监测图像中包括的对象的类型信息和位置。
在具体实施中，在对当前帧监测图像进行对象检测，确定图像中包括的对象的类型信息时，例如可以利用预先训练的目标检测神经网络对当前帧监测图像进行对象检测(object detection)处理，示例性的，在对当前帧监测图像进行对象检测时，利用可以采用下述至少一种对象检测算法：卷积神经网络(Convolutional Neural Networks，CNN)、目标检测网络(Region-based CNN，RCNN)、快速神经网络(Fast RCNN)以及和更快速神经网络(Faster RCNN)。
在利用对象检测算法对当前帧监测图形进行对象监测时，能够检测到的对象，例如包括：其他驾驶车辆、行人、路面设施、以及路面障碍物等。
在对当前帧监测图像进行对象检测时，还可以得到图像中包括的对象的位置。通过检测出的对象在图像中的位置，可以进一步确定在目标车辆的实际行驶过程中，该对象所处的实际位置。
针对上述S103，利用对象的位置和目标车辆的视野盲区，可以采用下述方式确定位于目标车辆的视野盲区中的目标对象：根据当前帧监测图像中对象的位置，确定目标车辆与当前帧监测图像中对象的当前第一距离信息；根据当前第一距离信息，确定位于目标车辆的视野盲区中的目标对象。
目前，利用单目相机采集的图像来确定距离时，装载在智能汽车上的单目相机因为智能汽车行驶过程中，随着行驶路况的变化，会存在道路颠簸或者障碍物遮挡等问题，这种情况下在基于当前帧监测图像中对象对应的检测框进行测距时，可能无法检测出与对象之间的准确距离，比如采集设备因路面颠簸，采集到监测图像中的检测框的尺寸不稳定，因此在基于检测框持续检测与对象之间的距离时，得到的智能汽车与对象之间的距离在时序上的稳定性不高。
为了利用单目相机采集的图像尽可能准确并稳定地检测出目标车辆与对象之间的距离，本公开实施例还提出了一种距离检测方案，
参见图3所示，为本公开实施例提供的一种确定当前第一距离信息的具体方法的流程图，该方法包括下述S301～S302：
S301，基于当前帧监测图像，确定目标车辆与当前帧监测图像中的对象的待调整距离信息。
示例性地，对象可以包括但不限于车辆、行人、固定障碍物等，本公开是实施例以对象为车辆为例进行介绍。
示例性地，本公开实施例提供的当前帧监测图像均为非首次检测到对象的监测图像，如果当前帧监测图像是首次检测到对象的监测图像，可以直接基于对象在当前帧监测图像中的位置信息，以及上述标定过程中得到的采集设备的参数信息以及消失点的像素坐标值确定与对象之间的当前第二距离信息，可以将当前第二距离信息直接作为当前第一距离信息，具体确定当前第二距离信息的过程详见后文介绍。
示例性地，在当前帧监测图像为非首次采集到对象的情况下，当前帧监测图像对应的当前第一距离信息，或者每帧历史帧监测图像对应的历史第一距离信息均表示经过调整后得到的距离信息。
示例性地，这里在基于当前帧监测图像，确定目标车辆与对象的待调整距离信息时，可以基于与当前帧监测图像相邻的历史帧监测图像对应的历史第一距离信息、以及当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息来确定，后续再对该待调整距离信息进行调整。
S302，基于对象在采集设备采集的多帧历史帧监测图像中相邻两帧监测图像中的尺度之间的尺度变化信息、以及多帧历史帧监测图像中每帧历史帧监测图像中的对象与目标车辆之间的历史第一距离信息，对待调整距离信息进行调整，得到目标车辆与对象之间的当前第一距离信息。
示例性地，对象在采集设备采集的多帧历史帧监测图像中相邻两帧监测图像(比如包括监测图像i和监测图像j)中的尺度变化信息包括对象在后一帧监测图像j中的尺度与对象在前一帧监测图像i中的尺度的比值，具体确定过程将在后文进行阐述。
示例性地，本公开实施例确定每帧历史帧监测图像对应的目标车辆与对象之间的历史第一距离信息的方式与确定目标车辆与对象之间的当前第一距离信息的方式相同，因此本公开实施例将不再对确定历史第一距离信息的过程进行赘述。
本公开实施例中，可以根据基于对象在多帧历史帧监测图像中相邻两帧监测图像中的尺度变化信息、以及历史过程中已经调整得到的目标车辆与对象之间的历史第一距离信息，对基于当前监测图像获取的待调整距离信息进行调整，这样可以使得相邻两帧监测图像对应目标车辆与对象之间的距离变化较为平稳，能够真实反应目标车辆在行驶过程中与对象之间的实际距离变化情况，可以提高预测得到的目标车辆与对象之间的距离在时序的稳定性。
另外，对象在相邻两帧监测图像中的尺度变化信息同样可以反应目标车辆与对象之间的距离变化，多帧历史帧监测图像中每帧历史帧监测图像对应目标车辆与对象之间的历史第一距离信息为经过调整得到的较为准确的距离信息，因此在基于对象在采集设备采集的多帧历史帧监测图像中相邻两帧监测图像中的尺度变化信息、以及多帧历史帧监测图像中每帧历史帧监测图像对应的所述目标车辆与对象之间的历史第一距离信息对待调整距离信息进行调整后，可以得到较为准确的当前第一距离信息。
在本公开实施例中，在确定当前第一距离信息时，可以根据基于对象在多帧历史帧监测图像中相邻两帧监测图像中的尺度之间的尺度变化信息、以及历史过程中已经调整得到的目标车辆与对象之间的历史第一距离信息，对基于当前监测图像获取的待调整距离信息进行调整，这样可以使得相邻两帧监测图像中的同一对象与目标车辆之间的距离变化较为平稳，能够真实反应目标车辆在行驶过程中与对象之间的实际距离变化情况，可以提高预测得到的目标车辆与对象之间的距离在时序的稳定性。
首先针对上述提到的尺度变化信息，如图4所示，可以按照以下方式确定对象在相邻两帧监测图像中的尺度之间的尺度变化信息，包括以下S401～S402：
S401，分别提取对象包含的多个特征点在相邻两帧监测图像中前一帧监测图像中的第一位置信息，以及在后一帧监测图像中的第二位置信息。
示例性地，可以基于预先训练的目标检测模型对监测图像进行目标检测，得到用于表示对象在监测图像中的位置的检测框，然后可以在检测框内提取构成对象的多个特征点，这些特征点是指可以是对象中像素变化比较剧烈的点，比如拐点、角点等。
S402，基于第一位置信息和第二位置信息，确定对象在相邻两帧监测图像中的尺度之间的尺度变化信息。
示例性地，多个特征点中的任意两个特征点在同一帧监测图像中的连线可以构成线段，这样由任意两个特征点在前一帧监测图像中的第一位置信息，可以得到任意两个特征点构成的线段在前一帧监测图像中的尺度，同样，由任意两个特征点在后一帧监测图像中的第二位置信息，可以得到任意两个特征点构成的线段在后一帧监测图像中的尺度，按照该方式可以得到对象上的多条线段分别在前一帧监测图像中的尺度，以及分别在后一帧监测图像中的尺度。
进一步，可以根据多条线段分别在前一帧监测图像中的尺度，以及分别在后一帧监测图像中的尺度，确定对象在相邻两帧监测图像中的尺度变化信息。
具体地，针对S402，在基于第一位置信息和第二位置信息，确定对象在相邻两帧监测图像中的尺度之间的尺度变化信息时，包括以下S4021～S4023：
S4021，基于第一位置信息，确定对象包含的多个特征点所构成的目标线段在前一帧监测图像中的第一尺度值。
S4022，基于第二位置信息，确定目标线段在后一帧监测图像中的第二尺度值。
示例性地，目标线段包含n条，n大于或等于1，且小于设定阈值，基于每条目标线段包含的特征点的第一位置信息，可以得到该条目标线段对应的第一尺度值，以及，基于每条目标线段包含的特征点的第二位置信息，可以得到该条目标线段对应的第二尺度值。
S4023，基于第一尺度值和第二尺度值，确定对象在相邻两帧监测图像中的尺度之间的尺度变化信息。
示例性地，可以通过任一条目标线段分别对应的第二尺度值和第一尺度值之间的比值，表示该条目标线段对应的尺度变化信息，进一步根据多条目标线段分别对应的尺度变化信息，确定对象在相邻两帧监测图像中的尺度变化信息，比如，可以将设定条数的目标线段对应的尺度变化信息的平均值作为对象在相邻两帧监测图像中的尺度变化信息。
相比通过检测框的两个角点在监测图像中的位置信息来表示对象的尺度的方式，比如通过检测框的左上角点和右下角点在监测图像中的位置信息表示对象在监测图像中的尺度的方式，本公开实施例通过选择多个特征点分别在相邻两帧监测图像中的位置信息，确定出的对象在相邻两帧监测图像中的尺度变化信息，该方式通过提取对象包含的多个特征点在监测图像中的位置信息，可以更加准确的表示对象在监测图像中位置信息，从而得到更加准确的尺度变化信息。
本公开实施例中，通过提取对象包含的多个特征点在监测图像中的位置信息，可以更加准确的表示对象在监测图像中位置信息，从而得到更加准确的尺度变化信息，便于在基于该尺度变化信息调整待调整距离信息时，能够得到更加准确的当前第一距离信息。
针对上述S302，在基于当前帧监测图像，确定目标车辆与当前帧监测图像中的对象的待调整距离信息时，如图5所示，可以包括以下S501～S502：
S501，获取对象在当前帧监测图像中的尺度和在与当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息。
示例性地，与当前帧监测图像相邻的历史帧监测图像是指采集时刻位于当前帧监测图像之前的前一帧监测图像，对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像之间的尺度变化信息可以通过对象在当前帧监测图像中的尺度与对象在与当前帧监测图像相邻的历史帧监测图像中的尺度的比值来表示，具体确定过程将在后文进行阐述。
S502，基于尺度变化信息、以及与当前帧监测图像相邻的历史帧监测图像对应的历史第一距离信息，确定待调整距离信息。
考虑到目标车辆与对象在靠近的过程中，采集到的监测图像中对象的尺度会逐渐增大，即对象在相邻两帧监测图像中的尺度和这两帧监测图像对应的目标车辆与对象之间的距离之间存在比例关系，基于此，可以通过以下公式(1)来确定待调整距离信息：
d0_scale＝scale×D1_final； (1)；
其中，d0_scale表示待调整距离信息；scale表示对象在当前帧监测图像中的尺度与对象在与当前帧监测图像相邻的历史帧监测图像中的尺度的比值；D1_final表示与当前帧监测图像相邻的历史帧监测图像对应的历史第一距离信息。
本公开实施例中，通过与当前帧监测图像相邻的历史帧监测图像对应的历史第一距离信息，以及对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息，可以得到较为准确的待调整距离信息，以便在后期基于该待调整距离信息确定当前第一距离信息时，能够提高调整速度。
示例性地，上述获取到的对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像之间的尺度变化信息可能会存在误差，比如在拍摄当前监测图像时发生抖动，或者检测的对象错误，基于此得到的尺度变化信息相比多帧历史帧监测图像中相邻两帧监测图像中的尺度变化信息会存在突变情况，这样基于此得到的待调整距离信息相比相邻的历史第一距离信息也会存在突变情况，此时，可以通过对象在采集设备采集的多帧历史帧监测图像中相邻两帧监测图像中的尺度变化信息、以及多帧历史帧监测图像中每帧历史帧监测图像对应的历史第一距离信息对该待调整距离信息进行调整。
具体地，在对待调整距离信息进行调整，得到目标车辆与对象之间的当前第一距离信息时，如图6所示，可以包括以下S601～S603：
S601，对待调整距离信息进行调整，直至尺度变化信息的误差量最小，得到调整后的距离信息；其中，误差量基于待调整距离信息、尺度变化信息以及多帧历史帧监测图像中每帧历史帧监测图像对应的历史第一距离信息确定。
示例性地，可以基于以下公式(2)来预测用于表示对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像之间的尺度变化信息的误差量：
Figure BDA0003043948400000131
其中，E表示对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像之间的尺度变化信息的误差量；T包含对象的监测图像的帧数，T小于或等于预设帧数；t用于指示历史帧监测图像，表示从当前帧监测图像开始的第t帧历史帧监测图像，比如t＝1表示从当前帧监测图像开始的第一帧历史帧监测图像；Lt表示从当前帧监测图像开始的第t帧历史帧监测图像在确定误差量E时的预设权重，Dt_final表示从当前帧监测图像开始的第t帧历史帧监测图像对应的历史第一距离信息；scalei表示从当前帧监测图像开始的第i帧历史帧监测图像和第i+1帧历史帧监测图像之间的尺度变化信息。
示例性地，可以通过多种优化方式对上述公式(2)进行优化，比如可以包含但不限于牛顿梯度下降法的方式对上述公式(2)中的d0_scale进行调整，在E最小时，得到调整后的距离信息D0_scale。
通过上述方式对对象在当前帧监测图像和与当前帧监测图像相邻的历史帧监测图像之间的尺度变化信息进行不断优化，可以降低获取到的对象在当前帧监测图像中和在与当前帧监测图像相邻的历史帧监测图像之间的尺度变化信息的误差，从而提高确定的调整后的距离信息的稳定性。
S602，基于调整后的距离信息，确定当前第一距离信息。
示例性地，在得到调整后的距离信息后，为了进一步提高调整后的距离信息的准确度，还可以进一步对调整后的距离信息进行调整，得到目标车辆与对象之间的当前第一距离信息。
具体地，在基于调整后的距离信息，确定当前第一距离信息之前，如图7所示，本公开实施例提供的盲区监测方法还包括以下S701～S702：
S701，对当前帧监测图像进行目标检测，确定当前帧监测图像中包含的对象的检测框的位置信息。
S702，基于检测框的位置信息、以及采集设备的标定参数，确定当前第二距离信息。
示例性地，在目标车辆行驶之前，可以对设置在目标车辆上的采集设备进行标定，比如将采集设备安装于目标车辆的顶部，如图6所示，使得目标车辆位于平行车道线中间，保持采集设备的光轴与水平地面平行，且与目标车里前进方向平行，按照该方式可以获取到采集设备的焦距(fx,fy)以及采集设备相对于地面的高度Hc。
示例性地，可以通过预先训练的目标检测模型对当前帧监测图像进行目标检测，得到当前帧监测图像中包含的对象，以及该对象对应的检测框，如图8所示，检测框的位置信息可以包含检测框的角点在当前帧监测图像中的位置信息，比如可以包含角点A、B、C和D在当前帧监测图像中的像素坐标值。
进一步地，按照小孔成像原理，可以得到以下公式(3)和公式(4)：
Figure BDA0003043948400000141
Figure BDA0003043948400000142
其中，Hx表示对象的实际宽度；Hy表示对象相对于地面的实际高度；wb表示对象在当前帧监测图像中的像素宽度，可以通过对象的检测框ABCD的像素宽确定；hb表示对象相对于地面的像素高度，可以通过对象的检测框ABCD的像素高确定；D0表示目标车辆与对象之间的当前第二距离信息。
示例性地，在一种实施方式中，Hx和Hy可以通过检测出的对象的类型进行确定，比如对象为车辆时，可以基于检测出的目标车辆的类型，以及预先存储的车辆类型和车辆对应的高度、以及宽度之间的对应关系，确定目标车辆的实际宽度和实际高度。
示例性地，对象在当前帧监测图像中的宽度wb可以通过如图9中的检测框ABCD中的角点AB在当前帧监测图像中的像素坐标值确定，或者通过角点CD在当前帧监测图像中的像素坐标值确定；对象在当前帧监测图像中的高度hb可以通过角点BC在当前帧监测图像中的像素坐标值确定，或者通过角点AD在当前帧监测图像中的像素坐标值确定，在此不进行赘述。
考虑到存在无法识别出对象的类型的情况，因此可能无法直接获取到对象的实际高度或者实际宽度，本公开实施例以确定对象的实际高度为例进行阐述，针对上述S702，在基于检测框的位置信息、以及采集设备的标定参数，确定当前第二距离信息时，包括以下S7021～S7022：
S7021，基于检测框的位置信息，获取检测框中设定角点的像素坐标值。
S7022，基于设定角点的像素坐标值、采集设备的标定参数以及在确定采集设备的标定参数时使用的车道线消失点的像素坐标值，确定当前第二距离信息。
下面将结合图10所示，对这里基于设定角点的像素坐标值、采集设备的标定参数以及在确定采集设备的标定参数时使用的车道线消失点的像素坐标值，确定当前第二距离信息的原理进行说明：
示例性地，在初始对采集设备进行标定过程中，可以将目标车辆停放在平行车道线之间，远处的平行车道线在采集设备的相平面投影时相交于一点，可以称为车道线消失点，车道线消失点近似与图10中的V点重合，可以通过该车道线消失点表示采集设备在监测图像中的投影位置，该车道线消失点的像素坐标值可以表示采集设备在当前帧监测图像中的像素坐标值。
如图10所示，EG两点之间的距离可以表示采集设备相对于地面的实际高度Hc；FG两点之间的距离可以表示对象相对于地面的实际高度Hy；MN两点之间的距离可以表示对象相对于地面的像素高度hb；MV两点之间的距离可以表示采集设备相对于地面的像素高度。
进一步地，如图10所示，根据小孔成像原理，确定采集设备在拍摄当前帧监测图像时，采集设备相对于地面的实际高度Hc和对象相对于地面的实际高度Hy的比值，等于采集设备相对于地面的像素高度和对象相对于地面的像素高度hb的比值，这样，在确定出M点、V点以及N点的像素坐标值后，可以进一步确定出标对象相对于地面的像素高度hb以及采集设备相对于地面的像素高度，从而预测出对象相对于地面的实际高度Hy。
进一步地，在预测出对象相对于地面的实际高度后，可以结合上述公式(3)确定出当前第二距离信息。
上述结合图10对确定当前第二距离信息的原理进行了介绍，下面将结合图11所示，介绍如何确定当前第二距离信息的具体过程：
如图11所示，在对当前帧监测图像进行去畸变处理后，针对当前帧监测图像建立图像坐标系，在该图像坐标系中标记道路线消失点V的像素坐标值(xv,yv)；对象的检测框的左上角点A的像素坐标值(xtl,ytl)，右下点C的像素坐标值(xbr,ybr)，进一步地，可以通过角点AC沿y轴方向上的像素坐标值确定如图10所示MN两点之间的距离；可以通过角点CV沿y轴方向上的像素坐标值确定如图10所示MV两点之间的距离。
具体地，采集设备的标定参数包括采集设备相对于地面的第一高度值以及采集设备的焦距；针对上述S7022，在基于设定角点的像素坐标值、采集设备的标定参数以及在确定采集设备的标定参数时使用的车道线消失点的像素坐标值，确定当前第二距离信息时，包括以下S70221～S70224：
S70221，基于车道线消失点的像素坐标值以及检测框中设定角点的像素坐标值，确定采集设备相对于地面的第一像素高度值。
结合上图11所示，可以得到第一像素高度值：ybr-yv。
S70222，基于设定角点的像素坐标值，确定当前帧监测图像中的对象相对于地面的第二像素高度值。
比如可以将上述图11中AC两角点沿y轴上的像素坐标值之间的差值作为这里的第二像素高度值，可以通过hb来表示。
S70223，基于第一像素高度值、第二像素高度值以及第一高度值，确定对象相对于地面的第二高度值。
Figure BDA0003043948400000161
其中，Hc表示第一高度值，用来表示采集设备相对于地面的实际高度，可以在对采集设备进行标定时获取；Hy表示第二高度值，用来表示对象相对于地面的实际高度。
S70224，基于第二高度值、采集设备的焦距以及第二像素高度值，确定当前第二距离信息。
示例性地，当前第二距离信息可以通过上述公式(3)进行确定。
本公开实施例中，在能够检测出当前帧监测图像中的对象对应的完整检测框的情况下，可以通过引入车道线消失点的像素坐标值、采集设备的标定参数快速准确的得到对象的实际高度值，进一步可以快速准确的确定出目标车辆与对象的当前第二距离信息。
在得到目标车辆与对象的当前第二距离信息后，针对上述S603在基于调整后的距离信息，确定当前第一距离信息时，包括以下S6031～S6032：
S6031，基于当前第二距离信息、多帧历史帧监测图像中的每帧历史帧监测图像中对象与目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的历史第一距离信息以及调整后的距离信息，确定针对调整后的距离信息的距离偏置信息。
示例性地，当前第二距离信息和每个历史第二距离信息均为基于单帧监测图像确定的目标车辆与对象之间的距离信息，该方式在确定第二距离信息时，如果能够检测到对象准确完整的检测框，可以基于该检测框的位置信息得到目标车辆与对象之间准确度较高的第二距离信息，反之，若无法检测到对象准确的检测框，或者检测到的对象的检测框不完整，得到的第二距离信息的准确度较低，因此在基于该方式确定的多个第二距离信息的准确度较高，但是波动较大。
示例性地，每个历史第一距离信息为基于多帧监测图像确定得到的距离信息，调整后的距离信息也为基于多个历史第一距离信息调整后得到的距离信息，因此，基于该方式得到的多个历史第一距离信息和调整后的距离信息之间波动较小，但是由于在确定历史第一距离信息以及调整后的距离信息时，使用到了相邻两帧监测图像对应的尺度变化信息，而尺度变化信息的确定过程依赖于识别对象的特征点在监测图像中的位置信息，当存在误差时，误差会进行累计，因此确定的多个历史第一距离信息以及调整后的距离信息的准确度相比基于完整的检测框确定出的第二距离信息的准确度。
考虑到基于检测框确定的当前第二距离信息和历史第二距离信息的准确度高，基于尺度变化信息确定的历史第一距离信息和调整后得到的距离信息之间的稳定性高，为了得到准确度高且稳定性的当前第一距离信息，可以通过两种方式分别对确定的多帧监测图像对应的目标车辆与对象之间的距离信息对调整后的距离信息进行进一步调整。
S6032，基于距离偏置信息对调整后的距离信息进行调整，得到当前第一距离信息。
示例性地，在得到距离偏置信息后，可以基于该距离偏置信息对调整后的距离信息进行进一步调整，使得当前第一距离信息更加准确。
本公开实施例中，在得到距离偏置信息后，可以对调整后的距离信息进行进一步调整，从而得到目标车辆和对象在当前准确度较高的距离信息。
在一种实施方式中，在基于当前第二距离信息、多帧历史帧监测图像中的每帧历史帧监测图像中对象与目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的历史第一距离信息以及调整后的距离信息，确定针对调整后的距离信息的距离偏置信息时，可以包括以下S60311～S60313：
S60311，基于当前第二距离信息以及多帧历史帧监测图像中的每帧历史帧监测图像对应的历史第二距离信息，确定由多帧历史帧监测图像中的每帧历史帧监测图像对应的历史第二距离信息和当前第二距离信息拟合成的第一拟合曲线的第一线性拟合系数。
示例性地，可以通过D0表示当前第二距离信息，分别通过D1、D2、D3…表示多个历史第二距离信息，可以通过D0和D1、D2、D3…进行线性拟合，得到由多个历史第二距离信息和当前第二距离信息构成的第一拟合曲线，该第一拟合曲线可以通过以下公式(6)表示：
y1＝ax+bx2+c (6)；
在拟合过程中，可以将确定多个第二距离信息时使用的监测图像的帧号0,1,2,3…作为x值，以及与帧号分别对应的第二距离信息D0、D1、D2、D3…作为y值输入公式(6)，可以得到第一线性拟合系数：a,b,c。
S60312，基于多帧历史帧监测图像中的每帧历史帧监测图像对应的历史第一距离信息以及调整后的距离信息，确定由多帧历史帧监测图像中的每帧历史帧监测图像对应的历史第一距离信息和调整后的距离信息拟合成的第二拟合曲线的第二线性拟合系数。
示例性地，可以通过D0_scale表示调整后的距离信息，分别通过D1_final、D2_final、D3_final…表示多个历史第一距离信息，可以通过D0_scale和D1_final、D2_final、D3_final…进行线性拟合，得到由多个历史第一距离信息和调整后的距离信息构成的第二拟合曲线，该第二拟合曲线可以通过以下公式(7)表示：
y2＝a′x+b′x2+c′ (7)；
在拟合过程中，可以将确定多个历史第一距离信息以及调整后的距离信息时使用的监测图像的帧号0,1,2,3…作为x值，以及与帧号分别对应的调整后的距离信息和多个历史第一距离信息D0_scale、D1_final、D2_final、D3_final…作为y值输入公式(7)，可以得到第二线性拟合系数：a′,b′,c′。
S60313，基于第一线性拟合系数和第二线性拟合系数，确定针对调整后的距离信息的距离偏置信息。
示例性地，可以通过以下公式(8)来确定距离偏置信息:
L＝(a/a′+b/b′+c/c′)/3 (8)；
通过该方式确定的距离偏置信息，可以按照以下公式(9)来对待调整的距离信息进行调整，得到当前第一距离信息D0_final：
D0_final＝D0_scale×L (9)；
在另一种实施方式中，在基于当前第二距离信息、多帧历史帧监测图像中的每帧历史帧监测图像中对象与目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的历史第一距离信息以及调整后的距离信息，确定针对调整后的距离信息的距离偏置信息时，还可以通过卡尔曼滤波算法进行确定，进一步基于卡尔曼滤波算法确定出当前第一距离信息。
在基于卡尔曼滤波算法确定当前第一距离信息时，可以通过以下公式(10)进行确定：
D0_final＝kal(D0_scale,D0,R,Q) (10)；
其中，R表示D0_scale和D1_final、D2_final、D3_final…的方差；Q表示D0和D1、D2、D3…的方差，通过R和Q可以确定针对D0_scale的距离偏置信息，进一步基于该距离偏置信息对调整后的距离信息进行修正，得到准确度较高的当前第一距离信息。
在确定当前第一距离信息后，即可以根据当前帧图像中的各对象分别和目标车辆的当前第一距离信息，确定位于目标车辆的视野盲区中的目标对象。
示例性的，可以根据上述图2示出确定目标车辆的视野盲区的方式，可以确定目标车辆对应的视野盲区。另外，利用当前第一距离信息、以及确定的目标车辆的视野盲区，可以确定检测到的对象中落入视野盲区的对象，也即目标对象。
此处，目标对象例如可以包括上述对象中的其他驾驶车辆、行人、路面设施、以及路面障碍物中的部分。
针对上述S104，根据目标对象的类型信息和位置，以及目标车辆的行车状态，即可以生成监测结果。
此处，由于生成的监测结果是根据图像确定的，而在利用监测结果引导自动驾驶车辆、或者辅助驾驶员行驶时，通常是需要在连续的一段时间内不断的生成监测结果的。在这段连续的时间内，会获取到多帧图像，但多帧图像相对于这段连续的时间是离散的。为了得到更对目标对象进行更为准确的监测，还可以对连续帧图像进行对象监测时进行跟踪平滑处理，例如采用插值的方式，以进一步提升精度。
另外，由于利用跟踪平滑处理的方式可以利用多帧对应离散时间的监测图像确定连续时间内目标对象与目标车辆的距离，因此该种方式还可以缓解采集设备需要快速连续获取多帧监测图像的设备压力，并减少设备损耗。
示例性的，为了使得到的监测结果离散程度更低，以保证目标车辆在行驶时的安全性，则相应的需要在0.1秒获取一帧监测图像；若是按照0.5秒获取一帧监测图像，在车速较快的场景下时，可能在0.5秒内会发生突然的撞击，也即无法保证安全性。但以0.1秒获取一帧监测图像的频率，对于采集设备而言，相较于0.2秒获取一帧监测图像的频率需要更大的功耗；同时，利用插值的方式也可以确定在该0.2秒内，处于0.1秒时较为准确的一帧预测监测图像，也即能够保证安全性。
另外，在确定了目标对象后，不同位置的不同目标对象对于目标车辆而言的影响不同，因此，还可以结合目标对象的类型信息、位置、以及目标车辆的行车状态，对不同的目标对象确定对应的监测结果。
具体地，监测结果例如可以包括告警信息。目标车辆的行车状态例如可以包括目标车辆的转向信息。
在具体实施中，根据目标对象的类型信息和位置以及目标车辆的行车状态，生成监测结果时，例如可以采用下述方式：根据目标对象的类型信息和位置以及目标车辆的转向信息，确定告警信息的级别；生成确定的级别的告警信息并提示。
其中，目标对象的类型信息例如可以包括行人。由于目标对象位于目标车辆的视野盲区内，也即目标车辆可能会由于目标对象位于该目标车辆的视野盲区而对行车安全造成影响，则可以生成包含告警信息的监测结果。
在一种可能的实施方式中，在目标车辆的转向信息表征目标车辆左转，且目标对象的位置表征目标对象在目标车辆左侧盲区；或者，在目标车辆的转向信息表征目标车辆右转，且目标对象的位置表征目标对象在目标车辆右侧盲区时，认为目标车辆在行车时对目标对象的安全的影响较大，例如目标车辆在行驶中可能与行人碰撞，则监测结果可以包括最高级别的监测结果。此处，例如还可以将监测结果划分多个级别，例如一级、二级、三级、以及四级；级数越高，表征对目标车辆的行车安全的影响越大，相应的告警信息也对应表征对目标车辆的行车安全的影响较大。
以第一监测结果为例，第一监测结果例如对应一级，并包括较高频率发出的“嘀”声音频，或者语音提示信息“当前距车辆过近，请小心驾驶”。
另外，还可以根据目标对象的位置再进一步细化第一监测结果。以在目标装置的行车状态为向左侧行驶，目标对象的位置表征在目标车辆的左侧有目标对象为例，若第一监测结果表征目标装置在不断向目标对象靠近，则逐渐提高“嘀”声发出的频率，或者生成“当前距离左侧行人1米”、“当前距离左侧行人0.5米”等具有更为准确的提示信息的告警信息。
在另一种可能的实施方式中，在目标车辆的转向信息表征目标车辆左转，且目标对象的位置表征目标对象在目标车辆右侧盲区；或者，在目标车辆的转向信息表征目标车辆右转，且目标对象的位置表征目标对象在目标车辆左侧盲区时，认为目标车辆在行车时有相当概率对安全会造成一定的影响，例如行人在向目标车辆靠近时，可能会发生碰撞，则监测结果可以对应二级，包括相较于对应一级的监测结果较低频率发出的“嘀”声音频，或者语音提示信息“当前距行人较近，请小心驾驶”。
另外，目标对象的类型信息例如还可以包括车辆；此处，该车辆为除目标车辆外的其他车辆。
与上述针对类型信息表征目标对象为行人时，确定监测结果的方式相似，在一种可能的实施方式中，在目标车辆的转向信息表征目标车辆左转，且当前目标对象的位置表征目标对象在目标车辆左侧盲区；或者，在目标车辆的转向信息表征目标车辆右转，且当前目标对象的位置表征目标对象在目标车辆右侧盲区时，认为目标车辆在行车时对安全的影响较大，例如目标车辆在转向时可能会与其他车辆发生碰撞，则监测结果可以包括三级级别对应的监测结果。
另外，还可以根据行车状态再进一步细化监测结果。以在目标车辆的行车状态表征目标车辆左转，监测结果表征在目标车辆的左侧有目标对象为例，若监测结果表征目标车辆在不断向目标对象靠近，则逐渐提高“嘀”声发出的频率，或者生成“当前距离左侧车辆1米”、“当前距离左侧车辆0.5米”等具有更为准确的提示信息的告警信息。
在另一种可能的实施方式中，在目标车辆的转向信息表征目标车辆左转，且目标对象的位置表征目标对象在目标车辆右侧盲区；或者，在目标车辆的转向信息表征目标车辆右转，且目标对象的位置表征目标对象在目标车辆左侧盲区时，认为目标对象在行车时有相当概率对目标车辆的安全会造成一定的影响，例如目标车辆在行驶时，其他车辆可能会与目标车辆发生碰撞，则监测结果可以对应四级，包括相较于对应三级的监测结果以较低频率发出的“嘀”声音频，或者语音提示信息“当前距车辆较近，请小心驾驶”。
这样，通过较为准确且快速的生成告警信息，可以指导控制目标车辆的驾驶人员更加安全的驾驶。
另外，监测结果例如还可以包括车辆控制指令。对应的，目标车辆的行车状态例如可以包括目标车辆的转向信息。
此处，由于可以较为高效且准确的获取目标对象的类型信息和位置，因此还可以生成包括车辆控制指令的监测结果，以控制行驶装置等的安全驾驶。其中，行驶装置例如但不限于下述任一种：自动驾驶车辆、装有高级驾驶辅助系统(Advanced DrivingAssistance System，ADAS)的车辆、或者机器人等。
在具体实施中，在根据目标对象的类型信息和位置以及目标车辆的行车状态，生成监测结果时，例如可以根据目标对象的类型信息和位置以及目标车辆的转向信息，生成车辆控制指令。
此处，根据目标对象的类型信息和位置以及目标车辆的转向信息，生成车辆控制指令时，例如可以依据目标对象的类型信息和位置判断目标车辆确定生成的车辆控制指令，以保证目标车辆可以避免与目标对象发生碰撞，保证安全行驶。
这样，监测结果更利于部署在智能行驶装置中，提高自动驾驶控制过程中，智能行驶装置的安全性，也即能更好的满足自动驾驶领域的需求。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与盲区监测方法对应的盲区监测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述盲区监测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图12所示，为本公开实施例提供的一种盲区监测装置的示意图，该盲区监测装置包括：获取模块121、检测模块122、确定模块123、以及生成模块124；其中，
获取模块121，用于获取目标车辆上的采集设备采集得到的当前帧监测图像；
检测模块122，用于对所述当前帧监测图像进行对象检测，得到所述图像中包括的对象的类型信息和位置；
确定模块123，用于根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象；
生成模块124，用于根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果。
在一种可能的实施方式中，所述监测结果包括告警信息，所述目标车辆的行车状态包括所述目标车辆的转向信息；所述生成模块124在根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果时，用于：根据所述目标对象的类型信息和位置以及所述目标车辆的转向信息，确定告警信息的级别；生成确定的级别的告警信息并提示。
在一种可能的实施方式中，所述监测结果包括车辆控制指令，所述目标车辆的行车状态包括所述目标车辆的转向信息；所述生成模块124在根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果时，用于：根据所述目标对象的类型信息和位置以及所述目标车辆的转向信息，生成所述车辆控制指令；所述盲区监测装置还包括控制模块125，用于：基于所述车辆控制指令，控制所述目标车辆行驶。
在一种可能的实施方式中，所述确定模块123在根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象时，用于：根据所述当前帧监测图像中所述对象的位置，确定所述目标车辆与所述当前帧监测图像中所述对象的当前第一距离信息；根据所述当前第一距离信息，确定位于所述目标车辆的视野盲区中的目标对象。
在一种可能的实施方式中，所述确定模块123在根据所述当前帧监测图像中所述对象的位置，确定所述目标车辆与所述当前帧监测图像中所述对象的当前第一距离信息时，用于：基于所述当前帧监测图像，确定所述目标车辆与所述当前帧监测图像中的所述对象的待调整距离信息；基于所述对象在所述采集设备采集的多帧历史帧监测图像中相邻两帧监测图像中的尺度之间的尺度变化信息、以及所述多帧历史帧监测图像中每帧历史帧监测图像中的所述对象与所述目标车辆之间的历史第一距离信息，对所述待调整距离信息进行调整，得到所述目标车辆与所述对象之间的当前第一距离信息。
在一种可能的实施方式中，所述确定模块123在对所述待调整距离信息进行调整，得到所述目标车辆与所述对象之间的当前第一距离信息时，用于：对所述待调整距离信息进行调整，直至所述尺度变化信息的误差量最小，得到调整后的距离信息；其中，所述误差量基于所述待调整距离信息、所述尺度变化信息以及所述多帧历史帧监测图像中每帧历史帧监测图像对应的历史第一距离信息确定；基于所述调整后的距离信息，确定所述当前第一距离信息。
在一种可能的实施方式中，在基于所述调整后的距离信息，确定所述当前第一距离信息之前，所述确定模块123还用于：基于所述当前帧监测图像中所述对象的位置、以及所述采集设备的标定参数，确定当前第二距离信息；所述确定模块123在基于所述调整后的距离信息，确定所述当前第一距离信息时，用于：基于所述当前第二距离信息、所述多帧历史帧监测图像中的每帧历史帧监测图像中所述对象与所述目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定针对所述调整后的距离信息的距离偏置信息；基于所述距离偏置信息对所述调整后的距离信息进行调整，得到所述当前第一距离信息。
在一种可能的实施方式中，所述确定模块123在基于所述当前第二距离信息、所述多帧历史帧监测图像中的每帧历史帧监测图像中所述对象与所述目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定针对所述调整后的距离信息的距离偏置信息时，用于：基于所述当前第二距离信息以及所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第二距离信息，确定由所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第二距离信息和所述当前第二距离信息拟合成的第一拟合曲线的第一线性拟合系数；基于所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定由所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第一距离信息和所述调整后的距离信息拟合成的第二拟合曲线的第二线性拟合系数；基于所述第一线性拟合系数和所述第二线性拟合系数，确定针对所述调整后的距离信息的距离偏置信息。
在一种可能的实施方式中，所述确定模块123在基于所述当前帧监测图像中所述对象的位置、以及所述采集设备的标定参数，确定所述当前第二距离信息时，用于：基于所述对象在所述当前帧监测图像中的检测框的位置信息，获取所述检测框中设定角点的像素坐标值；基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值，确定所述当前第二距离信息。
在一种可能的实施方式中，所述采集设备的标定参数包括所述采集设备相对于地面的第一高度值以及所述采集设备的焦距；所述确定模块123在基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值，确定所述当前第二距离信息时，用于：基于所述车道线消失点的像素坐标值以及所述检测框中设定角点的像素坐标值，确定所述采集设备相对于地面的第一像素高度值；基于所述设定角点的像素坐标值，确定所述当前帧监测图像中的所述对象相对于地面的第二像素高度值；基于所述第一像素高度值、所述第二像素高度值以及所述第一高度值，确定所述对象相对于地面的第二高度值；基于所述第二高度值、所述采集设备的焦距以及所述第二像素高度值，确定所述当前第二距离信息。
在一种可能的实施方式中，所述确定模块123在基于所述当前帧监测图像，确定所述目标车辆与所述当前帧监测图像中的所述对象的待调整距离信息时，用于：获取所述对象在所述当前帧监测图像中的尺度和在与所述当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息；基于所述尺度变化信息、以及与所述当前帧监测图像相邻的历史帧监测图像对应的所述历史第一距离信息，确定所述待调整距离信息。
在一种可能的实施方式中，所述确定模块123按照以下方式确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息：分别提取所述对象包含的多个特征点在所述相邻两帧监测图像中前一帧监测图像中的第一位置信息，以及在后一帧监测图像中的第二位置信息；基于所述第一位置信息和所述第二位置信息，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息。
在一种可能的实施方式中，所述确定模块123基于所述第一位置信息和所述第二位置信息，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息时，用于：基于所述第一位置信息，确定所述对象包含的多个特征点所构成的目标线段在所述前一帧监测图像中的第一尺度值；基于所述第二位置信息，确定所述目标线段在所述后一帧监测图像中的第二尺度值；基于所述第一尺度值和所述第二尺度值，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息。
对应于图1中的盲区监测方法，本公开实施例还提供了一种电子设备1300，如图13所示，为本公开实施例提供的电子设备1300结构示意图，包括：
处理器10、存储器20、和总线30；存储器20用于存储执行指令，包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换，当电子设备1300运行时，处理器10与存储器20之间通过总线30通信，使得处理器10执行以下指令：获取目标车辆上的采集设备采集得到的当前帧监测图像；对所述当前帧监测图像进行对象检测，得到所述当前帧监测图像中包括的对象的类型信息和位置；根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象；根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的盲区监测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的盲区监测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种盲区监测方法，其特征在于，包括：
获取目标车辆上的采集设备采集得到的当前帧监测图像；
对所述当前帧监测图像进行对象检测，得到所述当前帧监测图像中包括的对象的类型信息和位置；
根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象；
根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果。
2.根据权利要求1所述的盲区监测方法，其特征在于，所述监测结果包括告警信息，所述目标车辆的行车状态包括所述目标车辆的转向信息；
所述根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果，包括：
根据所述目标对象的类型信息和位置以及所述目标车辆的转向信息，确定告警信息的级别；
生成确定的级别的告警信息并提示。
3.根据权利要求1所述的盲区监测方法，其特征在于，所述监测结果包括车辆控制指令，所述目标车辆的行车状态包括所述目标车辆的转向信息；
所述根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果，包括：
根据所述目标对象的类型信息和位置以及所述目标车辆的转向信息，生成所述车辆控制指令；
所述盲区监测方法还包括：基于所述车辆控制指令，控制所述目标车辆行驶。
4.根据权利要求1-3任一所述的盲区监测方法，其特征在于，根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象，包括：
根据所述当前帧监测图像中所述对象的位置，确定所述目标车辆与所述当前帧监测图像中所述对象的当前第一距离信息；
根据所述当前第一距离信息，确定位于所述目标车辆的视野盲区中的目标对象。
5.根据权利要求1-4任一项所述的盲区监测方法，其特征在于，所述根据所述当前帧监测图像中所述对象的位置，确定所述目标车辆与所述当前帧监测图像中所述对象的当前第一距离信息，包括：
基于所述当前帧监测图像，确定所述目标车辆与所述当前帧监测图像中的所述对象的待调整距离信息；
基于所述对象在所述采集设备采集的多帧历史帧监测图像中相邻两帧监测图像中的尺度之间的尺度变化信息、以及所述多帧历史帧监测图像中每帧历史帧监测图像中的所述对象与所述目标车辆之间的历史第一距离信息，对所述待调整距离信息进行调整，得到所述目标车辆与所述对象之间的当前第一距离信息。
6.根据权利要求5所述的盲区监测方法，其特征在于，所述对所述待调整距离信息进行调整，得到所述目标车辆与所述对象之间的当前第一距离信息，包括：
对所述待调整距离信息进行调整，直至所述尺度变化信息的误差量最小，得到调整后的距离信息；其中，所述误差量基于所述待调整距离信息、所述尺度变化信息以及所述多帧历史帧监测图像中每帧历史帧监测图像对应的历史第一距离信息确定；
基于所述调整后的距离信息，确定所述当前第一距离信息。
7.根据权利要求6所述的盲区监测方法，其特征在于，所述基于所述调整后的距离信息，确定所述当前第一距离信息之前，所述盲区监测方法还包括：
基于所述当前帧监测图像中所述对象的位置、以及所述采集设备的标定参数，确定当前第二距离信息；
所述基于所述调整后的距离信息，确定所述当前第一距离信息，包括：
基于所述当前第二距离信息、所述多帧历史帧监测图像中的每帧历史帧监测图像中所述对象与所述目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定针对所述调整后的距离信息的距离偏置信息；
基于所述距离偏置信息对所述调整后的距离信息进行调整，得到所述当前第一距离信息。
8.根据权利要求7所述的盲区监测方法，其特征在于，所述基于所述当前第二距离信息、所述多帧历史帧监测图像中的每帧历史帧监测图像中所述对象与所述目标车辆之间的历史第二距离信息、该帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定针对所述调整后的距离信息的距离偏置信息，包括：
基于所述当前第二距离信息以及所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第二距离信息，确定由所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第二距离信息和所述当前第二距离信息拟合成的第一拟合曲线的第一线性拟合系数；
基于所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第一距离信息以及所述调整后的距离信息，确定由所述多帧历史帧监测图像中的每帧历史帧监测图像对应的所述历史第一距离信息和所述调整后的距离信息拟合成的第二拟合曲线的第二线性拟合系数；
基于所述第一线性拟合系数和所述第二线性拟合系数，确定针对所述调整后的距离信息的距离偏置信息。
9.根据权利要求7或8所述的盲区监测方法，其特征在于，所述基于所述当前帧监测图像中所述对象的位置、以及所述采集设备的标定参数，确定所述当前第二距离信息，包括：
基于所述对象在所述当前帧监测图像中的检测框的位置信息，获取所述检测框中设定角点的像素坐标值；
基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值，确定所述当前第二距离信息。
10.根据权利要求9所述的盲区监测方法，其特征在于，所述采集设备的标定参数包括所述采集设备相对于地面的第一高度值以及所述采集设备的焦距；
所述基于所述设定角点的像素坐标值、所述采集设备的标定参数以及在确定所述采集设备的标定参数时使用的车道线消失点的像素坐标值，确定所述当前第二距离信息，包括：
基于所述车道线消失点的像素坐标值以及所述检测框中设定角点的像素坐标值，确定所述采集设备相对于地面的第一像素高度值；
基于所述设定角点的像素坐标值，确定所述当前帧监测图像中的所述对象相对于地面的第二像素高度值；
基于所述第一像素高度值、所述第二像素高度值以及所述第一高度值，确定所述对象相对于地面的第二高度值；
基于所述第二高度值、所述采集设备的焦距以及所述第二像素高度值，确定所述当前第二距离信息。
11.根据权利要求5至10任一项所述的盲区监测方法，其特征在于，所述基于所述当前帧监测图像，确定所述目标车辆与所述当前帧监测图像中的所述对象的待调整距离信息，包括：
获取所述对象在所述当前帧监测图像中的尺度和在与所述当前帧监测图像相邻的历史帧监测图像中的尺度之间的尺度变化信息；
基于所述尺度变化信息、以及与所述当前帧监测图像相邻的历史帧监测图像对应的所述历史第一距离信息，确定所述待调整距离信息。
12.根据权利要求5至11任一项所述的盲区监测方法，其特征在于，按照以下方式确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息：
分别提取所述对象包含的多个特征点在所述相邻两帧监测图像中前一帧监测图像中的第一位置信息，以及在后一帧监测图像中的第二位置信息；
基于所述第一位置信息和所述第二位置信息，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息。
13.根据权利要求12所述的盲区监测方法，其特征在于，所述基于所述第一位置信息和所述第二位置信息，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息，包括：
基于所述第一位置信息，确定所述对象包含的多个特征点所构成的目标线段在所述前一帧监测图像中的第一尺度值；
基于所述第二位置信息，确定所述目标线段在所述后一帧监测图像中的第二尺度值；
基于所述第一尺度值和所述第二尺度值，确定所述对象在相邻两帧监测图像中的尺度之间的尺度变化信息。
14.一种盲区监测装置，其特征在于，包括：
获取模块，用于获取目标车辆上的采集设备采集得到的当前帧监测图像；
检测模块，用于对所述当前帧监测图像进行对象检测，得到所述图像中包括的对象的类型信息和位置；
确定模块，用于根据所述对象的位置和所述目标车辆的视野盲区，确定位于所述目标车辆的视野盲区中的目标对象；
生成模块，用于根据所述目标对象的类型信息和位置以及所述目标车辆的行车状态，生成监测结果。
15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至13任一项所述的盲区监测方法的步骤。
16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至13任一项所述的盲区监测方法的步骤。
CN202110467776.4A 2021-04-28 2021-04-28 一种盲区监测方法、装置、电子设备及存储介质 Active CN113103957B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110467776.4A CN113103957B (zh) 2021-04-28 2021-04-28 一种盲区监测方法、装置、电子设备及存储介质
PCT/CN2022/084399 WO2022228023A1 (zh) 2021-04-28 2022-03-31 一种盲区监测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110467776.4A CN113103957B (zh) 2021-04-28 2021-04-28 一种盲区监测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113103957A true CN113103957A (zh) 2021-07-13
CN113103957B CN113103957B (zh) 2023-07-28

Family

ID=76720492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110467776.4A Active CN113103957B (zh) 2021-04-28 2021-04-28 一种盲区监测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113103957B (zh)
WO (1) WO2022228023A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063774A (zh) * 2022-05-27 2022-09-16 浙江大华技术股份有限公司 视野盲区的安全预警方法、装置及计算机可读存储介质
WO2022228023A1 (zh) * 2021-04-28 2022-11-03 上海商汤智能科技有限公司 一种盲区监测方法、装置、电子设备及存储介质
WO2023093056A1 (zh) * 2021-11-29 2023-06-01 上海商汤智能科技有限公司 车辆控制

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279770A (zh) * 2015-10-21 2016-01-27 浪潮(北京)电子信息产业有限公司 一种目标跟踪控制方法及装置
US20160098839A1 (en) * 2006-01-04 2016-04-07 Mobileye Vision Technologies Ltd Estimating distance to an object using a sequence of images recorded by a monocular camera
CN108596116A (zh) * 2018-04-27 2018-09-28 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质
CN109311425A (zh) * 2018-08-23 2019-02-05 深圳市锐明技术股份有限公司 一种汽车盲区的监测报警方法、装置、设备及存储介质
CN111469760A (zh) * 2019-01-24 2020-07-31 杭州海康汽车技术有限公司 一种车辆盲区检测方法、装置和系统
CN111829484A (zh) * 2020-06-03 2020-10-27 江西江铃集团新能源汽车有限公司 基于视觉的目标距离测算方法
CN111998780A (zh) * 2019-05-27 2020-11-27 杭州海康威视数字技术股份有限公司 目标测距方法、装置及系统
CN112489136A (zh) * 2020-11-30 2021-03-12 商汤集团有限公司 标定方法、位置确定方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4045862B2 (ja) * 2002-06-03 2008-02-13 日産自動車株式会社 車載カメラの光軸ずれ検出装置
CN106524922B (zh) * 2016-10-28 2019-01-15 深圳地平线机器人科技有限公司 测距校准方法、装置和电子设备
CN110386065B (zh) * 2018-04-20 2021-09-21 比亚迪股份有限公司 车辆盲区的监控方法、装置、计算机设备及存储介质
CN111942282B (zh) * 2019-05-17 2022-09-06 比亚迪股份有限公司 车辆及其驾驶盲区预警方法、装置、系统和存储介质
CN113103957B (zh) * 2021-04-28 2023-07-28 上海商汤临港智能科技有限公司 一种盲区监测方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098839A1 (en) * 2006-01-04 2016-04-07 Mobileye Vision Technologies Ltd Estimating distance to an object using a sequence of images recorded by a monocular camera
CN105279770A (zh) * 2015-10-21 2016-01-27 浪潮(北京)电子信息产业有限公司 一种目标跟踪控制方法及装置
CN108596116A (zh) * 2018-04-27 2018-09-28 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质
CN109311425A (zh) * 2018-08-23 2019-02-05 深圳市锐明技术股份有限公司 一种汽车盲区的监测报警方法、装置、设备及存储介质
CN111469760A (zh) * 2019-01-24 2020-07-31 杭州海康汽车技术有限公司 一种车辆盲区检测方法、装置和系统
CN111998780A (zh) * 2019-05-27 2020-11-27 杭州海康威视数字技术股份有限公司 目标测距方法、装置及系统
CN111829484A (zh) * 2020-06-03 2020-10-27 江西江铃集团新能源汽车有限公司 基于视觉的目标距离测算方法
CN112489136A (zh) * 2020-11-30 2021-03-12 商汤集团有限公司 标定方法、位置确定方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022228023A1 (zh) * 2021-04-28 2022-11-03 上海商汤智能科技有限公司 一种盲区监测方法、装置、电子设备及存储介质
WO2023093056A1 (zh) * 2021-11-29 2023-06-01 上海商汤智能科技有限公司 车辆控制
CN115063774A (zh) * 2022-05-27 2022-09-16 浙江大华技术股份有限公司 视野盲区的安全预警方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2022228023A1 (zh) 2022-11-03
CN113103957B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
JP6473571B2 (ja) Ｔｔｃ計測装置およびｔｔｃ計測プログラム
CN106740841B (zh) 基于动态控制的车道线检测方法、装置及车载设备
CN113103957A (zh) 一种盲区监测方法、装置、电子设备及存储介质
US8594378B2 (en) 3D object detecting apparatus and 3D object detecting method
CN103448650B (zh) 目标识别系统和目标识别方法
EP3070675B1 (en) Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing
US20170017839A1 (en) Object detection apparatus, object detection method, and mobile robot
CN111469127B (zh) 代价地图更新方法、装置、机器人及存储介质
EP3531375A1 (en) Method and apparatus for measuring distance, and unmanned aerial vehicle
CN114550042B (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
US20190102898A1 (en) Method and apparatus for monitoring region around vehicle
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN110667474B (zh) 通用障碍物检测方法、装置与自动驾驶系统
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
US11753002B2 (en) Vehicular control system
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
CN112193241A (zh) 一种自动泊车方法
CN113188509B (zh) 一种测距方法、装置、电子设备及存储介质
US20200193184A1 (en) Image processing device and image processing method
CN110864670B (zh) 目标障碍物位置的获取方法和系统
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
JP2021033605A (ja) 画像処理装置、および、画像処理方法
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
CN113869607A (zh) 一种安全行驶预测优化方法、装置、设备和存储介质
KR102497488B1 (ko) 주행속도에 따른 인식범위조절이 가능한 자율주행 차량의 영상인식 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049824

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant