CN114119955A - 一种潜在危险目标检测方法及装置 - Google Patents

Abstract

本申请公开一种潜在危险目标检测方法及装置，用以准确快速检测出潜在危险目标，保证汽车行车安全，该方法包括：获取连续的至少两帧图像，连续的至少两帧图像为对汽车两侧的场景进行图像采集得到；确定第一图像中的ROI区域，并确定ROI区域内包括的各个特征点的运动信息，每个特征点的运动信息包括特征点的运动方向；第一图像为至少两帧图像中的任意一帧图像；根据各个特征点的运动信息，对ROI区域内包括的各个特征点进行聚类，得到位于ROI区域内的至少一个目标；根据每个目标包括的至少一个特征点的运动方向，确定每个目标的运动方向；将至少一个目标中运动方向与汽车的行车方向相同的目标，确定为潜在危险目标。

Description

一种潜在危险目标检测方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种潜在危险目标检测方法及装置。

背景技术

随着汽车保有量的增加，汽车安全也被越来越多的人所重视。而自动紧急制动(auto emergency brake，AEB)系统可以在一定程度上保证汽车安全。AEB系统的工作原理为：利用相机检测汽车前方道路存在的目标，当检测到的目标与汽车之间的距离不超过报警距离时，认为该目标存在碰撞风险，此时汽车会自动采用制动措施。

现有技术中可以基于机器学习实现目标的检测，这种检测方式对于位于汽车前方的完整目标的检测率很高。但是对于可能出现在汽车两侧且可能会快速切入到汽车前方的目标，机器学习的检测方式在检测时，可能出现检测不到目标或目标检测过晚的情况。这是因为这类目标在采集到的图像中仅部分可见且出现时间短，机器学习的检测方式对于目标在仅部分可见时很难检测出，导致检测过晚，并且由于这种仅部分可见的目标的检测结果严重依赖于机器学习时的样本数据，因此也可能出现检测不到目标的情况。在检测不到目标或目标检测过晚的情况下，AEB功能的响应时间就被压缩，导致无法保证汽车的行车安全。

发明内容

本申请实施例提供一种潜在危险目标检测方法及装置，用以快速准确地检测出潜在危险目标，以提前响应，保证汽车行车安全。

第一方面，本申请实施例提供一种潜在危险目标检测方法，该方法可以由汽车内的检测装置来执行，也可以由远程的服务器执行，并将执行结果发送给汽车。包括：获取连续的至少两帧图像，所述连续的至少两帧图像为对汽车两侧的场景进行图像采集得到的；继而确定第一图像中的感兴趣ROI区域，并确定所述ROI区域内包括的各个特征点的运动信息，每个所述特征点的运动信息包括所述特征点的运动方向；所述第一图像为所述至少两帧图像中的任意一帧图像；再根据所述各个特征点的运动信息，对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标；根据每个所述目标包括的至少一个特征点的运动方向，确定每个所述目标的运动方向；最后将所述至少一个目标中运动方向与所述汽车的行车方向相同的目标，确定为潜在危险目标。

一种可能的场景下，汽车上可以安装有图像采集设备，由所述图像采集设备对汽车两侧的场景进行图像采集，可以采集得到上述的连续的至少两帧图像。当然，也可以由汽车所处位置的路侧设备来对汽车两侧的场景进行图像采集，也可以得到上述的连续的至少两帧图像，本申请这里不做限定。

对于位于汽车前方的完整目标可以准确检测到，但是对于可能出现在汽车两侧的目标，图像采集设备不能够拍摄到完整的图像，因此通过机器学习的检测方式进行检测时，可能出现检测不到目标或检测到目标的时间过长的问题。而本申请实施例中，对ROI区域中各特征点的运动信息进行聚类，可以确定ROI区域中目标的运动方向，通过对目标和汽车的运动方向进行分析，可以确定出潜在危险目标，潜在危险目标的检测通过分析运动方向得到，而不依赖于机器学习的检测方式，因此可以快速准确检测到潜在危险目标，提前做出响应，保证汽车行车安全。

在一种可能的设计中，所述确定第一图像中的ROI区域时，可以根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域。其中，所述图像采集设备的参数包括内参和外参，所述内参用于世界坐标系和图像采集设备坐标系之间的转换，所述外参用于所述图像采集设备坐标系和二维坐标系之间的转换；所述汽车的运动信息包括所述汽车的行车方向和行车速度。

在该设计中，可以通过图像采集设备的内外参数和汽车的运动信息，确定ROI区域，即确定汽车两侧可能存在潜在危险目标的区域，以保证汽车安全。

在一种可能的设计中，所述根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域时，可以根据所述汽车的行车方向和行车速度、及所述汽车的安全距离对应的碰撞时间，确定潜在危险区域的纵向长度；并根据所述汽车所在的车道的宽度，确定所述潜在危险区域的横向长度；再根据所述潜在危险区域的纵向长度、横向长度及所述图像采集设备的参数，确定第一图像中的ROI区域。

在一种可能的设计中，所述对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标时，具体可以先对所述ROI区域内包括的各个特征点进行聚类，得到至少一个第一检测区域，所述至少一个第一检测区域位于所述ROI区域内；再确定所述至少一个第一检测区域分别对应的第一置信度；所述至少一个第一检测区域分别对应的第一置信度是在对所述ROI区域内包括的各个特征点进行聚类时确定的；然后过滤掉所述至少一个第一检测区域中第一置信度小于第一置信度阈值的第一检测区域，得到剩余的至少一个第一检测区域，作为至少一个第二检测区域，所述第一置信度阈值大于0且小于1；进而根据确定的权重值，对所述至少一个第二检测区域分别对应的第一置信度进行加权，得到所述至少一个第二检测区域分别对应的第二置信度；然后过滤掉所述至少一个第二检测区域中第二置信度小于第二置信度阈值的第二检测区域，得到剩余的至少一个第二检测区域，所述第二阈值大于所述第一阈值，且小于1；最后将剩余的每个第二检测区域中分别包括的目标，作为位于所述ROI区域内的至少一个目标。

在该设计中，通过较低的第一置信度阈值进行初步筛选，可以提高潜在危险目标的检测率，然后根据权重值进行加权，将第一置信度提高至第二置信度，然后采用较高的第二置信度阈值进行再次筛选，可以降低误检率，提高检测的准确性和定位精度。

在一种可能的设计中，所述权重值可以根据以下参数中的至少一种确定：

所述第一检测区域和所述第二检测区域的交并比，所述交并比为所述第一检测区域和所述第二检测区域的交集区域的大小与所述第一检测区域和所述第二检测区域的并集区域的大小的比值；

所述第二检测区域内包含的特征点的数量和位置；

所述第二检测区域内包含的各个特征点的运动量；

所述第二检测区域内包含的各个特征点的运动方向。

通过至少一种参数可以实现权重值的自适应调整，进一步保证潜在危险目标检测的准确性和定位精度。

第二方面，本申请实施例提供一种潜在危险目标检测装置，该装置可具有实现上述第一方面或第一方面的任一种可能的设计中的功能。上述潜在危险目标检测装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，所述硬件或软件包括一个或多个与上述功能相对应的模块。

示例性的，该装置可以包括接口单元和处理单元。其中，接口单元，用于获取连续的至少两帧图像，所述连续的至少两帧图像为对汽车两侧的场景进行图像采集得到的；处理单元，用于确定第一图像中的感兴趣ROI区域，并确定所述ROI区域内包括的各个特征点的运动信息，每个所述特征点的运动信息包括所述特征点的运动方向；所述第一图像为所述至少两帧图像中的任意一帧图像；以及根据所述各个特征点的运动信息，对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标；最后根据每个所述目标包括的至少一个特征点的运动方向，确定每个所述目标的运动方向；将所述至少一个目标中运动方向与所述汽车的行车方向相同的目标，确定为潜在危险目标。

在一种可能的设计中，所述处理单元，具体在确定第一图像中的ROI区域时，可以根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域。其中，所述图像采集设备的参数可以包括内参和外参，所述内参用于世界坐标系和图像采集设备坐标系之间的转换，所述外参用于所述图像采集设备坐标系和二维坐标系之间的转换；所述汽车的运动信息包括所述汽车的行车方向和行车速度。

在一种可能的设计中，所述处理单元，具体在根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域时，可以根据所述汽车的行车方向和行车速度、及所述汽车的安全距离对应的碰撞时间，确定潜在危险区域的纵向长度；再根据所述汽车所在的车道的宽度，确定所述潜在危险区域的横向长度；最后根据所述潜在危险区域的纵向长度、横向长度及所述图像采集设备的参数，确定第一图像中的ROI区域。

在一种可能的设计中，所述处理单元，具体用于在对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标时，可以先对所述ROI区域内包括的各个特征点进行聚类，得到至少一个第一检测区域，所述至少一个第一检测区域位于所述ROI区域内；然后确定所述至少一个第一检测区域分别对应的第一置信度；所述至少一个第一检测区域分别对应的第一置信度是在对所述ROI区域内包括的各个特征点进行聚类时确定的；再过滤掉所述至少一个第一检测区域中第一置信度小于第一置信度阈值的第一检测区域，得到剩余的至少一个第一检测区域，作为至少一个第二检测区域，所述第一置信度阈值大于0且小于1；进而根据确定的权重值，对所述至少一个第二检测区域分别对应的第一置信度进行加权，得到所述至少一个第二检测区域分别对应的第二置信度；然后过滤掉所述至少一个第二检测区域中第二置信度小于第二置信度阈值的第二检测区域，得到剩余的至少一个第二检测区域，所述第二阈值大于所述第一阈值，且小于1；最后将剩余的每个第二检测区域中分别包括的目标，作为位于所述ROI区域内的至少一个目标。

在一种可能的设计中，所述权重值可以根据以下参数中的至少一种确定：

所述第一检测区域和所述第二检测区域的交并比，所述交并比为所述第一检测区域和所述第二检测区域的交集区域的大小与所述第一检测区域和所述第二检测区域的并集区域的大小的比值；

所述第二检测区域内包含的特征点的数量和位置；

所述第二检测区域内包含的各个特征点的运动量；

所述第二检测区域内包含的各个特征点的运动方向。

第三方面，本申请实施例提供一种潜在危险目标检测装置，该装置可具有实现上述第一方面或第一方面的任一种可能的设计中的功能。上述潜在危险目标检测装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，所述硬件或软件包括一个或多个与上述功能相对应的模块。

该装置的结构中包括至少一个处理器，还可以包括至少一个存储器。至少一个处理器与至少一个存储器耦合，可用于执行存储器中存储的计算机程序指令，以使装置执行上述第一方面或第一方面的任一种可能的设计中的方法。可选地，该装置还包括通信接口，处理器与通信接口耦合。当装置为服务器时，该通信接口可以是收发器或输入/输出接口；当该装置为服务器中包含的芯片时，该通信接口可以是芯片的输入/输出接口。可选地，收发器可以为收发电路，输入/输出接口可以是输入/输出电路。

第四方面，本申请实施例提供一种芯片系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序或指令，当所述程序或指令被所述处理器执行时，使得该芯片系统实现上述第一方面或第一方面的任一种可能的设计中的方法。

可选地，该芯片系统还包括接口电路，该接口电路用于接收代码指令并传输至所述处理器。

可选地，该芯片系统中的处理器可以为一个或多个，该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。

可选地，该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起，也可以和处理器分离设置，本申请并不限定。示例性的，存储器可以是非瞬时性处理器，例如只读存储器ROM，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请对存储器的类型，以及存储器与处理器的设置方式不作具体限定。

第五方面，本申请实施例提供一种潜在危险目标检测装置，包括处理器和接口电路；所述接口电路，用于接收代码指令并传输至所述处理器；所述处理器用于运行所述代码指令以执行上述第一方面或第一方面的任一种可能的设计中的方法。

第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序或指令，当该计算机程序或指令被执行时，使得计算机执行上述第一方面或第一方面的任一种可能的设计中的方法。

第七方面，本申请实施例提供一种计算机程序产品，当计算机读取并执行所述计算机程序产品时，使得计算机执行上述第一方面或第一方面的任一种可能的设计中的方法。

上述第二方面至第七方面中任一方面及其任一方面中任意一种可能的设计可以达到的技术效果，请参照上述第一方面及其第一方面中相应设计可以带来的技术效果描述，这里不再重复赘述。

附图说明

图1为本申请实施例提供的一种潜在危险目标示意图；

图2a为一种目标检测架构示意图；

图2b为一种目标检测流程示意图；

图3、图7、图8为本申请实施例提供的一种潜在危险目标检测的流程示意图；

图4为一种坐标系之间转换的示意图；

图5为本申请实施例提供的一种ROI示意图；

图6为本申请实施例提供的一种物体运动方向示意图；

图9、图10为本申请实施例提供的一种潜在危险目标检测装置结构示意图。

具体实施方式

本申请提供一种潜在危险目标检测方法及装置，旨在更加快速准确地实现潜在危险目标的检测，从而及时做出响应，保证汽车安全。其中，方法和装置是基于同一技术构思的，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。

以下对本申请实施例的部分用语进行解释说明，以便于本领域技术人员理解。

1)潜在危险目标，指出现在汽车两侧，且可能会快速切换到汽车前方的目标，这类目标会导致出现安全隐患，影响汽车安全。如图1所示，潜在危险目标如虚线框标注所示，汽车和潜在危险目标的行驶方向如箭头方向所示，由于潜在危险目标位于汽车两侧，因此汽车驾驶人员无法及时感知到所述潜在危险目标的存在，也无法及时对近距离快速切入到汽车前方的潜在危险目标做出响应(如做出制动或避让等操作)，导致出现安全隐患，影响汽车安全，因此如何快速准确地检测出潜在危险目标，并使汽车驾驶人员及时或提前做出响应就显得非常重要。

所述目标或者所述潜在危险目标可以为车辆和/或行人，所述车辆可以为机动车(即汽车)和/或非机动车(如图1所示的电动自行车)。

目标的行驶方向与所述汽车的行驶方向相同或不同，例如图1中所述目标的行驶方向与所述汽车的行驶方向相同。当所述目标的行驶方向与所述汽车的行驶方向相同，且潜在危险目标位于汽车两侧时，更不易被汽车驾驶人员观察到，当所述目标近距离快速切入到汽车前方时，汽车驾驶人员也更不易及时做出响应，因此出现安全隐患的可能性更高，本申请实施例中主要以这类目标作为潜在危险目标进行说明。

本申请实施例中所述涉及的汽车主要指行驶状态的汽车。

为了便于区分，本申请实施例中，将所述汽车的行驶方向也称为行车方向，将所述汽车的行驶速度也称为行车速度，将目标的行驶方向也称为运动方向，将所述目标的行驶速度也称为运动速度。

2)图像处理过程中涉及到的坐标系：世界坐标系、相机坐标系、图像坐标系和像素坐标系。

所述世界坐标系为绝对的坐标系，用于描述相机和物体在三维空间中的真实位置，单位为米(meter，m)。所述世界坐标系也可以看作是一个基准坐标系。所述世界坐标系可以表示为O_w-X_wY_wZ_w，其中O_w为所述世界坐标系的原点，X_w、Y_w和Z_w构成所述世界坐标系的三个坐标轴。所述世界坐标系中某个点的坐标可以表示为(X,Y,Z)或者(X_w,Y_w,Z_w)。

所述相机坐标系是以相机的聚焦中心(即相机的光心)为原点，以相机的光轴为Z轴建立的三维直角坐标系，单位为m。所述相机坐标系可以表示为O_c-X_cY_cZ_c，其中O_c为所述相机坐标系的原点，X_c、Y_c和Z_c构成所述相机坐标系的三个坐标轴。所述相机坐标系中某个点的坐标可以表示为(X_c,Y_c,Z_c)。

所述图像坐标系是以相机的光心为原点建立的二维坐标系，所述相机的光心为图像中点，单位为毫米(millimeter，mm)。所述图像坐标系可以表示为o-xy，其中o为所述图像坐标系的原点，x和y构成所述图像坐标系的两个坐标轴。所述图像坐标系中某个点的坐标可以表示为(x，y)。f表示相机焦距，为o和O_c的距离。

所述像素坐标系是以图像左上角为原点建立的二维坐标系，单位为像素(pixel)。所述像素坐标系的两个坐标轴由u和v构成。所述像素坐标系中某个点的坐标可以标识为(u，v)。

上述这些坐标系之间可以互相转换。

可以理解的是，本申请实施例中仅以“相机”为例进行说明，而不对图像采集设备的类型构成限定，所述“相机”也可以替换为其他类型的图像采集设备，如摄像头、行车记录仪等等。

3)相机的参数，包括外参和内参，所述外参用于决定所述世界坐标系和所述相机坐标系之间的相对位置关系，所述内参用于确定所述相机从三维空间到二维图像的投影关系。也就是说，所述相机的参数可以实现上述坐标系之间的转换。

4)感兴趣区域(region of interesting，ROI)，是在图像中选择的图像区域，ROI的内容相比图像中其他区域的内容更让人感兴趣或者关注，可以作为图像处理过程中所关注的焦点。感兴趣区域中的内容为感兴趣的目标，在本申请实施例中包括潜在危险目标。

本申请中的“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请中所涉及的多个，是指两个或两个以上。

另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

为了便于理解本申请实施例，先对本申请使用的应用场景进行说明。

随着汽车保有量的增加，汽车安全也被越来越多的人所重视。目前为了保证汽车安全，汽车都配置有安全带和安全气囊，此外，AEB、车道保持辅助(lane keepingassistance，LKA)等主动安全系统也逐渐成为汽车的标配。AEB系统的工作原理为：利用相机检测汽车前方道路存在的目标，当检测到的目标与汽车之间的距离不超过报警距离时，认为该目标存在碰撞风险，此时汽车会自动采用制动措施。

现有技术中可以基于机器学习实现目标的检测，这种检测方式对于位于汽车前方的完整目标的检测率很高。但是对于可能出现在汽车两侧且可能会快速切入到汽车前方的目标，机器学习的检测方式在检测时，可能出现检测不到目标或目标检测过晚的情况。这是因为这类目标在采集到的图像中仅部分可见且出现时间短，机器学习的检测方式对于目标在仅部分可见时很难检测出，导致检测过晚，并且由于这种仅部分可见的目标的检测结果严重依赖于机器学习时的样本数据，因此也可能出现检测不到目标的情况。在检测不到目标或目标检测过晚的情况下，AEB功能的响应时间就被压缩，导致无法保证汽车安全。

为了能够提前响应潜在危险目标，现有技术中还提出以下方式。

方式一、将激光雷达的测距能力和视觉摄像头的采集功能进行融合，确定目标的精确位置，从而实现提前响应，保证汽车安全。

如图2a所示，汽车包括车速传感器、激光雷达、视觉摄像头、数字图像处理器、数据处理器、预警指示器和控制器区域网(controller area network，CAN)总线。所述激光雷达设置在车顶，所述激光雷达可以检测位于所述汽车前方和两侧的目标，并测量所述目标与所述汽车之间的距离，以及所述目标的运动速度。所述视觉摄像头采集所述目标的图像，所述数字图像处理器可以对所述目标的图像进行处理，得到所述目标的相关信息。所述数据处理器可以融合所述激光雷达测量的距离信息和由视觉摄像头获取到的目标的相关信息，确定所述目标的精确位置。所述车速传感器可以采集所述汽车的行车速度，将所述行车速度通过CAN总线发送给数据处理器，所述数据处理器根据所述目标的精确位置、所述目标的运动速度和所述汽车的行车速度，确定所述目标与所述汽车之间的距离是否不超过报警距离。若所述目标与所述汽车之间的距离不超过报警距离，则通过所述预警指示器进行预警以实现提前响应。

该方式中需要在汽车中额外增加一个激光雷达，目前激光雷达的应用成本高、且易损坏，因此该方式的商用价值有限，并且车规级的激光雷达很少，不能很好适应汽车安全的需求。

方式二、将汽车的可行驶区域的检测功能和目标的检测功能相结合，确定是否存在潜在危险目标，从而实现提前响应，保证汽车安全。如图2b所示，包括以下步骤：

S201：根据可行驶区域检测功能，在前视相机采集到的图像中获取可行驶区域点集。所述前视相机可以安装在所述汽车中。

S202：对所述可行驶区域点集进行预处理。

S203：对预处理后的所述可行驶区域点集中的像素点进行聚类，确定所述可行驶区域中包括的至少一个目标。

S204：生成所述至少一个目标在所述可行驶区域中的坐标。

S205：对所述至少一个目标进行跟踪，确定是否存在近距离切入的潜在危险目标。如果是，执行S206；如果否，返回所述S201，继续采集图像。

S206：根据不同情形计算需要控制的所述汽车的加减速度。

S207：根据所述潜在危险目标的运动速度和汽车本身的行车速度，提前进行所述汽车的远距离控制，以实现提前响应。

该方式中可行驶区域的检测过程也是基于深度学习方法实现的，同样需要大量的样本，但是可行驶区域检测所需的标注样本获取比较困难，标注精度不高，因此也无法快速准确地检测出可行驶区域，因此该方式不能很好适应汽车安全的需求。并且可行驶区域检测所需的标注样本均通过人工标注，还会增加数据依赖和应用成本。

综上，现有技术中提出的几种方式也无法快速准确地检测出潜在危险目标，从而无法保证汽车行车安全。

基于此，本申请实施例提供了一种潜在危险目标检测方法及装置，用以快速准确地检测出潜在危险目标，以提前响应，保证汽车行车安全。如图3所示，包括以下步骤，下述过程可以由车载设备执行，当然也可以由路侧设备执行：

S301：检测模块根据相机的参数，以及汽车的运动信息，确定ROI区域。所述检测模块可以位于所述汽车内，或者可以位于所述汽车外部的其他设备中，如位于汽车行驶道路两侧的路侧设备中，并将检测的信息发送到远程的服务器中处理等。

所述相机可以设置在汽车上，并且所述相机可以拍摄到所述汽车两侧场景的(全部或部分)图像，例如所述相机可以为安装在汽车上的行车记录仪。所述相机的参数一般指所述相机的内外参数，即包括所述相机的内参和外参。所述相机的参数用于实现所述相机所在的二维坐标系(二维图像/二维平面)和世界坐标系(三维空间)之间转换。当然，所述相机也可以不位于汽车上，如所述相机设置在汽车所处位置的路侧设备中，由路侧设备对所述汽车两侧的场景进行图像采集。

所述汽车的运动信息包括但不限于所述汽车的行车方向和行车速度。可选的，所述相机可以采集连续的多帧图像，所述检测模块根据所述连续的多帧图像，确定所述汽车的行车方向和行车速度。或者可选的，所述汽车中的动力系统直接采集所述汽车的行车方向和行车速度，并上报给所述检测模块。

所述ROI区域与汽车的运动信息有关，其中所述行车方向和所述行车速度可以决定所述汽车两侧的ROI区域的大小。所述汽车两侧指所述汽车的左侧和右侧，所述汽车的左侧和右侧可以为相对于汽车驾驶人员在驾驶车辆时面部朝向的左右。

在该S301中，所述检测模块可以根据所述汽车的行车方向和行车速度确定所述汽车两侧潜在危险区域的大小，再根据所述潜在危险区域的大小和所述相机的参数，确定所述汽车两侧ROI区域的大小。其中所述潜在危险区域为在所述三维空间中的区域，即在所述世界坐标系中的区域，所述ROI区域为在所述二维图像中的区域，即在所述图像坐标系或所述像素坐标中的区域。示例性的，所述世界坐标系需要转换到所述相机坐标系，再由所述相机坐标系投影到图像坐标系，所述图像坐标系还可以转换到所述像素坐标系。其中图4所示为所述相机的小孔成像原理示意图，所述小孔成像原理示意图中体现了所述相机坐标系和所述图像坐标系的投影关系，所述相机坐标系中点P的坐标为(X，Y，Z)，所述点P在所述图像坐标系中的投影点为点p，所述点p的坐标为(x，y，f)，所述f表示相机焦距。所述世界坐标系到所述像素坐标系的转换公式如公式一所示，所述相机内参为

所述相机外参为

所述相机外参中R和T分别表示所述世界坐标系转换到所述相机坐标系的旋转矩阵和平移矢量，所述相机内参中u₀和v₀分别表示所述相机坐标系的原点在所述像素坐标系中坐标值，所述相机内参中f_x和f_y分别表示相机焦距在所述相机坐标系x轴方向(水平方向)和y轴方向(竖直方向)上的分量。dx和dy分别表示x轴方向和y轴方向上一个像素的长度，单位为mm。

例如所述汽车的运动方向为向前行驶，所述汽车的运动速度为20千米/时(km/h)，假设汽车的安全距离对应的碰撞时间(time to collision，TTC)为1秒(s)，其中1m/s等于3.6km/h，所述检测模块可以确定所述潜在危险区域的纵向长度为一个安全距离，即所述潜在危险区域的纵向长度＝20km/h÷3.6km/h≈5.5m，所述潜在危险区域的横向长度可以为距离所述汽车前保险杠一个车道的横向距离(例如为3.75m)。所述检测模块根据所述潜在危险区域，可以转换得到的二维图像的ROI区域，例如位于所述汽车两侧的ROI区域如图5中虚线框所示，即所述虚线框所框出的区域即为所述ROI区域。

所述ROI区域为需要关注的可能出现潜在危险目标的区域，也就是说，所述ROI区域中可能包括潜在危险目标。所述检测模块如何在ROI区域中检测所述潜在危险目标，将在下述步骤中详细说明。

所述检测模块可以在采集到的每帧图像中，都确定ROI区域。这样所述ROI区域可以根据所述汽车的运动信息的改变而动态调整。

在该S301中，所述检测模块根据相机的内外参数以及汽车的运动信息计算生成ROI区域，可以大幅降低计算量，并减少其他不相关的区域带来的噪声干扰，ROI区域的检测过程不依赖于深度学习的方法，也无需标注大量的ROI样本，因此可以快速准确检测出ROI。

S302：所述检测模块在所述ROI区域中进行特征点提取。

所述特征点提取的过程也可以看作角点的检测过程，角点可以理解为具有特定特征的像素点。

例如，可以采用HARRIS角点检测、或者FAST角点检测等方法进行角点的检测。所述HARRIS角点检测方法的基本原理为：使用一个固定的窗口在图像中进行任意方向上的滑动，比较滑动前后对应窗口中的像素点灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，则该窗口中存在角点。所述FAST角点检测方法的基本原理为：若某个像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点，在灰度图像中，该像素点的灰度值大于或小于其周围领域内足够多的像素点的灰度值。

该S302中提取到的特征点可能属于所述潜在危险目标，可能不属于所述潜在危险目标。

所述检测模块可以在每帧图像的ROI区域中都进行特征点的提取。

可选的，所述检测模块在提取到一个或多个特征点之后，还可以确定特征点在二维图像中的位置。所述特征点在二维图像中的位置可以采用所述图像坐标系或像素坐标系下的坐标来表示，在本申请实施例中主要以图像坐标系下的坐标为例进行说明。

S303：所述检测模块确定所述ROI区域内特征点的帧间运动信息。

在该S303中，所述检测模块可以根据连续的(至少)两帧图像，确定图像中ROI区域内特征点的帧间运动信息。例如，所述检测模块确定当前帧中ROI区域包括第一特征点，且所述当前帧的前一帧图像中ROI区域也包括所述第一特征点，可以理解，所述前一帧图像中的第一特征点为与所述当前帧图像中所述第一特征点对应的特征点，所述第一特征点对应的特征点指与所述第一特征点位置对应的特征点，和/或与所述第一特征点所具有的特征对应的特征点。所述第一特征点在所述前一帧图像中的位置为(x1，y1)，所述第一特征点在所述当前帧图像中的位置为(x2，y2)，所述检测模块确定所述第一特征点的帧间运动为(x1，y1)到(x2，y2)，所述检测模块可以根据(x1，y1)和(x2，y2)确定所述第一特征点的帧间移动的方向和速度。示例性的，所述检测模块可以根据(x1，y1)到(x2，y2)的方向，确定所述第一特征点的帧间移动的方向，所述检测模块可以根据(x1，y1)和(x2，y2)之间的距离，以及两帧图像间的采集时间间隔，确定所述第一特征点的帧间移动的速度，所述检测模块可以根据(x1，y1)和(x2，y2)之间的距离，确定所述第一特征点的帧间移动的大小，即运动量。

其中，所述检测模块可以根据金字塔光流算法(Lukas-Kanade光流算法)，基于相邻两帧间光照不变性假设，对所述前一帧图像中第一特征点的位置进行跟踪，得到所述第一特征点在当前帧图像中的位置。

S304：所述检测模块获取所述汽车的运动信息。

所述汽车的运动信息包括所述汽车的行车方向和行车速度，还可以包括所述汽车的档位和方向盘转角等信息。

在该S304中，所述检测模块可以通过CAN总线获取所述汽车的运动信息。

S305：聚类模块将特征点进行聚类为包围矩形框(bonding box，BBOX)，将所述BBOX反馈给所述检测模块。所述检测模块可以根据所述BBOX的第一置信度，将第一置信度小于第一置信度阈值的BBOX过滤。

在该S305中，所述聚类模块可以对所述ROI中的特征点进行聚类，得到至少一个BBOX，每个BBOX中包括一个目标。也就是说，在所述ROI区域中聚类得到至少一个目标。一般的，由于实际场景的复杂性，在所述ROI区域中可以聚类得到多个BBOX、多个目标。每个BBOX即为一个检测框，检测框所框出的区域为检测区域，因此在本申请实施例中，检测框和检测区域可以等同理解，检测框和检测区域的概念可以替换使用。

在该S305中，所述聚类模块可以根据符合条件的特征点，以最小外接矩形框进行聚类，所述BBOX即为所述最小外接矩形框。由于特征点并非均匀分布，因此聚类出的BBOX不一定很精确，但是对后续步骤确定出潜在危险目标具有指导意义。由于聚类出的BBOX不一定精确，因此也可以将BBOX看作是聚类得到的粗略的BBOX。

其中聚类到一个BBOX中的多个特征点可以具有以下一种或多种特征：特征点的运动速度大于或等于所述汽车的行车速度、特征点的运动方向与所述汽车的行车方向相同、特征点的运动方向与所述汽车的行车方向相反、或特征点的数量超过第一数量。所述第一数量为预设的BBOX中包含的特征点数量的最小值，可以限定BBOX区域的大小。例如所述符合条件的特征点为运动状态符合潜在危险目标的运动状态的特征点，即所述符合条件的特征点的运动方向与所述汽车的行车方向相同，且运动速度大于或等于所述汽车的行车速度。一般的，聚类到一个BBOX的多个特征点属于同一目标，BBOX中可能包括潜在危险目标。所述潜在危险目标的BBOX可以如图1中虚线框所示。

对于位于汽车两侧且近距离快速切入到汽车前方的目标，汽车驾驶人员更不易被观察到，也更不易及时做出响应，因此可以将这类目标作为潜在危险目标，潜在危险目标的运动方向和所述汽车的行车方向相同。与汽车的行驶方向不同的目标易被汽车驾驶人员观察到，因此可以将这类目标作为非潜在危险目标，也就是说非潜在危险目标的运动方向和所述汽车的行车方向不同。可选的如图6所示，所述潜在危险目标和所述非潜在危险目标可以采用不同的标记方式在图像中进行标记，从而进行更明显的区分，例如所述潜在危险目标与所述非潜在危险目标可以采用不同颜色的标注框进行标记，和/或所述潜在危险目标的运动方向对应的箭头，与所述非潜在危险目标的运动方向对应的箭头颜色不同。

所述BBOX包括所述BBOX的位置信息、所述BBOX中目标所属的类别信息及属于该类别的第一置信度，目标的置信度也用于表示所述BBOX的置信度，所述第一置信度可以看作是所述BBOX中的目标属于该类别的可信程度，该可信程度一般采用概率表示，所述第一置信度的取值区间为[0,1]。

在本申请实施例中设置了至少两个置信度阈值，以设置两个置信度阈值为例，包括第一置信度阈值和第二置信度阈值，所述第一置信度阈值小于第二置信度阈值，且所述第一置信度阈值不小于0，所述第二置信度阈值不大于1。在该S305中通过设置较低的第一置信度阈值(以下称为低阈值)，可以释放更多的BBOX，提高潜在危险目标的检测率。

在该S305中，所述检测模块可以根据机器学习和深度学习技术通过滑动窗口的方式，在ROI区域中检测到BBOX，此时所述聚类模块可以是采用机器学习和深度学习技术训练得到。或者所述检测模块可以将图像(所述图像中标注有所述ROI区域)输入神经网络中得到BBOX，此时所述聚类模块可以是基于神经网络架构的聚类模型。

为了便于区分，所述聚类模块聚类得到的BBOX采用Bp表示，经过第一置信度阈值筛选得到的BBOX采用Bi表示。

S306：所述检测模块将所述BBOX的置信度提高至第二置信度，将第二置信度小于第二置信度阈值的BBOX过滤，输出最终的检测结果。

所述检测模块可以通过加权的方式提高所述BBOX的置信度，采用较高的第二置信度阈值(以下称为高阈值)进一步筛选，从而降低误检率，提高检测准确率。

例如，所述检测模块将所述BBOX从第一置信度{Bi}提高到第二置信度{Wi*Bi}，所述第二置信度的取值区间为[0,1]。其中Wi为自适应的权重，可以根据以下至少一种参数进行调整：

参数一：Bi与Bp的交并比(intersection over union，IOU)，Bi可以为经过第一置信度阈值筛选得到的BBOX，Bp可以聚类模块为对特征点聚类后得到的BBOX。所述Bi与Bp的交并比即为所述Bi和Bp的交集区域的大小，与Bi和Bp的并集区域的大小的比值。IOU值越高则Bi的分类置信度越高，Bi的定位准确度越高，相应的Wi值越大。

参数二：Bi内包含的特征点的数量和位置，特征点的位置可以用于表示Bi定位准确度。特征点数量越多，Bi的分类置信度越高，Bi的定位准确度越高，相应的Wi值越大。

参数三：Bi内包含的特征点的运动方向，特征点不同的运动方向对加权系数Wi的贡献不同。越符合切入目标(即潜在危险目标)运动方向的特征点对Wi的贡献越大，例如运动方向与汽车的行车方向相同的特征点对Wi的贡献越大，相应的Wi值越大。

参数四：Bi内包含的特征点的运动量，特征点不同的运动量对Wi的贡献不同。特征点的运动量越大，对Wi的贡献越大，特征点的运动量越小，对Wi的贡献越小，这样可以保证有限检测出快速切入的目标。

在该S306中，通过提高候选检测区域的置信度，以及设置高阈值，可以降低误检率，提高检测的准确性和定位精确度。

在该S306中，所述检测模块可以综合加权后的分类置信度和定位准确度进行进一步筛选后，再经过非极大值抑制(non-maximum suppression，NMS)得到最终的检测结果。例如，所述NMS可以根据加权后的分类置信度和定位准确度，进一步筛选得到的BBOX，输出最终的检测结果。所述分数阈值可以为任意数值，在本申请实施例中不做限定。

其中S305和S306中可以看作在ROI内使用双阈值进行检测，双阈值包括低阈值Tlow和高阈值Thigh，其中0<Tlow<Thigh<1。可以理解，所述双阈值检测的方法也可以直接应用在采集到的图像中。双阈值检测的过程可以参见图7，包括以下步骤：

S701：检测模块将采集到的图像输入到神经网络中，基于所述神经网络，得到输出第一检测区域。

所述神经网络可以实现上述S305中所述聚类模块的功能，所述第一检测区域为上述S305中聚类得到的BBOX。

S702：所述检测模块确定第一检测区域是否位于ROI区域内。针对位于所述ROI内的第一检测区域，执行S703，针对不位于所述ROI内的第一检测区域，执行S705。

S703：所述检测模块采用低阈值Tlow，对第一置信度不超过所述Tlow的第一检测区域进行过滤，得到第二检测区域。所述第二检测区域的第一置信度等于或大于所述Tlow。

S704：所述检测模块计算所述第二检测区域的权重Wi，并采用所述权重Wi对所述第一置信度进行加权，得到计算所述第二检测区域的第二置信度{Wi*Bi}。

S705：所述检测模块采用高阈值Thigh，对第二置信度不超过所述Thigh的第二检测区域进一步过滤，得到第三检测区域。所述第三检测区域的第二置信度等于或大于所述Thigh。

S706：所述检测模块经过NMS算法，对所述第三检测区域进一步过滤，输出最终的检测结果。

示例性的，所述NMS算法的输入为多个第三检测区域的位置和每个第三检测区域的第二置信度。所述NMS算法的筛选条件包括：对于有重叠的第三检测区域，将重叠的若干第三检测区域中第二置信度超过第三置信度阈值的第三检测区域删除，将不超过所述第三置信度阈值的第三检测区域删除；对于无重叠的第三检测区域，保留该第三检测区域。所述NMS输出一个或多个满足删除筛选条件的第三检测区域作为最终的检测区域，所述最终检测区域中包括潜在危险目标。

现有技术中对完整目标的检测率较高，但是对于快速切入的目标，在相机的视场范围(field of vision，FOV)外进入到FOV内的过程中，就需要提前检测出来，并且期望越快检测出来，因此在目标遮挡越严重时，对检测能力的要求越高。而主流的机器学习和深度学习的检测方法在检测潜在危险目标时，严重依赖样本数据，并且需要消耗更多的算力，才可以保证检测模型对严重遮挡目标的精度检测，而更多的算力就对系统资源提高了更高的要求，也降低了系统的检测实时性。而本申请实施例提供的潜在危险目标方法减少了遮挡目标对样本的依赖性，能够在使用更少算力的情况下提高对切入目标的快速精准检测，并且本申请实施例中仅使用了图像采集设备，无需引入其他传感器，降低系统成本。

结合上述实施例及附图，如图8所示，本申请实施例提供一种潜在危险目标检测方法。包括以下步骤：

S801：第一设备获取连续的至少两帧图像，所述连续的至少两帧图像为对汽车两侧的场景进行图像采集得到的。

所述第一设备可以为汽车或位于汽车内，或者所述第一设备为汽车外部的其他设备，如远程的服务器，所述服务器进行潜在危险目标检测，然后将检测结果发送给所述汽车。

一种可能的场景下，所述汽车上安装有图像采集设备，所述图像采集设备可以对汽车两侧的场景进行图像采集，如可以采集到连续的至少两帧图像。另一种可能的场景下，所述汽车所处位置的路侧单元也可以对所述汽车两侧的场景进行图像采集，即所述路侧单元中安装有图像采集设备。

所述图像采集设备采集到的图像中可能包括完整的目标图像，可能包括仅部分可见的目标图像。

S802：所述第一设备确定第一图像中的ROI区域，并确定所述ROI区域内包括的各个特征点的运动信息，每个所述特征点的运动信息包括所述特征点的运动方向；所述第一图像为所述至少两帧图像中的任意一帧图像。

在该S802中，所述第一设备还可以根据用于对所述图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域。

所述图像采集设备的参数包括内参和外参，所述内参用于世界坐标系和图像采集设备坐标系之间的转换，所述外参用于所述图像采集设备坐标系和二维坐标系之间的转换；所述汽车的运动信息包括所述汽车的行车方向和行车速度。

例如，所述第一设备可以根据所述汽车的行车方向和行车速度、及所述汽车的安全距离对应的碰撞时间，确定潜在危险区域的纵向长度；根据所述汽车所在的车道的宽度，确定所述潜在危险区域的横向长度；根据所述潜在危险区域的纵向长度、横向长度及所述图像采集设备的参数，确定第一图像中的ROI区域。

S803：所述第一设备根据所述各个特征点的运动信息，对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标。

所述第一设备可以将特征信息符合条件的多个特征点进行聚类。

S804：所述第一设备根据每个所述目标包括的至少一个特征点的运动方向，确定每个所述目标的运动方向。

聚类得到的第一检测区域中的各特征点的运动方向相同，因此可以采用至少一个特征点的运动方向，确定该第一检测区域内目标的运动方向。

S805：所述第一设备将所述至少一个目标中运动方向与所述汽车的行车方向相同的目标，确定为潜在危险目标。

在该S805中，对所述ROI区域内包括的各个特征点进行聚类，得到至少一个第一检测区域，所述至少一个第一检测区域位于所述ROI区域内；确定所述至少一个第一检测区域分别对应的第一置信度；所述至少一个第一检测区域分别对应的第一置信度是在对所述ROI区域内包括的各个特征点进行聚类时确定的；过滤掉所述至少一个第一检测区域中第一置信度小于第一置信度阈值的第一检测区域，得到剩余的至少一个第一检测区域，作为至少一个第二检测区域，所述第一置信度阈值大于0且小于1；根据确定的权重值，对所述至少一个第二检测区域分别对应的第一置信度进行加权，得到所述至少一个第二检测区域分别对应的第二置信度；过滤掉所述至少一个第二检测区域中第二置信度小于第二置信度阈值的第二检测区域，得到剩余的至少一个第二检测区域，所述第二阈值大于所述第一阈值，且小于1；将剩余的每个第二检测区域中分别包括的目标，作为位于所述ROI区域内的至少一个目标。

其中，所述权重值根据以下参数中的至少一种确定：

所述第一检测区域和所述第二检测区域的交并比，所述交并比为所述第一检测区域和所述第二检测区域的交集区域的大小与所述第一检测区域和所述第二检测区域的并集区域的大小的比值；

所述第二检测区域内包含的特征点的数量和位置；

所述第二检测区域内包含的各个特征点的运动量；

所述第二检测区域内包含的各个特征点的运动方向。

本申请实施例中图8所示的具体实现方式可以参见上述相关实施例的介绍。

本申请实施例中各个实施例可以相互结合使用，也可以单独使用。

图8中主要从方法流程的角度对本申请提供的方案进行了介绍。可以理解的是，为了实现上述功能，装置可以包括执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在采用集成的单元的情况下，图9示出了本申请实施例中所涉及的潜在危险目标检测装置的可能的示例性框图，该潜在危险目标装置900可以以软件的形式存在。潜在危险目标装置900可以包括：接口单元901和处理单元902。

该潜在危险目标装置900可以为上述汽车或者还可以为设置在汽车或其他设备中的半导体芯片。具体地，在一个实施例中，所述接口单元901，用于获取连续的至少两帧图像，所述连续的至少两帧图像为对汽车两侧的场景进行图像采集得到的；

所述处理单元902，用于确定第一图像中的感兴趣ROI区域，并确定所述ROI区域内包括的各个特征点的运动信息，每个所述特征点的运动信息包括所述特征点的运动方向；所述第一图像为所述至少两帧图像中的任意一帧图像；以及

根据所述各个特征点的运动信息，对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标；

根据每个所述目标包括的至少一个特征点的运动方向，确定每个所述目标的运动方向；将所述至少一个目标中运动方向与所述汽车的行车方向相同的目标，确定为潜在危险目标。

在一种可能的设计中，所述处理单元902确定第一图像中的ROI区域时，具体用于：根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域。

所述图像采集设备的参数包括内参和外参，所述内参用于世界坐标系和图像采集设备坐标系之间的转换，所述外参用于所述图像采集设备坐标系和二维坐标系之间的转换；所述汽车的运动信息包括所述汽车的行车方向和行车速度。

在一种可能的设计中，所述处理单元902根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域时，具体用于：根据所述汽车的行车方向和行车速度、及所述汽车的安全距离对应的碰撞时间，确定潜在危险区域的纵向长度；根据所述汽车所在的车道的宽度，确定所述潜在危险区域的横向长度；根据所述潜在危险区域的纵向长度、横向长度及所述图像采集设备的参数，确定第一图像中的ROI区域。

在一种可能的设计中，所述处理单元902对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标时，具体用于：对所述ROI区域内包括的各个特征点进行聚类，得到至少一个第一检测区域，所述至少一个第一检测区域位于所述ROI区域内；确定所述至少一个第一检测区域分别对应的第一置信度；所述至少一个第一检测区域分别对应的第一置信度是在对所述ROI区域内包括的各个特征点进行聚类时确定的；过滤掉所述至少一个第一检测区域中第一置信度小于第一置信度阈值的第一检测区域，得到剩余的至少一个第一检测区域，作为至少一个第二检测区域，所述第一置信度阈值大于0且小于1；根据确定的权重值，对所述至少一个第二检测区域分别对应的第一置信度进行加权，得到所述至少一个第二检测区域分别对应的第二置信度；过滤掉所述至少一个第二检测区域中第二置信度小于第二置信度阈值的第二检测区域，得到剩余的至少一个第二检测区域，所述第二阈值大于所述第一阈值，且小于1；将剩余的每个第二检测区域中分别包括的目标，作为所位于所述ROI区域内的至少一个目标。

在一种可能的设计中，所述权重值根据以下参数中的至少一种确定：

所述第一检测区域和所述第二检测区域的交并比，所述交并比为所述第一检测区域和所述第二检测区域的交集区域的大小与所述第一检测区域的和所述第二区域的并集区域的大小的比值；

所述第二检测区域内包含的特征点的数量和位置；

所述第二检测区域内包含的各个特征点的运动量；

所述第二检测区域内包含的各个特征点的运动方向。

本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

如图10所示，本申请实施例还提供了另一种可能的潜在危险目标检测装置的结构示意图，该潜在危险目标检测装置包括至少一个处理器1002和至少一个通信接口1004。进一步地，该潜在危险目标检测装置中还可以包括存储器1006，所述存储器1006用于存储计算机程序或指令。所述存储器1006既可以是处理器内的存储器，也可以是处理器之外的存储器。在图10中所描述的各单元模块为通过软件实现的情况下，所述处理器1002执行相应动作所需的软件或程序代码存储在存储器1006中。所述处理器1002用于执行存储器1006中的程序或指令，以实现上述实施例中图8所示的步骤。通信接口1004用于实现该装置与其他装置之间的通信。

在存储器1006置于处理器之外的情况下，所述存储器1006、处理器1002和通信接口1004通过总线1008相互连接，所述总线1008可以是外设部件互连标准(peripheralcomponent interconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。应理解，总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

需要说明的是，该装置1000中的各个模块的操作和/或功能分别为了实现图8中所示方法的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供一种芯片系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序或指令，当所述程序或指令被所述处理器执行时，使得该芯片系统实现上述任一方法实施例中的方法。

可选地，该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。

可选地，该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起，也可以和处理器分离设置，本申请并不限定。示例性的，存储器可以是非瞬时性处理器，例如只读存储器ROM，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请对存储器的类型，以及存储器与处理器的设置方式不作具体限定。

示例性的，该芯片系统可以是现场可编程门阵列(field programmable gatearray，FPGA)，可以是专用集成芯片(application specific integrated circuit，ASIC)，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processorunit，CPU)，还可以是网络处理器(network processor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logic device，PLD)或其他集成芯片。

应理解，上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本申请实施例还提供一种计算机可读存储介质，所述计算机存储介质中存储有计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述任一方法实施例中的方法。

本申请实施例还提供一种计算机程序产品，当计算机读取并执行所述计算机程序产品时，使得计算机执行上述任一方法实施例中的方法。

应理解，本申请实施例中提及的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。

应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种潜在危险目标检测方法，其特征在于，包括：

获取连续的至少两帧图像，所述连续的至少两帧图像为对汽车两侧的场景进行图像采集得到的；

确定第一图像中的感兴趣ROI区域，并确定所述ROI区域内包括的各个特征点的运动信息，每个所述特征点的运动信息包括所述特征点的运动方向；所述第一图像为所述至少两帧图像中的任意一帧图像；

根据所述各个特征点的运动信息，对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标；

根据每个所述目标包括的至少一个特征点的运动方向，确定每个所述目标的运动方向；

将所述至少一个目标中运动方向与所述汽车的行车方向相同的目标，确定为潜在危险目标。

2.如权利要求1所述的方法，其特征在于，所述确定第一图像中的ROI区域，包括：

根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域；

所述图像采集设备的参数包括内参和外参，所述内参用于世界坐标系和图像采集设备坐标系之间的转换，所述外参用于所述图像采集设备坐标系和二维坐标系之间的转换；所述汽车的运动信息包括所述汽车的行车方向和行车速度。

3.如权利要求2所述的方法，其特征在于，所述根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域，包括：

根据所述汽车的行车方向和行车速度、及所述汽车的安全距离对应的碰撞时间，确定潜在危险区域的纵向长度；

根据所述汽车所在的车道的宽度，确定所述潜在危险区域的横向长度；

根据所述潜在危险区域的纵向长度、横向长度及所述图像采集设备的参数，确定第一图像中的ROI区域。

4.如权利要求1-3任一项所述的方法，其特征在于，所述对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标，包括：

对所述ROI区域内包括的各个特征点进行聚类，得到至少一个第一检测区域，所述至少一个第一检测区域位于所述ROI区域内；

确定所述至少一个第一检测区域分别对应的第一置信度；所述至少一个第一检测区域分别对应的第一置信度是在对所述ROI区域内包括的各个特征点进行聚类时确定的；

过滤掉所述至少一个第一检测区域中第一置信度小于第一置信度阈值的第一检测区域，得到剩余的至少一个第一检测区域，作为至少一个第二检测区域，所述第一置信度阈值大于0且小于1；

根据确定的权重值，对所述至少一个第二检测区域分别对应的第一置信度进行加权，得到所述至少一个第二检测区域分别对应的第二置信度；

过滤掉所述至少一个第二检测区域中第二置信度小于第二置信度阈值的第二检测区域，得到剩余的至少一个第二检测区域，所述第二阈值大于所述第一阈值，且小于1；

将剩余的每个第二检测区域中分别包括的目标，作为所位于所述ROI区域内的至少一个目标。

5.如权利要求4所述的方法，其特征在于，所述权重值根据以下参数中的至少一种确定：

所述第一检测区域和所述第二检测区域的交并比，所述交并比为所述第一检测区域和所述第二检测区域的交集区域的大小与所述第一检测区域和所述第二检测区域的并集区域的大小的比值；

所述第二检测区域内包含的特征点的数量和位置；

所述第二检测区域内包含的各个特征点的运动量；

所述第二检测区域内包含的各个特征点的运动方向。

6.一种潜在危险目标检测装置，其特征在于，包括接口单元和处理单元：

所述接口单元，用于获取连续的至少两帧图像，所述连续的至少两帧图像为对汽车两侧的场景进行图像采集得到的；

所述处理单元，用于确定第一图像中的感兴趣ROI区域，并确定所述ROI区域内包括的各个特征点的运动信息，每个所述特征点的运动信息包括所述特征点的运动方向；所述第一图像为所述至少两帧图像中的任意一帧图像；以及

根据所述各个特征点的运动信息，对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标；

根据每个所述目标包括的至少一个特征点的运动方向，确定每个所述目标的运动方向；将所述至少一个目标中运动方向与所述汽车的行车方向相同的目标，确定为潜在危险目标。

7.如权利要求6所述的装置，其特征在于，所述处理单元确定第一图像中的ROI区域时，具体用于：

根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域；

所述图像采集设备的参数包括内参和外参，所述内参用于世界坐标系和图像采集设备坐标系之间的转换，所述外参用于所述图像采集设备坐标系和二维坐标系之间的转换；所述汽车的运动信息包括所述汽车的行车方向和行车速度。

8.如权利要求7所述的装置，其特征在于，所述处理单元根据用于对所述汽车两侧的场景进行图像采集的图像采集设备的参数以及所述汽车的运动信息，确定第一图像中的ROI区域时，具体用于：

根据所述汽车的行车方向和行车速度、及所述汽车的安全距离对应的碰撞时间，确定潜在危险区域的纵向长度；

根据所述汽车所在的车道的宽度，确定所述潜在危险区域的横向长度；

根据所述潜在危险区域的纵向长度、横向长度及所述图像采集设备的参数，确定第一图像中的ROI区域。

9.如权利要求6-8任一项所述的装置，其特征在于，所述处理单元对所述ROI区域内包括的各个特征点进行聚类，得到位于所述ROI区域内的至少一个目标时，具体用于：

对所述ROI区域内包括的各个特征点进行聚类，得到至少一个第一检测区域，所述至少一个第一检测区域位于所述ROI区域内；

确定所述至少一个第一检测区域分别对应的第一置信度；所述至少一个第一检测区域分别对应的第一置信度是在对所述ROI区域内包括的各个特征点进行聚类时确定的；

过滤掉所述至少一个第一检测区域中第一置信度小于第一置信度阈值的第一检测区域，得到剩余的至少一个第一检测区域，作为至少一个第二检测区域，所述第一置信度阈值大于0且小于1；

根据确定的权重值，对所述至少一个第二检测区域分别对应的第一置信度进行加权，得到所述至少一个第二检测区域分别对应的第二置信度；

过滤掉所述至少一个第二检测区域中第二置信度小于第二置信度阈值的第二检测区域，得到剩余的至少一个第二检测区域，所述第二阈值大于所述第一阈值，且小于1；

将剩余的每个第二检测区域中分别包括的目标，作为位于所述ROI区域内的至少一个目标。

10.如权利要求9所述的装置，其特征在于，所述权重值根据以下参数中的至少一种确定：

所述第一检测区域和所述第二检测区域的交并比，所述交并比为所述第一检测区域和所述第二检测区域的交集区域的大小与所述第一检测区域和所述第二检测区域的并集区域的大小的比值；

所述第二检测区域内包含的特征点的数量和位置；

所述第二检测区域内包含的各个特征点的运动量；

所述第二检测区域内包含的各个特征点的运动方向。

11.一种潜在危险目标检测装置，其特征在于，包括至少一个处理器，所述至少一个处理器与至少一个存储器耦合：

所述至少一个处理器，用于执行所述至少一个存储器中存储的计算机程序或指令，以使得所述装置执行如权利要求1至5中任一项所述的方法。

12.一种潜在危险目标检测装置，其特征在于，包括处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；

所述处理器，用于运行所述代码指令以执行如权利要求1至5中任一项所述的方法。

13.一种计算机程序存储介质，其特征在于，存储有计算机程序指令，当所述指令被执行时，使如权利要求1至5中任一项所述的方法被实现。

Images