CN111079680B - 临时交通信号灯检测方法、装置和自动驾驶设备 - Google Patents

Abstract

本申请公开了临时交通信号灯检测方法、装置和自动驾驶设备。所述方法包括：获取当前的图像及对应的三维点云；从所述图像中识别出临时交通信号灯，确定所述临时交通信号灯的状态和所述临时交通信号灯在图像坐标系中的位置；将三维点云投影至所述图像坐标系，确定与所述临时交通信号灯匹配的点云；根据与所述临时交通信号灯匹配的点云确定临时交通信号灯在世界坐标系中的位置。有益效果在于，在无需对道路设施进行改进的基础上，基于现有道路基础设施条件，可以自动对临时交通信号灯进行识别和检测，准确确定出临时交通信号灯的空间位置，对道路驾驶，特别是无人设备的自动驾驶具有较好的辅助作用，有效的提升了驾驶安全性和自动化程度。

Description

临时交通信号灯检测方法、装置和自动驾驶设备

技术领域

本申请涉及自动驾驶领域，具体涉及临时交通信号灯检测方法、装置和自动驾驶设备。

背景技术

自动驾驶领域，对交通信号灯的准确检测识别是必不可少的，也是目前急需突破的关键技术。现有技术中，一般依赖于地图识别道路中的交通信号灯，但是，现实场景中不仅存在固定交通信号灯，还存在着因路口固定交通信号灯故障或者未能及时部署固定交通信号灯而临时放置的临时交通信号灯(例如图5)，但地图中并不会包含临时交通信号灯的信息，因而导致现有技术无法对临时交通信号灯进行有效识别，进一步还会影响自动驾驶的可靠性。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的临时交通信号灯检测方法、装置和自动驾驶设备。

依据本申请的第一方面，提供了一种临时交通信号灯检测方法，包括：

获取当前的图像及对应的三维点云；

从所述图像中识别出临时交通信号灯，确定所述临时交通信号灯的状态和所述临时交通信号灯在图像坐标系中的位置；

将三维点云投影至所述图像坐标系，确定与所述临时交通信号灯匹配的点云；

根据与所述临时交通信号灯匹配的点云确定临时交通信号灯在世界坐标系中的位置。

可选地，所述方法是在满足临时交通信号灯检测条件的情形下执行的。

可选地，所述满足临时交通信号灯检测条件的情形包括以下的至少一种：当前位置为路口，且该路口未设置有固定交通信号灯；当前位置为路口，且该路口设置有固定交通信号灯，但固定交通信号灯故障。

可选地，所述图像是由自动驾驶设备的摄像头采集的，所述三维点云是由自动驾驶设备的激光雷达采集的；

所述摄像头和所述激光雷达经过预先标定处理。

可选地，所述从所述图像中识别出临时交通信号灯包括，利用包含灯框检测网络、灯泡检测网络和整体检测网络的交通信号灯检测模型从所述图像中识别出临时交通信号灯，具体地：

利用灯框检测网络从所述图像中识别出若干个灯框，利用所述灯泡检测网络从所述图像中识别出若干个发光灯泡，利用所述整体检测网络从所述图像中识别出若干个临时交通信号灯整体；

利用识别出的灯框与识别出的发光灯泡进行匹配，得到包含发光灯泡的灯框；

将包含发光灯泡的灯框与临时交通信号灯整体进行匹配，得到临时交通信号灯。

可选地，所述交通信号灯检测模型还包括指示形状检测网络，所述利用所述灯泡检测网络从所述图像中识别出若干个发光灯泡包括：

利用指示形状检测网络对识别出的发光灯泡进行识别，确定发光灯泡的指示形状；所述指示形状包括如下的至少一种：直行，左转，右转。

可选地，所述将三维点云投影至所述图像坐标系，确定与所述临时交通信号灯匹配的点云包括：

将三维点云投影至所述图像坐标系，得到与所述临时交通信号灯对应的待过滤点云；

获取与当前位置对应的地图数据，利用所述地图数据对所述待过滤点云进行过滤，将过滤后的点云作为与所述临时交通信号灯匹配的点云。

依据本申请的第二方面，提供了一种临时交通信号灯检测装置，包括：

获取单元，获取当前的图像及对应的三维点云；

确定单元，用于从所述图像中识别出临时交通信号灯，确定所述临时交通信号灯的状态和所述临时交通信号灯在图像坐标系中的位置；

匹配单元，用于将三维点云投影至所述图像坐标系，确定与所述临时交通信号灯匹配的点云；

位置单元，用于根据与所述临时交通信号灯匹配的点云确定临时交通信号灯在世界坐标系中的位置。

可选地，所述装置是在满足临时交通信号灯检测条件的情形下运行的。

可选地，所述满足临时交通信号灯检测条件的情形包括以下的至少一种：当前位置为路口，且该路口未设置有固定交通信号灯；当前位置为路口，且该路口设置有固定交通信号灯，但固定交通信号灯故障。

可选地，所述图像是由自动驾驶设备的摄像头采集的，所述三维点云是由自动驾驶设备的激光雷达采集的；所述摄像头和所述激光雷达经过预先标定处理。

可选地，所述确定单元，用于利用包含灯框检测网络、灯泡检测网络和整体检测网络的交通信号灯检测模型从所述图像中识别出临时交通信号灯，具体地：利用所述灯泡检测网络从所述图像中识别出若干个发光灯泡，利用所述整体检测网络从所述图像中识别出若干个临时交通信号灯整体；利用识别出的灯框与识别出的发光灯泡进行匹配，得到包含发光灯泡的灯框；将包含发光灯泡的灯框与临时交通信号灯整体进行匹配，得到临时交通信号灯。

可选地，所述交通信号灯检测模型还包括指示形状检测网络，所述确定单元，用于利用指示形状检测网络对识别出的发光灯泡进行识别，确定发光灯泡的指示形状；所述指示形状包括如下的至少一种：直行，左转，右转。

可选地，所述匹配单元，用于将三维点云投影至所述图像坐标系，得到与所述临时交通信号灯对应的待过滤点云；获取与当前位置对应的地图数据，利用所述地图数据对所述待过滤点云进行过滤，将过滤后的点云作为与所述临时交通信号灯匹配的点云。

依据本申请的第三方面，提供了一种自动驾驶设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本申请的第四方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本申请的技术方案，通过获取当前的图像及对应的三维点云；从所述图像中识别出临时交通信号灯，确定所述临时交通信号灯的状态和所述临时交通信号灯在图像坐标系中的位置；将三维点云投影至所述图像坐标系，确定与所述临时交通信号灯匹配的点云；根据与所述临时交通信号灯匹配的点云确定临时交通信号灯在世界坐标系中的位置。有益效果在于，在无需对道路设施进行改进的基础上，基于现有道路基础设施条件，可以自动对临时交通信号灯进行识别和检测，准确确定出临时交通信号灯的空间位置，对道路驾驶，特别是无人设备的自动驾驶具有较好的辅助作用，有效的提升了驾驶安全性和自动化程度。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的临时交通信号灯检测方法的流程示意图；

图2示出了根据本申请一个实施例的临时交通信号灯检测装置的结构示意图；

图3示出了根据本申请一个实施例的自动驾驶设备的结构示意图；

图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。

图5示出了一种临时交通信号灯的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

通过地图检测交通信号灯的方式，主要是将交通信号灯的位置以及与车道的映射关系绘制到地图中，然后通过交通信号灯检测模块实现对交通信号灯的检测。交通信号灯检测模块可以通过以下主要流程实现：1)通过GNSS(全球导航卫星系统)传感器获得位置信息，查找与当前车道关联的交通信号灯；2)将交通信号灯的位置投影到摄像头图像坐标系，得到感兴趣区域；3)将图像感兴趣区域输入到交通信号灯检测模型，得到检测结果；4)模型输出与地图中交通信号灯做匹配，输出最终结果。但是如背景技术，基于地图的解决方案中，由于需要提前将交通信号灯位置作为主要元素绘制到地图中，但临时交通信号灯位置不固定，所以无法通过基于地图的方案解决。

V2X(vehicle to everything，意为车与外界的信息交换)技术是指通过搭载先进的车载传感器、控制器、执行器等装置，并融合现代通信与网络技术，实现车与X(包括人、车、路测基础设施、后台云端等)智能信息的交换共享，实时感知车辆周边状况，包括交通信号灯状态。但是，基于V2X技术的解决方案中，一方面V2X技术本身仍需要进一步开发，同时另一方面需要对路测基础设施进行改造。

因此，本申请的技术方案提出了一种新的可行的临时交通信号灯检测识别方法，可以基于现有的道路基础设施条件，实现对临时交通信号灯的检测。

图1示出了根据本申请一个实施例的临时交通信号灯检测方法的流程示意图，如图1所示，该方法包括：

步骤S110，获取当前的图像及对应的三维点云。例如图像和三维点云可以通过自动驾驶设备的传感器进行采集。

步骤S120，从图像中识别出临时交通信号灯，确定临时交通信号灯的状态和临时交通信号灯在图像坐标系中的位置。

可以根据临时交通信号灯的特征从图像中识别出临时交通信号灯，可以进一步确定出临时交通信号灯的状态，这些状态信息可以包括交通信号灯的亮灯情况，指示形状类型等信息。还可以建立图像坐标系并确定出临时交通信号灯在图像坐标系中的位置。这样，就实现了对图像中临时交通信号灯的信息解析。

步骤S130，将三维点云投影至图像坐标系，确定与临时交通信号灯匹配的点云。

可以对摄像头与激光雷达进行预先标定，这样三维点云数据与图像数据就具有了一一对应关系，后续便于将三维点云根据相应的映射关系投影至图像坐标系上，从而可以得到与临时交通信号灯匹配的点云。这样，就实现了根据图像数据得到与临时交通信号灯匹配的点云数据。

步骤S140，根据与临时交通信号灯匹配的点云确定临时交通信号灯在世界坐标系中的位置。

临时交通信号灯匹配的点云数据可以反映出临时交通信号灯在空间的位置关系，为了得到准确的临时交通信号灯的空间位置信息，可以对与临时交通信号灯匹配的点云数据进行解析，可以建立世界坐标系并在世界坐标系中确定出临时交通信号灯在世界坐标系中的坐标信息。这样，就可以根据临时交通信号灯匹配的点云数据准确确定出空间位置并用世界坐标系中的位置信息进行表示出来。

可见，如图1所示的方法，可以在无需对道路设施进行改进的基础上，基于现有道路基础设施条件，可以自动对临时交通信号灯进行识别和检测，准确确定出临时交通信号灯的空间位置，对道路驾驶，特别是无人设备的自动驾驶具有较好的辅助作用，有效的提升了驾驶安全性和自动化程度，可以进一步应用于物流、外卖配送等领域。

在本申请的一个实施例中，上述方法中，临时交通信号灯检测方法是在满足临时交通信号灯检测条件的情形下执行的。

固定交通信号灯属于交通基础设施，常设于交通道路路口等位置，而临时交通信号灯并不是常设于交通道路路口的，一般当固定交通信号灯出现故障或道路为临时道路等特定情况下才会设置临时交通信号灯。因此，在对临时交通信号灯进行检测时，可以预先设定临时交通信号灯检测条件，当满足临时交通信号灯检测条件时，再启动临时交通信号灯的检测流程，获取当前的图像及对应的三维点云及执行后续步骤。

当然，在实际应用中，当前的图像和对应的三维点云不仅可以用于识别临时交通信号灯，还可以用于识别障碍物等信息，例如设置临时交通信号灯识别子模块和障碍物子识别模块，二者均从属于识别模块，由识别模块从车载摄像头和车载激光雷达以预设频率获取图像和三维点云，再分配给相应的子模块进行相应的识别或检测流程。

在本申请的一个实施例中，上述方法中，满足临时交通信号灯检测条件的情形包括以下的至少一种：当前位置为路口，且该路口未设置有固定交通信号灯；当前位置为路口，且该路口设置有固定交通信号灯，但固定交通信号灯故障。

因为无论固定交通信号灯还是临时交通信号灯一般都设置于道路的路口处，所以可以首先基于传感器信息判断当前位置是否为路口，传感器可以包括GNSS传感器、摄像头等，具体可以利用前面介绍的基于地图的方式实现。若为路口，则可以进一步判断路口是否设置有固定交通信号灯；如果检测出道路路口处未设置有固定交通信号灯，则此时可能存在临时交通信号灯代替作为临时交通设施，满足了临时交通信号灯检测条件，可以启动是否存在临时交通信号灯的检测流程；如果检测结果显示道路路口处设置有固定交通信号灯，则此时需要确定出固定交通信号灯是否存在故障，如果固定交通信号灯存在故障则此时可能存在临时交通信号灯作为临时替代交通设施，可以启动是否存在临时交通信号灯的检测流程。这样，就根据道路路口处不同的情况，确定出了相应的临时交通信号灯的检测条件。

其中，对固定交通信号灯的检测也可以基于地图的方式实现，也可以通过图像识别的方式实现，例如，对于存在着固定交通信号灯的路口，可以连续拍摄多帧图像，通过识别是否存在发亮的红、绿、黄色灯泡，以及灯泡颜色是否变化等方式，判断固定交通信号灯是否故障。

在本申请的一个实施例中，上述方法中，图像是由自动驾驶设备的摄像头采集的，三维点云是由自动驾驶设备的激光雷达采集的；摄像头和激光雷达经过预先标定处理。

图像可以通过由自动驾驶设备的摄像头进行采集，三维点云可以通过由自动驾驶设备的激光雷达进行采集。为了准确保证图像数据与三维点云数据的对应关系，便于后续的数据映射处理，可以预先对摄像头和激光雷达进行标定处理。需要标定的参数可以包括：摄像头内参、摄像头到激光雷达外参、激光雷达到IMU外参等参数，其中IMU(Inertialmeasurement unit，惯性测量单元)，是测量物体三轴姿态角及加速度的装置。这样，就实现了摄像头和激光雷达的标定处理，从而可以保证在后续的采集中得到具有严格对应关系的图像数据和三维点云数据，具体的投影可以根据标定得到的矩阵进行矩阵变换实现。

在本申请的一个实施例中，上述方法中，从图像中识别出临时交通信号灯包括：利用包含灯框检测网络、灯泡检测网络和整体检测网络的交通信号灯检测模型从图像中识别出临时交通信号灯，具体地：利用灯框检测网络从图像中识别出若干个灯框，利用灯泡检测网络从图像中识别出若干个发光灯泡，利用整体检测网络从图像中识别出若干个临时交通信号灯整体；利用识别出的灯框与识别出的发光灯泡进行匹配，得到包含发光灯泡的灯框；将包含发光灯泡的灯框与临时交通信号灯整体进行匹配，得到临时交通信号灯。

为了对临时交通信号灯进行快速高效的识别，可以利用交通信号灯检测模型从图像中自动识别出临时交通信号灯。交通信号灯检测模型具体可以是基于神经网络训练得到的，神经网络可以是以R-CNN、Fast R-CNN、Faster R-CNN等为基础进行调整和训练得到的。

图5示出了一种临时交通信号灯的结构示意图，如图5所示，临时交通信号灯整体主要由太阳能板510、灯框520、灯泡530、支架540和移动装置550组成。灯框520包围着灯泡530，因图像形式所限，灯泡530未能展示出具体颜色，但通常而言，灯泡530既可以展示红灯、黄灯、绿灯等颜色信号，也可以展示带有指示形状如左转、直行等指示信号。在对临时交通信号灯整体进行识别时，可以依据太阳能板510、灯框520、灯泡530、支架540和移动装置550等组件的特征作为识别临时交通信号灯整体的特征，完成特征识别。

当然，图5所示的临时交通信号灯仅仅是一种示例，临时交通信号灯也可能不包含太阳能板(例如由蓄电池供电)等，但不同类型的临时交通信号灯外观依然具有共性，也可以通过训练交通信号灯检测模型来实现，只需要获取足够充分的样本数据进行训练即可。

为了根据交通信号灯检测模型对临时交通信号灯进行准确的识别和检测，可以在交通信号灯检测模型中设置灯框检测网络、灯泡检测网络和整体检测网络。其中，灯框检测网络，可以从图像中识别出若干个灯框；灯泡检测网络，可以从图像中识别出若干个发光灯泡；整体检测网络，可以从图像中识别出若干个临时交通信号灯整体。

在灯框检测网络、灯泡检测网络和整体检测网络分别实现了对检测对象的识别之后，可以对灯框、灯泡和整体进行匹配，从而得到完整的临时交通信号灯整体。具体地，可以利用识别出的灯框与识别出的发光灯泡进行匹配，可以得到包含若干发光灯泡的灯框；可以将包含发光灯泡的灯框与临时交通信号灯整体进行匹配，得到临时交通信号灯，并可以实现临时交通信号灯的颜色状态、灯泡形状、以及在图像坐标系中的位置的匹配对应。这样，就实现了利用交通信号灯检测模型对灯框、灯泡和整体的分别识别检测和最终的匹配，从而识别检测出临时交通信号灯整体。

在本申请的一个实施例中，上述方法中，交通信号灯检测模型还包括指示形状检测网络，利用灯泡检测网络从图像中识别出若干个发光灯泡包括：利用指示形状检测网络对识别出的发光灯泡进行识别，确定发光灯泡的指示形状；指示形状包括如下的至少一种：直行，左转，右转。

交通信号灯为了更好的有序指引交通运行，往往还设置多种指示形状以提供更丰富的交通信号信息。因此，可以在交通信号灯检测模型设置指示形状检测网络，可以将临时交通信号灯灯泡图像区域输入到形状检测网络，利用指示形状检测网络对识别出的发光灯泡进行识别，确定发光灯泡的指示形状，这些指示形状，可以包括直行，左转，右转等，例如图5所示的指示形状就包括直行和左转。这样，就可以利用指示形状检测网络准确确定出发光灯泡的指示形状，识别出指示信息。

在本申请的一个实施例中，上述方法中，将三维点云投影至图像坐标系，确定与临时交通信号灯匹配的点云包括：将三维点云投影至图像坐标系，得到与临时交通信号灯对应的待过滤点云；获取与当前位置对应的地图数据，利用地图数据对待过滤点云进行过滤，将过滤后的点云作为与临时交通信号灯匹配的点云。

在将三维点云投影至图像坐标系时，可以得到临时交通信号灯的点云数据，在投影和转换世界坐标系过程中，会损失一维信息，因此此时得到的点云数据，并不全部是打到临时交通信号灯上的点。此外，由于一般道路路口处的环境较为复杂，可能存在多种物体的干扰，因此为了减少无关数据的干扰，可以对点云数据进行过滤处理。具体地，可以通过获取与当前位置对应的地图数据，利用路口结构对三维点云进行滤波，滤掉非路口中的点，将过滤后的点云作为与临时交通信号灯匹配的点云，以减少数据干扰。这样，就可以利用地图数据对待过滤点云进行过滤，达到优化数据，减少干扰的目的。优选地，可以利用高精地图的高精度特点进行过滤以提高准确度。

图2示出了根据本申请一个实施例的临时交通信号灯检测装置的结构示意图，如图2所示，该临时交通信号灯检测装置200包括：

获取单元210，获取当前的图像及对应的三维点云。例如图像和三维点云可以通过自动驾驶设备的传感器进行采集。

确定单元220，用于从图像中识别出临时交通信号灯，确定临时交通信号灯的状态和临时交通信号灯在图像坐标系中的位置。

可以根据临时交通信号灯的特征从图像中识别出临时交通信号灯，可以进一步确定出临时交通信号灯的状态，这些状态信息可以包括交通信号灯的亮灯情况，指示形状类型等信息。还可以建立图像坐标系并确定出临时交通信号灯在图像坐标系中的位置。这样，就实现了对图像中临时交通信号灯的信息解析。

匹配单元230，用于将三维点云投影至图像坐标系，确定与临时交通信号灯匹配的点云。

可以对摄像头与激光雷达进行预先标定，这样三维点云数据与图像数据就具有了一一对应关系，后续便于将三维点云根据相应的映射关系投影至图像坐标系上，从而可以得到与临时交通信号灯匹配的点云。这样，就实现了根据图像数据得到与临时交通信号灯匹配的点云数据。

位置单元240，用于根据与临时交通信号灯匹配的点云确定临时交通信号灯在世界坐标系中的位置。

临时交通信号灯匹配的点云数据可以反映出临时交通信号灯在空间的位置关系，为了得到准确的临时交通信号灯的空间位置信息，可以对与临时交通信号灯匹配的点云数据进行解析，可以建立世界坐标系并在世界坐标系中确定出临时交通信号灯在世界坐标系中的坐标信息。这样，就可以根据临时交通信号灯匹配的点云数据准确确定出空间位置并用世界坐标系中的位置信息进行表示出来。

可见，如图2所示的装置，可以在无需对道路设施进行改进的基础上，基于现有道路基础设施条件，可以自动对临时交通信号灯进行识别和检测，准确确定出临时交通信号灯的空间位置，对道路驾驶，特别是无人设备的自动驾驶具有较好的辅助作用，有效的提升了驾驶安全性和自动化程度，可以进一步应用于物流、外卖配送等领域。

在本申请的一个实施例中，上述装置中，临时交通信号灯检测装置是在满足临时交通信号灯检测条件的情形下运行的。

固定交通信号灯属于交通基础设施，常设于交通道路路口等位置，而临时交通信号灯并不是常设于交通道路路口的，一般当固定交通信号灯出现故障或道路为临时道路等特定情况下才会设置临时交通信号灯。因此，在对临时交通信号灯进行检测时，可以预先设定临时交通信号灯检测条件，当满足临时交通信号灯检测条件时，再启动临时交通信号灯的检测流程，获取当前的图像及对应的三维点云及执行后续步骤。

当然，在实际应用中，当前的图像和对应的三维点云不仅可以用于识别临时交通信号灯，还可以用于识别障碍物等信息，例如设置临时交通信号灯识别子模块和障碍物子识别模块，二者均从属于识别模块，由识别模块从车载摄像头和车载激光雷达以预设频率获取图像和三维点云，再分配给相应的子模块进行相应的识别或检测流程。

在本申请的一个实施例中，上述装置中，满足临时交通信号灯检测条件的情形包括以下的至少一种：当前位置为路口，且该路口未设置有固定交通信号灯；当前位置为路口，且该路口设置有固定交通信号灯，但固定交通信号灯故障。

因为无论固定交通信号灯还是临时交通信号灯一般都设置于道路的路口处，所以可以首先基于传感器信息判断当前位置是否为路口，传感器可以包括GNSS传感器、摄像头等，具体可以利用前面介绍的基于地图的方式实现。若为路口，则可以进一步判断路口是否设置有固定交通信号灯；如果检测出道路路口处未设置有固定交通信号灯，则此时可能存在临时交通信号灯代替作为临时交通设施，满足了临时交通信号灯检测条件，可以启动是否存在临时交通信号灯的检测流程；如果检测结果显示道路路口处设置有固定交通信号灯，则此时需要确定出固定交通信号灯是否存在故障，如果固定交通信号灯存在故障则此时可能存在临时交通信号灯作为临时替代交通设施，可以启动是否存在临时交通信号灯的检测流程。这样，就根据道路路口处不同的情况，确定出了相应的临时交通信号灯的检测条件。

其中，对固定交通信号灯的检测也可以基于地图的方式实现，也可以通过图像识别的方式实现，例如，对于存在着固定交通信号灯的路口，可以连续拍摄多帧图像，通过识别是否存在发亮的红、绿、黄色灯泡，以及灯泡颜色是否变化等方式，判断固定交通信号灯是否故障。

在本申请的一个实施例中，上述装置中，图像是由自动驾驶设备的摄像头采集的，三维点云是由自动驾驶设备的激光雷达采集的；摄像头和激光雷达经过预先标定处理。

图像可以通过由自动驾驶设备的摄像头进行采集，三维点云可以通过由自动驾驶设备的激光雷达进行采集。为了准确保证图像数据与三维点云数据的对应关系，便于后续的数据映射处理，可以预先对摄像头和激光雷达进行标定处理。需要标定的参数可以包括：摄像头内参、摄像头到激光雷达外参、激光雷达到IMU外参等参数，其中IMU(Inertialmeasurement unit，惯性测量单元)，是测量物体三轴姿态角及加速度的装置。这样，就实现了摄像头和激光雷达的标定处理，从而可以保证在后续的采集中得到具有严格对应关系的图像数据和三维点云数据，具体的投影可以根据标定得到的矩阵进行矩阵变换实现。

在本申请的一个实施例中，上述装置中，确定单元220，用于利用包含灯框检测网络、灯泡检测网络和整体检测网络的交通信号灯检测模型从图像中识别出临时交通信号灯，具体地：利用灯框检测网络从图像中识别出若干个灯框，利用灯泡检测网络从图像中识别出若干个发光灯泡，利用整体检测网络从图像中识别出若干个临时交通信号灯整体；利用识别出的灯框与识别出的发光灯泡进行匹配，得到包含发光灯泡的灯框；将包含发光灯泡的灯框与临时交通信号灯整体进行匹配，得到临时交通信号灯。

为了对临时交通信号灯进行快速高效的识别，可以利用交通信号灯检测模型从图像中自动识别出临时交通信号灯。交通信号灯检测模型具体可以是基于神经网络训练得到的，神经网络可以是以R-CNN、Fast R-CNN、Faster R-CNN等为基础进行调整和训练得到的。

图5示出了一种临时交通信号灯的结构示意图，如图5所示，临时交通信号灯整体主要由太阳能板510、灯框520、灯泡530、支架540和移动装置550组成。灯框520包围着灯泡530，因图像形式所限，灯泡530未能展示出具体颜色，但通常而言，灯泡530既可以展示红灯、黄灯、绿灯等颜色信号，也可以展示带有指示形状如左转、直行等指示信号。在对临时交通信号灯整体进行识别时，可以依据太阳能板510、灯框520、灯泡530、支架540和移动装置550等组件的特征作为识别临时交通信号灯整体的特征，完成特征识别。

当然，图5所示的临时交通信号灯仅仅是一种示例，临时交通信号灯也可能不包含太阳能板(例如由蓄电池供电)等，但不同类型的临时交通信号灯外观依然具有共性，也可以通过训练交通信号灯检测模型来实现，只需要获取足够充分的样本数据进行训练即可。

为了根据交通信号灯检测模型对临时交通信号灯进行准确的识别和检测，可以在交通信号灯检测模型中设置灯框检测网络、灯泡检测网络和整体检测网络。其中，灯框检测网络，可以从图像中识别出若干个灯框；灯泡检测网络，可以从图像中识别出若干个发光灯泡；整体检测网络，可以从图像中识别出若干个临时交通信号灯整体。

在灯框检测网络、灯泡检测网络和整体检测网络分别实现了对检测对象的识别之后，可以对灯框、灯泡和整体进行匹配，从而得到完整的临时交通信号灯整体。具体地，可以利用识别出的灯框与识别出的发光灯泡进行匹配，可以得到包含若干发光灯泡的灯框；可以将包含发光灯泡的灯框与临时交通信号灯整体进行匹配，得到临时交通信号灯，并可以实现临时交通信号灯的颜色状态、灯泡形状、以及在图像坐标系中的位置的匹配对应。这样，就实现了利用交通信号灯检测模型对灯框、灯泡和整体的分别识别检测和最终的匹配，从而识别检测出临时交通信号灯整体。

在本申请的一个实施例中，上述装置中，交通信号灯检测模型还包括指示形状检测网络，确定单元220，用于利用指示形状检测网络对识别出的发光灯泡进行识别，确定发光灯泡的指示形状；指示形状包括如下的至少一种：直行，左转，右转。

交通信号灯为了更好的有序指引交通运行，往往还设置多种指示形状以提供更丰富的交通信号信息。因此，可以在交通信号灯检测模型设置指示形状检测网络，可以将临时交通信号灯灯泡图像区域输入到形状检测网络，利用指示形状检测网络对识别出的发光灯泡进行识别，确定发光灯泡的指示形状，这些指示形状，可以包括直行，左转，右转等，例如图5所示的指示形状就包括直行和左转。这样，就可以利用指示形状检测网络准确确定出发光灯泡的指示形状，识别出指示信息。

在本申请的一个实施例中，上述装置中，匹配单元230，用于将三维点云投影至图像坐标系，得到与临时交通信号灯对应的待过滤点云；获取与当前位置对应的地图数据，利用地图数据对待过滤点云进行过滤，将过滤后的点云作为与临时交通信号灯匹配的点云。

在将三维点云投影至图像坐标系时，可以得到临时交通信号灯的点云数据，在投影和转换世界坐标系过程中，会损失一维信息，因此此时得到的点云数据，并不全部是打到临时交通信号灯上的点。此外，由于一般道路路口处的环境较为复杂，可能存在多种物体的干扰，因此为了减少无关数据的干扰，可以对点云数据进行过滤处理。具体地，可以通过获取与当前位置对应的地图数据，利用路口结构对三维点云进行滤波，滤掉非路口中的点，将过滤后的点云作为与临时交通信号灯匹配的点云，以减少数据干扰。这样，就可以利用地图数据对待过滤点云进行过滤，达到优化数据，减少干扰的目的。优选地，可以利用高精地图的高精度特点进行过滤以提高准确度。

综上所述，本申请的技术方案，通过获取当前的图像及对应的三维点云；从所述图像中识别出临时交通信号灯，确定所述临时交通信号灯的状态和所述临时交通信号灯在图像坐标系中的位置；将三维点云投影至所述图像坐标系，确定与所述临时交通信号灯匹配的点云；根据与所述临时交通信号灯匹配的点云确定临时交通信号灯在世界坐标系中的位置。有益效果在于，在无需对道路设施进行改进的基础上，基于现有道路基础设施条件，可以自动对临时交通信号灯进行识别和检测，准确确定出临时交通信号灯的空间位置，对道路驾驶，特别是无人设备的自动驾驶具有较好的辅助作用，有效的提升了驾驶安全性和自动化程度。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的临时交通信号灯检测装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本申请一个实施例的自动驾驶设备的结构示意图。该自动驾驶设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被自动驾驶设备300的处理器310读取，当计算机可读程序代码331由自动驾驶设备300运行时，导致该自动驾驶设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种临时交通信号灯检测方法，包括：

获取当前的图像及对应的三维点云；

利用包含灯框检测网络、灯泡检测网络和整体检测网络的交通信号灯检测模型从所述图像中识别出临时交通信号灯，具体地：

利用所述灯框检测网络从所述图像中识别出若干个灯框，利用所述灯泡检测网络从所述图像中识别出若干个发光灯泡，利用所述整体检测网络从所述图像中识别出若干个临时交通信号灯整体；

利用识别出的灯框与识别出的发光灯泡进行匹配，得到包含发光灯泡的灯框；

将包含发光灯泡的灯框与临时交通信号灯整体进行匹配，得到临时交通信号灯；

确定所述临时交通信号灯的状态和所述临时交通信号灯在图像坐标系中的位置；

将三维点云投影至所述图像坐标系，确定与所述临时交通信号灯匹配的点云；

根据与所述临时交通信号灯匹配的点云确定临时交通信号灯在世界坐标系中的位置。

2.如权利要求1所述的方法，其特征在于，所述方法是在满足临时交通信号灯检测条件的情形下执行的。

3.如权利要求2所述的方法，其特征在于，所述满足临时交通信号灯检测条件的情形包括以下的至少一种：当前位置为路口，且该路口未设置有固定交通信号灯；当前位置为路口，且该路口设置有固定交通信号灯，但固定交通信号灯故障。

4.如权利要求1所述的方法，其特征在于，所述图像是由自动驾驶设备的摄像头采集的，所述三维点云是由自动驾驶设备的激光雷达采集的；

所述摄像头和所述激光雷达经过预先标定处理。

5.如权利要求1所述的方法，其特征在于，所述交通信号灯检测模型还包括指示形状检测网络，所述利用所述灯泡检测网络从所述图像中识别出若干个发光灯泡包括：

利用指示形状检测网络对识别出的发光灯泡进行识别，确定发光灯泡的指示形状；所述指示形状包括如下的至少一种：直行，左转，右转。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述将三维点云投影至所述图像坐标系，确定与所述临时交通信号灯匹配的点云包括：

将三维点云投影至所述图像坐标系，得到与所述临时交通信号灯对应的待过滤点云；

获取与当前位置对应的地图数据，利用所述地图数据对所述待过滤点云进行过滤，将过滤后的点云作为与所述临时交通信号灯匹配的点云。

7.一种自动驾驶设备，其中，该自动驾驶设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-6中任一项所述的方法。

8.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-6中任一项所述的方法。