CN110879943A - 一种图像数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种图像数据处理方法及系统。该方法包括：获取道路的俯视图像；基于所述俯视图像和所述经训练的交通标线识别模型，获得所述俯视图像的至少一个图层；所述图层包括所述俯视图像中的至少一个交通标线，以及至少反映所述至少一个地标在所述俯视图像中的区域；对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标。通过交通标线识别模型，可以识别出不同类别的交通标线的图层，对图层进一步处理可以用于构建高精度地图。

Description

一种图像数据处理方法及系统

技术领域

本发明涉及智能辅助驾驶或无人驾驶领域，尤其涉及一种图像数据处理方法及系统。

背景技术

汽车目前已成为人们生活中越来越重要的交通工具，为了更好提高汽车行驶过程中的安全性和驾驶员的舒适性，人们在汽车智能化做出了很多成就。通常车载设备的车道线检测主要在无人驾驶，车道保持系统等应用较多，其主要根据摄像头采集的图像检测车辆前方的车道线，并且当车辆发生跑偏时，系统可以自动调节方向盘转向，使车辆重新回到车道中央行驶。随着汽车智能化的发展，车载设备的车道线检测逐渐运用到高精度地图的构建。因此，有必要提出一种图像数据处理方法及系统以提高道路交通标线识别的精度。

发明内容

本发明的实施例提供了一种图像数据处理方法、系统、装置和计算机可读存储介质。具体包括以下几个方法。

第一方面，本发明披露了一种图像数据处理方法。该方法包括获取道路的俯视图像；基于所述俯视图像和经训练的交通标线识别模型，获得所述俯视图像的至少一个图层；所述图层包括所述俯视图像中的至少一个交通标线，以及至少反映所述至少一个交通标线在所述俯视图像中的区域；对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标。

在一些实施例中，所述基于所述俯视图像和所述经训练的交通标线识别模型，获得所述俯视图像的至少一个图层还包括：基于所述俯视图像，获取多张子图像；所述多张子图像分别包括所述俯视图像的一部分，且至少两张子图像共同包括所述腐蚀图像中的某一部分；针对每张子图像，基于所述子图像和所述经训练的交通标线识别模型，获得所述子图像的至少一个图层；所述子图像的至少一个图层包括所述子图像中的至少一个交通标线的至少一部分，以及至少反映所述至少一个交通标线的至少一部分在所述子图像中的区域；基于至少两张子图像的至少一个图层，联合确定出所述俯视图像的至少一个图层。

在一些实施例中，所述经训练的交通标线识别模型为经训练的MASK-RCNN模型。

在一些实施例中，所述图层的图像大小与所述俯视图像的图像大小相同，且所述图层为二值化图像。

在一些实施例中，所述对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：对所述至少一个图层进行腐蚀处理、膨胀处理或平滑处理中的一种或多种的组合。

在一些实施例中，所述获取道路的俯视图像还包括：获取车载设备拍摄的道路视频；基于所述道路视频，获取多张图像；获取每张图像中同一位置的图像数据；拼接所述多张图像中同一位置的图像数据，获得所述道路的俯视图像。

在一些实施例中，所述每张图像中同一位置的图像数据包括每张图像中相同的至少一行的图像数据。

在一些实施例中，所述图层还反映所述至少一个交通标线的类别。

在一些实施例中，响应于俯视图像的图层为车道线图层，所述对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：基于所述车道线图层和所述车道线图层中像素点的像素值，确定至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标；基于所述至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标，确定所述至少一条车道线的中心线在所述车道线图层中的位置坐标；基于车道线的预设宽度以及所述至少一条车道线的中心线的位置坐标，确定所述至少一条车道线在所述俯视图像中的位置坐标。

在一些实施例中，响应于俯视图像的图层为车道线图层，所述对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：判断车道线图层中至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离是否小于第一阈值，并且在竖直方向上的距离是否小于第二阈值；响应于所述至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离小于第一阈值，并且在竖直方向上的距离小于第二阈值时，则将所述至少一条道路的所述某一端点和所述另一条车道线的所述某一端点进行拼接。

在一些实施例中，响应于俯视图像的图层为车道线图层，所述对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：判断车道线图层中某条车道线的长度是否小于第三阈值；响应于所述某条车道线的长度小于第三阈值，将所述车道线从所述俯视图像中去除。

在一些实施例中，所述对所述至少一个图层进行处理，以基于所述区域获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：基于所述至少一个图层和该图层中像素点的像素值，确定该图层中交通标线在水平方向上的最大坐标值和最小坐标值，以及在竖直方向上的最大坐标值和最小坐标值；基于所述交通标线在水平方向上的最大坐标值和最小坐标值以及在竖直方向上的最大坐标值和最小坐标值，确定该交通标线在所述俯视图像中的位置坐标。

第二方面，本发明披露了一种图像数据处理系统。该系统包括：俯视图像获取模块，用于获取道路的俯视图像；图层获取模块，用于基于所述俯视图像和经训练的交通标线识别模型，获得所述俯视图像的至少一个图层；所述图层包括所述俯视图像中的至少一个交通标线，以及至少反映所述至少一个交通标线在所述俯视图像中的区域；图层处理模块，用于对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标。

在一些实施例中，所述图层获取模块还包括：子图像获取单元，用于基于所述俯视图像，获取多张子图像；所述多张子图像分别包括所述俯视图像的一部分，且至少两张子图像共同包括所述腐蚀图像中的某一部分；子图层获取单元，用于针对每张子图像，基于所述子图像和所述经训练的交通标线识别模型，获得所述子图像的至少一个图层；所述图层包括所述子图像中的至少一个交通标线的至少一部分，以及至少反映所述至少一个交通标线的至少一部分在所述子图像中的区域；联合确定单元，用于基于至少两张子图像的至少一个图层，联合确定出所述俯视图像的至少一个图层。

在一些实施例中，所述经训练的交通标线识别模型为经训练的MASK-RCNN模型。

在一些实施例中，所述图层的图像大小与所述俯视图像的图像大小相同，且所述图层为二值化图像。

在一些实施例中，所述图层处理模块还用于对所述至少一个图层进行腐蚀处理、膨胀处理或平滑处理中的一种或多种处理。

在一些实施例中，所述俯视图像获取模块还包括：视频获取单元，用于获取车载设备拍摄的道路视频；图像获取单元，用于基于所述道路视频，获取多张图像；图像数据提取单元，用于获取每张图像中同一位置的图像数据；图像数据拼接单元，用于拼接所述多张图像中同一位置的图像数据，获得所述道路的俯视图像。

在一些实施例中，所述每张图像中同一位置的图像数据包括每张图像中相同的至少一行的图像数据。

在一些实施例中，所述图层还反映所述至少一个交通标线的类别。

在一些实施例中，响应于俯视图像的图层为车道线图层，所述图层处理模块还用于：基于所述车道线图层和所述车道线图层中像素点的像素值，确定至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标；基于所述至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标，确定所述至少一条车道线的中心线在所述车道线图层中的位置坐标；基于车道线的预设宽度以及所述至少一条车道线的中心线的位置坐标，确定所述至少一条车道线在所述俯视图像中的位置坐标。

在一些实施例中，响应于俯视图像的图层为车道线图层，所述图层处理模块还用于：判断车道线图层中至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离是否小于第一阈值，并且在竖直方向上的距离是否小于第二阈值；响应于所述至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离小于第一阈值，并且在竖直方向上的距离小于第二阈值时，则将所述至少一条道路的所述某一端点和所述另一条车道线的所述某一端点进行拼接。

在一些实施例中，响应于俯视图像的图层为车道线图层，所述图层处理模块还用于：判断车道线图层中某条车道线的长度是否小于第三阈值；响应于所述某条车道线的长度小于第三阈值，将所述车道线从所述俯视图像中去除。

在一些实施例中，所述图层处理模块还用于：基于所述至少一个图层和该图层中像素点的像素值，确定该图层中交通标线在水平方向上的最大坐标值和最小坐标值，以及在竖直方向上的最大坐标值和最小坐标值；基于所述交通标线在水平方向上的最大坐标值和最小坐标值以及在竖直方向上的最大坐标值和最小坐标值，确定该交通标线在所述俯视图像中的位置坐标。

第三方面，本发明披露了一种图像数据处理装置。所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现图像数据处理方法。

第四方面，本发明披露了一种计算机可读存储介质。所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现图像数据处理方法。

本发明的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解，本发明的一部分附加特性对于本领域技术人员是显而易见的。本发明的特性可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。

附图说明

图1是根据本发明的一些实施例所示的一种按需服务系统的示意图。

图2是用于实现本发明技术方案的专用系统的示例性计算设备的框图。

图3是用于实现本发明技术方案的专用系统的示例性移动设备的框图。

图4为根据本发明的一些实施例所示的示例性图像数据处理方法的流程图。

图5为根据本发明的一些实施例所示的获取道路的俯视图像的方法的流程图

图6为根据本发明的一些实施例所示的一种示例性的道路的俯视图像。

图7为根据本发明的一些实施例所示的获得俯视图像的至少一个图层的方法的流程图。

图8为根据本发明的一些实施例所示的对车道线图层处理前的原图。

图9为根据本发明的一些实施例所示的对车道线图层进行腐蚀后的结果图

图10为根据本发明的一些实施例所示的对车道线图层进行腐蚀后又经过膨胀处理后的结果图。

图11为根据本发明的一些实施例所示的确定车道线在俯视图像中的位置坐标的方法。

图12为根据本发明的一些实施例所示的确定车道线的中心线后的结果图。

图13为根据本发明的一些实施例所示的车道线图层经过腐蚀、膨胀后提取中心车道线中心线的结果图。

图14为根据本发明的一些实施例所示的一种示例性的处理多段车道线的方法的流程。

图15为根据本发明的一些实施例所示的确定至少一个交通标线在俯视图像中的位置坐标的方法的流程图。

图16为根据本发明的一些实施例所示的处理三角形地标的示意图。

图17为根据本发明的一些实施例所示的一种图像数据处理装置的框图。

图18为根据本发明的一些实施例所示的一种俯视图像获取1710的框图。

图19为根据本发明的一些实施例所示的一种图层获取模块1720的框图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块或单元做出了各种引用，然而，任何数量的不同模块或单元可以被使用并运行在客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请的实施例可以应用于不同的运输系统，不同的运输系统包括但不限于陆地、海洋、航空、航天等中的一种或几种的组合。例如，出租车、专车、顺风车、巴士、代驾、火车、动车、高铁、无人驾驶的交通工具、收/送快递等应用了管理和/或分配的运输系统。本申请的不同实施例应用场景包括但不限于网页、浏览器插件、客户端、定制系统、企业内部分析系统、人工智能机器人等中的一种或几种的组合。应当理解的是，本申请的系统及方法的应用场景仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。

本申请描述的“乘客端”、“乘客端用户”、“乘客端设备”、“司机端”、“司机端用户”、“司机端设备”、“客户端”、“客户端设备”、“客户端用户”、“用户”、“使用者”、“用户端”等是可以互换的，是指需要或者订购服务的一方，可以是个人，也可以是工具。另外，本申请描述的“用户”可以是需要或者订购服务的一方，也可以是提供服务或者协助提供服务的一方。

图1是根据本发明的一些实施例所示的一种按需服务系统的示意图。

按需服务系统100可以包括服务器110、网络120、用户端130、车载设备140和存储器150。

服务器110可以是本地的，也可以是远程的。服务器110可以处理信息和/或数据。在一些实施例中，服务器110可以用于对收集的信息进行分析加工以生成分析结果的系统。例如，服务器110可以获取道路的俯视图像。服务器110可以获取经训练的交通标线识别模型。服务器110可以基于所述俯视图像和所述经训练的交通标线识别模型，获得所述俯视图像的至少一个图层；所述图层包括所述俯视图像中的至少一个交通标线，以及至少反映所述至少一个交通标线在所述俯视图像中的区域。服务器110可以对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标。

交通标线至少包括两类标线。第一类为车道线，如图6中所示的车道线601和车道线602，第二类为非车道线标线(也称为地标或地标标线)，如图6中所示的掉头地标603和直行地标604。

车道线可以包括双向两车道路面中心线，用来分隔对向行驶的交通流，表示在保证安全的原则下，准许车辆跨越超车，通常指示机动车驾驶人靠右行驶，线为黄色虚线。车道线可以包括车行道分界线，用来分隔同向行驶的交通流，表示在保证安全的原则下，准许车辆跨越线超车或变更车道行驶，线为白色。车道线可以包括车行道边缘线，用来指示机动车道的边缘或用来划分机动车与非机动车道的分界，线为白色实线。车道线可以包括高速公路车距确认标线，用以提供车辆机动车驾驶人保持行车安全距离之参考，线为白色平行粗实线。车道线可以包括禁止超车线，表示严格禁止车辆跨线超车或压线行驶，用以划分上、下行方向各有两条或两条以上机动车道，而没有设置中央分隔带的道路，例如，中心黄色双实线、中心黄色虚实线、三车道标线、禁止变换车道线。车道线可以包括导流线，表示车辆须按规定的路线行驶，不得压线或越线行驶，线为白色。

地标标线可以包括左转弯待转区线，用来指示转弯车辆可在直行时段进入待转区，等待左转。左转时段终止，禁止车辆在待转区停留，线为白色虚线。地标标线可以包括左转弯导向线，表示左转弯的机动车与非机动车之间的分界。机动车在线的左侧行驶，非机动车在线的右侧行驶，线为白色虚线。地标标线可以包括人行横道线，表示准许行人横穿车行道的标线，线为白色平行粗实线(正交、斜交)。地标标线可以包括高速公路出入口标线，是为了驶入或驶出匝道车辆提供安全交汇，减少与突出部缘石的碰撞的标线，包括出入口的横向标线、三角地带的标线。地标标线可以包括停车位标线，表示车辆停放的位置，线为白色实线。地标标线可以包括港湾式停靠站标线，表示公共客车通过专门的分离引道和停靠位置。地标标线可以包括收费岛标线，表示收费岛的位置，为驶入收费车道的车辆提供清晰的标记。地标标线可以包括导向箭头，表示车辆的行驶方向，主要用于交叉道口的导向车道内、出口匝道附近及对渠化交通的引导。地标标线可以包括路面文字标线，是利用路面文字，指示或限制车辆行驶的标记，例如，最高速度、大型车、小型车、超车道。地标标线可以包括禁止标线，例如，禁止路边停放车辆线，表示禁止在路边停车的标线。地标标线可以包括停止线，例如，信号灯路口的停止线，为白色实线，表示车辆等候放行的停车位置。地标标线可以包括停车让行线，表示车辆在此路口必须停车或减速让干道车辆先行。地标标线可以包括减速让行线，表示车辆在此路口必须减速或停车，让干道车辆先行。地标标线可以包括非机动车禁驶区标线，用以告示骑车人在路口禁止驶入的范围。地标标线可以包括网状线，用以告示驾驶人禁止在该交叉路口临时停车。地标标线可以包括中心圈，用以区分车辆大、小转弯车辆不得压线行驶。地标标线可以包括专用车道线，用以指示仅限于某车种行驶的专用车道，其他车辆、行人不得进入。地标标线可以包括禁止掉头标记。地标标线可以包括警告标线车行道宽度渐变标线，用以警告车辆驾驶人了解路宽缩减或车道数减少，应谨慎行车，禁止超车。地标标线可以包括减速标线，用以警告车辆驾驶人前方应减速慢行。

服务器110可以是一个终端设备，也可以是一个服务器，还可以是服务器群组。所述服务器群组可以是集中式的，例如数据中心。所述服务器群组也可以是分布式的，例如分布式系统。

用户端130可以是乘客端或司机端，也指发布服务订单的个人、工具或者其他实体。在一些实施例中，用户端130包括但不限于移动设备130-1、机动车内置设备130-2、笔记本电脑130-3、台式电脑130-4等中的一种或几种的组合。用户端130可以处理信息和/或数据。用户端可以用于对收集的信息进行分析加工以生成分析结果的系统。

车载设备140可以包括但不限于行车记录仪、车载摄像机、车载照相机、车载记录仪、车载记录装置、行车记录器、车联网后视镜、行驶记录仪、行车记录装置等具有摄像功能的装置。例如，车载设备140可以是移动设备140-1、机动车内置设备140-2、笔记本电脑140-3、行车记录仪140-4。

服务器110可以直接访问存取储存在存储器150的数据信息，也可以直接通过网络120访问存取用户端130的信息。

存储器150可以泛指具有存储功能的设备。存储器150主要用于存储从用户端130收集的数据和按需服务系统100工作中产生的各种数据。存储器150可以是本地的，也可以是远程的。系统数据库与系统其他模块间的连接或通信可以是有线的，也可以是无线的。

网络120可以提供信息交换的渠道。网络120可以是单一网络，也可以是多种网络组合的。网络120可以包括但不限于局域网、广域网、公用网络、专用网络、无线局域网、虚拟网络、都市城域网、公用开关电话网络等中的一种或几种的组合。网络120可以包括多种网络接入点，如有线或无线接入点、基站(如120-1，120-2)或网络交换点，通过以上接入点使数据源连接网络120并通过网络发送信息。

图2是用于实现本发明技术方案的专用系统的示例性计算设备200的框图。

如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出接口230和通信通信端口240。

处理器210可以执行计算指令(程序代码)并执行本发明描述的按需服务系统100的功能。所述计算指令可以包括程序、对象、组件、数据结构、过程、模块和功能(所述功能指本发明中描述的特定功能)。例如，处理器210可以处理从按需服务系统100的其他任何组件获得的图像或文本数据。在一些实施例中，处理器210可以包括微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、应用特定指令集处理器(ASIP)、中央处理器(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件以及能够执行一个或多个功能的任何电路和处理器等，或其任意组合。仅为了说明，图2中的计算设备200只描述了一个处理器，但需要注意的是本发明中的计算设备200还可以包括多个处理器。

存储器220可以存储从按需服务系统100的任何其他组件获得的数据/信息。在一些实施例中，存储器220可以包括大容量存储器、可移动存储器、易失性读取和写入存储器和只读存储器(ROM)等，或其任意组合。示例性大容量存储器可以包括磁盘、光盘和固态驱动器等。可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘和磁带等。易失性读取和写入存储器可以包括随机存取存储器(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容(Z-RAM)等。ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(PEROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字通用盘ROM等。

输入/输出(I/O)接口230可以用于输入或输出信号、数据或信息。在一些实施例中，输入/输出接口230可以使用户与按需服务系统100进行联系。在一些实施例中，输入/输出接口230可以包括输入装置和输出装置。示例性输入装置可以包括键盘、鼠标、触摸屏和麦克风等，或其任意组合。示例性输出设备可以包括显示设备、扬声器、打印机、投影仪等，或其任意组合。示例性显示装置可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面显示器、电视设备、阴极射线管(CRT)等，或其任意组合。通信端口240可以连接到网络以便数据通信。所述连接可以是有线连接、无线连接或两者的组合。有线连接可以包括电缆、光缆或电话线等，或其任意组合。无线连接可以包括蓝牙、Wi-Fi、WiMax、WLAN、ZigBee、移动网络(例如，3G、4G或5G等)等，或其任意组合。在一些实施例中，通信端口240可以是标准化端口，如RS232、RS485等。在一些实施例中，通信端口240可以是专门设计的端口。

图3是用于实现本发明技术方案的专用系统的示例性移动设备300的框图。

如图3所示，所述移动设备300可以包括通信平台310、显示器320、图形处理器(GPU)330、中央处理器(CPU)340、输入/输出接口350、内存360、存储器370等。在一些实施例中，操作系统361(如，iOS，Android，Windows Phone等)和应用程序362可以从存储器370加载到内存360中，以便由CPU340执行。应用程序362可以包括浏览器或用于从按需服务系统100接收成像、图形处理、音频或其他相关信息的应用程序。

为了实现在本发明中描述的各种模块、单元及其功能，计算设备或移动设备可以用作本发明所描述的一个或多个组件的硬件平台。这些计算机或移动设备的硬件元件、操作系统和编程语言本质上是常规的，并且本领域技术人员熟悉这些技术后可将这些技术适应于本发明所描述的按需服务系统。具有用户界面元件的计算机可以用于实现个人计算机(PC)或其他类型的工作站或终端设备，如果适当地编程，计算机也可以充当服务器。

图4为根据本发明的一些实施例所示的示例性图像数据处理方法的流程图。

在一些实施例中，该图像数据处理方法400由服务器110或计算设备200等具有处理、运算能力的设备执行。

步骤401，获取道路的俯视图像。

道路的俯视图像可以指从空中俯瞰道路的角度拍摄得到的道路图像。获取道路俯视图像可以通过多种方式获取。例如，可以通过航拍的方式获取道路的俯视图像，也可以通过安装在道路上的监控摄像头获取道路的俯视图像，也可以通过处理车载设备(例如，行车记录仪)采集的道路视频获得道路的俯视图像。基于车载设备采集的道路视频获取道路的俯视图像的详细描述参见图5及其相关说明。

步骤402，获取经训练的交通标线识别模型。

服务器110可以通过网络120获取经训练的交通标线识别模型。该经训练的交通标线识别模型可以识别出俯视图像中的交通标线的类别和/或在俯视图像中的位置，例如车道线在俯视图像中的位置、各种地标分别在俯视图像中的位置。

一些实施例中，经训练的交通标线识别模型可以对一张道路俯视图像进行处理，输出处理后的图像，并且在该图像上用不同的形式标注出不同类型的交通标线。例如，可以用户虚线框圈出各个交通标线和/或用文字标注不同的交通标线的类别。又例如，经训练的交通标线识别模型可以输出一张图像，并且在该图像上用不同的像素值表示不同类别的交通标线，例如，用户数字“1”表示车道线，用数字“2”表示一种地标(例如，人行道)。

仅作为示例说明，本实施例优选的经训练的交通标线识别模型为经训练的MASK-RCNN模型。训练MASK-RCNN模型时的输入为多张原始图像及其标注信息。其中，标注信息反映各原始图像中交通标线的像素坐标或像素位置，和/或类别。标注信息可以是标注了各种交通标线类别的图层信息。图层可以是与原始图像大小相同的图像。在一些实施例中，一张原始图像对应多张图层，每张图层上包含一类或一个交通标线。在一些实施例中，一张原始图像可以仅对应一张图层，图层上包含了原始图像中全部的交通标线。为了便于后续图像处理，在又一些实施例中，图层的像素值可以限定在有限的若干值上，例如图层可以是二值图像，图层中的交通标线像素值为“1”，其余像素点的像素值为“0”；又例如，通过在原始图像上标注不同类别的交通标线，可以在同一张图像上用不同像素值代表不同类别的交通标线(例如，像素值“1”代表车道线，像素值“2”代表人行道，像素值“3”代表直行)，其余像素点的像素值为“4”。服务器110可以获得不同类别的交通标线对应的图层信息。基于原始图像及其各种交通标线的图层，MASK-RCNN模型通过学习，使得预测输出的各种交通标线的图层和标注的各种交通标线的图层达到一致，获得经训练的MASK-RCNN模型。在一些实施例中，经训练的交通标线识别模型还可以是经训练的基于卷积神经网络的交通标线模型、基于深度学习的交通标线识别模型、基于MATLAB的交通标线识别模型、基于智能认知的交通标线识别模型、基于形状特征的交通标线识别模型等。

步骤403，基于所述俯视图像和所述经训练的交通标线识别模型，获得所述俯视图像的至少一个图层；所述图层包括所述俯视图像中的至少一个交通标线，以及至少反映所述至少一个交通标线在所述俯视图像中的区域。

通过将俯视图像输入到经训练的交通标线识别模型，服务器110可以获得俯视图像的至少一个图层。在一些实施例中，输出的图层在对应于交通标线在俯视图像中的相同位置具有相同的交通标线。图层可以包括一个或多种交通标线。在一些实施例中，一个图层可以只包括一种交通标线(例如，只包括车道线)，也可以包括多种交通标线(例如，车道线和地标)。又例如，一个图层可以只包括一种地标(例如，人行道)，也可以包括多种地标(例如，人行道、掉头、减速慢行)。又例如，一个图层可以只包括车道线，其他每个图层只包括一种地标(例如，一个图层只包括掉头、一个图层只包括人行道、一个图层只包括右转)。

图层可以为二值化图像(每个像素点的像素值为0或1)，像素点的像素值为1表示该点为交通标线，像素点的像素值为0表示该点为非交通标线。图层还可以反映至少一个交通标线的类别。例如，某个图层只包括车道线的信息，也称为车道线图层，其中，像素点的像素值为1代表该点为车道线。又例如，某个图层只包括地标(例如，人行道)的信息，也称为地标图层，其中，像素点的像素值为1代表该点为地标。在其他实施例中，图层可以有更多种类的像素值，不同的交通标线用不同的像素值表示，而同一个交通标线的像素值相同；背景像素点采用区别于交通标线像素点的像素值。以MASK-RCNN模型为例，MASK-RCNN模型可以输出不同类别交通标线的mask图层信息，并可以获得交通标线的像素级位置信息。每种交通标线的mask图层信息为二维的0/1栅格数据(栅格可以包括一个或多个像素点)，在有交通标线的区域像素值为1，反之为0。

在其他实施例中，输出图层上的交通标线可以由线框框出，线框内的区域即交通标线在俯视图像中的区域。线框可以是矩形、圆形、椭圆形、多边形或不规则线框中的一种或多种组合。不同的线框可以具有不同的颜色。

步骤404，对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标。

所述图层反映至少一个交通标线在俯视图像中的位置，在一些实施例中，输出的图层在对应于交通标线在俯视图像中的相同位置具有相同的交通标线。通过对图层的进一步处理，服务器110可以获得至少一个交通标线在俯视图像的更精确的位置坐标。所述处理方式包括但不限于包括图像去噪、图像变换、边缘检测、边缘细化、图像分析、图像压缩、图像增强、图像模糊处理、图像插值、二值化变换、阈值变换、傅立叶变换、离散余弦变换等。关于图层处理的具体内容可以进一步参见后面的详细描述。

仅作为示例说明，图5示出了在一些实施例中，服务器110获取道路的俯视图像的步骤。

步骤501，获取车载设备拍摄的道路视频。

车载设备在车辆行驶过程中可以连续拍摄道路视频。车载设备包括但不限于行车记录仪、车载摄像机、车载照相机、车载记录仪、车载记录装置、行车记录器、车联网后视镜、行驶记录仪、行车记录装置等具有摄像功能的装置。服务器110可以通过网络120获取车载设备拍摄的道路视频。

步骤502，基于所述道路视频，获取多张图像。

服务器110可以将所述道路视频分割成多帧数据，获取多张图像。例如，服务器110可以提取连续的若干帧图像，也可以每间隔一帧获取一张图像，也可以间隔多帧获取一张图像。

步骤503，获取每张图像中同一位置的图像数据。

在一些实施例中，服务器110可以提取每张图像中同一行的图像数据。在又一些实施例中，服务器110可以提取每张图像中相同的多行的图像数据。例如，服务器110可以从每张图像中从最上方往下分别提取三行(即第一行、第二行、第三行)图像数据。在一些实施例中，服务器110可以从每张图像中提取畸变较小的一行或多行数据。例如，可以提取图像中最上方或最下方的一行或多行数据，或者图像中间部分畸变较少的一行或多行。在一些实施例中，服务器110可以从每张图像中其他固定位置提取图像数据，该固定位置不限于图像中的固定某一行或多行的图像数据，也可以是局部图像数据，例如固定某一行或多行中图像数据中的部分列。

步骤504，拼接所述多张图像中同一位置的图像数据，获得所述道路的俯视图像。

例如，当服务器110可以提取每张图像中同一行的图像数据后，服务器110可以按照时间顺序拼接每张图像中同一行的图像数据形成最终的道路的俯视图像。在又一些实施例中，服务器110可以基于提取每张图像中相同的多行的图像数据，通过拼接形成多张道路的俯视图像。例如，当服务器110从每张图像中从最上方往下提取第100行、第320行、第480行三行图像数据后，服务器110可以基于每张图像的第100行的图像数据拼接形成第一张俯视图像、基于每张图像的第320行的图像数据拼接形成第二张俯视图像以及基于每张图像的第480行的图像数据拼接形成第三张俯视图像。服务器110在获得三张俯视图像后，可以通过比较三张图像的质量(例如，清晰度)最终确定一张合适的俯视图像。

仅作为示例说明，图7示出了在其他一些实施例中，服务器110基于所述俯视图像和所述经训练的交通标线识别模型，获得所述俯视图像的至少一个图层的步骤包括：

步骤701，基于俯视图像，获取多张子图像；所述多张子图像分别包括所述俯视图像的一部分，且至少两张子图像共同包括所述腐蚀图像中的某一部分。

步骤702，针对每张子图像，基于所述子图像和所述经训练的交通标线识别模型，获得所述子图像的至少一个图层；所述图层包括所述子图像中的至少一个交通标线的至少一部分，以及至少反映所述至少一个交通标线的至少一部分在所述子图像中的区域。

步骤703，基于至少两张子图像的至少一个图层，联合确定出所述俯视图像的至少一个图层。

仅作为示例说明，服务器110可以通过小于俯视图像的窗口截取多张俯视图像的子图像。例如，俯视图像的像素大小1024×1024，该窗口的大小为64×64。通过将窗口的第32行、第32列的像素点对准俯视图像的每个像素点对俯视图像进行截取，可以获得1024×1024张大小均为64×64的子图像。窗口内未覆盖的俯视图像的像素点的值用像素值0代替。

通过将每张子图像输入到经训练的交通标线识别模型(例如，MASK-RCNN模型)，可以识别出每张子图像的至少一个图层，其中，每个图层可以只包括一种交通标线。对于单个图层而言，该图层的像素点的像素值为0或1,其中，1表示该像素点为该交通标线。例如，对于某个图层为车道线图层而言，其中，像素点的像素值为1表示该点为车道线。又例如，对于某个图层为人行道图层而言，其中，像素点的像素值为1表示该点为人行道。进一步地，对同一种交通标线的多个图层中在俯视图像中为同一位置的像素点而言，当该像素点的像素值为1的统计个数大于某一阈值时，则服务器110可以确定俯视图像对应的该交通标线的图层中该点的像素值最终为1。例如，当100张子图像分别输入到交通标线识别模型(例如，MASK-RCNN模型)，输出100个子图像车道线图层，该100个子图像车道线图层包括了俯视图像中的同一个A点。对于100个子图像车道线图层中，对应于俯视图像A点的像素值为1的个数大于50时，则服务器110可以确定俯视图像A点在俯视图像车道线图层中的像素值为1，否则，确定A点在最终车道线图层中的最终像素值为0。类似地，服务器110可以确定出俯视图像的每个图层中每个像素点的最终像素值。最终，服务器110可以确定出俯视图像的至少一个图层。例如，服务器110最终可以确定出车道线图层、每种地标对应的图层(例如，人行道图层、掉头图层、左转图层等)。通过该方法可以对图像的子区域识别多次，将多次识别的结果进行联合(例如，融合)判断俯视图像的图层中对应像素位置处的像素值，能有效降低识别误差，提高图像的识别精度。

在一些实施中，服务器110可以对图层的处理保括但不限于进行腐蚀处理、膨胀处理或平滑处理。

以车道线图层为例，图8为对车道线图层处理前的原图，白色代表车道线，黑色代表非车道线。

在一些实施例中，在提取车道线前，服务器110可以对车道线图层进行形态学处理，主要是使用比较小的矩形核(例如，核(2,2)，核(3,3)，核(5,5))进行腐蚀。腐蚀操作指当核内的像素点的像素值不全为1时，将核内的像素值为1的像素点由1变为0(即由白色变为黑色)，当核内的像素点的像素值全为1时，则不作改变。通过此操作可以绝大部分地过滤掉无效(或者孤立)的噪点。图9为对车道线图层进行腐蚀后的结果图，从图9中可以看出，经过腐蚀，相比原车道线，腐蚀后的车道线变窄。

通过腐蚀操作，可以绝大部分地过滤掉无效(或者孤立)的噪点，但是同时对有效的信息将会产生损失，此时可以使用比较大的矩形核(例如，核(20,3)、核(20,5)或核(5,3))进行膨胀操作。膨胀操作指当核内的像素点的像素值不全为0时，将核内的像素值为0的像素点由0变为1(即由黑色变为白色)，当核内的像素点的像素值全为0时，则不作改变。图10为对车道线图层进行腐蚀后又经过膨胀处理后的结果图。通过膨胀，一部分可以抵消腐蚀操作中引入的精度损失，一部分可以解决由于部分遮挡导致的车道线断开情况(如图9中的901部分两条车道线是断开的，经过膨胀后得到图10中1001部分两条车道线是连接的)。

在一些实施中，图11示出了响应于俯视图像的图层为车道线图层，服务器110可以对车道线图层进行以下操作获得俯视图像的位置坐标的方法。在一些实施例中，对车道线图层进行以下操作之前，服务器110可以对车道线图层进行腐蚀处理、膨胀处理或平滑处理中的一种或多种处理。

步骤1101，基于车道线图层和车道线图层中像素点的像素值，确定至少一条车道线的左边缘点和右边缘点在车道线图层中的位置坐标。

服务器110可以对图层自上而下进行左右车道线边缘提取。例如，服务器110可以每次读取一行数据，确定该行中的第一条车道线的第一左边缘点和第一右边缘点，其中，第一左边缘点为像素值由0变为1(由黑变白)的第一个像素点，第一右边缘点为像素值由1变为0(由白变黑)的第一个像素点。服务器110继续扫描该行数据，得到第二左边缘点和第二右边缘点，如果第二左边缘点与第一左边缘点的距离大于一定的阈值，则说明为存在两条车道线，以此类推，找到第三条或者第四条车道线的左边缘点、右边缘点。服务器110扫描不同行的数据，将该行的车道线的某像素点(例如左边缘点)的位置与前一行的车道线的某像素点(例如左边缘点)的位置对比，如果两点距离小于一定的阈值，则作为同一条车道线，这样将第二行信息与第一行信息结合起来；以此类推，结合多行信息，最后连接得到多条车道线。。

步骤1102，基于所述至少一条车道线的左边缘点和右边缘点在车道线图层中的位置坐标，确定所述至少一条车道线的中心线在车道线图层中的位置坐标。

在一些实施例中，服务器110可以对车道线图层中每一行车道线的左边缘点和右边缘点的坐标进行一定的运算，将运算结果作为车道线中心线上点的坐标。例如，将车道线图层中每一行车道线的左边缘点和右边缘点的坐标求平均，将结果作为车道线中心线的坐标位置。服务器110通过连接车道线的左边缘点和右边缘点的中点形成该车道线的中心线。图12为对车道线图层确定车道线的中心线后的结果图。

步骤1103，基于车道线的预设宽度以及所述至少一条车道线的中心线的位置坐标，确定所述至少一条车道线在所述俯视图像中的位置坐标。

服务器110基于车道线的预设宽度(例如，10mm、20mm、30mm、50mm、100mm、200mm等)，可以确定车道线图层中的车道线的像素宽度。例如，服务器110可以确定车道线图层中的车道线的像素宽度为30个像素点。在一些实施例中，服务器110可以以车道线的中心线为基准左右拓宽一定像素区域，确定车道线在俯视图像中的位置坐标。例如，服务器110可以以车道线的中心线为基准向左右两侧各拓宽15个像素点，从而确定车道线在俯视图像中的位置坐标。

在一些实施例中，服务器110可以判断某条车道线的中心线的末端和另一条车道线的中心线的首端的在水平方向的距离是否小于第一阈值，并且在竖直方向上的距离是否小于第二阈值。示例性的，第一阈值可以设为15个像素点，第二阈值可以设为100个像素点。当某条车道线的中心线的末端和另一条车道线的中心线的首端的在水平方向的距离小于第一阈值，并且在竖直方向上的距离小于第二阈值时，服务器110可以将所述至少一条车道线的末端和所述另一条车道线的中心线的首端通过线性插值的方法进行连接。进一步地，服务器110可以通过将拼接后的中心线为基准向左右两侧各拓宽若干个像素点，确定所述至少一条车道线在所述俯视图像中的位置坐标。

在一些实施例中，服务器110可以先对车道线图层进行形态学处理(包括腐蚀、膨胀)后进行图11的操作，如图13所示为车道线图层经过腐蚀、膨胀后提取中心车道线中心线的结果图。

在一些实施例中，由于行人遮挡或者其他遮挡的原因，检测到的某条车道线可能被分为几段。对于该车道线属于断的情况，服务器110可以对车道线作拼接、滤波和平滑处理。图14示出了一种示例性的处理多段车道线的方法的流程。

步骤1401，判断车道线图层中至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离是否小于第一阈值，并且在竖直方向上的距离是否小于第二阈值。

服务器110可以通过步骤1101的方法确定每条车道线某一端部的左边缘点和右边缘点在车道线图层中的位置坐标。基于每条车道线某端部的左边缘点和右边缘点在车道线图层中的位置坐标，服务器110可以确定车道线图层中每条车道线的端点。应当注意的是，端部为车道线在车道线图层的竖直方向上的起始点或终点所在的区域，例如车道线最上方的一行像素点或最下方的一行像素，由于车道线具有一定的宽度，该端部可以包括某一行的多个像素点。而端点为端部区域的某一点，用于表征车道线的端部。服务器110可以确定车道线图层中每条车道线的某一端点和另一条车道线的某一端点在水平方向的距离(也称为水平距离)和竖直方向上的距离(也称为竖直距离)。服务器110可以计算某条车道线末端(可以包括多个像素点)中的一个端点和另一条车道线的首端(可以包括多个像素点)中的一个端点的水平距离和竖直距离。例如，服务器110可以计算某条车道线的中心线的末端和另一条车道线的中心线的首端的水平距离和竖直距离。又例如，服务器110可以计算某条车道线的末端的左边缘点和另一条车道线的首端的左边缘点的水平距离和竖直距离。进一步地，判断车道线图层中至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离是否小于第一阈值，并且在竖直方向上的距离是否小于第二阈值。

步骤1402，响应于所述至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离小于第一阈值，并且在竖直方向上的距离小于第二阈值时，则将所述至少一条车道线的所述某一端点和所述另一条车道线的所述某一端点进行拼接。

例如，第一阈值可以设为15个像素点，第二阈值可以设为100个像素点。在一些实施例中，服务器110可以将所述至少一条车道线的末端的左边缘点和右边缘点和另一条车道线的首端的左边缘点和右边缘点形成的区域范围的像素点的像素值变为1，从而形成两段车道线的拼接段。

在一些实施例中，服务器110可以将所述至少一条车道线的中心线的末端和所述另一条车道线的中心线的首端通过线性插值的方法进行连接。进一步地，服务器110可以通过将拼接后的中心线为基准向左右两侧各拓宽若干个像素点，实现两段车道线的拼接。

在一些实施例中，服务器110可以将所述至少一条车道线的末端的左边缘点和所述另一条车道线的首端的左边缘点通过线性插值的方法进行连接。进一步地，服务器110可以通过将拼接后的左边缘线为基准向右宽若干个像素点，实现两段车道线的拼接。

在一些实施例中，服务器110可以将所述至少一条车道线的末端的右边边缘点和所述另一条车道线的首端的右边缘点通过线性插值的方法进行连接。进一步地，服务器110可以通过将拼接后的右边缘线为基准向左拓宽若干个像素点，实现两段车道线的拼接。

步骤1403，判断车道线图层中某条车道线的长度是否小于第三阈值。

服务器110可以确定某条车道线的首端和末端在车道线图层中的位置。服务器110可以基于某条车道线的首端和末端在车道线图层中的位置，从而确定该条车道线的长度。进一步地，服务器110可以确定某条车道线的长度是否小于第三阈值。该第三阈值可以为服务器110预先设定的值，例如，可以为100个像素点的距离。

步骤1404，响应于所述某条车道线的长度小于第三阈值，将所述车道线从所述俯视图像中去除。

当某条车道线的长度小于第三阈值，服务器110可以将该条车道线在车道线图层中的像素点的像素值由1改为0(即由白色变为黑色)。

步骤1405，对处理后的车道线图层做窗口平滑处理。

在一些实施例中，在提取的车道线中，可能因为车辆的短时颠簸，使得极少数的车道线提取后存在“尖刺”等情况，在不损失精度的情况下，服务器110可以对车道线图层做平滑处理。平滑处理算法包括但不限于均值滤波、中值滤波、高斯滤波、双边滤波等。

应当注意的是，方法1400对车道线进行拼接、滤波和平滑的处理顺序只是示例性的，本申请并不限定处理的顺序。例如，服务器110可以先对车道线进行滤波处理后，再进行拼接和平滑处理。此外，方法1400中的某些步骤还可以独立使用。例如步骤1401余1402可以独立使用，进行车道线拼接。步骤1403～1404可以合并使用，去除地面上的干扰交通标线识别的其他痕迹或物体。1405可以独立使用，对交通标线进行平滑处理。诸如此类的变形，均在本申请的保护范围之内。

图15为根据本发明的一些实施例所示的另一种对图层进行处理以获得至少一个交通标线在俯视图像中的位置坐标的方法的流程图。该方法1500可以用于处理俯视图像的图层为地标图层。服务器110可以对地标图层进行以下操作获得地标在俯视图像中的位置坐标。

步骤1501，基于所述至少一个图层和该图层中像素点的像素值，确定该图层中交通标线在水平方向上的最大坐标值和最小坐标值，以及在竖直方向上的最大坐标值和最小坐标值。

以代表直行的三角形地标为例，如图16所示，服务器110可以确定出三角形地标在图层水平方向的最大坐标值为x2、最小坐标值为x1，以及在竖直方向上的最大坐标值y2和最小坐标值y1。

步骤1502，基于所述交通标线在水平方向上的最大坐标值和最小坐标值以及在竖直方向上的最大坐标值和最小坐标值，确定该地标在所述俯视图像中的位置坐标。

如图16所示，基于三角形地标在水平方向上的最大坐标值和最小坐标值以及在竖直方向上的最大坐标值和最小坐标值，服务器110可以确定三角形地标的矩形区域。服务器110可以基于坐标A(x1,y1)、坐标B(x2，y2)、坐标C(x1,y2)和坐标D(x2，y2)，确定三角形地标的矩形区域ABCD。在绘制地图时，服务器110可以将包含地标的区域以矩形框的方式框出，然后标记是直行、左转或者斑马线等导引线。

对于其他地标标线而言，服务器110同样可以通过方法1500的方法识别出地标所处的矩形区域。在绘制地图时，服务器110将包含地标的区域以矩形框的方式框出，然后标记是直行、左转或者斑马线等导引线。需要注意的是，该方法1500同样适用于对车道线的处理。

图17为根据本发明的一些实施例所示的一种图像数据处理装置的框图。

图像数据处理装置1700可以由服务器110实现。为描述方便，图像数据处理装置1700也可以称为图像数据处理系统。

图像数据处理装置1700俯视图像获取模块1710、图层获取模块1720和图层处理模块1730。

图像获取模块1710用于获取道路的俯视图像。

图层获取模块1720用于基于所述俯视图像和经训练的交通标线识别模型，获得所述俯视图像的至少一个图层；所述图层包括所述俯视图像中的至少一个交通标线，以及至少反映所述至少一个交通标线在所述俯视图像中的区域。

图层处理模块1730，用于对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标。

在一些实施例中，经训练的交通标线识别模型为经训练的MASK-RCNN模型。

在一些实施例中，图层的图像大小与所述俯视图像的图像大小相同，且所述图层为二值化图像。

在一些实施例中，图层还反映所述至少一个交通标线的类别。

在一些实施例中，图层处理模块1730还用于对所述至少一个图层进行腐蚀处理、膨胀处理或平滑处理中的一种或多种处理。

在一些实施例中，响应于俯视图像的图层为车道线图层，图层处理模块1730还用于基于所述车道线图层和所述车道线图层中像素点的像素值，确定至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标；基于所述至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标，确定所述至少一条车道线的中心线在所述车道线图层中的位置坐标；基于车道线的预设宽度以及所述至少一条车道线的中心线的位置坐标，确定所述至少一条车道线在所述俯视图像中的位置坐标。

在一些实施例中，响应于俯视图像的图层为车道线图层，图层处理模块1730还用于判断车道线图层中至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离是否小于第一阈值，并且在竖直方向上的距离是否小于第二阈值；响应于所述至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离小于第一阈值，并且在竖直方向上的距离小于第二阈值时，则将所述至少一条道路的所述某一端点和所述另一条车道线的所述某一端点进行拼接。

在一些实施例中，响应于俯视图像的图层为车道线图层，图层处理模块1730还用于判断车道线图层中某条车道线的长度是否小于第三阈值；响应于所述某条车道线的长度小于第三阈值，将所述车道线从所述俯视图像中去除。

在一些实施例中，图层处理模块1730还用于基于所述至少一个图层和该图层中像素点的像素值，确定该图层中交通标线在水平方向上的最大坐标值和最小坐标值，以及在竖直方向上的最大坐标值和最小坐标值；基于所述交通标线在水平方向上的最大坐标值和最小坐标值以及在竖直方向上的最大坐标值和最小坐标值，确定该交通标线在所述俯视图像中的位置坐标。

图18为根据本发明的一些实施例所示的一种俯视图像获取1710的框图。

俯视图像获取模块1710包括视频获取单元1810、图像获取单元19820、图像数据提取单元1830和图像数据拼接单元1840。

视频获取单元1810用于获取车载设备拍摄的道路视频。

图像获取单元1820用于基于所述道路视频，获取多张图像。

图像数据提取单元1830用于获取每张图像中同一位置的图像数据。

图像数据拼接单元1840用于拼接所述多张图像中同一位置的图像数据，获得所述道路的俯视图像。

在一些实施例中，每张图像中同一位置的图像数据包括每张图像中相同的至少一行。

图19为根据本发明的一些实施例所示的一种图层获取模块1720的框图。

图层获取模块1720包括子图像获取单元1910、子图层获取单元1920和联合确定单元1930。

子图像获取单元1910用于基于俯视图像，获取多张子图像；所述多张子图像分别包括所述俯视图像的一部分，且至少两张子图像共同包括所述腐蚀图像中的某一部分；

子图层获取单元1920用于针对每张子图像，基于所述子图像和所述经训练的交通标线识别模型，获得所述子图像的至少一个图层；所述图层包括所述子图像中的至少一个交通标线的至少一部分，以及至少反映所述至少一个交通标线的至少一部分在所述子图像中的区域；

联合确定单元1930用于基于至少两张子图像的至少一个图层，联合确定出所述俯视图像的至少一个图层。

本发明披露了一种图像数据处理装置。该装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现任意一种图像数据处理方法。

本发披露了一种计算机可读存储介质。该存储介质存储计算机指令，当所述计算机指令被处理器执行时实现任意一种图像数据处理方法。

需要说明的是，上述各个模块可以是通过计算机指令实现的软件模块。以上对于候选项显示、确定系统及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。

本申请实施例可能带来的有益效果包括但不限于：(1)通过交通标线识别模型可以识别出不同类型的交通标线；(2)对提取的车道线进行拼接处理、滤波处理、平滑处理在一定程度上解决了交通标线被部分遮挡而不连续的问题；(3)提取道路视频中的多张图像的同一位置拼接成道路的俯视图像一定程度上解决了图像畸变的问题；(4)通过Mask-RCNN模型可以识别出不同类型的交通标线在图层中的像素级位置，满足更高精度交通标线识别的要求。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述为本申请的基本构思，仅以实施例形式呈现，显而易见地，本领域的技术人员依据本申请作出相应变化、改进或修正。这些变化、改进和修正已被本申请所暗示或间接提出，均包含在本申请实施例的精神或范围之内。

Claims (26)

1.一种图像数据处理方法，其特征在于，包括：

获取道路的俯视图像；

基于所述俯视图像和经训练的交通标线识别模型，获得所述俯视图像的至少一个图层；所述图层包括所述俯视图像中的至少一个交通标线，以及至少反映所述至少一个交通标线在所述俯视图像中的区域；

对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标。

2.如权利要求1所述的方法，其特征在于，所述基于所述俯视图像和所述经训练的交通标线识别模型，获得所述俯视图像的至少一个图层还包括：

基于所述俯视图像，获取多张子图像；所述多张子图像分别包括所述俯视图像的一部分，且至少两张子图像共同包括所述腐蚀图像中的某一部分；

针对每张子图像，

基于所述子图像和所述经训练的交通标线识别模型，获得所述子图像的至少一个图层；所述子图像的至少一个图层包括所述子图像中的至少一个交通标线的至少一部分，以及至少反映所述至少一个交通标线的至少一部分在所述子图像中的区域；

基于至少两张子图像的至少一个图层，联合确定出所述俯视图像的至少一个图层。

3.如权利要求1所述的方法，其特征在于，所述经训练的交通标线识别模型为经训练的MASK-RCNN模型。

4.如权利要求1所述的方法，其特征在于，所述图层的图像大小与所述俯视图像的图像大小相同，且所述图层为二值化图像。

5.如权利要求1所述的方法，其特征在于，所述对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：

对所述至少一个图层进行腐蚀处理、膨胀处理或平滑处理中的一种或多种的组合。

6.如权利要求1所述的方法，其特征在于，所述获取道路的俯视图像还包括：

获取车载设备拍摄的道路视频；

基于所述道路视频，获取多张图像；

获取每张图像中同一位置的图像数据；

拼接所述多张图像中同一位置的图像数据，获得所述道路的俯视图像。

7.如权利要求6所述的方法，其特征在于，所述每张图像中同一位置的图像数据包括每张图像中相同的至少一行的图像数据。

8.如权利要求1所述的方法，其特征在于，所述图层还反映所述至少一个交通标线的类别。

9.如权利要求8所述的方法，其特征在于，响应于俯视图像的图层为车道线图层，所述对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：

基于所述车道线图层和所述车道线图层中像素点的像素值，确定至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标；

基于所述至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标，确定所述至少一条车道线的中心线在所述车道线图层中的位置坐标；

基于车道线的预设宽度以及所述至少一条车道线的中心线的位置坐标，确定所述至少一条车道线在所述俯视图像中的位置坐标。

10.如权利要求8所述的方法，其特征在于，响应于俯视图像的图层为车道线图层，所述对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：

判断车道线图层中至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离是否小于第一阈值，并且在竖直方向上的距离是否小于第二阈值；

响应于所述至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离小于第一阈值，并且在竖直方向上的距离小于第二阈值时，则将所述至少一条道路的所述某一端点和所述另一条车道线的所述某一端点进行拼接。

11.如权利要求8或10所述的方法，其特征在于，响应于俯视图像的图层为车道线图层，所述对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：

判断车道线图层中某条车道线的长度是否小于第三阈值；

响应于所述某条车道线的长度小于第三阈值，将所述车道线从所述俯视图像中去除。

12.如权利要求1所述的方法，其特征在于，所述对所述至少一个图层进行处理，以基于所述区域获得所述至少一个交通标线在所述俯视图像的位置坐标还包括：

基于所述至少一个图层和该图层中像素点的像素值，确定该图层中交通标线在水平方向上的最大坐标值和最小坐标值，以及在竖直方向上的最大坐标值和最小坐标值；

基于所述交通标线在水平方向上的最大坐标值和最小坐标值以及在竖直方向上的最大坐标值和最小坐标值，确定该交通标线在所述俯视图像中的位置坐标。

13.一种图像数据处理系统，其特征在于，包括：

俯视图像获取模块，用于获取道路的俯视图像；

图层获取模块，用于基于所述俯视图像和经训练的交通标线识别模型，获得所述俯视图像的至少一个图层；所述图层包括所述俯视图像中的至少一个交通标线，以及至少反映所述至少一个交通标线在所述俯视图像中的区域；

图层处理模块，用于对所述至少一个图层进行处理，以获得所述至少一个交通标线在所述俯视图像的位置坐标。

14.如权利要求13所述的系统，其特征在于，所述图层获取模块还包括：

子图像获取单元，用于基于所述俯视图像，获取多张子图像；所述多张子图像分别包括所述俯视图像的一部分，且至少两张子图像共同包括所述腐蚀图像中的某一部分；

子图层获取单元，用于针对每张子图像，基于所述子图像和所述经训练的交通标线识别模型，获得所述子图像的至少一个图层；所述图层包括所述子图像中的至少一个交通标线的至少一部分，以及至少反映所述至少一个交通标线的至少一部分在所述子图像中的区域；

联合确定单元，用于基于至少两张子图像的至少一个图层，联合确定出所述俯视图像的至少一个图层。

15.如权利要求13所述的系统，其特征在于，所述经训练的交通标线识别模型为经训练的MASK-RCNN模型。

16.如权利要求13所述的系统，其特征在于，所述图层的图像大小与所述俯视图像的图像大小相同，且所述图层为二值化图像。

17.如权利要求13所述的系统，其特征在于，所述图层处理模块还用于对所述至少一个图层进行腐蚀处理、膨胀处理或平滑处理中的一种或多种处理。

18.如权利要求13所述的系统，其特征在于，所述俯视图像获取模块还包括：

视频获取单元，用于获取车载设备拍摄的道路视频；

图像获取单元，用于基于所述道路视频，获取多张图像；

图像数据提取单元，用于获取每张图像中同一位置的图像数据；

图像数据拼接单元，用于拼接所述多张图像中同一位置的图像数据，获得所述道路的俯视图像。

19.如权利要求18所述的系统，其特征在于，所述每张图像中同一位置的图像数据包括每张图像中相同的至少一行的图像数据。

20.如权利要求13所述的系统，其特征在于，所述图层还反映所述至少一个交通标线的类别。

21.如权利要求20所述的系统，其特征在于，响应于俯视图像的图层为车道线图层，所述图层处理模块还用于：

基于所述车道线图层和所述车道线图层中像素点的像素值，确定至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标；

基于所述至少一条车道线的左边缘点和右边缘点在所述车道线图层中的位置坐标，确定所述至少一条车道线的中心线在所述车道线图层中的位置坐标；

基于车道线的预设宽度以及所述至少一条车道线的中心线的位置坐标，确定所述至少一条车道线在所述俯视图像中的位置坐标。

22.如权利要求20所述的系统，其特征在于，响应于俯视图像的图层为车道线图层，所述图层处理模块还用于：

判断车道线图层中至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离是否小于第一阈值，并且在竖直方向上的距离是否小于第二阈值；

响应于所述至少一条车道线的某一端点和另一条车道线的某一端点在水平方向的距离小于第一阈值，并且在竖直方向上的距离小于第二阈值时，则将所述至少一条道路的所述某一端点和所述另一条车道线的所述某一端点进行拼接。

23.如权利要求20或22所述的系统，其特征在于，响应于俯视图像的图层为车道线图层，所述图层处理模块还用于：

判断车道线图层中某条车道线的长度是否小于第三阈值；

响应于所述某条车道线的长度小于第三阈值，将所述车道线从所述俯视图像中去除。

24.如权利要求13所述的系统，其特征在于，所述图层处理模块还用于：

基于所述至少一个图层和该图层中像素点的像素值，确定该图层中交通标线在水平方向上的最大坐标值和最小坐标值，以及在竖直方向上的最大坐标值和最小坐标值；

基于所述交通标线在水平方向上的最大坐标值和最小坐标值以及在竖直方向上的最大坐标值和最小坐标值，确定该交通标线在所述俯视图像中的位置坐标。

25.一种图像数据处理装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；

所述至少一个存储器用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～12中任意一项所述的操作。

26.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如权利要求1～12中任意一项所述的操作。

Images