CN112418061B - 一种车辆禁停区域确定方法及系统 - Google Patents

Abstract

本发明提供一种车辆禁停区域确定方法，包括以下步骤：获取监控视频图像；将所述监控视频图像输入禁停标识检测模型中识别禁停标识，其中所述禁停标识包括禁停区域标识、禁停标志标识以及禁停标线标识；将所述监控视频图像输入禁停文字检测模型中识别禁停文字；若识别到禁停标志标识、禁停标线标志或禁停文字，基于所述禁停标志标识、禁停标线标识或禁停文字所在位置获取对应的车道，确定禁停区域；若识别到禁停区域标识，基于所述禁停区域标识所在位置确定禁停区，该车辆禁停区域确定方法及系统基于图像处理技术可同时识别多种类别的车辆禁停区域，且可自动划分不同类型的车辆禁停区域。

Description

一种车辆禁停区域确定方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种车辆禁停区域确定方法及系统。

背景技术

随着经济发展以及人们生活水平的提高，机动车的数量剧增，路面上违章停车的现象也越来越多。违章停车指的是车辆在设有禁停标志、标线的路段或禁停区域停留，该行为不仅会严重干扰正常交通运行，甚至可能对人们的生命财产造成损害，因此需要对违章停车现象进行管控。

目前常见的管控违章停车的方式是通过在违停区域设置摄像头，摄像头获取违停区域的图像传送到后台进行人工处理或者计算机处理，计算机处理的方式相较人工处理的方式而言可极大程度地节省人力成本，且能更高效地发现违章车辆，因此更为广泛地应用于交通管制中。

但目前大部分的图像处理技术采用的方式是通过预设违停区域，若违停区域内出现车辆，则将其判定为违停车辆，在这种方案中违停区域的范围是由人为选取确定的，若同时出现多路监控视频，就会导致违停区域的选定存在耗时耗力的问题，且该方式仅适用于固定角度的图像获取；当然，也有技术致力于研究自动获取违停区域的方式，如，CN109919002A提供一种“黄色禁停线识别方法、装置、计算机设备及介质”，该方案是直接识别黄色禁停线来确定禁停区域，故其仅仅适用于形式为黄色网格线的禁停区域的确认，适用范围窄；再如CN110415555B提供一种“基于深度学习的有效划线车位识别方法”，该方案获取禁停标志以及地锁等障碍物及其坐标，利用障碍物坐标和划线车位的区域是否重合判断该划线车位是否为可用，其仅仅可以判断禁停车位，且判断禁停车位的前提还是首先获取划线车位的坐标，利用坐标区域之间是否有重合实现禁停车位的判断，该方案无法判断没有划线车位的禁停区域，比如禁止长时间停靠的路边。

即，目前应用于交通管制领域的图像处理技术难以同时获取识别多种类别的车辆禁停区域，且无法自动划分不同类型的车辆禁停区域。

发明内容

本发明的目的在于提供一种车辆禁停区域确定方法及系统，该车辆禁停区域确定方法及系统基于图像处理技术可同时识别多种类别的车辆禁停区域，且可自动划分不同类型的车辆禁停区域。

为实现以上目的，本技术方案提供一种车辆禁停区域确定方法，包括以下步骤：获取监控视频图像；将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息，依据识别信息确定禁停区域。

一种车辆禁停区域确认系统，至少包括：图像获取模块，用于获取监控视频图像；识别模块，将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息；确定模块，依据所述识别信息分类确定禁停区域。

相较现有技术，本技术方案具有以下特点和有益效果：

1.不仅可通过识别有明显标线划分的禁停区域标识确定禁停区域，还可结合车道检测技术确定禁停标志标识、禁停标线标识和禁停文本标识对应的禁停区域，以达到同时识别道路上所有可能出现的禁停区域的效果，满足不同情况的禁停区域识别需求。

2.基于禁停标志标识、禁停标线标识的具体含义信息划分不同类型的禁停区域，使其识别得到的禁停区域更具有实际价值；具体而言，可以此方式区分得到的禁停区域是否为临时停车区域，便于后续交通管制对临时停车区域做出不同的针对性管控。

附图说明

图1是根据本发明的一实施例的车辆禁停区域确定方法对应的流程示意图。

图2是根据本发明的一实施例的车辆禁停区域确定方法对应的框图流程示意图。

图3是禁停标志标识的类别。

图4a和4b是禁停标线标识的类别。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的第一方面，本方案提供一种车辆禁停区域确定方法，至少包括以下步骤：获取监控视频图像；将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息，依据识别信息确定禁停区域。

具体的，所述识别信息包括禁停标志标识、禁停标线标识、禁停文字标识以及禁停区域标识，若所述识别信息为禁停标志标识、禁停标线标识或禁停文字标识，获取识别信息对应的车道，确定禁停区域；若识别信息为禁停区域标识，确定禁停区域。

另外，还可根据识别信息的内容区分禁停区域亦或者临时停车区域。

具体的，本方案的方法步骤如下：

获取监控视频图像；

将所述监控视频图像输入禁停标识检测模型中识别禁停标识，其中所述禁停标识包括禁停区域标识、禁停标志标识以及禁停标线标识；

将所述监控视频图像输入禁停文字检测模型中识别禁停文字；

若识别到所述禁停标志标识、所述禁停标线标志或所述禁停文字，基于所述禁停标志标识、所述禁停标线标识或所述禁停文字所在位置获取对应的车道，确定禁停区域；若识别到所述禁停区域标识，基于禁停区域标识所在位置确定禁停区域。

本方案提供的车辆禁停区域确定方法可同时识别多种类别的禁停标识，包括所述禁停区域标识、所述禁停标志标识以及所述禁停标线标识，并针对不同的禁停标识采用不同的方法确定禁停区域。

在禁停标识识别步骤中，所述禁停区域标识包括黄色网格线区域标识、人行横道标识以及公交站点标识，其中所述黄色网格线区域标识以黄色划线包围形成网格区域，所述人行横道标识以间隔的白色划线包围形成人行横道的区域，所述公交站点标识以白色划线包围形成方形区域，在一些公交站点标识内印制“公交车专用车道”的字样。由于所述禁停区域标识对应包围固定范围的区域，因此在获取所述禁停区域标识时即可根据所述禁停区域标识直接获取禁停区域。

所述禁停标志标识包括禁止停车标志和禁止长时间停车标志，其中所述禁止停车标志为“圆内设置X字”的标志形状(如图3左),所述禁止长时间停车标志为“圆内设置单斜线”的标志形状(如图3右)。值得注意的是，所述禁停标志标识上不显示文字信息，仅以不同的标志形状标识不同的含义内容。另外，由于所述禁停标志标识往往为圆牌置于高处显示，因此仅获取所述禁停标志标识还不足以获取禁停区域。

所述禁停标线标识包括禁止停车线和禁止长时间停车线，其中所述禁止停车线为设置在道路栏边侧的连续长线(如图4a)，所述禁止长时间停车线为设置在道路边侧的间隔长线(如图4b)。值得注意的是，所述禁停标线标识上不显示文字信息，仅以不同的标志形状标识不同的含义内容。另外，由于所述禁停标线标识置于道路边侧显示，因此仅获取所述禁停标志标识还不足以获取禁停区域。

本方案通过训练过的禁停标识检测模型进行所述禁停标识的识别，所述禁停标识检测模型的训练过程如下：

1.标注训练样本：采集监控视频图像，对所述监控视频图像中出现的禁停区域标识、禁停标志标识以及禁停标线标志进行标注，其中标注信息包括所述禁停标识的位置标签及类别标签，不同类别标签对应不同的禁停标识，位置标签对应禁停标识四个边角的坐标；

2.禁停标识检测网络的搭建：禁停标识检测网络包括m个卷积层，采用多尺度预测方法对三个不同尺度的特征进行预测；

3.训练禁停标识检测网络：将所述标注完的监控视频图像输入到所述禁停标识检测网络中采用目标分类损失函数、目标置信度损失函数及目标定位偏移量损失函数进行训练，直至损失函数不再减小，停止训练，以得到禁停标识检测模型。

本方案中，所述监控视频图像输入所述训练过的禁停标识检测模型后得到对应的所述禁停标识的类别标签以及位置标签，通过所述类别标签区分不同的禁停标识，根据所述禁停标识的所述位置标签获取四个边角的坐标，根据所述四个边角坐标求取最小外接矩形，并从所述监控视频图像截取所述最小外接矩形，将所述最小外接矩形中除所述禁停标识以外的像素置为0，得到最终的禁停区域标识、禁停标志标识或禁停标线标识。

值得一提的是，最小外接矩形是矩形，由于摄像头角度等问题导致禁停标志可能为梯形，对于梯形外的区域用像素0填充，意思是对不是矩形的禁停标志区域进行填充黑色，让其成为矩形。

也就是说，禁停标识识别步骤中识别所述禁停标识并获取所述禁停标识的位置坐标，若该所述禁停标识为禁停区域标识则直接获取禁停区域；而若是所述禁停标志标识或所述禁停标线标识的话，还需配合车道检测技术确定禁停区域。

此时，车道检测技术具体包括以下步骤：

对所述监控视频图像进行前处理后截取感兴趣区域；对所述感兴趣区域进行霍夫直线变换得到直线，随后使用最小二乘法对获取的所述直线进行线性拟合获取车道线。

在本方案中基于所述禁停标识人为截取感兴趣区域。

在本方案中，对所述监控视频图像依次做灰度化处理、高斯模糊处理、Canny边缘检测处理，在一些实施例中，均采用开源库OPENCV对所述监控视频图像进行前处理，所述霍夫直线变换也可通过开源库OPENCV实现。

在禁停文字识别步骤中：所述禁停文本包括消防通道、公交车通道、出租车上下客区域等文本，所述禁停文本以文字的信息显示。由于所述禁停文本并不直接显示禁停区域，而是提示所述禁停文本所在的某一区域为禁停区域，因此在识别了所述禁停文本后依旧需要配合车道检测技术获取禁停区域。

本方案利用训练过的禁停文字检测模型识别所述禁停文字，所述禁停文本检测模型的训练过程如下：

1.标注训练样本：采集监控视频图像，并对其内出现的禁停文本进行标注，其中标注信息包括所述禁停文本的文本位置坐标和文字内容；

2.构建禁停文本检测网络结构端到端的禁停文本检测网络结构由主干网络、禁停文本检测分支、RoI Pooling、禁停文本识别分支组成，其中，所述主干网络为Restnet-50，所述禁停文本检测分支为全卷积网络，所述禁停文本识别分支为CRNN；

3.预训练所述禁停文本检测分支：将所述标注过的训练样本输入到所述主干网络和所述禁停文本检测分支采用检测损失函数L_det进行训练，得到所述主干网络和所述禁停文本检测分支的权重，其中，所述标注过的训练样本的数据标签仅包括所述文本位置坐标；

4.训练端到端的禁停文本检测网络：加载以上预训练的所述主干网络和所述禁停文本检测分支的权重，所述禁停文本识别分支的权重采用随机初始化操作，将所述标注过的训练样本数据输入到端到端的禁停文本检测网络中采用识别损失函数CTC和上述所述检测损失函数进行训练。

本方案中，所述监控视频图像输入所述训练过的禁停文本检测模型后得到对应的所述禁停文本的文本位置坐标和文字内容，也就是说，禁停文本识别步骤中识别所述禁停文本并获取所述禁停文本的所述位置坐标。

具体的，在所述禁停文本检测网络的训练时采用检测损失函数，所述检测损失函数公式如下：

其中，n表示候选框数目，p_i表示第i个候选框为禁停文本的概率，表示第i个候选框是否为禁停文本的标签，/>值为0或为1，0表示不包含禁停文本，1表示包含禁停文本，R_i表示预测的候选框，/>表示标注的矩形框，μ表示类别损失权重，v表示边框损失权重，μ和v的和为1。

在另一些实施例中，本方案提供的所述车辆禁停区域确定方法还可进一步基于所述禁停标识和所述禁停文本的内容分类所述禁停区域和临时停车区域，若所述禁停标识对应的是临时停车的标识，则对应的区域为所述临时停车区域，否之为所述禁停区域，具体如下：

若所述禁停标志标识为禁止停车标志，则对应车道为所述禁停区域；若所述禁停标志标识为禁止长时间停车标志，则对应车道为所述临时停车区域；

若所述禁停标线标识为禁止停车标线标识，则对应车道为所述禁停区域；若所述禁停标志标识为禁止长时停车标线标识，则对应车道为所述临时停车区域；

若所述禁停文本为消防通道、公交车通道，则对应车道为所述禁停区域；若所述禁停文本为出租车上下客区域，则对应车道为所述临时停车区域。

根据本发明的第二方面，提供一种车辆禁停区域确认系统，至少包括：

图像获取模块，用于获取监控视频图像；

识别模块，将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息；

确定模块，依据所述识别信息分类确定禁停区域。

所述识别模块包括：

禁停标识识别模块，其内设有禁停标识检测模型识别所述监控视频图像的禁停标识，其中所述禁停标识包括禁停区域标识、禁停标志标识以及禁停标线标识；

禁停文字检测模型，其内设有禁停文字检测模型识别所述监控视频图像的禁停文字。

所述确定模块包括：

禁停区域确定模块，用于当识别到所述禁停标志标识、所述禁停标线标志或所述禁停文字时，利用车道检测技术确定禁停区域；当识别到所述禁停区域标识，直接确定禁停区域。

在一些实施例中，禁停区域确定模块中包括区分模块，其中所述区分模块基于所述禁停标志标识、所述禁停标线标志或所述禁停文字的内容区分禁停区域和临时停车区域。

用于实现本方案实施例方法的服务器的计算机系统包括中央处理单元CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，根据本发明公开的实施例，上文参考流程图描述的车辆禁停区域确认方法过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的车辆禁停区域确认方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本发明的系统中限定的上述功能。

附图中的流程图和框图，图示了按照本发明实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。描述于本发明实施例中车辆禁停区域确认系统所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以上车辆禁停区域确认方法所对应的流程步骤。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种车辆禁停区域确定方法，其特征在于，包括以下步骤：

获取监控视频图像；

将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息，若所述识别信息为禁停标志标识、禁停标线标识或禁停文字标识，基于所述禁停标志标识、所述禁停标线标识或所述禁停文字所在位置，对所述监控视频图像进行处理，然后截取感兴趣区域；对所述感兴趣区域进行霍夫直线变换得到直线，随后使用最小二乘法对获取的所述直线进行线性拟合获取车道线，确定所述禁停区域；若所述识别信息为禁停区域标识，基于所述禁停区域标识所在位置确定所述禁停区域；

其中，所述禁停文字检测模型的训练过程如下：

标注训练样本：采集监控视频图像，并对其内出现的禁停文字进行标注，其中所述标注信息包括所述禁停文字的文本位置坐标和文字内容；

构建禁停文字检测网络结构端到端的禁停文字检测网络结构由主干网络、禁停文字检测分支、RoI Pooling、禁停文字识别分支组成，其中，所述主干网络为Restnet-50，所述禁停文字检测分支为全卷积网络，所述禁停文字识别分支为CRNN；

预训练禁停文字检测分支：将标注过的训练样本输入到所述主干网络和所述禁停文字检测分支采用检测损失函数L_det进行训练，得到主干网络和禁停文字检测分支的权重，其中，所述标注过的训练样本的数据标签仅包括文本位置坐标；

训练端到端的禁停文字检测网络：加载以上预训练的所述主干网络和所述禁停文字检测分支的权重，禁停文字识别分支的权重采用随机初始化操作，将所述标注过的训练样本数据输入到端到端的所述禁停文字检测网络中采用识别损失函数CTC和所述检测损失函数进行训练。

2.根据权利要求1所述的车辆禁停区域确定方法，其特征在于，将所述监控视频图像输入所述禁停标识检测模型中识别禁停标识，其中所述禁停标识包括所述禁停区域标识、所述禁停标志标识以及所述禁停标线标识；将所述监控视频图像输入所述禁停文字检测模型中识别所述禁停文字。

3.根据权利要求1所述的车辆禁停区域确定方法，其特征在于，基于所述识别信息的内容分类禁停区域和临时停车区域。

4.根据权利要求2所述的车辆禁停区域确定方法，其特征在于，所述监控视频图像输入所述禁停标识检测模型后得到所述禁停标识的类别标签以及位置标签，通过所述类别标签区分不同的禁停标识。

5.根据权利要求4所述的车辆禁停区域确定方法，其特征在于，所述位置标签为所述禁停标识四个边角的坐标，根据所述四个边角坐标求取最小外接矩形，并从所述监控视频图像截取所述最小外接矩形，将所述最小外接矩形中除禁停标识以外的像素置为0，得到所述禁停标识。

6.根据权利要求2所述的车辆禁停区域确定方法，其特征在于，所述监控视频图像输入所述禁停文字检测模型得到所述禁停文字的文本位置坐标和文字内容。

7.根据权利要求1所述的车辆禁停区域确定方法，其特征在于，所述检测损失函数公式如下：

其中，n表示候选框数目，表示第i个候选框为禁停文字的概率，/>表示第i个候选框是否为禁停文字的标签，/>值为0或为1，0表示不包含禁停文字，1表示包含禁停文字，/>表示预测的候选框，/>表示标注的矩形框，/>表示类别损失权重，/>表示边框损失权重，/>和/>的和为1。

8.一种车辆禁停区域确认系统，其特征在于，至少包括：

图像获取模块，用于获取监控视频图像；

识别模块，将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息；

其中，识别模块包括：禁停标识识别模块，其内设有禁停标识检测模型识别所述监控视频图像的禁停标识，其中所述禁停标识包括禁停区域标识、禁停标志标识以及禁停标线标识；禁停文字检测模块，其内设有禁停文字检测模型识别所述监控视频图像的禁停文字；

确定模块，若所述识别信息为禁停标志标识、禁停标线标识或禁停文字标识，基于所述禁停标志标识、所述禁停标线标识或所述禁停文字所在位置，对所述监控视频图像进行处理，然后截取感兴趣区域；对所述感兴趣区域进行霍夫直线变换得到直线，随后使用最小二乘法对获取的所述直线进行线性拟合获取车道线，确定所述禁停区域；若所述识别信息为禁停区域标识，基于所述禁停区域标识所在位置确定所述禁停区域；

其中，确定模块包括：禁停区域确定模块，用于当识别到所述禁停标志标识、所述禁停标线标志或所述禁停文字时，利用车道检测技术确定禁停区域；当识别到所述禁停区域标识，确定禁停区域。

其中，禁停文字检测模型的训练过程如下：

标注训练样本：采集监控视频图像，并对其内出现的禁停文字进行标注，其中所述标注信息包括所述禁停文字的文本位置坐标和文字内容；

构建禁停文字检测网络结构端到端的禁停文字检测网络结构由主干网络、禁停文字检测分支、RoI Pooling、禁停文字识别分支组成，其中，所述主干网络为Restnet-50，所述禁停文字检测分支为全卷积网络，所述禁停文字识别分支为CRNN；

预训练禁停文字检测分支：将标注过的训练样本输入到所述主干网络和所述禁停文字检测分支采用检测损失函数L_det进行训练，得到主干网络和禁停文字检测分支的权重，其中，所述标注过的训练样本的数据标签仅包括文本位置坐标；

训练端到端的禁停文字检测网络：加载以上预训练的所述主干网络和所述禁停文字检测分支的权重，禁停文字识别分支的权重采用随机初始化操作，将所述标注过的训练样本数据输入到端到端的所述禁停文字检测网络中采用识别损失函数CTC和所述检测损失函数进行训练。

9.根据权利要求8所述的车辆禁停区域确认系统，其特征在于，确定模块包括：区分模块，其中所述区分模块基于所述识别信息的内容区分禁停区域和临时停车区域。