CN104766086B - 一种公路标识的监管方法和系统 - Google Patents

Abstract

一种公路标识的监管方法和系统，该方法包括：首先，由已有的公路标准GPS和图像数据，通过标注单序列方式建立起预处理标准模型；其次，通过巡检操作获取最新实时GPS和图像数据，通过标注双序列方式建立实时模型；然后，将实时模型数据经过双序列匹配搜索与标准模型数据进行比对，将由实时模型中获取的实时最佳图像与标准模型中的标准图像进行匹配；进而，利用图像匹配算法对比标准模型图像数据，从而确定标识损坏的具体类型；最后，根据识别结果、维修状态更新标准模型。本发明依据公路标识位置和图像间内在关联关系，周期性实时采集、自动识别和定位公路标识损坏及其类型，提高了公路资产检测效率，降低了维护工作量。

Description

一种公路标识的监管方法和系统

技术领域

本发明涉及计算机信息技术领域，特别是一种采用信息化系统对公路标识进行监管的方法和系统。

背景技术

道路作为基础建设之一是公共资产的重要组成部分，道路建设完成之后，需要对其进行实时监管与养护才能保证道路的正常使用，同时实时监管与养护也是保护公路资产的最基本手段之一。目前用于道路监管与养护的系统主要有路面管理系统和桥梁管理系统等，而这些系统仅用于对地质以及公路路面进行检测与养护，无法实现公路标识的监管。

公路标识通常设置在公路的两侧或公路上方，对其监护时需要工作人员沿途进行现场的数据采集和录入，不仅耗费大量的人力、物力、时间及资源，容易出现漏检、漏记等情况，而且由于检测周期耗费时间长，会出现损毁的公路标识得不到及时发现与更换，影响了道路的规范、美观及安全指数，对人们的出行指示产生消极的影响；另外，由于人为判断的差异性，容易造成标准不统一等问题出现。高速公路上公路标识的完好对驾驶员安全行使的重要性更是不言而喻，如在高速公路上出现公路标识的缺失很容易导致高速行驶的车辆出现飞车等严重交通事故；再加上高速公路的长距离性和车辆行使速度过快等特点，还会对工作人员的作业效率产生影响，更重要的是还会危及工作人员的自身安全。

发明内容

本发明需要解决的技术问题是提供一种无需工作人员到现场即可对公路标识进行实时监测并对故障标识进行准确定位的监管方法和监管系统。

为解决上述技术问题，本发明所采取的技术方案如下。

一种公路标识的监管方法，其特征在于具体包括以下步骤：

S101.建立公路标识的预处理标准模型；

S102.获取公路标识的实时信息，并建立实时模型；

S103.通过专家算法获取步骤S102采集到的实时信息中公路标识的实时最佳图像；

S104.对步骤S103中得到的实时最佳图像与步骤S101中预处理标准模型的标准图像通过序列搜索进行匹配，通过专家算法得出实际公路标识损坏的具体分类，并存储；

S105.根据识别结果来判断是否需要维修，并根据反馈的维修结果来确定是否需要更新预处理标准模型中的标准图像；

S106.建立数据库，对步骤S101～S104中的数据进行管理；

S107.设计上位机界面，以直观的方式将数据进行显示，实现人们对公路标识监管的实际需求。

本发明步骤S101具体包括以下内容：

S1011.确定摄像头型号，并根据公路标识的高度位置等参数计算，在巡检车上的合适位置安装摄像头；

S1012.采集公路标识的标准图像；

S1013.采集公路标识的标准GPS定位信息；

S1014.根据步骤S1012和S1013采集的结果，通过标注单序列方式建立预处理标准模型。

本发明步骤S102具体包括以下内容：

S1021.采用相机的视频模式获取公路标识的实时图像信息；

S1022.对公路标识进行实时GPS定位，获得公路标识的实时GPS信息；

S1023.将实时GPS信息与相应的实时图像进行匹配，并通过标注双序列方式建立实时模型。

本发明步骤S1023具体包括以下内容：

首先，对公路标识的实时GPS信息逐条进行采集，并进行序列标记；

其次，计算公路标识实时图像信息的采样频率，并对采样图像进行双序列标记；

然后，判断公路标识的实时图像信息和实时GPS信息的首序列是否匹配，如匹配，则建立实时模型。

本发明步骤S103具体包括以下内容：

S1031.图像进行初步处理；

S1032.挑选含有公路标识的实时最佳图像。

本发明步骤S1031中采用专家算法对图像进行初步处理，处理内容包括对S102中采集到的图像进行的初步去噪、滤波、还原、倾斜矫正、运动模糊消除的处理步骤。

本发明步骤S1032具体包括以下内容：

首先，对实时图像经过初步处理后获得的n帧图像进行检测(n＝1...5)；

其次，根据公路标识颜色的特殊性，将RGB转换为HSV颜色空间；

然后，通过HSV颜色空间来判定当前图像中是否含有特殊颜色；

再次，通过颜色区域对图像进行进一步分割；

最后，比较不同图像之间的分割区域大小，选取分割区域最大的作为实时最佳图像。

本发明步骤S104具体包括以下内容：

S1041，计算阈值，使实时GPS信息与标准GPS经纬信息进行匹配；

S1042，保存在阈值范围内的实时GPS信息，并保存与之匹配的预处理标准模型的GPS单序列与实时模型中的GPS双序列；

S1043，根据阈值要求，将匹配的实时GPS信息再与预处理标准模型对应的标准图像以及实时模型中对应的实时最佳图像进行匹配；

S1044，通过专家算法得出实时最佳公路标识损坏的具体分类，并存储。

一种公路标识的监管系统，该系统包括：

图像采集模块101，用于对公路标识进行图像采集；

GPS信息采集模块102，用于对公路标识的GPS定位信息进行采集；

预处理标准模型与实时模型建立模块103，用于通过图像采集模块101、GPS信息采集模块102对定点公路标识的标准图像信息以及标准GPS经纬信息分别进行同步序列标记，建立标准图像信息与标准GPS经纬信息序列一一对应的公路标识预处理标准模型；

通过图像采集模块101、GPS信息采集模块102对公路标识的实时GPS信息和实时图像进行采集，提取公路标识的实时GPS信息以及实时GPS信息对应的图像信息，通过图像采样及双序列标记建立公路标识的实时模型；

两模型匹配模块104，对预处理标准模型与实时模型建立模块103中通过序列匹配及阈值删选提取关键图像，将选取的关键图像通过参数计算和专家算法控制，对定点GPS对应的含有公路标识的关键图像进行处理，并通过处理从中得出实时最佳图像；

图像处理与识别模块105，用于将两模型匹配模块104中通过专家算法统计后得出的含有公路标识的实时最佳图像和预处理标准模型与实时模型建立模块103中统计的标准图像信息进行模式匹配，通过专家算法匹配训练，得出实际匹配后的公路标识的损坏类型，并进行分类存储；

数据库模块106，用于对系统中的数据信息进行有序、有效的监管，建立数据库机制；

上位机控制模块107，与数据库模块中数据库进行链接，直观显示处理后的数据。

上述一种公路标识的监管系统，所述上位机控制模块显示的信息主要包括定点公路标识的GPS经纬度信息、定点公路标识的图像、图像识别后的具体类别、公路标识的损坏状态信息以及维修是否完成的标识信息。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明集公路标识资产信息获取、检测、识别、定位功能于一体，能够对公路标识是否损坏、损毁类型以及损毁地点进行自动检测，缩短了公路资产的检测周期，提高了检测效率，减少了安全隐患，有效保证了公路的行驶安全。

本发明的应用为高速公路的资产情况采集提供了便捷的采集路径，为高速公路的资产清理提供了简单的通道，为工作人员维护高速公路的行驶安全带来了极大的便利，对减少公路行驶安全事故有一定的积极作用，相比传统的资产清理系统更为高效，节省了人力、财力、物力。本发明GPS定位系统能够对公路标识故障点的位置进行定位和统计，实现智能定位，能准确获得损毁公路标识的具体位置，且对于GPS覆盖的任意路段均实用，适用范围广。图像处理过程采用先进的专家算法，保证了处理结果的准确性；同时，对各种可能出现的故障均进行了特征提取和计算，能够识别多种由于不同因素引起的公路标识故障，涵盖范围广，识别性能高。本发明将GPS与图像的集成信息以及识别后的各类数据，形成数据库，能对数据进行共享、恢复、统一和完整的控制。本发明还提供了合理的交互界面，使工作人员可以直接在交互界面上了解公路标识的具体情况并进行相关操作，方便实用。

附图说明

图1是本发明的整体实现框图；

图2是本发明所述系统的总体结构框图；

图3是本发明所述方法的流程图；

图4是本实施例中摄像头的安装位置示意图；

图5为本实施例中巡检车的行进范围示意图；

图6是本发明实现实时运行中从摄取图像中提取关键帧的流程图；

图7是本发明实现图像整体处理的流程图；

图8是本发明实时GPS信息与实时图像匹配的实现框图；

图9是本发明实时最佳图像与标准图像匹配的实现框图；

图10是本发明实现实时图像初步处理的流程图；

图11是本发明挑选含有公路标识实时最佳图像的流程图；

图12是本发明以点模式匹配为例的实时图像识别流程图；

图13是本发明数据库的结构框图；

图14是本发明上位机控制模块交互界面的示意图。

具体实施方式

下面将结合附图和具体实施例对本发明进行进一步详细说明。

一种公路标识的监管系统，其结构框图如图2所示，包括图像采集模块101、GPS信息采集模块102、预处理标准模型与实时模型建立模块103、两模型匹配模块104、图像处理与识别模块105、数据库模块106以及上位机控制模块107。各个模块的功能及模块间信息的传输如下所述。

图像采集模块101，用于对公路标识进行图像采集。图像采集模块101包括两部分内容：一是通过车载工业相机对定点公路标识的标准图像进行采集存储，二是对行进过程中公路标识的实时图像进行采集。

在本实施例中，采用Z30M工业相机对图像进行采集，Z30M相机支持视频与拍照两种模式，因此在建立预处理标准模型对定点公路标识标准图像进行采集时，可以采用拍照模式手动采集。而在对公路标识进行实时采集的操作中，则可采用视频模式对沿途公路标识进行整体采集。

GPS信息采集模块102，用于对公路标识的GPS定位信息进行采集。

GPS信息采集模块102包括两部分内容：一是对建立预处理标准模型中公路标识的标准GPS定位信息进行采集、标记、存储，形成公路标识的标准GPS经纬信息；二是对沿途行进过程中公路标识的实时GPS信息进行采集。

预处理标准模型与实时模型建立模块103，用于通过图像采集模块101、GPS信息采集模块102对定点公路标识的标准图像信息以及标准GPS经纬信息进行统计，并分别进行同步单序列标记，建立公路标识的预处理标准模型，以此模型作为现实依据，实现其与公路标识的实时统计信息进行匹配。

通过图像采集模块101、GPS信息采集模块102对公路标识的实时GPS信息和实时图像进行采集，提取公路标识的实时GPS信息以及实时GPS信息对应的图像信息，通过图像采样及双序列标记，两者首序列一一对应，并在此基础上建立公路标识的实时模型。

两模型匹配模块104，根据GPS信息采集模块102采集的参数计算得出的GPS阈值范围，比对预处理标准模型中公路标识的标准GPS经纬信息，保存阈值范围内有效的实时GPS信息条，并同样进行序列标记和存储，用于为实时图像和实时GPS信息的匹配做准备。

本发明中，两模型匹配模块104能够根据GPS信息采集模块102采集的参数计算得出的GPS阈值范围，比对预处理标准模型中公路标识的标准GPS经纬信息，保存阈值范围内有效的实时GPS信息条。提取最小范围内存在公路标识的图像，减少了存储空间和处理数量，提高了实时匹配的效率以及实时采集过程中对可能存在公路标识路段图像提取的准确率。

能对预处理标准模型与实时模型建立模块103中的实时信息通过序列匹配及阈值删选提取关键图像，将选取的关键图像通过参数计算和专家算法控制，对定点GPS对应的含有公路标识的关键图像进行处理，并通过处理从中得出实时最佳图像。

图像处理与识别模块105，处理包括对提取的图像信息进行帧标记、还原、去噪等初步处理，对带有公路标识信息的图像进行检测、分割等，获得能够与预处理标准模型中的公路标识标准图像进行匹配的实时最佳图像。

将两模型匹配模块104中通过专家算法统计后得出的含有公路标识的实时最佳图像与预处理标准模型与实时模型建立模块103中统计的标准图像信息进行模式匹配，通过专家算法匹配训练，得出实际匹配后的公路标识的损坏类型，并进行分类存储。

数据库模块106，用于对系统中的数据信息进行有序、有效的监管，建立数据库机制，便于数据提取、查看。

上位机控制模块107，与数据库模块中数据库进行链接，对本发明整体系统进行直观展示，便于工作人员操作。上位机控制模块以友好的交互界面将处理后的数据更加直观地供相关人员使用，显示信息主要包括定点公路标识的GPS经纬度信息、定点公路标识的图像、图像识别后的具体类别、公路标识的损坏状态以及维修是否完成的标识信息等信息，以便于工作人员及时采取相应的更换或维护措施。

本发明实现图像处理的整体流程图如图7所示，具体为：1)对公路标识的标准图像和标准GPS定位信息进行采集形成预处理集成信息，再从该预处理集成信息中获取公路标准的标准图像特征；2)通过标准GPS经纬信息设定阈值；3)获取公路标识的实时图像信和实时GPS信息，并根据阈值选取匹配的实时图像和实时GPS信息，并形成实时集成信息；4)对获取的匹配的实时图像经过预处理、检测、分割等一系列操作后，得到满足需求的实时最佳图像；5)将实时最佳图像与预处理标准模型中的标准图像进行比对识别，得出公路标识实时状态信息，并进行分类存储。

一种公路标识监管的方法，其流程图如图1所示，该方法包括：首先，由已有的公路标准GPS和图像数据，通过标注单序列方式建立预处理标准模型；其次，确定优化采样频率并通过公路巡检操作自动获取最新GPS和图像数据，通过标注双序列方式建立实时模型；然后将实时模型数据经双序列匹配搜索与预处理标准模型数据进行比对，由实时模型获取实时最佳图像与标准图像进行匹配；进而利用点模式图像匹配算法对比标准数据确定公路标识损坏的具体类型；最后根据识别结果、维修状态更新预处理标准模型。

本方法的具体流程图如图3所示，包括以下步骤：

S101.建立公路标识的预处理标准模型。

通过选定工具对标准公路标识的图像进行采集，并同步获取当前图像的GPS定位信息，对所得数据进行存储，建立预处理标准模型。预处理标准模型的建立具体包括以下步骤。

S1011.确定摄像头型号，并根据公路标识的高度位置在巡检车上的合适位置安装摄像头。

首先确定摄像头型号，从而确定焦距、帧率等参数，根据实际单位时间所摄取的视频帧，获得相应的实际距离，进而确定巡检车的车速，使之得到匹配，同时也避免对同一路段的重复判断；在巡检车的特定位置安装摄像头，标准情况下公路标识的高度位置都有一定的规定，因此根据该高度位置可以确定摄像头在巡检车上的安装位置及安装角度，以及巡检车运行轨道，以便摄像头摄取公路标识的实时最佳图像。

本实施例中，具体摄像头型号的选择以及安装位置的计算如下。

本实施例中，摄像头采用Z30M彩色相机，像素36万，分辨率可提供752*480(54帧/秒)、640×480(60帧/秒)或320×240(60帧/秒)，帧率可根据需要进行设置；相机镜头的传感器为1/3CMOS(黑白/彩色)，传感器大小为4510um*2880um(宽*高)，Z30M/Z30C默认安装座为CS型号。

根据标准公路标识的最高安装高度为10m，公路标识的最大尺寸为4*3m，巡检车高度为1.5m，且巡检车的速度为14m/s，为确保公路标识能在拍摄范围内，本实施例选择在距离公路标识14m处为相机的拍摄距离。

1、相机安装的仰视角度根据下式计算。

经计算可得tanθ＝0.82，进而得出θ≈40°，即相机安装时其仰视角设置约为40°。本实施例摄像头的安装位置示意图如图4所示。

2、相机镜头的广角范围要求根据下式计算。

则θ₃＝θ₁-θ₂＝49°-31°＝18°，即镜头广角范围至少需达到18°。

3、相机镜头型号的选择。

根据选择镜头的传感器型号1/3COMS可知，传感器尺寸为4510um*2880um(宽*高)，由下式计算镜头的垂直焦距和水平焦距：

其中，f_w为水平焦距，f_h为水平焦距，w为传感器宽度，L为被摄物体距镜头的距离，W为被摄物体的宽度，h为传感器高度，H为被摄物体的高度。

本实施例中，被摄物体即公路标识的最大宽度为4m，被摄物体的最大高度为3m，则：

由于本实施例中，首先假设了被摄物体与镜头最小距离需达到14m，而实际的拍摄过程中则可能远大于此，因此可得焦距的最小范围为13.44mm～15.785mm。根据选择的镜头的最小视野角度以及最小焦距范围，本实施例选取的镜头型号为0660MV。

Z30M工业相机可以提供一个或多个USB高速接口与PC进行连接，接线简单，数据传输便利，无需另外增加连接线，使用方便，即插即用，支持热插拔，铝合金外壳，抗震能力强，具有强大的抗电磁干扰能力，参数满足本发明图像采集的要求。该相机镜头的焦距可以在6～60mm之间进行调节，调节范围广，水平视场角Angle of View：44.5～4.6，满足多角度的需求，而且Z30M工业相机能在拍照与视频之间进行转换，对本发明中预处理标准模型的建立以及后续实时检测中的视频采集均能满足。

高速公路道路宽敞、车辆繁多，巡检车辆不可能在固定车道上行进，而图像的摄取范围却存在一定的限制，因此，本发明需要对巡检车的行进范围进行确定，巡检车运行轨道的确定方法如下。

设公路标牌的尺寸为l*w，选取的工业相机视野角度为θ₁，最佳距离L，如图5所示。由于公路标识按国标应安装在道路的右侧，l₁为相机中心线至标牌左边线的距离，那么，则有：

由此便可以得出巡检车辆可以偏移道路边缘的交通标牌的具体范围。

确定了图像摄取的最佳位置范围，便可以对图像进行实际采集。而在实际的定点采集中，对定点位置如何确定也需要一定的辅助设备，本发明利用红外传感器对实际的相机距离公路标识的距离S以及车辆的运行范围l₁进行测量，当达到设定数值时，则可以通过巡检车内的控制手柄按下相机快门，获取当前图像。

S1012.采集公路标识的标准图像。

对公路标识的标准图像采用相机的拍照模式、以定点拍照的形式进行采集。本发明中只需要采集一次便可以完成，采集的公路标识的标准图像用于建立预处理标准模型。

S1013.采集公路标识的标准GPS定位信息。

对公路标识进行GPS定位，获得公路标识的标准GPS定位信息。本发明中只需要采集一次便可以完成，采集的公路标识的标准GPS定位信息用于建立预处理标准模型。

S1014.根据步骤S1012和S1013采集的结果，通过标注单序列方式建立预处理标准模型。所述单序列标记方式为对同步采集的标准图像与GPS信息根据采集顺序逐次标记。

预处理标准模型中的标准GPS与标准图像不可能实现自动采集，需要工作人员手动进行操作，本发明在相关传感器的配合下确定图像的最佳采集点，当巡检车辆运行至最佳采集点范围内时，经工作人员确定后手动采集标准GPS及图像，并对两者分别进行单序列标记，通过标准图像的定点采集并对图像进行逐次序列标记，同步获取标准GPS定位信息并逐次标记序列，由于在此过程中标准图像与标准GPS定位信息获取同步，标记序列也就保持一致，通过序列号的匹配，将标准图像信息与标准GPS定位信息进行集成融合从而建立预处理标准模型。

S102.获取公路标识的实时信息，并建立实时模型。

获取巡检车行进过程中，公路标识的实时视频信息和实时GPS信息，通过参数计算，确定GPS阈值，得出需要进行定位的路段，获取定位路段的公路标识的实时图像，确保所提取的图像信息中包含公路标识。实时信息的获取具体包括以下步骤。

S1021.采用相机的视频模式获取公路标识的实时图像信息。

公路标识实时图像的采集采用相机的视频模式，根据实际监管计划的需求，可以随时进行。视频采集是通过工业数字相机与PC进行连接，通过USB接口将信息直接传至PC，并进行存储。视频采集时需考虑相机的安装位置，相机各参数的计算，镜头以及Sensor(传感器)的选择；同时需要考虑到车辆巡检时速度的改变对视频图像的影响，所以本发明中巡检车采用的是定速巡检，当出现超车等意外现象时，则可以人为地操作刹车或换挡，解除出现的情况时再进行定速巡检。

S1022.对公路标识进行实时GPS定位，获得公路标识的实时GPS信息。

公路标识实时GPS信息的采集，可根据实际监管计划的需求，可以随时进行。公路标识实时GPS信息的实时采集过程中，如果当前GPS位置处存在标准公路标识时进行序列匹配标记即可。

由于公路路段的长距离性，本发明GPS定位采用误差在一定范围内的GPS定位系统，采用专家算法保证GPS定位信息获取的完整性、可靠性，并将实时GPS信息存储至相应位置。

S1023.将实时GPS信息(包括时间、经度、纬度)与相应的实时图像进行匹配，并通过标注双序列方式建立实时模型。所述双序列标记方式为以实时信息的采集时间为序列标记实时GPS信息；对根据一定采样频率采集的实时图像首先以实时时间为序进行首序列标记，其次对具有同一实时时间序号的多帧实时图像按照采样顺序再进行次序列标记，从而建立实时模型。

下面结合图6对如何从实时摄取的图像中提取对应实时GPS信息的含有公路标识的图像进行说明。

首先，对公路标识的实时GPS信息逐条进行采集，并进行双序列标记。对实时GPS信息逐条进行序列标记时，所标记序列为GPS的实时获取时间：年、月、日、时、分、秒，即长度为14位的序列字段。

本实施例中，对GPS频率与图像帧率通过标记，进行专家算法设计，使两者之间达到一一匹配的效果。GPS通过USB串口与PC连接，通过VB接收和提取GPS经纬度信息的实现过程如下：

//获取经纬度信息

//判断何时开始接收GPS信息

If Strnum＝vbLf Then'当遇到回车换行时

If(StrArray(0)＝"$")Then'遇到字符串开始的第一个字符“$”

g＝g+1//对采集的GPS信息条数进行统计

MyY1＝TStrGps(5)'提取字符串中的经度

MyY＝""&Mid(MyY1,1,2)&"'"&Mid(MyY1,3,3)&"”"&Mid(MyY1,7,4)

Text4.Text＝g&MyY//将提取的纬度信息进行标记并存至Text4.text中

Open"C:\GPS\纬度"&d&".txt"For Append As#4

Print#4,Text3.Text

Close#4//将存有纬度信息存至电脑相应位置

MyX1＝TStrGps(3)'提取字符串中的纬度

MyX＝""&Mid(MyX1,1,2)&"'"&Mid(MyX1,3,2)&"”"&Mid(MyX1,6,4)

Text3.Text＝g&MyX//将提取的经度信息进行标记并存至Text3.text中

Open"C:\GPS\经度"&d&".txt"For Append As#5

Print#5,Text4.Text

Close#5//将存有经度信息的文档存至电脑相应位置。

其次，计算公路标识实时图像信息的采样频率，并对采样图像进行双序列标记；标记过程中，需要对采集的公路标识图像信息的每帧图片信息逐帧进行双序列标记，所标记的双序列分为首序列、次序列，其中首序列为图像帧获取的实时时间：年、月、日、时、分、秒，长度为14位的序列字段，次序列为同一首序列号下多帧图像的采样顺序。

实时模型中图像采集以视频形式不间断进行采集，由于相机的采集频率较高，如果对每一帧图像均进行处理，对处理速度和磁盘存储都提出了较高要求。基于此，本发明通过计算采样频率，对实时图像进行采样，减少图像处理量，同时保证处理结果。设相机采样频率为X帧/S，车辆行进速度为Vm/s，则采样频率F可设定如下:

根据本发明Z30M相机拍摄频率X＝60帧/S，V＝14m/s，计算可得：F＝5帧/m。

然后，从实时GPS信息与图像获取途径可得知图片信息与实时GPS信息的获取时间保持一致，通过时间序列匹配，实现实时模型的建立。

S103.通过专家算法获取步骤S102采集到的实时信息中公路标识的实时最佳图像。

对于步骤S102中采集到的实时图像进行初步处理，并通过专家算法获取含有公路标识的实时最佳图像信息，并进行标记、存储。图像的初步处理包括对S102中采集到的图像进行初步去噪、滤波、还原、倾斜矫正、运动模糊消除等处理步骤，从而获得含有公路标识且能与预处理标准模型中的标准图像进行匹配的实时最佳图像。具体步骤如下。

S1031.图像进行初步处理。

实际应用中，噪声和运动模糊造成的初级图像问题很容易影响后续的图像处理，因此需要对图像首先进行初步处理。本发明实现图像初步处理的流程图如图10所示。

首先，根据巡检车车速、拍摄相机帧率、GPS定位频率等参数进行计算，获得关键帧匹配参数；其次，将采集的视频图像转换为JPG格式图片；然后，对JPG格式图片进行图片去噪、滤波、运动模糊消除、倾斜矫正等处理。图片去噪采用去噪效果良好的中值滤波改进算法消除噪声影响，运动模糊消除采用维纳滤波及改进算法进行处理，倾斜矫正采用专家算法对倾斜图片进行矫正。

本实施例中，通过保存的实时GPS信息对应获取的实时图像，根据Z30M的参数可知，在此对应GPS的保存图像为5帧，而在后续具体识别中，本发明只需要其中一帧实时最佳图像来实现。

S1032.挑选含有公路标识的实时最佳图像

本发明挑选含有公路标识实时最佳图像的流程图如图11所示，具体实现过程为：

首先，对实时图像经过初步处理后获得的5帧图像进行检测。

其次，根据公路标识颜色的特殊性，将RGB转换为HSV颜色空间。

然后，通过HSV颜色空间来判定当前图像中是否含有特殊颜色。特殊颜色是指红、蓝、黄色对应HSV空间的颜色；如果含有其中一种，则认为当前图像中含有公路标识的摄取，对该图片进行标记存储。

再次，通过颜色区域对图像进行进一步分割。

最后，比较不同图像之间的分割区域大小，选取分割区域最大的作为实时最佳图像。

在实际应用中，由于拍摄距离和其它因素影响，公路标识拍摄的效果不尽相同。本发明认定分割区域范围最大的为实时最佳图像，因为分割区域越大，则证明相机距离实际公路标识的位置更接近，所摄取的图像中公路标识所占区域也就越大，越清晰，即图像效果越接近本发明所理想的实时最佳图像。

S104.对步骤S103中得到的实时最佳图像与步骤S101中预处理标准模型的标准图像进行匹配，通过专家算法得出公路标识损坏的具体分类，并存储。

S1041，计算阈值，使实时GPS信息与标准的标准GPS经纬信息进行匹配。

由前面可知，本发明在预处理标准模型与实时模型中提取GPS信息时均对两者分别进行了序列标记，通过参数计算可获得两者能实现匹配的阈值范围，具体计算过程如下。

已知A点与B点两点的经、纬度信息，根据有关圆以及三角的知识进行推导，得出地球表面点距离的公式如下：

C＝sin(MLatA)*sin(MLatB)*cos(MLonA-MLonB)+cos(MLatA)*cos(MLatB)

Distance＝R*Arccos(C)*π/180

由上式可以得到：Arccos(C)＝Distance*180/(R*π)

其中，R和Distance的单位相同。

本实施例中，公路标识巡检车速为14m/s，GPS定位频率为1S/次，因此本发明选择阈值地球表面距离为15m，即Dis tan ce＝15(m)计算可得Arccos(C)＝1.34×10^-4，进一步可得C＝cos(1.34×10^-4)≈1。

而又由以上公式可知，当A点与B点处于同一经度时：

C＝sin(MLatA)*sin(MLatB)*cos(0°)+cos(MLatA)*cos(MLatB)

C＝sin(MLatA)*sin(MLatB)*1+cos(MLatA)*cos(MLatB)

由C≈1，以及数学三角函数定理可知，当MLatA≈MLatB时，

C≈sin²(MLatA)+cos²(MLatA)＝1，

因此，当A点与B点纬度也处于同一位置，即纬度阈值达到0时，能达到地面距离阈值15m的要求，但是在实际应用过程中不能有如此准确的阈值范围，因此，要使得

C＝sin(MLatA)*sin(MLatB)*1+cos(MLatA)*cos(MLatB)≈

sin²(MLatA)+cos²(MLatA)＝1

即sin(MLatA)≈sin(MLatB)、cos(MLatA)≈cos(MLatB)

根据正余弦以及实验数据检测，当经度一致时，假设取小数点两位为有效计算，经查阅数据手册可得sin(θ)＝0.0044，取小数点后两位有效，sin(θ)≈0，而此时θ≈0.25°＝15”，因此，将纬度阈值范围确定在0.25°，可以得到有效定位。同理，当两点处于同一纬度时，经度阈值的确定也可以通过以上方法实现，经计算经度阈值也确定为0.25°。

S1042，保存在阈值范围内的实时GPS信息，并保存与之匹配的预处理标准模型的GPS单序列与实时模型中的GPS双序列。

当两者之间的匹配在阈值范围内时，对当前提取的实时GPS信息进行保存，同时将与之匹配的预处理标准模型中的GPS序列进行对应存储；而保存下来的实时GPS信息所对应的地面范围内一定存在公路标识。因此根据开始的标记序列接口很容易找到此条保留的实时GPS信息所对应的含有公路标识的实时图像，完成实时信息的获取。

S1043，根据阈值要求，将匹配的实时GPS信息再与预处理标准模型对应的标准图像以及实时模型中对应的实时最佳图像进行匹配。

当公路标识的实时图像信息的首序列与实时GPS信息的首序列匹配时，则将与实时GPS定位信息首序列匹配的实时图像信息定义为关键帧图像，并进行保存，这些图像中定含有公路标识；同时将预处理标准模型中标准GPS定位信息的序列再一次进行对应存储，便实现了实时运行中定点GPS处含有公路标识的图像采集。

本实施例中，实现实时GPS信息与实时图像的一一匹配的流程图如图8所示。首先对于提取的公路标识实时图像以双序列形式逐帧进行标记，即形如：ij.jpg(i为14位的实时时间序列，j＝1....5)。而对应的实时GPS信息以序列逐条标记为k.GSA.GSV(k为14位实时时间序列)，其中GSA表示经度，GSV表示纬度。提取实时图像与实时GPS标记信息，对首字符进行匹配，如果匹配，则当前图片对应匹配后的GPS信息，从而实现了实时图像与实时GPS信息的配对。

在本实施例中，采用C语言实现图像双序列排序过程如下：

本发明中实时GPS信息与实时图像实现匹配时：即i＝g，则两者之间进行匹配，实现过程为：

ifstream in("5.txt")；//读取含有经度信息的txt文档

string string；

while(getline(in,string))//着行读取数据并存于string中，直至数据全部读取

char c1＝string[0]；//读取字符串string首字符

int g＝atoi(c1)；//将首字符c1转成数字值

If(i＝＝g)//判断GPS首字符与图片名称首字符是否匹配。

上述实时采集后提取的实时最佳图像与预处理标准模型中的对应图像进行模式匹配的流程图如图9所示。本发明是通过实时采集后提取的实时最佳图像与预处理标准模型中的对应图像进行模式匹配后进行公路标识损坏类型的识别，因此如何确保两者之间的匹配也就尤为重要。

本发明在建立预处理标准模型和处理实时信息时，便分别对标准GPS定位信息、标准图像、实时GPS信息和实时图像分别进行了标记，其中标准图像与实时GPS信息对应一致，实时图像与实时GPS信息对应一致。因此当实时GPS信息与标准GPS定位信息匹配完成时，便可以实现实时GPS信息与标准图像的对应，而实时GPS信息与实时图像序列保持一致，从而可以实现实时提取的实时最佳图像与标准图像实现对应，为后续的模式识别提供基础。

S1044，通过专家算法得出实时最佳公路标识损坏的具体分类，并存储。

步骤S103中得到的实时最佳图像与步骤S101中预处理标准模型的标准图像的序列标记一致，因此将序列标记一致的两者图像进行专家算法控制下的模式匹配，得到实际的识别结果，并进行分类存储。

实时图像模式匹配下的图像识别流程图参见图12。实际的公路标识可能存在的损坏形式各种各样，在本实施例中，以点模式匹配为例进行说明。

矩形公路标识的标准角点为四个角点，首先借以SUSAN算法对标准公路标识的角点进行提取，建立标准模型；其次，提取处理后的实时最佳图像中提取实时图像的角点；然后，将两者经由点模式匹配训练，得出最终的匹配结果；如两者角点数和角点位置一致，则判定当前实时公路标识正常，如不一致则认定当前公路标识存在损坏部位，作为故障点，结合GPS位置，归类为不正常类别。本实施例中，具体实现方法如下。

srcImage＝cvLoadImage("图片存储位置",1)；//加载图片

grayImage＝cvCreateImage(cvGetSize(srcImage),IPL_DEPTH_8U,1)；

//将原图灰度化

cvCvtColor(srcImage,grayImage,CV_BGR2GRAY)；

//创建连个与原图大小相同的临时图像

corners1＝cvCreateImage(cvGetSize(srcImage),IPL_DEPTH_32F,1)；

corners2＝cvCreateImage(cvGetSize(srcImage),IPL_DEPTH_32F,1)；

//角点检测

cvGoodFeaturesToTrack(grayImage,corners1,corners2,corners,

&cornerCount,qualityLevel,minDistance,0)；

printf("num corners found:％d\n",cornerCount)；

//在原图中将角点标记出来

对标准图像经过上述算法计算后得出实际的公路标识边缘角点，对实时图像也可以同样得到实时的边缘角点，然后统计两者的角点数量，如果一致，则保留标准图像，判断公路标识为正常标识，如果角点数量不一致，则公路标识非正常。

S105.根据步骤S104获得的识别结果来判断是否需要维修，并根据反馈的维修结果来确定是否需要更新预处理标准模型中的标准图像；

通过后台工作人员是否维修完成来判断原图像的更新与否，维修没有完成，则不处理，维修完成，则将当前维修后的完整图像用以更新预处理标准模型中的标准图像。

S106.建立数据库，对步骤S101～S104中的数据进行管理。

由于图像处理的数据量庞大，简单的存储不能满足人们对数据的需求，数据库的构建，为相关人员做出正确决策、为数据进行高效处理提供保证。

本发明将采集信息及处理数据并入数据库进行管理，数据库导入信息包括：公路标识的标准图像、公路标识的标准GPS定位信息、公路标识的实时图像视频信息、公路标识的实时GPS信息、GPS与图像的匹配集成信息、专家算法计算得出的包含公路标识图像的最佳实时图像帧、元数据库(即用以训练生成分类器的标准图像库)、分类识别后存在障碍的公路资产图像集成信息等。

本发明中数据库的结构框图如图13所示，数据库包含元数据库、实时数据库、图像管理库、后台人员管理库以及时间管理库五个分库，各个分库的功能如下所述。

元数据库：存储有预处理标准模型中定点公路标识的标准图像的标记序列、存储位置、以及以二进制格式存储在数据库中的具体图像；标准GPS定位信息的标记序列以及对应的经度、纬度；每一条对应图像与GPS集成信息的生成时间等。

实时数据库：对实时模型中采集的视频段和周期GPS信息、处理后的关键视频帧及标记序列、采样的定位信息(经、纬度)及标记序列的管理，根据前文对关键帧及采样定位信息的提取可知，这两者之间能够实现很好的匹配直接关系到最终处理结果，因此实时模型的管理不容出错。

图像管理库：在预处理标准模型与实时模型中都有着图像的存在，在实时模型中的图像根据序列找到与之对应的预处理标准模型中的图像后，在专家算法的控制下，将会得到一个最终结果。本发明的图像管理功能便是根据识别结果来对图像库进行进一步的管理，识别结果正常，则预处理标准模型中的图像不进行处理，保留标准图像；如果非正常，则需要对预处理标准模型中的图像进行更新。而此更新又与维修与否挂钩，维修完成则对维修后的标牌进行图像提取，更新预处理图像，如果没有维修，则保持待定。

后台工作人员管理库。后台工作人员包括：预处理标准模型采集人员、实时巡检人员、统计故障点及故障类型的统计及联系维修的中间过渡人员、维修人员、根据维修人员反馈结果认定维修结果的核对人员。对非正常标识经由维修人员维修后，对维修结果进行确定，并对完成维修的非正常标识进行标记，从而确定对预处理标准模型中的标准图像进行更新，以保证元数据库的实时跟进。

时间管理库：由于公路标牌的正常与否严重关系到人们的人身、财产安全，因此时间也就是工作的效率特别重要。时间包括：预处理标准模型建立时间、实时巡检时间、结果鉴定时间、维修人员联系时间以及维修完成时间等。在本发明中实时巡检时间可以根据经验设定巡检周期，从而设定巡检日期，到期如果没有及时巡检可以提出警示；对维修完成时间可以限定期限，逾期则处以一定处罚。

S107.设计上位机控制模块界面，以直观的方式将数据进行显示，实现人们对公路标识监管的实际需求，体现本发明的人性化与智能化。

本发明中，上位机控制模块与数据库通过串口之间的硬件连接及通信协议的制定，保证存储的数据可以准确上传至上位机控制模块交互界面，为人们的查询、报表打印等提供便利。

本实施例中上位机控制模块界面参照图如图14所示，可以将公路标识的实时图像、实时GPS信息以及图像实际分类结果进行显示，方便工作人员对照信息对公路资产进行相关维护。

Claims (10)

1.一种公路标识的监管方法，其特征在于具体包括以下步骤：

S101.建立公路标识的预处理标准模型；

S102.获取公路标识的实时信息，并建立实时模型；

S103.通过专家算法获取步骤S102采集到的实时信息中公路标识的实时最佳图像；

S104.对步骤S103中得到的实时最佳图像与步骤S101中预处理标准模型的标准图像通过序列搜索进行匹配，通过专家算法得出实际公路标识损坏的具体分类，并存储；

S105.根据识别结果来判断是否需要维修，并根据反馈的维修结果来确定是否需要更新预处理标准模型中的标准图像；

S106.建立数据库，对步骤S101~S104中的数据进行管理；

S107.设计上位机界面，以直观的方式将数据进行显示，实现人们对公路标识监管的实际需求。

2.根据权利要求1所述的一种公路标识的监管方法，其特征在于步骤S101具体包括以下内容：

S1011.确定摄像头型号，并根据公路标识的高度位置计算，在巡检车上的合适位置安装摄像头；

S1012.采集公路标识的标准图像；

S1013.采集公路标识的标准GPS定位信息；

S1014.根据步骤S1012和S1013采集的结果，通过标注单序列方式建立预处理标准模型；所述单序列标记方式为对同步采集的标准图像与GPS信息根据采集顺序逐次标记。

3.根据权利要求1所述的一种公路标识的监管方法，其特征在于步骤S102具体包括以下内容：

S1021.采用相机的视频模式获取公路标识的实时图像信息；

S1022.对公路标识进行实时GPS定位，获得公路标识的实时GPS信息；

S1023.将实时GPS信息与相应的实时图像进行匹配，并通过标注双序列方式建立实时模型；所述双序列标记方式为以实时信息的采集时间为序列标记实时GPS信息；对根据一定采样频率采集的实时图像首先以实时时间为序进行首序列标记，其次对具有同一实时时间序号的多帧实时图像按照采样顺序再进行次序列标记。

4.根据权利要求3所述的一种公路标识的监管方法，其特征在于步骤S1023具体包括以下内容：

首先，对公路标识的实时GPS信息逐条进行采集，并进行序列标记；

其次，计算公路标识实时图像信息的采样频率，并对采样图像进行双序列标记；

然后，判断公路标识的实时图像信息和实时GPS信息的首序列是否匹配，如匹配，则建立实时模型。

5.根据权利要求1所述的一种公路标识的监管方法，其特征在于步骤S103具体包括以下内容：

S1031.图像进行初步处理；

S1032.挑选含有公路标识的实时最佳图像。

6.根据权利要求5所述的一种公路标识的监管方法，其特征在于：步骤S1031中采用专家算法对图像进行初步处理，处理内容包括对S102中采集到的图像进行的初步去噪、滤波、还原、倾斜矫正、运动模糊消除的处理步骤。

7.根据权利要求5所述的一种公路标识的监管方法，其特征在于步骤S1032具体包括以下内容：

首先，对实时图像经过初步处理后获得的n帧图像进行检测；

其次，根据公路标识颜色的特殊性，将RGB转换为HSV颜色空间；

然后，通过HSV颜色空间来判定当前图像中是否含有特殊颜色；

再次，通过颜色区域对图像进行进一步分割；

最后，比较不同图像之间的分割区域大小，选取分割区域最大的作为实时最佳图像。

8.根据权利要求1所述的一种公路标识的监管方法，其特征在于步骤S104具体包括以下内容：

S1041，计算阈值，使实时GPS信息与标准GPS经纬信息进行匹配；

S1042，保存在阈值范围内的实时GPS信息，并保存与之匹配的预处理标准模型的GPS单序列与实时模型中的GPS双序列；

S1043，根据阈值要求，将匹配的实时GPS信息再与预处理标准模型对应的标准图像以及实时模型中对应的实时最佳图像进行匹配；

S1044，通过专家算法得出实时最佳公路标识损坏的具体分类，并存储。

9.一种公路标识的监管系统，其特征在于：该系统包括

图像采集模块101，用于对公路标识进行图像采集；

GPS信息采集模块102，用于对公路标识的GPS定位信息进行采集；

预处理标准模型与实时模型建立模块103，用于通过图像采集模块101、GPS信息采集模块102对定点公路标识的标准图像信息以及标准GPS经纬信息分别进行同步单序列标记，并建立预处理标准模型；所述单序列标记方式为对同步采集的标准图像与GPS信息根据采集顺序逐次标记；

通过图像采集模块101、GPS信息采集模块102对公路标识的实时GPS信息和实时图像进行采集，提取公路标识的实时GPS信息以及实时GPS信息对应的图像信息，通过图像采样及双序列标记，建立实时模型；所述双序列标记方式为以实时信息的采集时间为序列标记实时GPS信息；对根据一定采样频率采集的实时图像首先以实时时间为序进行首序列标记，其次对具有同一实时时间序号的多帧实时图像按照采样顺序再进行次序列标记；

两模型匹配模块104，对预处理标准模型与实时模型建立模块103中的实时信息通过序列匹配及阈值删选提取关键图像，将选取的关键图像通过参数计算和专家算法控制，对定点GPS对应的含有公路标识的关键图像进行处理，并通过处理从中得出实时最佳图像；

图像处理与识别模块105，通过两模型匹配模块104中得出的含有公路标识的实时最佳图像和预处理标准模型与实时模型建立模块103中统计的标准图像信息进行模式匹配，通过专家算法匹配训练，得出实际匹配后的公路标识的损坏类型，并进行分类存储；

数据库模块106，用于对系统中的数据信息进行有序、有效的监管，建立数据库机制；

上位机控制模块107，与数据库模块中数据库进行链接，直观显示处理后的数据。

10.根据权利要求9所述的一种公路标识的监管系统，其特征在于：所述上位机控制模块显示的信息主要包括定点公路标识的GPS经纬度信息、定点公路标识的图像、图像识别后的具体类别、公路标识的损坏状态信息以及维修是否完成的标识信息。