CN113033301A - 基于ai图像识别技术采集道路巡检设施数据的方法 - Google Patents

Abstract

本发明提供一种基于AI图像识别技术采集道路巡检设施数据的方法，包括如下步骤：基于高精地图中目标采集物与道路类型、道路区域的关系获取目标采集物类型，根据不同的目标采集物类型设定不同的采集预案；基于无人机遥感影像获取目标采集物的空间位置与空间形状，以及通过AI采集设备进行地表视觉采集，获取视频流数据信息；将获取的目标采集物的空间位置、空间形状、视频流数据信息与采集预案进行交叉验证，通过AI图像识别技术获取目标道路巡检设施。本发明通过AI图像识别技术与北斗定位技术相结合进行实时采集物识别，将识别成果文本化、规格化，处理后成果数据尺寸小、对移动数字网络带宽依赖低，可实时自动上传到后台服务器。

Description

基于AI图像识别技术采集道路巡检设施数据的方法

技术领域

本发明涉及道路巡检技术领域，尤其涉及一种基于AI图像识别技术采集 道路巡检设施数据的方法。

背景技术

以无人驾驶为代表的新一代技术革新，对于高精地图为代表的空间数据的 质量、现势性要求大大提升，对空间数据采集的准确性、更新频次等的要求提 升了好几个等级。

空间数据的采集严重依赖于规模效应，对于如何提供全国新基建地图，需 要系统性的回答成本问题。而目前以地图外业、内业为代表的数据采集，依旧 以人工采集为主要手段，对人工采集的规模性依赖成为空间信息产业的掣肘。

使用AI图像识别采集空间信息数据成为行业前沿方向，市场上大部分使 用方式均是使用视频数据终端获取、离线上载到服务器，于后台服务器进行数 据识别，由于当前移动网络条件的限制，信息的采集无法做到实时识别、实时 更新，进而对地图数据的现势性要求满足较差。

为此，本领域迫切需要研发出一种方法能够克服现有技术存在的上述技术 问题。

发明内容

本发明之目的是提供一种基于AI图像识别技术采集道路巡检设施数据的 方法，能够解决现有道路巡检主要通过人工训练以识别制定目标，该方法存在 成本高、实时性差与规范性差的技术问题。

本发明提供一种基于AI图像识别技术采集道路巡检设施数据的方法，包 括如下步骤：

基于高精地图中目标采集物与道路类型、道路区域的关系获取目标采集物 类型，根据不同的目标采集物类型设定不同的采集预案，并将不同的采集预案 存储在数据存储模块中；

基于无人机遥感影像获取目标采集物的空间位置与空间形状，以及通过 AI采集设备进行地表视觉采集，获取目标采集物的视频流数据信息；

将获取的目标采集物的空间位置、空间形状、视频流数据信息与所述数据 存储模块中的采集预案进行交叉验证，通过AI图像识别技术获取目标道路巡 检设施。

优选地，所述将获取的目标采集物的空间位置、空间形状、视频流数据信 与所述数据存储模块中的采集预案进行交叉验证，通过AI图像识别技术获取 目标道路巡检设施包括：

获取实时目标采集物的空间位置、空间形状与视频流数据信息；

通过运行不同的神经网络对所述目标采集物的空间位置、空间形状、视频 流数据信息进行识别与跟踪，实现对空间数据信息的识别过程中对目标采集物 的逐帧持续跟踪；

获取空间数据信息；

将空间数据信息传输给CPU处理单元；

所述CPU处理单元将空间数据信息与数据存储模块中的采集预案相匹配， 形成实时规格化空间数据信息；

所述规格化空间数据信息无线传输给后台服务器。

优选地，所述采集预案包括空中数据采集预案与地表数据采集预案；

所述空中数据采集预案用于通过无人机遥感影像从空中获取的空间位置、 空间形状数据；

所述地表数据采集预案用于通过AI采集设备从地表视觉采集图像数据信 息。

优选地，所述空中数据采集预案用于获取山川、河流、道路形状、建筑形 状与地理位置数据信息；所述地表数据采集预案用于获取道路设施标识、道路 设施状态、道路遗撒与道路拥堵图像数据信息。

优选地，所述通过AI图像识别技术获取目标道路巡检设施包括：

逐帧接收视频流数据，对每帧图像数据进行视觉识别算法处理，识别出目 标采集物；

将当前识别出来的目标采集物，通过视觉跟踪算法与上一帧中识别出的目 标采集物进行比较，如果是相同的目标采集物则继承上一帧目标采集物的唯一 ID，如果是新的目标采集物则赋予新的唯一ID；

持续监控每帧目标采集物的唯一ID，如果新的一帧图像中某一个目标采 集物的唯一ID消失，则认为AI采集设备经过该目标采集物，记录上一帧的时 间，同时对当前帧的相邻两帧图像对应的空间位置进行线性插值计算，得出该 帧采集位置作为目标采集物的空间位置。

打包识别数据类型、内容和空间位置，无线传输至后台服务器。

优选地，所述视觉识别算法采用yolo V3神经网络算法。

优选地，所述视觉跟踪算法采用孪生神经网络算法。

优选地，所述获取空间数据信息步骤之后还包括：

通过北斗定位设备实时获取空间位置信息，并将所述空间位置信息与空间 数据信息相匹配。

优选地，所述通过北斗定位设备实时获取空间位置信息，并将所述空间位 置信息与空间数据信息相匹配包括：

北斗定位设备逐秒更新位置信息；

NPU处理单元以毫秒为单位获取并识别空间数据信息，且识别帧数小于 输入视频流帧数；

调教北斗定位设备，固定识别周期，使得识别每帧时间分布在一秒以内；

获取本秒发生和结束时候的空间位置，使用线性插值算法，获取每帧空 间位置；

记录目标采集物最后一次出现的帧的位置，用于描述目标采集物的空间位 置。

优选地，所述AI采集设备设置有HTTP请求接口，用于实现采集设备功 能机制解耦。

本发明的基于AI图像识别技术采集道路巡检设施数据的方法相比现有技 术具有如下有益效果：

本发明通过北斗定位和地理围栏技术，低成本高效地提取道路巡检中需要 重点确认的巡检点的图像，图像实时上传到后台通过AI图像识别技术进行远 程道路巡检识别。

本发明通过AI图像识别技术与北斗定位于外业生产侧现场实时识别，将 识别成果文本化、规格化，处理后成果数据尺寸小、对移动数字网络带宽依赖 低，可实时自动上传到后台服务器。

本发明通过使用北斗高精定位、AI图像识别、5G通信等新基建技术，替 换传统空间数据采集中人工部分，使空间数据采集彻底自动化，AI化，使大 量非专业人员无需培训即可以众包的形式完成专业空间数据采集，进而系统地 提出一种低成本高质量规模化实现全国道路巡检设施数字化的方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于AI图像识别技术采集道路巡检设施数据的方法的 流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方 式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的， 而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术 的描述，以避免不必要地混淆本发明的概念。

如图1所示，本发明提供一种基于AI图像识别技术采集道路巡检设施数 据的方法，包括如下步骤：

基于高精地图中目标采集物与道路类型、道路区域的关系获取目标采集物 类型，根据不同的目标采集物类型设定不同的采集预案，并将不同的采集预案 存储在数据存储模块中；

基于无人机遥感影像获取目标采集物的空间位置与空间形状，以及通过 AI采集设备进行地表视觉采集，获取目标采集物的视频流数据信息；

将获取的目标采集物的空间位置、空间形状、视频流数据信息与数据存储 模块中的采集预案进行交叉验证，通过AI图像识别技术获取目标道路巡检设 施。

其中，上述采集预案包括空中数据采集预案与地表数据采集预案，空中数 据采集预案用于通过无人机遥感影像从空中获取的空间位置、空间形状数据； 地表数据采集预案用于通过AI采集设备从地表视觉采集图像数据信息。优选 地，空中数据采集预案用于获取山川、河流、道路形状、建筑形状与地理位置 数据信息；地表数据采集预案用于获取道路设施标识、道路设施状态、道路遗 撒与道路拥堵图像数据信息。该采集预案是基于目标采集物的空间形态进行划 分制作，即从空中和地表两方面来实现空间数据信息的采集。针对不同空间信 息采集的需求和当前遥感工具(无人机、卫星、AI采集设备)进行梳理和匹 配，将山川、河流、道路形状、建筑形状使用卫星/无人机进行“空”和“天” 的方式采集；将道路设施巡检、道路遗撒、道路拥堵判定乃至POI更新等，北 斗AI众包以“地”的方式进行采集，这样设计既保证了空间数据采集的范围 和精度，又保证数据的高时效性、高现势性，从而可以最大程度地使用新技术， 提升数据采集效率同时降低采集成本。

当然，还可以根据采集空间数据变化频率的不同来制定其他的采集预案， 例如山脉地图测量可以一年测量一次，道路形状与建筑形状可以每月测量一 次，高速极端天气可以每小时测量一次，对于道路拥堵可以每分钟测量一次等 信息。

卫星和无人机适合于测量目标采集物的空间位置和空间形状，AI采集设 备适合于目标采集物的内容。以路牌为例：路牌所在的街道、悬挂路牌所用的 杆，更改的频率较低，而路牌的内容则会经常更改。所以用无人机倾斜摄影测 量定位街道和路牌杆的位置，AI采集设备在地面采集持续更新的路牌的内容。 这样设计既保证了空间数据采集的范围和精度，又保证数据的高时效性、高现 势性，从而可以最大程度地使用新技术，提升数据采集效率的同时降低了采集 成本。

本发明基于高精地图中目标采集物与道路类型、道路区域的关系获取目标 采集物类型，即通过高精地图可以提前已知目标采集物的类型，就算是可信度 比较低也可以有效识别出目标采集物。然后再集合实时无人机遥感影像与AI 采集设备获取的空间数据信息进行交叉验证采集的空间数据有效性与准确性。 由于AI采集设备是进行地表视觉采集视频流数据信息，即可以清楚采集到与 目标采集物相关的图像信息，可以结合空间类型、形状数据来综合形成有效的 空间数据信息。

在本发明的进一步实施例中，将获取的目标采集物的空间位置、空间形状、 视频流数据信与数据存储模块中的采集预案进行交叉验证，通过AI图像识别 技术获取目标道路巡检设施包括：

获取实时目标采集物的空间位置、空间形状与视频流数据信息；

通过运行不同的神经网络对目标采集物的空间位置、空间形状、视频流数 据信息进行识别与跟踪，实现对空间数据信息的识别过程中对目标采集物的逐 帧持续跟踪；

获取空间数据信息；

将空间数据信息传输给CPU处理单元；

CPU处理单元将空间数据信息与数据存储模块中的采集预案相匹配，形成 实时规格化空间数据信息；

规格化空间数据信息无线传输给后台服务器。

在本发明的进一步实施例中，上述获取空间数据信息步骤之后还包括：

通过北斗定位设备实时获取空间位置信息，并将空间位置信息与空间数据 信息相匹配。

需要说明的是，上述北斗定位设备可以与AI采集设备一体化集成设置， 也可以是独立设备，或者可以将AI采集设备设置为具有北斗定位功能的北斗 AI采集设备。并且AI采集设备包括视觉传感器、NPU处理单元与CPU处理 单元，通过视觉传感器实时获取视频流数据信息，NPU处理单元通过运行不同 的神经网络来识别空间数据信息，CPU处理单元则将空间数据信息、空间位置 信息与采集预案相匹配与交叉验证，形成实时规格化空间数据信息，然后通过 无线网络传输至后台服务器。以及，数据存储模块也可以集成设置在AI采集设备中。由于AI采集设备以众包方式设计，则可以利用移动终端的实时网络， 例如利用手机WiFi、热点或蓝牙等无线信号进行数据传输。

在本发明的进一步实施例中，通过北斗定位设备实时获取空间位置信息， 并将空间位置信息与空间数据信息相匹配包括：

北斗定位设备逐秒更新位置信息；

NPU处理单元以毫秒为单位获取并识别空间数据信息，且识别帧数小于输 入视频流帧数；

调教北斗定位设备，固定识别周期，使得识别每帧时间分布在一秒以内；

CPU处理单元获取本秒发生和结束时候的空间位置，使用线性插值算法， 获取每帧空间位置；

记录目标采集物最后一次出现的帧的位置，用于描述目标采集物的空间位 置。

通过在数据存储模块中预存储有目标区域的高精地图来增大空间数据采 集的准确度，这样设置可以实现空间数据采集预判功能。

上述CPU处理单元经过线性差值算法获取空间位置信息，定位每帧空间 数据图像中巡检设施的空间位置，将经过线性差值算法处理后的空间位置信息 与空间数据信息相匹配，形成实时规格化空间数据信息。

具体地，CPU处理单元可以采用2TOPS算力AI芯片模组，其中2TOPS 是目前主流单芯片可达到的最高算力，已经可以产品化运行经过裁剪的主流视 觉相关神经网络。

由于视频流的跟踪算法的实现，基于AI图像识别技术来持续跟踪目标采 集物(巡检设施)。可通过目标采集物消失的时间，推导出车辆经过目标采集 物的时间。同时，可以调整设备，保证设备是视觉输入帧数稳定，在连续获得 北斗信号的前提下通过线性插值算法计算，获得每帧空间数据图像时设备的空 间位置，进而获得AI图像识别技术识别成果的对应的空间位置。由于分米级 北斗信号逐秒产生，大部分情况下线性差值后的视觉采集帧位置也可以达到分 米级精度。此方式的优势在于在低成本的基础上，满足业务需求，而不需要依 赖成本高昂的激光雷达等。

具体地，通过AI图像识别技术获取目标道路巡检设施包括如下步骤：

逐帧接收视频流数据，对每帧图像数据进行视觉识别算法处理，识别出目 标采集物；

将当前识别出来的目标采集物，通过视觉跟踪算法与上一帧中识别出的目 标采集物进行比较，如果是相同的目标采集物则继承上一帧目标采集物的唯一 ID，如果是新的目标采集物则赋予新的唯一ID；

持续监控每帧目标采集物的唯一ID，如果新的一帧图像中某一个目标采 集物的唯一ID消失，则认为AI采集设备经过该目标采集物，记录上一帧的时 间，同时对当前帧的相邻两帧图像对应的空间位置进行线性插值计算，得出该 帧采集位置作为目标采集物的空间位置；

打包识别数据类型、内容和空间位置，无线传输至后台服务器。

考虑到AI采集设备获取的视频流为持续输入，基于AI图像识别算法的道 路巡检设施数据AI采集设备上装载的NPU处理单元需要同时兼顾“识别”和 “跟踪”两个功能。其中视觉识别算法使用yolo V3神经网络，视觉跟踪算法 使用孪生神经网络，两个神经网络同时运行以实现识别过程中对目标采集物的 逐帧持续跟踪。

由于空间数据采集具有一定的敏感性，系统必须做到对所有的众包AI采 集设备位置可知、功能可控，这就需要后台服务器与每一个北斗众包AI采集 设备实时维护TCP长连接，以便指令的实时传达。即本发明的AI采集设备与 后台服务器采用基于心跳保活机制实现的TCP长连接方式进行数据传输，AI 采集设备可以用于实时获取心跳包数据，这样设置可以保证AI采集设备与后 台服务器之间保持有效通信，可以在接收到后台服务器发布的指令后在指定的 时间内关闭一个或多个对应的AI采集设备。CPU处理单元在接收到关闭采集 指令后，依旧保持与后台服务器的长连接通行，而AI采集设备传输的采集结 果直接丢弃，不进行处理和回传。

其中，AI采集设备上传的心跳包中会将空间数据信息和设备唯一ID打包， 空间数据信息包括空间位置、方向、速度与图像等信息，为了同时兼顾保持连 接双向有效性和上传数据空间连续性，可与地图路网拟合成有效路径，心跳包 发送间隔一般设置为10秒。

为了实现在敏感区域不可进行数据采集，为此AI采集设备与后台服务器 之间采用数据脱敏机制。优选地，AI采集设备与后台服务器之间主要基于地 理围栏技术采用数据脱敏机制。地理围栏技术采用空间多边形为基础，空间多 边形中每个店对应一个经纬度，并且地理围栏技术基于空间网格索引管理。

通过地理围栏技术采用数据脱敏机制具体判断步骤如下：

1)、使用空间网格索引，获取附近的地理围栏；

2)、使用奇偶规则算法判别点是否在多边形地理围栏内；

3)、基于规则开启或关闭采集功能。

例如，桥梁高度、隧道高度等涉及国家机密、人脸、车牌等涉及个人隐私 的内容，不应该被采集。由此可以使得涉及到国家机密、用户隐私等视频、图 片信息不回回传至后台服务器，实现不传播不泄密，同时保证了采集空间数据 内容信息的安全性。

本发明基于心跳保活长连接技术，保证了AI采集设备和后台服务器的有 效数据信道。后台服务器可收到AI采集设备有效的位置和数据，并可根据需 求下发指令，配合脱敏地理围栏数据，实现设备采集的数据脱敏。

上述AI采集设备设置有HTTP请求接口，用于实现基于AI图像识别技术 采集道路巡检设施数据的方法采集设备功能机制解耦。这样设置可以最大程度 减少AI采集设备对其他硬件模块的依赖，从而可以专注于实现视觉算法。

本发明通过将AI图像识别、北斗定位在硬件层进行整合和集成，生产下 一代空间数据采集的通用平台。在相同的硬件架构下，通过算法的持续迭代， 覆盖高精地图、道路巡检、网格员巡查、交警执法、城管执法等广义的空间信 息自动化采集领域。通过AI图像识别技术与北斗高精度定位相结合，将识别 成果文本化、规格化，处理后成果数据尺寸小、对移动数字网络带宽依赖低， 可实时自动上传到后台服务器，以此实现远程道路巡检设施识别。

本发明的基于AI图像识别技术采集道路巡检设施数据的方法可以适用不 同的采集平台中，即可以根据实际情况进行简便安装与使用。上述AI采集设 备与北斗定位设备优选采用分体设计，这样设置是为了可以针对不同的采集平 台实现不同的采集方案，并且分体的设计可以让AI采集设备可适配中台、手 机等设备，通过软件的方式与北斗定位信号、GPS信号匹配，最大限度地适配 不同的采集平台。优选地，AI采集设备与北斗定位设备以众包方式部署在移 动终端中，例如可以以众包的方式将AI采集设备充分部署到全社会车辆中， 出租车、公交车、私家车、外卖骑手均可以为空间数据采集车。让这些空间数 据采集车可以抽象为基于算法搭配的空间算力，让每台空间数据采集车按需更 新对应的算法，动态的调整空间算力的应用。以最终让包括道路巡检在内的空 间采集业务实现采集标准化、众包化、算力抽象化，进而可以实现城市级乃至 国家级空间算力自动调度，从本质上一次性地解决上一代技术革命中空间信息 相关的遗留问题，实现数据的全面信息化，以迎来万物互联的到来。

本发明通过AI图像识别技术与北斗定位相结合，将识别成果文本化、规 格化，处理后成果数据尺寸小、对移动数字网络带宽依赖低，可实时自动上传 到后台服务器，以此实现远程道路巡检设施识别，进而系统地提出一种低成本 高质量规模化实现全国道路巡检设施数字化的方式。

应当理解的是，本发明的上述具体实施方式仅用于示例性说明或解释本发 明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的 情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之 内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者 这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，包括如下步骤：

基于高精地图中目标采集物与道路类型、道路区域的关系获取目标采集物类型，根据不同的目标采集物类型设定不同的采集预案，并将不同的采集预案存储在数据存储模块中；

基于无人机遥感影像获取目标采集物的空间位置与空间形状，以及通过AI采集设备进行地表视觉采集，获取目标采集物的视频流数据信息；

将获取的目标采集物的空间位置、空间形状、视频流数据信息与所述数据存储模块中的采集预案进行交叉验证，通过AI图像识别技术获取目标道路巡检设施。

2.根据权利要求1所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述将获取的目标采集物的空间位置、空间形状、视频流数据信与所述数据存储模块中的采集预案进行交叉验证，通过AI图像识别技术获取目标道路巡检设施包括：

获取实时目标采集物的空间位置、空间形状与视频流数据信息；

通过运行不同的神经网络对所述目标采集物的空间位置、空间形状、视频流数据信息进行识别与跟踪，实现对空间数据信息的识别过程中对目标采集物的逐帧持续跟踪；

获取空间数据信息；

将空间数据信息传输给CPU处理单元；

所述CPU处理单元将空间数据信息与数据存储模块中的采集预案相匹配，形成实时规格化空间数据信息；

所述规格化空间数据信息无线传输给后台服务器。

3.根据权利要求1所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述采集预案包括空中数据采集预案与地表数据采集预案；

所述空中数据采集预案用于通过无人机遥感影像从空中获取的空间位置、空间形状数据；

所述地表数据采集预案用于通过AI采集设备从地表视觉采集图像数据信息。

4.根据权利要求3所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述空中数据采集预案用于获取山川、河流、道路形状、建筑形状与地理位置数据信息；所述地表数据采集预案用于获取道路设施标识、道路设施状态、道路遗撒与道路拥堵图像数据信息。

5.根据权利要求2所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述通过AI图像识别技术获取目标道路巡检设施包括：

逐帧接收视频流数据，对每帧图像数据进行视觉识别算法处理，识别出目标采集物；

将当前识别出来的目标采集物，通过视觉跟踪算法与上一帧中识别出的目标采集物进行比较，如果是相同的目标采集物则继承上一帧目标采集物的唯一ID，如果是新的目标采集物则赋予新的唯一ID；

持续监控每帧目标采集物的唯一ID，如果新的一帧图像中某一个目标采集物的唯一ID消失，则认为AI采集设备经过该目标采集物，记录上一帧的时间，同时对当前帧的相邻两帧图像对应的空间位置进行线性插值计算，得出该帧采集位置作为目标采集物的空间位置。

打包识别数据类型、内容和空间位置，无线传输至后台服务器。

6.根据权利要求5所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述视觉识别算法采用yolo V3神经网络算法。

7.根据权利要求5所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述视觉跟踪算法采用孪生神经网络算法。

8.根据权利要求5所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述获取空间数据信息步骤之后还包括：

通过北斗定位设备实时获取空间位置信息，并将所述空间位置信息与空间数据信息相匹配。

9.根据权利要求8所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述通过北斗定位设备实时获取空间位置信息，并将所述空间位置信息与空间数据信息相匹配包括：

北斗定位设备逐秒更新位置信息；

NPU处理单元以毫秒为单位获取并识别空间数据信息，且识别帧数小于输入视频流帧数；

调教北斗定位设备，固定识别周期，使得识别每帧时间分布在一秒以内；

获取本秒发生和结束时候的空间位置，使用线性插值算法，获取每帧空间位置；

记录目标采集物最后一次出现的帧的位置，用于描述目标采集物的空间位置。

10.根据权利要求1所述的基于AI图像识别技术采集道路巡检设施数据的方法，其特征在于，所述AI采集设备设置有HTTP请求接口，用于实现采集设备功能机制解耦。

Images