CN110120091B - 电力巡检图像样本制作方法、装置和计算机设备 - Google Patents
电力巡检图像样本制作方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN110120091B CN110120091B CN201910347963.1A CN201910347963A CN110120091B CN 110120091 B CN110120091 B CN 110120091B CN 201910347963 A CN201910347963 A CN 201910347963A CN 110120091 B CN110120091 B CN 110120091B
- Authority
- CN
- China
- Prior art keywords
- dimensional point
- point cloud
- equipment
- defect
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 22
- 230000007547 defect Effects 0.000 claims abstract description 143
- 230000002950 deficient Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 26
- 239000007787 solid Substances 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 11
- 239000012769 display material Substances 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005464 sample preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及一种电力巡检图像样本制作方法、装置和计算机设备。所述方法包括：获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。采用本方法，不仅能够获得足量的电力巡检图像样本，以解决电力巡检模型样本不足而导致设备巡检识别准确率低的问题，还能提升样本采集制作效率、降低样本采集成本，简化样本采集过程。
Description
技术领域
本申请涉及电力部件巡检技术领域，特别是涉及一种电力巡检图像样本制作方法、装置、计算机设备和存储介质。
背景技术
随着经济社会的发展与进步，人们所需发电量与用电量逐年上升，电力部件的故障巡检排除工作也即格外受到重视。
现有的电力巡检方法，主要通过无人机或直升机以航拍的方式对输电线路的进行巡检，但巡检过程中会产生大量的巡检图像，仍需人工处理电力巡检图片，并使用图片编辑工具在电力巡检图片上进行标注，导致巡检效率降低。
为了提高巡检人员的巡检效率，出现了基于深度学习的电力部件识别技术，然而电力部件识别模型的识别准确度取决于样本数量是否丰富，但其样本采集主要来源于实际场景的拍摄汇总，由此导致样本数量匮乏。
因此，现有的电力巡检样本采集方法存在着样本采集效率低的问题。
发明内容
基于此，有必要针对上述电力巡检图像样本制作方法，存在着样本采集效率低的技术问题，提供一种能够合理解决上述技术问题的电力巡检图像样本制作方法、装置、计算机设备和存储介质。
一种电力巡检图像样本制作方法，包括如下步骤：
获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
在其中一个实施例中，所述获取缺陷设备三维点云的步骤，包括：
通过激光扫描仪扫描缺陷设备实体模型，得到所述缺陷设备三维点云。
在其中一个实施例中，所述获取杆塔三维点云的步骤，包括：
通过激光扫描仪扫描杆塔实体模型，得到所述杆塔三维点云。
在其中一个实施例中，所述生成巡检样本图片的步骤，包括：
获取预设的缺陷设备挂点；所述缺陷设备挂点为所述缺陷设备在所述杆塔上的挂置点；将所述缺陷设备三维点云按照所述缺陷设备挂点，放置于所述杆塔三维点云上，得到组合三维点云；根据所述组合三维点云，得到所述巡检样本图片。
在其中一个实施例中，所述根据所述组合三维点云，得到所述巡检样本图片的步骤，包括：
调整所述组合三维点云的显示参数，得到多个三维点云样本；确定所述多个三维点云样本，作为所述巡检样本图片。
在其中一个实施例中，所述调整所述组合三维点云的显示参数的步骤，包括：
执行调整显示亮度、调整显示角度、调整显示材质中的至少一个步骤。
在其中一个实施例中，所述生成巡检样本图片的步骤，包括：
采集全景环境图片；根据所述全景环境图片、所述缺陷设备三维点云以及所述杆塔三维点云，生成所述巡检样本图片。
一种电力巡检图像样本制作装置，所述装置包括：
三维点云获取模块，用于获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
样本图片生成模块，用于生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
上述电力巡检图像样本制作方法、装置、计算机设备和存储介质，服务器首先获取缺陷设备三维点云以及杆塔三维点云，然后根据缺陷设备三维点云和杆塔三维点云，生成巡检样本图片，该巡检样本图片的多样性可由缺陷设备三维点云和杆塔三维点云的相对关系来控制，并且该巡检样本图片主要作用于训练电力巡检模型，以便后期利用巡检好的电力巡检模型对实景待测图片进行设备巡检。采用本方法，不仅能够获得足量的电力巡检图像样本，以解决电力巡检模型样本不足而导致设备巡检识别准确率低的问题，还能提升样本采集制作效率、降低样本采集成本，简化样本采集过程。
附图说明
图1为一个实施例中电力巡检图像样本制作方法的应用环境图；
图2为一个实施例中电力巡检图像样本制作方法的流程示意图；
图3为一个具体实施例中电力巡检图像样本制作方法的具体流程图；
图4为一个具体实施例中电力巡检图像样本制作方法的实物流程图；
图5为一个实施例中电力巡检图像样本制作装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先需要说明的是，机器视觉技术是指采用光学成像技术(通常使用摄像机)获取被测目标的图像，再经过快速图像处理与图形识别算法，从摄取图像中获取目标的尺寸、位置、方向、光谱特征、结构以及缺陷等信息，从而可以执行物体检验、分类与分组等任务。三维视觉技术，是基于视差原理获取物体三维几何信息的方法技术，三维视觉技术相较传统视觉，可以获得物体距离相机的距离信息，利用该信息，可以表示出物体的形貌特征，而不仅是二维图片。一个物体完整的三维信息，可以是将多个视角的三维点云进行拼接，之后利用曲面重构来获得，如激光扫描仪等。
本发明所提供的一种电力巡检图像样本制作方法，可以应用于如图1所示的应用环境中。其中，在一个电力巡检图像样本制作系统中，可以包括有激光扫描仪102、服务器104以及显示设备106，三者分别通过网络建立通信连接。
其中，激光扫描仪102可以是三维激光扫描仪，三维激光扫描仪所采用的技术为三维激光扫描技术，汽油被称为实景复制技术，是测绘领域继GPS技术之后的一次技术革命。它突破了传统的单点测量方法，具有高效率、高精度的独特优势。三维激光扫描技术能够提供扫描物体表面的三维点云数据，因此可以用于获取高精度高分辨率的数字地形模型。服务器102可以用独立的服务器，或者是多个服务器组成的服务器集群来实现，服务器102可以对多目相机102采集传输的图像进行分析处理，还可将对图像分析处理的结果发送至显示设备106，供显示设备显示其分析结果。显示设备106可以但不限于是各种具有显示屏的个人计算机、笔记本电脑、智能手机以及平板电脑，还可以投影设备。
在一个实施例中，如图2所示，提供了一种电力巡检图像样本制作方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤S210，获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合。
其中，点云是指在逆向工程中，通过测量仪器得到的产品外观表面的点数据集合，根据点数量的密集程度，可分为稀疏点云与密集点云。三维点云是指在空间维度中，包括有三个维度方向的点云集合，即左右空间、上下空间以及前后空间存在的点云的集合。
具体实现中，服务器104在处理物体的三维点云前，首先要获取物体的三维点云，本申请提出对三维点云的获取来源于激光扫描仪102对实体模型的扫描采集。进一步地，通过激光扫描仪102获取三维点云前，本申请提出制作待扫描物体的实体模型，而在本申请中，待扫描物体包括缺陷设备，即带有缺陷处的电力部件，以及杆塔，要分别获取两者的三维点云，需利用激光扫描仪102分别扫描该两个带扫描对象。需要说明的是，在实际应用中，由于杆塔上电力部件类型的多样性，以及单个电力部件可能存在不同处的缺陷，因此制作出的缺陷设备实体模型可根据具体情况制定，例如，电力部件中的防震锤出现单侧丢失或是单侧扭曲、均压环出现扭曲变形等。
更进一步地，服务器104在获取三维点云之前，可以先生成一个点云采集指令，并将该指令发送至激光扫描仪102，激光扫描仪102响应该指令后即可针对镜头前放置的缺陷设备实体模型、杆塔实体模型进行三维扫描，并将扫描得到的三维点云发送至服务器104。
步骤S220，生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
其中，巡检样本图片包括缺陷设备三维点云与杆塔三维点云，巡检样本图片可显示于显示设备106，巡检样本图片的多样性可由工作人员通过显示设备106对缺陷设备三维点云与杆塔三维点云的相对位置、光照强度、色彩对比度以及三维点云的背景图片等多方面调整进行控制。
具体实现中，服务器104获取到缺陷设备三维点云和杆塔三维点云之后，可将该数据导入至数据编辑平台，如“虚幻4引擎”，并且由于服务器104连接有显示设备106，显示设备106可显示导入“虚幻4引擎”平台中的三维点云，则工作人员可通过显示设备106调整各三维点云的相对位置、光照强度、色彩对比度以及三维点云的背景图片等，获取到多个巡检样本图片。
例如，缺陷设备三维点云设置于杆塔三维点云的缺陷设备挂点一处，其他参数按默认设置，得到巡检样本图片一；缺陷设备三维点云设置于杆塔三维点云的缺陷设备挂点二处，其他参数按默认设置，得到巡检样本图片二，以此类推。
上述电力巡检图像样本制作方法，服务器首先获取缺陷设备三维点云以及杆塔三维点云，然后根据缺陷设备三维点云和杆塔三维点云，生成巡检样本图片，该巡检样本图片的多样性可由缺陷设备三维点云和杆塔三维点云的相对关系来控制，并且该巡检样本图片主要作用于训练电力巡检模型，以便后期利用巡检好的电力巡检模型对实景待测图片进行设备巡检。采用本方法，不仅能够获得足量的电力巡检图像样本，以解决电力巡检模型样本不足而导致设备巡检识别准确率低的问题，还能提升样本采集制作效率、降低样本采集成本，简化样本采集过程。
在一个实施例中，所述步骤S210包括：
通过激光扫描仪扫描缺陷设备实体模型，得到所述缺陷设备三维点云。
其中，缺陷设备是指具有缺陷的电力部件，例如，防震锤、绝缘子、均压环等；缺陷设备实体模型是指根据实际情况制作的、存在部分位置缺陷的电力部件的实体物理模型。
具体实现中，服务器104获取缺陷设备三维点云，首先要由激光扫描仪102扫描缺陷设备实体模型，提供缺陷设备实体模型表面的三维点云数据。
在一个实施例中，所述步骤S210包括：
通过激光扫描仪扫描杆塔实体模型，得到所述杆塔三维点云。
其中，杆塔是架空输电线路中用来支撑输电线的支撑物，杆塔多是由钢材或钢筋混凝土制成，是架空输电线路的主要支撑结构；杆塔实体模型是指根据实际情况制作的各种规格的实体物理模型。
具体实现中，服务器104获取缺陷设备三维点云，首先要由激光扫描仪102扫描杆塔实体模型，提供杆塔实体模型表面的三维点云数据。
在一个实施例中，所述步骤S220包括：
获取预设的缺陷设备挂点；所述缺陷设备挂点为所述缺陷设备在所述杆塔上的挂置点；将所述缺陷设备三维点云按照所述缺陷设备挂点，放置于所述杆塔三维点云上，得到组合三维点云；根据所述组合三维点云，得到所述巡检样本图片。
其中，缺陷设备挂点是指设置于杆塔上、针对不同电力部件设备的挂载点。
具体实现中，服务器104在生成得到巡检样本图片之前，不仅要获取缺陷设备三维点云、杆塔三维点云，还需获取预设的缺陷设备挂点，该缺陷设备挂点是根据实际场景中，不同电力部件设备在杆塔上的实际挂点而设置，要生成巡检样本图片，不仅需要获取缺陷设备挂点，还需要将缺陷设备三维点云按照其对应的缺陷设备挂点设置于杆塔三维点云的相应位置，以得到根据实景模拟而出的组合三维点云，以此截取或通过其他文件格式转换方法将组合三维点云转换为巡检样本图片。
在一个实施例中，所述根据所述组合三维点云，得到所述巡检样本图片的步骤，包括：
调整所述组合三维点云的显示参数，得到多个三维点云样本；确定所述多个三维点云样本，作为所述巡检样本图片。
其中，显示参数是指组合三维点云显示于显示设备106上时，工作人员可对其调整设置的参数，例如，显示色彩对比度、显示物体正面、侧面等具体的显示角度等。
具体实现中，巡检样本图片的多样性不仅可以从缺陷设备的种类数量来体现，还可从组合三维点云的色彩对比度、显示角度、背景，以及巡检样本图片的图片材质等多方面多维度调整获取多个三维点云样本，由此得到多个巡检样本图片。
在一个实施例中，所述调整所述组合三维点云的显示参数的步骤，包括：
执行调整显示亮度、调整显示角度、调整显示材质中的至少一个步骤。
其中，显示亮度可包含对比度、光照强度等。显示角度可包含以三维点云中的任何一个轴线为中轴线的旋转角度所显示的面。显示材质可包含样本的显示画面质感，清晰度等。
具体实现中，服务器104获取到组合三维点云后，可调整其显示参数，如显示亮度、显示角度以及显示材质中的至少一种，来获取多个三维点云样本。
在一个实施例中，所述步骤S220，包括：
采集全景环境图片；根据所述全景环境图片、所述缺陷设备三维点云与所述杆塔三维点云，生成所述巡检样本图片。
其中，全景环境图片是指通过相机拍摄真实环境，并使用全景技术制作完成的图片。
具体实现中，服务器104生成写巡检样本图片中，不仅包含有缺陷设备三维点云、杆塔三维点云，还可包括有样本生成前期获取到的全景环境图片，服务器104生产各行巡检样本图片前，可通过“虚幻4引擎”导入该全景环境图片作为背景图片使用，再结合缺陷设备三维点云以及杆塔三维点云，即可生成巡检样本图片。
根据本发明实施例提供的方案，服务器可通过激光扫描仪获取缺陷设备三维点云以及杆塔三维点云，并通过获取预设的缺陷设备挂点、全景环境图片来与实际情况相符的组合三维点云，由此得到巡检样本图片。同时，还可通过调整组合三维点云的显示参数来获取多个三维点云样本。采用本方案，不仅能够获得足量的电力巡检图像样本，以解决电力巡检模型样本不足而导致设备巡检识别准确率低的问题，还能提升样本采集制作效率、降低样本采集成本，简化样本采集过程。
为了便于本领域技术人员深入理解本申请实施例，以下将结合图3和图4说明一个具体示例。
图3为一个具体实施例中电力巡检图片样本制作的具体流程图，如图3所示，在样本制作过程中，首先要制作杆塔模型以及缺陷设备模型，该模型若为实体模型，则随后可利用三维激光扫描仪制作成数字三维模型；该模型若已为数字三维模型，则进一步根据预设的挂点，将缺陷设备模型按照挂点设置于杆塔模型上，得到组合模型。同时，可获取由工作人员拍摄上传的真实环境图片，将其制作为真实环境全景图片后，随机调取其中一张全景图片作为组合模型的背景蹄片，即可得到样本图片，实际操作图可参考图4。
图4为一个具体实施例中电力巡检图片样本制作的实物流程图，如图4所示，缺陷设备模型存在多种多类型，其中，针对防震锤而言，即存在不同规格防震锤的不同缺陷，包括：防震锤1中的单侧丢失、防震锤2中的单侧丢失以及防震锤3中的单侧扭曲等。按照预设挂点将缺陷设备模型设置于杆塔模型上，再结合全景环境图片，并从不同拍摄角度获取样本，即可得到多个图片样本。
采用本方法，不仅能够获得足量的电力巡检图像样本，以解决电力巡检模型样本不足而导致设备巡检识别准确率低的问题，还能提升样本采集制作效率、降低样本采集成本，简化样本采集过程。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种电力巡检图像样本制作装置，包括三维点云获取模块510和样本图片生成模块520，其中：
三维点云获取模块510，用于获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
样本图片生成模块520，用于生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
根据本发明实施例提供的方案，服务器首先获取缺陷设备三维点云以及杆塔三维点云，然后根据缺陷设备三维点云和杆塔三维点云，生成巡检样本图片，该巡检样本图片的多样性可由缺陷设备三维点云和杆塔三维点云的相对关系来控制，并且该巡检样本图片主要作用于训练电力巡检模型，以便后期利用巡检好的电力巡检模型对实景待测图片进行设备巡检。采用本方案，不仅能够获得足量的电力巡检图像样本，以解决电力巡检模型样本不足而导致设备巡检识别准确率低的问题，还能提升样本采集制作效率、降低样本采集成本，简化样本采集过程。
在一个实施例中，所述三维点云获取模块510，包括：
激光扫描设备子模块，用于通过激光扫描仪扫描缺陷设备实体模型，得到所述缺陷设备三维点云。
在一个实施例中，所述三维点云获取模块510，包括：
激光扫描杆塔子模块，用于通过激光扫描仪扫描杆塔实体模型，得到所述杆塔三维点云。
在一个实施例中，所述样本图片生成模块520，包括：
挂点获取子模块，用于获取预设的缺陷设备挂点；所述缺陷设备挂点为所述缺陷设备在所述杆塔上的挂置点；组合点云获取子模块，用于将所述缺陷设备三维点云按照所述缺陷设备挂点，放置于所述杆塔三维点云上，得到组合三维点云；组合点云确定子模块，用于根据所述组合三维点云，得到所述巡检样本图片。
在一个实施例中，所述组合点云确定子模块，包括：
点云调整单元，用于调整所述组合三维点云的显示参数，得到多个三维点云样本；点云确定单元，用于确定所述多个三维点云样本，作为所述巡检样本图片。
在一个实施例中，所述点云调整单元，包括：
显示参数调整子单元，用于调整所述组合三维点云的显示亮度、显示角度、显示材质中的至少一个显示参数，得到所述多个三维点云样本。
在一个实施例中，所述样本图片生成模块520，包括：
全景图片采集模块，用于采集全景环境图片；全景图片组合模块，用于根据所述全景环境图片、所述缺陷设备三维点云与所述杆塔三维点云，生成所述巡检样本图片。
根据本发明实施例提供的方案，服务器可通过激光扫描仪获取缺陷设备三维点云以及杆塔三维点云，并通过获取预设的缺陷设备挂点、全景环境图片来与实际情况相符的组合三维点云，由此得到巡检样本图片。同时，还可通过调整组合三维点云的显示参数来获取多个三维点云样本。采用本方案，不仅能够获得足量的电力巡检图像样本，以解决电力巡检模型样本不足而导致设备巡检识别准确率低的问题，还能提升样本采集制作效率、降低样本采集成本，简化样本采集过程。
关于电力巡检图像样本制作装置的具体限定，可以参见上文中对电力巡检图像样本制作方法的限定，在此不再赘述。上述电力巡检图像样本制作装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储标识信息和设备信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现一种物体尺寸测量方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过激光扫描仪扫描缺陷设备实体模型，得到所述缺陷设备三维点云。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过激光扫描仪扫描杆塔实体模型，得到所述杆塔三维点云。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取预设的缺陷设备挂点；所述缺陷设备挂点为所述缺陷设备在所述杆塔上的挂置点；将所述缺陷设备三维点云按照所述缺陷设备挂点，放置于所述杆塔三维点云上，得到组合三维点云；根据所述组合三维点云，得到所述巡检样本图片。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
调整所述组合三维点云的显示参数，得到多个三维点云样本；确定所述多个三维点云样本，作为所述巡检样本图片。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
执行调整显示亮度、调整显示角度、调整显示材质中的至少一个步骤。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采集全景环境图片；根据所述全景环境图片、所述缺陷设备三维点云与所述杆塔三维点云，生成所述巡检样本图片。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
生成巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过激光扫描仪扫描缺陷设备实体模型，得到所述缺陷设备三维点云。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过激光扫描仪扫描杆塔实体模型，得到所述杆塔三维点云。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取预设的缺陷设备挂点；所述缺陷设备挂点为所述缺陷设备在所述杆塔上的挂置点；将所述缺陷设备三维点云按照所述缺陷设备挂点，放置于所述杆塔三维点云上，得到组合三维点云；根据所述组合三维点云，得到所述巡检样本图片。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
调整所述组合三维点云的显示参数，得到多个三维点云样本；确定所述多个三维点云样本，作为所述巡检样本图片。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
执行调整显示亮度、调整显示角度、调整显示材质中的至少一个步骤。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采集全景环境图片；根据所述全景环境图片、所述缺陷设备三维点云与所述杆塔三维点云，生成所述巡检样本图片。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种电力巡检图像样本制作方法，其特征在于，包括如下步骤：
获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
获取预设的缺陷设备挂点；所述缺陷设备挂点为所述缺陷设备在所述杆塔上的挂置点；
将所述缺陷设备三维点云按照所述缺陷设备挂点，设置于所述杆塔三维点云上，得到组合三维点云；
调整所述组合三维点云的显示参数，得到多个三维点云样本；
确定所述多个三维点云样本，作为巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
2.根据权利要求1所述的方法，其特征在于，所述获取缺陷设备三维点云的步骤，包括：
通过激光扫描仪扫描缺陷设备实体模型，得到所述缺陷设备三维点云。
3.根据权利要求1所述的方法，其特征在于，所述获取杆塔三维点云的步骤，包括：
通过激光扫描仪扫描杆塔实体模型，得到所述杆塔三维点云。
4.根据权利要求3所述的方法，其特征在于，所述激光扫描仪为三维激光扫描仪。
5.根据权利要求1所述的方法，其特征在于，所述杆塔为架空输电线路中支撑输电线的支撑物。
6.根据权利要求1所述的方法，其特征在于，所述调整所述组合三维点云的显示参数的步骤，包括：
执行调整显示亮度、调整显示角度、调整显示材质中的至少一个步骤。
7.根据权利要求6所述的方法，其特征在于，所述显示亮度包含对比度和光照强度。
8.一种电力巡检图像样本制作装置，其特征在于，所述装置包括：
三维点云获取模块，用于获取缺陷设备三维点云，以及，获取杆塔三维点云；所述缺陷设备三维点云为缺陷设备的表面三维点数据集合；所述杆塔三维点云为杆塔的表面三维点数据集合；
样本图片生成模块，用于获取预设的缺陷设备挂点；所述缺陷设备挂点为所述缺陷设备在所述杆塔上的挂置点；将所述缺陷设备三维点云按照所述缺陷设备挂点，设置于所述杆塔三维点云上，得到组合三维点云；调整所述组合三维点云的显示参数，得到多个三维点云样本；确定所述多个三维点云样本，作为巡检样本图片；所述巡检样本图片包括所述缺陷设备三维点云与所述杆塔三维点云；所述巡检样本图片用于训练电力巡检模型；所述电力巡检模型用于识别待识别图像中的缺陷设备。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910347963.1A CN110120091B (zh) | 2019-04-28 | 2019-04-28 | 电力巡检图像样本制作方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910347963.1A CN110120091B (zh) | 2019-04-28 | 2019-04-28 | 电力巡检图像样本制作方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110120091A CN110120091A (zh) | 2019-08-13 |
| CN110120091B true CN110120091B (zh) | 2023-06-16 |
Family
ID=67521601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910347963.1A Active CN110120091B (zh) | 2019-04-28 | 2019-04-28 | 电力巡检图像样本制作方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110120091B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110531437A (zh) * | 2019-08-22 | 2019-12-03 | 深圳供电局有限公司 | 一种基于人工智能的电网巡检车驾驶辅助系统 |
| CN111260643A (zh) * | 2020-02-12 | 2020-06-09 | 江苏濠汉信息技术有限公司 | 基于部署在后端服务器中模型的杆塔缺陷巡检的方法 |
| CN111507951A (zh) * | 2020-04-08 | 2020-08-07 | 中国电力科学研究院有限公司 | 电缆线路隧道工程巡检装置 |
| CN113763307B (zh) * | 2020-08-11 | 2024-06-18 | 北京京东乾石科技有限公司 | 样本数据的获取方法和装置 |
| CN113177444A (zh) * | 2021-04-16 | 2021-07-27 | 云南云能科技有限公司 | 一种无人机影像输油气管路智能识别方法及系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9053390B2 (en) * | 2012-08-14 | 2015-06-09 | Kla-Tencor Corporation | Automated inspection scenario generation |
| US20190102692A1 (en) * | 2017-09-29 | 2019-04-04 | Here Global B.V. | Method, apparatus, and system for quantifying a diversity in a machine learning training data set |
| CN108597053A (zh) * | 2018-04-25 | 2018-09-28 | 北京御航智能科技有限公司 | 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法 |
| CN109214457B (zh) * | 2018-09-07 | 2021-08-24 | 北京数字绿土科技有限公司 | 一种电力线路的分类方法及装置 |
| CN109063789A (zh) * | 2018-09-07 | 2018-12-21 | 北京数字绿土科技有限公司 | 杆塔和电力线的分类方法、装置和系统 |
| CN109406529B (zh) * | 2018-09-28 | 2021-09-14 | 武汉精立电子技术有限公司 | 一种aoi缺陷检测系统的性能调节方法 |
| CN109523640A (zh) * | 2018-10-19 | 2019-03-26 | 深圳增强现实技术有限公司 | 深度学习缺陷数据集方法、系统及电子设备 |
| CN109615611B (zh) * | 2018-11-19 | 2023-06-27 | 国家电网有限公司 | 一种基于巡检影像的绝缘子自爆缺陷检测方法 |
| CN109492699A (zh) * | 2018-11-21 | 2019-03-19 | 国网江苏省电力有限公司扬州供电分公司 | 输电通道三维测量方法及装置 |
| CN109598772B (zh) * | 2018-11-23 | 2023-01-06 | 华南理工大学 | 基于架空输电线路单一缺陷自动标注图片数据源扩充方法 |
-
2019
- 2019-04-28 CN CN201910347963.1A patent/CN110120091B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110120091A (zh) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110120091B (zh) | 电力巡检图像样本制作方法、装置和计算机设备 | |
| US11410320B2 (en) | Image processing method, apparatus, and storage medium | |
| CN109737874B (zh) | 基于三维视觉技术的物体尺寸测量方法及装置 | |
| US11551418B2 (en) | Image rendering of laser scan data | |
| US9773302B2 (en) | Three-dimensional object model tagging | |
| CN111815707B (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| CN116222425A (zh) | 一种基于多目三维扫描装置的三维重建方法及系统 | |
| CN116452573A (zh) | 变电站设备缺陷检测方法、模型训练方法、装置和设备 | |
| Barrile et al. | 3D modeling with photogrammetry by UAVs and model quality verification | |
| Barrile et al. | Comparison between techniques for generating 3D models of cultural heritage | |
| CN111583388B (zh) | 一种三维扫描系统的扫描方法及设备 | |
| US12094227B2 (en) | Object recognition device and object recognition method | |
| CN112767239A (zh) | 一种样本自动生成方法、系统、设备和存储介质 | |
| CN112749746A (zh) | 一种缺陷样本迭代更新方法、系统及装置 | |
| Barrile et al. | 3D models of Cultural Heritage | |
| CN117541738A (zh) | 一种基于三维点云的输电线路隐患在线监测方法及装置 | |
| CN113593026B (zh) | 车道线标注辅助地图生成方法、装置和计算机设备 | |
| CN112634439B (zh) | 一种3d信息展示方法及装置 | |
| CN111630569A (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN114463405A (zh) | 面扫线激光3d相机加速方法、装置、系统及fpga | |
| Fotia et al. | Applying 3D and photogrammetric scanning systems to the case of cultural heritage | |
| WO2023132275A1 (ja) | 物体測定装置及び物体測定方法 | |
| Brea et al. | Low-Cost Thermal Point Clouds of Indoor Environments | |
| Pargieła et al. | The Utilization of Synthetic and Semisynthetic Point Clouds and Images for Testing Novel Approaches for Correcting LIDAR Data | |
| CN115577495A (zh) | 基于图像分析同步获取材料力学实验应力应变数据的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518001 power dispatching communication building, No. 4020 Shennan East Road, Shenzhen, Guangdong, Luohu District Applicant after: Shenzhen Power Supply Co.,Ltd. Applicant after: DINGXIN INFORMATION TECHNOLOGY Co.,Ltd. Address before: 518000 Xinzhou Power Dispatching Building, No. 39, Central Road, Futian District, Shenzhen City, Guangdong Province Applicant before: Shenzhen Power Supply Co.,Ltd. Applicant before: DINGXIN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong Applicant after: Shenzhen Power Supply Co.,Ltd. Applicant after: Southern Power Grid Digital Grid Research Institute Co.,Ltd. Address before: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong Applicant before: Shenzhen Power Supply Co.,Ltd. Applicant before: DINGXIN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230104 Address after: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong Applicant after: Shenzhen Power Supply Co.,Ltd. Address before: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong Applicant before: Shenzhen Power Supply Co.,Ltd. Applicant before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |