[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112950508B - 一种基于计算机视觉的排水管道视频数据修复方法 - Google Patents

一种基于计算机视觉的排水管道视频数据修复方法 Download PDF

Info

Publication number
CN112950508B
CN112950508B CN202110268931.XA CN202110268931A CN112950508B CN 112950508 B CN112950508 B CN 112950508B CN 202110268931 A CN202110268931 A CN 202110268931A CN 112950508 B CN112950508 B CN 112950508B
Authority
CN
China
Prior art keywords
image
point
pixel
pipeline
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110268931.XA
Other languages
English (en)
Other versions
CN112950508A (zh
Inventor
李策
柳明村
杨峰
乔旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202110268931.XA priority Critical patent/CN112950508B/zh
Publication of CN112950508A publication Critical patent/CN112950508A/zh
Priority to US17/644,152 priority patent/US11620735B2/en
Application granted granted Critical
Publication of CN112950508B publication Critical patent/CN112950508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L55/00—Devices or appurtenances for use in, or in connection with, pipes or pipe systems
    • F16L55/26—Pigs or moles, i.e. devices movable in a pipe or conduit with or without self-contained propulsion means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L2101/00—Uses or applications of pigs or moles
    • F16L2101/30—Inspecting, measuring or testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Combustion & Propulsion (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Nonlinear Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)

Abstract

本发明涉及的是一种基于计算机视觉的管道视频数据修复方法。通过对管道机器人采集到的管道图像、视频进行灰度拉伸；使用平滑滤波处理噪声干扰；提取视频图像中心的铁索作为模板实现定位；使用SIFT角点检测算法对视频数据中心进行目标识别；使用霍夫变换对目标左右两侧的缆绳进行检测；对视频图像中心的铁索以及两侧缆绳进行灰度覆盖；使用FMM图像修复算法对数据进行修复；本发明能有效修复在管道中采集到的视频数据，降低后期管道数据的处理难度，提升后期病害图像处理速度和识别的效率，适用于城市管道、工业管道检修领域。

Description

一种基于计算机视觉的排水管道视频数据修复方法
技术领域
本发明涉及图像与视频处理技术领域，尤其涉及一种基于计算机视觉，包括目标检测、直线检测在内的图像修复技术。
背景技术
管道缺陷检测与修复工作是城市建设的重要环节，成为当前计算机视觉的热点研究问题。但是获取到高质量的管道视频数据是十分困难的。目前管道探测主要依靠管道机器人搭载高清摄像头来获取管道内部数据，但是市面上主流管道机器人都是以绳索的牵引力作为动力前进，那么绳索就不可避免的会出现在管道视频数据中。绳索会严重干扰管道边缘信息缺陷的识别。针对上述管道视频数据中存在的问题，本发明重点研究基于计算机视觉的视频数据修复算法，使用SIFT(尺度不变特征转换)角点检测进行目标识别，使用霍夫变换来检测缆绳，并且对识别出的区域进行图像修复。该方法可以有效消除管道视频数据中缆绳铁索的干扰。
目前管道缺陷识别领域存在一些问题，如管道视频数据中存在机器人自身动力装置的干扰，导致在实际复杂管道环境中，管道缺陷特征易受其变化影响，无法对高效率应对接下来的管道探测工作，提高了其检测成本。
本发明提出了一种基于计算机视觉的管道视频数据修复方法适用于管道缺陷检修领域。
发明内容
本发明针对现有技术中的上述问题，结合目前在计算机视觉领域的SIFT角点检测算法、霍夫变换直线检测算法、Telea的FMM(基于快速行进修复算法)图像修复算法，本发明提出一种基于计算机视觉的管道视频数据修复方法，该方法能有效去除管道视频视频数据中的绳索动力源干扰，提高了数据的质量，可以使得管道腐蚀检测效率得到显著提升，适用于城市排水管道检修领域。
为了达到上述目的，本发明采用的技术方案如下：
步骤(1)、控制管道机器人在管道内部获取管道图像、视频，进行灰度拉伸及平滑滤波处理；
步骤(2)、选取较为清晰的一帧数据，提取数据中的铁索作为模板；
步骤(3)、使用SIFT算法对视频数据中，管道中心的铁索进行目标检测，确定其位置；
步骤(4)、使用霍夫变换检测铁索左右两侧的缆绳，确定其位置；
步骤(5)、使用灰度值为0的像素将定位的铁索及缆绳覆盖；
步骤(6)、使用Telea的FMM图像修复算法对视频数据进行修复；
步骤(7)、得到修复后的视频数据；
本发明的有益效果是，该方法可有效去除管道视频数据中的铁索及缆绳干扰，可以提高后续对管道缺陷的识别效率，对管道缺陷检测有一定的参考价值。
附图说明
下面结合附图和实施例对本发明进一步说明：
图1为本发明的总体流程图；
图2为本发明灰度拉伸、平滑滤波的效果图；
图3为本发明在视频数据中提取的铁索图；
图4为本发明使用SIFT算法进行目标检测；
图5为本发明使用霍夫变换检测缆绳效果图；
图6为本发明覆盖铁索以及缆绳效果图；
图7为本发明使用的FMM算法基本原理图
图8为本发明修复后的数据效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，以下实施例不构成对本发明的限定。
如图1所示，本发明方法的实施流程具体包括以下步骤；
S1010：携带高清摄像头管道机器人进入管道采集图像、视频信息，对采集到的管道图像、视频进行灰度拉伸。增强管道的对比度，使其明暗更加鲜明，特征更加明显，将输入图像中的每一个像素(x,y)的灰度值f(x,y)作为函数的自变量，H表示在空间域中对f(x,y)进行一个变换操作提升或降低其灰度值，由此得到的因变量作为输出图像中的灰度值g(x,y)，公式(1)具体如下：
g(x,y)＝H[f(x,y)] (1)
采用空域法的邻域平均法对灰度图像进行空间平滑滤波增强，消除真实的管道环境中因点光源造成的光线不均匀、局部高亮、金属反光等导致的轮廓带有的锯齿。邻域平均法中每个像素的权重是相等的，即假设各像素的重要性一致，公式(2)具体如下：
Figure GDA0003411402670000031
式中s为(x,y)邻域中像素坐标的集合，(i,j)为邻域像素坐标的坐标，M为集合s内像素的数量，预处理效果图如图2所示。
S1110：提取视频数据中心的铁索当作目标识别的模板。经过图像的预处理后，在视频数据图像中心截取铁索图片。如图3所示。
S1120：使用SIFT角点检测算法，对所有数据进行目标检测，进而找到中心铁索处实现定位。
SIFT即尺度不变特征变换，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。其具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。
SIFT算法在构建尺度空间时候采取高斯核函数进行滤波，使原始图像保存最多的细节特征，经过高斯滤波后细节特征逐渐减少来模拟大尺度情况下的特征表示。L(x,y,σ)，定义为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)卷积运算。
Figure GDA0003411402670000032
L(x,y,σ)＝G(x,y,σ)*I(x,y) (4)
如公式(3)(4)所示，(x,y)表示图像的像素位置，m,n代表高斯模板的维度；σ是尺度空间因子，值越小表示图像被平滑的越少，相应的尺度也就越小；大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征；*表示卷积运算。
通过尺度不变性求极值点，需要利用图像的局部特征为给每一个关键点分配一个基准方向，使描述子对图像旋转具有不变性。对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像邻域窗口内像素的梯度和方向分布特征。梯度的模值m(x,y)和方向θ(x,y)如公式(5)(6)所示，其中L(x,y)函数与公式(4)的函数意义相同，定义为原始图像中的(x,y)点与一个可变尺度的二维高斯函数卷积运算，但在这里σ为固定值，不会随意更改，故将σ省略：
Figure GDA0003411402670000041
θ(x,y)＝tan-1((L(x,y+1)-L(x,y-1)/(L(x+1,y)-L(x-1,y))) (6)
本算法采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点确定关键点方向。在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向；直方图的峰值方向代表了关键点的主方向，方向直方图的峰值则代表了特征点处邻域梯度的方向，以直方图中最大值作为关键点的主方向；为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80％的方向作为关键点的辅方向。
使用SIFT角点检测对数据进行目标检测，效果图如图4所示。
S1130：在获得数据中心位置后，使用霍夫变换检测缆绳所在的位置。其主要原理是对于边缘的每一个像素点(x0,y0)，把可能经过它的所有直线f(x)＝kx+b其中(k表示直线斜率，b表示y轴截距)，映射到霍夫空间后选取合适位置。对于与x轴垂直的直线，斜率不存在无法表示，所以用参数方程表示，r＝x*cos(θ)+y*sin(θ)，其中(x,y)表示某一个边缘的像素点，r表示经过该点直线到原点的距离，θ表示r与x正轴的夹角。对于每个边缘点映射之后，在霍夫空间进行投票，每次有直线方程满足(r,θ)点，此处的像素值就加1。
在使用霍夫变换来检测缆绳之后，效果如图5所示。
S1140：在步骤S1120和步骤S1130进行之后，已经得到了中心铁索的位置，以及两侧缆绳的位置，随后使用灰度值为0的像素将其覆盖，准备等待修复。效果如图6所示。
S1150：使用Telea的FMM图像修复算法对数据进行修复。
快速行进修复算法是一种运行速度快，时效性强的图像修复方法。其基本思想是从破损区域的边缘像素开始逐渐向破损区内部像素推进并最终完成全部修复的过程；首先定义几个参数，定义Ω是图像的破损区域，定义
Figure GDA0003411402670000042
为破损区域与完好区域接触的边界位置，快速行进的本质是求解Ω区域内所有的像素点到
Figure GDA0003411402670000043
边界的距离T，并根据T的大小确定行进顺序，然后不断修复直到Ω内所有像素都被处理。FMM算法基本原理图如图7所示。
对于一个
Figure GDA0003411402670000044
上的破损点p，创建一个边界两侧宽度为ε的的区域Bε(p)，在该区域内，根据所有已知的像素点q的灰度值计算出像素点p的灰度值的公式如下：
Figure GDA0003411402670000045
公式(7)中的R(q)与
Figure GDA0003411402670000051
分别表示已知像素点q的灰度值与梯度值，显然需要代入Bε(p)区域中所有完好点的参数计算出点p的灰度值；这些区域内完好的像素点在整个运算过程中所占的权值是不一样的，因此实际采用公式(8)的赋权计算公式来进行求解：
Figure GDA0003411402670000052
其中的w(p,q)表示像素的权值函数，用来确定领域Bε(p)中各个像素的贡献大小，其结果参考了破损点p的等照度参数，同时也与两点之间的几何距离参数相关；这种处理方式在更新计算破损点p参数的过程中一定程度上保留了区域图像结构数据的顺延，函数的定义如公式(9)：
w(p,q)＝dir(p,q)*dst(p,q)*lev(p,q) (9)
其中dir(p,q)表示纹理方向约束，dst(p,q)表示几何距离约束，lev(p,q)表示水平集约束。其意义如下：dir(p,q)体现了点p与点q在纹理方向上的相关度，它们在纹理上越近似则权值越大。dst(p,q)体现了点p与点q之间几何距离的相关度，显然这个数值越小则权值越大。lev(p,q)体现了信息到达的影响，越靠近已知信息则权值越大。
三个约束条件如公式(10)所示：
Figure GDA0003411402670000053
其中d0与T0作为距离约束参数和水平集约束参数一般都设为1，dir(p,q)确保了越靠近法线方向，
Figure GDA0003411402670000054
的已知像素点的贡献更大，N(p)表示p点的纹理方向，dst(p,q)确保了离破损点p更近的已知点在其灰度更新计算中所占权值更大，lev(p,q)确保了在同一个边界
Figure GDA0003411402670000055
的外部离边界更近的已知点有更大贡献。
FMM算法的等照度线方向的更新是依据T域的计算获取的，为了保证从初始边界
Figure GDA0003411402670000056
开始修复，并去除大量距离边界较远的无关内部像素的干扰，需要在初始边界
Figure GDA0003411402670000057
两侧计算出一个距离域T，根据上述计算像素点p的灰度值是利用其领域Bε(p)内的已知像素，则在T≤ε的限定范围内在边界区域
Figure GDA0003411402670000058
的外部计算得到边界外部的点的集合-Tout，同样的在边界区域
Figure GDA0003411402670000061
的内部计算得到边界内部点的集合Tin进行整个T域限定，这就保证了FMM的修复计算是在边界
Figure GDA0003411402670000062
两侧宽度为ε的窄边上进行，则整个图像的T域定义为：
Figure GDA0003411402670000063
对于选取的领域Bε(p)的大小ε的值，通常选取3-10个像素点效果较好，这样能在修复速度和修复效果之间取得平衡。
使用了FMM算法对图像修复之后，如图8所示为修复后的数据的效果图。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种基于计算机视觉的管道视频数据修复方法，其特征在于，包括以下步骤：
步骤(1)：携带高清摄像头管道机器人进入管道采集图像、视频信息，对采集到的管道图像、视频进行灰度拉伸；增强管道的对比度，使其明暗更加鲜明，特征更加明显，将输入图像中的每一个像素(x,y)的灰度值f(x,y)作为函数的自变量，H表示在空间域中对f(x,y)进行一个变换操作提升或降低其灰度值，由此得到的因变量作为输出图像中的灰度值g(x,y)，公式(1)具体如下：
g(x,y)＝H[f(x,y)] (1)
采用空域法的邻域平均法对灰度图像进行空间平滑滤波增强，消除真实的管道环境中因点光源造成的光线不均匀、局部高亮、金属反光等导致的轮廓带有的锯齿；邻域平均法中每个像素的权重是相等的，即假设各像素的重要性一致，公式(2)具体如下：
Figure FDA0003411402660000011
式中s为(x,y)邻域中像素坐标的集合，(i,j)为邻域像素坐标的坐标，M为集合s内像素的数量；
步骤(2)：提取数据中心的铁索当作目标识别的模板，经过图像的预处理后，在视频数据图像中心截取铁索图片；
步骤(3)：使用SIFT(尺度不变特征变换)角点检测算法，对所有数据进行目标检测，进而找到中心铁索处实现定位；
即尺度不变特征变换，是用于图像处理领域的一种描述；这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子；其具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰；
算法在构建尺度空间时候采取高斯核函数进行滤波，使原始图像保存最多的细节特征，经过高斯滤波后细节特征逐渐减少来模拟大尺度情况下的特征表示；L(x,y,σ)，定义为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)卷积运算；
Figure FDA0003411402660000012
L(x,y,σ)＝G(x,y,σ)*I(x,y) (4)
如公式(3)、(4)所示，*表示卷积运算，(x,y)表示图像的像素位置，m,n代表高斯模板的维度；σ是尺度空间因子，值越小表示图像被平滑的越少，相应的尺度也就越小；大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征；
通过尺度不变性求极值点，需要利用图像的局部特征为给每一个关键点分配一个基准方向，使描述子对图像旋转具有不变性；对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像邻域窗口内像素的梯度和方向分布特征；梯度的模值m(x,y)和方向θ(x,y)如公式(5)(6)所示，其中L(x,y)函数与公式(4)的函数意义相同，定义为原始图像中的(x,y)点与一个可变尺度的二维高斯函数卷积运算，但在这里σ为固定值，不会随意更改，故将σ省略：
Figure FDA0003411402660000021
θ(x,y)＝tan-1((L(x,y+1)-L(x,y-1)/(L(x+1,y)-L(x-1,y))) (6)
本算法采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点确定关键点方向；在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向；直方图的峰值方向代表了关键点的主方向，方向直方图的峰值则代表了特征点处邻域梯度的方向，以直方图中最大值作为关键点的主方向；为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80％的方向作为关键点的辅方向；使用角点检测对数据进行目标检测；
步骤(4)：在获得数据中心位置后，使用霍夫变换检测缆绳所在的位置；其主要原理是对于边缘的每一个像素点(x0,y0)，把可能经过它的所有直线f(x)＝kx+b其中(k表示直线斜率，b表示y轴截距)，映射到霍夫空间后选取合适位置；对于与x轴垂直的直线，斜率不存在无法表示，所以用参数方程表示，r＝x*cos(θ)+y*sin(θ)，其中(x,y)表示某一个边缘的像素点，r表示经过该点直线到原点的距离，θ表示r与x正轴的夹角，对于每个边缘点映射之后，在霍夫空间进行投票，每次有直线方程满足(r,θ)点，此处的像素值就加1；
步骤(5)：在步骤(3)、步骤(4)进行之后，已经得到了中心铁索的位置，以及两侧缆绳的位置，随后使用灰度值为0的像素将其覆盖，准备等待修复；
步骤(6)：使用Telea的FMM(基于快速行进修复算法)图像修复算法对数据进行修复。
快速行进修复算法是一种运行速度快，时效性强的图像修复方法；其基本思想是从破损区域的边缘像素开始逐渐向破损区内部像素推进并最终完成全部修复的过程；首先定义几个参数，定义Ω是图像的破损区域，定义
Figure FDA0003411402660000022
为破损区域与完好区域接触的边界位置，快速行进的本质是求解Ω区域内所有的像素点到
Figure FDA0003411402660000023
边界的距离T，并根据T的大小确定行进顺序，然后不断修复直到Ω内所有像素都被处理，对于一个
Figure FDA0003411402660000031
上的破损点p，创建一个边界两侧宽度为ε的的区域Bε(p)，在该区域内，根据所有已知的像素点q的灰度值计算出像素点p的灰度值的公式如下：
Figure FDA0003411402660000032
公式(7)中的R(q)与
Figure FDA0003411402660000033
分别表示已知像素点q的灰度值与梯度值，显然需要代入Bε(p)区域中所有完好点的参数计算出点p的灰度值；这些区域内完好的像素点在整个运算过程中所占的权值是不一样的，因此实际采用公式(8)的赋权计算公式来进行求解：
Figure FDA0003411402660000034
其中的w(p,q)表示像素的权值函数，用来确定领域Bε(p)中各个像素的贡献大小；其结果参考了破损点p的等照度参数，同时也与两点之间的几何距离参数相关；这种处理方式在更新计算破损点p参数的过程中一定程度上保留了区域图像结构数据的顺延，函数的定义如公式(9)：
w(p,q)＝dir(p,q)*dst(p,q)*lev(p,q) (9)
其中dir(p,q)表示纹理方向约束，dst(p,q)表示几何距离约束，lev(p,q)表示水平集约束；其意义如下：dir(p,q)体现了点p与点q在纹理方向上的相关度，它们在纹理上越近似则权值越大；dst(p,q)体现了点p与点q之间几何距离的相关度，显然这个数值越小则权值越大；lev(p,q)体现了信息到达的影响，越靠近已知信息则权值越大；
三个约束条件如公式(10)所示：
Figure FDA0003411402660000035
其中d0与T0作为距离约束参数和水平集约束参数一般都设为1，dir(p,q)确保了越靠近法线方向，
Figure FDA0003411402660000036
的已知像素点的贡献更大，N(p)表示p点的纹理方向，dst(p,q)确保了离破损点p更近的已知点在其灰度更新计算中所占权值更大，lev(p,q)确保了在同一个边界
Figure FDA0003411402660000037
的外部离边界更近的已知点有更大贡献；
FMM算法的等照度线方向的更新是依据T域的计算获取的，为了保证从初始边界
Figure FDA0003411402660000041
开始修复，并去除大量距离边界较远的无关内部像素的干扰，需要在初始边界
Figure FDA0003411402660000042
两侧计算出一个距离域T，根据上述计算像素点p的灰度值是利用其领域Bε(p)内的已知像素，则在T≤ε的限定范围内在边界区域
Figure FDA0003411402660000043
的外部计算得到边界外部的点的集合-Tout，同样的在边界区域
Figure FDA0003411402660000044
的内部计算得到边界内部点的集合Tin进行整个T域限定，这就保证了FMM的修复计算是在边界
Figure FDA0003411402660000045
两侧宽度为ε的窄边上进行，则整个图像的T域定义为：
Figure FDA0003411402660000046
对于选取的领域Bε(p)的大小ε的值，通常选取3-10个像素点效果较好，这样能在修复速度和修复效果之间取得平衡。
CN202110268931.XA 2021-03-12 2021-03-12 一种基于计算机视觉的排水管道视频数据修复方法 Active CN112950508B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110268931.XA CN112950508B (zh) 2021-03-12 2021-03-12 一种基于计算机视觉的排水管道视频数据修复方法
US17/644,152 US11620735B2 (en) 2021-03-12 2021-12-14 Method for restoring video data of pipe based on computer vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110268931.XA CN112950508B (zh) 2021-03-12 2021-03-12 一种基于计算机视觉的排水管道视频数据修复方法

Publications (2)

Publication Number Publication Date
CN112950508A CN112950508A (zh) 2021-06-11
CN112950508B true CN112950508B (zh) 2022-02-11

Family

ID=76229286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110268931.XA Active CN112950508B (zh) 2021-03-12 2021-03-12 一种基于计算机视觉的排水管道视频数据修复方法

Country Status (2)

Country Link
US (1) US11620735B2 (zh)
CN (1) CN112950508B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111613176B (zh) * 2020-05-18 2021-07-13 维沃移动通信有限公司 环境光检测方法及电子设备
CN115830011B (zh) * 2023-02-08 2023-05-09 山东瑞峰新材料科技有限公司 一种无声胶带生产过程的视觉检测方法
CN116109915B (zh) * 2023-04-17 2023-07-18 济宁能源发展集团有限公司 一种集装箱箱门状态智能识别方法
CN116188462B (zh) * 2023-04-24 2023-08-11 深圳市翠绿贵金属材料科技有限公司 一种基于视觉鉴定的贵金属质量检测方法及系统
CN116485856B (zh) * 2023-04-28 2024-07-09 深圳先进技术研究院 一种基于语义分割的无人机图像地理配准方法及相关设备
CN116608922B (zh) * 2023-05-17 2024-04-05 小儒技术（深圳）有限公司 一种基于雷达的水位流速的测量方法及系统
CN116310290B (zh) * 2023-05-23 2023-07-21 山东中泳电子股份有限公司 一种用于游泳触摸板反馈时间修正的方法
CN116777845B (zh) * 2023-05-26 2024-02-13 浙江嘉宇工程管理有限公司 基于人工智能的建筑工地安全风险智能评估方法及系统
CN116433667B (zh) * 2023-06-14 2023-08-11 山东德源电力科技股份有限公司 一种配电物联低压智能开关检测方法
CN116486116B (zh) * 2023-06-16 2023-08-29 济宁大爱服装有限公司 一种基于机器视觉的服装加工用吊挂机异常检测方法
CN116485884B (zh) * 2023-06-28 2023-09-12 四川君安天源精酿啤酒有限公司 基于计算机视觉的精酿啤酒瓶口实时定位方法及系统
CN116563279B (zh) * 2023-07-07 2023-09-19 山东德源电力科技股份有限公司 基于计算机视觉的量测开关检测方法
CN116596806B (zh) * 2023-07-14 2023-09-19 山东绿洲智能科技有限公司 一种用于视觉码垛机器人的组合码垛调控方法
CN116612306B (zh) * 2023-07-17 2023-09-26 山东顺发重工有限公司 基于计算机视觉的法兰盘智能对位方法及系统
CN116612112B (zh) * 2023-07-17 2023-09-22 鑫脉(山东)工贸有限公司 一种水桶表面缺陷视觉检测方法
CN116612123B (zh) * 2023-07-21 2023-10-13 山东金胜粮油食品有限公司 一种花生油加工质量视觉检测方法
CN116630314B (zh) * 2023-07-24 2024-01-30 日照元鼎包装有限公司 基于图像处理的保鲜纸箱覆膜检测方法
CN116664569B (zh) * 2023-07-31 2023-10-10 山东正华建筑科技有限公司 一种焊瘤缺陷检测方法
CN116665137B (zh) * 2023-08-01 2023-10-10 聊城市彩烁农业科技有限公司 一种基于机器视觉的畜牧养殖废水处理方法
CN116721094B (zh) * 2023-08-03 2023-12-19 济南邦德激光股份有限公司 一种复杂背景下的视觉图形识别方法、系统及激光切割机
CN116704516B (zh) * 2023-08-07 2023-10-24 山东禾之源现代农业发展有限公司 一种用于水溶肥料包装的视觉检测方法
CN117152064B (zh) * 2023-08-11 2024-04-30 成都格理特电子技术有限公司 一种基于图像的石化工厂管道液体滴漏检测方法及系统
CN116822106B (zh) * 2023-08-29 2023-12-05 北京城建集团有限责任公司 基于Dynamo辅助出图方法、装置和设备
CN116862910B (zh) * 2023-09-04 2023-11-21 山东经典印务有限责任公司 基于自动化裁切生产的视觉检测方法
CN116912250B (zh) * 2023-09-13 2023-11-28 山东众成菌业股份有限公司 基于机器视觉的菌包生产质量检测方法
CN117372422B (zh) * 2023-12-04 2024-02-13 青岛宜霖赛瑞智能科技有限公司 用于零件生产的材料折弯程度检测方法
CN117372425B (zh) * 2023-12-05 2024-03-19 山东省工业技术研究院 一种头颅侧位片的关键点检测方法
CN117437129B (zh) * 2023-12-18 2024-03-08 山东心传矿山机电设备有限公司 一种矿用智能水泵叶轮故障图像细节增强方法
CN117455908B (zh) * 2023-12-22 2024-04-09 山东济矿鲁能煤电股份有限公司阳城煤矿 一种皮带机跑偏视觉检测方法及系统
CN117576105B (zh) * 2024-01-17 2024-03-29 高科建材（咸阳）管道科技有限公司 基于人工智能的管道生产控制方法及系统
CN117689662B (zh) * 2024-02-04 2024-04-26 张家港长寿工业设备制造有限公司 一种换热器管头焊接质量视觉检测方法及系统
CN117974663B (zh) * 2024-04-01 2024-06-07 瑞纳智绝缘材料（苏州）有限公司 基于图像特征的玻璃纤维套管质量检测方法
CN118505825B (zh) * 2024-07-17 2024-09-10 陕西驼城绒业科技有限公司 基于图像识别的羊绒制品测色方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286759A (ja) * 2004-05-17 2004-10-14 Toshiba It & Control Systems Corp コンピュータ断層撮影装置
WO2005025207A1 (en) * 2003-09-09 2005-03-17 Hewlett-Packard Development Company L.P. Image processing utilizing locally adaptive color correction and cumulative histograms
CN102478150A (zh) * 2010-11-24 2012-05-30 中国环境科学研究院 填埋场渗滤液导排管道智能检测方法和装置
CN102927448A (zh) * 2012-09-25 2013-02-13 北京声迅电子股份有限公司 管道无损检测方法
CN105787486A (zh) * 2015-12-11 2016-07-20 昆明理工大学 一种基于图像处理的钢梁裂纹检测方法
CN205712454U (zh) * 2016-06-26 2016-11-23 保定金迪科学仪器有限公司 一种牵引式排水管道电视检测装置
CN109595425A (zh) * 2019-01-31 2019-04-09 湖南大麓科技有限公司 一种管道修复装置及方法
WO2020102817A2 (en) * 2018-11-16 2020-05-22 SeeScan, Inc. Pipe inspection and/or mapping camera heads, systems, and methods
CN112070689A (zh) * 2020-08-24 2020-12-11 中国人民解放军陆军装甲兵学院 一种基于深度图像的数据增强方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3641816A1 (de) * 1986-12-06 1988-06-16 Robert Prof Dr Ing Massen Verfahren und anordnung zur messung und/oder ueberwachung von eigenschaften von garnen und seilen
CN102192911B (zh) * 2010-03-17 2014-04-23 中国科学院自动化研究所 一种基于机器视觉的金属瓶盖质量检测系统
US10909659B2 (en) * 2018-12-12 2021-02-02 Apical Limited Super-resolution image processing using a machine learning system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005025207A1 (en) * 2003-09-09 2005-03-17 Hewlett-Packard Development Company L.P. Image processing utilizing locally adaptive color correction and cumulative histograms
JP2004286759A (ja) * 2004-05-17 2004-10-14 Toshiba It & Control Systems Corp コンピュータ断層撮影装置
CN102478150A (zh) * 2010-11-24 2012-05-30 中国环境科学研究院 填埋场渗滤液导排管道智能检测方法和装置
CN102927448A (zh) * 2012-09-25 2013-02-13 北京声迅电子股份有限公司 管道无损检测方法
CN105787486A (zh) * 2015-12-11 2016-07-20 昆明理工大学 一种基于图像处理的钢梁裂纹检测方法
CN205712454U (zh) * 2016-06-26 2016-11-23 保定金迪科学仪器有限公司 一种牵引式排水管道电视检测装置
WO2020102817A2 (en) * 2018-11-16 2020-05-22 SeeScan, Inc. Pipe inspection and/or mapping camera heads, systems, and methods
CN109595425A (zh) * 2019-01-31 2019-04-09 湖南大麓科技有限公司 一种管道修复装置及方法
CN112070689A (zh) * 2020-08-24 2020-12-11 中国人民解放军陆军装甲兵学院 一种基于深度图像的数据增强方法

Also Published As

Publication number Publication date
US20220292645A1 (en) 2022-09-15
CN112950508A (zh) 2021-06-11
US11620735B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
CN112950508B (zh) 一种基于计算机视觉的排水管道视频数据修复方法
US11688057B2 (en) Method and system for quickly matching image features applied to mine machine vision
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN106981077B (zh) 基于dce和lss的红外图像和可见光图像配准方法
CN109523529B (zh) 一种基于surf算法的输电线路缺陷识别方法
Li et al. Road lane detection with gabor filters
CN107341470B (zh) 一种基于航拍图像的输电线检测方法
CN102682428A (zh) 一种基于方向场的指纹图像计算机自动化修补方法
CN109523479A (zh) 一种桥墩表面缝隙视觉检测方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN118096672A (zh) 一种基于边缘重建网络的道路表面裂缝检测方法
CN103353941A (zh) 基于视角分类的自然标志物注册方法
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
CN116152115A (zh) 基于计算机视觉的垃圾图像去噪处理方法
Berwo et al. Automotive engine cylinder head crack detection: Canny edge detection with morphological dilation
CN113191281B (zh) 基于感兴趣区域及自适应半径的orb特征提取方法
CN115018785A (zh) 基于视觉振频识别的提升钢丝绳张力检测方法
CN113053164A (zh) 一种利用环视图像的车位识别方法
CN113128433A (zh) 颜色迁移匹配特征的视频监控影像增强方法
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
CN106056599B (zh) 一种基于物体深度数据的物体识别算法及装置
CN109934190B (zh) 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法
CN113487496B (zh) 一种基于像素类型推断的图像去噪方法、系统及装置
CN114897827B (zh) 基于机器视觉的烟叶包装箱状态检测方法
CN118378648B (zh) 一种鱼罐头生产信息追溯方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant