CN113421210B - 一种基于双目立体视觉的表面点云重建方法 - Google Patents
一种基于双目立体视觉的表面点云重建方法 Download PDFInfo
- Publication number
- CN113421210B CN113421210B CN202110821716.8A CN202110821716A CN113421210B CN 113421210 B CN113421210 B CN 113421210B CN 202110821716 A CN202110821716 A CN 202110821716A CN 113421210 B CN113421210 B CN 113421210B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- pixels
- value
- disparity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims abstract description 6
- 238000003709 image segmentation Methods 0.000 claims abstract description 4
- 239000000203 mixture Substances 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 230000002146 bilateral effect Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000003707 image sharpening Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 230000008033 biological extinction Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于数字图像处理领域，具体的说是一种基于双目立体视觉的表面点云重建方法。包括：步骤一、对双目相机拍摄图像进行立体校正，使左右图像同点名位于同一极；步骤二、对矫正后的图像进行预处理；步骤三、通过最小割‑最大流图像分割算法对感兴趣区域进行复杂背景去除；步骤四、通过卷积神经网络立体匹配算法，恢复深度信息，得到视差图；步骤五、根据步骤四所得视差图对表面点云进行重建。本发明通过立体校正、图像预处理、感兴趣区域背景去除、立体匹配、点云重建等流程解决重建精度低、速度慢与可迁移差等问题。
Description
技术领域
本发明属于数字图像处理领域，具体的说是一种基于双目立体视觉的表面点云重建方法。
背景技术
近年来，随着制造业自动化水平逐渐提高和企业科技化转型的不断升级，机器视觉技术被越来越多地应用在工业生产中，而双目立体视觉技术作为一种无源被动的、非接触式的测量手段，以其宽泛的使用条件，较快的测量速度和合理的价格受到市场的青睐，方兴未艾。
而基于双目立体视觉的表面点云重建技术可应用到零部件识别定位、无人机自主导航、卫星遥感测绘、3D模型重建等领域，是现阶段人工智能方向的研究热点与难点，具有相当广阔的应用前景。
经总结现有研究成果发现，虽现存基于双目立体视觉的表面点云重建方法日趋完善，但在解决如下关键问题时强差人意：
1)现有预处理方法在图像滤波、增强时无法兼顾去噪效果和图像特征细节保留，容易导致图像模糊和边缘缺失，导致点云残缺；
2)已有表面点云重建方法针对全局图像进行点云恢复，缺乏指向性，容易造成资源浪费，降低计算效率，导致误匹配；
3)现存的基于神经网络的立体匹配方法大多通过单一尺度计算匹配代价且没有视差细化步骤，或使用传统老旧的视差优化方法。容易导致视差图不连续。
发明内容
本发明提供了一种基于双目立体视觉的表面点云重建方法，该方法通过立体校正、图像预处理、感兴趣区域背景去除、立体匹配、点云重建等流程解决重建精度低、速度慢与可迁移差等问题。
本发明技术方案结合附图说明如下：
一种基于双目立体视觉的表面点云重建方法，包括以下步骤：
步骤一、对双目相机拍摄图像进行立体校正，使左右图像同点名位于同一极；
步骤二、对矫正后的图像进行预处理，预处理包括以双边滤波为权重的加权中值滤波、自适应直方图均衡化、拉普拉斯图像锐化；
步骤三、通过最小割-最大流图像分割算法对感兴趣区域进行复杂背景去除；
步骤四、通过卷积神经网络立体匹配算法，恢复深度信息，得到视差图；
步骤五、根据步骤四所得视差图对表面点云进行重建。
所述步骤二的具体方法如下：
21)以双边滤波为权重的加权中值滤波；
对校正后的图像进行以双边滤波为权重的加权中值滤波；双边滤波器权重表示为：
其中，为调整空间；/>为色彩相似度；ki为正则化因子；|i-j|2和|ii-jj|2为中心像素与相邻像素之间的空间相似性；i为中心像素的横坐标；j为中心像素的纵坐标；ii为相邻像素的横坐标；jj为相邻像素的纵坐标；
当选取窗口Ri大小为(2r+1)×(2r+1)时，其中，r为窗口半径，此时窗口内包含的像素个数为n，计算窗口Ri中一对随机序列{I(i),wi,j}的像素值和权重，然后依次对权重进行排序，直到累计权重大于加权值的一半，此时相应的i*是局部窗口中心点的新像素值，如下式所示：
其中，i*为滤波后的视差值；l为窗口中心点的像素值；wij为滤波权重；n为窗口内像素的总数；I为当前累计的像素个数；
22)限定对比度的自适应直方图均衡化；
对滤波后的图像进行限定对比度的自适应直方图均衡化；将滤波去噪后的图像即M像素×N像素分成若干个大小相同的子区域，分别对每个子区域的直方图进行计算，将可能出现的直方图灰度级个数记为K，每个子区域的灰度级为r，则区域(m,n)对应的直方图函数为：
Hm,n(r)，0≤r≤K-1；
其中，r为每个子区域的灰度级；K为直方图灰度级个数；
对剪切限幅值β进行确认：
其中，M为图像水平方向上的像素个数；N为图像竖直方向上的像素个数；K为直方图灰度级个数；α为截断系数，表示每个灰度级中像素的最大百分比；
对所有分割的子区域进行直方图均衡化，用双线性插值方法对每个像素进行处理，计算处理后的灰度值；
23)拉普拉斯图像锐化；
对直方图均衡化后的图像进行拉普拉斯增强，将图像中选中的像素点及其邻域内的8个点与掩码相乘求和，用得到的新像素值替代原来九宫格内中心点的像素值，则对于点(i,j)，经拉普拉斯算子处理后的图像：
其中，k(m,n)为3×3的拉普拉斯算子掩码；p(i,j)为原始图像灰度值，L(i,j)为经拉普拉斯算子处理后的图像；m为九宫格中心像素横坐标；n为九宫格中心像素纵坐标；i为选中点的横坐标；j为选中点的纵坐标。
所述步骤三的具体方法如下：
31)通过用户交互对感兴趣区域进行框选，将框内的像素定义为Tu，其他像素定义为背景像素TB；
32)对TB中的背景像素n进行初始化，记n的标签为αn＝0；对Tu目标像素内的像素n进行初始化，记n的标签为αN＝1；
33)经过步骤31)和32)初步地对目标像素和背景像素进行分类，然后对目标像素和背景像素建立高斯混合模型，并通过K-means算法将目标像素聚类为K类，保证高斯混合模型中的每个高斯模型都具有一定的像素样本，并通过像素的RGB值估算参数均值和协方差，进一步通过该高斯分量的像素与总像素个数的比值确定其权值；至此初始化过程结束；
34)对每个像素分配高斯混合模型中的高斯分量，将目标像素n的RGB值代入高斯混合模型中的每一个高斯分量中，求出概率最大的分量记为kn：
其中，Dn为像素n对应的能量数据；αn为像素n对应的不透明度标号值；θ为图像的目标或背景区域的灰度直方图；Zn为像素n对应的灰度值；
35)根据给定的图像数据z，进一步对高斯混合模型进行学习优化：
其中，U为每个像素对应的能量数据项总和；α为不透明度标号值；k为高斯混合模型参数；z为灰度值数组；θ为图像的目标或背景区域的灰度直方图；
36)通过步骤34)分析的吉布斯能量项Dn求出吉布斯能量权值1/kn，然后通过最小割-最大流算法来对分割进行估计：
其中，E(α,k,θ,z)为图分割算法的吉布斯能量；α为不透明度标号值；k为高斯混合模型参数；z为灰度值数组；θ为图像的目标或背景区域的灰度直方图；
37)重复步骤34)-36)，不断优化高斯混合模型，保证迭代过程会收敛于最小值，从而得到分割结果；
38)采用边界消光机制对分割结果进行平滑后处理。
所述步骤四的具体方法如下：
41)将左右图像通过共享特征提取模块的第一层和最后一层对左右相机图像进行特征检测，以获得多尺度匹配代价值；前两层的特征被上采样到原始分辨率，并通过1×1卷积层融合，步长为1，用于计算重建误差；使用步幅为1的1×1卷积层压缩第一层的特征，该卷积层将用于计算视差优化网络即DRS-net中相关性；由共享特征提取模块生成的特征可同时应用在视差估计网络即DES-net和视差优化网络即DRS-net中；
42)视差估计网络即DES-net的输入包括两部分；第一部分是来自共享特征提取模块最后一层的左右特征的点积，它的输出是左右图像的匹配代价值，它存储图像坐标(x，y)上所有可能差异的成本；第二部分被定义为左图像的特征图，其为视差估计提供必要的语义信息；视差估计网络即DES-net用于直接回归初始视差；
43)视差优化网络即DRS-net使用共享特征和初始视差来计算重构误差re，重建误差可以反映估计视差的正确性，重构误差计算为：
其中，IL为左图像；IR为右图像；是位置(i,j)处的估计视差；i为所选位置像素的横坐标；j为所选位置像素的纵坐标；重构误差、初始视差和左特征的连接被馈送到第三编码器解码器结构，以计算相对于初始视差的残差；初始视差和残差之和用于生成细化视差。
本发明的有益效果为：
1)本发明对光照变化具有较强鲁棒性，获得的点云模型完整：公开一种“三步法”图像预处理方法，采用以双边滤波为权重的加权中值滤波、限定对比度的自适应直方图均衡化、Laplacian图像锐化，在保证去噪效果的同时，保留边缘和特征信息
2)本发明重建速度快，精度高，仅将重建对象视为感兴趣区域对其进行复杂背景去除，节约计算资源，降由背景区域相似像素导致的误匹配概率；
3)本发明匹配效果准确，视差图平滑。通过改进的卷积神经网络(CNNs)，由共享特征提取网络、视差估计网络(DES-net)视差优化网络(DRS-net)、视差优化网络(DRS-net)视差优化网络(DRS-net)组成，解决常规神经网络方法中仅计算单一尺度下的匹配代价和没有视差优化环节的缺陷。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的流程图；
图2为本发明中步骤二的流程图；
图3为本发明中卷积神经网络的结构图；
图4为多尺度特征提取流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，一种基于双目立体视觉的表面点云重建方法，包括以下步骤：
步骤一、对双目相机拍摄图像进行立体校正，使左右图像同点名位于同一极；
步骤二、对矫正后的图像进行预处理，预处理包括以双边滤波为权重的加权中值滤波、自适应直方图均衡化、拉普拉斯图像锐化；具体如下：
参阅图2，
21)以双边滤波为权重的加权中值滤波；
对校正后的图像进行以双边滤波为权重的加权中值滤波；双边滤波器权重表示为：
其中，为调整空间；/>为色彩相似度；ki为正则化因子；|i-j|2和|ii-jj|2为中心像素与相邻像素之间的空间相似性；i为中心像素的横坐标；j为中心像素的纵坐标；ii为相邻像素的横坐标；jj为相邻像素的纵坐标；
当选取窗口Ri大小为(2r+1)×(2r+1)时，其中，r为窗口半径，此时窗口内包含的像素个数为n，计算窗口Ri中一对随机序列{I(i),wi,j}的像素值和权重，然后依次对权重进行排序，直到累计权重大于加权值的一半，此时相应的i*是局部窗口中心点的新像素值，如下式所示：
其中，i*为滤波后的视差值；l为窗口中心点的像素值；wij为滤波权重；n为窗口内像素的总数；I为当前累计的像素个数；
22)自适应直方图均衡化；
对滤波后的图像进行限定对比度的自适应直方图均衡化；将滤波去燥后的图像即M像素×N像素分成几个大小相同的子区域，分别对每个子区域的直方图进行计算，将可能出现的直方图灰度级个数记为K，每个子区域的灰度级为r，则区域(m,n)对应的直方图函数为：
Hm,n(r)，0≤r≤K-1；
其中，r为每个子区域的灰度级；K为直方图灰度级个数；
对剪切限幅值β进行确认：
其中，M为图像水平方向上的像素个数；N为图像竖直方向上的像素个数；K为直方图灰度级个数；α为截断系数，表示每个灰度级中像素的最大百分比；
对所有分割的子区域进行直方图均衡化，用双线性插值方法对每个像素进行处理，计算处理后的灰度值；
设定剪裁限幅值β可对超出限定部分的像素进行剪裁，从而达到限定对比度的目的。
23)拉普拉斯图像锐化；
对直方图均衡化后的图像进行拉普拉斯增强，将图像中选中的像素点及其邻域内的8个点与掩码相乘求和，用得到的新像素值替代原来九宫格内中心点的像素值，则对于点(i,j)，经拉普拉斯算子处理后的图像：
其中，k(m,n)为3×3的拉普拉斯算子掩码；p(i,j)为原始图像灰度值，L(i,j)为经拉普拉斯算子处理后的图像；m为九宫格中心像素横坐标；n为九宫格中心像素纵坐标；i为选中点的横坐标；j为选中点的纵坐标；
步骤三、通过最小割-最大流图像分割算法对感兴趣区域进行复杂背景去除；
31)通过用户交互对感兴趣区域进行框选，将框内的像素定义为Tu，其他像素定义为背景像素TB；
感兴趣区域由用户自行界定。
32)对TB中的背景像素n进行初始化，记n的标签为αn＝0；对Tu目标像素内的像素n进行初始化，记n的标签为αN＝1；
33)经过步骤31)和32)初步地对目标像素和背景像素进行分类，然后对目标像素和背景像素建立高斯混合模型，并通过K-means算法将目标像素聚类为K类，保证高斯混合模型中的每个高斯模型都具有一定的像素样本，并通过像素的RGB值估算参数均值和协方差，进一步通过该高斯分量的像素与总像素个数的比值确定其权值；至此初始化过程结束；
34)对每个像素分配高斯混合模型中的高斯分量，将目标像素n的RGB值代入高斯混合模型中的每一个高斯分量中，求出概率最大的分量记为kn：
其中，Dn为像素n对应的能量数据；αn为像素n对应的不透明度标号值；θ为图像的目标或背景区域的灰度直方图；Zn为像素n对应的灰度值；
35)根据给定的图像数据z，进一步对高斯混合模型进行学习优化：
其中，U为每个像素对应的能量数据项总和；α为不透明度标号值；k为高斯混合模型参数；z为灰度值数组；θ为图像的目标或背景区域的灰度直方图；
36)通过步骤34)分析的吉布斯能量项Dn求出吉布斯能量权值1/kn，然后通过最小割-最大流算法来对分割进行估计：
其中，E(α,k,θ,z)为图分割算法的吉布斯能量；α为不透明度标号值；k为高斯混合模型参数；z为灰度值数组；θ为图像的目标或背景区域的灰度直方图；
37)重复步骤34)-36)，不断优化高斯混合模型，保证迭代过程会收敛于最小值，从而得到分割结果；
38)采用边界消光机制对分割结果进行平滑后处理。
步骤四、参阅图3，通过卷积神经网络立体匹配算法，恢复深度信息，得到视差图；其包含共享特征提取模块、视差估计网络(DES-net)、视差优化网络(DRS-net)。共享特征提取网络用一个浅编解码器结构的连体网络来从左右图像中提取共同的多尺度特征。这些特征的一部分用于计算视差估计网络(DES-net)和视差优化网络(DRS-net)的匹配代价值(即相关性)。第一层的特征被进一步压缩，以使用1×1卷积产生c_conv1a和c_conv1b。这些共享特征也用于计算视差优化网络(DRS-net)的重构误差；
41)将左右图像通过共享特征提取模块的第一层和最后一层对左右相机图像进行特征检测，以获得多尺度匹配代价值；参阅图4，前两层的特征被上采样到原始分辨率，并通过1×1卷积层融合，步长为1，通过最后一个反卷积层和第一个卷积层以获得具有相对大的感受野和不同抽象层次的特征，用于计算重建误差，其中。“Conv2a”代表共享特征提取模块的第二卷积层。使用步幅为1的1×1卷积层压缩第一层的特征，该卷积层将用于计算视差优化网络(DRS-net)中的相关性。由共享特征提取模块生成的特征可同时应用在视差估计网络(DES-net)和视差优化网络(DRS-net)中；
42)视差估计网络(DES-net)的输入包括两部分；第一部分是来自共享特征提取模块最后一层的左右特征的点积，它的输出是左右图像的匹配代价值，它存储图像坐标(x，y)上所有可能差异的成本；第二部分被定义为左图像的特征图，其为视差估计提供必要的语义信息；视差估计网络(DES-net)用于直接回归初始视差；
43)视差优化网络(DRS-net)使用共享特征和初始视差来计算重构误差re，重建误差可以反映估计视差的正确性，重构误差计算为：
其中，IL为左图像；IR为右图像；是位置(i,j)处的估计视差；i为所选位置像素的横坐标，j为所选位置像素的纵坐标；重构误差、初始视差和左特征的连接被馈送到第三编码器解码器结构，以计算相对于初始视差的残差；初始视差和残差之和用于生成细化视差。
步骤五、根据步骤四所得视差图对表面点云进行重建。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明的保护范围并不局限于上述实施方式中的具体细节，在本发明的技术构思范围内，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
Claims (3)
1.一种基于双目立体视觉的表面点云重建方法，其特征在于，包括以下步骤：
步骤一、对双目相机拍摄图像进行立体校正，使左右图像同点名位于同一极；
步骤二、对校正后的图像进行预处理，预处理包括以双边滤波为权重的加权中值滤波、自适应直方图均衡化、拉普拉斯图像锐化；
步骤三、通过最小割-最大流图像分割算法对感兴趣区域进行复杂背景去除；
步骤四、通过卷积神经网络立体匹配算法，恢复深度信息，得到视差图；
步骤五、根据步骤四所得视差图对表面点云进行重建；
所述步骤二的具体方法如下：
21)以双边滤波为权重的加权中值滤波；
对校正后的图像进行以双边滤波为权重的加权中值滤波；双边滤波器权重表示为：
其中，为调整空间；/>为色彩相似度；ki为正则化因子；|i-j|2和|ii-jj|2为中心像素与相邻像素之间的空间相似性；i为中心像素的横坐标；j为中心像素的纵坐标；ii为相邻像素的横坐标；jj为相邻像素的纵坐标；
当选取窗口Ri大小为(2r+1)×(2r+1)时，其中，r为窗口半径，此时窗口内包含的像素个数为s，计算窗口Ri中一对随机序列{I(i),wi,j}的像素值和权重，然后依次对权重进行排序，直到累计权重大于加权值的一半，此时相应的i*是局部窗口中心点的新像素值；如下式所示：
其中，i*为滤波后的视差值；l为窗口中心点的像素值；wij为滤波权重；S为窗口内像素的总数；I为当前累计的像素个数；
22)限定对比度的自适应直方图均衡化；
对滤波后的图像进行限定对比度的自适应直方图均衡化；将滤波去噪后的图像即M像素×N像素分成若干个大小相同的子区域，分别对每个子区域的直方图进行计算，将可能出现的直方图灰度级个数记为K，每个子区域的灰度级为r，则区域(m,n)对应的直方图函数为：
Hm,n(r)，0≤r≤K-1；
其中，r为每个子区域的灰度级；K为直方图灰度级个数；
对剪切限幅值β进行确认：
其中，M为图像水平方向上的像素个数；N为图像竖直方向上的像素个数；K为直方图灰度级个数；α为截断系数，表示每个灰度级中像素的最大百分比；
对所有分割的子区域进行直方图均衡化，用双线性插值方法对每个像素进行处理，计算处理后的灰度值；
23)拉普拉斯图像锐化；
对直方图均衡化后的图像进行拉普拉斯增强，将图像中选中的像素点及其邻域内的8个点与掩码相乘求和，用得到的新像素值替代原来九宫格内中心点的像素值，则对于点(u,v)，经拉普拉斯算子处理后的图像：
其中，k(mz,nz)为3×3的拉普拉斯算子掩码；p(u,v)为原始图像灰度值，L(u,v)为经拉普拉斯算子处理后的图像；mz为九宫格中心像素横坐标；nz为九宫格中心像素纵坐标；u为选中点的横坐标；v为选中点的纵坐标。
2.根据权利要求1所述的一种基于双目立体视觉的表面点云重建方法，其特征在于，所述步骤三的具体方法如下：
31)通过用户交互对感兴趣区域进行框选，将框内的像素定义为Tu，其他像素定义为背景像素TB；
32)对TB中的背景像素n进行初始化，记n的标签为αn＝0；对Tu目标像素内的像素nt进行初始化，记nt的标签为αN＝1；
33)经过步骤31)和32)初步地对目标像素和背景像素进行分类，然后对目标像素和背景像素建立高斯混合模型，并通过K-means算法将目标像素聚类为K类，保证高斯混合模型中的每个高斯模型都具有一定的像素样本，并通过像素的RGB值估算参数均值和协方差，进一步通过高斯分量的像素与总像素个数的比值确定高斯混合模型的权值；至此初始化过程结束；
34)对每个像素分配高斯混合模型中的高斯分量，将目标像素nt的RGB值代入高斯混合模型中的每一个高斯分量中，求出概率最大的分量记为knt：
其中，Dnt为像素nt对应的能量数据；αnt为像素nt对应的不透明度标号值；θ为图像的目标或背景区域的灰度直方图；Znt为像素nt对应的灰度值；
35)根据给定的图像数据z，进一步对高斯混合模型进行学习优化：
其中，U为每个像素对应的能量数据项总和；α为不透明度标号值；k为高斯混合模型参数；z为灰度值数组；θ为图像的目标或背景区域的灰度直方图；
36)通过步骤34)分析的吉布斯能量项Dn求出吉布斯能量权值1/kn，然后通过最小割-最大流算法来对分割进行估计：
其中，E(α,k,θ,z)为图分割算法的吉布斯能量；α为不透明度标号值；k为高斯混合模型参数；z为灰度值数组；θ为图像的目标或背景区域的灰度直方图；
37)重复步骤34)-36)，不断优化高斯混合模型，保证迭代过程会收敛于最小值，从而得到分割结果；
38)采用边界消光机制对分割结果进行平滑后处理。
3.根据权利要求1所述的一种基于双目立体视觉的表面点云重建方法，其特征在于，所述步骤四的具体方法如下：
41)将左右图像通过共享特征提取模块的第一层和最后一层对左右相机图像进行特征检测，以获得多尺度匹配代价值；前两层的特征被上采样到原始分辨率，并通过1×1卷积层融合，步长为1，用于计算重建误差；使用步幅为1的1×1卷积层压缩第一层的特征，该卷积层将用于计算视差优化网络即DRS-net中的相关性；由共享特征提取模块生成的特征可同时应用在视差估计网络即DES-net和视差优化网络即DRS-net中；
42)视差估计网络即DES-net的输入包括两部分；第一部分是来自共享特征提取模块最后一层的左右特征的点积，它的输出是左右图像的匹配代价值，它存储图像坐标(x，y)上所有可能差异的成本；第二部分被定义为左图像的特征图，其为视差估计提供必要的语义信息；视差估计网络即DES-net用于直接回归初始视差；
43)视差优化网络即DRS-net使用共享特征和初始视差来计算重构误差re，重建误差可以反映估计视差的正确性，重构误差计算为：
re(i,j)＝|IL(i,j)-IR(i+dij,j)|；
其中，IL为左图像；IR为右图像；dij是位置(i,j)处的估计视差；i为所选位置像素的横坐标；j为所选位置像素的纵坐标；重构误差、初始视差和左特征的连接被馈送到第三编码器解码器结构，以计算相对于初始视差的残差；初始视差和残差之和用于生成细化视差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110821716.8A CN113421210B (zh) | 2021-07-21 | 2021-07-21 | 一种基于双目立体视觉的表面点云重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110821716.8A CN113421210B (zh) | 2021-07-21 | 2021-07-21 | 一种基于双目立体视觉的表面点云重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421210A CN113421210A (zh) | 2021-09-21 |
| CN113421210B true CN113421210B (zh) | 2024-04-12 |
Family
ID=77721554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110821716.8A Active CN113421210B (zh) | 2021-07-21 | 2021-07-21 | 一种基于双目立体视觉的表面点云重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421210B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115695393B (zh) * | 2022-12-28 | 2023-03-21 | 山东矩阵软件工程股份有限公司 | 一种雷达点云数据的格式转换方法、系统及存储介质 |
| CN116630761A (zh) * | 2023-06-16 | 2023-08-22 | 中国人民解放军61540部队 | 一种多视角卫星影像的数字表面模型融合方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080052363A (ko) * | 2006-12-05 | 2008-06-11 | 한국전자통신연구원 | 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법 |
| CN104867135A (zh) * | 2015-05-04 | 2015-08-26 | 中国科学院上海微系统与信息技术研究所 | 一种基于指导图像引导的高精度立体匹配方法 |
| CN104978722A (zh) * | 2015-07-06 | 2015-10-14 | 天津大学 | 基于背景建模的多曝光图像融合鬼影去除方法 |
| CN112288689A (zh) * | 2020-10-09 | 2021-01-29 | 浙江未来技术研究院(嘉兴) | 一种显微手术成像过程中术区三维重建方法及系统 |
-
2021
- 2021-07-21 CN CN202110821716.8A patent/CN113421210B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080052363A (ko) * | 2006-12-05 | 2008-06-11 | 한국전자통신연구원 | 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법 |
| CN104867135A (zh) * | 2015-05-04 | 2015-08-26 | 中国科学院上海微系统与信息技术研究所 | 一种基于指导图像引导的高精度立体匹配方法 |
| CN104978722A (zh) * | 2015-07-06 | 2015-10-14 | 天津大学 | 基于背景建模的多曝光图像融合鬼影去除方法 |
| CN112288689A (zh) * | 2020-10-09 | 2021-01-29 | 浙江未来技术研究院(嘉兴) | 一种显微手术成像过程中术区三维重建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于双目立体视觉的人脸三维重建关键技术研究》;祁乐阳;《优秀硕士论文》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421210A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN110866924B (zh) | 一种线结构光中心线提取方法及存储介质 | |
| CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
| CN108765325B (zh) | 一种小型无人机模糊图像复原方法 | |
| CN114529459B (zh) | 一种对图像边缘进行增强处理的方法和系统及介质 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN111310508B (zh) | 一种二维码识别方法 | |
| CN114283162B (zh) | 基于对比自监督学习的现实场景图像分割方法 | |
| CN110136075B (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
| CN106097256B (zh) | 一种基于图像盲去模糊的视频图像模糊度检测方法 | |
| CN111160407A (zh) | 一种深度学习目标检测方法及系统 | |
| CN113052755A (zh) | 一种基于深度学习的高分辨率图像智能化抠图方法 | |
| CN111681198A (zh) | 一种形态学属性滤波多模融合成像方法、系统及介质 | |
| CN113421210B (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| CN116310095A (zh) | 一种基于深度学习的多视图三维重建方法 | |
| CN113160278A (zh) | 一种场景流估计、场景流估计模型的训练方法和装置 | |
| CN111612802A (zh) | 一种基于现有图像语义分割模型的再优化训练方法及应用 | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| CN113033656B (zh) | 一种基于生成对抗网络的交互式孔探数据扩展方法 | |
| CN111932469B (zh) | 显著性权重的快速曝光图像融合方法、装置、设备和介质 | |
| CN111627033B (zh) | 一种难样本实例分割方法、设备及计算机可读存储介质 | |
| CN115471414A (zh) | 基于曝光成像模型和模块化深度网络的图像去雨雪方法 | |
| CN110490877B (zh) | 基于Graph Cuts的双目立体图像对目标分割方法 | |
| Zhang et al. | Single image haze removal for aqueous vapour regions based on optimal correction of dark channel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231017 Address after: No. 2055, Yan'an street, Changchun City, Jilin Province Applicant after: Changchun University of Technology Address before: 523000 room 222, building 1, No. 1, Kehui Road, Dongguan City, Guangdong Province Applicant before: Dongguan Zhongke Sanwei fish Intelligent Technology Co.,Ltd. Applicant before: Changchun University of Technology |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |