CN109470170B - 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统 - Google Patents
基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统 Download PDFInfo
- Publication number
- CN109470170B CN109470170B CN201811594009.4A CN201811594009A CN109470170B CN 109470170 B CN109470170 B CN 109470170B CN 201811594009 A CN201811594009 A CN 201811594009A CN 109470170 B CN109470170 B CN 109470170B
- Authority
- CN
- China
- Prior art keywords
- space
- point
- plane
- circle
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 46
- 238000005259 measurement Methods 0.000 claims abstract description 40
- 238000012216 screening Methods 0.000 claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract description 15
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统,包括:首先分析并证明了在双目立体视觉系统外部参数误差存在时,投影曲线上点的立体匹配误差对点的重建精度的影响;然后,基于此误差分析结论,设计了一种新的立体视觉空间圆位姿测量方法。该方法通过轮廓点筛选算法对投影曲线上的点进行筛选,得到匹配误差较小的点进行重建,利用重建点在深度方向上对非线性优化得到的最优投影平面的投影,对空间圆进行拟合,得到空间圆的位置姿态。该方法有效地减小了三维点重建误差对空间圆拟合精度的影响,提高了圆形特征在受遮挡情况下的测量精度。大量的实验验证了算法的有效性。
Description
技术领域
本发明属于空间圆位姿的测量技术领域,尤其涉及一种基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统。
背景技术
空间中的圆在工业生产环境中大量存在,例如工件上的圆形安装孔,螺栓孔等。在工业现场,机器人有大量的装配工作需要完成,例如安装螺栓、汽车轮胎的自动夹装。除了上述工业环境中的应用,关于空间圆形特征的视觉定位算法在无人系统的导航和定位中也有大量的应用。空间圆的位置和姿态的测量是机器视觉中的一个重要问题。
一般来说,空间圆位姿的测量方法可以分为两类:一类是基于结构光传感器的主动测量方法,通过结构光传感器和相机来组建立体视觉系统;另一类是基于双目立体视觉系统的被动测量方法,该方法利用两个相机来组建立体视觉系。相较于主动测量方法,被动测量方法的测量速度更快,并且,相较于结构光传感器,相机的体积更小、重量更轻且造价更低。在工业现场中,工业机器人的承载能力有限,双目视觉系统的优势更加突出。
目前,基于双目立体视觉系统的空间圆位姿测量方法可以分为三种。
第一种是基于代数射影几何的方法,通过投影与曲面之间的几何约束,可以得到空间圆位姿的闭式解。例如:现有技术利用二次曲面的射影性质,给出了一个二次曲线的全局匹配和重建算法,通过求解高阶多项式方程来得到空间圆的位姿;现有技术基于空间圆是两视图中的二次曲线所确定的二次曲面的交线的性质,给出了一种更加简单的位姿计算方法,并且能够判断两个视角中二次曲线的对应关系,也通过类似的方法实现了空间圆位姿的测量。此类方法有着非常严谨的数学推理,在理想的状态下测量精度较高。但是,在实际应用中,图像噪声,边缘提取误差,相机标定误差不可避免,并且计算方法复杂,矩阵之间的运算导致误差进一步扩大。上述原因可能会导致测量值不精确,甚至得不到有效解。
第二种是基于CAD模型的先验信息和双目立体视觉系统相结合的方法。该方法可以准确地提取孔边缘,减少边缘提取误差,从而得到更加精确的测量结果。现有技术设计了一种基于CAD模型的汽车零件自动检测算法,该算法依靠双目立体视觉传感器和先验知识,解决了空间中几何孔边缘提取问题和高精度测量问题,并且对光线干扰具有很强的鲁棒性。但是,此类方法的弱点在于对孔的CAD模型的依赖,并且,该方法在几何孔被遮挡时,很难检测到部分孔被遮挡的情况。
第三种方法利用双目立体视觉系统求出空间圆边缘点的三维空间坐标,并利用三维坐标信息拟合空间圆,并求取空间圆的位姿。例如,现有技术设计了一种空间圆最优拟合方法。该方法将拟合误差分为两部分,其一为重建点到空间圆平面的距离,其二为重建点到拟合圆心的距离与拟合半径的差为拟合误差,两者之和最小时得到空间圆的最优拟合结果。现有技术设计了一种利用新的非切线约束的方法,提高了椭圆上点的立体匹配精度,从而提高了空间圆位姿的测量精度。相较于代数射影几何方法以及基于CAD模型的先验信息和双目立体视觉系统相结合的方法,该方法不需要过多的先验信息,而且计算过程简单,测量精度较高。但是,当空间圆部分轮廓受遮挡时,由于相机外参标定误差的必然存在,重建得到的边缘点在深度方向上的误差随着匹配误差的增大而迅速增大,大大影响了该算法的测量精度。
发明内容
为了解决上述问题,本发明分析了椭圆边缘的立体匹配误差的变化规律和此误差对边缘重建精度的影响,提出了一种基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统,通过对提取的椭圆轮廓点进行筛选获得立体匹配精度较高的匹配点,经过三维重建后使用三维点在最优投影平面上的投影对空间圆进行拟合。有效地减小了三维点重建误差对空间圆拟合精度的影响,提高了圆形特征在受遮挡情况下的测量精度。
为了实现上述目的,本发明采用如下技术方案:
在一个或多个实施方式中公开的基于最优投影平面的立体视觉空间圆位姿高精度测量方法,包括:
对获取到的左、右视图中的圆形特征进行边缘检测和轮廓筛选,得到两视图中来自于同一空间圆映射的两椭圆轮廓C和C′;
对提取到的图像中的椭圆轮廓进行筛选,根据筛选后的椭圆轮廓建立左右图像轮廓上点的对应匹配关系;
对立体匹配得到的匹配点进行三维重建,得到空间圆上重建点的三维坐标;
求取重建后边缘点的最优投影平面;
利用重建后边缘点在最优投影平面上的投影拟合空间圆,得到拟合空间圆的位姿并输出。
进一步地,对获取到的左、右视图中的圆形特征进行边缘检测和轮廓筛选,得到两视图中来自于同一空间圆映射的两椭圆轮廓C和C′,具体为:
使用边缘提取算法对左、右视图中的圆形特征进行边缘检测,利用轮廓的曲率和长度对视图中的轮廓进行筛选,将不是椭圆形的边缘筛去,通过椭圆轮廓匹配算法,得到两视图中来自于同一空间圆映射的两椭圆轮廓C和C′。
进一步地,对提取到的图像中的椭圆轮廓进行筛选,具体为:
对左视图提取得到的曲线C′进行求导,得到曲线上各点的斜率k′p′,然后设定一个阈值K,只有当|k′p′|>K时才允许右视图上的点与该点进行立体匹配。
进一步地,通过极线约束的特征型重构算法建立左右图像轮廓上点的对应匹配关系。
进一步地,求取重建后边缘点的最优投影平面,具体为:
选择一个初始平面Π0,该平面的法向量为n0;
将重建后的边缘点Pi=(xi,yi,zi)T在Z方向平面Π0投影,得到三维点Pi′=(xi′,yi′,zi′)T,i=1,...,n;
通过三维点Pi′=(xi′,yi′,zi′)T,在平面Π0上拟合平面圆C0;
根据三维点Pi′到拟合平面圆C0圆心的距离与拟合平面圆C0半径构建误差函数;
通过L-M非线性优化方法求得使误差函数最小的投影平面作为最优投影平面Π。
进一步地,使用最小二乘法拟合空间平面的法向量作为初值平面Π0的法向量,并计算右图曲线上斜率最大的轮廓点,所述轮廓点作为重建后的边缘点Pi。
进一步地,所述误差函数具体为:
其中,拟合平面圆C0的圆心为半径为r0。
进一步地,利用重建后边缘点在最优投影平面上的投影拟合空间圆,得到拟合空间圆的位姿,具体为:
将重建后边缘点在最优投影平面上的投影点转化成最优投影平面上的二维点,利用最小二乘法对圆形进行拟合,得到空间圆的半径和圆心,将二维平面上的圆心转化为三维空间中的点,得到空间圆圆心的三维位置,圆面的法向量为最优投影平面Π的法向量。
在一个或多个实施方式中公开的基于最优投影平面的立体视觉空间圆位姿高精度测量系统,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法。
在一个或多个实施方式中公开的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时执行上述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法。
与现有技术相比,本发明的有益效果是:
1)设计一种新的能够反映最优投影平面位置的误差函数,利用重建得到的空间圆边缘三维点在深度方向上对最优投影平面的投影,减小了双目立体视觉系统外部参数误差的影响。
2)设计一种轮廓点筛选方法,通过对轮廓点所在曲线的斜率对轮廓点进行筛选,可以筛除重建误差较大的无参考意义的边缘点,利用筛选后的边缘点对空间圆进行拟合,有效地提高了测量精度。
3)本发明方法在空间圆受遮挡时仍具有较高的位姿测量精度。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1是双目视觉系统示意图;
图2是立体匹配方法示意图;
图3是椭圆边缘的立体匹配误差示意图;
图4是立体匹配误差与曲线斜率的关系示意图;
图5是立体匹配误差对点重建精度的影响示意图;
图6是空间圆位姿测量算法的流程图;
图7是重建空间圆边缘的仿真实验示意图;
图8是重建边缘点Pi的误差与图像上曲线在对应点p′i的倾角的关系示意图;
图9是真实实验环境示意图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中公开了一种基于最优投影平面的立体视觉空间圆位姿高精度测量方法,具体包括以下步骤:
对获取到的左、右视图中的圆形特征进行边缘检测和轮廓筛选,得到两视图中来自于同一空间圆映射的两椭圆轮廓C和C′;
对提取到的图像中的椭圆轮廓进行筛选,根据筛选后的椭圆轮廓建立左右图像轮廓上点的对应匹配关系;
对立体匹配得到的匹配点进行三维重建,得到空间圆上重建点的三维坐标;
求取重建后边缘点的最优投影平面;
利用重建后边缘点在最优投影平面上的投影拟合空间圆,得到拟合空间圆的位姿并输出。
下面对上述方法的具体过程详细介绍如下:
1数学模型
1.1双目立体视觉系统模型
两个相机组成的双目立体视觉系统的模型和相应的空间三维点投影关系如图1所示。设世界坐标系为OWXWYWZW,与左相机坐标系重合,左图像坐标系为Ouv,焦距为f1,右相机坐标系为OrXrYrZr,图像坐标系为O′u′v′,焦距为f2,通过对双目立体视觉系统的标定,可以得到两相机内部参数矩阵:
和外部参数矩阵:旋转矩阵R,平移向量t。其中,dX1、dY1为左相机像元的物理尺寸,dX2、dY2为右相机像元的物理尺寸,(u0,v0)和(u′0,v′0)分别为左右相机图像平面上的主点坐标。
如图1所示,设空间中视野内有一点P=[X Y Z]T,在左、右两相机图像平面上的投影分别为p=[u v]T和p′=[u′ v′]T,则两者的关系可以表示为:
其中,λ1和λ2为尺度因子。
在已知双目立体视觉系统内外参数和空间点在左右图像中对应的图像坐标的条件下,通过式(1)-式(2)可以解得该点空间坐标。
1.2立体匹配
通过左右图像中点的投影恢复空间中点的实际位置,必须要对左右视图上的图像点进行立体匹配。一般来说,立体重构算法分为密集型重构算法和特征型重构算法。密集型重构算法对两幅图像中的所有匹配点进行重构,一般使用基于区域的匹配方法,在参考图像中某像素点的周围给定一个特定大小的区域,依据一定的相似性判断准则,在待匹配图像中寻找与参考区域最相似的子区域,该子区域对应的像素点即为对应的匹配点,但该方法对低纹理区域和重复纹理区域的匹配效果并不理想。特征型重构算法只重构某些特征的空间位置,通过边缘检测算法对图像中的椭圆边缘进行提取和筛选,仅仅对筛选的边缘进行立体匹配和重构,可以满足空间圆位姿测量的实际需要。
具体匹配方法如图2所示,空间中有一圆形,投影到左、右两图像上,通过轮廓提取算法对图像上的椭圆轮廓进行提取和筛选,得到两图像上的椭圆轮廓C和C′。假设左图椭圆轮廓上存在一个像点p,通过已知的相机内外参数可以得到极平面Π的位置,极平面Π与右图像平面交于极线l′p,极线l′p与右图椭圆轮廓相交,根据顺序一致性约束可以得到像点p在右图上的匹配点p′。通过极线约束的特征型重构算法对左、右图像椭圆轮廓上的像点进行立体匹配,重构空间圆边缘点的空间位置P。此方法降低了匹配算法的复杂性,提高了匹配速度,并且相比较于密集型重构算法,大大减少了匹配点的数量,提高了算法的效率。
2误差分析
在实际应用中,由于双目立体视觉系统外部参数误差的存在,导致使用极线约束对椭圆轮廓进行立体匹配时,产生立体匹配误差,影响了空间圆边缘点的重建精度,从而影响了空间圆的拟合精度。为进一步提高空间圆位姿测量的精度,下面对双目立体视觉系统外部参数误差存在时,对空间圆边缘重建产生的影响进行分析。
2.1外部参数误差对曲线上点的立体匹配误差的影响
双目视觉系统经过标定之后,为方便进行立体匹配,通常进行图像校正。经过图像校正,可以将一般的双目模型转化到一个理想的模型,即像平面在同一平面,且光轴与像平面垂直,两视图的极线相互平行,且当空间中的一点投影到两像平面时,两点像素在同一行,一般称此时的两相机共面行对准。如图3所示,在理想状态下,空间圆在图像平面上的投影为两实线椭圆,两视图椭圆上的点一一对应,通过计算匹配点的视差可以得到该点的深度信息。但由于外部参数误差,经过图像校正后,空间中一点在两图像平面上的投影并不一定在同一行,这使得曲线上的点通过极限约束来进行立体匹配时,会产生立体匹配误差。
为方便误差的分析,假设两相机内部参数均不存在误差,并且外部参数误差只对左图中曲线的位置产生影响,如图3所示,图中实线椭圆为理想条件下的空间圆投影,通常在双目立体视觉系统外部参数误差存在时,校正后的图像会产生某个方向的偏移和轻微的变形,这里将变形忽略。如图4所示,设右图中图像发生了某个方向上的偏移,将偏移分解为横纵两个方向,纵向偏移量为Δv,方向向下,图中实曲线为理想外参数据下校正得到的边缘曲线投影,虚曲线为实际校正后得到的边缘曲线投影,极线与理想边缘曲线和实际边缘曲线分别交于点p′(v′p,u′p)和点则匹配点的横坐标误差为Δu。
证明:
视差的误差为Δu。
即随着图像上曲线的斜率变小,所得匹配点的横坐标误差Δu会变大。
2.2立体匹配误差对三维点重建精度的影响
如图5所示,两相机为共面行对准,焦距为f,坐标系位置与前文所述一致。设空间中有一点P=[X Y Z]T,在左右摄像机图像平面上的投影分别为点p(up,vp),点p′(v′p,u′p)。
定理2:点的立体匹配误差越大,重建的三维点坐标误差就会越大,并且该点Z坐标的误差要比X、Y坐标的误差大得多。
证明:
假设左右相机经过标定,焦距f、基线长度b已知,且不存在误差。
则由三角形的相似性可得到P点的坐标为,
其中,dp为视差,
dp=u′p-up。 (8)
其中,
根据式(9)-(11)可得,
由上式可知,点P的Z坐标误差ΔZ与点P的深度的平方成正比,空间点的距离越远,空间点的深度误差越大;并且类似的,基线长度和相机焦距越大,空间点的深度误差会减小。
根据几何知识和式(6)、式(12),点P的X坐标误差为:
不失一般性,在实际场景中,X总是小于Z,故由式(12-13)可知,ΔX小于ΔZ。
类似的,点P的Y坐标误差为,
同理,在实际场景中,Y总是小于Z,故由式(12)、式(14)可知,ΔY小于ΔZ。
由式(12)-(14)可知,图像上点的立体匹配误差越大,重建得到的三维点坐标误差就会越大,并且该点Z坐标的误差要比X、Y坐标的误差大得多。
通过上述证明,可知在常见的双目测量方法中,通过极线约束对图像上曲线上的点进行立体匹配时,点所在的曲线的斜率减小,立体匹配的误差越大,且所得三维点坐标重建精度越低,特别是Z坐标的重建精度,相比较于X、Y坐标更低的多。
3算法描述
在双目立体视觉系统的外参误差必然存在的情况下,重建得到的边缘点的Z坐标误差是影响空间圆拟合精度的关键。为了减小Z坐标误差对拟合精度的影响,本文设计了基于最优投影平面的空间圆位姿测量算法。图6为本文空间圆位姿测量算法的流程图。
3.1边缘检测和轮廓提取
使用Canny边缘提取算法对左、右视图中的圆形特征进行边缘检测,利用轮廓的曲率和长度等性质对视图中的轮廓进行筛选,将不是椭圆形的边缘筛去,通过椭圆轮廓匹配算法,可以得到两视图中来自于同一空间圆映射的两椭圆轮廓C和C′。上述涉及到的Canny边缘提取算法以及椭圆轮廓匹配算法均是现有技术中已知的方法。
3.2立体匹配和三维重建
通过本文设计的轮廓点筛选方法,对提取到的图像中的椭圆轮廓进行筛选。筛选后的椭圆轮廓通过极线约束建立左右图像轮廓上点的对应匹配关系,根据三角法计算出每个点的三维坐标。
3.2.1轮廓点筛选方法
随着曲线C在轮廓点pi处的斜率降低,重建得到的边缘点Pi在Z方向的坐标误差ΔZ大大增加,与之同时,边缘点Pi在X、Y方向的坐标误差ΔX和ΔY也随之增加。通过对轮廓点进行筛选可以避免重建误差较大的边缘点参与空间圆的拟合,在提高测量精度的同时,也减少了点的重建数量,提高了计算效率。
本文设计了一种立体轮廓点的筛选方法,该方法以左视图提取得到的曲线C′在轮廓点p′i处的斜率大小k′p′作为筛选条件,可以筛除重建误差较大的无参考意义的边缘点,留下重建精度较高的边缘点。首先对曲线C′进行求导可以得到曲线上各点的斜率k′p′,然后设定一个阈值K,只有当|k′p′|>K时才允许右图上的点与该点进行立体匹配。该方法可以将边缘点的重建误差限制在某一范围内,经过大量的实验,当阈值K选取为3时,既能保证边缘点的数量不至于太少,又能保证边缘点的重建误差不至于太大。
3.2.2立体匹配和三维重建
设通过轮廓点筛选方法得到的左图像上的点为p′j,利用极线约束进行立体匹配,可以得到右图像上与p′j相对应的匹配点pj。之后利用三角法对立体匹配得到的匹配点进行三维重建,得到空间圆上的部分点Pj的三维坐标。三角法为现有技术中已知的方法。
3.3计算最优投影平面
设空间圆的圆心坐标为OC=[xC yC zC]T,半径为r。则空间圆所在平面Π的方程可表示为:
N·(ξ-OC)=0, (15)
其中,N为平面Π的单位法向量,ξ=[x y z]T为平面Π上的任意点。
对于空间中圆上任意一点Xi=(xi,yi,zi),满足如下条件:
|Xi-OC|=r, (16)
且满足式(15),令重建后得到的边缘点为Pi(i=1,...,n),由3.2节分析可知,当图像中曲线斜率变小时,Pi在Z方向的坐标误差会显著增大。假设Pi在Z方向的误差ΔZ远远大于其在X、Y方向的误差ΔX、ΔY,那么,可将ΔX、ΔY忽略,即:
ΔX≈0,ΔY≈0, (17)
ΔZ>>0。 (18)
由于ΔZ>>0,导致本应在平面Π上的点Pi脱离了平面Π。通过点Pi在Z方向上对平面Π做投影,得到其投影点Pi′。Pi′的X、Y坐标近似于真实值,且Pi′在平面Π上,即此时投影点Pi′的Z方向的误差ΔZ′最小。
设点Pi′在平面Π上的圆形拟合误差表示为:
由式(15)-(17)可得点Pi′在平面Π上的圆形拟合误差为0。
综上所述,当边缘点Pi的X、Y方向的误差可以忽略时,点Pi在深度方向对平面Π的投影Pi′的圆形拟合误差最小。将平面Π称为最优投影平面,根据这一特性本文设计了求取最优投影平面的计算方法,具体过程如下:
1.选择一个初始平面Π0,该平面的法向量为n0。
2.将得到的三维点Pi=(xi,yi,zi)T在Z方向平面Π0投影,得到三维点Pi′=(xi′,yi′,zi′)T,i=1,...,n。
5.通过L-M非线性优化方法使可以求得最优投影平面Π。
算法的关键在于初值的选取,本文利用筛选得到空间圆重建点,使用最小二乘法拟合空间平面的法向量作为初值平面Π0的法向量,并计算右图曲线上的斜率最大的轮廓点,利用该点的三维重建精度最高的特点,使Π0始终通过该像点重建得到的边缘点。通过实验验证,这种初值选择方法是合理的,可以迅速收敛到最优值。
3.4空间圆的拟合
将空间点Pi在Z方向上对平面Π做投影,得到其投影点Pi′。Pi′的X、Y坐标近似于真实值,且点Pi′的Z方向的误差ΔZ′最小。所以此时通过投影Pi′对空间圆进行拟合,得到空间圆的几何参数的误差也是最小的。我们将三维点Pi′转化成平面Π上的二维点,利用最小二乘法对圆形进行拟合,得到空间圆的半径和圆心,将二维平面上的圆心转化为三维空间中的点,即可得到空间圆圆心的三维位置,圆面的法向量为最优投影平面Π的法向量。
4实验及结果分析
为了验证双目立体视觉系统外参误差对空间圆边缘重建精度产生的影响和设计的算法的有效性,进行了一系列的仿真实验和真实实验。
4.1仿真实验
利用计算机生成一个共面行对准的双目立体视觉系统和空间圆,其中,世界坐标系与左相机坐标系重合,右相机的光心在世界坐标系中的坐标为(0.5,0,0),两相机内部参数相同,内参矩阵为:
外部参数为:
4.1.1误差分析验证实验
首先通过此模型验证本文中误差分析的正确性,设有一空间圆半径为r=0.3m,圆心位于OC=[0 0 2]T,投影到两相机的成像平面,并对投影中加入高斯噪声模拟实际实验中的图像噪声,对外部参数矩阵(R|t)加入旋转和平移误差来模拟双目立体视觉系统标定产生的误差。通过本文所述的方法利用生成的投影和双目立体视觉系统的内外参数,对空间圆进行重建,得到的空间圆重建边缘点和空间圆真实边缘点在三维空间中的位置如图7所示。利用重建边缘点Pi与真实边缘点的坐标相减得到Pi的各方向的坐标误差ΔX、ΔY和ΔZ,重建点Pi的各方向坐标误差ΔX、ΔY和ΔZ与图像上曲线在对应点p′的倾角的关系。
由图8可以发现,在匹配点所在位置曲线的倾角接近90°时(即曲线的斜率变大),重建边缘点的各方向坐标误差ΔX、ΔY和ΔZ逐渐趋近于0;在匹配点所在位置曲线的倾角接近0°或180°时(即曲线斜率变小),ΔX、ΔY和ΔZ迅速变大,且误差ΔZ比ΔX、ΔY大的多。此次实验结果不失一般性,多次实验结果均与前述所分析的重建误差变化规律结论基本一致。
4.1.2空间圆位姿测量实验
为了验证算法的有效性,通过空间圆位姿测量的仿真实验检验算法的有效性。在同样的环境配置下,将空间圆位姿测量实验分为受遮挡时和不受着遮挡时两组。通过最小二乘法拟合空间圆和代数射影几何法与本文算法来进行对比,将测量值与真实值比对得到空间圆的圆心位置误差、半径误差和圆面法向量角度误差,每组进行二十次实验并计算误差的均值。
表1不受遮挡时空间圆的圆心位置、半径和法向量的测量误差
表2受遮挡时空间圆的圆心位置、半径和法向量的测量误差
表1、表2分别给出了当空间圆不受遮挡和受遮挡时的实验结果。从表1可以看出,本文设计的算法在空间圆不受遮挡时,虽法向量精度提升效果不明显,但圆形位置测量精度和半径测量精度明显优于其它对比算法。当空间圆受遮挡时,三种算法的测量精度均有所下降,而本文的算法仍能得到较高的测量精度。
4.2真实实验
为了验证所提算法的有效性,采用两台型号为MER-200-14GC的CCD相机和两个焦距为16mm的镜头组成一个双目立体视觉系统,对距离为2m左右、直径为80cm的汽车轮胎轮毂进行测量。图9为实验场景。
在同样的实验环境下,分为轮毂受遮挡时和不受着遮挡时两组实验。通过最小二乘法拟合空间圆和代数射影几何法与本文算法来进行对比。对轮毂的中心在图像中的像点进行三维重建,得到的坐标为轮毂圆心的真实值,与轮毂面重合的标定板的法向量为轮毂法向量的真实值,通过与真实值比对得到轮毂的圆心位置相对误差、半径误差和圆面法向量角度误差,每组二十次实验并计算误差的均值。表3、表4为得到的实验结果
表3轮毂不受遮挡时的圆心位置、半径和法向量的测量误差
表4轮毂受遮挡时的圆心位置、半径和法向量的测量误差
实验表明,在真实实验中,由于相机内部参数的标定(例如焦距和畸变系数等)误差的存在,以及轮毂边缘的提取存在偏差,本文算法的精度与仿真实验相比略有下降。在轮毂不受遮挡时,本文算法的精度明显的高于最小二乘法和代数射影几何法;在轮毂受到遮挡时,其他两种方法的精度均产生下降,而本文的算法仍能得到较高的测量精度。
综上,本发明设计的基于最优投影平面的立体视觉空间圆位姿测量方法,通过对提取的椭圆轮廓点进行筛选获得立体匹配精度较高的匹配点,经过三维重建后使用三维点在最优投影平面上的投影对空间圆进行拟合。相比较其他测量方法,考虑了双目立体系统外部参数标定误差对轮廓点重建精度的影响,在空间圆受遮挡或不受遮挡时,测量精度更优。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (9)
1.基于最优投影平面的立体视觉空间圆位姿高精度测量方法,其特征在于,包括:
对获取到的左、右视图中的圆形特征进行边缘检测和轮廓筛选,得到两视图中来自于同一空间圆映射的两椭圆轮廓C和C′;
对提取到的图像中的椭圆轮廓进行筛选,根据筛选后的椭圆轮廓建立左右图像轮廓上点的对应匹配关系;
对立体匹配得到的匹配点进行三维重建,得到空间圆上重建点的三维坐标;
求取重建后边缘点的最优投影平面;
利用重建后边缘点在最优投影平面上的投影拟合空间圆,得到拟合空间圆的位姿并输出;
求取重建后边缘点的最优投影平面,具体为:
选择一个初始平面Π0,该平面的法向量为n0;
将重建后的边缘点Pi=(xi,yi,zi)T在Z方向平面Π0投影,得到三维点Pi′=(xi′,yi′,zi′)T,i=1,...,n;
通过三维点Pi′=(xi′,yi′,zi′)T,在平面Π0上拟合平面圆C0;
根据三维点Pi′到拟合平面圆C0圆心的距离与拟合平面圆C0半径构建误差函数;
通过L-M非线性优化方法求得使误差函数最小的投影平面作为最优投影平面Π。
2.如权利要求1所述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法,其特征在于,对获取到的左、右视图中的圆形特征进行边缘检测和轮廓筛选,得到两视图中来自于同一空间圆映射的两椭圆轮廓C和C′,具体为:
使用边缘提取算法对左、右视图中的圆形特征进行边缘检测,利用轮廓的曲率和长度对视图中的轮廓进行筛选,将不是椭圆形的边缘筛去,通过椭圆轮廓匹配算法,得到两视图中来自于同一空间圆映射的两椭圆轮廓C和C′。
3.如权利要求1所述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法,其特征在于,对提取到的图像中的椭圆轮廓进行筛选,具体为:
对左视图提取得到的曲线C′进行求导,得到曲线上各点的斜率k′p′,然后设定一个阈值K,只有当|k′p′|>K时才允许右视图上的点与该点进行立体匹配。
4.如权利要求1所述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法,其特征在于,通过极线约束的特征型重构算法建立左右图像轮廓上点的对应匹配关系。
5.如权利要求1所述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法,其特征在于,使用最小二乘法拟合空间平面的法向量作为初值平面Π0的法向量,并计算右图曲线上斜率最大的轮廓点,所述轮廓点作为重建后的边缘点Pi。
7.如权利要求1所述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法,其特征在于,利用重建后边缘点在最优投影平面上的投影拟合空间圆,得到拟合空间圆的位姿,具体为:
将重建后边缘点在最优投影平面上的投影点转化成最优投影平面上的二维点,利用最小二乘法对圆形进行拟合,得到空间圆的半径和圆心,将二维平面上的圆心转化为三维空间中的点,得到空间圆圆心的三维位置,圆面的法向量为最优投影平面Π的法向量。
8.基于最优投影平面的立体视觉空间圆位姿高精度测量系统,其特征在于,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-7任一项所述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时执行权利要求1-7任一项所述的基于最优投影平面的立体视觉空间圆位姿高精度测量方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811594009.4A CN109470170B (zh) | 2018-12-25 | 2018-12-25 | 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811594009.4A CN109470170B (zh) | 2018-12-25 | 2018-12-25 | 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109470170A CN109470170A (zh) | 2019-03-15 |
CN109470170B true CN109470170B (zh) | 2020-01-07 |
Family
ID=65676834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811594009.4A Active CN109470170B (zh) | 2018-12-25 | 2018-12-25 | 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109470170B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110332924B (zh) * | 2019-08-19 | 2020-04-24 | 哈尔滨博觉科技有限公司 | 基于双线阵ccd的稀释仪空间视觉定位偏差修正方法 |
CN110533711A (zh) * | 2019-09-04 | 2019-12-03 | 云南电网有限责任公司带电作业分公司 | 一种基于加速稳健特征的高效大尺度立体匹配算法 |
CN113409395B (zh) * | 2020-03-17 | 2024-05-07 | 沈阳智能机器人创新中心有限公司 | 导管管端高精度检测定位方法 |
CN112381880B (zh) * | 2020-11-27 | 2024-10-29 | 航天科工智能机器人有限责任公司 | 一种基于圆特征的双目视觉位姿估计方法 |
CN113052905B (zh) * | 2021-03-31 | 2022-07-19 | 中国人民解放军63920部队 | 基于双目逆投影变换的圆形目标位姿测量方法和装置 |
CN113776457B (zh) * | 2021-08-31 | 2023-08-08 | 中国铁道科学研究院集团有限公司 | 基于虚实结合的曲线段钢轨轮廓测量误差修正方法及装置 |
CN114117729A (zh) * | 2021-10-15 | 2022-03-01 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种双镜头立体视觉系统优化方法、装置、记录媒体及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032812A (ja) * | 2000-07-13 | 2002-01-31 | Toyo Commun Equip Co Ltd | 円盤形被検体認識システム |
CN1566900A (zh) * | 2003-06-11 | 2005-01-19 | 北京航空航天大学 | 一种空间圆几何参数的视觉测量方法 |
CN101093160A (zh) * | 2007-07-12 | 2007-12-26 | 上海交通大学 | 基于双目立体视觉技术的空间圆几何参数的测量方法 |
CN101261115A (zh) * | 2008-04-24 | 2008-09-10 | 吉林大学 | 空间圆几何参数的双目立体视觉测量方法 |
CN105261047A (zh) * | 2015-09-08 | 2016-01-20 | 北京控制工程研究所 | 一种基于近距离短弧段图像的对接环圆心提取方法 |
CN106996748A (zh) * | 2017-03-16 | 2017-08-01 | 南京工业大学 | 一种基于双目视觉的轮径测量方法 |
CN108507484A (zh) * | 2018-04-08 | 2018-09-07 | 河北科技大学 | 成捆圆钢多目视觉识别系统及计数方法 |
CN108917721A (zh) * | 2018-04-19 | 2018-11-30 | 北京控制工程研究所 | 一种失稳卫星星箭对接环双目测量方法 |
-
2018
- 2018-12-25 CN CN201811594009.4A patent/CN109470170B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032812A (ja) * | 2000-07-13 | 2002-01-31 | Toyo Commun Equip Co Ltd | 円盤形被検体認識システム |
CN1566900A (zh) * | 2003-06-11 | 2005-01-19 | 北京航空航天大学 | 一种空间圆几何参数的视觉测量方法 |
CN101093160A (zh) * | 2007-07-12 | 2007-12-26 | 上海交通大学 | 基于双目立体视觉技术的空间圆几何参数的测量方法 |
CN101261115A (zh) * | 2008-04-24 | 2008-09-10 | 吉林大学 | 空间圆几何参数的双目立体视觉测量方法 |
CN105261047A (zh) * | 2015-09-08 | 2016-01-20 | 北京控制工程研究所 | 一种基于近距离短弧段图像的对接环圆心提取方法 |
CN106996748A (zh) * | 2017-03-16 | 2017-08-01 | 南京工业大学 | 一种基于双目视觉的轮径测量方法 |
CN108507484A (zh) * | 2018-04-08 | 2018-09-07 | 河北科技大学 | 成捆圆钢多目视觉识别系统及计数方法 |
CN108917721A (zh) * | 2018-04-19 | 2018-11-30 | 北京控制工程研究所 | 一种失稳卫星星箭对接环双目测量方法 |
Non-Patent Citations (2)
Title |
---|
基于射影变换圆阵靶标中心像点的计算;陈天飞 等;《仪器仪表学报》;20150430;第36卷(第4期);第897页第1栏第2-5段 * |
空间圆几何参数的非接触高精度测量方法;周富强 等;《仪器仪表学报》;20041031;第25卷(第5期);第604-607页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109470170A (zh) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109470170B (zh) | 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统 | |
CN109064516B (zh) | 一种基于绝对二次曲线像的相机自标定方法 | |
EP3040941B1 (en) | Method for calibrating a depth camera | |
JP6426968B2 (ja) | 情報処理装置およびその方法 | |
CN106408609B (zh) | 一种基于双目视觉的并联机构末端运动位姿检测方法 | |
CN108801175B (zh) | 一种高精度空间管路测量系统及方法 | |
CN109974618B (zh) | 多传感器视觉测量系统的全局标定方法 | |
CN110163902B (zh) | 一种基于因子图的逆深度估计方法 | |
CN101377404B (zh) | 一种基于角度约束的空间圆姿态识别二义性消除方法 | |
CN103983186A (zh) | 双目视觉系统校正方法及校正设备 | |
Hagelskjær et al. | Using spatial constraints for fast set-up of precise pose estimation in an industrial setting | |
Ahmadabadian et al. | Stereo‐imaging network design for precise and dense 3D reconstruction | |
Yoon et al. | Targetless multiple camera-LiDAR extrinsic calibration using object pose estimation | |
CN108921904B (zh) | 利用单个球及渐近线的性质标定针孔摄像机的方法 | |
CN105678088A (zh) | 一种靶标测头的平差优化算法 | |
CN110245634A (zh) | 多位置、多角度危岩变形判断与分析方法 | |
CN109285210B (zh) | 结合拓扑关系和极线约束的管路三维重建方法 | |
Lu et al. | On the sensitivity analysis of camera calibration from images of spheres | |
Cui et al. | ACLC: Automatic Calibration for non-repetitive scanning LiDAR-Camera system based on point cloud noise optimization | |
Chen et al. | Virtual binocular vision systems to solid model reconstruction | |
CN114549659A (zh) | 一种基于准三维靶标的摄像机标定方法 | |
Zhang et al. | Automatic Extrinsic Parameter Calibration for Camera-LiDAR Fusion using Spherical Target | |
CN109308706B (zh) | 一种通过图像处理得到三维曲面面积的方法 | |
CN109191528B (zh) | 利用球像与圆环点极线的性质标定针孔摄像机的方法 | |
Barrois et al. | Spatio-temporal 3d pose estimation of objects in stereo images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240110 Address after: Room 1810, building 2, No. 209, Zhuyuan Road, high tech Zone, Suzhou, Jiangsu 215000 Patentee after: Faoyiwei (Suzhou) Robot System Co.,Ltd. Address before: 250061, No. ten, No. 17923, Lixia District, Ji'nan City, Shandong Province Patentee before: SHANDONG University |
|
TR01 | Transfer of patent right |