CN109285210B - 结合拓扑关系和极线约束的管路三维重建方法 - Google Patents
结合拓扑关系和极线约束的管路三维重建方法 Download PDFInfo
- Publication number
- CN109285210B CN109285210B CN201710589576.XA CN201710589576A CN109285210B CN 109285210 B CN109285210 B CN 109285210B CN 201710589576 A CN201710589576 A CN 201710589576A CN 109285210 B CN109285210 B CN 109285210B
- Authority
- CN
- China
- Prior art keywords
- image
- bent pipe
- straight line
- central axis
- dimensional reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000003708 edge detection Methods 0.000 abstract 1
- 238000003709 image segmentation Methods 0.000 abstract 1
- 238000005452 bending Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及结合拓扑关系和极线约束的管路三维重建方法。其步骤为:首先利用已全局标定的工业相机对导管图像进行同步采集,进行图像增强,使图像边缘锐化,进而利用边缘检测算法检测图像边缘,滤除错误的边缘区域,得到弯管图像边缘区域,然后对边缘图像进行骨架提取得到弯管图像的中轴线,借助于图像分割将中轴线分割成直线段和椭圆段区域,最后借助于透射变化中的拓扑关系和极线约束对控制点进行三维重建,结合弯管的管径和弧径重建出弯管的三维模型。本发明方法能有效的重建管路的三维模型；能有效剔除极线约束过程中造成的多义性，得到的控制点鲁棒性强；精度高，效率高。
Description
技术领域
本发明涉及计算机视觉技术领域,具体的说是结合拓扑关系和极线约束的 管路三维重建方法。
背景技术
在管路装配之前，需要对管件弯曲成形后的空间几何形态进行精确测量， 从而对具有不同弯曲角度、曲线以及直线部分的管件加工后数据和设计模型数 据进行对比，以实现管件加工过程中的回弹补偿和加工后的质量校验。只有测 量合格的关键才能实施装配，并以此装配成功，对于不合格的管路，可根据测 量结果修正加工参数。
目前对成型的弯管测量方式主要是接触式的，例如靠模法、三坐标测量机、 关节式坐标测量机等，这些方法存在对比装置制造困难，容易造成损伤或变形， 效率低，过分依赖操作者主观判断，无法重建三维模型以及无定位基准等缺陷。 因此如何有效地缩短研制时间、降低研制成本、提高产品质量是弯管快速加工 制造的主要目的。
张天等人在“基于多目视觉的弯管空间参数测量方法”中，提取中心轴线 上的离散特征点列，利用极线约束进行中心线三维重建，然而该方法具有多义 性，造成大量的误匹配点，不能适应于大量的弯管类型。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一 种结合拓扑关系和极线约束的管路三维重建方法，该方法有效的结合投射投影 过程中直线段交比不变性和叉积符号量不变性等拓扑关系，剔除了多义性的控 制点，鲁棒性强，效率高，精度高。
本发明为实现上述目的所采用的技术方案是：结合拓扑关系和极线约束的 管路三维重建方法，包括以下步骤：
步骤1：对多个工业相机进行全局标定，同步触发多个工业相机采集不同视 角下放置在背光板上的原始弯管图像；
步骤2：对每一幅原始弯管图像进行如下步骤2.1至步骤2.4的处理；
步骤2.1：增强原始弯管图像的高频分量获取边缘尖锐的图像：
res＝round((orig-mean)*Factor)+orig
其中，res表示增强后的图像，orig表示原图像，mean表示由图像线性平滑得 到的图像，Factor表示对比度增强系数，round表示四舍五入取整；
步骤2.2：对增强后的图像进行亚像素精度边缘提取，滤除干扰边缘得到弯 管的边缘区域；
步骤2.3：对弯管的边缘区域进行骨架提取，得到弯管区域的中心轴线；
步骤2.4：将弯管中心轴线分割成直线段和椭圆段；
步骤3：若在第i个工业相机拍摄的图像中弯管中心轴线被分割成n条直线 段，计算任意相邻两个直线段
的交点作为该幅图像的待匹配点Pi n-1，结合 直线段和待匹配点记为
步骤4：由全局标定得到工业相机的内外参数，并借助极线约束对任意两个 工业相机a、b拍摄的两幅图像的待匹配点
和
进行特征 点匹配，得到特征匹配点对，其中m表示工业相机a拍摄图像中弯管中轴线分 割的直线段数，s表示工业相机b拍摄图像中弯管中轴线分割的直线段数；
步骤5：利用拓扑关系中叉积符号量和直线交比透视投影不变性去除步骤4 中特征匹配点对的误匹配点，得到最终的特征匹配点对作为弯管的控制点。
所述对多个工业相机进行全局标定是利用单个激光跟踪仪和一个平面靶标。
所述原始弯管图像是由若干直线段区域和圆弧段区域组成的。
所述步骤2.2中是利用Canny检测算子对增强后的图像进行亚像素精度边缘 提取。
所述骨架提取包括：以距离两侧边界上两点等距的像素点作为中轴线的像 素点，用于图像细化。
所述将弯管中心轴线分割成直线段和椭圆段，包括：
将弯管中心轴线近似的通过一个过度分割的多边形曲线来表示，遍历多边 形曲线的每条边；如果拟合直线段的误差小于拟合椭圆段的误差，则彼此相邻 的线段就被合并为直线段；如果拟合椭圆的误差小于拟合直线的误差，则彼此 相邻的线段就被合并为椭圆弧；迭代处理多边形曲线的所有边，直到没有可以 合并的直线段为止。
所述内外参数，包括：
内参数表示从工业相机坐标系到像平面坐标系的变换，像平面坐标系用像 素单位表示；每个镜头的畸变程度各不相同，包括径向畸变、偏心畸变；利用 二维柔性靶标对每个工业相机的内参数进行标定；
外参数表示从工业相机坐标系到世界坐标系的变换矩阵，通过旋转矩阵R和 平移矩阵T实现。
本发明具有以下有益效果及优点：
1.本发明所述的结合拓扑关系和极线约束的管路三维重建方法能有效的重 建管路的三维模型。
2.本发明所述的结合拓扑关系和极线约束的管路三维重建方法能有效剔除 极线约束过程中造成的多义性，得到的控制点鲁棒性强。
3.本发明所述的结合拓扑关系和极线约束的管路三维重建方法利用控制点 和外径重建管路的三维模型，精度高，效率高。
附图说明
图1为本发明方法流程图；
图2(a)为本发明方法中采用的叉积符号量不变性图之前的原图；
图2(b)为本发明方法中采用的叉积符号量不变性图透视投影后的图；
图3为本发明方法中采用的透视投影直线交比不变性图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
参照附图1、附图2(a)、附图2(b)和附图3，本发明所述结合拓扑关系 和极线约束的管路三维重建方法的具体步骤如下：
步骤1：严格触发多个工业相机对放置在背光板上的复杂弯管进行同步采集；
步骤2：对每一幅原始弯管图像进行如下步骤2.1至步骤2.4的处理：
步骤2.1：增强图像的高频分量(边缘和角点)，使得边缘更尖锐，图像更 清晰。
res＝round((orig-mean)*Factor)+orig
res表示增强后的图像，orig表示原图像，mean表示由图像线性平滑得到的图 像，相当于对图像进行低通滤波，Factor表示对比度增强系数。
步骤2.2：利用Canny检测算子对图像进行亚像素精度边缘提取，滤除干扰 边缘，得到弯管的边缘区域。
步骤2.3：对弯管的边缘区域进行骨架提取，得到弯管区域的中心轴线区域。
步骤2.4：对中心轴线区域进行中心线分割，将弯管中心线分割成直线段区 域和椭圆段区域。
将弯管中心轴线近似的通过一个过度分割的多边形曲线来表示，遍历多边形 曲线的每条边；如果拟合直线段的误差小于拟合椭圆段的误差，则彼此相邻的 线段就被合并为直线段；如果拟合椭圆的误差小于拟合直线的误差，则彼此相 邻的线段就被合并为椭圆弧；迭代处理多边形曲线的所有边，直到没有可以合 并的直线段为止。
步骤3：对每一幅图像计算步骤2.4中相邻两个直线段
的交点，作为 图像待匹配点Pi 1，结合直线段和待匹配点，记为
计算相邻两个直线段的交点，作为图像待匹配点，结合直线段记为
其中，
和
表示形成Pi n-1待匹配点的两条相 邻直线段，Pi n-1表示第i个工业相机采集图像获得的图像的第n-1个待匹配点。
步骤4：由全局标定得到工业相机的内外参数，并借助极线约束对任意两个 工业相机a、b拍摄的两幅图像的待匹配点
和
进行特征 点匹配，得到特征匹配点对，其中m表示工业相机a拍摄图像中弯管中轴线分 割的直线段数，s表示工业相机b拍摄图像中弯管中轴线分割的直线段数；
步骤5：由于特征点匹配容易造成多义性，利用拓扑关系中叉积符号量和直 线交比透视投影不变性去除多义性，得到精确的特征匹配点对。
附图2(a)、附图2(b)可知，空间中的公共端点P0，有向线段
和有向 线段
的叉积符号量在透视投影前后保持不变。
根据右手准则，相对于P0，叉积P1×P2即(P1-P0)×(P2-P0)＝(x1-x0)(y2-y0)-(x2-x0)(y1-y0) 的符号大于0，在P0,P1,P2经过透视投影后，叉积P1×P2即 (P1-P0)×(P2-P0)＝(x1-x0)(y2-y0)-(x2-x0)(y1-y0)的符号大于0，由此论证得到叉积符号量 在透视投影前后保持不变。
附图3可知，空间中的一条直线段经空间透视投影变换后，直线段上对应点 相互之间的交比保持不变。任意线段的交比保持不变，(ab,cd)＝(AB,CD)。利用这 个推论，假设取空间中相邻两个控制点之间的中点，经多个工业相机投影后， 该点仍处于图像中相邻两个控制点的中点。对于其他比例的点仍然适用，因此 取多个约束点就可以剔除多义性控制点。
本发明对多种管路进行测量，测量精度可以达到0.15mm，测量时间效率2s。 测量精度高，效率高，具有较强的稳定性。
Claims (7)
1.结合拓扑关系和极线约束的管路三维重建方法，其特征在于，包括以下步骤：
步骤1：对多个工业相机进行全局标定，同步触发多个工业相机采集不同视角下放置在背光板上的原始弯管图像；
步骤2：对每一幅原始弯管图像进行如下步骤2.1至步骤2.4的处理；
步骤2.1：增强原始弯管图像的高频分量获取边缘尖锐的图像：
res＝round((orig-mean)*Factor)+orig
其中，res表示增强后的图像，orig表示原图像，mean表示由图像线性平滑得到的图像，Factor表示对比度增强系数，round表示四舍五入取整；
步骤2.2：对增强后的图像进行亚像素精度边缘提取，滤除干扰边缘得到弯管的边缘区域；
步骤2.3：对弯管的边缘区域进行骨架提取，得到弯管区域的中心轴线；
步骤2.4：将弯管中心轴线分割成直线段和椭圆段；
步骤3：若在第i个工业相机拍摄的图像中弯管中心轴线被分割成n条直线段，计算任意相邻两个直线段
的交点作为该幅图像的待匹配点
结合直线段和待匹配点记为
步骤4：由全局标定得到工业相机的内外参数，并借助极线约束对任意两个工业相机a、b拍摄的两幅图像的待匹配点
和
进行特征点匹配，得到特征匹配点对，其中m表示工业相机a拍摄图像中弯管中轴线分割的直线段数，s表示工业相机b拍摄图像中弯管中轴线分割的直线段数；
步骤5：利用拓扑关系中叉积符号量和直线交比透视投影不变性去除步骤4中特征匹配点对的误匹配点，得到最终的特征匹配点对作为弯管的控制点。
2.根据权利要求1所述的结合拓扑关系和极线约束的管路三维重建方法，其特征在于，所述对多个工业相机进行全局标定是利用单个激光跟踪仪和一个平面靶标。
3.根据权利要求1所述的结合拓扑关系和极线约束的管路三维重建方法，其特征在于，所述原始弯管图像是由若干直线段区域和圆弧段区域组成的。
4.根据权利要求1所述的结合拓扑关系和极线约束的管路三维重建方法，其特征在于，所述步骤2.2中是利用Canny检测算子对增强后的图像进行亚像素精度边缘提取。
5.根据权利要求1所述的结合拓扑关系和极线约束的管路三维重建方法，其特征在于，所述骨架提取包括：以距离两侧边界上两点等距的像素点作为中轴线的像素点，用于图像细化。
6.根据权利要求1所述的结合拓扑关系和极线约束的管路三维重建方法，其特征在于，所述将弯管中心轴线分割成直线段和椭圆段，包括：
将弯管中心轴线近似的通过一个过度分割的多边形曲线来表示，遍历多边形曲线的每条边；如果拟合直线段的误差小于拟合椭圆段的误差，则彼此相邻的线段就被合并为直线段；如果拟合椭圆的误差小于拟合直线的误差，则彼此相邻的线段就被合并为椭圆弧；迭代处理多边形曲线的所有边，直到没有可以合并的直线段为止。
7.根据权利要求1所述的结合拓扑关系和极线约束的管路三维重建方法，其特征在于，所述内外参数，包括：
内参数表示从工业相机坐标系到像平面坐标系的变换，像平面坐标系用像素单位表示；每个镜头的畸变程度各不相同，包括径向畸变、偏心畸变；利用二维柔性靶标对每个工业相机的内参数进行标定；
外参数表示从工业相机坐标系到世界坐标系的变换矩阵，通过旋转矩阵R和平移矩阵T实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710589576.XA CN109285210B (zh) | 2017-07-19 | 2017-07-19 | 结合拓扑关系和极线约束的管路三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710589576.XA CN109285210B (zh) | 2017-07-19 | 2017-07-19 | 结合拓扑关系和极线约束的管路三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109285210A CN109285210A (zh) | 2019-01-29 |
| CN109285210B true CN109285210B (zh) | 2022-09-13 |
Family
ID=65184793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710589576.XA Active CN109285210B (zh) | 2017-07-19 | 2017-07-19 | 结合拓扑关系和极线约束的管路三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109285210B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112729150B (zh) * | 2019-10-14 | 2021-10-22 | 中国科学院沈阳自动化研究所 | 机器人夹持下的导管测量方法 |
| CN114066976A (zh) * | 2020-07-31 | 2022-02-18 | 沈阳智能机器人创新中心有限公司 | 一种基于多视图约束的导管中心线匹配方法 |
| CN112508885B (zh) * | 2020-11-24 | 2022-10-11 | 新拓三维技术(深圳)有限公司 | 一种弯管的三维中轴线检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011051297A1 (fr) * | 2009-10-30 | 2011-05-05 | Morpho | Procédé et dispositif pour obtenir une image d'un document défroissé à partir d'une image de ce document lorsqu'il est froissé |
| CN102521873A (zh) * | 2011-11-22 | 2012-06-27 | 中国科学院深圳先进技术研究院 | 血管的建模方法 |
| CN106228593A (zh) * | 2015-05-28 | 2016-12-14 | 长沙维纳斯克信息技术有限公司 | 一种图像密集匹配方法 |
-
2017
- 2017-07-19 CN CN201710589576.XA patent/CN109285210B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011051297A1 (fr) * | 2009-10-30 | 2011-05-05 | Morpho | Procédé et dispositif pour obtenir une image d'un document défroissé à partir d'une image de ce document lorsqu'il est froissé |
| CN102521873A (zh) * | 2011-11-22 | 2012-06-27 | 中国科学院深圳先进技术研究院 | 血管的建模方法 |
| CN106228593A (zh) * | 2015-05-28 | 2016-12-14 | 长沙维纳斯克信息技术有限公司 | 一种图像密集匹配方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于中心线匹配的导管三维重建技术;张天等;《自动化学报》;20150430;第41卷(第04期);第735-748页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109285210A (zh) | 2019-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969668B (zh) | 一种长焦双目相机的立体标定算法 | |
| CN107133989B (zh) | 一种三维扫描系统参数标定方法 | |
| CN106408609B (zh) | 一种基于双目视觉的并联机构末端运动位姿检测方法 | |
| CN104537707B (zh) | 像方型立体视觉在线移动实时测量系统 | |
| KR20190028794A (ko) | GPU 기반 TFT-LCD Mura 결함 탐지 방법 | |
| CN106780590A (zh) | 一种深度图的获取方法及系统 | |
| CN107588721A (zh) | 一种基于双目视觉的零件多尺寸的测量方法及系统 | |
| CN102750697A (zh) | 一种参数标定方法及装置 | |
| CN108492329B (zh) | 一种三维重建点云精度和完整度评价方法 | |
| CN108801175B (zh) | 一种高精度空间管路测量系统及方法 | |
| CN109285210B (zh) | 结合拓扑关系和极线约束的管路三维重建方法 | |
| Chen et al. | The location and identification of concentric circles in automatic camera calibration | |
| Alemán-Flores et al. | Line detection in images showing significant lens distortion and application to distortion correction | |
| CN111899290A (zh) | 一种联合偏振和双目视觉的三维重建方法 | |
| Perdigoto et al. | Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems | |
| CN114170284B (zh) | 基于主动标志点投射辅助的多视图点云配准方法 | |
| CN109974618A (zh) | 多传感器视觉测量系统的全局标定方法 | |
| CN116229017A (zh) | 一种基于逆向投影的管件三维模型重建方法 | |
| CN109272542A (zh) | 一种三维物体体积的确定方法 | |
| CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建系统和方法 | |
| CN116295113A (zh) | 一种融合条纹投影的偏振三维成像方法 | |
| CN114612412B (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
| CN103258327B (zh) | 一种基于二自由度摄像机的单点标定方法 | |
| CN113409395B (zh) | 导管管端高精度检测定位方法 | |
| Belhaoua et al. | Error evaluation in a stereovision-based 3D reconstruction system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |