CN103514625A

CN103514625A - 基于多视角自适应特征配准的三维重建方法

Info

Publication number: CN103514625A
Application number: CN201210204510.1A
Authority: CN
Inventors: 谢剑锋; 周智明
Original assignee: Upper Sea Route Is With Information Technology Co Ltd
Current assignee: Upper Sea Route Is With Information Technology Co Ltd
Priority date: 2012-06-20
Filing date: 2012-06-20
Publication date: 2014-01-15

Abstract

本发明公开一种基于多视角自适应特征配准的三维重建方法，包含由包含以下步骤：A.选中每幅二维图像的种子点；B.采用区域生长法对二维图像进行图像分割，得到每幅图像每个图形的边界点集合；C.结合分割图像的边界点集合和极线几何约束理论，自适应的对角度邻近的两幅图像进行立体配准；D.根据边界点的视差图像，进行三维重建。本发明充分利用了图像分割的区域生长方法、极线几何约束理论，有效解决了特征点选取、立体配准的需求，适用于三维重建系统的实施。

Description

基于多视角自适应特征配准的三维重建方法

技术领域

本发明涉及一种计算机图像处理的方法，具体是通过对像素的处理以获取三维图像数据的方法。

背景技术

由多角度的视察图像进行三维重建，关键是确定场景中同一物点在不同图像中的对应关系，解决该问题的方法之一是选择合适的图像特征并进行匹配。特征是像素或像素集合或它们的抽象表达，常用的匹配特征主要有点特征、线状特征和区域特征等。一般来讲，大尺度特征含有较丰富的信息，本身数据较少，易于得到快速匹配，但对它们的提取和描述相对复杂，定位精度也差；而小尺度特征本身的定位精高，表达描述简单，但数目众多，所含信息量却较少，因而在匹配时需要采用较强的约束准则和匹配策略。因此合理的选择匹配特征对立体匹配工作有十分重要的意义，应综合考虑各种因素，根据不同的景物特点和应用要求选择。一般的，对于包含有大量非规则形状和高度突变的场景，比较适合提取点状特征，因为提取险段、区域等特征既困难又会引入误差；对于具有规则结构的场景，若线段和区域特征的提取和描述比较容易且误差较少，应提取线段特征以实现快速匹配。

发明内容

本发明主要是针对现有对二维图像进行三维重建的方法中存在运算量大、鲁棒性不强等缺陷，提出一种基于多视角图像区域生长的自适应特征配准的三维重建方法，它是一个将成组的像素或区域发展成更大区域的过程，这些点的区域增长是通过将与每个种子点具有相似属性如强度、灰度、纹理颜色等的相邻像素合并到给定区域，因此它是一个不断迭代的过程，其通常能将具有相同特征的连通区域分割出来，提供很好的边界信息和分割结果，并且简单易实现。本方法主要通过在多视角的二维图像基础上，采用图像区域生长的方式得到特征点，然后进行自适应特征配准，最后得到视差图像，进行三维重建。

本发明所采用的技术方案为：

包括如下步骤：

A. 选中每幅二维图像的种子点；

B. 采用区域生长法对二维图像进行图像分割，得到每幅图像每个图形的边界点集合；

C. 结合分割图像的边界点集合和极线几何约束理论，自适应的对角度邻近的两幅图像进行立体配准；

D. 根据边界点的视差图像，进行三维重建。

所述选中每幅二维图像种子点步骤，由用户采用人工的方式选定各个区域的种子点，以备后续的图像分割使用。这样的方法避免了选择轮廓或者选择特征点的过多的人为方式。区域生长法的人工选择种子点，可以在一大片相同属性的像素中选择一个就可以，大大降低了人为参与的干扰度。

所述的采用区域生长法对二维图像进行图像分割，得到每幅图像每个图形的边界点集合的步骤，是先将二维彩色图像转换到HIS空间上，在 HIS空间中，亮度分量 I 类似与彩色图像灰度化后的值，对人眼的感知最接近于原先的彩色图像，然后通过I分量，计算种子点相邻八个像素的差值；如果都小于阈值T，说明该点仍然是区域内的点，反之，说明该点已经处于某个方向上的边界点。对小于阈值T的相邻点，将其压入堆栈，作为新的种子点；通过上述方法的反复迭代，最终得到区域的边界点集合。

所述结合分割图像的边界点集合和极线几何约束理论，自适应的对角度邻近的两幅图像进行立体配准的步骤，根据前一步骤得到的边界点集合，运用极线几何约束理论，对角度相邻的两幅图像进行自适应立体配准。

所述极线几何约束理论，即当给定一点P，它的匹配点一定出现在它所对应的极线上，由此，可以将我们的搜索空间压缩到一维的直线，即极线上。求得极线后，对图像上沿极线方向上的像素点匹配，能很方便的找出该点在对应图像上的匹配点。

所述自适应立体配准，即由极线几何约束理论得到的极线，必然与区域产生交点，结合图像的拍摄角度，系统可以的自适应的求出对应的交点即为需要配准的特征点。

所述根据边界点的视差图像，进行三维重建步骤，当通过立体匹配得到边界点视差图像后，就可以确定深度图像并恢复边界点场景3D信息了，因为前述运用区域生长的分割方法，区域内的图像I分量比较类似，采用种子点的像素色彩对区域内的三维表面进行插值重建。

本发明采用以上技术方案的有益效果是：

（1）通过区域生长法得到区域的边界点集合，从而作为图像配准的特征点，极大的避免了人为选择特征的随意性和误差；

（2）结合区域边界点集合作为特征点、极线几何约束理论以及相邻图像的角度关系，快速、高效的得到配准点。

本发明充分利用了图像分割的区域生长方法、极线几何约束理论，有效解决了特征点选取、立体配准的需求，适用于三维重建系统的实施。

附图说明

图1为本实施例的框架示意图；

图2为本实施例采用的图像分割法涉及的函数方法示意图；

图3为本实施例采用的区域生长图像分割法的示意图；

图4为本实施例运用极线几何约束理论的立体配准示意图。

具体实施方式

本发明提出的基于多视角自适应特征配准的三维重建方法，在本部门结合具体实施例及附图详细说明。

如图1所示，本发明提出的方法，包括完整的五个步骤：

第一步，人工选定图像区域的种子点。通过人工选定的种子点的方式，既降低了自动计算的复杂度，又为后续的特征点选择提供了很高的准确率；

第二步，对二维图像进行图像分割。采用区域生长法，基于选定的种子，逐步扩展，得到图像区域；

第三步，获取图像的区域边界，作为图像配准的特征点；

第四步，利用极线几何约束理论进行立体配准，由于特征点都是在边界上的，那么通过利用图像分割区域的边界和极线的交点，很容易得出配准点；

第五步，将得到的视差图像进行三维重建。

人工选定图像区域的种子点步骤，需要对所有的二维图像进行种子点选择，当然，为了简单、准确、高效，我们采用从某一视点开始的二维图像开始，基于同一个旋转方向，依次对对应的二维图像进行种子点的选择。

对二维图像进行图像分割步骤，主要是采用基于区域生长的方法来进行图像分割，如图2所示，基于区域生长的方法包括以下几个部分：

（1）主函数main，该函数是整个方法的总控函数，完全种子点数据的输入，调用其它部分，采取多种判断、循环操作，最终完成图像区域的分割；

（2）设置堆栈stack1，用于存放扩充选入待判断的像素点，同时进行相应的操作；

（3）设置堆栈stack2，用于存放满足生成规则的像素点，并待进一步处理；

（4）排序函数arrange，用于对stack1中的数据进行排序。

如图3所示，二维图像具体分割方法由以下几个步骤组成：

（1）输入选定的种子点和区域生长准则T，生成二维矩阵Cut，对应着二位图像的每个象素，初始值为255；

（2）基于种子点坐标，设定Cut矩阵中对应的标志值为0；

（3）将种子点周围的8个点压入堆栈stack1，并标记对应的Cut矩阵中的标志为125，对stack1进行排序；

（4）根据区域生长准则T，针对堆栈stack1，逐个判断是否符合该区域生长准则；

（5）将堆栈stack1中满足区域生长准则的点压入堆栈stack2，并删除stack1中对应的点，将指针sp2指向新压入的第一个点；

（6）依次取出新压入堆栈stack2中的点，将Cut矩阵中对应的标志值设为0，搜索与之相邻的8个点；

（7）检查与之相邻的这8个点对应Cut矩阵中的标志值是否为255，如果为255说明该点还没有处理过；

（8）将检查出来的没有处理过的点加入stack1，并标记对应Cut矩阵中的标志值为125。当（5）步提取出来的点都处理完以后，令sp2=0。

获取每个图像的边界步骤，根据上一步骤分割得到的图像区域，得到该区域二维座标的最大最小值（XMIN，YMIN，XMAX，YMAX）。在（XMIN，YMIN）和（XMAX，YMAX）所规定的矩形内，逐行进行扫描，每个点与堆栈stack2中的点进行比较，如果在X轴上是本行内第一个或者最后一个在堆栈stack2中存在的点，该点即为边界点，压入堆栈stack3。

应用极线几何约束理论进行立体配准步骤（如图4），具体分为以下几个实施步骤：

（1）选定一幅二维图作为起点匹配图，并将其分割图像区域的边界点作为特征点，相邻的一幅图作为待配准的图；

（2）求出特征点在待配准图上的对应的极线；

（3）将（2）中求出的极线与待配准图上的各个区域边界进行比较，得到一系列的交点；

（4）将（3）中得到的交点像素色彩与特征点的色彩进行比较，由于选择种子点的时候，已经确定不同区域的色彩有明显不同，因此色彩相近的点即为配准点。如果在同一个配准区域上有多个交点，根据两幅图像旋转的角度，得出对应的点为配准点；

（5）重复步骤（2），即可以求出两幅相邻的二维图像所有的配准点；

（6）按照相同的角度，对相邻的图像依次进行配准。

进行三维重建步骤，一举以上得到的视差图像，对所有的特征点进行三维重建。因为我们前述运用区域生长的分割方法，区域内的图像I分量比较类似，采用种子点的像素色彩对区域内的三维表面进行插值重建。最终完成这个模型从多角度二维图像向三维的重建工作。

上述的具体实施方式只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；只要是根据本专利公开的技术方案所做出的技术内容实质相同或等同的任何的变更或修饰，均落入本专利包括的范围。

Claims

1.一种基于多视角自适应特征配准的三维重建方法，其特征在于：包含以下步骤：

选中每幅二维图像的种子点；

采用区域生长法对二维图像进行图像分割，得到每幅图像每个图形的边界点集合；

结合分割图像的边界点集合和极线几何约束理论，自适应的对角度邻近的两幅图像进行立体配准；

根据边界点的视差图像，进行三维重建。

2.如权利要求1所述的基于多视角自适应特征配准的三维重建方法，其特征在于：所述步骤A，由用户采用人工的方式选定各个区域的种子点，以备后续的图像分割使用。

3.如权利要求1所述的基于多视角自适应特征配准的三维重建方法，其特征在于：所述的步骤B，是先将二维彩色图像转换到HIS空间上，在 HIS 空间中，亮度分量 I 类似与彩色图像灰度化后的值，对人眼的感知最接近于原先的彩色图像，然后通过I分量，计算种子点相邻八个像素的差值；如果都小于阈值T，说明该点仍然是区域内的点，反之，说明该点已经处于某个方向上的边界点；对小于阈值T的相邻点，将其压入堆栈，作为新的种子点；通过上述方法的反复迭代，最终得到区域的边界点集合。

4.如权利要求1所述的基于多视角自适应特征配准的三维重建方法，其特征在于：所述的步骤C，根据前一步骤得到的边界点集合，运用极线几何约束理论，对角度相邻的两幅图像进行自适应立体配准。

5.如权利要求4所述的基于多视角自适应特征配准的三维重建方法，其特征在于：所述极线几何约束理论，即当给定一点P，它的匹配点一定出现在它所对应的极线上，由此，可以将我们的搜索空间压缩到一维的直线，即极线上；求得极线后，对图像上沿极线方向上的像素点匹配，能很方便的找出该点在对应图像上的匹配点。

6.如权利要求4所述的基于多视角自适应特征配准的三维重建方法，其特征在于：所述自适应立体配准，即由极线几何约束理论得到的极线，必然与区域产生交点，结合图像的拍摄角度，系统可以的自适应的求出对应的交点即为我们需要配准的特征点。

7.如权利要求1所述的基于多视角自适应特征配准的三维重建方法，其特征在于：所述的步骤D，通过立体匹配得到边界点视差图像，确定深度图像并恢复边界点场景3D信息。