CN109816782A

CN109816782A - 一种基于双目视觉的室内场景三维重建方法

Info

Publication number: CN109816782A
Application number: CN201910108230.2A
Authority: CN
Inventors: 曹宇; 张庆鹏
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2019-02-03
Filing date: 2019-02-03
Publication date: 2019-05-28

Abstract

本发明公开了一种基于双目视觉的室内场景三维重建方法，包含以下步骤：A、输入待匹配图像对，图像对包括图像1和图像2；B、依次对图像1和图像2实行融合颜色和光照信息的灰度化；C、对灰度化后的图像1和图像2采用SIFT算法提取特征点，生成特征点描述子；D、计算参考图像中的每个特征点与待匹配图像中所有特征点的欧氏距离，找到与参考图像特征点匹配的点，本发明对获取离散三维空间点进行Delaunay三角剖分和Open GL纹理贴图，三维重建结果真实感强，可视效果好。

Description

一种基于双目视觉的室内场景三维重建方法

技术领域

本发明涉及一种三维重建方法，具体是一种基于双目视觉的室内场景三维重建方法。

背景技术

视觉是人体最重要的感官，人类有80％的信息是由视觉获取。计算机视觉源于1982年，MIT的Marr教授在人工智能实验室第一次将信息处理与数学、物理、神经生物等学科相结合，提出了计算机视觉系统的原始框架，使得计算机视觉系统有了一个完整的体系，之后的研究也都是基于这一理论体系进行丰富和扩展。计算机视觉的核心目的在于使机器具有与人类视觉相同的功能，能够感知、获取以及分析周围环境。最开始人们使用三维绘图软件构建物体的三维模型，但此方法耗时耗力，并且精度难以保证。为此研究人员开始探索如何利用己有的现实物体信息构建物体的三维模型。

坐标测量机的出现使得人们可以直接对现实物体进行坐标测量并进行物体的三维重构，虽然可以获得较高的精度，但此方法需要的设备价格昂贵，并且实施起来较为困难，对于体积较大的物体更是无法进行测量。近些年来，人们利用各种扫描仪获取物体的深度信息，但同样面临着价格昂贵以及通用性差的问题，这大大限制了其应用范围。随着计算机视觉技术的迅速发展，人们通过图像能够获取目标物体的三维信息，形成了计算机视觉领域的又一研究热点。

由立体空间映射到平面空间得到图像，这一转换过程所导致深度信息的丢失是不可逆的。在过去计算机视觉数十年的研究中，最为广泛应用的数据是二维图像。作为计算机视觉核心问题的三维重建就是运用视觉相关技术从图像采集设备获取到的一幅或多幅二维图像中恢复图像所表达场景的深度数据，以实现深度测量或三维重构。

基于双目立体视觉的三维重建模拟人类视觉系统原理，目前在机器视觉领域中是被广泛研究和应用的一个重要分支，其主要原理是通过两个相机从不同角度同时拍摄到两幅图像，结合两幅图的匹配结果与标定所得的相机内外参数，就能够获得所拍摄场景的立体信息^[8]。

目前，双目立体视觉系统已经广泛应用于无人商店、无人超市、无人加油站中等需要检验、监视、视觉导航的多种领域，并且展露出其非常广阔的发展前景。例如，安装在医疗机器人上的双目视觉装置可以自动化手术，深海机器人在深海作业时，其视觉系统可以感知周围环境，并为其避障和导航，加油机器人可以通过视觉系统定位油箱口位置并为各种不同小轿车加油。由于其不需要复杂的光源设备，并且具有易用性、便捷性、可靠性等诸多优点，正在广泛地应用在各领域。

因此研究一种融合色彩和光照信息的Harris-SIFT算法，应用于室内场景的三维重建，避免光照对三维重建的影响。

发明内容

本发明的目的在于提供一种基于双目视觉的室内场景三维重建方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于双目视觉的室内场景三维重建方法，包含以下步骤：

A、输入待匹配图像对，图像对包括图像1和图像2；

B、依次对图像1和图像2实行融合颜色和光照信息的灰度化；

C、对灰度化后的图像1和图像2采用SIFT算法提取特征点，生成特征点描述子；

D、计算参考图像中的每个特征点与待匹配图像中所有特征点的欧氏距离，找到与参考图像特征点匹配的点。

作为本发明的进一步技术方案：所述步骤A通过双目相机实现。

作为本发明的进一步技术方案：在进行步骤A之前需要进行相机标定。

作为本发明的进一步技术方案：所述相机标定是根据双目立体视觉原理搭建视觉平台，采用平行双目相机结构，对相机线性成像模型和非线性成像模型以及标定方法进行标定。

作为本发明的进一步技术方案：所述步骤B具体是：首先计算图像的彩色信息，划分颜色色域，其次，根据图像彩色信息中的色差信息计算彩色补偿量，然后，彩色补偿量和最初得到的灰度值通过高斯权重函数得出光照补偿量，最后，在最初的灰度值基础上增加彩色补偿量和光照补偿量得到最终的灰度值。

作为本发明的进一步技术方案：所述光照补偿量的提取采用公式如下：式中，λ式对比参数，取值范围为[1,3]，P是初步得到的灰度值，Y是原始灰度值，σ是标准差，Y_E是根据原始灰度值对初步得到的灰度值进行调整而得，最终的灰度值由原始灰度值、彩色补偿量和光照补偿量组成，即：W＝Y+Y_C+Y_E。

作为本发明的进一步技术方案：所述彩色补偿量和光照补偿量采用YIQ彩色空间来计算。

与现有技术相比，本发明的有益效果是：1、对获取离散三维空间点进行Delaunay三角剖分和Open GL纹理贴图，三维重建结果真实感强，可视效果好。2、通过室内和室外实际场景图片进行匹配，融合色彩和光照信息的Harris-SIFT图像匹配算法，算法根据图像的颜色特征提取彩色补偿量和光照补偿量，并与Harris-SIFT算法图像匹配相结合。对7组存在多种变化的图像对进行匹配测试的结果表明，相较于传统Harris-SIFT算法，算法具有匹配点数多，匹配精度高，匹配性能好的优点。在实现图像匹配的抗尺度变化、抗旋转变化、抗仿射变化、抗亮度变化以及抗综合干扰方面的能力，算法都要优于传统Harris-SIFT算法，同时匹配时间较融合色彩和光照信息的SIFT算法相比明显减少。

附图说明

图1为算法研究流程图。

图2为本发明总体方案流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：请参阅图1-2，一种基于双目视觉的室内场景三维重建方法，首先进行相机标定，相机为双目相机，具体的标定方法是根据双目立体视觉原理搭建视觉平台，采用平行双目相机结构，对相机线性成像模型和非线性成像模型以及标定方法进行标定，然后进行以下步骤：

A、输入待匹配图像对，图像对包括图像1和图像2；

B、依次对图像1和图像2实行融合颜色和光照信息的灰度化；首先计算图像的彩色信息，划分颜色色域，其次，根据图像彩色信息中的色差信息计算彩色补偿量，然后，彩色补偿量和最初得到的灰度值通过高斯权重函数得出光照补偿量，最后，在最初的灰度值基础上增加彩色补偿量和光照补偿量得到最终的灰度值。其中，光照补偿量的提取采用公式如下：式中，λ式对比参数，取值范围为[1,3]，P是初步得到的灰度值，Y是原始灰度值，σ是标准差，Y_E是根据原始灰度值对初步得到的灰度值进行调整而得，最终的灰度值由原始灰度值、彩色补偿量和光照补偿量组成，即：W＝Y+Y_C+Y_E。

针对上述内容中的算法描述：

SIFT对于光线、噪声、微视角改变的容忍度高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。SIFT特征的信息量大，不适合在海量数据库中快速准确匹配，匹配时间较长。

针对SIFT算法因灰度图像色彩信息缺失和光照变化引起传统算法匹配能力差的问题，提出融合色彩和光照信息的SIFT图像匹配算法匹配精度更高，匹配性能好且获得地匹配点数多，与经典的SIFT算法相比优势明显。融合了色彩和光照信息的SIFT算法虽然提高了匹配精度，获得了更多匹配点，但色彩和光照补偿量的计算过程涉及到多个参数的设置，要花费大量的时间调试才能得出适合的参数

Harris角点提取算法通过自相关矩阵的角点提取算法，Harris角点检测算法在运算速度、抗噪声干扰方面具有独特的优势，尤其Harris算法提取的特征点能够很好的表现物体的特征。

Harris-SIFT算法在特征检测方面，对Harris角点检测算法加入尺度参数，构建多尺度的Harris角点检测算子，使其在保持旋转变化、光照变化和噪声变化等的不变性基础上提高对尺度变化的适应性。其次在特征描述方面，采用28维的逐层递增回字形描述符，对SIFT算法的特征描述符进行降维处理，在保证算法高匹配率的基础上大大减少匹配算法的计算量。最后在特征匹配方面，对欧式距离进行标准化，采用标准欧式距离进行相似性度量，在减少匹配时间的基础上提高算法匹配的正确率，Harris角点检测算法，去除了大量不显著的特征点，获得的角点更能变现物体特征，而该算法中相似性度量没有考虑图像的颜色信息，都是基于图像的灰度值进行的。因此，光照变化严重影响匹配算法的鲁棒性。

图像匹配的光照变化一直是一个难点，光照变化会使对同一空间场景拍摄的图像中对应像素点的颜色直方图不同，出现左右视图特征点的误检和漏检现象，进而增加后续图像匹配的难度，因此提出一种融合色彩和光照信息的Harris-SIFT匹配算法。

针对上述方法的具体研究内容：

本发明主要内容有相机定标、图像特征提取与匹配、三维重建三个部分。

(1)在相机标定部分：

研究相机的成像模型，深入分析标定坐标系之间的关系。通过张正友的标定算法，求得双目相机的内外参数。

(2)在图像特征提取与匹配方面：

提出一种新的融合色彩和光照信息Harris-SIFT图像匹配算法。新算法首先求出彩色图像各个像素的彩色补偿量和光照补偿量，并在图像灰度化时增加彩色补偿量和光照补偿量来增强对比度，减小颜色差异带来的匹配误差，对得到的灰度图利用Harris-SIFT算法进行图像匹配。新算法可以有效区分不同颜色但灰度相似的区域，增加Harris-SIFT算法的匹配点数和准确率，同时减少匹配时间，提高算法的匹配性能。

(3)三维重建部分：

对立体图像对完成特征点的匹配后，通过标定好的摄像机内外参数就能够建立匹配点对与三维物点的对应关系，得到空间点的三维信息。最后实验验证算法的鲁棒性，并采取实验设置相似图像对之间错误匹配的阈值。就改进算法与原算法进行实验对比分析，主要从尺度变化、旋转变化、角度变化和光照变化几个方面进行对比，验证改进算法的适应性，从匹配时间上和匹配率上对比验证改进算法的时效性和准确性。

本发明的研究方案如下：

1.双目相机标定原理与方法研究

根据双目立体视觉原理搭建视觉平台，采用平行双目相机结构，对相机线性成像模型和非线性成像模型以及标定方法进行标定。

2.融合色彩和光照信息的Harris-SIFT匹配算法

考虑到对于图像匹配而言光照变化一直是一个难点，针对灰度图像色彩信息缺失导致SIFT算法匹配能力差的问题，提出一种新的融合色彩和光照信息的Harris-SIFT图像匹配算法，通过在图像灰度化时增加彩色补偿量和光照补偿量来增强对比度，减小颜色差异和光照变化对匹配的影响，结合Harris的快速性提高匹配速度，并将实验结果与其他算法对比，表明算法的有效性和快速性。

(1)融合色彩和光照信息的灰度化

对于融合彩色和光照信息的灰度化的过程分为四步：首先计算图像的彩色信息，划分颜色色域，其次，根据图像彩色信息中的色差信息计算彩色补偿量，然后，彩色补偿量和最初得到的灰度值通过高斯权重函数得出光照补偿量，最后，在最初的灰度值基础上增加彩色补偿量和光照补偿量得到最终的灰度值。

目前，有许多彩色空间可以用两个颜色分量和一个亮度分量来代表所有的颜色，如CIELAB,CIELUV,YIQ,YCBCR。CIELAB是在1931CIE XYZ颜色空间(1931年国际照明委员会(CIE)制定的颜色度量国际标准)基础上建立起来的，其中L分量代表亮度，表示从纯黑到纯白的变化程度，A和B则代表色度，B表示从黄色到蓝色的变化程度，A表示从红色到绿色的变化程度，GIELUV是在1931CIE XYZ颜色空间基础上建立起来的另一种颜色空间，其中L分量代表亮度。U、Y则代表色度，分别与A,B相似。YIQ和YCBCR是由RGB颜色空间(1931年国际照明委员会(CIE)制定的颜色度量国际标准)直接线性变换得到，其中Y分量代表亮度，I表示从橙色到蓝色的变化程度，又称为色度信号，Q表示从紫色到绿色的变化程度，又称为饱和度信号，CB表示蓝色分量与一个参考值之差，CR表示红色分量与一个参考值之差。为了使彩色补偿量能准确提供颜色变化特性，增加灰度图的对比度，又考虑目前数码产品的图像多采用RGB颜色空间表示，本文选用YIQ彩色空间来计算彩色补偿量和光照补偿量。

YIQ彩色空间与RGB颜色空间的变换关系如下：

式中，R代表红色分量，G代表绿色分量，B代表蓝色分量，Y分量代表亮度，也是最原始的灰度图像。初步得到的灰度值是在原始灰度值的基础上加上彩色补偿量，即:

P＝Y+Y_C (2)

式中Y_C为彩色补偿量，用来反映彩色图像的颜色特征和调整灰度值。为了充分反映彩色图像的颜色特性和保证灰度的连续性，彩色补偿量的提取方程式如下:

Y_C＝k·sgn(200×I)·|200×I|^α+k·sgn(50×Q)·|50×Q|^α (3)

式中，k式对比参数，取值范围为[1,4]，α是范围参数，取值范围为[0.4,0.6]。由式(3)可知Y_C图像中蓝色分量多于橙色分量。I>0表示彩色图像中橙色分量多于蓝色分量。I＝0表示彩色图像中蓝色分量等于橙色分量。通过I分量，表征颜色变化反映出的亮度变化特性。

(2)光照补偿量的提取：

目前，调整图像光照强度大多采用高斯权重函数。为了保持更多的图像细节和增加对比度，光照补偿量的提取方程式如下：

式中，λ式对比参数，取值范围为[1,3]，P是初步得到的灰度值，Y是原始灰度值，σ是标准差。由式(4)可知Y_E是根据原始灰度值对初步得到的灰度值进行调整而得。

最终的灰度值由原始灰度值、彩色补偿量和光照补偿量组成，即:

W＝Y+Y_C+Y_E (5)

(3)Harris-SIFT算法：

在特征检测方面，对Harris角点检测算法加入尺度参数，构建多尺度的Harris角点检测算子，使其在保持尺度变化、旋转变化、光照变化和噪声变化等的不变性基础上提高对尺度变化的适应性。在特征描述方面，采用28维的逐层递增回字形描述符对SIFT算法的描述符进行降维处理，在保证算法高匹配率的基础上大大减少匹配算法的计算量。在特征匹配方面，采用标准欧式距离进行相似性度量，在减少匹配时间的基础上提高算法匹配的正确率。实验方面首先利用经典的SIFT算法进行相似性图像对的匹配实验，根据实验结果设置匹配阈值。然后分别就SIFT算法、Harris算法和改进Harris-SIFT算法以及融合色彩和光照信息的SIFT算法进行图像检测和匹配实验对比。最后对实验数据结果进行分析，得出实验结论。

实施例2，在实施例1的基础上，在实验结束后进行基于改进算法的三维重建实验结果与分析：步骤如下：首先，分析物体空间三维点的三维重建原理，然后对获取的离散三维空间点进行Delaunay三角剖分和Open GL纹理贴图，使三维重建结果真实感强，可视效果好。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种基于双目视觉的室内场景三维重建方法，其特征在于，包含以下步骤：

A、输入待匹配图像对，图像对包括图像1和图像2；

B、依次对图像1和图像2实行融合颜色和光照信息的灰度化；

2.根据权利要求1所述的一种基于双目视觉的室内场景三维重建方法，其特征在于，所述步骤A通过双目相机实现。

3.根据权利要求1所述的一种基于双目视觉的室内场景三维重建方法，其特征在于，在进行步骤A之前需要进行相机标定。

4.根据权利要求3所述的一种基于双目视觉的室内场景三维重建方法，其特征在于，所述相机标定是根据双目立体视觉原理搭建视觉平台，采用平行双目相机结构，对相机线性成像模型和非线性成像模型以及标定方法进行标定。

5.根据权利要求1所述的一种基于双目视觉的室内场景三维重建方法，其特征在于，所述步骤B具体是：首先计算图像的彩色信息，划分颜色色域，其次，根据图像彩色信息中的色差信息计算彩色补偿量，然后，彩色补偿量和最初得到的灰度值通过高斯权重函数得出光照补偿量，最后，在最初的灰度值基础上增加彩色补偿量和光照补偿量得到最终的灰度值。

6.根据权利要求5所述的一种基于双目视觉的室内场景三维重建方法，其特征在于，所述光照补偿量的提取采用公式如下：式中，λ式对比参数，取值范围为[1,3]，P是初步得到的灰度值，Y是原始灰度值，σ是标准差，Y_E是根据原始灰度值对初步得到的灰度值进行调整而得，最终的灰度值由原始灰度值、彩色补偿量和光照补偿量组成，即：W＝Y+Y_C+Y_E。

7.根据权利要求5所述的一种基于双目视觉的室内场景三维重建方法，其特征在于，所述彩色补偿量和光照补偿量采用YIQ彩色空间来计算。