CN107657656A - 同名点匹配及三维重建方法、系统和光度立体摄像终端 - Google Patents

Abstract

本申请公开了同名点匹配方法，包括获取多个图像采集模块对目标物体进行图像采集后得到的多组图像；分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像的法向图；分别获取与每个法向图对应的点云图，得到点云图集；利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点间的映射关系；利用所述三维同名点匹配关系及所述映射关系，确定相应图像间的同名点匹配关系，得到二维同名点匹配关系。本发明通过该方法得到了高精度、较准确转换的同名点匹配关系。基于该同名点匹配方法，本申请公开了相应的同名点匹配系统，三维重建方法和系统，和光度立体摄像终端。

Description

同名点匹配及三维重建方法、系统和光度立体摄像终端

技术领域

本发明涉及光度立体匹配领域，特别涉及同名点匹配及三维重建方法、系统和光度立体摄像终端。

背景技术

光度立体技术是一种三维表面重建，以便快速准确地获得三维模型的方法。利用光度立体视觉的方法计算表面法向量，并由表面法向量恹复三维表面信息，是一种简易快速的三维重建算法，在游戏三维建模、交互式动画等方面有广泛应用。其中，光度立体匹配是进行三维重建的一个重要步骤。通过对多组图像的光度立体匹配，获取立体的图像信息，从而进行三维重建。

现有技术中的所使用的同名点匹配算法不够理想，不能使点云之间精确配准，因此三维重建的信息不够准确，最终效果还不够理想。

发明内容

有鉴于此，本发明的目的在于提供同名点匹配及三维重建方法、系统和光度立体摄像终端，以提高同名点之间的匹配精度，提高了所获取的三维重建信息的准确度。其具体方案如下：

一种同名点匹配方法，包括：

获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像；

分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

分别获取与每个法向图对应的点云图，得到点云图集；

利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

优选的，所述获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像的过程，包括：

分别获取第一图像采集模块和第二图像采集模块对所述目标物体进行图像采集后得到的图像，得到第一组图像和第二组图像。

优选的，所述分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图的过程，包括：

分别对所述第一组图像和所述第二组图像进行光度法向计算，得到相应的第一法向图和第二法向图；

相应的，所述分别获取与每个法向图对应的点云图，得到点云图集的过程，包括：

分别获取与所述第一法向图和所述第二法向图对应的点云图，得到相应的第一点云图和第二点云图；

相应的，所述利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系的过程，包括：

利用所述三维同名点匹配关系、所述第一点云图与所述第一组图像之间的映射关系、所述第二点云图与所述第二组图像之间的映射关系，确定所述第一组图像与所述第二组图像之间的同名点匹配关系。

优选的，所述获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像的过程，包括：

控制多个波长相同的光源在不同照射时刻下对所述目标物体的照射；

分别获取多个图像采集模块在每个照射时刻下对所述目标物体进行图像采集后得到的多帧图像；

分别将每个图像采集模块进行图像采集后得到的多帧图像确定为一组图像，得到所述多组图像。

优选的，所述获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像的过程，包括：

控制波长互不相同的多个光源对对所述目标物体进行照射，并获取多个图像采集模块在所述多个光源照射时对所述目标物体进行图像采集后得到的多帧图像；其中，每个图像采集模块均包括工作波长分别与所述多个光源的波长一一对应的多个摄像单元；

分别将每个图像采集模块进行图像采集后得到的多帧图像确定为一组图像，得到所述多组图像。

优选的，对任意的两张点云图进行同名点匹配的过程，包括：

对所述两张点云图进行初始配准，得到初始匹配关系；

对所述初始匹配关系中的局部变形进行纠正，得到所述两张点云图的同名点匹配关系。

相应的，本发明还公开了一种三维重建方法，包括：

获取利用所述同名点匹配方法得到的二维同名点匹配关系；

根据所述二维同名点匹配关系，以及多个图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到所述目标物体的三维信息。

相应的，本发明还公开了一种同名点匹配系统，包括：

多个光源，用于照射目标物体；

多个图像采集模块；

图像获取模块，用于获取多个图像采集模块对所述目标物体进行图像采集后相应得到的多组图像；

法向计算模块，用于分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

点云图获取模块，用于分别获取与每个法向图对应的点云图，得到点云图集；

三维同名点匹配模块，用于利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

映射关系确定模块，用于根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

二维同名点匹配模块，用于利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

相应的，本发明还公开了一种三维重建系统，包括：

多个光源，用于照射目标物体；

多个图像采集模块；

图像获取模块，用于获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像；

法向计算模块，用于分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

点云图获取模块，用于分别获取与每个法向图对应的点云图，得到点云图集；

三维同名点匹配模块，用于利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

映射关系确定模块，用于根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

二维同名点匹配模块，用于利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系；

三维重建模块，用于根据所述二维同名点匹配关系，以及图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到所述目标物体的三维信息。

相应的，本发明还公开了一种光度立体摄像终端，包括多个光源、多个图像采集器、存储器以及处理器；其中，所述处理器通过调取所述存储器中存储的指令来执行如下步骤：

通过控制多个光源照射目标物体，获取所述多个图像采集器对目标物体进行图像采集后相应得到的多组图像；

分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

分别获取与每个法向图对应的点云图，得到点云图集；

利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系；

根据所述二维同名点匹配关系，以及图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到所述目标物体的三维信息。

本发明中，同名点匹配方法，包括：多个图像采集模块获取多组图像信息，根据每组图像信息获得对应的法向量，根据每个法向量获取对应的点云图，得到点云图集，对点云图集进行同名点匹配，得到三维同名点匹配关系，再利用三维同名点匹配关系、所用点云数据与图像像素点之间的映射关系，得到二维同名点匹配关系。每一个图像采集模块对应一组图像、一个法向图、一个点云图，图像、法向图、点云图之间存在映射关系，尤其表现在图像像素点和点云图同名点上。而多个图像采集模块所采集的图像是同一个目标物体的，因此不同图像采集模块的点云图之间可以相互匹配同名点，得到三维同名点匹配关系。再联系图像像素点和点云图同名点的映射关系，得到图像的二维同名点匹配关系。通过该方法可以得到高精度、较准确转换的同名点匹配关系。基于此同名点匹配方法，本发明提供的三维重建也具有较高的准确度，三维重建效果较优。相应的，本发明中基于上述两个方法提供的同名点匹配系统、三维重建系统和光度立体摄像终端，与现有技术相比，匹配精度较高，获得的图像信息较优。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的同名点匹配方法的步骤流程图；

图2为本发明实施例公开的同名点匹配方法的光源跑马灯模式示意图；

图3为本发明实施例公开的两个图像采集模块的同名点匹配方法的步骤流程图；

图4为本发明实施例公开的至少三个图像采集模块的同名点匹配方法的步骤流程图；

图5为本发明实施例公开的三维重建方法的步骤流程图；

图6为本发明实施例公开的同名点匹配系统的结构示意图；

图7为本发明实施例公开的三维重建系统的结构示意图；

图8为本发明实施例公开的光度立体摄像终端的结构示意图；

图9a为本发明实施例公开的第一种光度立体摄像终端的实物图；

图9b为本发明实施例公开的第二种光度立体摄像终端的实物图；

图10a为本发明实施例公开的第三种光度立体摄像终端的实物图；

图10b为本发明实施例公开的第四种光度立体摄像终端的实物图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种同名点匹配方法，参见图1所示，该方法包括步骤：

步骤S11：获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像；

本实施例中，图像采集模块的个数在两个或两个以上，由于图像采集模块之间具有相对位姿关系，不同的图像采集模块分别采集到的多组图像具有不同的信息，因此才具有同名点匹配的意义，同时获得了弱纹理区域更多的约束信息，已达到更高的立体匹配精度。因为光度立体匹配中，一般要求至少三个光源从不同角度照射目标物体，才能进行三维重建，因此，每组图像包括至少三帧图像。

可以理解的是，所述图像采集模块，可以是手机，相机，笔记本电脑、可穿戴设备、机器人等电子设备上的摄像镜头。

进一步的，需要有至少三个光源从不同角度照射目标物体，每个图像采集模块队目标物体进行图像采集获得一组图像。光源可以选择红外光或可见光，可见光还可细分为蓝光、红光、绿光等。一般情况下，不基于可见光进行光度法向计算，采用红外光作为光源时，人眼无法感知，可以提升用户体验。

本实施例中，所述获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像的过程，有两种方法：

一种是控制多个波长相同的光源在不同照射时刻下对所述目标物体的照射；分别获取多个图像采集模块在每个照射时刻下对所述目标物体进行图像采集后得到的多帧图像；分别将每个图像采集模块进行图像采集后得到的多帧图像确定为一组图像，得到所述多组图像。

另一种是控制波长互不相同的多个光源对对所述目标物体进行照射，并获取多个图像采集模块在所述多个光源照射时对所述目标物体进行图像采集后得到的多帧图像；其中，每个图像采集模块均包括工作波长分别与所述多个光源的波长一一对应的多个摄像单元；分别将每个图像采集模块进行图像采集后得到的多帧图像确定为一组图像，得到所述多组图像。

由上所述，这里的光源相应有两种工作模式。

第一种情况下光源为多个相同的光源，它们的波长相同，或者波长的差异值在预设值内，波长能被所有图像采集模块获取。其中，预设值是根据需要设置的图像采集模块能够感知的光波长最大范围确定的，以保证有波长差异的多个光源都能被图像采集模块感知。在采集图像过程中，N(N≥3)个光源按预设模式分别照射目标物体，例如采用跑马灯模式，每个光源逐个照亮目标物体，参见图2所示，也可以每个时刻点亮多个光源，只要保证每次照亮目标物体后，目标物体的反射光均不相同即可。在一次照射时，M(M≥2)个图像采集模块同时采集该时刻下目标物体的图像，T(T≥3)个时刻后，第一个图像采集模块得到第一组图像包括图像I₁₁，I₁₂，...，I_1T，第二个图像采集模块得到第二组图像包括图像I₂₁，I₂₂，...，I_2T，......，第M个图像采集模块得到第M组图像包括图像I_M1，I_M2，...，I_MT。

第二种情况下光源为多个不同的光源，主要是波长不同。其中，光源两两之间的波长差异要大于预设值，以保证一种光源只能被一个图像采集模块感知。一般采用红外光作为光源进行光度法向计算。相应的，每个图像采集模块为摄像头阵列模块，每个摄像头可以采集一种对应光源波长的光。另外摄像头阵列模块可以多一个采集可见光图像的摄像头，用来获取彩色的目标物体。在采集图像过程中，多个光源同时照射目标物体，工作的图像采集模块中的各个摄像头同时采集相应波长的光。例如采用N(N≥3)个光源，M个图像采集模块，每个图像采集模块均为至少由N个摄像头组成的摄像头阵列模块，多个光源同时照射，同一时刻图像采集模块获取图像组，第一组图像包括图像1₁₁，I₁₂，...，I_1N，第二组图像包括图像I₂₁，I₂₂，...，I_2N，......，第M组图像包括图像I_M1，I_M2，...，I_MN。

第一种情况下图像采集模块体积小、成本低，但需要在同一视角下，多次采集目标物体的图像；第二种情况只要一次图像采集即可获得多组图像，但相对第一种情况，图像采集模块体积一般较大，成本也较高。

另外，上述提到的光源可以是点光源，例如红外光LED灯，也可以是面光源，如手机显示屏，通过控制显示屏的不同区域发光即可以等效为多个分布位置不同的点光源发光。

本实施例中，N个光源需要分散设置，光源的间距越大，三维重建的效果越好。这N个光源可以分布在M个图像采集器的周围，也可以分布在M个图像采集器的中间，N个光源可以是均匀分布，也可以是随机分布。

步骤S12：分别对多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

步骤S13：分别获取与每个法向图对应的点云图，得到点云图集；

这一步骤中，利用光度立体算法，基于法向量信息获得高精度的点云图。该点云图中含有大量目标物体的信息，以及基本的边缘轮廓的信息等。

可以理解的是，多个图像采集模块中的一个图像采集模块获取一组图像，这一组图像得到一个法向图，根据法向图得到对应的一个点云图；所有图像采集模块对应的的点云图集合在一起得到点云图集。

步骤S14：利用点云图集进行同名点匹配，得到三维同名点匹配关系；

步骤S15：根据三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

步骤S16：利用三维同名点匹配关系以及映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

可见，在本实施例中，每一个图像采集模块对应一组图像、一个法向图、一个点云图，图像、法向图、点云图之间存在映射关系，尤其表现在图像像素点和点云图同名点上。而多个图像采集模块所采集的图像是同一个目标物体的，因此不同图像采集模块的点云图之间可以相互匹配同名点，得到三维同名点匹配关系。再联系图像像素点和点云图同名点的映射关系，得到图像的二维同名点匹配关系。通过该方法可以得到高精度、较准确转换的同名点匹配关系。

本发明实施例公开了一种具体的使用两个图像采集模块的同名点匹配方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图3，具体的步骤如下：

步骤S21：分别获取第一图像采集模块和第二图像采集模块对目标物体进行图像采集后得到的图像，得到第一组图像和第二组图像；

步骤S22：分别对第一组图像和第二组图像进行光度法向计算，得到相应的第一法向图和第二法向图；

步骤S23：分别获取与第一法向图和第二法向图对应的点云图，得到相应的第一点云图和第二点云图；

步骤S24：利用第一点云图和第二点云图进行同名点匹配，得到三维同名点匹配关系；

步骤S25：获得第一点云图与第一组图像之间的映射关系、第二点云图与第二组图像之间的映射关系；

步骤S26：利用三维同名点匹配关系、上述映射关系，确定第一组图像与第二组图像之间的同名点匹配关系。

本发明实施例公开了一种具体的使用三个或三个以上图像采集模块的同名点匹配方法，相对于第一个实施例，本实施例对技术方案作了进一步的说明和优化。参见图4，具体的实施步骤如下：

步骤S31：分别获取至少三个图像采集模块对所述目标物体进行图像采集后相应得到的多组图像；

步骤S32：分别对多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

步骤S33：分别获取与每个法向图对应的点云图，得到点云图集；

步骤S34：利用点云图集进行同名点匹配，得到三维同名点匹配关系；

步骤S35：根据三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

步骤S36：利用三维同名点匹配关系以及映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

当多个图像采集模块是两个图像采集模块时，进行同名点匹配的点云图集中只有两个点云图，直接对这两个点云图的同名点进行匹配即可得到三维同名点匹配关系；利用得到的三维同名点匹配关系以及点云数据与图像像素点之间的映射关系，可以确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。但当多个图像采集模块是三个或三个以上的图像采集模块时，必须对三维同名点匹配关系中使用的点云数据进行一定的筛选。下面是两种具体的方案，包括点云数据的筛选和相应的与图像像素点的映射关系的处理。

方案a包括步骤a1至a3。

步骤a1：将点云图集中的每两张点云图进行同名点匹配，得到相应的多组同名点匹配关系；

步骤a2：从上述的多组同名点匹配关系中选择匹配程度最高的同名点匹配关系；

步骤a3：根据三维同名点匹配关系，得到相应的两个点云图与相应的图像像素点之间的映射关系，再根据三维同名点匹配关系和映射关系得到二维同名点匹配关系；

其余的步骤与S31、S32、S33、S36对应相同，只对步骤S34、S35做了上述的具体步骤要求。在该方案中，所选取的点云数据是匹配度最高的两个完整的点云图，后续二维同名点匹配关系利用的映射关系也是两个完整的点云图和对应图像像素点的。

方案b包括步骤b1至b3。

步骤b1：将点云图集中的每两张点云图进行同名点匹配，得到相应的多组同名点匹配关系；

步骤b2：针对每一同名点，从多组同名点匹配关系中选出于该点对应的匹配程度最高的匹配关系，得到所有同名点的匹配关系作为三维同名点匹配关系；

步骤b3：根据三维同名点匹配关系，获取相应的点云数据和对应的图像像素点之间的映射关系。

其余的步骤与S31、S32、S33、S36对应相同，只对步骤S34、S35做了上述具体步骤要求。

例如，当工作的图像采集模块为三个时，该方法具体为：

获取图像采集模块A，B，C对目标物体进行图像采集后相应得到的多组图像A1，图像B1，图像C1；分别对A1，B1，C1进行光度法向计算，得到对应的法向图A2，B2，C2；分别获取与每个法向图对应的点云图A3，B3，C3，得到点云图集G；利用点云图集G进行同名点匹配，得到三维同名点匹配关系；根据三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；利用三维同名点匹配关系以及映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

使用方案a时，将点云图集中的A3-B3，A3-C3，B3-C3进行同名点匹配，得到相应的多组同名点匹配关系AB，AC，BC；从上述的多组同名点匹配关系中选择匹配程度最高的同名点匹配关系，假设AC的匹配程度最高，将AC作为三维同名点匹配关系；根据三维同名点匹配关系，得到相应的两个点云图A3、C3与相应的图像像素点A1、C1之间的映射关系，再根据三维同名点匹配关系和映射关系得到二维同名点匹配关系。

该方案中，所选取的点云数据是匹配度最高的两个完整的点云图A3、C3，后续二维同名点匹配关系利用的映射关系也是两个完整的点云图和对应图像像素点A1、C1的。

使用方案b时，将点云图集中A3-B3，A3-C3，B3-C3进行同名点匹配，得到相应的多组同名点匹配关系AB，AC，BC；针对每一同名点，从多组同名点匹配关系中选出于该点对应的匹配程度最高的匹配关系，得到所有同名点的匹配关系作为三维同名点匹配关系。在本方案中，例如每组同名点匹配关系都有1000个同名点的对应关系，第1-300个点中的AB的匹配程度最高，第301-700个点中的AC的匹配程度最高，第701-1000个点中的BC的匹配程度最高，那么选择上述三部分：AB的第1-300点、AC的第301-700点、BC的第701-1000点的匹配关系作为三维同名点匹配关系；根据三维同名点匹配关系，获取相应的点云数据和对应的图像像素点之间的映射关系，即A1和A3的第1-700点的对应关系，B1和B3的第1-300点、第701-1000点的对应关系，以及C1和C3的第301-1000点的对应关系。

在该方案中，所选取的点云数据选取了每组匹配关系中匹配程度最高的一部分，组合成为完整的三维同名点匹配关系，又获取了三维同名点匹配关系中的点云数据对应的像素点，最终得到二维同名点匹配关系，这种方案比上一种步骤和数据对应上更复杂，但匹配程度更高。

本发明实施例公开了一种具体的同名点匹配方法，相对于上述实施例，本发明实施例对点云图的三维同名点匹配方式进行了分层细化，分为步骤S141和S142。

步骤S141：对两张点云图进行初始配准，得到初始匹配关系；

步骤S142：对初始匹配关系中的局部变形进行纠正，得到两张点云图的同名点匹配关系。

其中，步骤S141中一般是提取第一点云图和第二点云图中对应的特征点，计算第一点云图与第二点云图之间的刚体变换(旋转矩阵和平移向量)，完成点云图的初步配准，过程中可采用最近迭代ICP算法(ICP，即Iterative Closest Point，迭代最近点)。

步骤S142一般根据代价函数优化刚体变换矩阵，通常有以下几个方面：

①利用代价函数寻找使第一点云图与第二点云图中各个同名点对的距离最小化的刚体变换；

②利用代价函数寻找使第一点云图和第二点云图中相邻两组同名点对的差异最小化的刚体变换；

③利用代价函数计算第一点云图与第二点云图中相对应特征点的距离最小化的刚体变换；

④根据上述三个代价函数预设的代价系数，计算最优的刚体变换矩阵，以纠正点云匹配时的局部变形。

当然，步骤S141、S142的实现也可以用其他算法。

该实施案例中，采集图像模块的个数至少两个。在三个或三个以上图像采集模块的具体案例中，同样可以应用该思路和步骤对点云图集中的点云图两两之间的匹配时，这里所说的第一点云图和第二点云图仅指所要进行三维同名点匹配的对象为点云图集中的两个点云图。

基于上述的同名点匹配方法，本发明实施例公开了一种三维重建方法，参见图5所示，包括以下步骤：

步骤S41：获取利用上述的同名点匹配方法所得到的二维同名点匹配关系；

步骤S42：根据二维同名点匹配关系，以及图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到目标物体的绝对深度和绝对尺度信息。

由于步骤S41获得了高精度的二维同名点匹配关系，因此在步骤S42中利用该二维同名点匹配关系进行三维重建时，效果较为理想，结果接近实际的目标物体。

相应的，本发明实施例公开了一种同名点匹配系统，如图6所示，包括：

多个光源，用于照射目标物体；

多个图像采集模块；

图像获取模块11，用于获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像；

法向计算模块12，用于分别对多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

点云图获取模块13，用于分别获取与每个法向图对应的点云图，得到点云图集；

三维同名点匹配模块14，用于利用点云图集进行同名点匹配，得到三维同名点匹配关系；

映射关系确定模块15，用于根据三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

二维同名点匹配模块16，用于利用三维同名点匹配关系以及映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

可以理解的是，该系统对应同名点匹配方法，可以是一种云服务平台，也可以是多个模块分布存在于不同设备中组成的系统，还可以是集成在一个设备中的系统，例如光度立体摄像终端的系统架构。

本实施例中，图像采集模块至少有两个，它们存在相对位姿关系，不同的图像采集模块分别采集到多组不同的图像。

可以理解的是，图像采集模块，可以是手机，相机，笔记本电脑等电子设备上的摄像镜头。

进一步的，图像采集模块获取一组图像时，需要有至少三个光源。光源一般有两种情况，第一种是多个波长相同的光源；第二种是波长不同的光源。如果有N个波长不同的光源，那么每个图像采集模块均为至少由N个摄像头组成的摄像头阵列模块，其中每个摄像头对应采集一种对应光源的光。

另外，上述提到的光源可以是点光源例如红外光LED灯，也可以是面光源如手机显示屏，通过控制显示屏的不同区域发光即可以等效为多个分布位置不同的点光源发光。

该系统的思路算法可参照前文中第一个实施例中对应的同名点匹配方法具体实现。在本实施例中，通过模块之间的相互连接和数据传输实现对同名点的匹配，最后获得的同名点匹配关系精度较高，较为理想。

相应的，本实施例公开了一种具体的使用两个图像采集模块的同名点匹配系统，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化，包括图像获取模块，法向计算模块，点云图获取模块，三维同名点匹配模块，映射关系确定模块，二维同名点匹配模块：

其中，图像获取模块用于获取第一图像采集模块和第二图像采集模块对目标物体进行图像采集后分别相应得到的第一组图像和第二组图像；

法向计算模块用于分别对上述的第一组图像和第二组图像进行光度法向计算，得到对应的第一法向图和第二法向图；

点云图获取模块用于分别获取与上述法向图对应的第一点云图和第二点云图；

三维同名点匹配模块用于利用第一点云图和第二点云图进行同名点匹配，得到三维同名点匹配关系；

映射关系确定模块用于确定第一点云图和第一组图像像素点、第二点云图和第二组图像像素点之间的映射关系；

二维同名点匹配模块用于利用上述三维同名点匹配关系以及上述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

相应的，本实施例公开了一种具体的使用至少三个图像采集模块的同名点匹配系统，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化，包括图像获取模块，法向计算模块，点云图获取模块，三维同名点匹配模块，映射关系确定模块，二维同名点匹配模块：

图像获取模块用于分别获取至少三个图像采集模块对目标物体进行图像采集后相应得到的多组图像；

法向计算模块用于分别对多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

点云图获取模块用于分别获取与每个法向图对应的点云图，得到点云图集；

三维同名点匹配模块用于利用点云图集进行同名点匹配，得到三维同名点匹配关系；

三维同名点匹配模块有两钟方案a和b：

方案a包括同名点匹配单元和同名点筛选单元，其中，同名点匹配单元用于将点云图集中的点云图两两进行同名点匹配，得到相应的多组同名点匹配关系；同名点筛选单元用于从上述的多组同名点匹配关系中选择匹配程度最高的同名点匹配关系。

方案b包括同名点匹配单元和同名点筛选单元，其中，同名点匹配单元用于将点云图集中的点云图两两进行同名点匹配；同名点筛选单元用于针对每一同名点，从多组同名点匹配关系中选出于该点对应的匹配程度最高的匹配关系，得到所有同名点的匹配关系作为三维同名点匹配关系。

两种三维同名点匹配模块的方案中选择其一应用于系统即可。

映射关系确定模块用于根据三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

对应两种三维同名点匹配模块，映射关系确定模块也对应有两种：

方案a中的映射关系确定模块，用于根据三维同名点匹配关系，得到相应的两个点云图与相应的图像像素点之间的映射关系，再根据三维同名点匹配关系和映射关系得到二维同名点匹配关系；

方案b中的映射关系确定模块，用于根据三维同名点匹配关系，获取相应的点云数据和对应的图像像素点之间的映射关系。

二维同名点匹配模块用于利用三维同名点匹配关系以及映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

该实施例中的系统方案也适用于图像采集模块为三个以上的情况。该实施例中对点云数据进行了筛选，选取匹配度最高的同名点匹配关系作为三维同名点匹配关系，从而获取的结果与上一实施例相比更优。

进一步的，本实施例公开了一种具体的同名点匹配系统，相对于上一实施例，本实施例对技术方案做了进一步的说明和优化，点云图获取模块包含粗配准单元和精配准单元：

其中，粗配准单元用于对上述两张点云图进行初始配准，得到初始匹配关系；精配准单元用于对上述初始匹配关系中的局部变形进行纠正，得到上述点云图的同名点匹配关系。

这两个单元在图像获取模块为两个或至少三个时均可以应用，用于点云图集中的点云图两两匹配得到多组同名点匹配关系。

相应的，本实施例公开了一种三维重建系统，如图7所示，包括：

多个光源，用于照射目标物体；

多个图像采集模块；

图像获取模块21，用于获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像；

法向计算模块22，用于分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

点云图获取模块23，用于分别获取与每个法向图对应的点云图，得到点云图集；

三维同名点匹配模块24，用于利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

映射关系确定模块25，用于根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

二维同名点匹配模块26，用于利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系；

三维重建模块27，用于根据所述二维同名点匹配关系，以及图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到所述目标物体的三维信息。

可以理解的是，该系统对应三维重建方法，可以是一种云服务平台，也可以是多个模块分布存在于不同设备中组成的系统，还可以是集成在一个设备中的系统，例如光度立体摄像终端的系统架构。

由于匹配关系获取模块中获得了高精度的二维同名点匹配关系，因此该三维重建系统最后获取的三维重建效果较为理想，结果接近实际的目标物体。

相应的，本实施例公开了一种光度立体摄像终端，参见图8，包括N个光源、M个图像采集器、存储器31以及处理器32；其中，处理器32通过调取存储器31中存储的指令来执行如下步骤：

获取M个图像采集器对目标物体进行图像采集后相应得到的M组图像；

分别对M组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

分别获取与每个法向图对应的点云图，得到点云图集；

利用点云图集进行同名点匹配，得到三维同名点匹配关系；

根据三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

利用三维同名点匹配关系以及映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系；

根据二维同名点匹配关系，以及图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到目标物体的三维信息。

本实施例中，N为大于等于3的整数，M为大于等于2的整数。

上述光源可以是点光源和/或面光源。根据波长，光源有两种情况。一种是N个光源的波长均相同，如图9a和图9b，其中图9a中光源为a11、a12、a13、a14，图像采集模块为a2、a3，图9b中光源为b11、b12、b13，图像采集模块为b2、b3；另一种是N个光源的波长不同，光源两两之间的波长差大于预设值。对应波长不同的N个光源，每个图像采集器都由N个图像采集单元组成阵列形式，这N个图像采集单元的感应波长与上述N个光源的波长分别一一对应，例如图10a，其中c11、c12、c13、c14为不同波长的光源，图像采集模块c2中有4个图像采集单元c21、c22、c23、c24分别与上述光源一一对应，图像采集模块c3中有4个图像采集单元c31、c32、c33、c34分别与上述光源一一对应；每个图像采集器还可以添加一个图像采集单元，用于采集可见光，例如图10b，其中d11、d12、d13为不同波长的光源，图像采集模块d2中有3个图像采集单元d21、d22、d23分别与上述光源一一对应，图像采集模块d3中有3个图像采集单元d31、d32、d33分别与上述光源一一对应，另外，图像采集单元d24、d34采集可见光图像。。

优选的，这N个光源可以均匀分布于上述M个图像采集器的四周。具体分布位置可以是均匀分布在以M个图像采集器的中心为圆心的同心圆上，也可以是均匀分布在与图像采集器同一平面的终端外壳接近边缘的位置。根据照明需要和效果进行光源位置的设计。

可以理解的是，光源照射目标物体，图像采集器获取此时的目标物体的图像后将图像传输给处理器，处理器调用存储器中的程序并执行。存储器中的程序是对图像进行同名点匹配和三维重建的算法，执行该程序能够图像采集器获取的图像的同名点匹配关系和三维信息，获取效果接近实际目标物体的高精度的结果。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的同名点匹配及三维重建方法、系统和光度立体摄像终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种同名点匹配方法，其特征在于，包括：

获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像；

分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

分别获取与每个法向图对应的点云图，得到点云图集；

利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

2.根据权利要求1所述的同名点匹配方法，其特征在于，所述获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像的过程，包括：

分别获取第一图像采集模块和第二图像采集模块对所述目标物体进行图像采集后得到的图像，得到第一组图像和第二组图像。

3.根据权利要求2所述的同名点匹配方法，其特征在于，所述分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图的过程，包括：

分别对所述第一组图像和所述第二组图像进行光度法向计算，得到相应的第一法向图和第二法向图；

相应的，所述分别获取与每个法向图对应的点云图，得到点云图集的过程，包括：

分别获取与所述第一法向图和所述第二法向图对应的点云图，得到相应的第一点云图和第二点云图；

相应的，所述利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系的过程，包括：

利用所述三维同名点匹配关系、所述第一点云图与所述第一组图像之间的映射关系、所述第二点云图与所述第二组图像之间的映射关系，确定所述第一组图像与所述第二组图像之间的同名点匹配关系。

4.根据权利要求1所述的同名点匹配方法，其特征在于，所述获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像的过程，包括：

控制多个波长相同的光源在不同照射时刻下对所述目标物体的照射；

分别获取多个图像采集模块在每个照射时刻下对所述目标物体进行图像采集后得到的多帧图像；

分别将每个图像采集模块进行图像采集后得到的多帧图像确定为一组图像，得到所述多组图像。

5.根据权利要求1所述的同名点匹配方法，其特征在于，所述获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像的过程，包括：

控制波长互不相同的多个光源对对所述目标物体进行照射，并获取多个图像采集模块在所述多个光源照射时对所述目标物体进行图像采集后得到的多帧图像；其中，每个图像采集模块均包括工作波长分别与所述多个光源的波长一一对应的多个摄像单元；

分别将每个图像采集模块进行图像采集后得到的多帧图像确定为一组图像，得到所述多组图像。

6.根据权利要求1-5任一项所述的同名点匹配方法，其特征在于，对任意的两张点云图进行同名点匹配的过程，包括：

对所述两张点云图进行初始配准，得到初始匹配关系；

对所述初始匹配关系中的局部变形进行纠正，得到所述两张点云图的同名点匹配关系。

7.一种三维重建方法，其特征在于，包括：

获取利用如权利要求1-6任一项所述同名点匹配方法得到的二维同名点匹配关系；

根据所述二维同名点匹配关系，以及多个图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到所述目标物体的三维信息。

8.一种同名点匹配系统，其特征在于，包括：

多个光源，用于照射目标物体；

多个图像采集模块；

图像获取模块，用于获取多个图像采集模块对所述目标物体进行图像采集后相应得到的多组图像；

法向计算模块，用于分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

点云图获取模块，用于分别获取与每个法向图对应的点云图，得到点云图集；

三维同名点匹配模块，用于利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

映射关系确定模块，用于根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

二维同名点匹配模块，用于利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系。

9.一种三维重建系统，其特征在于，包括：

多个光源，用于照射目标物体；

多个图像采集模块；

图像获取模块，用于获取多个图像采集模块对目标物体进行图像采集后相应得到的多组图像；

法向计算模块，用于分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

点云图获取模块，用于分别获取与每个法向图对应的点云图，得到点云图集；

三维同名点匹配模块，用于利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

映射关系确定模块，用于根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

二维同名点匹配模块，用于利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系；

三维重建模块，用于根据所述二维同名点匹配关系，以及图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到所述目标物体的三维信息。

10.一种光度立体摄像终端，其特征在于，包括多个光源、多个图像采集器、存储器以及处理器；其中，所述处理器通过调取所述存储器中存储的指令来执行如下步骤：

通过控制多个光源照射目标物体，获取所述多个图像采集器对目标物体进行图像采集后相应得到的多组图像；

分别对所述多组图像中的每组图像进行光度法向计算，得到每组图像对应的法向图；

分别获取与每个法向图对应的点云图，得到点云图集；

利用所述点云图集进行同名点匹配，得到三维同名点匹配关系；

根据所述三维同名点匹配关系，确定相应的点云数据与图像像素点之间的映射关系；

利用所述三维同名点匹配关系以及所述映射关系，确定相应图像之间的同名点匹配关系，得到二维同名点匹配关系；

根据所述二维同名点匹配关系，以及图像采集模块之间的相对位姿关系，对目标物体进行三维重建，得到所述目标物体的三维信息。