CN107038753B - 立体视觉三维重建系统及方法 - Google Patents
立体视觉三维重建系统及方法 Download PDFInfo
- Publication number
- CN107038753B CN107038753B CN201710244243.3A CN201710244243A CN107038753B CN 107038753 B CN107038753 B CN 107038753B CN 201710244243 A CN201710244243 A CN 201710244243A CN 107038753 B CN107038753 B CN 107038753B
- Authority
- CN
- China
- Prior art keywords
- camera
- motion
- view angle
- angle positions
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000033001 locomotion Effects 0.000 claims abstract description 177
- 230000000007 visual effect Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 15
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002716 delivery method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种立体视觉三维重建系统及方法，其中，该系统包括：第一相机、第二相机以及计算机，所述第一相机和所述第二相机固定联结，所述第一相机和所述第二相机同步围绕待重建物体移动，在多个视角位置上同步采集所述待重建物体的图像；所述计算机根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型。该方案避免第三方标定设备的使用，有利于降低成本；使得提高了数据的准确性，有助于恢复待重建物体真实尺度的表面形貌；避免物体运动控制设备的使用。
Description
技术领域
本发明涉及三维重建技术领域，特别涉及一种立体视觉三维重建系统及方法。
背景技术
目前使用立体视觉技术进行多视角重建的方法主要有：单摄像机/双摄像机围绕物体运动进行多视角重建、单/双摄像机不动物体旋转实现多视角重建、多摄像机固定不动从多个角度采集物体表面图像进行重建等。第一种方法使用灵活，但需要第三方设备标定单/双摄像机的运动，且恢复的三维形貌往往不能得到被测物体真实的物理尺度，只能得到近似模型；第二种方法需要额外的物体运动控制设备，成本较高，使用不灵活；第三种方法往往也需要提前标定多摄像机之间的位置，设备成本较高，使用不灵活。
例如，现有技术中有以下几种技术方案：
第一：该技术方案公开了一种基于双目立体视觉系统的多视角三维重建方法，包括根据被重建物体规模，设计双目立体视觉系统，提前对双目立体视觉系统摄像头进行标定，制作双目立体视觉系统恢复三维信息的查找表；双目摄像头采集被重建物体视频信息，对右摄像头采集的视频信息进行单应变换，单应性变换后和左摄像头视频信息进行立体匹配得到被重建物体视差图，由视差图恢复被重建物体对应的三维信息；得到被重建物体不同视角三维点云信息，经过点云预处理、粗配准、精配准，将不同视角三维点云转换到同一坐标系下，完成对被重建物体多视角的三维重建。
该技术本质上是使用两个摄像机采集的图像进行重建，不能消除相机性能差异对图像采集的影响；且要求物体做多角度旋转运动，需要第三方运动控制机构。
第二：该技术方案公开了一种基于双目立体视觉多视角的物体表面重建方法，包括：(1)构建双目立体视觉系统，并对系统进行标定；(2)对物体多视角摄像，获得物体表面三维空间信息；(3)计算转轴的三维空间信息；(4)计算旋转矩阵和平移向量，对物体表面三维空间信息进行配准；(5)对物体表面进行重建。本发明还公开了一种基于双目立体视觉多视角的物体表面重建装置，包括转盘、电机、投影仪、左摄像机、右摄像机和计算机。
该技术本质上也是使用两个摄像机采集的图像进行重建，不能消除相机性能差异对图像采集的影响；也需要转盘等装置带动被测对象做旋转运动。
第三：该技术方案公开了一种可移动文物的多视角三维重建方法及装置，包括：获取待进行三维重建的文物的两组影像，其中，两组影像中一组影像需要连同测量控制板一起获取，两组影像分别是利用相机通过围绕放置在不同位置的不同支撑台面上的文物拍摄多圈影像得到，拍摄两组影像中第一组影像时文物的顶部不与文物所在的支撑台面接触，拍摄两组影像中第二组影像时文物的底部不与文物所在的支撑台面接触；根据两组影像生成文物的部分密集点云，基于测量控制板上的多个控制点构建三维坐标系，在三维坐标系中将部分密集点云进行合并生成文物的密集点云；根据文物的密集点云重建文物的三维模型。
该技术需要额外的测量控制板，提供控制点完成多视角坐标系的统一。
发明内容
本发明实施例提供了一种立体视觉三维重建系统，以解决现有技术中进行多视角重建时由于相机之间的性能差异对图像采集有影响、需要第三方标定设备或额外的物体运动控制设备的技术问题。该系统包括：第一相机、第二相机以及计算机，其中，所述第一相机和所述第二相机固定联结，所述第一相机和所述第二相机同步围绕待重建物体移动，在多个视角位置上同步采集所述待重建物体的图像；所述计算机根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型。
在一个实施例中，所述计算机具体用于，针对两个相邻视角位置，所述计算机获取所述第一相机在该两个相邻视角位置上分别采集的第一图像；获取在该两个相邻视角位置中一个视角位置上所述第二相机采集的第二图像；确定多个匹配特征，所述匹配特征为在所述第一图像和所述第二图像中均具备且相同的特征；根据多个所述匹配特征在该两个相邻视角位置上的所述第一图像中的归一化图像坐标，计算多个所述匹配特征的第一空间坐标，所述第一空间坐标中包括有所述第一相机在该两个相邻视角位置上的运动关系；根据多个所述匹配特征在该两个相邻视角位置中所述一个视角位置上的所述第一图像和所述第二图像中的归一化图像坐标，计算多个所述匹配特征的第二空间坐标，所述第二空间坐标包括有由所述第一相机和所述第二相机固定联结确定的所述第一相机相对于所述第二相机的已知的运动关系；根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系，其中，所述运动关系包括旋转运动参数和平移运动参数，所述匹配特征的个数大于等于7。
在一个实施例中，所述计算机还用于，通过以下公式计算本质矩阵后，通过分解法计算得到所述第一空间坐标中运动关系的旋转运动参数：
其中，
是匹配特征在该两个相邻视角位置中一个视角位置上的所述第一图像中的归一化图像坐标；
是匹配特征在该两个相邻视角位置中另一个视角位置上的所述第一图像中的归一化图像坐标；T是所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数；R是所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数；E是所述本质矩阵；将所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数代入所述第一空间坐标与所述第二空间坐标的等式中，计算得到所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数。
在一个实施例中，所述计算机还用于，在根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型之前，根据所述第一相机在所述多个视角位置上的运动关系，确定所述第一相机在所述多个视角位置上的坐标，将所述第一相机在所述多个视角位置上的坐标统一到预设参考坐标系上，针对每个视角位置，计算每个视角位置分别到第一个视角位置的最短距离；按照每个视角位置到第一个视角位置的最短距离的大小顺序，将所述第一相机在每个视角位置上采集的图像依次拼接起来。
本发明实施例还提供了一种立体视觉三维重建方法，以解决现有技术中进行多视角重建时由于相机之间的性能差异对图像采集有影响、需要第三方标定设备或额外的物体运动控制设备的技术问题。该方法包括：采用第一相机和第二相机同步围绕待重建物体移动，在多个视角位置上同步采集所述待重建物体的图像，其中，所述第一相机和所述第二相机固定联结；根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型。
在一个实施例中，根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，包括：针对两个相邻视角位置，获取所述第一相机在该两个相邻视角位置上分别采集的第一图像；获取在该两个相邻视角位置中一个视角位置上所述第二相机采集的第二图像；确定多个匹配特征，所述匹配特征为在所述第一图像和所述第二图像中均具备且相同的特征，所述匹配特征的个数大于等于7；根据多个所述匹配特征在该两个相邻视角位置上的所述第一图像中的归一化图像坐标，计算多个所述匹配特征的第一空间坐标，所述第一空间坐标中包括有所述第一相机在该两个相邻视角位置上的运动关系；根据多个所述匹配特征在该两个相邻视角位置中所述一个视角位置上的所述第一图像和所述第二图像中的归一化图像坐标，计算多个所述匹配特征的第二空间坐标，所述第二空间坐标包括有由所述第一相机和所述第二相机固定联结确定的所述第一相机相对于所述第二相机的已知的运动关系；根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系，其中，所述运动关系包括旋转运动参数和平移运动参数。
在一个实施例中，根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系，包括：通过以下公式计算本质矩阵后，通过分解法计算得到所述第一空间坐标中运动关系的旋转运动参数：
其中，
是匹配特征在该两个相邻视角位置中一个视角位置上的所述第一图像中的归一化图像坐标；
是匹配特征在该两个相邻视角位置中另一个视角位置上的所述第一图像中的归一化图像坐标；T是所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数；R是所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数；E是所述本质矩阵；将所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数代入所述第一空间坐标与所述第二空间坐标的等式中，计算得到所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数。
在一个实施例中，在根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型之前，还包括：根据所述第一相机在所述多个视角位置上的运动关系，确定所述第一相机在所述多个视角位置上的坐标，将所述第一相机在所述多个视角位置上的坐标统一到预设参考坐标系上，针对每个视角位置，计算每个视角位置分别到第一个视角位置的最短距离；按照每个视角位置到第一个视角位置的最短距离的大小顺序，将所述第一相机在每个视角位置上采集的图像依次拼接起来。
在本发明实施例中，通过固定联结的第一相机和第二相机同步围绕待重建物体移动，在多个视角位置上同步采集待重建物体的图像，并根据第一相机和第二相机采集的图像，确定第一相机在多个视角位置上的运动关系，进而根据运动关系和第一相机在多个视角位置上采集的图像，重建待重建物体的三维模型。可见，第二相机采集的图像只用于和第一相机采集的图像一起确定第一相机在多个视角位置上的运动关系，即第二相机只用于在多个视角位置上确定第一相机的运动关系，实现第一相机的跟踪定位，第二相机可以称为跟踪相机，使得可以避免第三方标定设备的使用，有利于降低成本；同时，由于只使用第一相机在多个视角位置上采集的图像进行重建待重建物体的三维模型，第二相机采集的图像并不用于三维模型的重建，第一相机可以称为工作相机，可以消除摄像机性能差异对图像采集的影响，使得提高了数据的准确性，有助于恢复待重建物体真实尺度的表面形貌；由于是第一相机和第二相机同步围绕待重建物体自由移动，不需要待重建物体自身进行旋转，这对于需要保持原样的文物等贵重物体来说具有很高的实用性，也使得避免物体运动控制设备的使用，有利于降低成本。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是本发明实施例提供的一种立体视觉三维重建系统的示意图；
图2(a)是本发明实施例提供的一种用于确定工作相机运动关系的两种基本的特征传递方式一；
图2(b)是本发明实施例提供的一种用于确定工作相机运动关系的两种基本的特征传递方式二；
图3是本发明实施例提供的一种匹配特征的极线约束几何关系的示意图；
图4是本发明实施例提供的一种上述立体视觉三维重建系统的工作原理示意图；
图5是本发明实施例提供的一种立体视觉三维重建方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在本发明实施例中，提供了一种立体视觉三维重建系统，如图1所示，该系统包括：第一相机101、第二相机102以及计算机(图中未示出)，其中，
所述第一相机101和所述第二相机102固定联结，所述第一相机和所述第二相机同步围绕待重建物体103移动，在多个视角位置上同步采集所述待重建物体的图像；
所述计算机根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型。
由图1所示可知，在本发明实施例中，通过固定联结的第一相机和第二相机同步围绕待重建物体移动，在多个视角位置上同步采集待重建物体的图像，并根据第一相机和第二相机采集的图像，确定第一相机在多个视角位置上的运动关系，进而根据运动关系和第一相机在多个视角位置上采集的图像，重建待重建物体的三维模型。可见，第二相机采集的图像只用于和第一相机采集的图像一起确定第一相机在多个视角位置上的运动关系，即第二相机只用于在多个视角位置上确定第一相机的运动关系，实现第一相机的跟踪定位，第二相机可以称为跟踪相机，使得可以避免第三方标定设备的使用，有利于降低成本；同时，由于只使用第一相机在多个视角位置上采集的图像进行重建待重建物体的三维模型，第二相机采集的图像并不用于三维模型的重建，第一相机可以称为工作相机，可以消除摄像机性能差异对图像采集的影响，使得提高了数据的准确性，有助于恢复待重建物体真实尺度的表面形貌；由于是第一相机和第二相机同步围绕待重建物体自由移动，不需要待重建物体自身进行旋转，这对于需要保持原样的文物等贵重物体来说具有很高的实用性，也使得避免物体运动控制设备的使用，有利于降低成本。
具体实施时，由于上述立体视觉三维重建系统主要只需要两个固定联结的相机，结构简单，且可以做到很小的体积，方便集成到各类终端产品中；同时适用于大型物体和中小型物体，只需要根据对象相应地灵活调整系统的观测位置即可，具有应用范围广的优势。
具体实施时，为了实现确定第一相机在多个视角位置上的运动关系在，在本实施例中，所述计算机具体用于，针对两个相邻视角位置，所述计算机获取所述第一相机在该两个相邻视角位置上分别采集的第一图像；获取在该两个相邻视角位置中一个视角位置上所述第二相机采集的第二图像；确定多个匹配特征，所述匹配特征为在所述第一图像和所述第二图像中均具备且相同的特征；根据多个所述匹配特征在该两个相邻视角位置上的所述第一图像中的图像坐标，计算多个所述匹配特征的第一空间坐标，所述第一空间坐标中包括有所述第一相机在该两个相邻视角位置上的运动关系；根据多个所述匹配特征在该两个相邻视角位置中所述一个视角位置上的所述第一图像和所述第二图像中的图像坐标，计算多个所述匹配特征的第二空间坐标，所述第二空间坐标包括有由所述第一相机和所述第二相机固定联结确定的所述第一相机相对于所述第二相机的已知的运动关系；根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系，其中，所述运动关系包括旋转运动参数和平移运动参数，所述匹配特征的个数大于等于7。
具体的，针对两个相邻视角位置，匹配特征的传递方式基本有两种，如图2(a)和图2(b)所示，例如，两个相邻扫描位置(即视角位置)i和j(i，j＝1,2,…,n，i≠j)处，上述立体视觉三维重建系统(Binocular Vision System，简称为BVS)的第一相机用Wi和Wj表示，第二相机用Fi和Fj表示，若想标定第一相机Wi和Wj之间真实尺度的运动关系，可通过其与第二相机Fi或Fj的共同特征来确定。基于图2(a)和图2(b)所示的两种基本的特征传递方式，以第一种传递方式为例，设Wi、Fi和Wj采集的场景图像有Q个共同可见的匹配特征，用
表示，其归一化的图像坐标用
表示。若匹配特征不足7个，则换用另外一种特征传递方式，或移动BVS系统到更合适的扫描位置。由Wi和Fi组成的BVS(表示为BVS-WiFi)根据Wi和Fi在扫描位置i上分别采集的图像中匹配特征的归一化图像坐标，基于三角重建原理可以计算得到匹配特征的第二空间坐标，设为
(世界坐标系位于第一相机Wi上)。由Wi和Wj组成的BVS根据Wi和Wj在扫描位置i和j上分别采集的图像中匹配特征的归一化图像坐标，基于三角重建原理可以计算得到匹配特征的第一空间坐标，设为
(世界坐标系位于相机Wi上)。由于匹配特征是一致的，因此，第一空间坐标和第二空间坐标存在如下等式关系：
由于BVS系统中第一相机和第二相机固定联结，由此可基于固定联结预先标定第一相机相对于第二相机的运动关系
即
已知，因此，为了基于上述公式(1)计算第一相机在该两个相邻视角位置上的运动关系
只需计算
中的旋转运动参数
和平移运动参数
具体实施时，在本实施例中通过以下方式计算第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数
所述计算机还用于，通过以下公式计算本质矩阵后，通过分解法计算得到所述第一空间坐标中运动关系的旋转运动参数：
其中，
是匹配特征在该两个相邻视角位置中一个视角位置上的所述第一图像中的归一化图像坐标；
是匹配特征在该两个相邻视角位置中另一个视角位置上的所述第一图像中的归一化图像坐标；T是所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数；R是所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数；E是所述本质矩阵；
将所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数代入所述第一空间坐标与所述第二空间坐标的等式中，计算得到所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数。
具体的，如图3所示，针对第一相机在两个相邻视角位置上采集的两幅图像中的匹配特征x1,x2存在如下极线约束几何关系：
由于匹配特征x1，x2也存在于两个相机在相邻两个视角位置中的一个视角位置上分别采集的图像中，设两个相机的内参矩阵分别为K1,K2，则
的表示方法如公式(3)所示。E称为本质矩阵。
由公式(2)求得本质矩阵后，可由分解法得到运动关系[R,T]。然而得到的T存在深度不确定性，含有一个未知的深度因子λ。即，只是用匹配特征无法得到真实尺度的运动关系中的T，存在深度歧义。在此，我们暂时用归一化的平移矩阵t＝T/||T||来表示两个相机之间的平移运动(在使用匹配特征恢复[R,t]时，为了使结果更加准确，使用RANSAC对原始匹配点集进行处理，去掉匹配不可靠的点，以得到更加鲁棒可靠的匹配特征)。基于上述公式(2)和(3)可计算得到
中
但只能得到带有一个未知尺度因子的平移矩阵
将
和
代入上述等式(1)即可计算得到如下公式(4)：
由公式(1)和(4)可以恢复第一相机Wi和Wj之间在两个相邻视角位置上的平移矩阵
的尺度因子，如公式(5)所示：
在实际中，可利用全部匹配特征获得最优的具有真实尺度的平移矩阵如公式(6)所示：
因此计算得到第一相机在该两个相邻视角位置上的运动关系中的平移运动参数，进而得到第一相机在该两个相邻视角位置上的运动关系
计算得到第一相机在多个相邻视角位置上的运动关系之后，为了进一步提高数据的准确性，在本实施例中，所述计算机还用于，在根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型之前，根据所述第一相机在所述多个视角位置上的运动关系，确定所述第一相机在所述多个视角位置上的坐标，将所述第一相机在所述多个视角位置上的坐标统一到预设参考坐标系上，针对每个视角位置，计算每个视角位置分别到第一个视角位置的最短距离；按照每个视角位置到第一个视角位置的最短距离的大小顺序，将所述第一相机在每个视角位置上采集的图像依次拼接起来，基于拼接后的图像数据和第一相机在多个相邻视角位置上的运动关系重建待重建物体的三维模型。
以下结合图4具体说明上述立体视觉三维重建系统的工作方法，该方法包括如下步骤：
1)BVS系统组成：两个固定联结的第一相机和第二相机(第一相机和第二相机中包括有图像采集卡)，计算机，计算机包括有相应的数据处理软件。
2)工作方式：BVS中的第一相机和第二相机同步围绕待重建物体自由移动，两个相机采集一系列不同视角的图像，直至完成全视角扫描，实现三维全场重建。其中，第一相机为工作相机，其在多视角运动中采集的图像用于三维重建；第二相机为跟踪相机，用于BVS中第一相机的跟踪定位。
3)重建技术：详细的重建方法主要包括以下几个关键技术和步骤：
(1)使用本申请的BVS在围绕待重建物体的n个视角位置上进行图像拍摄(n可根据测量对象调整)，在每个视角位置上工作相机Wi和跟踪相机Fi(i＝1,2,…,n)同步拍摄场景信息。使用工作相机进行全场重建需要标定工作相机在多视角位置中的运动关系，该运动关系可通过跟踪相机来确定。
(2)根据上述公式(2)和公式(3)，基于工作相机在相邻两个视角位置上分别采集的两幅图像中的匹配特征还原工作相机在相邻两个视角位置之间的运动关系[R,T]。
(3)使用跟踪相机恢复工作相机真实尺度的运动关系：
(a)设两个相邻扫描位置(即视角位置)i和j(i，j＝1,2,…,n，i≠j)处，上述立体视觉三维重建系统(Binocular Vision System，简称为BVS)的第一相机用Wi和Wj表示，第二相机用Fi和Fj表示，若想标定第一相机Wi和Wj之间真实尺度的运动关系，可通过其与第二相机Fi或Fj的匹配特征来确定。如图2(a)和图2(b)所示的两种基本的特征传递方式。
(b)基于图2(a)和图2(b)所示的两种基本的特征传递方式，以第一种传递方式为例，设Wi、Fi和Wj采集的场景图像有Q个共同可见的匹配特征，用
表示，其归一化的图像坐标用
表示。若匹配特征不足7个，则换用另外一种特征传递方式，或移动BVS系统到更合适的扫描位置。由Wi和Fi组成的BVS(表示为BVS-WiFi)根据Wi和Fi在扫描位置i上分别采集的图像中匹配特征的归一化图像坐标，基于三角重建原理可以计算得到匹配特征的第二空间坐标，设为
(世界坐标系位于第一相机Wi上)。由Wi和Wj组成的BVS根据Wi和Wj在扫描位置i和j上分别采集的图像中匹配特征的归一化图像坐标，基于三角重建原理可以计算得到匹配特征的第一空间坐标，设为
(世界坐标系位于相机Wi上)。由于匹配特征是一致的，因此，第一空间坐标和第二空间坐标存在如公式(1)所示的等式关系。
(c)由于BVS系统中第一相机和第二相机固定联结，由此可基于固定联结预先标定第一相机相对于第二相机的运动关系
即
已知，因此，为了基于上述公式(1)计算第一相机在该两个相邻视角位置上的运动关系
只需计算
中的旋转运动参数
和平移运动参数
基于上述公式(2)和公式(3)可计算得到
中
但只能得到带有一个未知尺度因子的平移矩阵
将
和
代入上述等式(1)即可计算得到如上述公式(4)所示的等式关系。
(d)由公式(1)和(4)可以恢复工作相机Wi和Wj之间在两个相邻视角位置上的平移矩阵
的尺度因子，如上述公式(5)所示。
在实际中，可利用全部共同可见特征获得最优的具有真实尺度的平移矩阵如上述公式(6)所示。
(4)相邻扫描位置上工作相机之间的运动关系
确定之后，确定所述第一相机在所述多个视角位置上的坐标，将所述第一相机在所述多个视角位置上的坐标统一到预设参考坐标系(一般将参考坐标系设在工作相机的第一个扫描位置处)上，针对每个视角位置，计算每个视角位置分别到第一个视角位置的最短距离；按照每个视角位置到第一个视角位置的最短距离的大小顺序，将所述第一相机在每个视角位置上采集的图像依次拼接起来，实现多视角扫描运动和数据的统一。
(5)以拼接后的工作相机采集的一系列场景图像为输入，进行特征提取、匹配、重建，获得初步的三维点云数据。
(6)结合已确定的运动关系信息使用光束平差对三维数据和运动关系进行全局优化，排除误差较大的数据，得到优化的三维全视角重建数据。
(7)根据得到的三维重建数据生成待重建物体的三维模型。
基于同一发明构思，本发明实施例中还提供了一种立体视觉三维重建方法，如下面的实施例所述。由于立体视觉三维重建方法解决问题的原理与立体视觉三维重建系统相似，因此立体视觉三维重建方法的实施可以参见立体视觉三维重建系统的实施，重复之处不再赘述。
图5是本发明实施例的立体视觉三维重建方法的一种流程图，如图5所示，该方法包括：
步骤501：采用第一相机和第二相机同步围绕待重建物体移动，在多个视角位置上同步采集所述待重建物体的图像，其中，所述第一相机和所述第二相机固定联结；
步骤502：根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型。
在一个实施例中，根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，包括：针对两个相邻视角位置，获取所述第一相机在该两个相邻视角位置上分别采集的第一图像；获取在该两个相邻视角位置中一个视角位置上所述第二相机采集的第二图像；确定多个匹配特征，所述匹配特征为在所述第一图像和所述第二图像中均具备且相同的特征，所述匹配特征的个数大于等于7；根据多个所述匹配特征在该两个相邻视角位置上的所述第一图像中的归一化图像坐标，计算多个所述匹配特征的第一空间坐标，所述第一空间坐标中包括有所述第一相机在该两个相邻视角位置上的运动关系；根据多个所述匹配特征在该两个相邻视角位置中所述一个视角位置上的所述第一图像和所述第二图像中的归一化图像坐标，计算多个所述匹配特征的第二空间坐标，所述第二空间坐标包括有由所述第一相机和所述第二相机固定联结确定的所述第一相机相对于所述第二相机的已知的运动关系；根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系，其中，所述运动关系包括旋转运动参数和平移运动参数。
在一个实施例中，根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系，包括：通过以下公式计算本质矩阵后，通过分解法计算得到所述第一空间坐标中运动关系的旋转运动参数：
其中，
是匹配特征在该两个相邻视角位置中一个视角位置上的所述第一图像中的归一化图像坐标；
是匹配特征在该两个相邻视角位置中另一个视角位置上的所述第一图像中的归一化图像坐标；T是所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数；R是所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数；E是所述本质矩阵；将所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数代入所述第一空间坐标与所述第二空间坐标的等式中，计算得到所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数。
在一个实施例中，在根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型之前，还包括：根据所述第一相机在所述多个视角位置上的运动关系，确定所述第一相机在所述多个视角位置上的坐标，将所述第一相机在所述多个视角位置上的坐标统一到预设参考坐标系上，针对每个视角位置，计算每个视角位置分别到第一个视角位置的最短距离；按照每个视角位置到第一个视角位置的最短距离的大小顺序，将所述第一相机在每个视角位置上采集的图像依次拼接起来。
在本发明实施例中，通过固定联结的第一相机和第二相机同步围绕待重建物体移动，在多个视角位置上同步采集待重建物体的图像，并根据第一相机和第二相机采集的图像，确定第一相机在多个视角位置上的运动关系，进而根据运动关系和第一相机在多个视角位置上采集的图像，重建待重建物体的三维模型。可见，第二相机采集的图像只用于和第一相机采集的图像一起确定第一相机在多个视角位置上的运动关系，即第二相机只用于在多个视角位置上确定第一相机的运动关系，实现第一相机的跟踪定位，第二相机可以称为跟踪相机，使得可以避免第三方标定设备的使用，有利于降低成本；同时，由于只使用第一相机在多个视角位置上采集的图像进行重建待重建物体的三维模型，第二相机采集的图像并不用于三维模型的重建，第一相机可以称为工作相机，可以消除摄像机性能差异对图像采集的影响，使得提高了数据的准确性，有助于恢复待重建物体真实尺度的表面形貌；由于是第一相机和第二相机同步围绕待重建物体自由移动，不需要待重建物体自身进行旋转，这对于需要保持原样的文物等贵重物体来说具有很高的实用性，也使得避免物体运动控制设备的使用，有利于降低成本。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种立体视觉三维重建系统，其特征在于，包括：第一相机、第二相机以及计算机，其中，
所述第一相机和所述第二相机固定联结，所述第一相机和所述第二相机同步围绕待重建物体移动，在多个视角位置上同步采集所述待重建物体的图像；
所述计算机根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型；
其中，所述计算机具体用于，针对两个相邻视角位置，所述计算机获取所述第一相机在该两个相邻视角位置上分别采集的第一图像；获取在该两个相邻视角位置中一个视角位置上所述第二相机采集的第二图像；确定多个匹配特征，所述匹配特征为在所述第一图像和所述第二图像中均具备且相同的特征；根据多个所述匹配特征在该两个相邻视角位置上的所述第一图像中的归一化图像坐标，计算多个所述匹配特征的第一空间坐标，所述第一空间坐标中包括有所述第一相机在该两个相邻视角位置上的运动关系；根据多个所述匹配特征在该两个相邻视角位置中所述一个视角位置上的所述第一图像和所述第二图像中的归一化图像坐标，计算多个所述匹配特征的第二空间坐标，所述第二空间坐标包括有由所述第一相机和所述第二相机固定联结确定的所述第一相机相对于所述第二相机的已知的运动关系；根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系。
2.如权利要求1所述的立体视觉三维重建系统，其特征在于，所述运动关系包括旋转运动参数和平移运动参数，所述匹配特征的个数大于等于7。
3.如权利要求2所述的立体视觉三维重建系统，其特征在于，所述计算机还用于，通过以下公式计算本质矩阵后，通过分解法计算得到所述第一空间坐标中运动关系的旋转运动参数：
其中，
是匹配特征在该两个相邻视角位置中一个视角位置上的所述第一图像中的归一化图像坐标；
是匹配特征在该两个相邻视角位置中另一个视角位置上的所述第一图像中的归一化图像坐标；T是所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数；R是所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数；E是所述本质矩阵；
将所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数代入所述第一空间坐标与所述第二空间坐标的等式中，计算得到所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数。
4.如权利要求1至3中任一项所述的立体视觉三维重建系统，其特征在于，所述计算机还用于，在根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型之前，根据所述第一相机在所述多个视角位置上的运动关系，确定所述第一相机在所述多个视角位置上的坐标，将所述第一相机在所述多个视角位置上的坐标统一到预设参考坐标系上，针对每个视角位置，计算每个视角位置分别到第一个视角位置的最短距离；按照每个视角位置到第一个视角位置的最短距离的大小顺序，将所述第一相机在每个视角位置上采集的图像依次拼接起来。
5.一种立体视觉三维重建方法，其特征在于，包括：
采用第一相机和第二相机同步围绕待重建物体移动，在多个视角位置上同步采集所述待重建物体的图像，其中，所述第一相机和所述第二相机固定联结；
根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型；
其中，根据所述第一相机和所述第二相机采集的图像，确定所述第一相机在所述多个视角位置上的运动关系，包括：
针对两个相邻视角位置，获取所述第一相机在该两个相邻视角位置上分别采集的第一图像；获取在该两个相邻视角位置中一个视角位置上所述第二相机采集的第二图像；
确定多个匹配特征，所述匹配特征为在所述第一图像和所述第二图像中均具备且相同的特征；
根据多个所述匹配特征在该两个相邻视角位置上的所述第一图像中的归一化图像坐标，计算多个所述匹配特征的第一空间坐标，所述第一空间坐标中包括有所述第一相机在该两个相邻视角位置上的运动关系；根据多个所述匹配特征在该两个相邻视角位置中所述一个视角位置上的所述第一图像和所述第二图像中的归一化图像坐标，计算多个所述匹配特征的第二空间坐标，所述第二空间坐标包括有由所述第一相机和所述第二相机固定联结确定的所述第一相机相对于所述第二相机的已知的运动关系；
根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系。
6.如权利要求5所述的立体视觉三维重建方法，其特征在于，所述匹配特征的个数大于等于7，所述运动关系包括旋转运动参数和平移运动参数。
7.如权利要求6所述的立体视觉三维重建方法，其特征在于，根据所述第一空间坐标与所述第二空间坐标相等，计算出所述第一相机在该两个相邻视角位置上的运动关系，包括：
通过以下公式计算本质矩阵后，通过分解法计算得到所述第一空间坐标中运动关系的旋转运动参数：
其中，
是匹配特征在该两个相邻视角位置中一个视角位置上的所述第一图像中的归一化图像坐标；
是匹配特征在该两个相邻视角位置中另一个视角位置上的所述第一图像中的归一化图像坐标；T是所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数；R是所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数；E是所述本质矩阵；
将所述第一相机在该两个相邻视角位置上的运动关系中的旋转运动参数代入所述第一空间坐标与所述第二空间坐标的等式中，计算得到所述第一相机在该两个相邻视角位置上的运动关系中的平移运动参数。
8.如权利要求5至7中任一项所述的立体视觉三维重建方法，其特征在于，在根据所述运动关系和所述第一相机在多个视角位置上采集的图像，重建所述待重建物体的三维模型之前，还包括：
根据所述第一相机在所述多个视角位置上的运动关系，确定所述第一相机在所述多个视角位置上的坐标，将所述第一相机在所述多个视角位置上的坐标统一到预设参考坐标系上，针对每个视角位置，计算每个视角位置分别到第一个视角位置的最短距离；
按照每个视角位置到第一个视角位置的最短距离的大小顺序，将所述第一相机在每个视角位置上采集的图像依次拼接起来。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710244243.3A CN107038753B (zh) | 2017-04-14 | 2017-04-14 | 立体视觉三维重建系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710244243.3A CN107038753B (zh) | 2017-04-14 | 2017-04-14 | 立体视觉三维重建系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107038753A CN107038753A (zh) | 2017-08-11 |
| CN107038753B true CN107038753B (zh) | 2020-06-05 |
Family
ID=59534898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710244243.3A Active CN107038753B (zh) | 2017-04-14 | 2017-04-14 | 立体视觉三维重建系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107038753B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107707899B (zh) * | 2017-10-19 | 2019-05-10 | 中科创达软件股份有限公司 | 包含运动目标的多视角图像处理方法、装置及电子设备 |
| CN109218704A (zh) * | 2018-08-31 | 2019-01-15 | 盎锐（上海）信息科技有限公司 | 基于多3d摄像机的建模装置及方法 |
| CN109754461A (zh) * | 2018-12-29 | 2019-05-14 | 深圳云天励飞技术有限公司 | 图像处理方法及相关产品 |
| CN111028280B (zh) * | 2019-12-09 | 2022-06-03 | 西安交通大学 | 井字结构光相机系统及进行目标有尺度三维重建的方法 |
| CN113516150B (zh) * | 2021-04-02 | 2024-09-17 | 上海师范大学 | 一种基于多采集视角信息的智能视觉图像采集系统 |
| CN118097081B (zh) * | 2024-04-25 | 2024-07-19 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的三维空间导向方法、系统、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1878318A (zh) * | 2006-05-17 | 2006-12-13 | 浙江大学 | 基于双相机的小型场景三维重建方法及其装置 |
| CN101853521A (zh) * | 2010-04-22 | 2010-10-06 | 武汉微目科技有限公司 | 文物旋转结构光三维数字化建模方法 |
| CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120250984A1 (en) * | 2010-12-01 | 2012-10-04 | The Trustees Of The University Of Pennsylvania | Image segmentation for distributed target tracking and scene analysis |
| US20160247293A1 (en) * | 2015-02-24 | 2016-08-25 | Brain Biosciences, Inc. | Medical imaging systems and methods for performing motion-corrected image reconstruction |
-
2017
- 2017-04-14 CN CN201710244243.3A patent/CN107038753B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1878318A (zh) * | 2006-05-17 | 2006-12-13 | 浙江大学 | 基于双相机的小型场景三维重建方法及其装置 |
| CN101853521A (zh) * | 2010-04-22 | 2010-10-06 | 武汉微目科技有限公司 | 文物旋转结构光三维数字化建模方法 |
| CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 《Calibration of stereo rigs based on the backward projection process》;Feifei Gu等;《Measurement Science and Technology》;20160704;第1-12页 * |
| 《Framework for Hierarchical Calibration of Multi-camera Systems for Teleimmersion》;Gregorij Kurillo等;《IMMERSCOM ’09, Berkeley, California, USA》;20091231;第1-14页 * |
| 《Multi-camera localisation: a review》;Rahul Raman等;《Int. J. Machine Intelligence and Sensory Signal Processing》;20150523;第91-109页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107038753A (zh) | 2017-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038753B (zh) | 立体视觉三维重建系统及方法 | |
| CN110296691B (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
| CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
| CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
| CN103759670B (zh) | 一种基于数字近景摄影的物体三维信息获取方法 | |
| CN106981083B (zh) | 双目立体视觉系统摄像机参数的分步标定方法 | |
| US8098958B2 (en) | Processing architecture for automatic image registration | |
| CN104537707B (zh) | 像方型立体视觉在线移动实时测量系统 | |
| CN107767440B (zh) | 基于三角网内插及约束的文物序列影像精细三维重建方法 | |
| CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
| KR102709842B1 (ko) | 텔레센트릭 라인스캔 카메라를 이용한 객체의 효율적인 3d 재구성을 위한 시스템 및 방법 | |
| CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
| CN106803270A (zh) | 无人机平台基于单目slam的多关键帧协同地面目标定位方法 | |
| Zhang et al. | A universal and flexible theodolite-camera system for making accurate measurements over large volumes | |
| CN111899282A (zh) | 基于双目摄像机标定的行人轨迹跟踪方法及装置 | |
| CN112598706B (zh) | 无需精确时空同步的多相机运动目标三维轨迹重建方法 | |
| CN113592721B (zh) | 摄影测量方法、装置、设备及存储介质 | |
| CN112229323B (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN111854636B (zh) | 一种多相机阵列三维检测系统和方法 | |
| CN111768486A (zh) | 基于旋转折射片的单目摄像机三维重建方法、系统 | |
| CN106871900A (zh) | 船舶磁场动态检测中图像匹配定位方法 | |
| CN113240749B (zh) | 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法 | |
| CN111739103A (zh) | 一种基于单点标定物的多相机标定系统 | |
| Wu | Photogrammetry: 3-D from imagery | |
| JP2019032660A (ja) | 撮像システム、撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |