CN110049304A - 一种稀疏相机阵列瞬时三维成像的方法及其装置 - Google Patents

Abstract

本发明公开了稀疏相机阵列瞬时三维成像的方法及其装置，对单个成像单元，逐一进行标定，获取单个成像单元中相机的内参及外参；保持各成像单元位置不变，将标定板放置在相邻两个成像单元重叠视场的中心，获取标定板图像；识别标定板上的编码靶标，通过同名点逐一拼合相邻的成像单元，并得到新的外参，直至得到全部稀疏相机阵列的外参；通过稀疏相机阵列对目标瞬时成像，将以上标定得到稀疏相机阵列的内参和外参导入，计算得到目标的三维模型。通过稀疏相机阵列取代密集相机阵列，解决密集相机阵列成本高昂、移动困难的缺点，保持其瞬时成像的优势。通过稀疏相机阵列标定方法，解决旋转标定装置体积庞大，不便携带，大角度时编码识别困难的问题。

Description

一种稀疏相机阵列瞬时三维成像的方法及其装置

技术领域

本发明属于三维成像技术领域，尤其涉及一种稀疏相机阵列瞬时三维成像的方法及其装置。

背景技术

随着三维数字技术的发展，三维模型在动画、游戏、虚拟现实、3D打印等领域有着越来越多的应用。人工建模存在工作量大，建模不准确等缺陷，因此采用三维成像设备获取三维模型是行之有效的方法。三维成像设备主要有激光三维扫描仪，相机阵列等。激光三维扫描仪测量视场较小，需要对物体进行分区域测量，通过特征点拼接成像，是利用扫描的过程来实现三维成像，因而需要较长的成像时间。相机阵列一般是瞬间同步成像，通过计算形成三维模型，因此在某些需要抓拍的场合，例如拍摄人物表情或动作时，具有较大的技术优势。

例如专利CN203708345U，公开了一种基于相机阵列的瞬时三维照相系统，相机摆布较为密集，一般拍摄分8～16个角度，从360度环绕拍摄，每个角度至少需要2台以上的相机，相机之间具有较多的重叠视场，从而可以通过SIFT变换找到较多的同名点，通过SFM(从运动中恢复)方法直接实现相机阵列的三维成像。这样的系统能实现瞬间成像和良好的成像效果，但需要较多数量的相机，主要问题在于成本较高，设备移动较为困难。如果减少该种相机阵列的成像角度和相机数量，即稀疏相机阵列，则通常无法找到特征点，进而导致直接采用SFM方法建模失败。

专利CN105427302A公开了一种基于移动稀疏相机采集阵列的三维采集及重建系统，可采用较少的相机(不超过8台)，但是需要相机阵列移动，逐次成像，从而丢失了瞬时性。

专利CN106910243A公开了一种基于转台的自动化数据采集与三维建模的方法及装置，相机阵列通过转盘及转盘上放置的标定棋盘格进行标定，并对放置在转盘上的物体进行数据采集和三维建模，适合于拍摄静物。

专利CN104299261A人体三维成像的方法及系统，提供了一种多控制基站同时标定的方法，采用空间编码图案投影成像，其标定方法采用设有编码靶标的标定板，该标定板具有旋转功能，通过多次旋转标定板，实际达到了加密控制基站的目的并完成标定，该方法主要问题在于标定板呈圆柱体或多面体形状，体积较大，不利于携带，在观察角度较大时容易造成靶标识别错误。

专利CN107133987A，公开了一种无重叠视场的相机阵列优化标定方法，是将各相机采集的图像视为拍摄时刻的独立相机，混合多组不同时刻的拍摄数据进行标定，其本质上与专利CN104299261A的旋转标定板的方法有一定的相似性。

发明内容

为解决上述的技术问题，本发明技术方案提供一种稀疏相机阵列瞬时三维成像的方法，其中，所述方法包括如下步骤：

步骤A：对单个成像单元，逐一进行标定，获取单个成像单元中相机的内参及外参；

步骤B：保持各成像单元位置不变，将标定板放置在相邻两个成像单元重叠视场的中心，获取标定板图像；

步骤C：识别标定板上的编码靶标，通过同名点逐一拼合相邻的成像单元，并得到新的外参，直至得到全部稀疏相机阵列的外参；

步骤D：通过稀疏相机阵列对目标瞬时成像，将以上标定得到稀疏相机阵列的内参和外参导入，计算得到目标的三维模型。

所述的步骤A中，采用SFM算法对各成像单元进行内参和外参的标定。

所述的步骤B中，标定板放置在相邻两个成像单元重叠视场的中心。

所述的步骤C中，将已标定的成像单元当作一个整体看待，相机的内参作为已知量，逐次标定相邻成像单元，直至全部成像单元完成拼合，其外参统一到共同坐标系下。

所述的步骤D中，将以上标定得到稀疏相机阵列的内参和外参导入，作为已知量，计算目标的三维模型。

为解决上述的技术问题，本发明技术方案还提供一种稀疏相机阵列瞬时三维成像装置，其中，包括成像单元、控制单元、计算单元及标定板；其中，成像单元用于对目标进行图像的采集；控制单元提供成像单元的供电、触发和数据传输；计算单元，以软件的形式存在于计算机之中，对成像数据进行采集和存储，并执行上述三维成像的方法涉及到的运算；标定板用于执行成像单元之间的标定。

所述的成像单元由两个或者两个以上的相机及刚性连接支架组成，相机之间具有重叠的视场。

至少由三个或者三个以上的成像单元构成，成像单元对被拍摄物体保持环绕，并保证相邻的成像单元之间具有重叠视场。

所述的标定板由三个或者三个以上，且不在同一条直线上的代表不同编码的编码靶标及相应的刚性连接结构组成。

本发明技术方案的有益效果是：

通过稀疏相机阵列取代密集相机阵列，解决密集相机阵列成本高昂、移动困难的缺点，同时保持其瞬时成像的优势。通过稀疏相机阵列标定方法，解决采用旋转标定装置体积庞大，不便携带，及大角度时编码识别困难的问题。

附图说明

图1为本发明实施例中稀疏相机阵列三维成像的方法流程图；

图2为本发明实施例中稀疏相机阵列三维成像的装置组成；

图3为本发明实施例中稀疏相机阵列的成像单元的结构示意图；

图4为本发明实施例中稀疏相机阵列成像单元的摆放方式；

图5为本发明实施例中稀疏相机阵列的标定板的组成；

图6为本发明实施例中稀疏相机阵列采集的原始图像；

图7为本发明实施例中稀疏相机阵列三维成像最终得到的三维模型的效果。

具体实施方式：

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明实施例提供了一种稀疏相机阵列瞬时三维成像的装置，包括成像单元1，控制单元2，计算单元3以及标定板4，如图2所示。

成像单元1由二个或二个以上的相机1-1及刚性连接支架1-2组成。如图3所示，本实施例中的成像单元包括四台相机1-1，刚性连接支架1-2的高为1.8米，由铝合金材料制成，四台相机1-1均匀分布，为便于描述，从上至下依次称为第一相机，第二相机，第三相机和第四相机。如图3所示，其中第一相机和第二相机通过调节其安装角度，使具有完全重叠的视场，第三相机和第四相机也通过调节其安装角度具有完全重叠的视场，位于上方的第一第二相机的视场，和位于下方的第三第四相机的视场具有部分重叠。在本实施例中，相机采用佳能200D，具有2400万像素，配置35mm镜头，单相机视场约42度，为尽量利用相机的视场，拍摄到更大的有效面积，上下两部分视场重叠约为10％。

稀疏相机阵列至少有三个或者三个以上的成像单元1构成，以对被拍摄物体保持环绕，并保证相邻的成像单元1之间能有重叠视场。本实施例中，有四个成像单元1，呈90度围绕被拍摄物体均匀分布，拍摄单元与被摄物体区域中心的半径为1.8米。为便于描述，从左上方成像单元开始顺时针，依次命名为第一成像单元，第二成像单元，第三成像单元和第四成像单元，如图4所示。

控制单元2提供成像单元1的供电、触发和数据传输。

计算单元3，以软件的形式存在于计算机之中，对成像数据进行采集和存储，并执行上述三维成像的方法涉及到的运算。

标定板4由不少于三个不在同一条直线上的代表不同编码的编码靶标4-1及相应的刚性连接结构4-2组成。本实施例中，编码靶标4-1为同心环型，分三层排列，共9个，如图5所示。标定板4提供对不同成像单元1的外参拼接使用。

下面结合该实施例，对一种稀疏相机阵列瞬时三维成像的方法进行说明。一种稀疏相机阵列瞬时三维成像的方法，如图1所示，包括四个主要步骤：

步骤A：对单个成像单元，逐一进行标定，获取单个成像单元中相机的内参及外参；本实施例具体如下：

采用SFM算法对各成像单元进行内参和外参的标定。单个成像单元1中相机1-1是通过刚性连接支架1-2连接的，相机之间的相对位置和姿态都保持固定。对如图3所示的成像单元1，通过拍摄一组纹理较为丰富的目标，本实施例中的拍摄对象是人，采用SFM(从运动中恢复)方法进行动态标定，获取每个成像单元1中每个相机的内参和外参。

为便于理解，采用i(i＝1,2,3,4)作为成像单元1的序号；采用j(j＝1,2,3,4)作为单个成像单元1中的相机1-1的序号。每个相机1-1的内参只与相机及镜头自身参数有关，内参可以表达为Kij，(i,j＝1,2,3,4)。相机的外参表达了相机之间的位置关系，相对于一个给定的世界坐标系，相机的外参可以表达为[Rij，Tij]，(i,j＝1,2,3,4)，Rij表示旋转矩阵，Tij表示平移矩阵。

首先利用SITF变换(尺度不变特征变换)，从每张影像上进行特征点的检测，并匹配各同名的特征点；然后运用基于RANSAC的8点算法计算出相应的基础矩阵，利用匹配点对基础矩阵的集合关系滤除误匹配，进而增强匹配结果的鲁棒性；最后采用SFM结合匹配的特征点坐标，来求解相机的运动矩阵，并通过光束法平差(Bundle Adjustment)，使总体的投影误差最小，从而恢复出更加准确的运动矩阵。

通过SFM方法，可以得到单个成像单元1中每个相机1-1的内参Kij，(i,j＝1,2,3,4)以及单个成像单元1中，每个相机1-1相对于该成像单元1坐标系的外参[Rij，Tij]，(i,j＝1,2,3,4)。

步骤B：保持各成像单元位置不变，将标定板放置在相邻两个成像单元重叠视场的中心，获取标定板图像。如图4所示，进行成像单元1的摆放，并保持各成像单元1之间的相对位置固定不变。将标定板4(如图5所示)放置在成像区域内，面向第一成像单元和第二成像单元之间的区域，通过控制系统2，控制第一成像单元和第二成像单元获取标定板4的图像。再将标定板4挪动，在成像区域内，面向在第二成像单元和第三成像单元之间，获取标定板4的图像。最后挪动标定板4，面向第三成像单元和第四成像之间，并获取标定板4的图像。

步骤C：识别标定板上的编码靶标，通过同名点逐一拼合相邻的成像单元，并得到新的外参，直至得到全部稀疏相机阵列的外参，具体如下：

将已标定的成像单元当作一个整体看待，相机的内参作为已知量，逐次标定相邻成像单元，直至全部成像单元完成拼合，其外参统一到共同坐标系下。各成像单元1内部相机1-1的内参和外参已经在步骤A中进行了标定。通过识别标定板4上的编码靶标4-1，将相同的编码靶标4-1的中心视为同名点，首先将第一成像单元与第二成像单元通过步骤B中获取的标定板4的图像，将第一成像单元与第二成像单元整体统一到共同的坐标系中，这里记为第一二成像单元。由于相机的内参只表达自身参数，不随其他因素变化而变化，因此在所有的计算中，相机的内参不变并作为已知量，仍记为Kij，(i,j＝1,2,3,4)，外参将采用第一二成像单元的坐标系，新的外参记为[R'ij，T'ij]，(i＝1,2；j＝1,2,3,4)。

再将第一二成像单元与第三成像单元，根据步骤B中第二、第三成像获取的标定板4的图像，统一到一个共同的坐标系中，记为第一二三成像单元。此时新的外参记为[R″ij，T″ij]，(i＝1,2,3；j＝1,2,3,4)。

最后将全部四个成像单元拼接到一起，得到所有成像单元的新的外参,记为[R″′ij，T″′ij]，(i,j＝1,2,3,4)。标定的参数将作为三维模型计算的基础。

步骤D：对目标瞬时成像，将以上标定得到稀疏相机阵列的内参和外参导入，计算得到目标的三维模型，具体是：通过稀疏相机阵列同步拍摄目标的影像，实施例中是拍摄的一个站姿人物，如图6所示，其中，从上至下，分为四行，为各成像单元1中第一至第四相机1-1所获取的图像；从左至右分为四列，为第一至第四成像单元1所获取的图像。将以上标定得到的稀疏相机阵列的内参，即Kij，(i,j＝1,2,3,4)和外参，即[R″′ij，T″′ij]，(i,j＝1,2,3,4)导入，采用SFM算法，将内参和外参作为已知参数使用，计算阵列的稀疏点云。采用PMVS算法(Patch-based Multiview Stereo，基于物方面元的多视图立体视觉)对稀疏点云进行加密，扩散为稠密点云；再采用泊松重建算法计算表面网格模型；最后进行纹理的映射贴图。最终得到的站姿人物的三维模型如图7所示，左侧为人物的光模，右侧为人物带有纹理的模型。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (7)

1.一种稀疏相机阵列瞬时三维成像的方法，其特征在于，所述方法包括如下步骤：

步骤A：对单个成像单元，逐一进行标定，获取单个成像单元中相机的内参及外参；

步骤B：保持各成像单元位置不变，将标定板放置在相邻两个成像单元重叠视场的中心，获取标定板图像；

步骤C：识别标定板上的编码靶标，通过同名点逐一拼合相邻的成像单元，并得到新的外参，直至得到全部成像单元中相机的外参；

步骤D：各成像单元中的相机同步拍摄目标影像，导入根据步骤C得到的内参和外参，得到目标的三维模型。

2.根据权利要求1所述的稀疏相机阵列瞬时三维成像的方法，其特征在于，所述的步骤A中，采用SFM算法对各成像单元进行内参和外参的标定。

3.根据权利要求1所述的稀疏相机阵列瞬时三维成像的方法，其特征在于，所述的步骤C，将已标定的成像单元当作一个整体看待，相机的内参作为已知量，逐次标定相邻成像单元，直至全部成像单元完成拼合，其外参统一到共同坐标系下。

4.根据权利要求3所述的稀疏相机阵列瞬时三维成像的方法，其特征在于，所述的同名点指相同的编码靶标的中心。

5.一种稀疏相机阵列瞬时三维成像装置，其特征在于，包括控制单元、计算单元、标定板和至少三个成像单元；

所述的成像单元，用于对目标进行图像的采集，呈环绕状放置在被拍摄物体的周缘，且相邻的成像单元之间具有重叠视场；

所述的控制单元，提供所述的成像单元的供电、触发和数据传输；

所述的计算单元，与控制单元进行交互，用于对成像数据进行采集、存储和计算；

所述的标定板，用于对行成像单元之间进行标定。

6.根据权利要求5所述的稀疏相机阵列瞬时三维成像装置，其特征在于，所述的成像单元包括至少两个相机及连接各相机的刚性连接支架，各相机之间的相对位置和姿态保持固定，各个相机之间具有重叠的视场。

7.根据权利要求5所述的稀疏相机阵列瞬时三维成像装置，其特征在于，所述的标定板由三个或者三个以上，且不在同一条直线上的代表不同编码的编码靶标及相应的刚性连接结构组成。