CN106887015A

CN106887015A - 一种基于时空一致性的无约束多相机画面匹配方法

Info

Publication number: CN106887015A
Application number: CN201710043031.9A
Authority: CN
Inventors: 许毅平; 田岩; 程伟
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2017-01-19
Filing date: 2017-01-19
Publication date: 2017-06-23
Anticipated expiration: 2037-01-19
Also published as: CN106887015B

Abstract

本发明公开了一种基于时空一致性的无约束多相机画面匹配方法，包括以下步骤：读取基准相机和辅从相机的拍摄画面；分别对当前帧画面提取特征点；计算每个特征点的特征描述向量；对特征描述向量进行相似性比对，建立对应特征点的匹配关系；查询匹配关系中的稳定匹配关系，根据稳定匹配关系的数量筛选用于计算变换矩阵的特征点集；根据筛选后的特征点集间的匹配关系计算出变换矩阵，得到两相机画面间的匹配关系；读取下一帧图像重复上述步骤，直至结束；本发明在筛选匹配关系时，充分考虑了时空一致性，通过对稳定匹配关系的检索获取有效先验信息，用以筛选当前匹配关系，能够有效增强无约束相机相邻帧间进行图像匹配的稳定性，提高匹配的精度和效率。

Description

一种基于时空一致性的无约束多相机画面匹配方法

技术领域

本发明属于图像匹配技术领域，更具体地，涉及一种基于时空一致性的无约束相机画面匹配方法。

背景技术

在多相机联合目标探测、跟踪、场景拼接和重建等诸多应用中，需要对多相机图像进行配准。现有技术的图像配准思路是提取同一时间各相机获取的图像，提取各图像的特征点，然后利用特征点匹配的方法，获得图像间的最优匹配点集，再利用该点集计算相机间的投影变换关系矩阵，最后实现多相机图像间的配准。然而，这种处理模式的效果依赖于稳定的最优匹配点集，当面对相机间的相对空间关系无约束等应用情形时，由于各相机空间位置独立自由变化，相机间的配准关系随时间发生快速变化，同一时间相机所获得的图像间的最优匹配点集会发生较大变化，在干扰特征点的影响下，容易发生错配，导致图像间的匹配关系不稳定，使图像间共同场景的检测和定位产生剧烈抖动，不利于后续多相机视频图像的处理。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于时空一致性的无约束相机画面匹配方法，其目的在于将前帧的稳定关系矩阵作为先验信息用于验证当前帧的匹配关系以使得连续时段内的匹配关系更为平滑和准确。

为实现上述目的，按照本发明的一个方面，提供了一种基于时空一致性的无约束相机画面匹配方法，包括如下步骤：

S1：图像读取：读取两个无约束相机A、B拍摄的第n帧图像；

S2：特征点提取：分别对两个无约束相机A、B的第n帧图像提取特征点Ω(A，n)、Ω(B，n)；

S3：特征描述：对每个特征点计算特征描述向量α_n、β_n；

S4：特征匹配：对特征描述向量α_n、β_n进行相似性比对，建立与特征点对应的匹配关系集合M(Ω(A，n+1)，Ω(B，n+1))；

该集合中的每个元素表示一对匹配点的索引，其中左索引号对应Ω(A，n+1)的点，右索引号对应Ω(B，n+1)中的点；

S5：匹配关系筛选：遍历查询匹配关系集合M(Ω(A，n+1),Ω(B，n+1))中的稳定匹配关系，将稳定匹配关系归入稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))中，当稳定匹配关系的数量达到阈值N，则用稳定匹配关系集合SM(Ω(A，n+1)，Ω(B，n+1))的值更新最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；

否则，对匹配关系集合M(Ω(A，n+1),Ω(B，n+1))采用RANSAC算法进行筛选以保留匹配关系集合M中的较优匹配关系，将该较优匹配关系归入集合Ransac Matching，记作RM(Ω(A，n+1),Ω(B，n+1))中，并用该集合RM更新集合最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；

其中，较优匹配关系是指与最优匹配关系集合BM中的元素具有最大一致性或在匹配关系集合M中为最大一致集；

S6：变换矩阵计算：查询最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))中的索引在当前帧中对应的实际坐标，通过实际坐标与和集合BM确定的匹配关系计算出变换矩阵H_n+1，建立图像间的位置匹配关系；

S7：令n＝n+1，重复上述步骤S1～S6，直至处理完所有图像帧。

优选地，上述的无约束相机画面匹配方法，步骤S5中，第n+1帧图像中的稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))根据如下方法获取：

S5.1：保留第n帧中生成的最优匹配关系集合BM(Ω(A，n),Ω(B，n))；

S5.2：通过比较A相机所拍摄的画面中第n帧与第n+1帧间的特征点的相似程度，获得A相机所拍摄的画面第n帧与第n+1帧间的特征点的匹配关系M(Ω(A，n),Ω(A，n+1))；

通过比较B相机所拍摄的画面中第n帧与第n+1帧间的特征点的相似程度，获得B相机所拍摄的画面第n帧与第n+1帧间的特征点的匹配关系M(Ω(B，n),Ω(B，n+1))；

S5.3：计算第n+1帧的匹配关系M(Ω(A，n+1),Ω(B，n+1))；

S5.4：判断上述最优匹配关系集合BM(Ω(A，n),Ω(B，n))中每个元素的左索引号是否为匹配关系集合M(Ω(A，n),Ω(A，n+1))中某个元素的左索引号，若否，则放弃该元素；若是，则进入步骤S5.5；

S5.5：查询该元素对应的右索引号是否与M(Ω(B，n),Ω(B，n+1))中某个元素的右索引号一致，若否，则放弃该元素，若是，则表明这对匹配点在第n+1帧仍然存在，进入步骤S5.6；

S5.6：验证这对匹配点在匹配关系集合M(Ω(A，n+1),Ω(B，n+1))中是否仍然为匹配关系，如果是，则判定这对匹配关系为稳定匹配关系，将其归入稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))中，若否，则放弃这对匹配关系。

优选地，上述的无约束相机画面匹配方法，得到稳定匹配关系后采用如下方法选取最终用于计算变换矩阵的最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))：

a：统计稳定匹配关系集合中的元素个数I；

b：判断是否满足I≥N，若是，则将稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))直接赋值给最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，则进入步骤c；

c：判断是否满足0<I<N，若是，则将稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))中的元素作为RANSAC算法中的基准点，遍历匹配关系集合M(Ω(A，n+1),Ω(B，n+1))中所有元素，筛选出与基准点偏差最小的匹配点集，将其与稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))的并集赋值给最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，则进入步骤d：

d：判断是否满足I＝0，若是，则直接采用RANSAC算法筛选匹配关系集合M(Ω(A，n+1),Ω(B，n+1))中所有元素，找出最大一致集作为最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，则反馈最优匹配关系集获取失败。

优选地，上述的无约束相机画面匹配方法，步骤S2中采取oFAST方法进行特征点提取，采取rBRIEF方法计算特征描述向量；其中，oFAST方法是指一种实时的旋转不变的局部角点提取方法，具体而言是筛选出在其周围邻域内有足够多的像素点与该点处于不同的灰度区域的像素点作为特征点，且计算出特征点的角点方向。rBRIEF方法是一种具备了旋转不变性的特征描述方法，具体而言是指在特征点周围邻域内选取若干个像素点对，通过对这些点对的灰度值比较，将比较的结果结合对应特征点的方向信息组合成一个二进制串字符串用来描述特征点。

优选地，上述的无约束相机画面匹配方法，对特征点的特征描述向量α_n、β_n使用汉明距离进行相似性比对，建立对应特征点的匹配关系M(Ω(A，n+1),Ω(B，n+1))。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)无约束相机在运动过程中，相邻帧间有较高概率存在公共区域，本发明提供的基于时空一致性的无约束相机画面匹配方法，在进行特征匹配时，充分考虑相邻帧之间存在的稳定特征点，使后帧匹配能够得到足够的先验信息，将能够有效地优化后帧的匹配关系，使匹配关系在连续时间内变化更为平滑和准确；

(2)本发明提供的基于时空一致性的无约束相机画面匹配方法，充分考虑了时空一致性，将前帧的稳定关系矩阵作为先验信息，用于验证当前帧的匹配关系；当同一相机的前后帧之间的匹配关系(时间上的匹配)与不同相机同一时刻帧间的匹配关系(空间上的匹配)达成一致时，则认为该匹配关系具备了时空一致性，将其归入稳定匹配关系集合之中，以实现匹配关系的快速建立与平滑变化。

附图说明

图1是本发明实施例提供的基于时空一致性的无约束相机画面匹配方法的流程图；

图2是本发明实施例的方法与单纯基于特征匹配(orb)的方法的匹配结果比较图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1所示是本发明提供的无约束多相机画面匹配方法应用于无约束主辅相机画面中心位置实时匹配的实施例流程图，其实现目标为当主辅相机画面存在交叠区时，在辅相机画面中实时标记出主相机的中心区域位置，具体包括如下步骤：

S1：图像读取：分别读取主、辅两个无约束相机A、B的第n帧图像；

S2：特征点提取和特征描述：分别对主、辅两个无约束相机A、B的第n帧图像提取特征点集P_n＝{p_(n,i)}、Q_n＝{q_(n,j)}，其中，i和j分别表示对应集合中元素的编号，n是指图像帧的序号；

对特征点集里的每个特征点计算特征描述向量，生成对应集合X_n＝{α_(n,i)}、Y_n＝{β_(n,j)}；

S3：空间匹配关系初始化：对根据主、辅两个无约束相机A、B的第一帧画面计算出的X₁、Y₁进行特征匹配，建立特征点间的匹配关系集合Matching between P_n&Q_n,记作MPQ_n＝{mpq_(n,k)(p_(n,i),q_(n,j))}；其中的每一个元素表示一对匹配关系，它包含了左、右两个特征点，左特征点p_(n,i)∈P_n，右特征点q_(n,j)∈Q_n，n的初始值为1；

采用RANSAC算法对匹配关系进行筛选，得出最大一致集，作为最优匹配集合BestMatching，记作BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}；

RANSAC算法是指一种求取最大一致集的方法，具体而言是指在一组包含误匹配的匹配关系中，通过多次迭代更新，最终寻找出这组匹配关系中的最大一致集的方法；

S4：基于时空一致性的最优匹配关系更新和投影变换矩阵计算，具体包括如下子步骤：

(4.1)建立时间匹配关系：

分别计算同一相机获取的前、后帧的匹配关系Matching between P_n&P_n+1,Matching between Q_n&Q_n+1；

分别记作：

其中，(p_(n-1,i),q_(n-1,j))∈BM_n-1，p_(n,i′)∈P_n，q_(n,j′)∈Q_n；

(4.2)建立当前帧空间匹配关系：对两相机拍摄的当前第n帧图像的特征向量集合进行相似性匹配，建立当前帧的空间匹配关系MPQ_n＝{mpq_(n,k)(p_(n,i),q_(n,i))},其中，p_(n,i)∈P_n，q_(n,j)∈Q_n；

(4.3)基于时空一致性更新最优匹配关系集合：判断前帧中符合空间匹配关系的点通过各自的时间匹配所得到的对应点在当前帧是否仍然存在空间匹配关系，若是，则判定这一对匹配关系具备了时空一致性，为稳定匹配关系；若否，则判定这一对匹配关系不具备时空一致性，无法作为稳定匹配关系；

(4.4)生成最优匹配集合，计算投影变换矩阵：根据稳定匹配关系集合SM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}中元素的数量生成最优匹配关系集合BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}，具体包括如下子步骤：

a：统计稳定匹配关系集合中的元素个数I；

b：判断是否满足I≥N，若是，则将稳定匹配关系集合

SM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}直接赋值给最优匹配关系集合BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}；若否，则进入步骤c；

c：判断是否满足0<I<N，若是，则将集合SM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}中的元素作为RANSAC算法中的基准点，遍历集合MPQ_n＝{mpq_(n,k)(p_(n,i),q_(n,i))}中所有元素，筛选出与基准点偏差最小的匹配点集，将筛选出的该匹配点集与SM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}的并集赋给BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}；若否，则进入步骤d：

d：判断是否满足I＝0，若是，则直接采用RANSAC算法筛选MPQ_n＝{mpq_(n,k)(p_(n,i),q_(n,i))}中所有元素，找出最大一致集作为BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}，若否，则反馈最优匹配关系集获取失败。

S5：找出辅相机画面中主相机中心的实际位置：计算主相机的中心点坐标，通过投影变换矩阵H₀计算出主相机的中心点坐标在辅相机画面中对应的坐标位，即为辅相机对应的实际位置坐标，给出相应标记，即建立了两相机间的画面匹配关系；

S6：令n＝n+1，重复上述步骤S1～S5，直至处理完所有图像帧。

在上述实施例中，由于结合了时空一致性，将前帧的匹配关系作为当前帧匹配的先验信息，用于辅助当前帧匹配关系的计算，从而使得两帧间的匹配关系变化更为平滑，表现为当基准相机或辅从相机画面变化不大时，辅从相机中邻帧间标记的中心区域抖动很小，基本能够保持稳定。此外，由于邻帧间的联系是依据前后帧中稳定点的个数建立的，因此当邻帧间画面急剧变化时，当前帧并不会受到来自前帧先验信息的干扰，具体表现为，主辅相机中存在画面急剧变化时，当前帧仍旧能够快速的建立正确的匹配关系，在辅从相机中标记出正确的中心区域，而不受前一帧的干扰。

如图2所示，为采用实施例提供的无约束多相机画面匹配方法与采用orb方法单纯基于特征匹配分别进行实验得出的标记位像素坐标与实际位像素坐标的偏差比较图；该图中，横轴表示视频帧数，纵轴表示标记位像素坐标与实际位像素坐标的欧式距离，曲线越接近横轴表明效果越好；由图可见，采用本发明实施例的方法的偏差值的均值更小，且偏差值的方差远小于orb方法，表明其准确度更高，且变化更为平缓。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于时空一致性的无约束相机画面匹配方法，其特征在于，包括如下步骤：

S1：读取两个无约束相机A、B拍摄的第n帧图像；

S2：分别对两个无约束相机A、B的第n帧图像提取特征点Ω(A，n)、Ω(B，n)；

S3：对每个特征点计算特征描述向量α_n、β_n；

S4：对特征描述向量α_n、β_n进行相似性比对，建立与特征点对应的匹配关系集合M(Ω(A，n+1)，Ω(B，n+1))；

S5：遍历匹配关系集合M(Ω(A，n+1),Ω(B，n+1))，查询其中的稳定匹配关系，将稳定匹配关系归入稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))中；当稳定匹配关系的数量达到阈值，用稳定匹配关系集合SM(Ω(A，n+1)，Ω(B，n+1))的值更新最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；

否则，对匹配关系集合M(Ω(A，n+1),Ω(B，n+1))进行筛选以保留匹配关系集合M中的较优匹配关系，将所述较优匹配关系归入集合RM(Ω(A，n+1),Ω(B，n+1))中，并用所述集合RM更新集合最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；

其中，较优匹配关系是指与最优匹配关系集合BM中的元素具有最大一致性的匹配关系，或在匹配关系集合M中为最大一致集的匹配关系；

S6：查询最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))中的索引在当前帧中对应的实际坐标，通过实际坐标与最优匹配关系集合BM确定的匹配关系计算出变换矩阵H_n+1，建立两个相机A、B各自拍摄的第n+1帧图像间的位置匹配关系；

S7：令n＝n+1，重复上述步骤S1～S6，直至处理完所有图像帧。

2.如权利要求1所述的无约束相机画面匹配方法，其特征在于，所述步骤S5中，第n+1帧图像中的稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))根据如下方法获取：

S5.2：通过比较A相机所拍摄的画面中第n帧与第n+1帧间的特征点的相似程度，获得A相机所拍摄的画面中第n帧与第n+1帧间的特征点的匹配关系M(Ω(A，n),Ω(A，n+1))；

S5.3：计算A、B两个拍摄相机各自所拍摄的第n+1帧之间的匹配关系集合M(Ω(A，n+1),Ω(B，n+1))；

S5.5：查询该元素对应的右索引号是否与匹配关系集合M(Ω(B，n),Ω(B，n+1))中某个元素的右索引号一致，若否，则放弃该元素，若是，则进入步骤S5.6；

S5.6：验证该元素在匹配关系集合M(Ω(A，n+1),Ω(B，n+1))中是否仍然为匹配关系，如果是，则判定该元素所对应的匹配关系为稳定匹配关系，将所述元素归入稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))中，若否，则放弃该元素。

3.如权利要求2所述的无约束相机画面匹配方法，其特征在于，获得稳定匹配关系后采用如下方法选取最终用于计算变换矩阵的最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))：

a：统计稳定匹配关系集合中的元素个数I；

4.如权利要求2或3所述的无约束相机画面匹配方法，其特征在于，对特征点的特征描述向量α_n、β_n使用汉明距离进行相似性比对，建立对应特征点的匹配关系M(Ω(A，n+1),Ω(B，n+1))。