CN107560592A - 一种用于光电跟踪仪联动目标的精确测距方法 - Google Patents

Abstract

本发明公开了一种用于光电跟踪仪联动目标的精确测距方法，通过对多个光电跟踪仪摄像机进行标定；对每个光电跟踪仪视频图像进行运动目标检测，并提取目标图像区域的SIFT特征点；对不同光电跟踪仪视频图像中提取目标特征点进行匹配；根据相机参数和匹配的特征点对进行三维重建；最后，计算三维重建点到摄像机的平均距离作为目标距离。与现有技术相比，本发明采用被动测距方法，以边海防视频监控站目标探测为背景，基于双目立体视觉原理，利用边海防视频监控站的多个光电跟踪仪采集视频图像来进行测距，具有成本低、便于携带、抗干扰能力强、方法简单有效的特点。

Description

一种用于光电跟踪仪联动目标的精确测距方法

技术领域

本发明涉及视频监控技术领域，具体涉及一种用于光电跟踪仪联动目标的精确测距方法。

背景技术

在现代军事作战、反恐、反走私等斗争中，快速准确的识别和定位侦查目标成为人们关心的首要问题，而目标距离的精确估计是一个重要环节，具有重要的军事和民用价值。目标测距的方法种类很多，按照是否需要从外部向被测对象施加能量可分为主动测距和被动测距两种。主动测距法使用激光等波束或具有一定纹理结构的白光投射目标，通过分析光束的传播时间或反射光的纹理形变来确定目标距离，如激光测距、结构光法、莫尔条纹法、位相测量法等。其优点是精确度比较高；缺点是发射各种波可能会致伤目标或暴露自身目标，同时设备复杂、不便携带、成本高等。被动测距方法则直接通过目标的视频图像信息来估算目标距离。被动测距法包括立体视觉、运动测距法、单目测距等。

目前我国陆地边界线和海岸线已经基本建立了全覆盖、全天候、24小时的视频监控网络。如果能构建路上重点地段、海上重点区域的视频监控站点，再综合运用白光、红外、雷达、激光等多种探测手段，将会大大提高了边海防信息获取能力，对加强边海防管控具有十分重要的意义。

发明内容

为解决上述缺陷，本发明的目的是提供一种用于光电跟踪仪联动目标的精确测距方法，投入成本低，抗干扰能力强，方法简单有效，结果比较准确。

为达到上述目的，本发明采用的技术方案是：一种用于光电跟踪仪联动目标的精确测距方法，其特征在于包括以下步骤：

1）标定光电跟踪仪摄像机：采用张正友方法对光电跟踪仪摄像机C1和C2分别进行标定；依据小孔成像模型原理，建立摄像机图像像素位置与场景点位置之间的关系；根据摄像机模型，由已知定标点的图像坐标和世界坐标求解摄像机的模型参数，得到摄像机C1和C2的内外参数；

2）图像采集与运动目标检测：同步采集两台光电跟踪仪的视频图像I1和I2，采用背景差分法，对I1和I2进行运动检测，将当前帧图像与背景图像进行差值计算，得到差值图像，再通过建立背景的混合高斯模型对背景和运动目标进行分割，提取到运动目标区域A1和A2；

3）提取区域A1和A2特征：采用SIFT特征提取算法，分别提取运动目标区域A1和A2的SIFT特征点集P1和P2；通过尺度空间极值检测、关键点的定位、关键点方向确定一系列步骤，生成128维向量的特征描述子；

4）特征匹配：将基础矩阵作为模型，采用RANSAC参数估计算法，通过粗匹配和精匹配两个阶段完成特征匹配，获得P1和P2中的匹配点对集合S。

5）三维重建：得到正确的匹配点对集合S后，通过标定后的摄像机模型，采用SVD方法进行特征点的三维重建，重建匹配点对集合对应的三维点集合；

6）距离计算：完成三维重建后，得到运动目标上的一个三维点集Q，计算Q中各点到摄像机C1或C2光心的平均距离即为目标到摄像机的精确距离。

优选的是，步骤3）中在SIFT特征点提取的数量不足的情况下，可以加入

Harris特征点作为补充，使重建结果在细节上更加突出，更加接近真实物体。

本发明采用被动测距方法，以边海防视频监控站目标探测为背景，基于双目立体视觉原理，利用边海防视频监控站的多个光电跟踪仪采集视频图像来进行测距，具有成本低、便于携带、抗干扰能力强、方法简单有效的特点。

相比现有技术，本发明提出的目标测距方法具有如下有益效果：

1）被动测距方法直接通过目标的视频图像信息来估算目标距离，具有隐蔽，无电磁波干扰等优点，在要地防御领域安全性高；

2）与现有的主动测距技术相比，在测距距离及精度满足要求的前提下，使用成本更低，方法更简单有效；

3）双目立体视觉的三维重建技术，模拟了人类的视觉处理景物方式，能够在多种条件下感知三维场景的立体信息，操作简便，测量距离精确度高，可广泛应用于要地防御、安防监控等领域。

附图说明

下面根据附图及实施例，对本发明的特征作进一步描述。

图1是本发明的工作流程示意图。

图2是本发明中光电跟踪仪标定的数据流程图。

图3是本发明中目标测距的数据流程图。

具体实施方式

参看附图1、图2及图3是本发明的一种实施例。

本实施例利用双目立体视觉的三维重建原理进行目标测距，具体技术实现方式包括以下步骤：

1）摄像机标定阶段：采用张正友平面标定方法对光电跟踪仪摄像机C1和C2分别进行标定。具体过程：摄像机从不同角度拍摄平面靶标，摄像机和平面靶标都可以自由地移动，标定过程中摄像机内参保持不变；检测出图象中的特征点；根据张正友标定法的基本原理公式计算出摄像机的内参数和外参数；摄像机镜头是有畸变的，计算出的参数作为初始值，进行优化搜索，求出畸变系数，从而计算出所有参数的准确值，具体的数据流程图附图2所示；

2）三维重建阶段：摄像机标定后，提取至少两幅图像的匹配点联立方程，进行三维重建，主要包括图像采集、目标检测、SIFT特征提取、特征匹配、特征点三维重建等步骤，数据流程图如图3所示。具体过程：

a.采用背景差分法获取运动目标：利用相邻帧图像的差值计算，再通过建立背景的混合高斯模型对背景和运动目标进行分割，实现序列图像中运动目标的检测；

b.采用SIFT特征提取算法获取图像的特征点：先通过尺度空间极值检测，根据二维图像与高斯核的卷积得到不同尺度下的空间表示，建立图像DOG金字塔；然后对特征点进行定位，将提取到的每个特征点与其周围26个特征点比较，提取局部极值点，再通过拟和三维二次函数，对特征点的位置和尺度精确定位，同时剔除边缘响应点和对比度低的点，增强匹配稳定性；同时，为保证特征点的旋转不变性，选取每个特征点在高斯图像中的3σ范围内的梯度和方向，对其进行直方图的统计，确定特征点方向；最后，对于特征点所在尺度空间中的4*4的窗口计算其8个方向的梯度信息，可生成128维向量的特征描述子。

3）提取两幅图像目标区域A1和A2的SIFT特征点集P1和P2后，采用改进的RANSAC算法进行特征匹配：为保证匹配精度，采用粗匹配和精匹配两个阶段来完成。

粗匹配阶段：采用基于欧式距离的最近邻匹配算法（Nearest Neighbor-NN）：

对特征点集P2利用kd-tree建立索引建构；然后，对每个，在P2中利用kd-tree进行搜索，查找与a对应的最近邻特征向量b1以及次近邻特征向量b2，如果最近邻除以次近邻的距离比值小于某个给定的比例阈值，即（实验中T的取值为0.6），则b1为a的匹配；否则认为a在P2中没有匹配，通过粗匹配过程可以得到匹配点对集合S1；

精匹配阶段：利用对极几何约束关系，剔除S1中的虚假匹配，由于对同一场景拍摄的两幅图像中任意一个匹配点对满足对极几何（Epipolar Geometry）约束关系，而对极几何约束关系在数学上可以用基本矩阵（Fundamental matrix）来表示。两幅图像之间的基本矩阵F是一个3×3的秩2奇异方阵，具有7个自由度；对两幅图像的匹配点对(a,b)，满足aTFb=0；由于每一组匹配点对可以提供关于F的未知元素的一个线性方程，如果两幅图像中有足够多的匹配点(﹥7)，就可以利用它们联立方程组来计算未知的基本矩阵F，求解基础矩阵本发明采用的是改进的8点法。

其中RANSAC算法中虚假匹配的判断标准为：根据8点法估计出的基础矩阵，计算特征点到对应极线的垂直距离作为约束（小于1.5个像素），将不满足约束关系的匹配，视为虚假匹配，也称为outlier（正确的匹配点对称为inlier）。RANSAC算法认为，只要随机进行N组抽样（N要足够大），就能在一定的置信水平P（一般取0.99）下保证至少有一组抽样是没有被污染的，最小的抽样次数N满足下面的条件：

式中是数据错误率，k是求解模型所需的最少数据。

RANSAC算法中虚假匹配剔除过程为：

Ⅰ)根据置信水平和数据错误率，计算需要进行的抽样数N；

Ⅱ)从粗匹配点对集S1中均匀随机地抽取8组匹配点对，采用的是改进的8点法，计算近似基本矩阵Fran；

Ⅲ)用未抽取到的每一组对应点来验证Fran，如果极线距离足够小，则认为这个对应是与Fran一致的正确匹配点对，重新计算数据错误率并更新N；

Ⅳ)重复第Ⅱ和第Ⅲ步，直到完成N组抽样的处理；

Ⅴ)根据最大正确匹配点对数和最小误差方差，从多个近似基本矩阵Fran中选择最优的参数模型FR；

Ⅵ)利用FR计算正确匹配点对集合S，并根据S重新计算最终的基本矩阵F。

4）得到正确的匹配点对集合S后，由于两台光电跟踪仪摄像机C1和C2的内外参数已经标定，根据特征点匹配结果，重建对应的三维点集合。

三维场景点与二维像平面上的像点满足中心射影关系，如下面的公式所示：

其中：K称为相机内参数矩阵。因为K中参数只与相机的内部结构有关；[R|t]为摄像机外参数矩阵，描述了摄像机坐标系与世界坐标系之间的位置关系，P=K[R|t]为称为投影矩阵。

对任意匹配点，将a和b分别代入上面的公式，后得到一个联系方程组即可解出(a,b)对应的三维点M，由于(a,b)是匹配点对，理论上方程组有唯一解，但是在实际应用中，由于标定误差等的影响，可能没有确定的解，可以采用SVD分解的方法来确定最优解；

5）目标距离计算阶段：对匹配点对集合中的每对匹配点进行三维重建后，得到运动目标上的一个三维点集，求出三维点集中的所有点到摄像机光心的平均距离就得到了目标距离。

本实施例中以行人为运动目标，使用两台相同配置的光电跟踪仪进行联动测试：按照摄像机标定阶段的张正友方法对一台光电跟踪仪进行标定，标定过程中摄像机内参保持不变，得到光电跟踪仪的内外参数。然后进行目标测距，假定光电跟踪仪不动，对运动目标进行检测，并抓拍两幅目标图像，进行特征点提取和匹配，通过三维重建得到目标的3D稀疏点云，求出三维点集中的所有点到摄像机光心的平均距离即可。实验结果表明，所提出的测距算法是一种可行的被动。

以上所描述的仅为本发明的较佳实施例，上述具体实施例不是对本发明的限制，凡本领域的普通技术人员根据以上描述所做的润饰、修改或等同替换，均属于本发明的保护范围。

Claims (2)

1.一种用于光电跟踪仪联动目标的精确测距方法，采用两台光电跟踪仪配合，检测出运动目标信息后同时捕获运动目标，基于三维重建原理建立运动目标的三维图像，计算出三维点到摄像机光心的平均距离即得到目标到摄像机的精确距离，其特征在于包括以下步骤：

1）标定光电跟踪仪摄像机：采用张正友方法对光电跟踪仪摄像机C1和C2分别进行标定；依据小孔成像模型原理，建立摄像机图像像素位置与场景点位置之间的关系；根据摄像机模型，由已知定标点的图像坐标和世界坐标求解摄像机的模型参数，得到摄像机C1和C2的内外参数；

2）图像采集与运动目标检测：同步采集两台光电跟踪仪的视频图像I1和I2，采用背景差分法，对I1和I2进行运动检测，将当前帧图像与背景图像进行差值计算，得到差值图像，再通过建立背景的混合高斯模型对背景和运动目标进行分割，提取到运动目标区域A1和A2；

3）提取区域A1和A2特征：采用SIFT特征提取算法，分别提取运动目标区域A1和A2的SIFT特征点集P1和P2；通过尺度空间极值检测、关键点的定位、关键点方向确定一系列步骤，生成128维向量的特征描述子；

4）特征匹配：将基础矩阵作为模型，采用RANSAC参数估计算法，通过粗匹配和精匹配两个阶段完成特征匹配，获得P1和P2中的匹配点对集合S；

5）三维重建：得到正确的匹配点对集合S后，通过标定后的摄像机模型，采用SVD方法进行特征点的三维重建，重建匹配点对集合对应的三维点集合；

6）距离计算：完成三维重建后，得到运动目标上的一个三维点集Q，计算Q中各点到摄像机C1或C2光心的平均距离即为目标到摄像机的精确距离。

2.根据权利要求1所述的用于光电跟踪仪联动目标的精确测距方法，其特征在于：步骤3）中在SIFT特征点提取的数量不足的情况下，可以加入Harris特征点作为补充。