CN109242918A - 一种直升机机载双目立体视觉标定方法 - Google Patents

Abstract

本申请提供了一种直升机机载双目立体视觉标定方法，属于直升机试飞测试技术领域，所述方法包括将双目相机加装在一个直升机上，建立相机坐标系，采用张氏标定法对双目相机进行静态标定，获得相机内参，之后制作地面立体黑白棋盘格靶标，确定至少四个平面靶标顶点的坐标，控制直升机飞行到所述地面立体黑白棋盘格靶标上方，通过双目相机采集靶标图像，得到平面靶标顶点在靶标图像中的位置同时，获取所述平面靶标顶点在机体坐标系的位置最后根据相机坐标系到机体坐标系的坐标转换关系计算直升机机载双目立体视觉标定参数[Rt]。该申请解决了双目视觉测量系统在机载环境的标定问题，实现了在直升机上应用双目视觉系统进行物体的位姿测量。

Description

一种直升机机载双目立体视觉标定方法

技术领域

本申请属于直升机试飞测试技术领域，具体涉及一种直升机机载双目立体视觉标定方法。

背景技术

简单来说双目视觉就是利用两个摄像头仿制出人眼双目的效果，通过相关算法在计算机中描绘出大脑处理后的画面。我们能够通过这个技术，得到与所测目标之间的距离，得到目标的三维信息。双目视觉广泛应用在机器人导航，精密工业测量、物体识别、虚拟现实、场景重建，勘测领域。

双目视觉系统的关键技术之一是相机的标定。相机标定的目的，是获取从二维图像空间到三维机体坐标系的转换关系相关初始化参数。相机拍照是将三维空间中的点映射到二维的图像中的物理过程；进行相机标定，可以使我们获取三维空间坐标和二维图像坐标的对应变换的相关参数，从而可以根据图像中的目标点二维坐标推算其三维空间位置。

因为标定在整个基于标定相机的三维重建的几何过程占有最重要最核心的地位。标定得到的内参、外参和畸变系数，是双目视觉进行图片矫正，相机校正和3D恢复的基础。没有好的标定，双目视觉系统就无法完成3D重建。当前使用最广泛的标定方法是“张氏标定”，是指张正友教授于1998年提出的单平面棋盘格的相机标定方法，为相机标定提供了很大便利，并且具有很高的精度。从此标定可以不需要特殊的标定物，只需要一张打印出来的棋盘格。

在实验室环境下，这种标定较为容易实现，标定时的世界坐标系可以任意选取，而且靶标可以摆放在任意位置，因此可以选取良好的观测区域，使得靶标在双目视野内均有良好的可视范围，且靶标在世界坐标系的位置可以直接使用米尺或游标卡尺、显微镜、分度仪等直接精确测量。但是，在机载环境下(即当双目相机安装在直升机)使用双目视觉系统时，由于测量的参考系通常为机体或大地，使用张氏标定法标定后的测量结果是相机坐标系下的测量结果，并不符合机载测量的要求，而且，也难以实现：

首先讨论世界坐标系的选取。由于传感器与机体固连，因此世界坐标系必须与机体固连。为了避免多余的坐标转换，直接选取机载航迹和姿态测量系统的坐标系，假定其原点为机体质心。但是，机载航迹和姿态测量系统的原点位置往往处于机体内或上方，而机载测量作业往往是对下观测，坐标系原点不能与相机视野之间直接通视，这就对靶标位置的测定造成了困难。

其次，如何拍摄标定图片，也是一个难点。机腹下方空间狭小，离地面只有不到1m的距离，离目标区域(6～10m)差距很远，因此对焦距离设定在6～10m的工作范围时，在1m距离的地面放置图片，静止进行拍摄，标定图像将处于景深之外。另外，为了获取良好的双目交汇测量精度，两台相机距离应尽可能大，那么在1m的距离就很难找到两台相机能共同观测的区域。

正因为在机载环境下难以对双目相机进行标定，极大的限制了双目视觉系统在机载测量领域的应用。

发明内容

为了解决上述技术问题至少之一，本发明提供了直升机机载双目视觉系统的标定系统及方法，利用双目相机、GPS惯性导航系统、差分GPS系统、立体靶标设备，结合直升机吊挂测量作业的业务场景，旨在解决以下问题：

(1)双目相机在机载环境下的安装参数的标定；

(2)确定双目视觉测量数据与机体的相对关系。

(3)双目视觉在机载环境下的位置测量应用。

本发明提供的直升机机载双目立体视觉标定方法，包括如下步骤：

步骤一、将双目相机加装在一个直升机上，建立相机坐标系，采用张氏标定法对双目相机进行静态标定，获得相机内参A；

步骤二、制作地面立体黑白棋盘格靶标，确定至少四个平面靶标顶点的坐标；

步骤三、控制直升机飞行到所述地面立体黑白棋盘格靶标上方，通过双目相机采集靶标图像，得到平面靶标顶点在靶标图像中的位置同时，获取所述平面靶标顶点在机体坐标系的位置

步骤四、根据相机坐标系到机体坐标系的坐标转换关系计算直升机机载双目立体视觉标定参数[Rt]，其中，Z_c为靶标顶点到相机坐标系原点的距离。

优选的是，所述确定至少四个平面靶标顶点的坐标包括在距离靶标10公里范围内搭建差分GPS系统基准站，以及在靶标顶点处设置GPS系统移动站天线。

优选的是，所述靶标顶点与在该点设置的GPS系统移动站天线重合，误差小于2mm。

优选的是，所述确定至少四个平面靶标顶点的坐标包括多次采集GPS系统移动站相对于差分GPS系统基准站的位置坐标，并取平均值作为平面靶标顶点的坐标。

与现有技术相比，本发明的积极效果是：用全新的技术手段解决了双目视觉测量系统在机载环境的标定问题，实现了在直升机上应用双目视觉系统进行物体的位姿测量。具体表现如下：

1、在专用的场地上摆放靶标，将黑白棋盘格绘制到立体靶标上，实现了机载环境下的双目相机的标定采样；

2、结合机载应用的实际，实现了飞行状态下的动态标定；

3、机载实时测量，对直升机振动频谱进行建模，采用卡尔曼滤波、滑窗滤波等手段，对振动造成的图像扰动进行进一步的滤除法，有效消除了直升机飞行状态下的机体振动的影响；

4、采用实时差分GPS系统精确测量靶标角点的精确坐标；

5、融合直升机自身的GPS惯性导航系统的数据，对机载双目相机进行标定。

附图说明

图1为按照本发明直升机机载双目立体视觉标定方法的一优选实施例的流程图。

图2为按照本发明直升机机载双目立体视觉标定方法的一优选实施例的双目相机安装示意图。

图3为按照本发明直升机机载双目立体视觉标定方法的一优选实施例的坐标系转换示意图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。下面结合附图对本申请的实施方式进行详细说明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

本发明涉及一种直升机机载双目立体视觉标定方法，如图1所示，包括：

步骤一、将双目相机加装在一个直升机上，建立相机坐标系，采用张氏标定法对双目相机进行静态标定，获得相机内参A；

步骤二、制作地面立体黑白棋盘格靶标，确定至少四个平面靶标顶点的坐标；

步骤三、控制直升机飞行到所述地面立体黑白棋盘格靶标上方，通过双目相机采集靶标图像，得到平面靶标顶点在靶标图像中的位置同时，获取所述平面靶标顶点在机体坐标系的位置

步骤四、根据相机坐标系到机体坐标系的坐标转换关系计算直升机机载双目立体视觉标定参数[Rt]，其中，Z_c为靶标顶点到相机坐标系原点的距离。

双目相机安装方式如图2所示，cam表示相机，为了方便安装，两个相机公用一个安装平台，相距约2m。

本实施例首先采用张氏标定法对双目相机进行静态标定，采用张张氏标定法对双目相机进行静态标定，获得两台相机的参数，包括相机内参(图像主点坐标、倾斜因子、尺度因子)，外参(两台相机之间的旋转矩阵和平移矩阵)，以及径向和切向畸变系数。

之后，进行靶标制作，黑白棋盘格靶标每个格大小为0.2x0.2m，总尺寸为2x4m，采用两块2x2m的棋盘格拼接成。2x2m的黑白棋盘格采用广告纸打印后粘贴到平整的硬木板上，打印要求角点平面和高度误差不应大于1cm。木板的拼接处要求平整无毛刺，连接处误差不应大于0.5cm。

随后，选择标定场地，标定场地应选择开阔、平整、坚实牢固地基的地面，20米范围内不能有超过10米高的楼层。标定场地应避开无线电站、高压线、变压器、铁轨等有线电干扰区。

之后，测量靶标顶点坐标，把黑白棋盘格平面靶标放到选型的标定场地上，架设好GPS基准站，GPS基准站要求离平面靶标的距离小于10公里。把GPS移动站天线放到黑白棋盘格的其中一个顶点上，天线的相位中心和黑白棋盘格平面靶标的顶点重合，要求误差小于2mm，记录30分钟原始数据。根据此方法依次测量剩余的5个顶点。选棋盘格里两块2x2m拼接处的两点按上述方法分别记录30分钟原始数据。通过以上步骤共测得6个点各30分钟的原始数据，采用差分GPS系统后处理软件结合基准站原始数据计算出这六个点的坐标。

之后，进行数据采集，将双目相机随安装平台固连到直升机机腹。直升机飞行高度15米，机头方向和靶标4m长度方向保持一致。直升机在靶标上方悬停1分钟记录高速相机和惯导数据的原始数据，重复以上步骤10次。直升机飞行高度15米，机头方向和靶标2m长度方向一致。直升机在靶标上方悬停1分钟记录高速相机和GPS惯性导航系统的原始数据，重复以上步骤10次。

最后，处理采集的数据，计算标定结果，以下解释本实施例标定原理。

根据前述，如图3所示，平面靶标顶点在机体坐标系内的坐标X_bY_bZ_b是较难直接获取的。但是通过GPS惯性导航系统系统，可以测得直升机机体坐标系与大地坐标系之间的刚体变换矩阵[R_g t_g]，通过差分GPS系统可以精确测量平面靶标顶点在大地坐标系的坐标X_gY_gZ_g，直升机机体坐标系与大地坐标系转换矩阵为：

即可解算出6个平面靶标顶点在机体坐标系的位置。

相机坐标系到机体坐标系的坐标转换关系如下：

为了便于理解，将上式化为：

其中

其中，是平面靶标顶点相对于机体坐标系的位置；[R t]是由相机相对于机体坐标系的方位决定，称为相机外部参数矩阵；u、v是标记点在图像坐标系中的位置；α_u、α_v分别为图像u轴和v轴上的尺度因子，s是描述两图像坐标轴倾斜程度的参数，(u0,v0)为主点坐标，是相机的内参数。

采用张氏标定法对双目相机进行静态标定，得出相机内参矩阵

采用图像识别算法进行图像匹配，识别出图像中的光学标记，通过计算得到光学标记点在相机坐标系中的位置u、v。

[R_g t_g]是通过GPS惯性导航系统测量得到的；是通过对靶标大地测量得到的。两者相乘，即可得到控制点在机体坐标系内的坐标

利用之前测量的6个平面靶标顶点，可获取多个方程，对未知量进行求解，即可分别解算出两台相机坐标系与机体坐标系的转化关系。

可以理解，在备选实施方式中，4个平面靶标顶点所组成的方程组即可解算出两台相机坐标系与机体坐标系的转化关系。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种直升机机载双目立体视觉标定方法，其特征在于，包括：

步骤一、将双目相机加装在一个直升机上，建立相机坐标系，采用张氏标定法对双目相机进行静态标定，获得相机内参A；

步骤二、制作地面立体黑白棋盘格靶标，确定至少四个平面靶标顶点的坐标；

步骤三、控制直升机飞行到所述地面立体黑白棋盘格靶标上方，通过双目相机采集靶标图像，得到平面靶标顶点在靶标图像中的位置同时，获取所述平面靶标顶点在机体坐标系的位置

步骤四、根据相机坐标系到机体坐标系的坐标转换关系计算直升机机载双目立体视觉标定参数[Rt]，其中，Z_c为靶标顶点到相机坐标系原点的距离。

2.根据权利要求1所述的直升机机载双目立体视觉标定方法，其特征在于，所述确定至少四个平面靶标顶点的坐标包括在距离靶标10公里范围内搭建差分GPS系统基准站，以及在靶标顶点处设置GPS系统移动站天线。

3.根据权利要求2所述的直升机机载双目立体视觉标定方法，其特征在于，所述靶标顶点与在该点设置的GPS系统移动站天线重合，误差小于2mm。

4.根据权利要求2所述的直升机机载双目立体视觉标定方法，其特征在于，所述确定至少四个平面靶标顶点的坐标包括多次采集GPS系统移动站相对于差分GPS系统基准站的位置坐标，并取平均值作为平面靶标顶点的坐标。