CN109544608A - 一种无人机图像采集特征配准方法 - Google Patents

Abstract

本发明公开了一种无人机图像采集特征配准方法，包括根据SIFT算法对待配准图像以及标准图像分别进行特征检测，以获得待配准图像以及标准图像对应的图像特征点，其中待配准图像为无人机进行输电线路的巡检所拍摄获得；根据最近邻方法对图像特征点进行特征点匹配，以获得待配准图像以及标准图像之间匹配的图像特征点；根据仿射变换对匹配的图像特征点进行空间坐标变换，进一步根据最小二乘法获得空间坐标变换对应的空间坐标变换参数；根据空间坐标变换参数对待配准图像进行坐标变换，以使待配准图像与标准图像处于同一坐标系下。本发明能够对无人机图像进行图像配准，配准精度高，为后续的图像识别等图像处理工作提供便利，提高图像处理的效率。

Description

一种无人机图像采集特征配准方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种无人机图像采集特征 配准方法。

背景技术

电力系统是我国经济建议的重要基础和国民生活的重要保障，电力 系统是否能够正常运行直接影响了国家经济发展和人民的生活质量。一 套完整的电力供应系统包括配电、发电、送电、输电、用电等一系列相 关设备。作为连接整个系统的主要部分，输电线路运行正常与否，影响 了电力系统的稳定性和安全性。对输电线路进行巡检，及时检测线路设 备缺陷状态，保证电网安全稳定运行。目前输电线路巡检方式主要有3 种：人工巡检、直升机巡检和无人机巡检。

其中对于无人机所拍摄获取的图像，由于不同时间段、不同拍摄距 离、不同拍摄视角、不同成像机理等因素，无人机所拍摄的图像可能会 存在平移、拉伸、缩放等空间变换关系，没有在同一坐标下严格对齐， 无法进行后续的图像识别等图像处理工作。现有对于无人机图像通常是 采用人工检测识别的方式，通过人工识别图像上是否存在输电线路缺陷，没有进行图像识别前的图像配准工作，导致后续的图像处理效率低 下、人工识别工作强度大，浪费大量的人力。

发明内容

本发明主要解决的技术问题是提供一种无人机图像采集特征配准 方法，能够对无人机图像进行图像配准，配准精度高，为后续的图像识 别等图像处理工作提供便利，提高图像处理的效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种无 人机图像采集特征配准方法，包括：根据SIFT算法对待配准图像以及 标准图像分别进行特征检测，以获得待配准图像以及标准图像对应的图 像特征点，其中待配准图像为无人机进行输电线路的巡检所拍摄获得； 根据最近邻方法对图像特征点进行特征点匹配，以获得待配准图像以及 标准图像之间匹配的图像特征点；根据仿射变换对匹配的图像特征点进 行空间坐标变换，进一步根据最小二乘法获得空间坐标变换对应的空间 坐标变换参数；根据空间坐标变换参数对待配准图像进行坐标变换，以 使待配准图像与标准图像处于同一坐标系下。

进一步地，根据SIFT算法对待配准图像以及标准图像分别进行特 征检测的步骤具体包括：检测待配准图像以及标准图像对应的尺度空间 极值点；从尺度空间极值点中确定图像特征点；提取图像特征点的主方 向；根据图像特征点的主方向获得图像特征点的特征描述符。

进一步地，检测待配准图像以及标准图像对应的尺度空间极值点的 步骤具体包括：生成待配准图像以及标准图像对应的尺度空间，根据不 同的图像采样距离构建尺度空间对应的金字塔；对金字塔采用不同的尺 度空间因子进行滤波，构建高斯金字塔；根据高斯金字塔构建高斯差分 金字塔；在高斯差分金字塔中提取尺度空间极值点。

进一步地，尺度空间定义为一个尺度可变的高斯函数与待配准图 像、标准图像的卷积，如下式所示：

其中L(x,y,σ)表示尺度空间，I(x,y)表示待配准图像或标准图像，表示卷积运算，(x，y)表示待配准图像或标准图像的像素位置，其中为尺度可变的高斯函数，σ表示尺 度空间因子。

进一步地，高斯差分金字塔对应的高斯差分函数DOG通过下式运算 得到，其中k为常数：

进一步地，提取图像特征点的主方向的步骤具体包括：利用图像特 征点周围图像的梯度方向分布统计来确定图像特征点的主方向。

进一步地，特征描述符的维度为128维度。

进一步地，根据最近邻方法对图像特征点进行特征点匹配的步骤具 体包括：计算待配准图像的特征描述符与标准图像的特征描述符之间的 最近邻欧氏距离与次近邻欧氏距离；判断最近欧氏距离与次近邻欧氏距 离的比值是否小于预设阈值，若比值小于预设阈值，则相应的图像特征 点为待配准图像以及标准图像之间匹配的图像特征点。

进一步地，当待配准图像变换后的坐标不为整数时，则进行双线性 插值处理。

本发明的有益效果是：区别于现有技术的情况，本发明所公开的无 人机图像采集特征配准方法，根据SIFT算法对待配准图像以及标准图 像分别进行特征检测，以获得待配准图像以及标准图像对应的图像特征 点，实现对图像的旋转、缩放、平移以及光线、遮挡等具有不变性，在 图像配准的过程中，达到图像的平移旋转，缩放方面的特征配准；能够 对无人机图像进行图像配准，配准精度高，为后续的图像识别等图像处 理工作提供便利，提高图像处理的效率。

附图说明

图1是本发明无人机图像采集特征配准方法的步骤示意图；

图2是本发明无人机图像采集特征配准方法中步骤S1的子步骤示 意图；

图3是本发明无人机图像采集特征配准方法中步骤S2的子步骤示 意图。

具体实施方式

图像配准是一种寻找同一场景的两幅或多幅图像之间的空间变换 关系，并对其中的一幅或多幅图像进行变换的过程。图像配准是所有图 像分析任务中最为关键和基础的步骤，是图像拼接、图像重建、目标识 别等应用的前提。由于不同时间段、不同拍摄距离、不同拍摄视角、不 同成像机理等因素，无人机所拍摄的图像可能会存在平移、拉伸、缩放等空间变换关系，没有在同一坐标下严格对其，因此需要在图像融合前 进行图像配准。

请参阅图1-3，本发明的无人机图像采集特征配准方法包括以下步 骤：

步骤S1：根据SIFT算法对待配准图像以及标准图像分别进行特征 检测，以获得待配准图像以及标准图像对应的图像特征点。

本步骤S1具体包括以下子步骤：

子步骤S11：检测待配准图像以及标准图像对应的尺度空间极值点。 具体过程包括：

生成待配准图像以及标准图像对应的尺度空间，尺度空间表示为L (x,y,σ)，尺度空间定义为一个尺度可变的高斯函数与待配准图像、 标准图像I(x，y)的卷积，如下式所示： 其中表示卷积运算，(x，y)表示 图像的像素位置，其中为尺度可变 的高斯函数，σ表示尺度空间因子；根据不同的图像采样距离构建尺度 空间对应的金字塔，即在第一次采样时每0.5个像素距离进行采样，之 后以成倍的图像采样距离即1、2、4个像素距离分别对图像采样来产生 第二、三、四组的图像，构建上述金字塔的分层结构。

对金字塔采用不同的尺度空间因子(也即高斯滤波因子)进行滤波， 构建高斯金字塔的分层结构；根据高斯金字塔构建高斯差分金字塔，具 体为将每组中相邻图像进行相减生成高斯差分金字塔，其中高斯差分金 字塔对应的高斯差分函数DOG可以通过下式运算得到，其中k为常数：

在高斯差分金字塔中提取尺度空间极值点，在提取尺度空间极值点 时，样本点不仅要与本层中相邻的8个像素点比较，还要与上下相邻两 层中各9个像素点进行比较。

子步骤S12：从尺度空间极值点中确定图像特征点。

为了确定图像特征点的位置，需要去除对比度比较低的图像特征点 以及不稳定的边缘响应点，具体可通过拟合三维二次函数来实现这一操 作，以增强匹配的稳定性，同时能够提高抗噪声能力。

子步骤S13：提取图像特征点的主方向。

利用图像特征点周围图像的梯度方向分布统计来确定图像特征点 的主方向，使得SIFT算子具有旋转不变的性能。下式为(x,y)处梯度 的幅值m(x，y)和方向θ(x，y)公式，其中L所用的尺度为每个图像 特征点各自所在的尺度。计算时需要对以图像特征点为中心的窗口图像 进行采样，根据直方图统计窗口图像内所有像素的梯度方向。梯度直方 图统计范围是0～360度，选择直方图的峰值代表该特征点处邻域梯度 的主方向，同时作为图像特征点的主方向。在梯度方向直方图中，如果 存在另一个峰值，且该峰值相当于主峰值的80％，可以把这个方向看作 图像特征点的辅方向。

θ(x，y)＝atan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

子步骤S14：根据图像特征点的主方向获得图像特征点的特征描述 符。

根据图像特征点的主方向周围的像素点得到特征描述符，在每4×4 的小块内计算出八个方向的梯度方向直方图，并统计每个梯度方向的累 计值，得到一个种子点，一个图像特征点由2×2共4个种子点构成， 每个种子点有8个方向的向量值。为了进一步增强特征匹配的鲁棒性， 可以对每个图像特征点使用4×4共16个种子点的方式进行特征描述，即每个图像特征点产生128维的特征向量，该特征向量即为图像特征点 的特征描述符。

采用128维的维度对图像特征点进行描述，使得特征点描述符之间 具有很大的差异性，可直接利用图像特征点之间的几何特性进行图像特 征点的匹配，具体如下步骤S2所示。

步骤S2：根据最近邻方法对图像特征点进行特征点匹配，以获得待 配准图像以及标准图像之间匹配的图像特征点。

根据最近邻方法(Nearest Neighbor，NN)对图像特征点进行特征 点匹配，该步骤S2具体包括以下子步骤：

子步骤S21：计算待配准图像的特征描述符与标准图像的特征描述 符之间的最近邻欧氏距离与次近邻欧氏距离。

子步骤S22：判断最近欧氏距离与次近邻欧氏距离的比值是否小于 预设阈值，若比值小于预设阈值，则相应的图像特征点为待配准图像以 及标准图像之间匹配的图像特征点，也即接受这一对匹配点。

步骤S3：根据仿射变换对匹配的图像特征点进行空间坐标变换，进 一步根据最小二乘法获得空间坐标变换对应的空间坐标变换参数。

仿射变换(Affine Transform)可以通过一系列变换的复合来实现， 包括：缩放、旋转、平移和剪切。该类变换可以用一个3×3的矩阵来 表示，其最后一列为(0,0,1)。该变换矩阵将原坐标(x,y)变换为新坐 标(x',y')，这里原坐标和新坐标皆为最后一列为(0,0,1)的三维行向 量，原行向量右乘变换矩阵得到新的行向量，具体如下式所示：

需要计算的空间坐标变换参数即仿射变换参数G(tx,ty,s)(其 中tx和ty分别是横纵坐标的平移量，s是缩放量)，就是使一个点集 中的点经过变换后的坐标与另一个点集中对应的点的坐标欧氏距离的 平方和S(tx,ty,s)最小的变换，该空间坐标变换参数通过最小二乘 法可求得。

此外，可通过互信息相似性测度提高图像配准的速度和精度。相似 测度的选择很大程度上依赖于特征空间的选择，当两幅图像的空间位置 达到一致时，其中一幅图像表达另一幅图像的信息，即其互信息应为最 大。设A为待配准图像，B为标准图像，边缘概率分别为PA(a)和PB(b)， 联合概率分布为PAB(a,b)，互信息为MI(A,B)：

选择比互信息测度更稳定的归一化互信息测度：

步骤S4：根据空间坐标变换参数对待配准图像进行坐标变换，以使 待配准图像与标准图像处于同一坐标系下。

在获得空间坐标变换参数后，对待配准图像进行相应的坐标变换使 得待配准图像与标准图像处于同一坐标系下，完成图像配准。当待配准 图像变换后所得点的坐标不为整数时，则应进行双线性插值处理。

本发明通过SIFT算法对待配准图像以及标准图像分别进行特征检 测，获得对应的图像特征点，由于SIFT算法所获得的图像特征点具有 很高的鲁棒性，对图像的旋转、缩放、平移以及光线、遮挡等具有不变 性，该算法可以有效的支持无人机在非固定视角条件下所获取的图像进 行图像配准，在配准的过程中，达到图像的平移旋转，缩放方面的特征配准。本发明能够对无人机图像进行图像配准，配准精度高，为后续的 图像识别等图像处理工作提供便利，提高图像处理的效率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围， 凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或 直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保 护范围内。

Claims (9)

1.一种无人机图像采集特征配准方法，其特征在于，包括：

根据SIFT算法对待配准图像以及标准图像分别进行特征检测，以获得所述待配准图像以及标准图像对应的图像特征点，其中所述待配准图像为无人机进行输电线路的巡检所拍摄获得；

根据最近邻方法对所述图像特征点进行特征点匹配，以获得所述待配准图像以及标准图像之间匹配的图像特征点；

根据仿射变换对所述匹配的图像特征点进行空间坐标变换，进一步根据最小二乘法获得所述空间坐标变换对应的空间坐标变换参数；

根据所述空间坐标变换参数对所述待配准图像进行坐标变换，以使所述待配准图像与所述标准图像处于同一坐标系下。

2.根据权利要求1所述的无人机图像采集特征配准方法，其特征在于，所述根据SIFT算法对待配准图像以及标准图像分别进行特征检测的步骤具体包括：

检测所述待配准图像以及标准图像对应的尺度空间极值点；

从所述尺度空间极值点中确定所述图像特征点；

提取所述图像特征点的主方向；

根据所述图像特征点的主方向获得所述图像特征点的特征描述符。

3.根据权利要求2所述的无人机图像采集特征配准方法，其特征在于，所述检测所述待配准图像以及标准图像对应的尺度空间极值点的步骤具体包括：

生成所述待配准图像以及标准图像对应的尺度空间，根据不同的图像采样距离构建所述尺度空间对应的金字塔；

对所述金字塔采用不同的尺度空间因子进行滤波，构建高斯金字塔；

根据所述高斯金字塔构建高斯差分金字塔；

在所述高斯差分金字塔中提取所述尺度空间极值点。

4.根据权利要求3所述的无人机图像采集特征配准方法，其特征在于，所述尺度空间定义为一个尺度可变的高斯函数与所述待配准图像、标准图像的卷积，如下式所示：

其中L(x,y,σ)表示所述尺度空间，I(x,y)表示所述待配准图像或标准图像，表示卷积运算，(x，y)表示所述待配准图像或标准图像的像素位置，其中为所述尺度可变的高斯函数，σ表示尺度空间因子。

5.根据权利要求4所述的无人机图像采集特征配准方法，其特征在于，所述高斯差分金字塔对应的高斯差分函数DOG通过下式运算得到，其中k为常数：

6.根据权利要求5所述的无人机图像采集特征配准方法，其特征在于，所述提取所述图像特征点的主方向的步骤具体包括：利用所述图像特征点周围图像的梯度方向分布统计来确定图像特征点的主方向。

7.根据权利要求6所述的无人机图像采集特征配准方法，所述特征描述符的维度为128维度。

8.根据权利要求1所述的无人机图像采集特征配准方法，其特征在于，所述根据最近邻方法对所述图像特征点进行特征点匹配的步骤具体包括：

计算所述待配准图像的特征描述符与所述标准图像的特征描述符之间的最近邻欧氏距离与次近邻欧氏距离；

判断所述最近欧氏距离与所述次近邻欧氏距离的比值是否小于预设阈值，若所述比值小于所述预设阈值，则相应的所述图像特征点为待配准图像以及标准图像之间匹配的图像特征点。

9.根据权利要求1所述的无人机图像采集特征配准方法，其特征在于，当所述待配准图像变换后的坐标不为整数时，则进行双线性插值处理。