CN118052869B - 无人机位姿参数优化方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本申请提供的无人机位姿参数优化方法、装置、存储介质及计算机设备，相对于传统特征点匹配的方法，本申请构建的目标优化函数可以增强算法的鲁棒性，并减少误匹配的负面影响，进而满足无人化巡检要求；最后，本申请还可以利用改进的蚁群优化算法对目标优化函数进行迭代优化，直到达到优化目标为止，得到当前位姿参数，该过程不仅实现了单张光伏组件热红外影像的实时快速位姿参数优化，还提高了处理效率，并且，本申请利用改进的蚁群优化算法的随机搜索特性，可以避免陷入局部最优解，尽可能地找到全局最优的位姿参数，进而有效提高了结果的高效性与可靠性，实现其与光伏组件矢量底图的像素级配准，进而为高效、精确的组件级光伏巡检提供支撑。

Description

无人机位姿参数优化方法、装置、存储介质及计算机设备

技术领域

本申请涉及光伏巡检技术领域，尤其涉及一种无人机位姿参数优化方法、装置、存储介质及计算机设备。

背景技术

作为可再生能源的关键组成部分，太阳能光伏发电是实现能源绿色低碳转型和应对气候变化的重要手段。然而，光伏电站在运行过程中，光伏面板可能会出现各种故障，进而影响电站的发电效率。因此，对光伏面板进行定期检测和维护至关重要。其中，光伏电站巡检是光伏组件状态监测、缺陷诊断和故障定位的必要途径。目前，使用无人机热红外遥感技术可以高效、精确地获取光伏组件表面温度信号，进而实现高精度、对象级的光伏组件故障定位和分析。

而实现对象级光伏组件定位的前提是确定无人机影像拍摄时刻的精确位置与姿态参数（简称位姿参数），从而为现实中的各个光伏组件确定其精确成像范围和成像数据，并进一步将影像分析结果与光伏组件实体进行关联，实现后续的工况检查和故障诊断操作。

目前市面上的航测无人机基本上都搭载了惯性导航单元（IMU），其配合RTK技术后可以实现厘米级的定位精度与1°以内的姿态精度，但受无人机飞控精度等内部因素与场地环境等外部因素的限制，无人机提供的初始位姿参数的精度并不能实现组件级精准定位，从而导致难以精确地将巡检数据中的组件成像与运维后台登记的组件实体进行对应。因此，有必要在初始位姿参数的基础上，对影像位姿参数进行后处理精化。

现有技术中，一般采用区域网平差方式实现对无人机影像的位姿参数精化，该方式是一种典型的线下处理方式，需要在整个巡检区域影像数据全部采集完毕后，再经由特征点提取匹配、空中三角测量和光束法平差等方法实现位姿参数解算；该过程不仅无法满足对无人机的在线回传数据进行实时处理的要求，而且，由于光伏电站场景具有成像内容高度重复和背景信息单一等特点，现有技术在影像匹配阶段容易出现错误匹配，使得位姿解算过程往往需人工介入，进而无法满足无人化巡检要求。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中采用区域网平差方式实现对无人机影像的位姿参数精化的过程存在明显延时性，且通常需要人工介入处理，无法高效、精确地对无人机热红外影像进行位姿参数精化的技术缺陷。

本申请提供了一种无人机位姿参数优化方法，所述方法包括：

当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，获取所述巡检区域的光伏组件三维矢量图、所述无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的所述无人机在各个历史时刻的位姿参数序列；

确定与所述当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用所述机载激光测距仪数据和所述初始位姿参数，将所述光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图；

计算所述光伏组件实例化分割矢量图与所述光伏组件二维矢量图的交并比后，以所述初始位姿参数为待优化参数，以最大化所述交并比和优化后的初始位姿参数趋近于所述位姿参数序列为优化目标，构建目标优化函数；

利用改进的蚁群优化算法对所述目标优化函数进行迭代优化，直到达到所述优化目标为止，得到当前位姿参数。

可选地，所述获取所述巡检区域的光伏组件三维矢量图，包括：

通过所述无人机预先对所述巡检区域进行可见光倾斜摄影，并对摄影图像进行三维重建后导出实景三维Mesh模型；

在所述实景三维Mesh模型上标注光伏组件的地理坐标后，形成所述巡检区域的光伏组件三维矢量图。

可选地，所述确定与所述当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，包括：

获取深度学习模型；

通过所述深度学习模型对所述当前光伏组件热红外影像进行语义分割，得到影像分割结果；

对所述影像分割结果进行二值化和矢量化处理后，生成光伏组件实例化分割矢量图。

可选地，所述利用所述机载激光测距仪数据和所述初始位姿参数，将所述光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图，包括：

根据所述初始位姿参数确定所述无人机拍摄时的影像外包地理范围；

将所述光伏组件三维矢量图按照所述影像外包地理范围进行裁剪，得到裁剪后的光伏组件三维矢量图；

以所述机载激光测距仪数据作为约束，将所述裁剪后的光伏组件三维矢量图反向投影到二维平面上，得到光伏组件二维矢量图。

可选地，所述计算所述光伏组件实例化分割矢量图与所述光伏组件二维矢量图的交并比，包括：

分别对所述光伏组件实例化分割矢量图和所述光伏组件二维矢量图进行栅格化操作后，计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比。

可选地，所述计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比，包括：

逐像元计算栅格化后的光伏组件实例化分割矢量图与栅格化后的光伏组件二维矢量图之间的正确分类指标、错误分类指标和漏分类指标；

基于所述正确分类指标、所述错误分类指标和所述漏分类指标，计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比。

可选地，所述以所述初始位姿参数为待优化参数，以最大化所述交并比和优化后的初始位姿参数趋近于所述位姿参数序列为优化目标，构建目标优化函数，包括：

将最大化所述交并比作为第一优化目标，并对该第一优化目标设置第一初始权重；

以所述初始位姿参数为待优化参数，将优化后的初始位姿参数趋近于所述位姿参数序列作为第二优化目标，并对该第二优化目标设置第二初始权重；

根据所述第一优化目标及对应的第一初始权重、所述第二优化目标及对应的第二初始权重，构建目标优化函数。

可选地，所述以所述初始位姿参数为待优化参数，将优化后的初始位姿参数趋近于所述位姿参数序列作为第二优化目标，包括：

通过自回归积分滑动平均将所述位姿参数序列抽象为变化模型；

以所述初始位姿参数为待优化参数，使用余弦相似度评价优化后的初始位姿参数与所述变化模型之间的相似程度，并将所述相似程度最高作为第二优化目标。

可选地，所述目标优化函数中包含与第一优化目标对应的第一初始权重、与第二优化目标对应的第二初始权重以及所述初始位姿参数；

所述利用改进的蚁群优化算法对所述目标优化函数进行迭代优化，直到达到所述优化目标为止，得到当前位姿参数，包括：

利用改进的蚁群优化算法，在迭代初期提高所述第一初始权重的权重值，并对提高第一初始权重后的目标优化函数中的初始位姿参数进行迭代优化后，使所述目标优化函数趋近于所述第一优化目标；

在所述目标优化函数接近收敛时，降低所述第一初始权重的权重值，并提高所述第二初始权重的权重值后，继续对提高第二初始权重后的目标优化函数中优化后的初始位姿参数进行迭代优化，直到达到所述第一优化目标和所述第二优化目标为止，得到当前位姿参数。

本申请还提供了一种无人机位姿参数优化装置，包括：

数据获取模块，用于当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，获取所述巡检区域的光伏组件三维矢量图、所述无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的所述无人机在各个历史时刻的位姿参数序列；

图像转换模块，用于确定与所述当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用所述机载激光测距仪数据和所述初始位姿参数，将所述光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图；

优化函数构建模块，用于计算所述光伏组件实例化分割矢量图与所述光伏组件二维矢量图的交并比后，以所述初始位姿参数为待优化参数，以最大化所述交并比和优化后的初始位姿参数趋近于所述位姿参数序列为优化目标，构建目标优化函数；

位姿参数优化模块，用于利用改进的蚁群优化算法对所述目标优化函数进行迭代优化，直到达到所述优化目标为止，得到当前位姿参数。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述的无人机位姿参数优化方法的步骤。

本申请还提供了一种计算机设备，包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如上述实施例中任一项所述的无人机位姿参数优化方法的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请提供的无人机位姿参数优化方法、装置、存储介质及计算机设备，当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，即可获取巡检区域的光伏组件三维矢量图、无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的无人机在各个历史时刻的位姿参数序列，进而满足对在线回传数据进行实时处理的要求；紧接着，本申请充分考虑了光伏场景组件高度重复的特点，在确定与当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用机载激光测距仪数据和初始位姿参数作为约束，将光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图后，可以利用光伏组件二维矢量图作为参考，并计算光伏组件实例化分割矢量图与光伏组件二维矢量图的交并比后，以初始位姿参数为待优化参数，以最大化交并比和优化后的初始位姿参数趋近于位姿参数序列为优化目标，构建目标优化函数，相对于传统特征点匹配的方法，本申请构建的目标优化函数可以增强算法的鲁棒性，并减少误匹配的负面影响，进而满足无人化巡检要求；最后，本申请还可以利用改进的蚁群优化算法对目标优化函数进行迭代优化，直到达到优化目标为止，得到当前位姿参数，该过程不仅实现了单张光伏组件热红外影像的实时快速位姿参数优化，还提高了处理效率，并且，本申请利用改进的蚁群优化算法的随机搜索特性，可以避免陷入局部最优解，尽可能地找到全局最优的位姿参数，进而有效提高了结果的高效性与可靠性，实现其与光伏组件矢量底图的像素级配准，进而为高效、精确的组件级光伏巡检提供支撑。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种无人机位姿参数优化方法的流程示意图；

图2为本申请实施例提供的位姿参数的整体优化过程示意图；

图3为本申请实施例提供的利用改进的蚁群优化算法对目标优化函数进行迭代优化的过程示意图；

图4为本申请实施例提供的一种无人机位姿参数优化装置的结构示意图；

图5为本申请实施例提供的一种计算机设备的内部结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，一般采用区域网平差方式实现对无人机影像的位姿参数精化，该方式是一种典型的线下处理方式，需要在整个巡检区域影像数据全部采集完毕后，再经由特征点提取匹配、空中三角测量和光束法平差等方法实现位姿参数解算；该过程不仅无法满足对无人机的在线回传数据进行实时处理的要求，而且，由于光伏电站场景具有成像内容高度重复和背景信息单一等特点，现有技术在影像匹配阶段容易出现错误匹配，使得位姿解算过程往往需人工介入，进而无法满足无人化巡检要求。

基于此，本申请提出了如下技术方案，具体参见下文：

在一个实施例中，如图1所示，图1为本申请实施例提供的一种无人机位姿参数优化方法的流程示意图；本申请提供了一种无人机位姿参数优化方法，所述方法可以包括：

S110：当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，获取巡检区域的光伏组件三维矢量图、无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的无人机在各个历史时刻的位姿参数序列。

本步骤中，可以单张光伏组件热红外影像为单位，对无人机的实时回传数据进行处理，这样既可以满足对在线回传数据进行实时处理的要求，也可以通过单张光伏组件热红外影像进行精细的位姿参数优化，进而有效提高结果的高效性与可靠性。

具体地，本申请在接收到无人机回传的巡检区域的当前光伏组件热红外影像时，可以获取该巡检区域的光伏组件三维矢量图，该光伏组件三维矢量图可以是预先制作并可重复利用的矢量图，因此，该过程可以大幅降低数据获取难度，并减少算法实施的成本。

进一步地，考虑到光伏场景组件高度重复的特点，本申请可以使用交并比来衡量单张光伏组件热红外影像全局定位精度来替代摄影测量中常用的同名点关系匹配，以减少误匹配点对求解的干扰。基于此，本申请在确定交并比之前，可以先获取无人机的机载激光测距仪数据和初始位姿参数，这样便可以利用无人机的机载激光测距仪数据和初始位姿参数来对光伏组件三维矢量图进行约束后，将其反向投影到像平面坐标，并利用反向投影后的二维矢量图作为参考，计算其与当前光伏组件热红外影像中提取的光伏组件信息之间的交并比。

其中，本申请的无人机初始位姿参数可以是外方位元素，外方位元素指的是在恢复内方位元素（即恢复了摄影光束）的基础上，确定摄影光束在摄影瞬间的空间位置和姿态的参数，一张像片的外方位元素包括六个参数，其中三个是直线元素，用于描述摄影中心的空间坐标值；另外三个是角元素，用于描述像片的空间姿态。当确定每张像片的六个外方位元素后，即可恢复航摄相片与被摄地面之间的相互关系，进而重建地面立体模型，并利用地面立体模型来提取目标的几何和物理信息。因此，本申请可以利用雷达、全球定位系统、惯性导航系统（INS）以及形象摄影机来获取无人机拍摄像片时的外方位元素，也可利用一定数量的地面控制点，根据共线方程反求像片的外方位元素，具体的获取过程可根据实际情况进行选择，在此不做限制。同理，本申请获取无人机机载激光测距仪数据的过程也可根据实际情况进行选择，在此也不做限制。

更进一步地，考虑到无人机POS受系统外干扰后在连续记录时可看作一个线性的过程，因此，本申请为了精准地优化无人机影像的位姿参数，可以获取先前预测的无人机在各个历史时刻的位姿参数序列，这样便可以通过该位姿参数序列来对当前的初始位姿参数进行精准优化。

S120：确定与当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用机载激光测距仪数据和初始位姿参数，将光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图。

本步骤中，通过S110获取到无人机回传的巡检区域的当前光伏组件热红外影像，以及无人机的机载激光测距仪数据和初始位姿参数后，本申请可以确定与当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用机载激光测距仪数据和初始位姿参数，将光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图，这样便可以确定光伏组件实例化分割矢量图和光伏组件二维矢量图之间的交并比后，使用交并比来衡量单张光伏组件热红外影像全局定位精度来替代摄影测量中常用的同名点关系匹配，以减少误匹配点对求解的干扰。

在一种具体的实现方式中，本申请在确定与当前光伏组件热红外影像对应的光伏组件实例化分割矢量图时，可以使用现有的算法，或者改进的算法来提取当前光伏组件热红外影像中的光伏组件信息，以此来生成对应的光伏组件实例化分割矢量图；接着，本申请还可以基于机载激光测距仪数据和初始位姿参数，并根据共线条件方程将地理坐标下的光伏组件三维矢量图反投到像平面，以此来获得光伏组件二维矢量图后，便可计算其与光伏组件实例化分割矢量图之间的交并比。

S130：计算光伏组件实例化分割矢量图与光伏组件二维矢量图的交并比后，以初始位姿参数为待优化参数，以最大化交并比和优化后的初始位姿参数趋近于位姿参数序列为优化目标，构建目标优化函数。

本步骤中，通过S120确定与当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，与光伏组件三维矢量图对应的光伏组件二维矢量图后，本申请可以计算光伏组件实例化分割矢量图与光伏组件二维矢量图的交并比，然后以初始位姿参数为优化参数，以最大化交并比和优化后的初始位姿参数趋近于位姿参数序列为优化目标，构建目标优化函数，这样便可以通过对该目标优化函数进行优化求解后得到当前位姿参数。

具体地，由于本申请计算得到的光伏组件实例化分割矢量图与光伏组件二维矢量图均为无地理参考的矢量，而对于两个无地理参考的矢量间的准确率，本申请可以通过相同规模的矢量化进行量化比较，以此来确定相应的交并比。接着，本申请还可以引入先前预测的无人机在各个历史时刻的位姿参数序列作为先验信息进行约束，同时以最大化交并比，并使优化后的初始位姿参数趋近于位姿参数序列为优化目标，以初始位姿参数为待优化参数，构建目标优化函数。相对于传统特征点匹配的方法，本申请构建的目标优化函数不仅考虑到无人机连续记录时的相关特性，还考虑到单张光伏组件热红外影像的全局定位精度，因此，使用该目标优化函数进行优化求解，不仅可以增强算法的鲁棒性，还可以减少误匹配的负面影响，进而满足无人化巡检要求。

S140：利用改进的蚁群优化算法对目标优化函数进行迭代优化，直到达到优化目标为止，得到当前位姿参数。

本步骤中，通过S130以初始位姿参数为待优化参数，以最大化交并比和优化后的初始位姿参数趋近于位姿参数序列为优化目标，构建目标优化函数后，本申请可以利用改进的蚁群优化算法对目标优化函数进行迭代优化，直到达到优化目标为止，这样便可以得到最终优化后的初始位姿参数，即当前位姿参数。

其中，本申请在利用改进的蚁群优化算法对目标优化函数进行迭代优化的过程中，由于该目标优化函数是以最大化交并比和优化后的初始位姿参数趋近于位姿参数序列为优化目标构建的，因此，在优化的过程中，本申请可以迭代调整不同的优化目标的权重，并同时优化初始位姿参数的六个位姿参数，接着再根据优化后的初始位姿参数，重新进行区域光伏组件矢量底图反投、交并比计算，直至交并比趋于稳定后，即可获得精化后的初始位姿参数。该过程不仅实现了单张光伏组件热红外影像的实时快速位姿参数优化，还提高了处理效率，并且，本申请利用改进的蚁群优化算法的随机搜索特性，还可以避免陷入局部最优解，尽可能地找到全局最优的位姿参数，进而有效提高了结果的高效性与可靠性。

上述实施例中，当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，即可获取巡检区域的光伏组件三维矢量图、无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的无人机在各个历史时刻的位姿参数序列，进而满足对在线回传数据进行实时处理的要求；紧接着，本申请充分考虑了光伏场景组件高度重复的特点，在确定与当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用机载激光测距仪数据和初始位姿参数作为约束，将光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图后，可以利用光伏组件二维矢量图作为参考，并计算光伏组件实例化分割矢量图与光伏组件二维矢量图的交并比后，以初始位姿参数为待优化参数，以最大化交并比和优化后的初始位姿参数趋近于位姿参数序列为优化目标，构建目标优化函数，相对于传统特征点匹配的方法，本申请构建的目标优化函数可以增强算法的鲁棒性，并减少误匹配的负面影响，进而满足无人化巡检要求；最后，本申请还可以利用改进的蚁群优化算法对目标优化函数进行迭代优化，直到达到优化目标为止，得到当前位姿参数，该过程不仅实现了单张光伏组件热红外影像的实时快速位姿参数优化，还提高了处理效率，并且，本申请利用改进的蚁群优化算法的随机搜索特性，可以避免陷入局部最优解，尽可能地找到全局最优的位姿参数，进而有效提高了结果的高效性与可靠性，实现其与光伏组件矢量底图的像素级配准，进而为高效、精确的组件级光伏巡检提供支撑。

在一个实施例中，S110中获取所述巡检区域的光伏组件三维矢量图，可以包括：

S111：通过所述无人机预先对所述巡检区域进行可见光倾斜摄影，并对摄影图像进行三维重建后导出实景三维Mesh模型；

S112：在所述实景三维Mesh模型上标注光伏组件的地理坐标后，形成所述巡检区域的光伏组件三维矢量图。

本实施例中，在获取巡检区域的光伏组件三维矢量图时，可以直接获取预先制作好的与巡检区域对应的光伏组件三维矢量图，也可以在对巡检区域进行首次巡检时，通过下述方式制作对应的光伏组件三维矢量图。

具体地，本申请在制作光伏组件三维矢量图时，可以先通过无人机预先对巡检区域进行可见光倾斜摄影，并对摄影图像进行三维重建后导出实景三维Mesh模型，接着本申请可以在实景三维Mesh模型上标注光伏组件的地理坐标后，形成巡检区域的光伏组件三维矢量图，并记录对应的光伏板编号等信息。

进一步地，本申请使用的实景三维Mesh模型与光伏组件三维矢量图可使用现有模型或施工设计图纸，因此，对于一个固定的巡检区域，仅需进行一次生产，即可用作后续光伏巡检时的位姿参数校正数据，进而有效减小了生产时间与成本开销。

在一个实施例中，S120中确定与所述当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，可以包括：

S121：获取深度学习模型。

S122：通过所述深度学习模型对所述当前光伏组件热红外影像进行语义分割，得到影像分割结果。

S123：对所述影像分割结果进行二值化和矢量化处理后，生成光伏组件实例化分割矢量图。

本实施例中，在确定与当前光伏组件热红外影像对应的光伏组件实例化分割矢量图时，可以获取预先训练好的深度学习模型，该深度学习模型是以光伏组件热红外影像作为训练样本，以真实的光伏组件实例化分割矢量图为样本标签进行训练后得到的。

因此，当本申请获取到深度学习模型后，便可以将当前光伏组件热红外影像输入至该深度学习模型中，并通过深度学习模型来对当前光伏组件热红外影像进行语义分割后形成影像分割结果，接着，本申请还可以对该影像分割结果进行二值化和矢量化处理，即可生成最终的光伏组件实例化分割矢量图。

其中，本申请在对影像分割结果进行二值化和矢量化处理时，可以选用现有的二值化处理方式以及矢量化处理方式，具体可视实际情况进行选择，在此不做限制。

在一个实施例中，S120中利用所述机载激光测距仪数据和所述初始位姿参数，将所述光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图，可以包括：

S124：根据所述初始位姿参数确定所述无人机拍摄时的影像外包地理范围。

S125：将所述光伏组件三维矢量图按照所述影像外包地理范围进行裁剪，得到裁剪后的光伏组件三维矢量图。

上述步骤中，由于本申请的初始位姿参数可以是外方位元素，当确定无人机的六个外方位元素后，即可恢复航摄相片与被摄地面之间的相互关系，进而重建地面立体模型，并利用地面立体模型来提取无人机拍摄时的影像外包地理范围，这样便可以利用该影像外包地理范围来对光伏组件三维矢量图进行裁剪，进而得到裁剪后的光伏组件三维矢量图。

S126：以所述机载激光测距仪数据作为约束，将所述裁剪后的光伏组件三维矢量图反向投影到二维平面上，得到光伏组件二维矢量图。

本步骤中，当得到裁剪后的光伏组件三维矢量图后，本申请还可以获取到的无人机机载激光测距仪数据作为约束，将裁剪后的光伏组件三维矢量图反向投影到二维平面上，进而得到光伏组件二维矢量图。

在一种具体的实现方式中，本申请可以利用光伏组件三维矢量图的高程，取代通常计算所需的DSM数据，作为共线条件方程所需的高程信息，使光伏组件三维矢量图的坐标能精确的反投到光伏组件二维矢量图的坐标；在此过程中，本申请可以使用无人机的机载激光测距仪数据加以约束，并结合初始位姿参数所含的六个参数，使用下述计算公式计算得到光伏组件二维矢量图，具体如下：

；

其中，为光伏组件二维矢量图，为光伏组件三维矢量图，为初始位姿参数，为机载激光测距仪数据，为反向投影函数。

在一个实施例中，S130中计算所述光伏组件实例化分割矢量图与所述光伏组件二维矢量图的交并比，可以包括：

S131：分别对所述光伏组件实例化分割矢量图和所述光伏组件二维矢量图进行栅格化操作后，计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比。

本实施例中，由于本申请计算得到的光伏组件实例化分割矢量图与光伏组件二维矢量图均为无地理参考的矢量，而对于两个无地理参考的矢量间的准确率，本申请可以通过相同规模的矢量化进行量化比较，以此来确定相应的交并比。

举例来说，本申请可以对光伏组件实例化分割矢量图和光伏组件二维矢量图分别进行与原始影像规模相同的栅格化操作，该栅格化操作的计算公式如下：

；

；

其中，为栅格化后的光伏组件二维矢量图，为栅格化后的光伏组件实例化分割矢量图，为光伏组件实例化分割矢量图，为矢量栅格化函数。

当本申请进行上述栅格化操作后，便可以计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比，这样既可以提升计算结果的准确性，又可以提高目标优化函数的鲁棒性。

在一个实施例中，S131中计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比，可以包括：

S1311：逐像元计算栅格化后的光伏组件实例化分割矢量图与栅格化后的光伏组件二维矢量图之间的正确分类指标、错误分类指标和漏分类指标。

S1312：基于所述正确分类指标、所述错误分类指标和所述漏分类指标，计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比。

本实施例中，当对光伏组件实例化分割矢量图和光伏组件二维矢量图分别进行与原始影像规模相同的栅格化操作后，本申请可以对两者逐像元进行计算，进而得到正确分类指标、错误分类指标和漏分类指标等，接着，本申请便可以通过这些指标来计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比。

在一种具体的实施方式中，本申请在逐像元计算正确分类指标、错误分类指标和漏分类指标时，可以通过下述公式进行：

；

；

；

其中，为正确分类指标，为错误分类指标，为漏分类指标，是指示函数，当括号内的条件为真时为1，否则为0；表示像素的总数。

接着，本申请便可以通过这些指标来计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比，具体公式如下：

；

当本申请计算交并比后，便可以将最大化交并比作为优化目标之一来构建目标优化函数，并通过对目标优化函数进行迭代优化，得到最终的当前位姿参数。

在一个实施例中，S130中以所述初始位姿参数为待优化参数，以最大化所述交并比和优化后的初始位姿参数趋近于所述位姿参数序列为优化目标，构建目标优化函数，可以包括：

S132：将最大化所述交并比作为第一优化目标，并对该第一优化目标设置第一初始权重。

S133：以所述初始位姿参数为待优化参数，将优化后的初始位姿参数趋近于所述位姿参数序列作为第二优化目标，并对该第二优化目标设置第二初始权重。

S134：根据所述第一优化目标及对应的第一初始权重、所述第二优化目标及对应的第二初始权重，构建目标优化函数。

本实施例中，考虑到光伏场景组件高度重复的特点，本申请可以使用交并比来衡量单张光伏组件热红外影像全局定位精度来替代摄影测量中常用的同名点关系匹配，以减少误匹配点对求解的干扰。另外，还考虑到无人机POS受系统外干扰后在连续记录时可看作一个线性的过程，因此，本申请为了精准地优化无人机影像的位姿参数，还可以获取先前预测的无人机在各个历史时刻的位姿参数序列，这样便可以通过该位姿参数序列来对当前的初始位姿参数进行精准优化。

具体地，本申请可以将最大化交并比作为第一优化目标，并对该第一优化目标设置第一初始权重，接着以初始位姿参数为待优化参数，将优化后的初始位姿参数趋近于位姿参数序列作为第二优化目标，并对该第二优化目标设置第二初始权重，然后根据第一优化目标及对应的第一初始权重、第二优化目标及对应的第二初始权重，构建目标优化函数。

其中，本申请第一优化目标的第一初始权重的初始值以及第二优化目标的第二初始权重的初始值可以根据经验进行设置，并可以通过后续对目标优化函数进行迭代优化时，自适应地调整两者权重。

在一个实施例中，S133中以所述初始位姿参数为待优化参数，将优化后的初始位姿参数趋近于所述位姿参数序列作为第二优化目标，可以包括：

S1331：通过自回归积分滑动平均将所述位姿参数序列抽象为变化模型。

S1332：以所述初始位姿参数为待优化参数，使用余弦相似度评价优化后的初始位姿参数与所述变化模型之间的相似程度，并将所述相似程度最高作为第二优化目标。

本实施例中，由于无人机POS受系统外干扰后在连续记录时可看作一个线性的过程，因此，本申请为了方便构建目标优化函数，可以先将位姿参数序列抽象为一个变化模型，然后再利用相关的评价标准来评价优化后的初始位姿参数是否趋近于该变化模型，这样既可以快速对目标优化函数进行迭代优化，又可以提升结果的准确性与可靠性。

进一步地，本申请在将位姿参数序列抽象为一个变化模型时，可以通过自回归积分滑动平均算法进行抽象操作，具体公式如下：

；

其中，是时刻的位姿参数，是常数项，和是模型参数，和分别代表自回归项和移动平均项的阶数，是白噪声误差项。

当本申请获得变化模型后，可以使用余弦相似度评价优化后的初始位姿参数与所述变化模型之间的相似程度，具体公式如下：

；

其中，为余弦相似度，为初始位姿参数，为时刻的位姿参数。

更进一步地，如图2所示，图2为本申请实施例提供的位姿参数的整体优化过程示意图；由图2可见，对于每个巡检区域，本申请可以事先获取一次热红外和可见光影像，并生产实景三维Mesh模型与光伏组件三维矢量图。日常巡检时，首先可以利用深度学习模型，如语义分割模型，从当前光伏组件热红外影像中提取光伏组件信息，生成光伏组件实例化分割矢量图；其次，基于初始位姿参数和机载激光测距仪数据，根据共线条件方程将地理坐标下的光伏组件三维矢量底图反投到像平面，并计算其与光伏组件实例化分割矢量图的交并比IoU后，再次引入先前预测的无人机在各个历史时刻的位姿参数序列进行约束，同时以IoU最大与优化后的初始位姿参数逼近位姿参数序列为优化目标，以初始位姿参数为待优化参数，采用改进的蚁群优化算法进行逐步优化，以使优化后的初始位姿参数逐步逼近真实值。

在此过程中，当本申请确定第一优化目标和第二优化目标后，便可以为两个优化目标分别设定权重，使确定二维像平面坐标的共线条件方程从与三维地理坐标和初始位姿参数相关的非线性方程变为仅与相关的线性方程，从而得到确定解。在一种具体的实现方式中，本申请的目标优化函数可以表示如下：

；

其中，为第一优化目标，为第一初始权重，为第二优化目标，为第二初始权重。

当本申请构建好目标优化函数后，便可以通过相应的算法来对该目标优化函数进行优化求解，进而得到最终的当前位姿参数。

在一个实施例中，所述目标优化函数中包含与第一优化目标对应的第一初始权重、与第二优化目标对应的第二初始权重以及所述初始位姿参数。

S140中利用改进的蚁群优化算法对所述目标优化函数进行迭代优化，直到达到所述优化目标为止，得到当前位姿参数，可以包括：

S141：利用改进的蚁群优化算法，在迭代初期提高所述第一初始权重的权重值，并对提高第一初始权重后的目标优化函数中的初始位姿参数进行迭代优化后，使所述目标优化函数趋近于所述第一优化目标。

S142：在所述目标优化函数接近收敛时，降低所述第一初始权重的权重值，并提高所述第二初始权重的权重值后，继续对提高第二初始权重后的目标优化函数中优化后的初始位姿参数进行迭代优化，直到达到所述第一优化目标和所述第二优化目标为止，得到当前位姿参数。

本实施例中，当构建目标优化函数后，本申请可以利用改进的蚁群优化算法对目标优化函数进行迭代优化，直到达到优化目标为止，这样便可以得到最终优化后的初始位姿参数，即当前位姿参数。

其中，本申请在利用改进的蚁群优化算法对目标优化函数进行迭代优化的过程中，由于该目标优化函数是以最大化交并比和优化后的初始位姿参数趋近于位姿参数序列为优化目标构建的，因此，在优化的过程中，本申请可以迭代调整不同的优化目标的权重，并同时优化初始位姿参数的六个位姿参数，接着再根据优化后的初始位姿参数，重新进行区域光伏组件矢量底图反投、交并比计算，直至交并比趋于稳定后，即可获得精化后的初始位姿参数。

具体来说，如图3所示，图3为本申请实施例提供的利用改进的蚁群优化算法对目标优化函数进行迭代优化的过程示意图；由图3可见，本申请在使用改进的蚁群优化算法时，可以在迭代初期给予最大化IoU对应的第一优化目标较高的权重，使其快速趋近目标，当接近收敛后降低最大化IoU的权重，提高第二优化目标对应的第二初始权重的权重值，该过程不仅实现了单张光伏组件热红外影像的实时快速位姿参数优化，还提高了处理效率，并且，本申请利用改进的蚁群优化算法的随机搜索特性，还可以避免陷入局部最优解，尽可能地找到全局最优的位姿参数，进而有效提高了结果的高效性与可靠性。

下面对本申请实施例提供的无人机位姿参数优化装置进行描述，下文描述的无人机位姿参数优化装置与上文描述的无人机位姿参数优化方法可相互对应参照。

在一个实施例中，如图4所示，图4为本申请实施例提供的一种无人机位姿参数优化装置的结构示意图；本申请还提供了一种无人机位姿参数优化装置，可以包括数据获取模块210、图像转换模块220、优化函数构建模块230和位姿参数优化模块240，具体包括如下：

数据获取模块210，用于当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，获取所述巡检区域的光伏组件三维矢量图、所述无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的所述无人机在各个历史时刻的位姿参数序列。

图像转换模块220，用于确定与所述当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用所述机载激光测距仪数据和所述初始位姿参数，将所述光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图。

优化函数构建模块230，用于计算所述光伏组件实例化分割矢量图与所述光伏组件二维矢量图的交并比后，以所述初始位姿参数为待优化参数，以最大化所述交并比和优化后的初始位姿参数趋近于所述位姿参数序列为优化目标，构建目标优化函数。

位姿参数优化模块240，用于利用改进的蚁群优化算法对所述目标优化函数进行迭代优化，直到达到所述优化目标为止，得到当前位姿参数。

上述实施例中，当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，即可获取巡检区域的光伏组件三维矢量图、无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的无人机在各个历史时刻的位姿参数序列，进而满足对在线回传数据进行实时处理的要求；紧接着，本申请充分考虑了光伏场景组件高度重复的特点，在确定与当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用机载激光测距仪数据和初始位姿参数作为约束，将光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图后，可以利用光伏组件二维矢量图作为参考，并计算光伏组件实例化分割矢量图与光伏组件二维矢量图的交并比后，以初始位姿参数为待优化参数，以最大化交并比和优化后的初始位姿参数趋近于位姿参数序列为优化目标，构建目标优化函数，相对于传统特征点匹配的方法，本申请构建的目标优化函数可以增强算法的鲁棒性，并减少误匹配的负面影响，进而满足无人化巡检要求；最后，本申请还可以利用改进的蚁群优化算法对目标优化函数进行迭代优化，直到达到优化目标为止，得到当前位姿参数，该过程不仅实现了单张光伏组件热红外影像的实时快速位姿参数优化，还提高了处理效率，并且，本申请利用改进的蚁群优化算法的随机搜索特性，可以避免陷入局部最优解，尽可能地找到全局最优的位姿参数，进而有效提高了结果的高效性与可靠性，实现其与光伏组件矢量底图的像素级配准，进而为高效、精确的组件级光伏巡检提供支撑。

在一个实施例中，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述的无人机位姿参数优化方法的步骤。

在一个实施例中，本申请还提供了一种计算机设备，包括：一个或多个处理器，以及存储器。

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如上述实施例中任一项所述的无人机位姿参数优化方法的步骤。

示意性地，如图5所示，图5为本申请实施例提供的一种计算机设备的内部结构示意图，该计算机设备300可以被提供为一服务器。参照图5，计算机设备300包括处理组件302，其进一步包括一个或多个处理器，以及由存储器301所代表的存储器资源，用于存储可由处理组件302的执行的指令，例如应用程序。存储器301中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件302被配置为执行指令，以执行上述任意实施例的无人机位姿参数优化方法。

计算机设备300还可以包括一个电源组件303被配置为执行计算机设备300的电源管理，一个有线或无线网络接口304被配置为将计算机设备300连接到网络，和一个输入输出（I/O）接口305。计算机设备300可以操作基于存储在存储器301的操作系统，例如WindowsServer TM、Mac OS XTM、Unix TM、Linux TM、Free BSDTM或类似。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种无人机位姿参数优化方法，其特征在于，所述方法包括：

当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，获取所述巡检区域的光伏组件三维矢量图、所述无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的所述无人机在各个历史时刻的位姿参数序列；

确定与所述当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用所述机载激光测距仪数据和所述初始位姿参数，将所述光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图；

计算所述光伏组件实例化分割矢量图与所述光伏组件二维矢量图的交并比后，以所述初始位姿参数为待优化参数，以最大化所述交并比和优化后的初始位姿参数趋近于所述位姿参数序列为优化目标，构建目标优化函数；

利用改进的蚁群优化算法对所述目标优化函数进行迭代优化，直到达到所述优化目标为止，得到当前位姿参数；

所述以所述初始位姿参数为待优化参数，以最大化所述交并比和优化后的初始位姿参数趋近于所述位姿参数序列为优化目标，构建目标优化函数，包括：

将最大化所述交并比作为第一优化目标，并对该第一优化目标设置第一初始权重；

以所述初始位姿参数为待优化参数，将优化后的初始位姿参数趋近于所述位姿参数序列作为第二优化目标，并对该第二优化目标设置第二初始权重；

根据所述第一优化目标及对应的第一初始权重、所述第二优化目标及对应的第二初始权重，构建目标优化函数。

2.根据权利要求1所述的无人机位姿参数优化方法，其特征在于，所述获取所述巡检区域的光伏组件三维矢量图，包括：

通过所述无人机预先对所述巡检区域进行可见光倾斜摄影，并对摄影图像进行三维重建后导出实景三维Mesh模型；

在所述实景三维Mesh模型上标注光伏组件的地理坐标后，形成所述巡检区域的光伏组件三维矢量图。

3.根据权利要求1所述的无人机位姿参数优化方法，其特征在于，所述确定与所述当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，包括：

获取深度学习模型；

通过所述深度学习模型对所述当前光伏组件热红外影像进行语义分割，得到影像分割结果；

对所述影像分割结果进行二值化和矢量化处理后，生成光伏组件实例化分割矢量图。

4.根据权利要求1所述的无人机位姿参数优化方法，其特征在于，所述利用所述机载激光测距仪数据和所述初始位姿参数，将所述光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图，包括：

根据所述初始位姿参数确定所述无人机拍摄时的影像外包地理范围；

将所述光伏组件三维矢量图按照所述影像外包地理范围进行裁剪，得到裁剪后的光伏组件三维矢量图；

以所述机载激光测距仪数据作为约束，将所述裁剪后的光伏组件三维矢量图反向投影到二维平面上，得到光伏组件二维矢量图。

5.根据权利要求1所述的无人机位姿参数优化方法，其特征在于，所述计算所述光伏组件实例化分割矢量图与所述光伏组件二维矢量图的交并比，包括：

分别对所述光伏组件实例化分割矢量图和所述光伏组件二维矢量图进行栅格化操作后，计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比。

6.根据权利要求5所述的无人机位姿参数优化方法，其特征在于，所述计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比，包括：

逐像元计算栅格化后的光伏组件实例化分割矢量图与栅格化后的光伏组件二维矢量图之间的正确分类指标、错误分类指标和漏分类指标；

基于所述正确分类指标、所述错误分类指标和所述漏分类指标，计算栅格化后的光伏组件实例化分割矢量图和栅格化后的光伏组件二维矢量图的交并比。

7.根据权利要求1所述的无人机位姿参数优化方法，其特征在于，所述以所述初始位姿参数为待优化参数，将优化后的初始位姿参数趋近于所述位姿参数序列作为第二优化目标，包括：

通过自回归积分滑动平均将所述位姿参数序列抽象为变化模型；

以所述初始位姿参数为待优化参数，使用余弦相似度评价优化后的初始位姿参数与所述变化模型之间的相似程度，并将所述相似程度最高作为第二优化目标。

8.根据权利要求1或6所述的无人机位姿参数优化方法，其特征在于，所述目标优化函数中包含与第一优化目标对应的第一初始权重、与第二优化目标对应的第二初始权重以及所述初始位姿参数；

所述利用改进的蚁群优化算法对所述目标优化函数进行迭代优化，直到达到所述优化目标为止，得到当前位姿参数，包括：

利用改进的蚁群优化算法，在迭代初期提高所述第一初始权重的权重值，并对提高第一初始权重后的目标优化函数中的初始位姿参数进行迭代优化后，使所述目标优化函数趋近于所述第一优化目标；

在所述目标优化函数接近收敛时，降低所述第一初始权重的权重值，并提高所述第二初始权重的权重值后，继续对提高第二初始权重后的目标优化函数中优化后的初始位姿参数进行迭代优化，直到达到所述第一优化目标和所述第二优化目标为止，得到当前位姿参数。

9.一种无人机位姿参数优化装置，其特征在于，包括：

数据获取模块，用于当接收到无人机回传的巡检区域的当前光伏组件热红外影像时，获取所述巡检区域的光伏组件三维矢量图、所述无人机的机载激光测距仪数据、初始位姿参数，以及先前预测的所述无人机在各个历史时刻的位姿参数序列；

图像转换模块，用于确定与所述当前光伏组件热红外影像对应的光伏组件实例化分割矢量图，以及，利用所述机载激光测距仪数据和所述初始位姿参数，将所述光伏组件三维矢量图投影到二维平面上，得到光伏组件二维矢量图；

优化函数构建模块，用于计算所述光伏组件实例化分割矢量图与所述光伏组件二维矢量图的交并比后，以所述初始位姿参数为待优化参数，以最大化所述交并比和优化后的初始位姿参数趋近于所述位姿参数序列为优化目标，构建目标优化函数；

位姿参数优化模块，用于利用改进的蚁群优化算法对所述目标优化函数进行迭代优化，直到达到所述优化目标为止，得到当前位姿参数；

所述优化函数构建模块包括：

将最大化所述交并比作为第一优化目标，并对该第一优化目标设置第一初始权重；

以所述初始位姿参数为待优化参数，将优化后的初始位姿参数趋近于所述位姿参数序列作为第二优化目标，并对该第二优化目标设置第二初始权重；

根据所述第一优化目标及对应的第一初始权重、所述第二优化目标及对应的第二初始权重，构建目标优化函数。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至8中任一项所述的无人机位姿参数优化方法的步骤。

11.一种计算机设备，其特征在于，包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1至8中任一项所述的无人机位姿参数优化方法的步骤。