CN113538702B - 一种海洋养殖区水下场景全景图生成方法 - Google Patents

Abstract

本发明公开了一种海洋养殖区水下场景全景图生成方法，包括规划水下机器人行走路径，利用水下机器人采集水下图像，对采集的多张所述图像进行海产品目标特征提取获取局部特征图和全局特征图；并通过目标检测算法模型对局部特征图进行目标特征提取，获得鲁棒性强的局部掩码特征图，对目标特征图进行掩码处理获得目标掩码特征图，将目标掩码特征图与全局特征图作矩阵掩码操作，获得图像中具有代表性的特征图以及对图片进行曝光和判断是否为同一图片等处理，进而利用拼接算法对检测到同一物体的图像进行图像拼接，可以获得水下拼接图像。该方法可以通过机器人在当前目标区域内完成水下图像拼接后，使得观测的效果更加清晰、准确和精准。

Description

一种海洋养殖区水下场景全景图生成方法

技术领域

本发明涉及水下图像采集技术领域，具体涉及一种海洋养殖区水下场景全景图生成方法。

背景技术

目前，水下机器人进行近距离水下目标识别时，需要能够实时、清晰地观测目标的情况。由于水下目标分布动态变化、水下光线存在严重的衰减和散射效应，水下相机可视范围有限等问题，难以依靠在有限距离和视角条件下得到的单幅图像所获取和记录的信息实现对识别目标的完整观测，因此使得观测人员难以全面掌握海底环境的状况。

发明内容

本发明针对以上问题提出了海洋养殖区水下场景全景图生成方法。

本发明采用的技术手段如下：

一种海洋养殖区水下场景全景图生成方法，包括以下步骤：

步骤1、规划水下机器人的行走路线，根据所述行走路线控制所述水下机器人运动方向；

步骤2、通过设置在所述水下机器人上的多个高清相机采集所述水下机器人可视区域的多张图像；

步骤3、利用局部特征提取器和全局特征提取器对采集的多张所述图像进行海产品目标特征提取获取局部特征图和全局特征图；

步骤4、通过目标检测算法模型对所述局部特征图进行目标特征提取，获得鲁棒性强的局部掩码特征图，通过softmax函数对所述目标特征图进行掩码处理获得目标掩码特征图，将所述目标掩码特征图与所述全局特征图作矩阵掩码操作，获得图像中具有代表性的特征图；

步骤5、将所述具有代表性的特征图送入DCP网络中进行局部指导操作，增加特征图通道信息较多的特征的权重，减少信息较少的不重要特征的权重；

步骤6、将所述全局特征图与所述具有代表性的特征图相连，获得融合特征图；

步骤7、将所述可视区域的多张图像进行目标重识别检测，若两张及两张以上的图像中出现同一物体，对检测到同一物体的图像进行曝光处理获得曝光处理图像；

步骤8、判断所述曝光处理图像是否具有相同特征的物体，若否，返回步骤2，若是，执行步骤9；

步骤9、利用拼接算法对检测到同一物体的图像进行图像拼接；

步骤10、利用声学设备进行避障；

步骤11、是否遇到障碍物，若是，返回步骤1，若否，执行步骤12；

步骤12、保存拼接图像；

步骤13、判断是否结束，若否，返回步骤1。

进一步地，所述全局特征提取器的主干网络包括用于进行全局特征提取的两个标准的3×3卷积、用于防止训练网络过程中发生过拟合的ReLu函数和用于增加像素之间的相关性的非局部注意力机制网络；

所述局部特征提取器包括用于关注水下图像中具有明显目标的区域的yolov4单阶段检测器网络和用于检测得到的局部区域特征图的mask网络。

进一步地，所述步骤4包括以下步骤：

步骤40、设置检测精度高和置信度高的候选框，所述候选框中包括水下图像的相关属性；

步骤41、在选择多个top-D检测精度高的候选区域后，使用索引i∈{1,2,...,D}来指示每一个被选的代表性特征，每个代表性特征覆盖的空间区域表示为A_i，对于每一个候选区域A_i，通过将1分配给区域内的像素，0分配给其余的像素，得到一个二进制特征矩阵，公式如下：

其中，M_i∈{0，1}^C×K，且所有A_i在C×K范围内，以确保所有部分掩码区域都位于图像区域内，然后将部分掩码映射到全局特征，在获得全局特征F_g和部分掩码{M_i}^D _i＝₁之后，将部分掩码映射到全局特征上，得到一组基于部分掩码的特征图集合{F_i}^D _i＝₁；

步骤42、利用mask网络只保留最具代表性的特征，得到掩码特征后，再结合全局特征F_g，对于每一个部分区域i，可以得到掩码特征图F_i，即：

其中，⊙表示在全局特征F_g的每一个通道上进行操作，F_i是第i部分的部分掩码特征的映射，在F_i中只有第i部分的部分掩码特征被激活，且有F_i∈R^C×K×G，将全局特征F_g和每个掩码的特征图F_i在通道维度进行连接，补充水下目标经过卷积之后的丢失的信息，得到多个鲁棒性强的特征。

进一步地，所述步骤5包括以下步骤：

步骤50、对每个掩码特征图F_i上使用全局平均池化进行操作，获得每个掩码特征图F_i的channel像素最大值，每个channel对应图像的不同特征；

步骤51、对所述每个掩码特征图F_i的channel像素最大值进行Softmax操作，获得用来表示每个代表性特征的重要性的权重向量w，w用和为1进行归一化，使不同特征之间的相对重要性更加明显；

步骤52、添加全局特征F_g以增强代表性特征区域的重要性，从而得到最具代表性特征：

其中，

可以通过以下公式预测：

其中，μ(·)表示学习的函数，σ_μ是μ(·)的参数，mgap(·)表示全局平均池化。进一步地，所述规划水下机器人的行走路线采用避障算法或PID算法；

通过actor-critic算法，控制推进器的前进方向，规划机器人的运动轨迹，算法公式如下：

(1)critic被定义为状态动作函数Q

其中，Q是状态动作函数，π是奖罚策略，γ是衰减因子[0,1]，u_t是时间t采取的动作状态动作函数，可以使用状态x_t到x_t+1的概率被学习，状态x_t包括水下机器人当前的运动方向和当前的位置；

(2)当目标策略被固定时，Q可以被离线学习，更新Q的公式如下：

更新Q^w直到Q^w≈Q^π，其中，Q^w机器人运动的具体位置坐标点；

(3)actor被定义为状态价值函数：

τ(μ_θ)＝∫ρ^μr(x_t,μ)dx＝Ε[r(x_t,μ_θ(x_t))]

在神经网络中，通过最小化损失函数来优化τ(u_θ)，则损失函数为：

其中L(w)是简单的均方误差函数，N代表采样的时间范围，y_i是从目标深度神经网络Q获得的目标状态动作值，其中，

y_i＝r(x_i,u'_i)-γQ^'w(x_i,u_i),u'_i＝μ(x_i|θ')

对损失函数求梯度为：

如果actor被具有参数θ的神经网络来表示，则τ(μ_θ)＝Q^w(x_i,μ(x_i|θ)|w)，对τ求梯度为：

与现有技术比较，本发明公开的海洋养殖区水下场景全景图生成方法能够提供清晰完整的水下目标全景图，使得水面上的遥控人员可以更好地观测水下目标的全面情况，对于水下机器人实现目标抓取，以及水下作业机器人的自动化和自主化作业具有非常重要的现实意义。

附图说明

图1为本发明公开的海洋养殖区水下场景全景图生成方法的流程图；

图2为水下机器人移动路径规划示意图；

图3为水下目标重识别算法示意图；

图4水下全景图像生成算法示意图。

具体实施方式

如图1至图4所示为本发明公开的海洋养殖区水下场景全景图生成方法，包括以下步骤：

一种海洋养殖区水下场景全景图生成方法，包括以下步骤：

步骤1、规划水下机器人的行走路线，根据所述行走路线控制所述水下机器人运动方向；

步骤2、通过设置在所述水下机器人上的多个高清相机采集所述水下机器人可视区域的多张图像；

步骤3、利用局部特征提取器和全局特征提取器对采集的多张所述图像进行海产品目标特征提取获取局部特征图和全局特征图；

步骤4、通过目标检测算法模型对所述局部特征图进行目标特征提取，获得鲁棒性强的局部掩码特征图，通过softmax函数对所述目标特征图进行掩码处理获得目标掩码特征图，将所述目标掩码特征图与所述全局特征图作矩阵掩码操作，获得图像中具有代表性的特征图；

步骤5、将所述具有代表性的特征图送入DCP网络中进行局部指导操作，增加特征图通道信息较多的特征的权重，减少信息较少的不重要特征的权重；

步骤6、将所述全局特征图与所述具有代表性的特征图相连，获得融合特征图；

步骤7、将所述可视区域的多张图像进行目标重识别检测，若两张及两张以上的图像中出现同一物体，对检测到同一物体的图像进行曝光处理获得曝光处理图像；

步骤8、判断所述曝光处理图像是否具有相同特征的物体，若否，返回步骤2，若是，执行步骤9；

步骤9、利用拼接算法对检测到同一物体的图像进行图像拼接；

步骤10、利用声学设备进行避障；

步骤11、是否遇到障碍物，若是，返回步骤1，若否，执行步骤12；

步骤12、保存拼接图像；

步骤13、判断是否结束，若否，返回步骤1。

具体地，规划机器人行驶路线，调整运动方向。本发明中使用避障算法或者使用PID算法对机器人进行控制，规划机器人的行驶路径。水下机器人有8个推进器，实现6自由度，供给机器人足够的动力。通过actor-critic算法，控制推进器的前进方向，规划机器人的运动轨迹。算法公式如下：

(1)critic被定义为状态动作函数Q

Q是状态动作函数，π是采取的策略，γ是衰减因子[0,1]，u_t是时间t采取的动作状态动作函数可以使用状态x_t到x_t+1的概率被学习。

(2)当目标策略被固定时，Q可以被离线学习，更新Q的公式如下：

更新Q^w直到Q^w≈Q^π。

(3)actor被定义为状态价值函数：

τ(μ_θ)＝∫ρ^μr(x_t,μ)dx＝Ε[r(x_t,μ_θ(x_t))]

在神经网络中，通过最小化损失函数来优化τ(u_θ)，则损失函数为：

其中L(w)是简单的均方误差函数，N代表采样的时间范围，y_i是从目标深度神经网络Q获得的目标状态动作值，其中，

y_i＝r(x_i,u'_i)-γQ^'w(x_i,u_i),u'_i＝μ(x_i|θ')

对损失函数求梯度为：

如果actor被具有参数θ的神经网络来表示，则τ(μ_θ)＝Q^w(x_i,μ(x_i|θ)|w)，对τ求梯度为：

利用水下高清相机获取机器人可视区域图像，由于光在水下的衰减以及悬浮粒子的散射作用，导致相机只能捕获一部分从物体反射回来的光，因此水下图像存在模糊、偏色等可视化问题。普通水下相机获取到的水下图像分辨率不足，影响水下目标检测准确率。因此，利用水下高清相机获取机器人可视区域的高质量水下图像。同时在机器人上安装多个高清的摄像头，实现对水下环境多角度进行观测。

进一步地，所述全局特征提取器的主干网络包括用于进行全局特征提取的两个标准的3×3卷积、用于防止训练网络过程中发生过拟合的ReLu函数和用于增加像素之间的相关性的非局部注意力机制网络；

所述局部特征提取器包括用于关注水下图像中具有明显目标的区域的yolov4单阶段检测器网络和用于检测得到的局部区域特征图的mask网络，yolov4单阶段检测器网络只关注水下图像中具有明显目标的区域(目标可以是，鱼类、海洋的浮游生物，特征(尺寸大小、颜色、形状等)比较明显。

具体地，对水下机器人可视区域图像中的海产品目标提取特征块。

(1)首先主干网络(Global Feature Module)由两个标准的3×3卷积、ReLu函数和非局部注意力机制网络组成，网络结构图3如图所示。两个标准的卷积块目的是提取水下拍摄图像的全局特征，在提取全局特征后，我们使用注意力机制网络增加像素之间的相关性，提取鲁棒性强的全局特征F_g。然后将全局特征用来接下来局部特征网络的输入、训练以及最后的优化。

进一步地，所述步骤4包括以下步骤：

步骤40、设置检测精度高和置信度高的候选框，所述候选框中包括水下图像的相关属性，具体地，检测器会将检测到物体用一个检测框圈起来，检测精度高和置信度是相辅相成的，置信度指的是阈值，阈值设置的是否恰当会间接影响检测精度，同时，阈值是一个概率，阈值范围是大于等于0.5，小于等于1；

步骤41、在选择多个top-D检测精度高的候选区域后，使用索引i∈{1,2,...,D}来指示每一个被选的代表性特征，每个代表性特征覆盖的空间区域表示为A_i，对于每一个候选区域A_i，通过将1分配给区域内的像素，0分配给其余的像素，得到一个二进制特征矩阵，公式如下：

其中，M_i∈{0，1}C×K，且所有A_i在C×K范围内，以确保所有部分掩码区域都位于图像区域内，然后将部分掩码映射到全局特征，在获得全局特征F_g和部分掩码{M_i}^D _i＝1之后，将部分掩码映射到全局特征上，得到一组基于部分掩码的特征图集合{F_i}^D _i＝1；掩码区域指的是图像中具有明显目标的区域(目标可以鱼类、海洋浮游生物，一般指的是看得见摸得着，且特征比较明显)，且是通过检测器检测得到的；

步骤42、利用mask网络只保留最具代表性的特征，得到掩码特征后，再结合全局特征F_g，对于每一个部分区域i，可以得到掩码特征图F_i，即：

其中，⊙表示在全局特征F_g的每一个通道上进行操作，F_i是第i部分的部分掩码特征的映射，在F_i中只有第i部分的部分掩码特征被激活，且有F_i∈R^C×K×G，将全局特征F_g和每个掩码的特征图F_i在通道维度进行连接，补充水下目标经过卷积之后的丢失的信息，得到多个鲁棒性强的特征。

进一步地，所述步骤5包括以下步骤：

步骤50、对每个掩码特征图F_i上使用全局平均池化进行操作，获得每个掩码特征图F_i的channel像素最大值，对一张图像提取多个特征，每个channel对应图像的不同特征；

步骤51、对所述每个掩码特征图F_i的channel像素最大值进行进行Softmax操作，获得用来表示每个代表性特征的重要性的权重向量w，w用和为1进行归一化，使不同特征之间的相对重要性更加明显；

步骤52、添加全局特征F_g以增强代表性特征区域的重要性，从而得到最具代表性特征：

其中，

可以通过以下公式预测：

其中，μ(·)表示学习的函数，σ_μ是μ(·)的参数，mgap(·)表示全局平均池化。使用权重占比突显出每个特征的重要性，得出的结果加上全局特征图F_g，目的是进一步凸显水下目标最具代表性的特征。最后，因为全局特征和局部特征可以进行特征相互补偿，所以特征融合模块将全局特征F_g与最具代表性特征F_p在通道维度上相连，得到融合特征F_f。由于全局特征和基于代表性特征的部位特征提供互补信息，将全局特征和最具代表特征在通道维度进行concat连接，公式如下：

F_f＝concat(F_g,F_p)，F_f∈R^H×W×2C。

步骤6中对检测同一物体的图像进行曝光处理具体过程如下：摄像头实时采集多张图像，送入到水下图像重识别网络中，在网络训练的过程中，网络使用局部模块和全局模块提取水下图像目标物的特征，例如海参、扇贝等，然后将局部特征和全局特征进行特征重组，得到鲁棒性的特征，之后将该特征放入到DCP网络中对特征进一步增强，最后将该网络的输出特征和全局特征在通道维度上进行连接，通过特征判断摄像头拍摄的图像中是否为同一物体，若是判断是同一物体，则进行下一步，否则循环执行步骤2。该步骤实现检测多张图片是否包含同一物体的功能，实现是否多张图片具有同一物体的标志是每张图片是否包含同一物体的特征，若重合度比较高(阈值大于等于0.5)，则认为是多张图片包含同一目标，否则，相反。

步骤8采用采用Multi-Band算法进行图像拼接。

当融合宏观特征时，采用一个大的平滑渐变区，融合局部细节时，采用小的平滑渐变区，将图像分解为不同频带的分量加权和，图像的宏观特征在它的低频带，局部细节在它的高频带。图像按照频率高低展开形成一个金字塔，高低频分量各自按照不同方式平滑加权并叠加，把各频带分量重新加和，得到最终的融合效果。

图像预处理，机器人在当前目标区域内完成水下图像拼接后，使用超分辨率重构技术对全景图做清晰化处理，使得观测的效果更加清晰，得到的水下数据更加准确、精准。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种海洋养殖区水下场景全景图生成方法，其特征在于：包括以下步骤：

步骤1、规划水下机器人的行走路线，根据所述行走路线控制所述水下机器人运动方向；

步骤2、通过设置在所述水下机器人上的多个高清相机采集所述水下机器人可视区域的多张图像；

步骤3、利用局部特征提取器和全局特征提取器对采集的多张所述图像进行海产品目标特征提取获取局部特征图和全局特征图；

步骤4、通过目标检测算法模型对所述局部特征图进行目标特征提取，获得鲁棒性强的局部掩码特征图，通过softmax函数对所述目标特征图进行掩码处理获得目标掩码特征图，将所述目标掩码特征图与所述全局特征图作矩阵掩码操作，获得图像中具有代表性的特征图；

步骤5、将所述具有代表性的特征图送入DCP网络中进行局部指导操作，增加特征图通道信息较多的特征的权重，减少信息较少的不重要特征的权重；

步骤6、将所述全局特征图与所述具有代表性的特征图相连，获得融合特征图；

步骤7、将所述可视区域的多张图像进行目标重识别检测，若两张及两张以上的图像中出现同一物体，对检测到同一物体的图像进行曝光处理获得曝光处理图像；

步骤8、判断所述曝光处理图像是否具有相同特征的物体，若否，返回步骤2，若是，执行步骤9；

步骤9、利用拼接算法对检测到同一物体的图像进行图像拼接；

步骤10、利用声学设备进行避障；

步骤11、是否遇到障碍物，若是，返回步骤1，若否，执行步骤12；

步骤12、保存拼接图像；

步骤13、判断是否结束，若否，返回步骤1。

2.根据权利要求1所述的海洋养殖区水下场景全景图生成方法，其特征在于：所述全局特征提取器的主干网络包括用于进行全局特征提取的两个标准的3×3卷积、用于防止训练网络过程中发生过拟合的ReLu函数和用于增加像素之间的相关性的非局部注意力机制网络；

所述局部特征提取器包括用于关注水下图像中具有明显目标的区域的yolov4单阶段检测器网络和用于检测得到的局部区域特征图的mask网络。

3.根据权利要求1所述的海洋养殖区水下场景全景图生成方法，其特征在于：所述步骤4包括以下步骤：

步骤40、设置检测精度高和置信度高的候选框，所述候选框中包括水下图像的相关属性；

步骤41、在选择多个top-D检测精度高的候选区域后，使用索引i∈{1,2,...,D}来指示每一个被选的代表性特征，每个代表性特征覆盖的空间区域表示为A_i，对于每一个候选区域A_i，通过将1分配给区域内的像素，0分配给其余的像素，得到一个二进制特征矩阵，公式如下：

其中，M_i∈{0，1}^C×K，且所有A_i在C×K范围内，以确保所有部分掩码区域都位于图像区域内，然后将部分掩码映射到全局特征，在获得全局特征F_g和部分掩码{M_i}^D _i＝1之后，将部分掩码映射到全局特征上，得到一组基于部分掩码的特征图集合{F_i}^D _i＝1；

步骤42、利用mask网络只保留最具代表性的特征，得到掩码特征后，再结合全局特征F_g，对于每一个部分区域i，可以得到掩码特征图F_i，即：

F_i＝M_i⊙F_g，

其中，⊙表示在全局特征F_g的每一个通道上进行操作，F_i是第i部分的部分掩码特征的映射，在F_i中只有第i部分的部分掩码特征被激活，且有F_i∈R^C×K×G，将全局特征F_g和每个掩码的特征图F_i在通道维度进行连接，补充水下目标经过卷积之后的丢失的信息，得到多个鲁棒性强的特征。

4.根据权利要求3所述的海洋养殖区水下场景全景图生成方法，其特征在于：所述步骤5包括以下步骤：

步骤50、对每个掩码特征图F_i上使用全局平均池化进行操作，获得每个掩码特征图F_i的channel像素最大值，每个channel对应图像的不同特征；

步骤51、对所述每个掩码特征图F_i的channel像素最大值进行Softmax操作，获得用来表示每个代表性特征的重要性的权重向量w，w用和为1进行归一化，使不同特征之间的相对重要性更加明显；

步骤52、添加全局特征F_g以增强代表性特征区域的重要性，从而得到最具代表性特征：

其中，

可以通过以下公式预测：

其中，μ(·)表示学习的函数，σ_μ是μ(·)的参数，mgap(·)表示全局平均池化。

5.根据权利要求4所述的海洋养殖区水下场景全景图生成方法，其特征在于：

所述规划水下机器人的行走路线采用避障算法或PID算法；

通过actor-critic算法，控制推进器的前进方向，规划机器人的运动轨迹，算法公式如下：

(1)critic被定义为状态动作函数Q

其中，Q是状态动作函数，π是奖罚策略，γ是衰减因子[0,1]，u_t是时间t采取的动作状态动作函数，可以使用状态x_t到x_t+1的概率被学习，状态x_t包括水下机器人当前的运动方向和当前的位置；

(2)当目标策略被固定时，Q可以被离线学习，更新Q的公式如下：

更新Q^w直到Q^w≈Q^π，其中，Q^w机器人运动的具体位置坐标点；

(3)actor被定义为状态价值函数：

τ(μ_θ)＝∫ρ^μr(x_t,μ)dx＝Ε[r(x_t,μ_θ(x_t))]

在神经网络中，通过最小化损失函数来优化τ(u_θ)，则损失函数为：

其中，L(w)是简单的均方误差函数，N代表采样的时间范围，y_i是从目标深度神经网络Q获得的目标状态动作值，其中，

y_i＝r(x_i,u'_i)-γQ'^w(x_i,u_i),u'_i＝μ(x_i|θ')

对损失函数求梯度为：

如果actor被具有参数θ的神经网络来表示，则τ(μ_θ)＝Q^w(x_i,μ(x_i|θ|)w)，对τ求梯度为：

Images