CN115937435A - 一种基于光学感知的波浪场重构方法 - Google Patents

Abstract

本发明涉及一种基于光学感知的波浪场重构方法，步骤1，搭建虚拟波浪场数据生成平台；步骤2，采用虚拟波浪场彩色图像数据与相机拍摄的真实水面图像数据作为训练集对构造的域转换器模块进行预训；步骤3，采用生成成对的虚拟波浪场彩色图像数据与深度图像数据作为训练集构造的深度估计模块进行预训；步骤4，使用域转换器模块将真实水面图片的风格转换为虚拟水面风格图片；步骤5输出为记录了波浪表面采样点与相机光心之间距离的虚拟水面风格深度图片；步骤6，生成以相机光心为坐标原点的水面波浪场表面点云数据。本发明的波浪场重构方法通过相机拍摄水面图像，就能对水面波浪场深度信息实现实时重建，保证波浪场重构的可靠性与真实性。

Description

一种基于光学感知的波浪场重构方法

技术领域

本发明涉及三维波浪场重构和重建技术领域，具体涉及一种基于光学感知的波浪场重构方法。

背景技术

随着人工智能技术在装备领域的发展与应用，无人艇智能系统也迎来智能化的浪潮。区别于无人车与无人机，无人艇面临复杂多变的水面环境，由于缺乏对周围水面海况情况的感知，传统的无人艇运动控制精度十分有限，难以控制无人艇完成运动精度要求较高的任务。

在流体研究相关领域，以往对波浪场重建技术研究主要从三个方面展开，一是对水体进行特殊处理，利用荧光物质对水体进行染色，分析拍摄图片不同区域的荧光强度进行水面重建，或在透明水体下方贴上已知图片纹理，基于折射原理分析纹理扭曲与水面形状关系，该方法只适合在实验室中进行；二是利用相机对海洋表面进行拍摄，结算时结合物理方程，进行数值结算，但运算量过大，运算耗时长，无法达到实时重建的效果；三是使用SFS算法对波浪场进行重建，但基于SFS算法的波浪重建算法没有改变正交投影的假设，对于波浪场的投影遮挡问题无法很好的处理。

发明内容

针对上述情况，本发明提供一种结合基于光学感知的波浪场重构方法，这种重构方法能直观地表现出水面波浪场波动信息；通过相机拍摄水面图像，就能对水面波浪场深度信息实现实时重建，计算速度快；对水体无特殊要求，适应性强；考虑波浪场的投影遮挡问题，保证波浪场重构的可靠性与真实性。

本发明的具体技术方案是一种基于光学感知的波浪场重构方法，其特征在于，包括如下步骤：

步骤1，搭建虚拟波浪场数据生成平台，使用复合光照模型模拟水面光学特征，生成成对的虚拟波浪场彩色图像数据与深度图像数据；

步骤2，构造域转换器模块，采用虚拟波浪场彩色图像数据与相机拍摄的真实水面图像数据作为训练集对构造的域转换器模块进行预训；

步骤3，构造深度估计模块，采用生成成对的虚拟波浪场彩色图像数据与深度图像数据作为训练集构造的深度估计模块进行预训；

步骤4，拍摄真实水面图片，使用步骤2中预训后的域转换器模块将真实水面图片的风格转换为虚拟水面风格图片；

步骤5，使用深度估计模块将虚拟水面风格图片输出为记录了波浪表面采样点与相机光心之间距离的虚拟水面风格深度图片；

步骤6，采用点云映射算法对虚拟水面风格深度图片进行坐标映射，生成以相机光心为坐标原点的水面波浪场表面点云数据。

更进一步地，采用Gerstner波模型搭建步骤1所述的虚拟波浪场数据生成平台，Gerstner波模型如下式(I)，

其中t为时间，(x,y,z)为t时刻的位置，(x₀,y₀,z₀)为静止时的位置，Q_i为所叠加的第i个波的波峰的尖锐程度，取值范围为

A_i为所叠加的第i个波的振幅，k_i为所叠加的第i个波的波数，θ_i为所叠加的第i个波的方向角，ω_i为所叠加的第i个波的角速度，

为所叠加的第i个波的初始相位。

更进一步地，步骤1中所述的复合光照模型为漫反射模型、镜面反射模型和次表面散射模型，分别如下式(II)、(III)、(IV)所示，

I_d＝k_dI_incosα......(II)

其中I_d为观察到的颜色亮度，k_d为漫反射系数，I_in为入射光亮度，α为平面法线与入射光的夹角；

I_m＝k_mI_in(cos(φ-θ))ⁿ......(III)

其中I_m为观察到的颜色亮度，k_m为镜面反射系数，I_in为入射光亮度，φ为平面法线与入射光的夹角，θ为平面法线与观察视线的夹角，n为高光系数；

其中L_i为入射光线的辐射率，L_o为出射光线的辐射率，p_i为入射光线与物体的接触点，p_o为出射光线与物体的接触点，r_i为入射光线的方向矢量，r_o为出射光线的方向矢量，

为入射光线与接触点微平面法向量的夹角，S(p_o,r_o,p_i,r_i)为双向次表面反射分布函数，F_t为菲涅尔系数，R_d为扩散近似函数，d为距离。

更进一步地，步骤1所述的生成成对的波浪场彩色图像数据与深度图像数据过程如下：

步骤a，采用虚拟波浪场数据生成平台生成虚拟波浪场二维图像，同时将同一像素中深度的最小值写入深度缓存中；

步骤b，根据虚拟波浪场二维图像深度大小，选择距离摄像头最近的颜色依次对各个像素进行渲染，生成所需的虚拟波浪场彩色图像；

步骤c，对深度缓存中的值进行反透视变换，图像坐标系转换为世界坐标系，得到真正的深度值，生成所需的虚拟波浪场深度图像。

更进一步地，步骤6所述的点云映射算法的具体过程如下：

步骤A，通过对像素坐标系进行平移，将坐标系中心点从图片左上角平移至图片中心，再乘转换因子，将像素坐标系转换为图像坐标系，见下式(V)，

其中，uv为像素坐标系，原点为图像左上角，w、h分别为图像宽、高的像素值，o-xy为图像坐标系，原点为图像中心点，r_x、r_y为转换因子，分别代表图片横向、纵向一个像素代表的绝对距离，其计算公式如下式(VI)，

其中，α为相机视椎垂直方向张开的角度，β为相机视椎水平方向张开的角度，f为相机焦距；

步骤B，按照下式(VII)单位化由相机光心指向像素点的向量向量(x,y,f)得(x_e,y_e,z_e)，表征由相机光心指向图片上的点的方向，同时也是相机光心指向世界坐标系中真实点的方向:

步骤C，将向量(x_e,y_e,z_e)与存储在深度图中的相机光心与世界坐标系中的点的距离相乘，得到以相机光心为原点的相机坐标系中点的位置，见下式(VIII)

本发明的优点或有益效果：

1)通过引入虚拟波浪场数据解决数据获取的问题，同时使用无监督的学习联系虚拟数据和真实数据，提出了一套可行的、在现有技术手段下可以实施的水面波浪场感知技术框架；

2)针对水面波浪场数据难以获取数据真值的问题，通过使用Gerstner波叠加模拟波浪场形状、使用多种光照模型复合的方法模拟波浪场光学特性、使用渲染管线生成所需的彩色图像数据和深度图像数据，可以生成大量的虚拟波浪场数据供算法进行训练，解决了训练数据集获取的问题；

3)将彩色图与深度图的关系看成图像翻译问题，避免了传统的单目深度估计中由于人为设定损失函数而导致的“边缘模糊”问题；

4)搭建的虚拟波浪场数据生成平台生成虚拟波浪场图像过程中考虑了波浪场的投影遮挡问题，保证波浪场重构的可靠性与真实性；

5)本方法对水体无特殊要求，适应性强，且波浪场重建速度达到毫秒级，可在户外水域进行实时波浪场重建。

附图说明

图1为本发明基于光学感知的波浪场重构方法的流程示意图；

图2为不同波浪条件下的Gerstner波叠加模拟示意图；

图3为添加漫反射模型、镜面反射模型、次表面散射模型的波浪场效果图；

图4a-图4b为渲染后的虚拟波浪场图像，其中，图4a为虚拟波浪场彩色图像，图4b为虚拟波浪场深度图像；

图5为相机坐标映射示意图；

图6a-图6b为域转换器模块输入输出示意图，其中，图6a为域转换器模块的输入即真实水面图片，图6b为域转换器模块输出即虚拟水面风格图片；

图7a-图7b为深度估计模块输入输出示意图，其中，图7a为深度估计模块的输入即虚拟水面风格图片，图7b为深度估计模块的输出即虚拟水面风格深度图片；

图8a-图8c为点云映射算法输入输出数据示意图，其中，图8a、图8b为点云映射模块的输入即虚拟水面风格图片与虚拟水面风格深度图片，图8c为点云映射模块的输出即波浪场点云数据图像。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步地描述。

如图1所示，为本发明一种基于光学感知的波浪场重构方法的具体步骤如下：

步骤1，搭建虚拟波浪场数据生成平台。使用Unity开发平台，分别构建虚拟波浪场的形状模型与光学模型，利用Unity引擎生成虚拟波浪场图片。Unity是实时3D互动内容创作和运营平台，为包括游戏开发、美术、建筑、汽车设计、影视在内的服务提供一整套完善的软件解决方案，可用于创作、运营和变现任何实时互动的2D和3D内容。使用Gerstner波叠加模拟波浪场形状，得到各个点的高度、法向信息，使用复合光照模型模拟水面光学特征，利用Gerstner波输出信息计算每个点的颜色亮度，并根据该亮度信息进行彩色图片渲染，生成成对的虚拟波浪场彩色图像数据与深度图像数据，具体步骤如下：

模型各参数取值范围为Q_i∈[0,1]，k_i∈[0,512]，θ_i∈[0,2π]，ω_i∈[0,20]。如图2所示，本例中，取n＝6，即6组波形叠加，其中,Q_i取值全为1，t、

取值全为0，θ_i取值分别为0.187、0.867、1.590、0.006、2.625、1.328，A_i取值分别为0.1、0.2、0.5、0.01、0.01、0.01，k_i取值分别为0.125、0.25、0.5、1、2、4，排列组合生成不同的Gerstner波叠加模拟波浪场形状，其中Gerstner波公式如下：

其中，t为时间，(x,y,z)为t时刻的位置，(x₀,y₀,z₀)为静止时的位置，Q_i为所叠加的第i个波的波峰的尖锐程度，取值范围为

A_i为所叠加的第i个波的振幅，k_i为所叠加的第i个波的波数，θ_i为所叠加的第i个波的方向角，ω_i为所叠加的第i个波的角速度，

为所叠加的第I个波的初始相位；

如图3所示，所述的复合光照模型为漫反射模型、镜面反射模型和次表面散射模型，分别如下式(II)、(III)、(IV)所示，

I_d＝k_dI_in cosα......(II)

其中I_d为观察到的颜色亮度，k_d为漫反射系数，I_in为入射光亮度，α为平面法线与入射光的夹角；

I_m＝k_mI_in(cos(φ-θ))ⁿ......(III)

其中I_m为观察到的颜色亮度，k_m为反射系数，I_in为入射光亮度，φ为平面法线与入射光的夹角，θ为平面法线与观察视线的夹角，n为高光系数；

其中L_i为入射光线的辐射率，L_o为出射光线的辐射率，p_i为入射光线与物体的接触点，p_o为出射光线与物体的接触点，r_i为入射光线的方向矢量，r_o为出射光线的方向矢量，

为入射光线与接触点微平面法向量的夹角，S(p_o,r_o,p_i,r_i)为双向次表面反射分布函数，F_t为菲涅尔系数，R_d为扩散近似函数，d为距离。

三组光照模型计算所得的颜色亮度值叠加，即为该点的最终亮度值。所述的生成成对的波浪场彩色图像数据与深度图像数据过程如下：

步骤a，采用虚拟波浪场数据生成平台生成虚拟波浪场二维图像，同时将同一像素中深度的最小值写入深度缓存中；

步骤b，根据虚拟波浪场二维图像深度大小，使用Unity渲染功能进行渲染过程，依据复合光照模型的计算结果，选择距离摄像头最近的颜色依次对各个像素进行渲染，生成所需的虚拟波浪场彩色图像，如图4a所示；

步骤c，对深度缓存中的值进行反透视变换，图像坐标系转换为世界坐标系，得到真正的深度值，生成所需的虚拟波浪场深度图像，如图4b所示。

步骤2，构造域转换器模块，并进行预训。域转换器模块即图片风格转换技术，是把一张图片转化成同内容但包含其他风格的新图片的技术，通常采用Dual Gan、Cycle Gan、Pix2Pix和SSIM-Gan模型。本发明方法采用Pytorch软件现有的Cycle Gan模型，模型的训练集特定的采用相机拍摄的真实水面图像与步骤1生成的虚拟波浪场彩色图像，学习由真实水面图面向虚拟水面图像的风格迁移，该网络由生成器一与判别器一组成，其中，本例中，生成器一结构为两层卷积层组成的编码器、9个Resnet块组成的转换器、反卷积层与一层卷积层组成的解码器，判别器一采用PatchGAN网络，结构为四层卷积层组成的特征提取器一、一层卷积层组成的分类器一。

步骤3，构造深度估计模块，并进行预训。深度估计是一种计算机视觉任务，旨在从2D图像估计深度。该任务需要输入RGB图像并输出深度图像，深度图像包括关于从视点到图像中的物体的距离的信息，该视点通常是拍摄图像的相机。本专利采用Pytorch软件现有的Pix2Pix模型，特定的采用步骤1生成的成对的虚拟波浪场彩色图像数据与深度图像数据作为训练集，学习波浪场彩色图像向深度图像的转变，该模型由生成器二与判别器二组成，其中，本例中，生成器二采用U-Net模型，本例中，U-Net模型由4层卷积与反卷积层组成，同时对称卷积层间添加跳跃连接，判别器二采用PatchGAN网络，结构为四层卷积层组成的特征提取器二、一层卷积层组成的分类器二。

步骤4，如图6-图6b所示，拍摄真实水面图片，使用域转换器模块将真实水面图片转换为虚拟水面风格图片。

步骤5，如图7a-图7b所示，输入转换后的虚拟水面风格图片，使用深度估计模块输出记录了波浪表面采样点与相机光心之间距离的虚拟水面风格深度图片。

步骤6，如图8a-图8c所示，使用点云映射算法模块对虚拟水面风格深度图片进行坐标映射，相机坐标映射示意图如图5所示，生成以相机光心为坐标原点的水面波浪场表面点云数据，具体步骤如下：

步骤A，通过对像素坐标系进行平移，将坐标系中心点从图片左上角平移至图片中心，再乘转换因子，将像素坐标系转换为图像坐标系，见下式(V)，

其中，uv为像素坐标系，原点为图像左上角，w、h分别为图像宽、高的像素值，o-xy为图像坐标系，原点为图像中心点，r_x、r_y为转换因子，分别代表图片横向、纵向一个像素代表的绝对距离，其计算公式如下式(VI)，

其中，α为相机视椎垂直方向张开的角度，β为相机视椎水平方向张开的角度，f为相机焦距；

步骤B，按照下式(VII)单位化由相机光心指向像素点的向量向量(x,y,f)得(x_e,y_e,z_e)，表征由相机光心指向图片上的点的方向，同时也是相机光心指向世界坐标系中真实点的方向:

步骤C，将向量(x_e,y_e,z_e)与存储在深度图中的相机光心与世界坐标系中的点的距离相乘，得到以相机光心为原点的相机坐标系中点的位置，见下式(VIII)

经过上述步骤，可以通过一幅相机拍摄的水面图片实现波浪的三维重构，获得水面波浪场的点云数据。

虽然本发明已经以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (5)

1.一种基于光学感知的波浪场重构方法，其特征在于，包括如下步骤：

步骤1，搭建虚拟波浪场数据生成平台，使用复合光照模型模拟水面光学特征，生成成对的虚拟波浪场彩色图像数据与深度图像数据；

步骤2，构造域转换器模块，采用虚拟波浪场彩色图像数据与相机拍摄的真实水面图像数据作为训练集对构造的域转换器模块进行预训；

步骤3，构造深度估计模块，采用生成成对的虚拟波浪场彩色图像数据与深度图像数据作为训练集构造的深度估计模块进行预训；

步骤4，拍摄真实水面图片，使用步骤2中预训后的域转换器模块将真实水面图片的风格转换为虚拟水面风格图片；

步骤5，使用深度估计模块将虚拟水面风格图片输出为记录了波浪表面采样点与相机光心之间距离的虚拟水面风格深度图片；

步骤6，采用点云映射算法对虚拟水面风格深度图片进行坐标映射，生成以相机光心为坐标原点的水面波浪场表面点云数据。

2.根据权利要求1所述的一种基于光学感知的波浪场重构方法，其特征在于，采用Gerstner波模型搭建步骤1所述的虚拟波浪场数据生成平台，Gerstner波模型如下式(I)，

其中t为时间，(x,y,z)为t时刻的位置，(x₀,y₀,z₀)为静止时的位置，Q_i为所叠加的第i个波的波峰的尖锐程度，取值范围为

A_i为所叠加的第i个波的振幅，k_i为所叠加的第i个波的波数，θ_i为所叠加的第i个波的方向角，ω_i为所叠加的第i个波的角速度，

为所叠加的第i个波的初始相位。

3.根据权利要求2所述的一种基于光学感知的波浪场重构方法，其特征在于，步骤1中所述的复合光照模型为漫反射模型、镜面反射模型和次表面散射模型，分别如下式(II)、(III)、(IV)所示，

I_d＝k_dI_incosα......(II)

其中I_d为观察到的颜色亮度，k_d为漫反射系数，I_in为入射光亮度，α为平面法线与入射光的夹角；

I_m＝k_mI_in(cos(φ-θ))ⁿ......(III)

其中I_m为观察到的颜色亮度，k_m为镜面反射系数，I_in为入射光亮度，φ为平面法线与入射光的夹角，θ为平面法线与观察视线的夹角，n为高光系数；

其中L_i为入射光线的辐射率，L_o为出射光线的辐射率，p_i为入射光线与物体的接触点，p_o为出射光线与物体的接触点，r_i为入射光线的方向矢量，r_o为出射光线的方向矢量，

为入射光线与接触点微平面法向量的夹角，S(p_o,r_o,p_i,r_i)为双向次表面反射分布函数，F_t为菲涅尔系数，R_d为扩散近似函数，d为距离。

4.根据权利要求3所述的一种基于光学感知的波浪场重构方法，其特征在于，步骤1所述的生成成对的波浪场彩色图像数据与深度图像数据过程如下：

步骤a，采用虚拟波浪场数据生成平台生成虚拟波浪场二维图像，同时将同一像素中深度的最小值写入深度缓存中；

步骤b，根据虚拟波浪场二维图像深度大小，选择距离摄像头最近的颜色依次对各个像素进行渲染，生成所需的虚拟波浪场彩色图像；

步骤c，对深度缓存中的值进行反透视变换，图像坐标系转换为世界坐标系，得到真正的深度值，生成所需的虚拟波浪场深度图像。

5.根据权利要求1所述的一种基于光学感知的波浪场重构方法，其特征在于，步骤6所述的点云映射算法的具体过程如下：

步骤A，通过对像素坐标系进行平移，将坐标系中心点从图片左上角平移至图片中心，再乘转换因子，将像素坐标系转换为图像坐标系，见下式(V)，

其中，uv为像素坐标系，原点为图像左上角，w、h分别为图像宽、高的像素值，o-xy为图像坐标系，原点为图像中心点，r_x、r_y为转换因子，分别代表图片横向、纵向一个像素代表的绝对距离，其计算公式如下式(VI)，

其中，α为相机视椎垂直方向张开的角度，β为相机视椎水平方向张开的角度，f为相机焦距；

步骤B，按照下式(VII)单位化由相机光心指向像素点的向量向量(x,y,f)得(x_e,y_e,z_e)，表征由相机光心指向图片上的点的方向，同时也是相机光心指向世界坐标系中真实点的方向:

步骤C，将向量(x_e,y_e,z_e)与存储在深度图中的相机光心与世界坐标系中的点的距离相乘，得到以相机光心为原点的相机坐标系中点的位置，见下式(VIII)

Images