CN103455982A

CN103455982A - 一种基于虚实融合机场场面监视视觉增强的方法

Info

Publication number: CN103455982A
Application number: CN2013103897033A
Authority: CN
Inventors: 兰时勇; 程鹏; 李科
Original assignee: Sichuan University; Sichuan Chuanda Zhisheng Software Co Ltd
Current assignee: Sichuan University; Sichuan Chuanda Zhisheng Software Co Ltd; Wisesoft Co Ltd
Priority date: 2013-08-31
Filing date: 2013-08-31
Publication date: 2013-12-18

Abstract

本发明涉及计算机应用技术和计算机视觉领域，具体涉及一种基于虚实融合机场场面监视视觉增强的方法，包括以下步骤：红外与可见光图像获取及其预处理；红外与可见光图像时空配准融合得到增强视觉图像；获取场景视觉参数；三维模型裁剪、渲染，得到虚拟场景信息和真实场景与虚拟场景混合叠加生成虚实合成场景。本发明既是真实世界的表达，又有虚拟信息的增强，当操作人员在无法用肉眼看清周围的真实环境时，依然可以通过计算机绘制的数字影像直观的了解当前环境的详细情况虚实配准的过程则是保证虚拟摄像机和真实摄像机所观测到的内容相同，通过混合叠加，确保显示结果的高可信度，从而有效提高低能见度下机场场面监视能力。

Description

一种基于虚实融合机场场面监视视觉增强的方法

技术领域

本发明涉及计算机应用技术和计算机视觉领域，具体涉及一种基于虚实融合机场场面监视视觉增强的方法。

背景技术

近年来，国民经济的高速增长带动中国民航运输业的市场需求不断扩大，民航运输量始终保持很高的增长率在发展。根据民航总局公布的统计结果，从2000年～2009年，年航班起降架次从1757117架次增加到4840710架次。9年来航班起降架次总量翻了近三倍，年平均增长率达11.8%。根据预测，到2020年，全国机场货邮吞吐量、旅客吞吐量将分别保持15％和11.4％的年均增长速度。如此快速的发展速度，快速增长的交通流量给机场运行安全与效率提出了更高的要求。

低能见度是影响机场场面管制的最大因素，在低能见度下，机场容量大幅度降低，导致航班延误增加。如何在保证安全的前提下，减少低能见度下的航班延误，提高运营效率，也是航空公司和机场普遍关心的问题。

为了克服传统视觉传感器在低能见度下的缺陷，研究人员在近年来通过不断探索提出了若干解决方案。随着成像技术的进步，人们开始研究能穿透云雾的红外或微波图像传感技术。利用红外成像技术对夜晚、大雾等低能见度天气的适应能力，通过配准和融合单视角的红外和可见光图像，形成增强视觉图像。此外，合成视觉系统(SVS：Synthetic Vision System)根据当前视角的位置、高度和姿态等参数，再结合地形数据库实时计算生成虚拟三维场景视景，使生成视景与当前视点观察的内容一致，从而达到视觉增强的目的。随着计算机图形学等技术的快速进展，21世纪以来，合成视觉技术已逐渐成为解决低能见度视觉问题的热点。诚然，红外、微波技术与合成视觉系统在技术革新的同时为机场场面监视提供了新方法、新手段，但两者都有其局限。红外、毫米波传感器等成像设备，在图像分辨率、对比度等方面存在严重缺陷；而SVS完全采用计算机图形学进行绘制，只是对真实世界的一种展示，易造成监视人员在感官上对其缺乏信任。

发明内容

本发明的目的在于提供一种基于虚实融合机场场面监视视觉增强的方法，解决目前机场场面在低能见度的情况下无法清晰准确的知道地面情况，而现有的视觉增强技术严重缺乏场景还原真实性，并且在感官上缺乏信任的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种基于虚实融合机场场面监视视觉增强的方法，包括以下步骤：

步骤一，通过红外传感器与可见光传感器获取机场场面信息，对红外传感器获取图像利用分段线性变换算法进行对比度增强处理，对可见光传感器获取的可见光图像采用基于大气散射模型的图像去雾算法，并充分利用CPU和GPU的并行处理能力，进行实时去雾处理；

步骤二，将经过处理后的红外传感器获取的图像和可见光传感器获取的图像进行时间同步，并通过sift特征检测及仿射变换进行几何一致性配准，配准后的图像采用三层拉普拉斯金字塔分解，并按照像素值取大的原则进行融合，得到增强视觉图像；

步骤三，求解相机的内外参数，即恢复视觉参数，其中内参数利用直接线性变换算法通过相机标定确定，外参数是通过特征匹配得到六个二维图像的像素坐标及其在三维模型中对应的世界坐标，求解由这六对点组成的线性方程组，利用最小二乘优化恢复投影矩阵确定；

步骤四，将获取的视觉参数输入三维引擎，经过裁剪和渲染得到与真实场景视点一致的三维虚拟视景；

步骤五，将得到的增强视觉图像和三维虚拟视景配准后混合叠加，实现信息互补获得清晰度非常高的虚实合成场景。

进一步的所述步骤一中，分段线性变换算法具体是如下，

假定原图像f(x,y)的灰阶范围为[a,b]，希望变换后的图像g(x,y)的灰阶范围扩展至[c,d]，则分段线性变换算法数学表达式如下：

g (x, y) = \{\begin{matrix} \frac{c}{a} \times f (x, y) & 0 \leq f (x, y) \leq a \\ \frac{d - c}{b - a} \times [f (x, y) - a] + c & a \leq f (x, y) \leq b \\ \frac{M_{g} - d}{M_{f} - b} \times [f (x, y) - b] + d & b \leq f (x, y) \leq M_{f} \end{matrix}\}

式中,M_f、M_g分别为原图和变换后图像的最大灰阶，通过控制参数a、b、c、d的取值,可实现对任一灰度区间的扩展或压缩。

进一步的所述步骤一中，大气散射模型是描述雾化图像的退化过程，基于大气散射模型的图像去雾算法原理如下：

I(x)＝J(x)t(x)+A(1-t(x))

式中，I是观测图像的亮度，J是景物光线的强度，A是无穷远处的大气光，t为透射率，从I中复原J，由原始有雾图像I、透射率分布t和大气光值A可以计算出J，完成了雾天图像复原，利用CUDA调用CPU和GPU进行并行处理，完成实时去雾处理。

进一步的所述步骤二中，所述三层拉普拉斯金字塔分解中，高斯金字塔的生成包含低通滤波和下采样的过程。

与现有技术相比，本发明的有益效果是：

本发明将真实场景与虚拟场景结合的高可信度虚实场景合成技术可以弥补以上不足；既是真实世界的表达，又有虚拟信息的增强；虚实合成显示是在低能见度下增强视觉感知的关键，即当操作人员在无法用肉眼看清周围的真实环境时，依然可以通过计算机绘制的数字影像直观的了解当前环境的详细情况；通过真实和虚拟摄像机，操作人员可以分别看到物理世界及其虚拟世界的镜像，虚实配准的过程则是保证虚拟摄像机和真实摄像机所观测到的内容相同，通过混合叠加，确保显示结果的高可信度，从而有效提高低能见度下机场场面监视能力。

附图说明

图1为本发明一种基于虚实融合机场场面监视视觉增强的方法一个实施例的流程示意图。

图2为原始可见光图像。

图3为原始红外图像。

图4为可见光图像去雾图像。

图5为红外图像对比度增强图像。

图6为增强视觉图像。

图7为三维虚拟视景图像。

图8为虚实合成图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明一种基于虚实融合机场场面监视视觉增强的方法的一个实施例：一种基于虚实融合机场场面监视视觉增强的方法，包括以下步骤：

步骤一，通过红外传感器与可见光传感器获取机场场面信息，对红外传感器获取图像利用分段线性变换算法进行对比度增强处理，对可见光传感器获取的可见光图像采用基于大气散射模型的图像去雾算法，并充分利用CPU和GPU的并行处理能力，进行实时去雾处理；图2为原始可见光图像，即为可见光传感器获取的机场场面；图3为原始红外图像，即为红外传感器获取的机场场面；图4为可见光图像去雾图像，由图2中原始可见光图像处理后获得；图5为对比度增强后的红外图像，由图3原始红外图像；

步骤二，将经过处理后的红外传感器获取的图像和可见光传感器获取的图像进行时间同步，并通过sift特征检测及仿射变换进行几何一致性配准，配准后的图像采用三层拉普拉斯金字塔分解，并按照像素值取大的原则进行融合，得到增强视觉图像，图6中第三幅画面即为增强视觉图像；所述增强视觉图像既利用热红外保证低能见度下机场场面静态及动态目标的有效显示，又利用可见光图像增强目标纹理信息，最大限度提高低能见度下真实场景的感知能力；

步骤四，将获取的视觉参数输入三维引擎，经过裁剪和渲染得到与真实场景视点一致的三维虚拟视景，图7为三维虚拟视景图像，即为根据视觉参数渲染后的三维虚拟视景；

步骤五，将得到的增强视觉图像和三维虚拟视景配准后混合叠加，实现信息互补获得清晰度非常高的虚实合成场景，图8为虚实合成图像，即为虚实合成场景。

根据本发明一种基于虚实融合机场场面监视视觉增强的方法的一个优选实施例，在步骤一中，所述分段线性变换算法定义如下：

假定原图像f(x,y)的灰阶范围为[a,b],希望变换后的图像g(x,y)的灰阶范围扩展至[c,d]。则分段线性变换算法数学表达式如下：

g (x, y) = \{\begin{matrix} \frac{c}{a} \times f (x, y) & 0 \leq f (x, y) \leq a \\ \frac{d - c}{b - a} \times [f (x, y) - a] + c & a \leq f (x, y) \leq b \\ \frac{M_{g} - d}{M_{f} - b} \times [f (x, y) - b] + d & b \leq f (x, y) \leq M_{f} \end{matrix}\}

式中,M_f、M_g分别为原图和变换后图像的最大灰阶。通过控制参数a、b、c、d的取值,可实现对任一灰度区间的扩展或压缩。

根据本发明一种基于虚实融合机场场面监视视觉增强的方法的一个优选实施例，所述步骤一种，所述大气散射模型描述了雾化图像的退化过程，基于大气散射模型的图像去雾算法原理如下：

I(x)＝J(x)t(x)+A(1-t(x))

式中，I是观测图像的亮度，J是景物光线的强度，A是无穷远处的大气光，t为透射率。去雾的目标就是从I中复原J。于是，由原始有雾图像I、透射率分布t和大气光值A可以计算出J，也即完成了雾天图像复原。这里，利用CUDA（统一计算设备架构）充分调用CPU和GPU的并行处理能力，完成实时去雾处理。

根据本发明一种基于虚实融合机场场面监视视觉增强的方法的另一个优选实施例，步骤二中，所述拉普拉斯金字塔源于图像的高斯金字塔分解，高斯金字塔的生成包含低通滤波和下采样的过程。拉普拉斯金字塔是同级高斯金字塔的高频分量，亦即是图像的细节部分。

Claims

1.一种基于虚实融合机场场面监视视觉增强的方法，其特征在于包括以下步骤：

步骤三，求解相机的内外参数，其中内参数利用直接线性变换算法通过相机标定确定，外参数是通过特征匹配得到六个二维图像的像素坐标及其在三维模型中对应的世界坐标，求解由这六对点组成的线性方程组，利用最小二乘优化恢复投影矩阵确定；

2.根据权利要求1所述的一种基于虚实融合机场场面监视视觉增强的方法，其特征在于：

所述步骤一中，分段线性变换算法具体是如下，

g (x, y) = \{\begin{matrix} \frac{c}{a} \times f (x, y) & 0 \leq f (x, y) \leq a \\ \frac{d - c}{b - a} \times [f (x, y) - a] + c & a \leq f (x, y) \leq b \\ \frac{M_{g} - d}{M_{f} - b} \times [f (x, y) - b] + d & b \leq f (x, y) \leq M_{f} \end{matrix}\}

3.根据权利要求1所述的一种基于虚实融合机场场面监视视觉增强的方法，其特征在于：所述步骤一中，大气散射模型是描述雾化图像的退化过程，基于大气散射模型的图像去雾算法原理如下：

I(x)＝J(x)t(x)+A(1-t(x))

4.根据权利要求1所述的一种基于虚实融合机场场面监视视觉增强的方法，其特征在于：所述步骤二中，所述三层拉普拉斯金字塔分解中，高斯金字塔的生成包含低通滤波和下采样的过程。