CN114125228A - 一种船用360全景影像系统的宽动态影像处理方法 - Google Patents
一种船用360全景影像系统的宽动态影像处理方法 Download PDFInfo
- Publication number
- CN114125228A CN114125228A CN202111392528.4A CN202111392528A CN114125228A CN 114125228 A CN114125228 A CN 114125228A CN 202111392528 A CN202111392528 A CN 202111392528A CN 114125228 A CN114125228 A CN 114125228A
- Authority
- CN
- China
- Prior art keywords
- scene
- image data
- image
- scene image
- marine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 40
- 230000004297 night vision Effects 0.000 claims description 40
- 230000004927 fusion Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 239000004576 sand Substances 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000005855 radiation Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种船用360全景影像系统的宽动态影像处理方法,包括:采集船舶周边环境中动态范围的场景影像数据并进行预处理;基于预处理后的场景影像数据获取海上场景中的色度信息;基于色度信息得到场景影像数据的亮度图像,并基于亮度图像对色度信息进行更新;通过饱和度、曝光度和对比度计算生成场景影像数据的特征向量;对场景影像数据进行标记,基于特征向量及标记值构建为训练样本并输入SVR模型,得到训练模型;通过训练模型对亮度图像重新排序及图像融合;将更新后的色度信息与融合后的亮度图像进行线性组合,得到360全景影像。本发明能够全天候地获得高动态范围区域内的清晰影像画面,为智能船舶航行提供了安全的保障。
Description
技术领域
本发明涉及船舶航行辅助系统的画面优化技术领域,特别是涉及一种船用360全景影像系统的宽动态影像处理方法。
背景技术
现阶段船舶行驶过程中,由于光照影响,主要面临两个问题:一个是传统的摄像机动态范围过小,强烈光照下无法获取海面场景中超出动态范围的画面;另一个是海面夜间光线过暗,航行中摄像头无法采集到清晰的画面。
对于摄像机动态范围过小的问题,在船用360全景影像系统中,使用宽动态技术中的多曝光融合方法来解决。宽动态技术可以将航行时周围场景中因为不同曝光量产生的极亮和极暗的部分,同时清晰的显示出来,获得清晰的影像画面。宽动态需要同时面向高动态范围(HDRI)的海面场景与低动态范围(LDRI)的传统摄像机,并保留画面中亮区与暗区的细节信息。其主要方法采用多曝光融合技术,对低动态范围画面进行处理。而现阶段多曝光融合的主要处理方法为直接权重平均,此方法导致融合后的图像丢失大量细节信息,影响整个系统辅助航行。对于夜间航行过程中海面光照不足引起摄像机采集不清晰的画面问题,在船用360全景影像系统中,采用夜视模式来解决。任何物体自身都具有红外辐射,夜视模式作为一种应用于图像采集与处理的技术,主要是通过主动红外线的照射提升物体红外反射强度,再通过采用光电效应原理与光电子成像方法,扩展人眼的视觉能力。现阶段,可将夜视技术划分为被动夜视与主动夜视。被动夜视具体来说就是利用已有的或是自然光线形成的红外线进行识别与监测,需要探测有热度、红外线辐射散发特定波长的物体,但是面对热源干扰,其红外穿透力比较微弱,很容易遭到遮挡与阻断。相反,主动夜视就是通过人为的方式对物体本身微弱的辐射进行增强处理,具有更强的抗干扰能力,目标亮度强并且场景反差大,可以以较低成本,提高成像的清晰度。虽然隐蔽性稍弱,但是在不需要对隐蔽性要求很高的正常海上航行来说,主动夜视是较为合适的选择。然而主动夜视通常选择普通近红外照射等作为光源,其照射距离最多150m,如果航行中遇到恶劣天气,比如大雾等,夜视性能就会明显下降,使得主动夜视系统的工作距离受到局限。
发明内容
本发明的目的是提供一种船用360全景影像系统的宽动态影像处理方法,以解决现有技术的问题,能够全天候地获得高动态范围区域内的清晰影像画面,为智能船舶航行提供了安全的保障。
为实现上述目的,本发明提供了如下方案:本发明提供一种船用360全景影像系统的宽动态影像处理方法,包括:
S1、在船舶航行过程中,采集船舶周边环境中动态范围的场景影像数据,并对采集的所述场景影像数据进行预处理;其中,同一场景下的所述场景影像数据包括若干个不同亮度的画面;
S2、基于预处理后的所述场景影像数据,获取海上场景中的色度信息;
S3、基于海上场景中的色度信息,得到所述场景影像数据的亮度图像,并基于所述亮度图像对所述海上场景中的色度信息进行更新;
S4、对预处理后的所述场景影像数据中的每个像素分别进行饱和度、曝光度和对比度计算,生成所述场景影像数据的特征向量;
S5、对预处理后的所述场景影像数据进行标记,基于所述场景影像数据的特征向量及标记值构建为训练样本,将所述训练样本输入支持向量回归SVR模型,得到训练模型;
S6、通过所述训练模型对所述场景影像数据的亮度图像进行重新排序,并对重新排序后的所述亮度图像进行图像融合;
S7、将步骤S3中更新后的色度信息与步骤S6中融合后的亮度图像进行线性组合,得到船舶航行过程中周边环境的360全景影像。
优选地,所述S1中,采集船舶周边环境中动态范围的场景影像数据的过程中还包括夜视模式。
优选地,所述夜视模式采用主动夜视方法,所述主动夜视方法的实现步骤如下:
在船舶航行过程中,利用红外发射器对海上目标物体进行照射,通过所述目标物体对红外线的反射,形成红外反射信号;
利用接收装置接收所述红外反射信号,所述红外反射信号的光线波长为800~1000nm;
通过摄像头中红外变相管的阴极面将接收到的所述红外反射信号由光学信号转化为电信号,形成所述目标物体的可见影像,即场景影像数据。
优选地,所述摄像头采用CCD传感器。
优选地,所述S2中,获取海上场景中的色度信息的具体方法包括:
根据曝光度对所述场景影像数据进行排序;
根据排序结果选取中间曝光度的两幅影像,并采用加权平均融合算法对选取的两幅影像进行融合,得到海上场景中的色度信息;其中,采用加权平均融合算法对选取的两幅影像进行融合如下式所示:
F(m,n)=w1A(m,n)+w2B(m,n)m=1,2,...,M n=1,2,...,N
式中,(m,n)为影像中某点的像素,A(m,n)、B(m,n)为选取的两幅影像,F(m,n)为两幅影像的融合结果,w1为影像A(m,n)的权重系数,w2为影像B(m,n)的权重系数;M为影像中像素的行数,N为影像中像素的列数。
优选地,所述S3具体包括:
基于海上场景中的色度信息Rs,Gs和Bs获取亮度图像,亮度图像Is的获取如下式所示:
Is=0.299×Rs+0.587×Gs+0.114×Bs;
基于所述亮度图像Is对海上场景中的色度信息Rs,Gs和Bs进行更新,如下式所示:
R′s=(Rs/Is)λ
G′s=(Gs/Is)λ
B′s=(Bs/Is)λ
式中,R′s、G′s、B′s为更新后的色度信息,λ为饱和度调节参数。
优选地,所述S4中,所述场景影像数据的曝光度的计算包括:对所述场景影像数据的红色分量、绿色分量、蓝色分量分别进行高斯处理,对所述红色分量、绿色分量、蓝色分量的高斯处理结果进行乘积,得到所述场景影像数据的曝光度;
所述场景影像数据的对比度的计算包括:通过Laplaction滤波器对所述场景影像数据的亮度进行滤波,得到所述场景影像数据的对比度。
优选地,所述S5中,对预处理后的所述场景影像数据进行标记的方法包括:
利用预处理后的所述场景影像数据中每个正态分布区域的索引值计算器输出标记的上边界值bound,如下式所示:
式中,i表示索引值,Q为场景影像数据的个数,bound(0)=0,bound(Q+1)=0;
预处理后的所述场景影像数据的标记值label的计算如下式所示:
式中,Comi(m,n)为区域i中像素的综合特征值,Comi(m,n)=S(m,n)×E(m,n)×C(m,n);maxComi、minComi分别为区域i中像素的综合特征最大值、最小值。
优选地,所述S6具体包括:
将所述场景影像数据的亮度图像输入所述训练模型,基于所述训练模型的支持向量回归输出对所述场景影像数据的亮度图像进行重新排序,得到其中,具有最小的支持向量回归输出,具有最大的支持向量回归输出,Q为场景影像数据的个数;
根据权重平均公式对重新排序后的所述亮度图像进行图像融合,融合后的亮度图像If如下式所示:
式中,w(i)为第i张亮度图像的权重。
优选地,所述S7中,通过线性组合得到的船舶航行过程中周边环境的360全景影像如下式所示:
Rout=R′s×If
Gout=C′s×If
Bout=B′s×If
式中,Rout、Gout、Bout分别为所述360全景影像的红色分量、绿色分量、蓝色分量,If为融合后的亮度图像。
本发明公开了以下技术效果:
(1)本发明提供了一种船用360全景影像系统的宽动态影像处理方法,通过多曝光融合方法使用不同的曝光时间对同一场景进行多次采样,获得场景中亮度不同的区域细节,再采用基于支持向量回归的多曝光融合算法,对同一场景不同曝光程度的图像进行有效的融合获得高动态范围的图像,同时抑制随机噪声,融合后的图像保持了全局和局部的对比度,保留了亮区与暗区内尽可能多的细节信息,从而让摄像设备即使在高动态范围区域也能获取清晰的影像画面。
(2)本发明在场景影像数据采集过程中,提供了一种主动夜视方法,在夜视模式下,通过近红外激光发射指定波长的红外线,帮助目标提高自身红外辐射反射率,使得摄像机的光学透镜能够方便地采集到反射的光学信息,再通过接收器对光电信号的转换,能够反馈清晰的影像,从而在全天候均能提供清晰的影像;
(3)通过本发明所提供的全天候高动态范围区域的清晰影像,能够优化辅助靠离泊、辅助驾驶、实时海面监控等系统功能,为智能船舶航行提供了安全的保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中船用360全景影像系统的宽动态影像处理方法流程图;
图2为本发明实施例中主动红外夜视系统组成框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1所示,本实施例提供一种船用360全景影像系统的宽动态影像处理方法,包括:
S1、在船舶航行过程中,采集船舶周边环境中动态范围的场景影像数据,并对采集的场景影像数据进行预处理;其中,同一场景下的场景影像数据包括若干个不同亮度的画面;
该步骤中,通过启动船舶上安装的摄像头,在航行过程中,对船舶周边环境进行实时监控,并对现实高动态范围场景影像数据进行采集。采集过程中,使用不同的曝光时间对同一场景进行多次采样,获取同一场景下不同亮度的画面;
对场景影像数据的预处理包括:将场景影像数据调整为相同尺寸。
由于船舶航行不仅在白天和晚上均需要在海上航行,而晚上无法实现场景影像数据拍摄的清晰度,因此,本申请还提供夜视模式用于船舶在晚上航行的过程中,进行场景影像数据的采集。
本实施例中,夜视模式采用主动夜视方法,此方法需要利用近红外激光灯,主动对航行中周围海面环境中目标物体进行照射,增强实际目标红外辐射反射的强度。再通过船上摄像头光学镜头对物体反射的红外信号进行采集。
本申请主动夜视方法的重点之一即为摄像头的选择,而图像传感器为摄像头的主要部分。在考虑主动夜视系统的构成时,CCD和CMOS传感器是当前普遍采用的用作摄像机感应接收器件的两种图像传感器。本申请分析了航行时需要灵敏度较高等特性的摄像头的实际情况,选择使用CCD传感器作为船用360系统的摄像机感应接收器。与CMOS传感器相比,CCD传感器具有灵敏度高、畸变小、寿命长、抗震动、抗磁场、体积小、无残影等优点。其可以将光线变为电荷并将电荷储存集转移。因此,CCD传感器为本专利理想的摄像元件。
本申请主动夜视方法的另一重点是对光源的选择。在主动夜视系统中,光源的选择决定了系统的工作距离。一般主动夜视系统使用普通近红外照射灯作为光源。但其局限性是,在海面上只能照射最远150m的距离,而且容易受到大雾等恶劣天气的影响,这限制了主动夜视系统在航行时的工作距离。通过结合CCD光谱响应特性和视网膜有效吸收率,确定波长为760~960nm的近红外激光比较适合作为主动夜视系统的光源,并需要将激光功率密度控制在安全阈值内来保证激光对人眼不造成伤害。设计激光调制电路,实现10khz的调制频率,使激光具有抗干扰性。
本实施例中主动红外夜视系统的组成框图如图2所示,夜视模式的实现步骤包括:
首先,在船舶航行过程中,利用红外发射器对海上目标物体进行照射,通过目标物体对红外线的反射,形成红外反射信号;
其次,利用接收装置光学透镜,接收红外反射信号,红外反射信号的光线波长为800~1000nm;
再次,通过摄像头中红外变相管的阴极面将接收到的红外反射信号由光学信号转化为电信号,从而形成目标物体的可见影像,即场景影像数据。
S2、基于预处理后的场景影像数据,获取海上场景中的色度信息;
该步骤的具体实现方法如下:
首先,根据曝光度对场景影像数据进行排序;
其次,根据排序结果选取中间曝光度的两幅影像,并采用加权平均融合算法对选取的两幅影像进行融合,得到海上场景中的色度信息,标为Rs,Gs和Bs。
加权平均融合算法的原理是,通过对源图像赋予不同权重系数,进行求和运算,从而获得融合结果F(m,n),如下式所示:
F(m,n)=w1A(m,n)+w2B(m,n)m=1,2,...,M n=1,2,...,N
式中,(m,n)为影像中某点的像素,A(m,n)、B(m,n)为选取的两幅影像,w1为影像A(m,n)的权重系数,w2为影像B(m,n)的权重系数;M为影像中像素的行数,N为影像中像素的列数。
加权平均融合算法的重点为权重系数w1、w2的取值,一般依靠经验设定,也能够通过图像灰度值计算得到,如下式所示:
因此,通过加权平均融合算法,得到新的像素点F(m,n),该新的像素点F(m,n)即由融合后的色度信息Rs,Gs和Bs组成。
S3、基于海上场景中的色度信息Rs,Gs和Bs,得到场景影像数据的亮度图像,并基于亮度图像对海上场景中的色度信息进行更新;
该步骤具体包括:
首先,基于海上场景中的色度信息Rs,Gs和Bs获取亮度图像,亮度图像Is的获取如下式所示:
Is=0.299×Rs+0.587×Gs+0.114×Bs
其次,基于亮度图像Is对海上场景中的色度信息Rs,Gs和Bs进行更新,如下式所示:
R′s=(Rs/Is)λ
G′s=(Gs/Is)λ
B′s=(Bs/Is)λ
式中,R′s、G′s、B′s为更新后的色度信息;λ为饱和度调节参数,用来调节场景影像数据的饱和度;
S4、对预处理后的场景影像数据中的每个像素分别进行饱和度、曝光度和对比度计算,生成场景影像数据的特征向量;
该步骤中,场景影像数据的饱和度S的计算如下式所示:
式中,R(m,n)、G(m,n)、B(m,n)分别为像素点(m,n)的红色分量、绿色分量、蓝色分量,Z(m,n)为像素点(m,n)的红色分量、绿色分量、蓝色分量的均值。
场景影像数据的曝光度E的计算包括:
首先,对场景影像数据的红色分量、绿色分量、蓝色分量分别进行高斯处理,如下式所示:
式中,Rexposure(m,n)、Gexposure(m,n)、Bexposure(m,n)分别为像素点(m,n)的红色分量、绿色分量、蓝色分量的高斯处理结果;σ为标准方差,本实施例中,采用默认值σ=0.2。
其次,基于红色分量、绿色分量、蓝色分量的高斯处理结果的乘积,得到场景影像数据的曝光度E,如下式所示:
E(m,n)=Rexposure(m,n)×Gexposure(m,n)×Bexposure(m,n)。
场景影像数据的对比度C的计算包括:
通过Laplaction滤波器对场景影像数据的亮度进行滤波,得到场景影像数据的对比度C;
其中,Laplaction滤波器的模板h如下式所示:
对比度C的计算如下式所示:
本实施例中,场景影像数据的大小为50×20,针对每一个像素点(m,n)计算S(m,n)、E(m,n)和C(m,n),组成特征向量[S(m,n),E(m,n),C(m,n)]。
S5、对预处理后的场景影像数据进行标记,基于场景影像数据的特征向量及标记值构建为训练样本,将训练样本输入支持向量回归(SVR)模型,得到训练模型。
由于预处理后的场景影像数据符合高斯分布,所以利用每个正态分布区域的索引值计算器输出标记的上边界值bound,如下式所示:
式中,i表示索引值,Q为场景影像数据的个数,设bound(0)=0,bound(Q+1)=0。
预处理后的场景影像数据的标记值label的计算如下式所示:
式中,Comi(m,n)为区域i中像素的综合特征值,Cmoi(m,n)=S(m,n)×E(m,n)×C(m,n);maxComi、minComi分别为区域i中像素的综合特征最大值、最小值。
S6、通过训练模型对场景影像数据的亮度图像进行重新排序,并对重新排序后的亮度图像进行图像融合;
根据权重平均公式对重新排序后的亮度图像进行图像融合,融合后的亮度图像If如下式所示:
式中,w(i)为第i张亮度图像的权重。
S7、将步骤S3中更新后的色度信息R′s、G′s、B′s与步骤S6中融合后的亮度图像进行线性组合,得到船舶航行过程中周边环境的360全景影像。
该步骤中,线性组合后输出的图像如下式所示:
Rout=R′s×If
Gout=G′s×If
Bout=B′s×If
式中,Rout、Gout、Bout分别为输出的图像的红色分量、绿色分量、蓝色分量。
本发明具有如下有益效果:
其一,在解决航行时存在高动态范围场景问题中,由于传统摄像设备与实际场景间动态范围有着巨大差距,摄像机采集到的影像会在亮区及暗区丢失很多细节,从而降低了船用360全景影像系统中辅助靠离泊、辅助驾驶功能的安全性。本发明方法可通过调整画面明暗的动态范围,处理摄像设备采集到的实时影像,让摄像设备即使在高动态范围区域也能获取清晰的影像画面。其二,在解决航行时光线过暗问题中,由于光照不足画面过暗,摄像机无法获取清晰的影像,无法利用夜间影像对目标动态进行实时的跟踪与反馈。本发明使用主动夜视技术,通过近红外激光发射指定波长的红外线,帮助目标提高自身红外辐射反射率。这样摄像机的光学透镜可以方便的采集到反射的光学信息,再通过接收器对光电信号的转换,从而反馈清晰的影像。此两项技术应用于船用360全景影像系统,可以优化辅助靠离泊、辅助驾驶、实时海面监控等系统功能,为智能船舶航行提供了安全的保障。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种船用360全景影像系统的宽动态影像处理方法,其特征在于,包括:
S1、在船舶航行过程中,采集船舶周边环境中动态范围的场景影像数据,并对采集的所述场景影像数据进行预处理;其中,同一场景下的所述场景影像数据包括若干个不同亮度的画面;
S2、基于预处理后的所述场景影像数据,获取海上场景中的色度信息;
S3、基于海上场景中的色度信息,得到所述场景影像数据的亮度图像,并基于所述亮度图像对所述海上场景中的色度信息进行更新;
S4、对预处理后的所述场景影像数据中的每个像素分别进行饱和度、曝光度和对比度计算,生成所述场景影像数据的特征向量;
S5、对预处理后的所述场景影像数据进行标记,基于所述场景影像数据的特征向量及标记值构建为训练样本,将所述训练样本输入支持向量回归SVR模型,得到训练模型;
S6、通过所述训练模型对所述场景影像数据的亮度图像进行重新排序,并对重新排序后的所述亮度图像进行图像融合;
S7、将步骤S3中更新后的色度信息与步骤S6中融合后的亮度图像进行线性组合,得到船舶航行过程中周边环境的360全景影像。
2.根据权利要求1所述的船用360全景影像系统的宽动态影像处理方法,其特征在于,所述S1中,采集船舶周边环境中动态范围的场景影像数据的过程中还包括夜视模式。
3.根据权利要求2所述的船用360全景影像系统的宽动态影像处理方法,其特征在于,所述夜视模式采用主动夜视方法,所述主动夜视方法的实现步骤如下:
在船舶航行过程中,利用红外发射器对海上目标物体进行照射,通过所述目标物体对红外线的反射,形成红外反射信号;
利用接收装置接收所述红外反射信号,所述红外反射信号的光线波长为800~1000nm;
通过摄像头中红外变相管的阴极面将接收到的所述红外反射信号由光学信号转化为电信号,形成所述目标物体的可见影像,即场景影像数据。
4.根据权利要求3所述的船用360全景影像系统的宽动态影像处理方法,其特征在于,所述摄像头采用CCD传感器。
5.根据权利要求1所述的船用360全景影像系统的宽动态影像处理方法,其特征在于,所述S2中,获取海上场景中的色度信息的具体方法包括:
根据曝光度对所述场景影像数据进行排序;
根据排序结果选取中间曝光度的两幅影像,并采用加权平均融合算法对选取的两幅影像进行融合,得到海上场景中的色度信息;其中,采用加权平均融合算法对选取的两幅影像进行融合如下式所示:
F(m,n)=w1A(m,n)+w2B(m,n)m=1,2,...,M n=1,2,...,N
式中,(m,n)为影像中某点的像素,A(m,n)、B(m,n)为选取的两幅影像,F(m,n)为两幅影像的融合结果,w1为影像A(m,n)的权重系数,w2为影像B(m,n)的权重系数;M为影像中像素的行数,N为影像中像素的列数。
6.根据权利要求1所述的船用360全景影像系统的宽动态影像处理方法,其特征在于,所述S3具体包括:
基于海上场景中的色度信息RS,GS和BS获取亮度图像,亮度图像Is的获取如下式所示:
Is=0.299×Rs+0.587×Gs+0.114×Bs;
基于所述亮度图像Is对海上场景中的色度信息RS,GS和BS进行更新,如下式所示:
R′s=(Rs/Is)λ
G′s=(Gs/Is)λ
B′s=(Bs/Is)λ
式中,R′s、G′s、B′s为更新后的色度信息,λ为饱和度调节参数。
7.根据权利要求1所述的船用360全景影像系统的宽动态影像处理方法,其特征在于,所述S4中,所述场景影像数据的曝光度的计算包括:对所述场景影像数据的红色分量、绿色分量、蓝色分量分别进行高斯处理,对所述红色分量、绿色分量、蓝色分量的高斯处理结果进行乘积,得到所述场景影像数据的曝光度;
所述场景影像数据的对比度的计算包括:通过Laplaction滤波器对所述场景影像数据的亮度进行滤波,得到所述场景影像数据的对比度。
10.根据权利要求6所述的船用360全景影像系统的宽动态影像处理方法,其特征在于,所述S7中,通过线性组合得到的船舶航行过程中周边环境的360全景影像如下式所示:
Rout=R′s×If
Gout=G′s×If
Bout=B′s×If
式中,Rout、Gout、Bout分别为所述360全景影像的红色分量、绿色分量、蓝色分量,If为融合后的亮度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111392528.4A CN114125228A (zh) | 2021-11-23 | 2021-11-23 | 一种船用360全景影像系统的宽动态影像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111392528.4A CN114125228A (zh) | 2021-11-23 | 2021-11-23 | 一种船用360全景影像系统的宽动态影像处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114125228A true CN114125228A (zh) | 2022-03-01 |
Family
ID=80439976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111392528.4A Pending CN114125228A (zh) | 2021-11-23 | 2021-11-23 | 一种船用360全景影像系统的宽动态影像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114125228A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1975550A (zh) * | 2006-12-11 | 2007-06-06 | 厦门大学 | 主动式红外偏振激光夜视成像仪 |
CN101214851A (zh) * | 2008-01-10 | 2008-07-09 | 黄席樾 | 船舶行驶智能型全天候主动安全预警系统及其预警方法 |
CN103802727A (zh) * | 2012-11-14 | 2014-05-21 | 上海市闵行区知识产权保护协会 | 一种低能见度导视系统 |
CN107172418A (zh) * | 2017-06-08 | 2017-09-15 | 宁波大学 | 一种基于曝光情况分析的色阶映射图像质量评价方法 |
CN107635117A (zh) * | 2017-11-02 | 2018-01-26 | 南京船行天下信息科技有限公司 | 一种内河船舶北斗视频监控多路视频装置 |
US20180115777A1 (en) * | 2016-10-26 | 2018-04-26 | Dolby Laboratories Licensing Corporation | Screen-adaptive decoding of high dynamic range video |
CN110335221A (zh) * | 2019-03-21 | 2019-10-15 | 西安电子科技大学 | 一种基于无监督学习的多曝光图像融合方法 |
-
2021
- 2021-11-23 CN CN202111392528.4A patent/CN114125228A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1975550A (zh) * | 2006-12-11 | 2007-06-06 | 厦门大学 | 主动式红外偏振激光夜视成像仪 |
CN101214851A (zh) * | 2008-01-10 | 2008-07-09 | 黄席樾 | 船舶行驶智能型全天候主动安全预警系统及其预警方法 |
CN103802727A (zh) * | 2012-11-14 | 2014-05-21 | 上海市闵行区知识产权保护协会 | 一种低能见度导视系统 |
US20180115777A1 (en) * | 2016-10-26 | 2018-04-26 | Dolby Laboratories Licensing Corporation | Screen-adaptive decoding of high dynamic range video |
CN107172418A (zh) * | 2017-06-08 | 2017-09-15 | 宁波大学 | 一种基于曝光情况分析的色阶映射图像质量评价方法 |
CN107635117A (zh) * | 2017-11-02 | 2018-01-26 | 南京船行天下信息科技有限公司 | 一种内河船舶北斗视频监控多路视频装置 |
CN110335221A (zh) * | 2019-03-21 | 2019-10-15 | 西安电子科技大学 | 一种基于无监督学习的多曝光图像融合方法 |
Non-Patent Citations (2)
Title |
---|
周宏明;程林义;朱国璋;: "基于激光照明的高速船用夜视系统设计", 光学与光电技术, no. 06 * |
王金华: "高动态范围场景可视化技术研究", 中国博士学位论文全文数据库 (信息科技辑), pages 4 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109636754B (zh) | 基于生成对抗网络的极低照度图像增强方法 | |
Wang et al. | Underwater image restoration via maximum attenuation identification | |
CN110166692B (zh) | 一种提高摄像机自动聚焦准确率和速度的方法及装置 | |
CN107784642B (zh) | 一种红外视频和可见光视频自适应融合方法 | |
CN107580163A (zh) | 一种双镜头黑光摄像机 | |
CN105447838A (zh) | 一种红外与微光/可见光融合成像的方法及系统 | |
CN110349114A (zh) | 应用于aoi设备的图像增强方法、装置及道路视频监控设备 | |
CN108093175B (zh) | 一种实时高清视频自适应去雾方法及装置 | |
US10721448B2 (en) | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization | |
CN113762161B (zh) | 一种障碍物智能监测方法及系统 | |
CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
Ashwini et al. | Transmission Binary Mapping Algorithm with Deep Learning for Underwater Scene Restoration | |
CN107016343A (zh) | 一种基于贝尔格式图像的红绿灯快速识别方法 | |
CN111541886A (zh) | 一种应用于浑浊水下的视觉增强系统 | |
CN113674175B (zh) | 用于检测跨海大桥结构损害的水下机器人图像增强方法 | |
CN112561813B (zh) | 人脸图像增强方法、装置、电子设备及存储介质 | |
CN114125228A (zh) | 一种船用360全景影像系统的宽动态影像处理方法 | |
CN112926367A (zh) | 一种活体检测的设备及方法 | |
CN117173631A (zh) | 一种生物多样性的监控方法和系统 | |
CN116520977A (zh) | 一种基于激光散斑成像实现地表检测的可穿戴设备 | |
Zou et al. | Self-tuning underwater image fusion method based on dark channel prior | |
Raigonda et al. | Haze Removal Of Underwater Images Using Fusion Technique | |
Kaur et al. | Haze removal in remote sensing images for improved data analysis and extraction | |
US9197822B1 (en) | Array augmented parallax image enhancement system and method | |
CN112862876A (zh) | 一种用于水下机器人的实时深海视频图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220301 |