[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110930311A - 一种提高红外图像与可见光图像融合的信噪比方法与装置 - Google Patents

一种提高红外图像与可见光图像融合的信噪比方法与装置 Download PDF

Info

Publication number
CN110930311A
CN110930311A CN201811092206.6A CN201811092206A CN110930311A CN 110930311 A CN110930311 A CN 110930311A CN 201811092206 A CN201811092206 A CN 201811092206A CN 110930311 A CN110930311 A CN 110930311A
Authority
CN
China
Prior art keywords
image
filtering
visible light
information
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811092206.6A
Other languages
English (en)
Other versions
CN110930311B (zh
Inventor
马士杰
杜斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Network Co Ltd
Original Assignee
Hangzhou Ezviz Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Network Co Ltd filed Critical Hangzhou Ezviz Network Co Ltd
Priority to CN201811092206.6A priority Critical patent/CN110930311B/zh
Publication of CN110930311A publication Critical patent/CN110930311A/zh
Application granted granted Critical
Publication of CN110930311B publication Critical patent/CN110930311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种提高红外图像与可见光图像融合的信噪比方法，其特征在于，该方法包括，预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，将所述第一可见光图像进行保留边缘的模糊化处理，根据模糊化处理后的图像提取出区域细节，得到区域细节信息，将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，将融合后的灰度图与第一可见光图像整合，得到整合后的图像。本发明实施例可以获得反映一块区域内图像的整体特征，有利于还原物体表面的块状特征，提高了融合的灰度信息YF与可见光的色彩信息UV信息组合后的画面信噪比，进一步地，提高了色彩自然程度。

Description

一种提高红外图像与可见光图像融合的信噪比方法与装置
技术领域
本发明涉及图像处理技术，具体地，涉及提高红外图像与可见光图像的融合信噪比的方法。
背景技术
为了获得更好的图像采集画面效果，特别是还原监控图像画面中的实际场景，同一视角下的红外图像与可见光图像进行融合技术已有了广泛的应用。
现有的融合方法是，先提取可见光图像的边缘信息，将提取的边缘信息与红外图像融合，之后对融合后的分量赋伪色彩。这种融合方法由于提取的仅是可见光图像的边缘信息，并不能反应出一块区域内的彩色图像的整体特征，融合后的彩色图像信噪比较差，从而导致失真度较大。
发明内容
本发明实施例提供了一种提高红外图像与可见光图像融合的信噪比方法，以降低图像的失真度。
本发明实施例通过如下技术手段实现，一种提高红外图像与可见光图像融合的信噪比方法，该方法包括，
预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
将所述第一可见光图像进行保留边缘的模糊化处理，
根据模糊化处理后的图像提取出区域细节，得到区域细节信息，
将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，
将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
本发明实施例提供了一种提高红外图像与可见光图像融合的信噪比装置，包括处理器，预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
将所述第一可见光图像进行保留边缘的模糊化处理，
根据模糊化处理后的图像提取出区域细节，得到区域细节信息，
将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，
将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
本发明实施例将可见光图像转换为YUV格式后进行保留边缘的模糊化处理，并提取出区域细节层，保留了图像中的边缘信息，由此可以获得反映一块区域内图像的整体特征，有利于还原物体表面的块状特征，提高了融合的灰度信息YF与可见光的色彩信息UV信息组合后的画面信噪比，并使得融合后的画面的色彩自然程度得到提高，计算量小，实时处理性强。
附图说明
图1为本发明实施例提高红外图像与可见光图像的融合信噪比的一种流程示意图；
图2为本发明实施例提高红外图像与可见光图像的融合信噪比的一种流程示意图。
图3系列图为结合图2实施例的步骤所得到的各步骤的图像处理的效果示意图；其中，
图3a为采集到的彩色图像C；
图3b为采集到的红外图像M，
图3c为第一彩色图像C的灰度信息Y所呈现的图像，
图3d为灰度信息Y经过保边滤波降噪后的结果Y1所呈现的图像，
图3e为Y1经过模糊滤波得到的Y2所呈现的图像，
图3f为Y1除以Y2得到的区域细节D所呈现的图像，
图3g为D与第一红外图像YM相乘得到的融合灰度信息Y3所呈现的图像，
图3h为Y3与彩色图像UV组合后的最终输出图像CF。
图4为本发明实施例的提高红外图像与可见光图像的融合信噪比的一种装置示意图。
图5为本发明实施例导向滤波器的一种示意图。
图6为本发明实施例的硬件实现的一种示意图。
具体实施方式
为了使本发明的目的、技术手段和优点更加清楚明白，以下结合附图对本发明做进一步详细说明。
照度即光照强度，是描述单位面积上所接受可见光能量的物理量，单位为勒克斯(Lx)。低照度一般是指光照强度小于1Lx。低照度下的可见光图像信息信噪比较低，噪点偏多但是含有颜色信息；低照度下的红外图像噪点小，物体边缘清晰，但是不含颜色信息，而且红外图像成像与物体本身材质有关，会掩盖物体本身的细节。本发明基于低照度环境下的红外图像和可见光图像的图像特点，对于现有的红外图像和可见光图像的融合，提出了一种提高红外图像与可见光图像的融合信噪比的方法，进一步而言，可提高融合图像的色彩自然度。
参见图1所示，图1为本发明实施例提高红外图像与可见光图像的融合自然度的一种流程示意图。具体包括，
获取同一视角下的可见光图像和红外图像，
预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
将所述第一可见光图像进行模糊化处理，
根据模糊化处理前的图像和模糊化处理后的图像提取出区域细节，得到区域细节信息，
将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，
将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
本实施例通过上述处理，尽可能地保留了图像中的边缘信息，并提取出区域细节层信息，在兼顾实时性和计算量的同时，提高了红外图像与可见光图像融合后的色彩自然度，提高了图像的信噪比。
以下以一具体实施例来进一步说明。参见图2所示，图2为本发明实施例提高红外图像与可见光图像的融合信噪比的一种流程示意图。
步骤201，获取低照度下获取同一视角的红外图像和可见光图像：
具体可以是，采用不带滤光片的图像传感器来采集带红外补光的红外图像，其中，用红外补光照射目标将有利于使得图像传感器采集到目标的反射光，获得包含有红外光线的红外图像，为便于后续的描述，称为红外图像M；采用带滤光片的图像传感器来采集可见光图像，以获得滤除红外光线后的可见光图像，其中，滤除红外光线的原因在于在低照度下彩色图像的红外光线对于人体肉眼而言不可见，故需要去除泛红，得到肉眼可见光，为便于后续的描述，该可见光图像称为可见光图像C。
步骤202、203，将获取的图像进行转化：
将红外图像M转化为Y格式，即获取红外图像的灰度信息，得到第一红外图像YM；将彩色图像C转化为YUV格式，得到第一彩色图像C1，其中Y表示灰度信息，UV表示色彩信息；
在上述转化的步骤中，可以是并行处理的任务，无先后顺序的要求。
步骤204，对转化后的第一彩色图像进行保边滤波，以获得图像中的边缘信息：
对第一彩色图像C1的灰度信息Y进行保边滤波降噪，得到滤波后的灰度图像Y1；
保边滤波包括但不限于导向滤波，双边滤波等，以下以导向滤波为例来说明保边滤波的降噪过程。导向滤波的本身过程可由下式表示：
Gf＝fguidedfilter(A，G，rg，eps)
其中，A表示待滤波的图像，G表示引导图像，rg表示滤波窗口半径，为n×n的像素方块范围，例如，5×5方块，eps为导向滤波计算过程中求解回归问题时的正则化系数，该系数是为了防止求解结果过大导致结果无意义的惩罚项系数。
在本发明实施例中，上述导向滤波过程的导向图和待滤波图像选定为同一张图像，即第一彩色图像的灰度信息Y，则上述公式转化为
Y1＝fguidedfilter(Y，Y，rg，eps)
具体的计算方法如下：
计算第一彩色图像的灰度信息Y的第一滤波半径为rg的均值滤波，得到第一滤波结果Ymean；
Ymean＝fmean(Y，rg)
计算第一彩色图像的灰度信息Y的平方Y2的第一滤波半径为rg的均值滤波，得到第二滤波结果
Figure BDA0001804646010000041
Figure BDA0001804646010000042
之后计算第一彩色图像的灰度信息的局部方差图VarY，局部方差图反映了滤波半径范围内的图像变化程度；
Figure BDA0001804646010000043
得到局部方差图后计算两个线性变化系数a和b，这两个线性变化系数分别是之后计算滤波输出时的乘法系数和加法系数；
Figure BDA0001804646010000044
b＝(1-a)*Ymean
再对这两个线性变化系数进行第一滤波半径为rg的均值滤波，得到amean和bmean
amean＝fmean(a，rg)
bmean＝fmean(b，rg)
使用amean、bmean以及第一彩色图像的灰度信息Y计算得到导向滤波的输出结果Y1，得到的Y1即为保边滤波后的彩色图像的灰度分量。
Y1＝amean*Y+bmean
上述第一滤波半径可以兼顾滤波效果和计算量通过实验确定，滤波半径越大，保边滤波时参考到的范围越大，滤波效果就越模糊，对噪点的抑制越好，但是计算量会相应增大；同时，滤波半径与待处理图像的长宽大小也有关系，通常不大于图幅的一半。
步骤205，对滤波后的灰度图像Y1进行模糊化处理，得到模糊化处理后的图像Y2，
例如，进行模糊滤波，得到模糊滤波后的结果Y2，所述模糊滤波包括但不限于，导向滤波、双边滤波、高斯滤波、均值滤波、中值滤波等；例如，
对滤波后的灰度图像Y1进行第二滤波半径为rlarge的滤波得到滤波结果Y2，此处以均值滤波来表示，即
Y2＝fmean(Y1，rlarge)
所述第二滤波半径可以兼顾滤波效果和计算量通过实验确定，通常选择相对大的数值，数值越大，对于区域细节的提取越好，同时也会增加一些计算量；同时，滤波半径与待处理图像的长宽大小也有关系，通常不大于图幅的一半。
步骤206，提取出区域细节信息D1：
用Y1除以模糊后的结果Y2，提取出图像的区域细节D1，即
D1＝Y1/Y2
从该步骤可以看出，第二滤波半径的取值越大，则得到的Y2越模糊，则在一定程度上将有利于区域细节的提取效果。
步骤207，将提取的图像区域细节与第一红外图像YM进行融合，
例如，用D1与第一红外图像的灰度信息YM相乘得到融合后的灰度信息Y3，即
Y3＝YM*D1
步骤208，将得到的融合后的灰度信息Y3与第一彩色图像C1的UV组合，得到合成过的一组新的YUV图像信息，即最后的彩色输出图像CF。
例如，将第一彩色图像C1中的灰度信息Y用融合后的灰度信息Y3来进行替换，得到替换后的图像即为最后彩色输出图像。
对应于上述步骤206～207，另一实施方式是，
步骤206’，提取出区域细节信息D1的方法可以是，用Y1与模糊后的结果Y2相减，即：
D1＝Y1-Y2；
步骤207’，将提取的图像区域细节与第一红外图像YM进行融合，可以是，用D1与第一红外图像的灰度信息YM相加得到融合后的灰度信息Y3，即
Y3＝YM+D1
上述两种实施方式所得到的灰度信息Y3，从色彩还原的自然度上来看，除法计算优于加法计算，从合成后的信噪比来看二者没有相差很多。
参见图3所示，图3为结合图2实施例的步骤所得到的各步骤的图像处理的效果示意图，其中，图3a为采集到的彩色图像C(此处仅以灰度的方式显现)；图3b为采集到的红外图像M，图3c为第一彩色图像C的灰度信息Y所呈现的图像，图3d为灰度信息Y经过保边滤波降噪后的结果Y1所呈现的图像，图3e为Y1经过模糊滤波得到的Y2所呈现的图像，图3f为Y1除以Y2得到的区域细节D所呈现的图像，图3g为D与第一红外图像YM相乘得到的融合灰度信息Y3所呈现的图像，图3h为Y3与彩色图像UV组合后的最终输出图像CF(此处仅以灰度的方式显现)。
本发明实施例通过将红外图像与彩色图像的信息结合，提高了图像的信噪比；通过模糊化处理来保留边缘信息，并提取出图像的区域细节信息，由此可以获得反映一块区域内图像的整体特征，有利于还原物体表面的块状特征，同时有利于提高融合的灰度信息YF与可见光的色彩信息UV信息组合后的画面色彩自然程度，解决了带红外补光的黑白图像不能够采集颜色信息以及某些材质的物体表面细节信息、以及低照度彩色图像信噪比较低的问题。本发明相比于多分解尺度上对图像进行融合的塔式分解图像融合，实时性更好，而相对小波分解等计算来说本发明计算量大大降低。
参见图4所示，图4为本发明实施例的提高红外图像与可见光图像的融合信噪比的一种装置示意图。所述装置包括，
图像获取模块，获取同一视角下的可见光图像和红外图像；其中，所述红外图像为带红外补光的红外图像，所述可见光图像为滤除红外光线后的可见光图像，
图像预处理模块，预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
模糊化处理模块，将所述第一可见光图像进行保留边缘的模糊化处理，
区域细节提取模块，根据模糊化处理后的图像提取出区域细节，得到区域细节信息，
融合模块，将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，
整合模块，将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
其中，
所述图像预处理模块包括，
可见光图像转化器，将可见光图像转化为灰度色彩YUV格式，得到所述第一可见光图像；
红外图像转化器，将红外图像转化为灰度Y格式，得到所述第一红外图像。
所述模糊化处理模块包括，
保边滤波器，将所述第一可见光图像进行保边滤波，得到滤波后的灰度图像；
模糊滤波器，将滤波后的灰度图像进行模糊滤波，得到模糊滤波后的图像；
所述保边滤波器为导向滤波器，其中，所述导向滤波将导向图和待滤波图像均选定为同一张第一可见光图像；所述模糊滤波器的滤波半径为第二滤波半径。
图5为本发明实施例导向滤波器的一种示意图。所述导向滤波器包括，
第一滤波单元，计算第一可见光图像的灰度信息Y的第一滤波半径的均值滤波，得到第一滤波结果，
第二滤波单元，计算第一可见光图像的灰度信息Y的平方的第一滤波半径的均值滤波，得到第二滤波结果，
方差计算单元，基于第一滤波结果和第二滤波结果，计算第一可见光图像的灰度信息的局部方差，
线性变化系数计算单元，基于局部方差，计算滤波输出时的线性变化系数，
第三滤波单元，对所述线性变化系数进行第一滤波半径的均值滤波，
滤波输出单元，根据线性变化系数均值滤波结果、以及所述第一可见光图像的灰度信息Y，计算得到导向滤波的输出结果。
方差计算单元按照如下式子计算局部方差：
Figure BDA0001804646010000071
其中，第一滤波结果为Ymean，第二滤波结果为
Figure BDA0001804646010000072
VarY为局部方差；
所述线性变化系数计算单元包括，
乘法系数计算子单元，按照如下式子计算滤波输出时的乘法系数a
Figure BDA0001804646010000081
加法系数计算子单元，按照如下式子计算滤波输出时的加法系数b：
b＝{1-a)*Ymean
其中，eps为导向滤波计算过程中求解回归问题时的正则化系数；
所述滤波输出单元按照如下式子计算导向滤波的输出结果Y1：
Y1＝αmean*Y+bmean
其中，amean、bmean为乘法系数a和加法系数b的第一滤波半径均值滤波结果。
所述区域细节提取模块包括，将滤波后的灰度图像信息除以模糊滤波后的图像信息，得到的结果为区域细节信息。所述融合模块包括，用区域细节信息D1与第一红外图像的灰度信息YM相乘得到融合后的灰度信息Y3。
较佳地，所述区域细节提取模块包括，将滤波后的灰度图像信息与模糊滤波后的图像信息相减，得到的结果为区域细节信息。所述融合模块包括，用区域细节信息D1与第一红外图像的灰度信息YM相加得到融合后的灰度信息Y3。
所述整合模块包括，将第一彩色图像中的灰度信息用融合后的灰度信息来进行替换，得到替换后的图像为整合后的图像。
参见图6所示，图6为本发明实施例的硬件实现的一种示意图。一种提高红外图像与可见光图像融合的信噪比装置，该装置包括，
图像预处理模块，预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
处理器，预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，将所述第一可见光图像进行保留边缘的模糊化处理，根据模糊化处理后的图像提取出区域细节，得到区域细节信息，将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
按照本发明实施例提供的一种摄像装置，包括摄像头、存储器和处理器，其中，
所述摄像头，用于拍摄图像；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，实现如下处理：
预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
将所述第一可见光图像进行保留边缘的模糊化处理，
根据模糊化处理后的图像提取出区域细节，得到区域细节信息，
将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，
将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
将所述第一可见光图像进行保留边缘的模糊化处理，
根据模糊化处理后的图像提取出区域细节，得到区域细节信息，
将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，
将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
对于装置/摄像机/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例所提供的摄像机、存储介质，提高了红外图像与可见光图像融合后的色彩信噪比，降低了现有技术中融合图像的失真度，在监控、人防的应用中能够清晰地呈现出监控画面，计算量低、实时性强。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (26)

1.一种提高红外图像与可见光图像融合的信噪比方法，其特征在于，该方法包括，
预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
将所述第一可见光图像进行保留边缘的模糊化处理，
根据模糊化处理后的图像提取出区域细节，得到区域细节信息，
将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，
将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
2.如权利要求1所述的方法，其特征在于，该方法进一步包括，获取同一视角下的可见光图像和红外图像，
所述获取同一视角下的可见光图像和红外图像包括，采集带红外补光的红外图像，采集滤除红外光线后的可见光图像。
3.如权利要求1所述的方法，其特征在于，所述预处理可见光图像得到具有格式YUV的第一可见光图像包括，将可见光图像转化为灰度色彩YUV格式，得到所述第一可见光图像；
所述预处理红外图像得到具有灰度信息的第一红外图像包括，将红外图像转化为灰度Y格式，得到所述第一红外图像。
4.如权利要求1所述的方法，其特征在于，将所述第一可见光图像进行模糊化处理，包括，
将所述第一可见光图像进行保边滤波，得到滤波后的灰度图像；
将滤波后的灰度图像进行模糊滤波，得到模糊滤波后的图像。
5.如权利要求4所述的方法，其特征在于，所述保边滤波为导向滤波，其中，所述导向滤波将导向图和待滤波图像均选定为同一张第一可见光图像；
所述将滤波后的灰度图像进行模糊滤波，得到模糊滤波后的图像包括，对滤波后的灰度图像进行第二滤波半径的模糊滤波，得到的滤波结果为模糊滤波后的图像。
6.如权利要求5所述的方法，其特征在于，所述导向滤波包括，
计算第一可见光图像的灰度信息Y的第一滤波半径的均值滤波，得到第一滤波结果，
计算第一可见光图像的灰度信息Y的平方的第一滤波半径的均值滤波，得到第二滤波结果；
基于第一滤波结果和第二滤波结果，计算第一可见光图像的灰度信息的局部方差，
基于局部方差，计算滤波输出时的线性变化系数，
对所述线性变化系数进行第一滤波半径的均值滤波，
根据线性变化系数均值滤波结果、以及所述第一可见光图像的灰度信息Y，计算得到导向滤波的输出结果。
7.如权利要求6所述的方法，其特征在于，所述基于第一滤波结果和第二滤波结果，计算第一可见光图像的灰度信息的局部方差，包括，按照如下式子计算局部方差：
Figure FDA0001804645000000021
其中，第一滤波结果为Ymean，第二滤波结果为
Figure FDA0001804645000000022
VarY为局部方差；
所述基于局部方差计算滤波输出时的线性变化系数，包括，按照如下式子计算滤波输出时的乘法系数а和加法系数b：
Figure FDA0001804645000000023
b＝(1-a)*Ymean
其中，eps为导向滤波计算过程中求解回归问题时的正则化系数；
所述根据线性变化系数均值滤波结果、以及所述第一可见光图像的灰度信息Y计算得到导向滤波的输出结果包括，按照如下式子计算导向滤波的输出结果Y1：
Y1＝amean*Y+bmean
其中，amean、bmean为乘法系数а和加法系数b的第一滤波半径均值滤波结果。
8.如权利要求4至7任一所述的方法，其特征在于，根据模糊化处理后的图像提取出区域细节，得到区域细节信息，包括，
将滤波后的灰度图像信息除以模糊滤波后的图像信息，得到的结果为区域细节信息。
9.如权利要求8所述的方法，其特征在于，所述将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，包括，
用区域细节信息D1与第一红外图像的灰度信息YM相乘得到融合后的灰度信息Y3，即：
Y3＝YM*D1。
10.如权利要求4至7任一所述的方法，其特征在于，根据模糊化处理后的图像提取出区域细节，得到区域细节信息，包括，
将滤波后的灰度图像信息与模糊滤波后的图像信息相减，得到的结果为区域细节信息。
11.如权利要求10任一所述的方法，其特征在于，所述将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，包括，
用区域细节信息D1与第一红外图像的灰度信息YM相加得到融合后的灰度信息Y3，即：
Y3＝YM+D1。
12.如权利要求1至7任一所述的方法，其特征在于，所述将融合后的灰度图与第一可见光图像整合，得到整合后的图像包括，
将第一可见光图像中的灰度信息用融合后的灰度信息来进行替换，得到替换后的图像为整合后的图像。
13.一种提高红外图像与可见光图像融合的信噪比装置，其特征在于，该装置包括处理器，
预处理可见光图像得到具有灰度色彩YUV格式的第一可见光图像，预处理红外图像得到具有灰度信息的第一红外图像，
将所述第一可见光图像进行保留边缘的模糊化处理，
根据模糊化处理后的图像提取出区域细节，得到区域细节信息，
将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，
将融合后的灰度图与第一可见光图像整合，得到整合后的图像。
14.如权利要求13所述的装置，其特征在于，该装置还包括，
图像获取模块，获取同一视角下的可见光图像和红外图像，并将获取的图像输入至所述处理器；其中，所述红外图像为带红外补光的红外图像，所述可见光图像为滤除红外光线后的可见光图像。
15.如权利要求13所述的装置，其特征在于，所述预处理可见光图像得到具有格式YUV的第一可见光图像包括，
将可见光图像转化为灰度色彩YUV格式，得到所述第一可见光图像；
红外图像转化器，将红外图像转化为灰度Y格式，得到所述第一红外图像。
16.如权利要求13所述的装置，其特征在于，将所述第一可见光图像进行模糊化处理，包括，
将所述第一可见光图像进行保边滤波，得到滤波后的灰度图像；
将滤波后的灰度图像进行模糊滤波，得到模糊滤波后的图像。
17.如权利要求16所述的装置，其特征在于，所述保边滤波为导向滤波，其中，所述导向滤波将导向图和待滤波图像均选定为同一张第一可见光图像；
所述将滤波后的灰度图像进行模糊滤波，得到模糊滤波后的图像包括，对滤波后的灰度图像进行第二滤波半径的模糊滤波，得到的滤波结果为模糊滤波后的图像。
18.如权利要求17所述的装置，其特征在于，所述导向滤波包括，
计算第一可见光图像的灰度信息Y的第一滤波半径的均值滤波，得到第一滤波结果，
计算第一可见光图像的灰度信息Y的平方的第一滤波半径的均值滤波，得到第二滤波结果，
基于第一滤波结果和第二滤波结果，计算第一可见光图像的灰度信息的局部方差，
基于局部方差，计算滤波输出时的线性变化系数，
对所述线性变化系数进行第一滤波半径的均值滤波，
根据线性变化系数均值滤波结果、以及所述第一可见光图像的灰度信息Y，计算得到导向滤波的输出结果。
19.如权利要求18所述的装置，其特征在于，所述基于第一滤波结果和第二滤波结果，计算第一可见光图像的灰度信息的局部方差，包括，按照如下式子计算局部方差：
Figure FDA0001804645000000041
其中，第一滤波结果为Ymean，第二滤波结果为
Figure FDA0001804645000000042
VarY为局部方差；
所述基于局部方差计算滤波输出时的线性变化系数包括，
按照如下式子计算滤波输出时的乘法系数а
Figure FDA0001804645000000043
按照如下式子计算滤波输出时的加法系数b：
b＝(1-a)*Ymean
其中，eps为导向滤波计算过程中求解回归问题时的正则化系数；
所述根据线性变化系数均值滤波结果、以及所述第一可见光图像的灰度信息Y计算得到导向滤波的输出结果包括，按照如下式子计算导向滤波的输出结果Y1：
Y1＝amean*Y+bmean
其中，amean、bmean为乘法系数а和加法系数b的第一滤波半径均值滤波结果。
20.如权利要求16-19任一所述的装置，其特征在于，所述根据模糊化处理后的图像提取出区域细节，得到区域细节信息包括，将滤波后的灰度图像信息除以模糊滤波后的图像信息，得到的结果为区域细节信息。
21.如权利要求20任一所述的装置，其特征在于，所述将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，包括，用区域细节信息D1与第一红外图像的灰度信息YM相乘得到融合后的灰度信息Y3，即：
Y3＝YM*D1。
22.如权利16-19任一所述的装置，其特征在于，所述根据模糊化处理后的图像提取出区域细节，得到区域细节信息，包括，将滤波后的灰度图像信息与模糊滤波后的图像信息相减，得到的结果为区域细节信息。
23.如权利要求22所述的装置，其特征在于，所述将所述第一红外图像与区域细节信息进行融合，得到融合后的灰度图，包括，用区域细节信息D1与第一红外图像的灰度信息YM相加得到融合后的灰度信息Y3，即：
Y3＝YM+D1。
24.如权利要求16-19任一所述的装置，其特征在于，所述将融合后的灰度图与第一可见光图像整合，得到整合后的图像包括，包括，将第一彩色图像中的灰度信息用融合后的灰度信息来进行替换，得到替换后的图像为整合后的图像。
25.一种摄像机，其特征在于，包括摄像头、存储器和处理器，其中，
所述摄像头，用于拍摄图像；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，实现权利要求1-12任一所述提高红外图像与可见光图像融合的信噪比方法。
26.一种存储介质，其特征在于，存储有实现权利要求1-12任一所述提高红外图像与可见光图像融合的信噪比方法的计算机程序。
CN201811092206.6A 2018-09-19 2018-09-19 一种提高红外图像与可见光图像融合的信噪比方法与装置 Active CN110930311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811092206.6A CN110930311B (zh) 2018-09-19 2018-09-19 一种提高红外图像与可见光图像融合的信噪比方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811092206.6A CN110930311B (zh) 2018-09-19 2018-09-19 一种提高红外图像与可见光图像融合的信噪比方法与装置

Publications (2)

Publication Number Publication Date
CN110930311A true CN110930311A (zh) 2020-03-27
CN110930311B CN110930311B (zh) 2023-04-25

Family

ID=69855051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811092206.6A Active CN110930311B (zh) 2018-09-19 2018-09-19 一种提高红外图像与可见光图像融合的信噪比方法与装置

Country Status (1)

Country Link
CN (1) CN110930311B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539902A (zh) * 2020-04-16 2020-08-14 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN111685711A (zh) * 2020-05-25 2020-09-22 中国科学院苏州生物医学工程技术研究所 基于3d摄像头的医用内窥镜三维成像系统
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法
CN115239610A (zh) * 2022-07-28 2022-10-25 爱芯元智半导体(上海)有限公司 图像融合方法、装置、系统及存储介质

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185732A (ja) * 2003-12-26 2005-07-14 Toshiba Corp 磁気共鳴イメージング装置および磁気共鳴イメージング装置の信号処理方法
US20070183680A1 (en) * 2005-11-15 2007-08-09 Mario Aguilar Multi-scale image fusion
CN101853492A (zh) * 2010-05-05 2010-10-06 浙江理工大学 一种夜视微光图像与红外图像融合方法
CN102254313A (zh) * 2011-07-14 2011-11-23 浙江大学 基于雾天图像复原和图像融合的图像去雾方法
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
CN102999916A (zh) * 2012-12-12 2013-03-27 清华大学深圳研究生院 一种彩色图像的边缘提取方法
US20130229513A1 (en) * 2010-11-16 2013-09-05 Konica Minolta, Inc. Image input device and image processing device
CN103712560A (zh) * 2013-12-27 2014-04-09 镇江冈山电子有限公司 基于多个传感器信息融合的零件检测方法、系统及装置
US20140184916A1 (en) * 2012-12-31 2014-07-03 Martin Steiner Endoscopic Video System with Dynamic Contrast and Detail Enhancement
CN104123703A (zh) * 2014-07-09 2014-10-29 广州中国科学院先进技术研究所 一种保持表皮原色的静脉显像方法
CN104318524A (zh) * 2014-10-15 2015-01-28 烟台艾睿光电科技有限公司 一种基于YCbCr色彩空间的图像增强方法、装置及系统
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105096358A (zh) * 2015-08-05 2015-11-25 云南大学 一种线条增强的烙画艺术效果模拟方法
CN105139370A (zh) * 2015-08-24 2015-12-09 中国航空无线电电子研究所 一种基于可见光与近红外双波段相机的实时图像融合方法
CN105321172A (zh) * 2015-08-31 2016-02-10 哈尔滨工业大学 一种sar、红外、可见光图像融合方法
US20160073043A1 (en) * 2014-06-20 2016-03-10 Rambus Inc. Systems and Methods for Enhanced Infrared Imaging
CN105654448A (zh) * 2016-03-29 2016-06-08 微梦创科网络科技（中国）有限公司 一种基于双边滤波及权值重建的图像融合方法及系统
CN106952245A (zh) * 2017-03-07 2017-07-14 深圳职业技术学院 一种航拍可见光图像的处理方法和系统
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN107045715A (zh) * 2017-02-22 2017-08-15 西南科技大学 一种单幅低动态范围图像生成高动态范围图像的方法
CN107103596A (zh) * 2017-04-27 2017-08-29 湖南源信光电科技股份有限公司 一种基于yuv空间的彩色夜视图像融合方法
CN107248150A (zh) * 2017-07-31 2017-10-13 杭州电子科技大学 一种基于导向滤波显著区域提取的多尺度图像融合方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
CN107689050A (zh) * 2017-08-15 2018-02-13 武汉科技大学 一种基于彩色图像边缘引导的深度图像上采样方法
CN107784642A (zh) * 2016-08-26 2018-03-09 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
CN107909562A (zh) * 2017-12-05 2018-04-13 华中光电技术研究所（中国船舶重工集团公司第七七研究所） 一种基于像素级的快速图像融合算法

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185732A (ja) * 2003-12-26 2005-07-14 Toshiba Corp 磁気共鳴イメージング装置および磁気共鳴イメージング装置の信号処理方法
US20070183680A1 (en) * 2005-11-15 2007-08-09 Mario Aguilar Multi-scale image fusion
CN101853492A (zh) * 2010-05-05 2010-10-06 浙江理工大学 一种夜视微光图像与红外图像融合方法
US20130229513A1 (en) * 2010-11-16 2013-09-05 Konica Minolta, Inc. Image input device and image processing device
CN102254313A (zh) * 2011-07-14 2011-11-23 浙江大学 基于雾天图像复原和图像融合的图像去雾方法
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
CN102999916A (zh) * 2012-12-12 2013-03-27 清华大学深圳研究生院 一种彩色图像的边缘提取方法
US20140184916A1 (en) * 2012-12-31 2014-07-03 Martin Steiner Endoscopic Video System with Dynamic Contrast and Detail Enhancement
CN103712560A (zh) * 2013-12-27 2014-04-09 镇江冈山电子有限公司 基于多个传感器信息融合的零件检测方法、系统及装置
US20160073043A1 (en) * 2014-06-20 2016-03-10 Rambus Inc. Systems and Methods for Enhanced Infrared Imaging
CN104123703A (zh) * 2014-07-09 2014-10-29 广州中国科学院先进技术研究所 一种保持表皮原色的静脉显像方法
CN104318524A (zh) * 2014-10-15 2015-01-28 烟台艾睿光电科技有限公司 一种基于YCbCr色彩空间的图像增强方法、装置及系统
CN105096358A (zh) * 2015-08-05 2015-11-25 云南大学 一种线条增强的烙画艺术效果模拟方法
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105139370A (zh) * 2015-08-24 2015-12-09 中国航空无线电电子研究所 一种基于可见光与近红外双波段相机的实时图像融合方法
CN105321172A (zh) * 2015-08-31 2016-02-10 哈尔滨工业大学 一种sar、红外、可见光图像融合方法
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN105654448A (zh) * 2016-03-29 2016-06-08 微梦创科网络科技（中国）有限公司 一种基于双边滤波及权值重建的图像融合方法及系统
CN107784642A (zh) * 2016-08-26 2018-03-09 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
CN107045715A (zh) * 2017-02-22 2017-08-15 西南科技大学 一种单幅低动态范围图像生成高动态范围图像的方法
CN106952245A (zh) * 2017-03-07 2017-07-14 深圳职业技术学院 一种航拍可见光图像的处理方法和系统
CN107103596A (zh) * 2017-04-27 2017-08-29 湖南源信光电科技股份有限公司 一种基于yuv空间的彩色夜视图像融合方法
CN107248150A (zh) * 2017-07-31 2017-10-13 杭州电子科技大学 一种基于导向滤波显著区域提取的多尺度图像融合方法
CN107689050A (zh) * 2017-08-15 2018-02-13 武汉科技大学 一种基于彩色图像边缘引导的深度图像上采样方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
CN107909562A (zh) * 2017-12-05 2018-04-13 华中光电技术研究所（中国船舶重工集团公司第七七研究所） 一种基于像素级的快速图像融合算法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL: "Guided Image Filtering", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
LIAO JIAWEN ET AL: "Fusion of visible image and infrared image based on Contourlet transform and improved spatial frequence", 《PROCEEDINGS OF 2ND INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY AND ELECTRONIC COMMERCE》 *
PETSCHNIGG, G ET AL: "Digital photography with flash and no-flash image pairs", 《ACM TRANSACTIONS ON GRAPHICS》 *
SHUTAO LI ET AL: "Image Fusion with Guided Filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
刘先红等: "结合引导滤波和卷积稀疏表示的的红外与可见光图像融合", 《光学精密工程》 *
易翔等: "视觉显著性指导的红外与可见光图像融合算法", 《西安电子科技大学学报》 *
朱浩然等: "基于对比度增强与多尺度边缘保持分解的红外与可见光图像融合", 《电子与信息学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539902A (zh) * 2020-04-16 2020-08-14 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN111539902B (zh) * 2020-04-16 2023-03-28 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN111685711A (zh) * 2020-05-25 2020-09-22 中国科学院苏州生物医学工程技术研究所 基于3d摄像头的医用内窥镜三维成像系统
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法
CN115239610A (zh) * 2022-07-28 2022-10-25 爱芯元智半导体(上海)有限公司 图像融合方法、装置、系统及存储介质
CN115239610B (zh) * 2022-07-28 2024-01-26 爱芯元智半导体(上海)有限公司 图像融合方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN110930311B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
Faraji et al. CCD noise removal in digital images
EP2187620B1 (en) Digital image processing and enhancing system and method with function of removing noise
CN104021532B (zh) 一种红外图像的图像细节增强方法
CN110246089B (zh) 基于非局域均值滤波的Bayer域图像降噪系统及其方法
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
US20120288217A1 (en) High dynamic range (hdr) image synthesis with user input
CN110930311B (zh) 一种提高红外图像与可见光图像融合的信噪比方法与装置
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
CN106960428A (zh) 可见光和红外双波段图像融合增强方法
WO2014168587A1 (en) Method and system for processing an input image
WO2011046755A1 (en) Image deblurring using a spatial image prior
CN109767413A (zh) 一种抗运动伪影的hdr方法、装置及便携式终端
CN111242860A (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
CN116416175A (zh) 一种基于自适应边缘保持平滑金字塔的图像融合方法
Zohaib et al. Image enhancement by using histogram equalization technique in Matlab
CN114140481A (zh) 一种基于红外图像的边缘检测方法、装置
Jiang et al. Perceptual-based fusion of ir and visual images for human detection
CN117455785A (zh) 图像处理方法、装置及终端设备
Kour et al. A review on image processing
Anand et al. Hdrvideo-gan: deep generative hdr video reconstruction
Ayub et al. CNN and Gaussian Pyramid-Based Approach For Enhance Multi-Focus Image Fusion
Asmare et al. Multi-sensor image enhancement and fusion for vision clarity using contourlet transform
Xu et al. Multi-exposure image fusion for dynamic scenes with ghosting removal
DE102012007838A1 (de) Hochdynamikbereich-Bildaufnahme mit Mehrfachbelichtung
Chen et al. Image Restoration Algorithm Research on Local Motion-blur

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant