[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110210541B - 图像融合方法及设备、存储装置 - Google Patents

图像融合方法及设备、存储装置 Download PDF

Info

Publication number
CN110210541B
CN110210541B CN201910436319.1A CN201910436319A CN110210541B CN 110210541 B CN110210541 B CN 110210541B CN 201910436319 A CN201910436319 A CN 201910436319A CN 110210541 B CN110210541 B CN 110210541B
Authority
CN
China
Prior art keywords
image
fusion
weight
visible light
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910436319.1A
Other languages
English (en)
Other versions
CN110210541A (zh
Inventor
李乾坤
卢维
殷俊
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910436319.1A priority Critical patent/CN110210541B/zh
Publication of CN110210541A publication Critical patent/CN110210541A/zh
Application granted granted Critical
Publication of CN110210541B publication Critical patent/CN110210541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像融合方法及设备、存储装置。其中，图像融合方法包括：获取对同一目标场景拍摄得到的可见光图像和不可见光图像；对可见光图像和不可见光图像进行第一融合，得到初始融合图像；分别提取初始融合图像的第一边缘信息与可见光图像的第二边缘信息；比较第一边缘信息与第二边缘信息，并基于比较结果分别确定初始融合图像和可见光图像的融合权重；基于融合权重，对初始融合图像和可见光图像进行第二融合，得到最终融合图像。上述方案，能够使最终融合图像保留尽可能多的目标场景信息。

Description

图像融合方法及设备、存储装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像融合方法及设备、存储装置。
背景技术
图像融合(Image Fusion)是用特定的算法将多幅图像综合成一幅新的图像。目前，图像融合技术在遥感探测、安全导航、医学图像分析、反恐检查、环境保护、交通监测、灾情检测与预报等领域都有着重大的应用价值。
图像融合技术主要利用多幅图像在时空上的相关性及信息上的互补性，目标是使得到的最终融合图像对目标场景有更全面、清晰的描述，从而有利于人眼识别或机器的自动探测。有鉴于此，如何使最终融合图像保留尽可能多的信息，从而尽可能全面、清晰地描述目标场景，成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种图像融合方法及设备、存储装置，能够使最终融合图像保留尽可能多的目标场景信息。
为了解决上述问题，本申请第一方面提供了一种图像融合方法，包括：获取对同一目标场景拍摄得到的可见光图像和不可见光图像；对可见光图像和不可见光图像进行第一融合，得到初始融合图像；分别提取初始融合图像的第一边缘信息与可见光图像的第二边缘信息；比较第一边缘信息与第二边缘信息，并基于比较结果分别确定初始融合图像和可见光图像的融合权重；基于融合权重，对初始融合图像和可见光图像进行第二融合，得到最终融合图像。
为解决上述问题，本申请第二方面提供了一种图像融合设备，包括：相互耦接的存储器和处理器；处理器用于执行存储器存储的程序指令，以实现上述第一方面的图像融合方法。
为解决上述问题，本申请第三方面提供了一种图像融合设备，包括获取模块、第一融合模块、边缘提取模块、权重确定模块和第二融合模块，获取模块用于获取对同一目标场景拍摄得到的可见光图像和不可见光图像；第一融合模块用于对可见光图像和不可见光图像进行第一融合，得到初始融合图像；边缘提取模块用于分别提取初始融合图像的第一边缘信息与可见光图像的第二边缘信息；权重确定模块用于比较第一边缘信息与第二边缘信息，并基于比较结果分别确定初始融合图像和可见光图像的融合权重；第二融合模块用于基于融合权重，对初始融合图像和可见光图像进行第二融合，得到最终融合图像。
为解决上述问题，本申请第四方面提供了一种存储装置，其上存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的图像融合方法。
上述方案中，基于对同一目标场景拍摄得到的可见光图像和不可见光图像进行第一融合，得到初始融合图像，将对初始融合图像进行边缘提取得到的第一边缘信息和对可见光图像进行边缘提取得到的第二边缘信息进行比较，确定初始融合图像和可见光图像进行第二融合时的融合权重，最终基于得到的融合权重对初始融合图像和可见光图像进行第二融合，从而得到最终融合图像。通过上述方式，在初始融合图像保留了可见光图像与不可见光图像的互补性信息的基础上，再次基于初始融合图像和可见光图像的边缘信息做加权处理而保留了局部特征信息，从而使得最终融合图像保留尽可能多的目标场景信息。
附图说明
图1是本申请图像融合方法一实施例的流程示意图；
图2是本申请图像融合方法一实施例的处理流程示意图；
图3是图1中步骤S12一实施例的流程示意图；
图4是图3中步骤S121一实施例的流程示意图；
图5是图1中步骤S14一实施例的流程示意图；
图6是图5中步骤S52一实施例的流程示意图；
图7是图1中步骤S15一实施例的流程示意图；
图8是图7中步骤S151一实施例的流程示意图；
图9是本申请图像融合设备一实施例的框架示意图；
图10是本申请存储装置一实施例的框架示意图；
图11是本申请图像融合设备另一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像融合方法一实施例的流程示意图。具体而言，可以包括：
步骤S11：获取对同一目标场景拍摄得到的可见光图像和不可见光图像。
可见光图像是指摄像器件在可见光波段范围内感测目标场景对光线的反射从而显像形成的图像。可见光图像可以充分反映目标场景的色彩情况。但是，在实际工程中，可见光图像易受诸如光线等自然环境影响而丢失一些细节信息。
不可见光图像可以是摄像器件在不可见光光源对目标场景的照射下而感测获得的。不可见光是指在可见光外不可被人眼感知的电磁波，例如无线电波、红外线、紫外线、伦琴射线、伽马射线等等。在一个实施场景中，不可见光图像可以是红外图像，具体而言，可以是摄像器件在近红外线(Near Infrared，NIR)照射下感测得到的图像。
摄像器件可以依靠其自身的镜头及传感器(sensor)获得目标场景的可见光图像和不可见光图像，例如黑光相机。在一个实施场景中，摄像器件可以集成有单镜头双传感器(sensor)，或双镜头双传感器(sensor)，两个传感器(sensor)分别用于采集可见光图像和不可见光图像。在一个实施场景中，还可以通过与具备上述“双传感器”的摄像器件连接的方式，获取摄像器件拍摄得到的可见光图像和不可见光图像，例如，可以基于实时流传输协议(RSTP,Real Time Streaming Protocol)获取摄像器件实时拍摄得到的可见光图像和不可见光图像。在其他实施场景中，还可以通过离线的方式，如可移动存储介质等等，获取摄像器件拍摄得到的可见光图像和不可见光图像，本实施例在此不做具体限制。
此外，还可以控制可拍摄可见光图像的摄像器件和可拍摄不可见光图像的摄像器件分别对同一目标场景进行拍摄从而获取可见光图像和不可见光图像。
步骤S12：对可见光图像和不可见光图像进行第一融合，得到初始融合图像。
可见光图像可以比较充分地反映目标场景的色彩情况，但是易受诸如光线等的自然条件影响而丢失一些细节信息，而不可见光图像的成像不易受自然光线的影响，从而通过对可见光图像和不可见光图像进行第一融合得到的初始图像可以保留可见光图像和不可见光图像双方的互补性信息。
步骤S13：分别提取初始融合图像的第一边缘信息与可见光图像的第二边缘信息。
对初始融合图像以及可见光图像边缘信息的提取有赖于边缘检测算法。边缘检测是图像处理和计算机视觉领域中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。
目前，边缘检测的方法主要分为三大类：第一类是基于某种固定的局部运算方法，如：微分法、拟合法等；第二类是以能力最小化为准则的全局提取方法，其特征是运用严格的数学方法对此问题进行分析，给出一维值代价函数作为最优提取依据，从全局最优的观点提取边缘，如松弛法、神经网络分析法；第三类是以小波变换、数学形态学、分形理论等近年来发展起来的高新技术为代表的图像边缘提取方法。
在实际工程中，边缘检测可利用Roberts算子、Sobel算子、Prewitt算子和Krisch算子等微分算子具体实施，当然还可以利用Canny算子进行实施。关于边缘检测算法为本领域的现有技术，本实施例在此不再一一赘述。
步骤S14：比较第一边缘信息与第二边缘信息，并基于比较结果分别确定初始融合图像和可见光图像的融合权重。
基于获取到的初始融合图像的第一边缘信息和可见光图像的第二边缘信息进行比较，从而确定初始融合图像和可见光图像的融合权重，进而，该融合权重与初始融合图像和可见光图像的边缘信息具有直接相关性，使得后续基于融合权重对初始融合图像和可见光图像进行第二融合时，可以保留两者的局部特征信息。
步骤S15：基于融合权重，对初始融合图像和可见光图像进行第二融合，得到最终融合图像。
上述方式，基于对同一目标场景拍摄得到的可见光图像和不可见光图像进行第一融合，得到初始融合图像，将对初始融合图像进行边缘提取得到的第一边缘信息和对可见光图像进行边缘提取得到的第二边缘信息进行比较，确定初始融合图像和可见光图像进行第二融合时的融合权重，最终基于得到的融合权重对初始融合图像和可见光图像进行第二融合，从而得到最终融合图像。通过上述方式，在初始融合图像保留了可见光图像与不可见光图像的互补性信息的基础上，再次基于初始融合图像和可见光图像的边缘信息做加权处理而保留了局部特征信息，从而使得最终融合图像保留尽可能多的目标场景信息，以尽可能全面、清晰地描述目标场景。
下面将结合2所示的本申请图像融合方法一实施例的处理流程示意图，以及其他流程示意图，具体说明本申请图像融合方法的实施步骤。
第一方面：
第一方面将具体说明本申请上述实施例步骤S12中对可见光图像和不可见光图像进行第一融合，得到初始融合图像的具体实施步骤。
请结合参阅图3，图3是图1中步骤S12的流程示意图。具体而言，可以包括：
步骤S121：提取可见光图像的色彩信息和亮度信息以及不可见光图像的亮度信息。
在一个实施场景中，在步骤S121之前，还可以包括将提取到的可见光图像与不可见光图像进行配准。具体地说，图像配准就是对于两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来。图像配准的方法大致可以分为三类：第一类是基于灰度和模板的，这类方法直接采用相关运算方式计算相关值来寻求最佳匹配位置，模板匹配(Blocking Matching)是根据已知模板图像到另一图像中寻找与模板图像相似的子图像，基于灰度的匹配算法也称作相关匹配算法，用空间二维滑动模板进行匹配，第一类方法中常用的有：平均绝对差算法、绝对误差和算法、误差平方和算法、平均误差平方和算法等等；第二类是基于特征的匹配方法，例如光流法、Harr-like方法等等；第三类是基于域变换的方法，例如沃尔什变换、小波变换等等。关于图像配准的方法为本领域中的现有技术，本实施例在此不再一一赘述。
具体而言，请参阅图4，本实施例中，步骤S121可以通过如下步骤进行实施：
步骤S41：将可见光图像和不可见光图像分别转换到预设色彩空间。
预设色彩空间可以采用HSI(Hue-Saturation-Intensity，色调-饱和度-亮度)颜色模型，或者也可以采用YUV颜色模型。其中，当预设色彩空间采用HSI颜色模型时，H表示的色调和D表示的饱和度表示为图像的色彩信息，而I表示的强度或亮度表示为图像的亮度信息；当预设色彩空间采用YUV颜色模型时，Y表示的明亮度表示为图像的亮度信息，U表示的色度和V表示的浓度表示为图像的色彩信息。
如图2所示，图像P1表示可见光图像，图像P2表示不可见光图像，对应的分辨率为800*600ppi。将可见光图像P1和不可见光图像P2均转换至YUV颜色模型，需要说明的是，在此之前，可见光图像P1和不可见光图像P2均已完成配准。
步骤S42：分别将转换后的可见光图像和不可见光图像中的亮度分量和色彩分量分离，得到可见光图像的色彩分量和亮度分量以及不可见光图像的亮度分量。
例如，当可见光图像P1和不可见光图像P2均转换至YUV颜色模型时，则将可见光图像P1和不可见光图像P2的亮度分量(即Y分量)和色彩分量(即U、V分量)分离，从而得到可见光图像P1的色彩分量(U、V分量)和亮度分量(Y分量)，以及不可见光图像P2的亮度分量(Y分量)。
步骤S122：将可见光图像的亮度信息替换为不可见光的亮度信息，并由可见光图像的色彩信息以及替换后的亮度信息组成初始融合图像。
例如，将可见光图像P1的亮度信息(即Y分量)替换为不可见光图像P2的亮度信息(即Y分量)，并由可见光图像P1的色彩信息(即U、V分量)以及替换后的亮度信息(即不可见光图像P2的亮度分量：Y分量)组成初始融合图像P3。
上述方式，由于可见光图像可以比较充分地反映目标场景的色彩情况，但是易受诸如光线等的自然条件影响而丢失一些细节信息，如亮度情况，而不可见光图像的成像不易受自然光线的影响，通过将可见光图像的亮度信息替换为不可见光的亮度信息，并由可见光图像的色彩信息以及替换后的亮度信息组成初始融合图像，从而使得初始融合图像保留了较优的色彩信息，且为后续继续优化亮度信息提供了数据基础。
第二方面：
第二方面将具体说明本申请上述实施例步骤S13中分别提取初始融合图像的第一边缘信息与可见光图像的第二边缘信息的具体实施步骤。
请结合参阅图2，图1中步骤S13具体可以包括：采用预设边缘提取算法，对初始融合图像和可见光图像进行边缘提取，对应得到第一边缘图像和第二边缘图像，其中第一边缘图像中包含第一边缘信息，第二边缘图像包括第二边缘信息。
预设边缘提取算法如前述实施例所述可以为Roberts算子、Sobel算子、Prewitt算子和Krisch算子等微分算子，还可以是Canny算子等其他算子。
如图2所示，对初始融合图像P3采样预设边缘提取算法进行边缘提取，得到第一边缘图像P4，对可见光图像采样预设边缘提取算法进行边缘提取，得到第二边缘图像P5，且此时保持原始分辨率800*600ppi不变。
此外，第一边缘图像P4包含第一边缘信息，第二边缘图像P5包含第二边缘信息。
第三方面：
第三方面将具体说明本申请上述实施例步骤S14中比较第一边缘信息与第二边缘信息，并基于比较结果分别确定初始融合图像和可见光图像的融合权重的具体实施步骤。
具体而言，图1中步骤S14可以包括：比较第一边缘信息与第二边缘信息，并基于比较结果确定N组融合权重W，其中，每组融合权重Wk包括对应一分辨率Rk的第一融合权重W1k和第二融合权重W2k。
具体而言，第一边缘信息包括初始融合图像中各像素点p(i，j)的第一边缘特征值；第二边缘信息包括可见光图像中各像素点p(i，j)的第二边缘特征值。结合图2来说，即第一边缘信息包括初始融合图像P3中各像素点p(i，j)的第一边缘特征值，第二边缘信息包括可见光图像P1中各像素点p(i，j)的第二边缘特征值。
结合参阅图图2及图5，上述步骤“比较第一边缘信息与第二边缘信息，并基于比较结果确定N组融合权重W，其中，每组融合权重Wk包括对应一分辨率Rk的第一融合权重W1k和第二融合权重W2k”，具体可以通过如下步骤进行实施：
步骤S51：分别将第一边缘信息与第二边缘信息中对应像素点p(i，j)的边缘特征值进行比较，获得各像素点p(i，j)的特征值比较结果。
请结合参阅图2，将初始融合图像P3进行边缘提取得到的第一边缘图像P4所包含的第一边缘信息，以及可见光图像P1进行边缘提取得到的第二边缘图像P5所包含的第二边缘信息中对应像素点p(i，j)的边缘特征值进行比较，例如，将第一边缘图像P4对应像素点p(1，1)的边缘特征值与第二边缘图像P5对应像素点p(1，1)的边缘特征值进行比较，将第一边缘图像P4对应像素点p(1，2)的边缘特征值与第二边缘图像P5对应的像素点p(1，2)的边缘特征值进行比较，以此类推，直至完成所有像素点的比较。
步骤S52：根据各像素点P(i，f)的特征值比较结果，确定初始融合图像中各像素点p(i，j)的第一子权重和可见光图像中各像素点p(i，j)的第二子权重，其中，各像素点p(i，j)的第一子权重和第二子权重分别组成对应原始分辨率的第一子权重集和第二子权重集。
根据各像素点p(i，j)的特征值比较结果，确定初始融合图像中各像素点p(i，j)的第一子权重和可见光图像中各像素点p(i，j)的第二子权重，此时，各像素点p(i，j)的第一子权重和第二子权重分别组成对应原始分辨率的第一子权重集和第二子权重集。
具体来说，请参阅图6，步骤S52可以通过如下步骤进行实施：
步骤S521：判断像素点p(i，j)对应的第一边缘特征值是否不小于第二边缘特征值，若是，则执行步骤S522，若否，则执行步骤S523。
请结合参阅图2，例如，依次判断像素点p(1，1)对应的第一边缘特征值是否不小于第二边缘特征值，判断像素点p(1，2)对应的第一边缘特征值是否不小于第二边缘特征值，以此类推，直至完成所有像素点对应的第一边缘特征值和第二边缘特征值的比较。
步骤S522：将初始融合图像中像素点p(i，j)的第一子权重设为第一预设权重值，将可见光图像中像素点p(i，j)的第二子权重设为第二预设权重值。
请继续结合图2，例如，p(1，1)对应的第一边缘特征值不小于第二边缘特征值，则将初始融合图像P3中的像素点p(1，1)的第一子权重设为第一预设权重值，第一预设权重值可以为1。在一个实施场景中，第一预设权重值也可以为其他小于1的正数，例如：0.9、0.8等等。在另一个实施场景中，第一预设权重值也可以是大于1的正数。并将可见光图像P1中像素点p(1，1)的第二子权重设为第二预设权重值，第二预设权重值可以为0。在一个实施场景中，第二预设权重值也可以为其他小于1的正数，例如：0.1、0.2等等。在一个实施场景中，第一预设权重值大于第二预设权重值一预设阈值，例如0.5，预设阈值的具体数值本实施例中不做限制。
步骤S523：将初始融合图像中像素点p(i，j)的第一子权重设为第二预设权重值，将可见光图像中像素点p(i，j)的第二子权重设为第一预设权重值。
请继续参阅图2，例如，p(1，1)对应的第一边缘特征值小于第二边缘特征值，则将初始融合图像P3中的像素点p(1，1)的第一子权重设为第二预设权重值，第二预设权重值可以为0。在一个实施场景中，第二预设权重值也可以为其他小于1的正数，例如：0.1、0.2等等。在另一个实施场景中，第二预设权重值也可以是大于1的正数。并将可见光图像P1中像素点p(1，1)的第二子权重设为第一预设权重值，第一预设权重值可以为1。在一个实施场景中，第一预设权重值也可以为其他小于1的正数，例如：0.9、0.1等等。在一个实施场景中，第一预设权重值大于第二预设权重值一预设阈值，例如0.5，预设阈值的具体数值本实施例中不做限制。
在一个实施场景中，第一预设权重值与第二预设权重值之和为1。在另一个实施场景中，第一预设权重值与第二预设权重值之和也可以不为1，例如为2、3、4、5等等。相对应地，当第一预设权重值与第二预设权重值之和为1时，可以采用加权求和进行后续加权处理；当第一预设权重值与第二预设权重值之和不为1时，可以采用加权平均进行后续加权处理。
各像素点p(i，j)的第一子权重和第二子权重分别组成对应原始分辨率的第一子权重集W11和第二子权重集W21。
步骤S53：采用第一预设采样策略对对应原始分辨率的第一子权重集进行降采样，得到对应不同分辨率的N-1个第一子权重集，且采用第一预设采样策略对对应原始分辨率的第二子权重集进行降采样，得到对应不同分辨率的N-1个第二子权重集。
第一预设采样策略可以为高斯降采样算法，请结合参阅图2，采样高斯降采样对对应原始分辨率R1的第一子权重集W11进行降采样时，删除对应原始分辨率的第一子权重集W11的偶数行与偶数列从而得到下一个第一子权重集W12，以此类推，一直得到对应不同分辨率的第N个第一子权重集W1N。对于对应于第二子权重集W21的处理方法可以以此类推，从而得到下一个第二子权重集W22至第N个第二子权重集W2N，本实施例在此不再一一赘述。
此外，高斯降采样为本领域中的现有技术，本实施例在此也不再赘述。
步骤S54：按照分辨率将N个第一子权重集和N个第二子权重进行分组，得到N组融合权重W，其中，每第一子权重集为一第一融合权重，每第二子权重集为一第二融合权重。
请继续结合参阅图2，例如将对应于原始分辨率的第一子权重集W11和第二子权重集W21划分为一组，得到第1组融合权重W1，以此类推，将第N个第一子权重集W1N和第二子权重集W2N划分为一组，得到第N组融合权重WN。其中，第一子权重集W11，W12，……，W1N可以表示为第一融合权重W1k，其中，k为1至N的整数；第二子权重集W21，W22，……，W2N可以表示为第一融合权重W2k。
第四方面：
第四方面将具体说明本申请上述实施例步骤S15中基于融合权重，对初始融合图像和可见光图像进行第二融合，得到最终融合图像的具体实施步骤。
请结合参阅图2和图7，图7是图1中步骤S15一实施例的流程示意图。具体而言，可以包括：
步骤S151：获得N组分层图像I1，其中，每组分层图像
Figure BDA0002070632850000111
包括对应一分辨率Rk的第一分层图像
Figure BDA0002070632850000112
和第二分层图像
Figure BDA0002070632850000113
其中，N个第一分层图像包括初始融合图像以及初始融合图像的至少一个第一采样图像，N个第二分层图像包括可见光图像以及可见光图像的至少一个第二采样图像。
请结合参阅图2，例如，N个第一分层图像
Figure BDA0002070632850000121
包括对应原始分辨率R1的初始融合图像P3以及至少一个第一采样图像，N个第二分层图像
Figure BDA0002070632850000122
包括可见光图像P1以及至少一个第二采样图像。
具体而言，请参阅图8，本实施例中，上述步骤S151可以包括：
步骤S1511：采用第二预设采样策略，分别对初始融合图像和可见光图像进行降采样，得到对应不同分辨率的N-1个第一采样图像和对应不同分辨率的N-1个第二采样图像。
第二预采样策略为拉普拉斯降采样算法，拉普拉斯降采样算法的一般步骤为在对原始图像进行下采样后所得到的下采样图像的基础上再进行上采样，再将原始图像减去上采样后的图像，并对每一层图像重复上述步骤。关于拉普拉斯降采样的具体算法为本领域的现有技术，本实施例在此不再一一赘述。
请结合参阅图2，利用第二预设采样策略对初始融合图像P3和可见光图像P1进行降采样，得到对应不同分辨率的N-1个第一采样图像P32、P33、……、P3N，以及对应不同分辨率的N-1个第二采样图像P12、P13、……、P1N。
步骤S1512：由初始融合图像和N-1个第一采样图像组成N个第一分层图像，由可见光图像和N-1个第二采样图像组成N个第二分层图像。
请继续结合参阅图2，由初始融合图像P3和N-1个第一采样图像组成N个第一分层图像
Figure BDA0002070632850000123
由可见光图像P1和N-1个第二采样图像组成N个第二分层图像
Figure BDA0002070632850000124
步骤S152：利用对应同一分辨率Rk的相应组融合权重Wk，对每组分层图像
Figure BDA0002070632850000125
进行加权处理，得到一融合子图像
Figure BDA0002070632850000126
其中，第一融合权重W1k作为第一分层图像
Figure BDA0002070632850000127
的权重，第二融合权重W2k作为第二分层图像
Figure BDA0002070632850000128
的权重。
请继续结合参阅图2，对于原始分辨率R1的分层图像
Figure BDA0002070632850000129
采样相应组的融合权重W1进行加权处理，得到一融合子图像
Figure BDA0002070632850000131
其中对应组的第一融合权重W11作为第一分层图像
Figure BDA0002070632850000132
的权重，也就是原始分辨率的初始融合图像P3的权重，而对应组的第二融合权重W21作为第二分层图像
Figure BDA0002070632850000133
的权重，也就是原始分辨率的可见光图像P1的权重，以此类推，本实施例在此不再一一赘述。本实施例和本申请其他实施例中的同一分辨率是指具有相同宽度分辨率Lk和高度分辨率Hk。
具体而言，第一融合权重W1k包括第一分层图像
Figure BDA0002070632850000134
中各像素点p(i，j)的第一子权重
Figure BDA0002070632850000135
第二融合权重W2k包括第二分层图像
Figure BDA0002070632850000136
中各像素点p(i，j)的第二子权重
Figure BDA0002070632850000137
则本实施例中步骤S152具体可以包括：
本实施例中，各像素点p(i，j)的第一子权重
Figure BDA0002070632850000138
和第二子权重
Figure BDA0002070632850000139
的和为1，利用相应第一子权重
Figure BDA00020706328500001310
和第二子权重
Figure BDA00020706328500001311
对第一分层图像
Figure BDA00020706328500001312
和第二分层图像
Figure BDA00020706328500001313
中的相应像素点p(i，j)的值进行加权求和，得到融合子图像
Figure BDA00020706328500001314
中相应像素点p(i，j)的值。具体可以利用下述公式，得到融合子图像
Figure BDA00020706328500001315
中各像素点的值
Figure BDA00020706328500001316
Figure BDA00020706328500001317
其中，
Figure BDA00020706328500001318
为第一分层图像
Figure BDA00020706328500001319
中像素点p(i，j)的值，
Figure BDA00020706328500001320
为第二分层图像
Figure BDA00020706328500001321
中像素点p(i，j)的值。本实施例和本申请其他实施例中所指的像素点p(i，j)的值为像素点的灰度值。
在一个实施场景中，各像素点p(i，j)的第一子权重
Figure BDA00020706328500001322
和第二子权重
Figure BDA00020706328500001323
的和不为1，则可以对第一分层图像
Figure BDA00020706328500001324
中像素点p(i，j)的值
Figure BDA00020706328500001325
以及第二分层图像
Figure BDA00020706328500001326
中像素点p(i，j)的值
Figure BDA00020706328500001327
进行加权平均处理，从而得到融合子图像
Figure BDA00020706328500001328
中各像素点的值
Figure BDA00020706328500001329
具体而言，可通过下述公式进行计算：
Figure BDA00020706328500001330
步骤S153：将分别对N组分层图像进行加权处理得到的N个融合子图像进行图像重构，得到最终融合图像。
其中，k为1至N的整数。请继续结合参阅图2，将分别对N组分层图像进行加权处理得到的N个融合子图像
Figure BDA0002070632850000141
进行图像重构，得到最终融合图像P6。图像重构为图像分层的逆过程，图像重构为本领域中的现有技术，本实施例在此不再一一赘述。
请参阅图9，图9为本申请图像融合设备一实施例的框架示意图。具体而言，本实施例中图像融合设备包括相互耦接的存储器910和处理器920，处理器920用于执行存储器910存储的程序指令，以实现上述任一实施例中的图像融合方法的步骤。具体地，处理器920用于控制存储器910以从其获取对同一目标场景拍摄得到的可见光图像和不可见光图像，或者，在一个实施场景中，图像融合设备还可以进一步包括通信电路，处理器920用于控制通信电路以获取对同一目标场景拍摄得到的可见光图像和不可见光图像。处理器920还用于对可见光图像和不可见光图像进行第一融合，得到初始融合图像，处理器920还用于分别提取初始融合图像的第一边缘信息与可见光图像的第二边缘信息，处理器920还用于比较第一边缘信息与第二边缘信息，并基于比较结果分别确定初始融合图像和可见光图像的融合权重，处理器920还用于基于融合权重，对初始融合图像和可见光图像进行第二融合，得到最终融合图像。
处理器920控制存储器910及其自身以实现上述图像融合方法任一实施例的步骤。处理器920还可以称为CPU(Central Processing Unit，中央处理单元)。处理器920可能是一种集成电路芯片，具有信号的处理能力。处理器920还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器920可以由多个成电路芯片共同实现。
上述方式，基于对同一目标场景拍摄得到的可见光图像和不可见光图像进行第一融合，得到初始融合图像，将对初始融合图像进行边缘提取得到的第一边缘信息和对可见光图像进行边缘提取得到的第二边缘信息进行比较，确定初始融合图像和可见光图像进行第二融合时的融合权重，最终基于得到的融合权重对初始融合图像和可见光图像进行第二融合，从而得到最终融合图像。通过上述方式，在初始融合图像保留了可见光图像与不可见光图像的互补性信息的基础上，再次基于初始融合图像和可见光图像的边缘信息做加权处理而保留了局部特征信息，从而使得最终融合图像保留尽可能多的目标场景信息，以尽可能全面、清晰地描述目标场景。
其中，在一个实施例中，处理器920还用于比较第一边缘信息与第二边缘信息，并基于比较结果确定N组融合权重W，其中，每组融合权重Wk包括对应一分辨率Rk的第一融合权重W1k和第二融合权重W2k，处理器920还用于获得N组分层图像I1，其中，每组分层图像
Figure BDA0002070632850000151
包括对应一分辨率Rk的第一分层图像
Figure BDA0002070632850000152
和第二分层图像
Figure BDA0002070632850000153
其中，N个第一分层图像包括初始融合图像以及初始融合图像的至少一个第一采样图像，N个第二分层图像包括可见光图像以及可见光图像的至少一个第二采样图像，处理器920还用于利用对应同一分辨率Rk的相应组融合权重Wk，对每组分层图像
Figure BDA0002070632850000154
进行加权处理，得到一融合子图像
Figure BDA0002070632850000155
其中，第一融合权重W1k作为第一分层图像
Figure BDA0002070632850000156
的权重，第二融合权重W2k作为第二分层图像
Figure BDA0002070632850000157
的权重，处理器920还用于将分别对N组分层图像进行加权处理得到的N个融合子图像进行图像重构，得到最终融合图像，其中，k为1至N中的整数。
其中，在另一个实施例中，第一融合权重W1k包括第一分层图像
Figure BDA0002070632850000158
中各像素点p(i，j)的第一子权重
Figure BDA0002070632850000159
第二融合权重W2k包括第二分层图像
Figure BDA00020706328500001510
中各像素点p(i，j)的第二子权重
Figure BDA00020706328500001511
处理器920还用于利用相应第一子权重
Figure BDA00020706328500001512
和第二子权重
Figure BDA00020706328500001513
对第一分层图像
Figure BDA00020706328500001514
和第二分层图像
Figure BDA00020706328500001515
中的相应像素点p(i，j)的值进行加权求和，得到融合子图像
Figure BDA00020706328500001516
中相应像素点p(i，j)的值。
其中，在又一个实施例中，第一边缘信息包括初始融合图像中各像素点p(i，j)的第一边缘特征值；第二边缘信息包括可见光图像中各像素点p(i，j)的第二边缘特征值，处理器920还用于分别将第一边缘信息与第二边缘信息中对应像素点p(i，j)的边缘特征值进行比较，获得各像素点p(i，j)的特征值比较结果，处理器920还用于根据各像素点p(i，j)的特征值比较结果，确定初始融合图像中各像素点p(i，j)的第一子权重和可见光图像中各像素点p(i，j)的第二子权重，其中，各像素点p(i，j)的第一子权重和第二子权重分别组成对应原始分辨率的第一子权重集和第二子权重集，处理器920还用于采用第一预设采样策略对对应原始分辨率的第一子权重集进行降采样，得到对应不同分辨率的N-1个第一子权重集，且采用第一预设采样策略对对应原始分辨率的第二子权重集进行降采样，得到对应不同分辨率的N-1个第二子权重集，处理器920还用于按照分辨率将N个第一子权重集和N个第二子权重进行分组，得到N组融合权重W，其中，每第一子权重集为一第一融合权重，每第二子权重集为一第二融合权重。
其中，在又一个实施例中，处理器920还用于当像素点p(i，j)对应的第一边缘特征值不小于第二边缘特征值时，将初始融合图像中像素点p(i，j)的第一子权重设为第一预设权重值，将可见光图像中像素点p(i，j)的第二子权重设为第二预设权重值，或者，处理器920还用于当像素点p(i，j)对应的第一边缘特征值小于第二边缘特征值时，将初始融合图像中像素点p(i，j)的第一子权重设为第二预设权重值，将可见光图像中像素点p(i，j)的第二子权重设为第一预设权重值，其中，第一预设权重值与第二预设权重值之和为1。
其中，在又一个实施例中，处理器920还用于采用第二预设采样策略，分别对初始融合图像和可见光图像进行降采样，得到对应不同分辨率的N-1个第一采样图像和对应不同分辨率的N-1个第二采样图像，处理器920还用于由初始融合图像和N-1个第一采样图像组成N个第一分层图像，由可见光图像和N-1个第二采样图像组成N个第二分层图像。
其中，在又一个实施例中，处理器920还用于提取可见光图像的色彩信息和亮度信息以及不可见光图像的亮度信息，处理器920还用于将可见光图像的亮度信息替换为不可见光的亮度信息，并由可见光图像的色彩信息以及替换后的亮度信息组成初始融合图像。
其中，在又一个实施例中，处理器920还用于将可见光图像和不可见光图像分别转换到预设色彩空间，处理器920还用于分别将转换后的可见光图像和不可见光图像中的亮度分量和色彩分量分离，得到可见光图像的色彩分量和亮度分量以及不可见光图像的亮度分量。
其中，在又一个实施例中，处理器920还用于采用预设边缘提取算法，对初始融合图像和可见光图像进行边缘提取，对应得到第一边缘图像和第二边缘图像，其中第一边缘图像中包含第一边缘信息，第二边缘图像包括第二边缘信息，在一个实施场景中，图像融合设备还可以进一步包括摄像器件930，例如黑光相机，处理器920还用于控制摄像器件930，例如黑光相机，对一目标场景拍摄，得到可见光图像和不可见光图像。其中，在一个实施场景中，拍摄得到的不可见光图像为红外图像，在其他实施场景中，拍摄得到的不可见光图像还可以是除红外图像以外的图像，例如激光图像等等。
请参阅图10，图10为本申请存储装置1000一实施例的框架示意图。本申请存储装置1000存储有能够被处理器运行的程序指令1010，程序指令1010用于实现上述任一图像融合方法的实施例中步骤。
该存储装置1000具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令1010的介质，或者也可以为存储有该程序指令1010的服务器，该服务器可将存储的程序指令1010发送给其他设备运行，或者也可以自运行该存储的程序指令1010。
请参阅图11，图11是本申请图像融合设备1100另一实施例的框架示意图。具体地，本申请图像融合设备1100包括获取模块1110、第一融合模块1120、边缘提取模块1130、权重确定模块1140和第二融合模块1150，其中，获取模块1110用于获取对同一目标场景拍摄得到的可见光图像和不可见光图像；第一融合模块1120用于对可见光图像和不可见光图像进行第一融合，得到初始融合图像；边缘提取模块1130用于分别提取初始融合图像的第一边缘信息与可见光图像的第二边缘信息；权重确定模块1140用于比较第一边缘信息与第二边缘信息，并基于比较结果分别确定初始融合图像和可见光图像的融合权重；第二融合模块1150用于基于融合权重，对初始融合图像和可见光图像进行第二融合，得到最终融合图像。
上述方式，能够使得最终融合图像保留尽可能多的目标场景信息，以尽可能全面、清晰地描述目标场景。
其中，在一个实施例中，权重确定模块1140具体用于比较第一边缘信息与第二边缘信息，并基于比较结果确定N组融合权重W，其中，每组融合权重Wk包括对应一分辨率Rk的第一融合权重W1k和第二融合权重W2k，第二融合模块1150包括：获得单元，用于获得N组分层图像I1，其中，每组分层图像
Figure BDA0002070632850000181
包括对应一分辨率Rk的第一分层图像
Figure BDA0002070632850000182
和第二分层图像
Figure BDA0002070632850000183
其中，N个第一分层图像包括初始融合图像以及初始融合图像的至少一个第一采样图像，N个第二分层图像包括可见光图像以及可见光图像的至少一个第二采样图像；第二融合模块1150包括加权单元，用于利用对应同一分辨率Rk的相应组融合权重Wk，对每组分层图像
Figure BDA0002070632850000184
进行加权处理，得到一融合子图像
Figure BDA0002070632850000185
其中，第一融合权重W1k作为第一分层图像
Figure BDA0002070632850000186
的权重，第二融合权重W2k作为第二分层图像
Figure BDA0002070632850000187
的权重；第二融合模块1150还包括重构单元，用于将分别对N组分层图像进行加权处理得到的N个融合子图像进行图像重构，得到最终融合图像；其中，k为1至N中的整数。
其中，在另一个实施例中，第一融合权重W1k包括第一分层图像
Figure BDA0002070632850000188
中各像素点p(i，j)的第一子权重
Figure BDA0002070632850000189
第二融合权重W2k包括第二分层图像
Figure BDA00020706328500001810
中各像素点p(i，j)的第二子权重
Figure BDA00020706328500001811
第二融合模块1150的加权单元具体用于利用相应第一子权重
Figure BDA00020706328500001812
和第二子权重
Figure BDA00020706328500001813
对第一分层图像
Figure BDA00020706328500001814
和第二分层图像
Figure BDA00020706328500001815
中的相应像素点p(i，j)的值进行加权求和，得到融合子图像
Figure BDA00020706328500001816
中相应像素点p(i，j)的值。
其中，在又一个实施例中，第一边缘信息包括初始融合图像中各像素点p(i，j)的第一边缘特征值；第二边缘信息包括可见光图像中各像素点p(i，j)的第二边缘特征值，权重确定模块1140包括：比较单元，用于分别将第一边缘信息与第二边缘信息中对应像素点p(i，j)的边缘特征值进行比较，获得各像素点p(i，j)的特征值比较结果；权重确定模块1140还包括确定单元，用于根据各像素点p(i，j)的特征值比较结果，确定初始融合图像中各像素点p(i，j)的第一子权重和可见光图像中各像素点p(i，j)的第二子权重，其中，各像素点p(i，j)的第一子权重和第二子权重分别组成对应原始分辨率的第一子权重集和第二子权重集；权重确定模块1140还包括采样单元，用于采用第一预设采样策略对对应原始分辨率的第一子权重集进行降采样，得到对应不同分辨率的N-1个第一子权重集，且采用第一预设采样策略对对应原始分辨率的第二子权重集进行降采样，得到对应不同分辨率的N-1个第二子权重集；权重确定模块1140还包括分组单元，用于按照分辨率将N个第一子权重集和N个第二子权重进行分组，得到N组融合权重W，其中，每第一子权重集为一第一融合权重，每第二子权重集为一第二融合权重。
其中，在又一个实施例中，权重确定模块1140的确定单元具体用于判断若像素点p(i，j)对应的第一边缘特征值不小于第二边缘特征值，则将初始融合图像中像素点p(i，j)的第一子权重设为第一预设权重值，将可见光图像中像素点p(i，j)的第二子权重设为第二预设权重值；权重确定模块1140还用于判断若像素点p(i，j)对应的第一边缘特征值小于第二边缘特征值，则将初始融合图像中像素点p(i，j)的第一子权重设为第二预设权重值，将可见光图像中像素点p(i，j)的第二子权重设为第一预设权重值；其中，第一预设权重值与第二预设权重值之和为1。
其中，在又一个实施例中，第二融合模块1150的获得单元具体用于采用第二预设采样策略，分别对初始融合图像和可见光图像进行降采样，得到对应不同分辨率的N-1个第一采样图像和对应不同分辨率的N-1个第二采样图像；由初始融合图像和N-1个第一采样图像组成N个第一分层图像，由可见光图像和N-1个第二采样图像组成N个第二分层图像。
其中，在又一个实施例中，第一融合模块1120具体用于提取可见光图像的色彩信息和亮度信息以及不可见光图像的亮度信息；将可见光图像的亮度信息替换为不可见光图像的亮度信息，并由可见光图像的色彩信息以及替换后的亮度信息组成初始融合图像。
其中，在又一个实施例中，第一融合模块1120还用于将可见光图像和不可见光图像分别转换到预设色彩空间；分别将转换后的可见光图像和不可见光图像中的亮度分量和色彩分量分离，得到可见光图像的色彩分量和亮度分量以及不可见光图像的亮度分量。
其中，在又一个实施例中，边缘提取模块1130具体用于采用预设边缘提取算法，对初始融合图像和可见光图像进行边缘提取，对应得到第一边缘图像和第二边缘图像，其中第一边缘图像中包含第一边缘信息，第二边缘图像包括第二边缘信息。
其中，在又一个实施例中，获取模块1110具体用于利用黑光相机对一目标场景拍摄，得到可见光图像和不可见光图像，其中，不可见光图像为红外图像。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种图像融合方法，其特征在于，包括：
获取对同一目标场景拍摄得到的可见光图像和不可见光图像；
对所述可见光图像和不可见光图像进行第一融合，得到初始融合图像；
分别提取所述初始融合图像的第一边缘信息与所述可见光图像的第二边缘信息；
比较所述第一边缘信息与所述第二边缘信息，并基于比较结果分别确定所述初始融合图像和所述可见光图像的融合权重；
基于所述融合权重，对所述初始融合图像和所述可见光图像进行第二融合，得到最终融合图像；
所述比较所述第一边缘信息与所述第二边缘信息，并基于比较结果分别确定所述初始融合图像和所述可见光图像的融合权重，包括：
比较所述第一边缘信息与所述第二边缘信息，并基于比较结果确定N组融合权重W，其中，每组融合权重Wk包括对应一分辨率Rk的第一融合权重W1k和第二融合权重W2k；
所述基于所述融合权重，对所述初始融合图像和所述可见光图像进行第二融合，得到最终融合图像，包括：
获得N组分层图像I1，其中，每组分层图像
Figure FDA0003100042680000011
包括对应一分辨率Rk的第一分层图像
Figure FDA0003100042680000012
和第二分层图像
Figure FDA0003100042680000013
其中，N个所述第一分层图像包括所述初始融合图像以及所述初始融合图像的至少一个第一采样图像，N个所述第二分层图像包括所述可见光图像以及所述可见光图像的至少一个第二采样图像；
利用对应同一分辨率Rk的相应组融合权重Wk，对每组分层图像
Figure FDA0003100042680000014
进行加权处理，得到一融合子图像
Figure FDA0003100042680000015
其中，所述第一融合权重W1k作为所述第一分层图像
Figure FDA0003100042680000016
的权重，所述第二融合权重W2k作为所述第二分层图像
Figure FDA0003100042680000017
的权重；
将分别对N组分层图像进行所述加权处理得到的N个所述融合子图像进行图像重构，得到最终融合图像；
其中，所述k为1至N中的整数。
2.根据权利要求1所述的方法，其特征在于，所述第一融合权重W1k包括所述第一分层图像
Figure FDA0003100042680000021
中各像素点p(i,j)的第一子权重
Figure FDA0003100042680000022
所述第二融合权重W2k包括所述第二分层图像
Figure FDA0003100042680000023
中各像素点p(i,j)的第二子权重
Figure FDA0003100042680000024
所述利用对应同一分辨率Rk的相应组融合权重Wk，对每组分层图像
Figure FDA0003100042680000025
进行加权处理，得到一融合子图像
Figure FDA0003100042680000026
包括：
利用相应所述第一子权重
Figure FDA0003100042680000027
和所述第二子权重
Figure FDA0003100042680000028
对所述第一分层图像
Figure FDA0003100042680000029
和所述第二分层图像
Figure FDA00031000426800000210
中的相应像素点p(i,j)的值进行加权求和，得到所述融合子图像
Figure FDA00031000426800000211
中相应像素点p(i,j)的值。
3.根据权利要求2所述的方法，其特征在于，所述第一边缘信息包括所述初始融合图像中各像素点p(i,j)的第一边缘特征值；所述第二边缘信息包括所述可见光图像中各像素点p(i,j)的第二边缘特征值；
所述比较所述第一边缘信息与所述第二边缘信息，并基于比较结果确定N组融合权重W，包括：
分别将所述第一边缘信息与所述第二边缘信息中对应像素点p(i,j)的边缘特征值进行比较，获得所述各像素点p(i,j)的特征值比较结果；
根据所述各像素点p(i,j)的特征值比较结果，确定所述初始融合图像中各像素点p(i,j)的第一子权重和所述可见光图像中各像素点p(i,j)的第二子权重，其中，所述各像素点p(i,j)的第一子权重和第二子权重分别组成对应原始分辨率的第一子权重集和第二子权重集；
采用第一预设采样策略对所述对应原始分辨率的第一子权重集进行降采样，得到对应不同分辨率的N-1个第一子权重集，且采用所述第一预设采样策略对所述对应原始分辨率的第二子权重集进行降采样，得到对应不同分辨率的N-1个第二子权重集；
按照分辨率将N个所述第一子权重集和N个所述第二子权重进行分组，得到N组融合权重W，其中，每所述第一子权重集为一所述第一融合权重，每所述第二子权重集为一所述第二融合权重。
4.根据权利要求3所述的方法，其特征在于，所述根据所述各像素点p(i,j)的特征值比较结果，确定第一融合图像中各像素点p(i,j)的第一子权重和所述可见光图像中各像素点p(i,j)的第二子权重，包括：
若所述像素点p(i,j)对应的第一边缘特征值不小于所述第二边缘特征值，则将所述初始融合图像中所述像素点p(i,j)的第一子权重设为第一预设权重值，将所述可见光图像中所述像素点p(i,j)的第二子权重设为第二预设权重值；
若所述像素点p(i,j)对应的第一边缘特征值小于所述第二边缘特征值，则将所述初始融合图像中所述像素点p(i,j)的第一子权重设为所述第二预设权重值，将所述可见光图像中所述像素点p(i,j)的第二子权重设为所述第一预设权重值；
其中，所述第一预设权重值与所述第二预设权重值之和为1。
5.根据权利要求1所述的方法，其特征在于，所述获得N组分层图像I1，包括：
采用第二预设采样策略，分别对所述初始融合图像和所述可见光图像进行降采样，得到对应不同分辨率的N-1个所述第一采样图像和对应不同分辨率的N-1个所述第二采样图像；
由所述初始融合图像和所述N-1个第一采样图像组成N个第一分层图像，由所述可见光图像和所述N-1个第二采样图像组成N个第二分层图像。
6.根据权利要求1所述的方法，其特征在于，所述对所述不可见光图像和可见光图像进行第一融合，得到初始融合图像，包括：
提取所述可见光图像的色彩信息和亮度信息以及所述不可见光图像的亮度信息；
将所述可见光图像的亮度信息替换为所述不可见光图像的亮度信息，并由所述可见光图像的色彩信息以及替换后的亮度信息组成所述初始融合图像。
7.根据权利要求6所述的方法，其特征在于，
所述提取所述可见光图像的色彩信息和亮度信息以及所述不可见光图像的亮度信息，包括：
将所述可见光图像和不可见光图像分别转换到预设色彩空间；
分别将转换后的所述可见光图像和不可见光图像中的亮度分量和色彩分量分离，得到所述可见光图像的色彩分量和亮度分量以及所述不可见光图像的亮度分量。
8.根据权利要求1所述的方法，其特征在于，
所述分别提取所述初始融合图像的第一边缘信息与所述可见光图像的第二边缘信息，包括：
采用预设边缘提取算法，对所述初始融合图像和所述可见光图像进行边缘提取，对应得到第一边缘图像和第二边缘图像，其中所述第一边缘图像中包含所述第一边缘信息，所述第二边缘图像包括所述第二边缘信息；
所述获取对同一目标场景拍摄得到的可见光图像和不可见光图像，包括：
利用黑光相机对一目标场景拍摄，得到可见光图像和不可见光图像，其中，所述不可见光图像为红外图像。
9.一种图像融合设备，其特征在于，包括相互耦接的存储器和处理器；
所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至8任一项所述的方法。
10.根据权利要求9所述的设备，其特征在于，还包括摄像器件，用于拍摄得到可见光图像和不可见光图像。
11.一种图像融合设备，其特征在于，包括：
第一获取模块，用于获取对同一目标场景拍摄得到的可见光图像和不可见光图像；
第一融合模块，用于对所述可见光图像和不可见光图像进行第一融合，得到初始融合图像；
边缘提取模块，用于分别提取所述初始融合图像的第一边缘信息与所述可见光图像的第二边缘信息；
权重确定模块，用于比较所述第一边缘信息与所述第二边缘信息，并基于比较结果分别确定所述初始融合图像和所述可见光图像的融合权重；
第二融合模块，用于基于所述融合权重，对所述初始融合图像和所述可见光图像进行第二融合，得到最终融合图像；
其中，所述权重确定模块包括：权重确定子模块，用于比较所述第一边缘信息与所述第二边缘信息，并基于比较结果确定N组融合权重W，其中，每组融合权重Wk包括对应一分辨率Rk的第一融合权重W1k和第二融合权重W2k，其中，所述k为1至N中的整数；
其中，所述第二融合模块包括：
第二获取模块，用于获得N组分层图像I1，其中，每组分层图像
Figure FDA0003100042680000051
包括对应一分辨率Rk的第一分层图像
Figure FDA0003100042680000052
和第二分层图像
Figure FDA0003100042680000053
其中，N个所述第一分层图像包括所述初始融合图像以及所述初始融合图像的至少一个第一采样图像，N个所述第二分层图像包括所述可见光图像以及所述可见光图像的至少一个第二采样图像，其中，所述k为1至N中的整数；
加权处理模块，用于利用对应同一分辨率Rk的相应组融合权重Wk，对每组分层图像
Figure FDA0003100042680000054
进行加权处理，得到一融合子图像
Figure FDA0003100042680000055
其中，所述第一融合权重W1k作为所述第一分层图像
Figure FDA0003100042680000056
的权重，所述第二融合权重W2k作为所述第二分层图像
Figure FDA0003100042680000057
的权重，其中，所述k为1至N中的整数；
图像重构模块，用于将分别对N组分层图像进行所述加权处理得到的N个所述融合子图像进行图像重构，得到最终融合图像。
12.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至8任一项所述的方法。
CN201910436319.1A 2019-05-23 2019-05-23 图像融合方法及设备、存储装置 Active CN110210541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910436319.1A CN110210541B (zh) 2019-05-23 2019-05-23 图像融合方法及设备、存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910436319.1A CN110210541B (zh) 2019-05-23 2019-05-23 图像融合方法及设备、存储装置

Publications (2)

Publication Number Publication Date
CN110210541A CN110210541A (zh) 2019-09-06
CN110210541B true CN110210541B (zh) 2021-09-03

Family

ID=67788443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910436319.1A Active CN110210541B (zh) 2019-05-23 2019-05-23 图像融合方法及设备、存储装置

Country Status (1)

Country Link
CN (1) CN110210541B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
CN112017252B (zh) * 2019-05-31 2024-06-11 华为技术有限公司 一种图像处理方法和相关设备
CN110796629B (zh) * 2019-10-28 2022-05-17 杭州涂鸦信息技术有限公司 一种图像融合方法及系统
CN111563552B (zh) * 2020-05-06 2023-09-05 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置
JP7468176B2 (ja) * 2020-06-17 2024-04-16 株式会社リコー 画像処理装置および画像読取方法
CN111738969B (zh) * 2020-06-19 2024-05-28 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN116228618B (zh) * 2023-05-04 2023-07-14 中科三清科技有限公司 一种基于图像识别的气象云图处理系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN107580163A (zh) * 2017-08-12 2018-01-12 四川精视科技有限公司 一种双镜头黑光摄像机
WO2018048231A1 (en) * 2016-09-08 2018-03-15 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826736B2 (en) * 2007-07-06 2010-11-02 Flir Systems Ab Camera and method for use with camera
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
WO2016109585A1 (en) * 2014-12-31 2016-07-07 Flir Systems, Inc. Image enhancement with fusion
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN107103331B (zh) * 2017-04-01 2020-06-16 中北大学 一种基于深度学习的图像融合方法
TWI630559B (zh) * 2017-06-22 2018-07-21 佳世達科技股份有限公司 影像擷取裝置及影像擷取方法
CN107248150A (zh) * 2017-07-31 2017-10-13 杭州电子科技大学 一种基于导向滤波显著区域提取的多尺度图像融合方法
CN107730482B (zh) * 2017-09-28 2021-07-06 电子科技大学 一种基于区域能量和方差的稀疏融合方法
CN109670522A (zh) * 2018-09-26 2019-04-23 天津工业大学 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
WO2018048231A1 (en) * 2016-09-08 2018-03-15 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN107580163A (zh) * 2017-08-12 2018-01-12 四川精视科技有限公司 一种双镜头黑光摄像机
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《A Real-Time FPGA Implementation of Visible Near Infrared Fusion Based Image Enhancement》;Mohamed Awad;《2018 25th IEEE International Conference on Image Processing (ICIP)》;20180906;第2381-8549页 *
《基于FPDEs与CBF的红外与可见光图像融合》;李昌兴;《计算机科学》;20190315;第46卷(第1期);第297-302页 *

Also Published As

Publication number Publication date
CN110210541A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110210541B (zh) 图像融合方法及设备、存储装置
Blum et al. An Overview of lmage Fusion
Zhang et al. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application
CN106846289A (zh) 一种基于显著性迁移与细节分类的红外光强与偏振图像融合方法
WO2021225472A2 (en) Joint objects image signal processing in temporal domain
Iwasokun et al. Image enhancement methods: a review
Rao et al. An Efficient Contourlet-Transform-Based Algorithm for Video Enhancement.
Julliand et al. Automated image splicing detection from noise estimation in raw images
Ito et al. Compressive epsilon photography for post-capture control in digital imaging
Singh et al. Classification of various image fusion algorithms and their performance evaluation metrics
Petrovic Multilevel image fusion
Ibrahim et al. Visible and IR data fusion technique using the contourlet transform
Sonawane et al. Image quality assessment techniques: An overview
Jöchl et al. Device (in) dependence of deep learning-based image age approximation
CN115035466A (zh) 一种用于安全监视的红外全景雷达系统
Ayub et al. CNN and Gaussian Pyramid-Based Approach For Enhance Multi-Focus Image Fusion
Zheng A channel-based color fusion technique using multispectral images for night vision enhancement
Sasikala et al. An adaptive edge detecting method for satellite imagery based on canny edge algorithm
Malviya et al. Wavelet based multi-focus image fusion
Goud et al. Evaluation of image fusion of multi focus images in spatial and frequency domain
Zheng An exploration of color fusion with multispectral images for night vision enhancement
Ballabeni et al. Intensity histogram equalisation, a colour-to-grey conversion strategy improving photogrammetric reconstruction of urban architectural heritage
Liang et al. Image Fusion with Spatial Frequency.
Aguilar-Ponce et al. Pixel-level image fusion scheme based on linear algebra
Kumari et al. Systematic Review of Image Computing Under Some Basic and Improvised Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant