[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108335279B - 图像融合和hdr成像 - Google Patents

图像融合和hdr成像 Download PDF

Info

Publication number
CN108335279B
CN108335279B CN201710048552.3A CN201710048552A CN108335279B CN 108335279 B CN108335279 B CN 108335279B CN 201710048552 A CN201710048552 A CN 201710048552A CN 108335279 B CN108335279 B CN 108335279B
Authority
CN
China
Prior art keywords
image
pixel
original
images
thumbnail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710048552.3A
Other languages
English (en)
Other versions
CN108335279A (zh
Inventor
廖菁
袁路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201710048552.3A priority Critical patent/CN108335279B/zh
Priority to PCT/US2018/013752 priority patent/WO2018136373A1/en
Publication of CN108335279A publication Critical patent/CN108335279A/zh
Application granted granted Critical
Publication of CN108335279B publication Critical patent/CN108335279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开的实现提供了一种高动态范围成像中的图像融合的方案。在该方案中，确定多个原始图像中的每一个与同一参考图像的对应像素之间的差异(也被称为像素差异)。基于像素差异中的一部分或全部的分布来确定用于相应原始图像的像素阈值。该像素阈值然后被用于与像素差异进行比较，以便从原始图像标识出将在图像融合中被排除的噪声像素。多个原始图像中未被排除的像素可以被融合以获得融合图像。通过本公开的方案，针对要处理的每个原始图像均可确定恰当的专用像素阈值用于排除该原始图像中的噪声像素，从而使得基于其余像素融合得到的图像具有更高的质量。

Description

图像融合和HDR成像
背景技术
与人眼能够看到的真实场景中的亮度范围相比，数字成像设备(例如相机)中可用的传感器捕获到亮度范围通常要小得多。传统数字成像设备以单一曝光度对场景进行拍摄一幅图像，因而该图像只包含有限的亮度对比范围。取决于采用的曝光度是高或低，场景中过亮或较暗的区域中的很多细节将被丢失。为了呈现场景的更多细节，高动态范围(HighDynamic Range，HDR)成像成为了数字成像设备中越来越流行的一种成像技术。通过HDR成像获得的图像也被称为HDR图像，该图像可以提供在场景中的较暗区域到完全被照亮的区域之间的高亮度范围。
为了生成HDR图像，数字成像设备将在较短时间内捕获同一场景的多个原始图像并且通过将这些原始图像进行融合来得到融合图像。在融合图像中，原始图像的不同区域中的有利像素被保留并且不利像素将被摒弃，从而展现出细节丰富的场景图。融合图像在一些情况下可以直接作为HDR图像。在另外一些情况中，还可以继续处理融合图像，例如对融合图像施加色调映射来调节该图像的曝光度，从而生成更高质量的HDR图像。
发明内容
根据本公开的实现，提供了一种HDR成像中的图像融合的方案。在该方案中，确定多个原始图像中的每一个与同一参考图像的对应像素之间的差异(也被称为像素差异)。基于像素差异中的一部分或全部的分布来确定用于相应原始图像的像素阈值。该像素阈值然后被用于与像素差异进行比较，以便从原始图像标识出将在图像融合中被排除的噪声像素。多个原始图像中未被排除的像素可以被融合以获得融合图像。通过本公开的方案，针对要处理的每个原始图像均可确定恰当的专用像素阈值用于排除该原始图像中的噪声像素，从而使得基于其余像素融合得到的图像具有更高的质量。
提供发明内容部分是为了简化的形式来介绍对概念的标识，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
图1示出了能够实施本公开的多个实现的计算环境的框图；
图2示出了根据本公开的一些实现的高动态范围成像系统的框图；
图3示出了根据本公开的一些实现的图2的系统的图像融合级的框图；
图4示出了根据本公开的一些实现的示例多图对齐的示意图；
图5示出了根据本公开的一些实现的示例图像融合的示意图；
图6示出了根据本公开的一些实现的图2的系统的色调映射级的框图；
图7示出了根据本公开的一些实现的示例曝光融合的示意图；
图8示出了根据本公开的一些实现的图像融合过程的流程图；以及
图9示出了根据本公开的一些实现的色调映射过程的流程图。
这些附图中，相同或相似参考符号用于表示相同或相似元素。
具体实施方式
现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本主题的范围的任何限制。
如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
HDR成像和图像融合简述
在各种成像技术、特别是HDR成像技术中，图像融合(Image Fusion)是一个重要的图像处理过程。图像融合涉及将场景的多个原始图像融合成一个图像。为了使得融合图像的质量更好，将期望尽可能地利用多个原始图像中的有利像素进行合并而摒弃其中的不利像素。在筛选不利像素的过程中，将多个原始图像分别与一个参考图像进行比较以确定相应的像素差异。如果像素差异大于某个像素阈值，则将原始图像中的相应像素被排除在图像融合之外。原始图像中与参考图像相比具有较大差异的像素通常是相对于参考图像的噪声，例如由于相机移动或运动物体而导致的异常像素或者由其他因素导致的图像噪声。因此，要被排除的像素也可以被称为噪声像素。
噪声像素的标识和排除将影响到融合图像的质量。像素阈值决定了每个原始图像中哪些像素将被认为是噪声像素，因此像素阈值的选择在很大程度上影响图像融合的质量。在一些常规图像融合方法，根据经验将像素阈值设置为某个固定值。然而，由于用于场景拍摄的捕获设备(例如，相机)的软件和硬件性能以及使用方式的不同，采集到的原始图像中的噪声偏差范围也各不相同。因此，固定的像素阈值无法对不同相机在不同使用场景中捕获的原始图像的融合均展现良好效果。在另外一些图像融合方法中，像素阈值根据所采用的相机而被设置为一个固定值。也就是说，通过考虑具体相机的性能参数和可能的使用方式而设置一个合理像素阈值。然而，这样的像素阈值仅可适用于对由特定相机捕获的图像进行融合，具有很大的局限性。
在HDR成像的使用场景中，图像融合还影响到期望获得的HDR图像的质量。在一些情况中，图像融合的结果直接被认为是HDR图像。例如，如果多个原始图像以不同曝光度(覆盖从高到低的曝光度)被捕获，通过将这些图像进行融合，可以生成具有更高亮度范围的HDR图像。如果多个原始图像以同一正常曝光度被捕获，它们的融合图像也可以呈现比原始图像更丰富的细节并且因此可以被认为是HDR图像。在另外一些情况中，多个原始图像可以以同一曝光度(例如比正常曝光度更低的曝光度)被捕获。在将这些欠曝图像融合之后，还可以继续通过执行色调映射(tone mapping)来调整融合图像的曝光度，以获得HDR图像。由此可见，如果融合图像的质量较差、例如如果其中的噪声像素没有被恰当地过滤或者一些有利像素被错误地排除，那么将不利于HDR图像的生成。
以上讨论了在HDR成像的图像融合过程中的一些潜在问题。根据本公开的实现的方法，提供了一种HDR成像方案，旨在解决上述缺陷中的一个或多个。根据在此提出的HDR成像方案，取代设置固定的像素阈值，针对多个原始图像中的每一个，动态确定特定像素阈值。该像素阈值可以基于每个原始图像与同一参考图像的像素差异的分布来确定，并且然后被用于筛选出该原始图像中的噪声像素。噪声像素可以被标识为原始图像中的与参考图像的对应像素的像素差异超过像素阈值的像素。由于针对每个原始图像均适应性地估计专用像素阈值，使得可以更灵活地对不同相机捕获的原始图像执行高质量的图像融合处理。
本公开的其他一些实现还提供了一种对于融合图像的曝光调整的方案。这样的曝光调整主要针对以比正常曝光度更低的曝光度捕获的原始图像。以低曝光度捕获原始图像是因为欠曝的原始图像更有利于使得图像的像素对齐、噪声消除和/或防止不可恢复的过曝现象。如以上提及的，如果原始图像以低曝光度被捕获，在执行图像融合之后，还可以继续执行色调映射以调整获得的融合图像的曝光度，从而生成具有良好亮度范围的HDR图像。根据本公开一些实现，可以参考具有期望曝光度的参考图像来调整融合图像的曝光度。
以下通过参考各个附图来具体描述本公开的一些示例实现。
示例环境
以下参考附图来说明本公开的基本原理和若干示例实现。图1示出了能够实施本公开的多个实现的计算设备100的框图。应当理解，图1所示出的计算设备100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，计算设备100包括通用计算设备形式的计算设备100。计算设备100的组件可以包括但不限于一个或多个处理器或处理单元110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。
在一些实现中，计算设备100可以被实现为各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端，包括移动手机、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，计算设备100能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。
处理单元110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备100的并行处理能力。处理单元110也可以被称为中央处理单元(CPU)、微处理器、控制器、微控制器。
计算设备100通常包括多个计算机存储介质。这样的介质可以是计算设备100可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或其某种组合。存储器120可以包括一个或多个程序模块122，这些程序模块被配置为执行本文所描述的各种实现的功能。模块122可以由处理单元110访问和运行，以实现相应功能。存储设备130可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，其能够用于存储信息和/或数据并且可以在计算设备100内被访问。
通信单元140实现通过通信介质与另外的计算设备进行通信。附加地，计算设备100的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备100可以使用与一个或多个其他服务器、个人计算机(PC)或者另一个一般网络节点的逻辑连接来在联网环境中进行操作。计算设备100还可以根据需要通过通信单元140与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备100交互的设备进行通信，或者与使得计算设备100与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
输入设备150可以是一个或多个各种输入设备，例如鼠标、键盘、触摸屏、追踪球、语音输入设备等。特别地，输入设备150包括相机152。相机152被配置为自动或者根据用户指令捕获一个或多个图像。输出设备160可以是一个或多个输出设备，例如显示器、扬声器、打印机等。相机152捕获的图像可以直接由输出设备160输出或者由通信设备140传输给其他设备。
在一些实现中，相机152捕获的图像可以在计算设备100中被进一步处理。例如，在HDR成像的实现中，相机152可以在短时间内捕获同一场景的多个原始图像(例如102-1、102-2......102-N等，统称为原始图像102)，并且将这些图像作为模块122的输入。多个原始图像102的尺寸是相同或类似的。相机152可以在连拍模式(burst mode)中捕获多个原始图像102。原始图像102的数目可以取决于相机152的默认配置或用户配置。在图1的示例中，该数目为N＝3，但是应当理解，相机152可以捕获更多或更少(例如，2个)的原始图像。模块122对原始图像102执行HDR成像的功能以获得HDR图像104。在一些实现中，模块122将HDR图像104提供给输出单元160以供输出。
图2示出了根据本公开一些实现的用于HDR成像的模块122的示例。模块122可以包括图像融合级210，用于从相机152获取多个原始图像102并且对这些原始图像执行图像融合以生成融合图像212。在一些实现中，模块122还可以包括色调映射级220，用于对融合图像212执行色调映射，以调整融合图像212的曝光度。色调映射级220输出色调映射后的HDR图像104。需要色调映射的情况可以包括当相机152以低曝光度对原始图像102进行拍摄的情况。例如，在针对特定场景自动或者由用户选择一个预定曝光度(该曝光度有时也可被称为正常曝光度)之后，相机152以比该预定曝光度更低(例如低1.0、1.5或2.0的曝光值)的曝光度进行拍摄。由于原始图像102的曝光度较低，因而需要对融合图像212执行曝光调整。在另外一些实现中，融合图像212可以是最终的HDR图像104，此时可以省略色调映射级220。
应当理解，仅出于示例的目的给出图1和图2中的图像102、104和212。根据具体的场景，相机152采集到的图像可以不同。在一些实现中，原始图像102可以不是由相机152采集的，而是可以经由输入设备150或通信设备140从其他源获取的图像。在这些实现中，计算设备100可以无需包括相机152。在本公开的实现中，“原始图像”指的是针对用于融合之前的场景图像，其可以是从相机直接采集获得的图像或者经过某种成像处理之后的图像。对原始图像102的格式没有任何限制，其可以是任何压缩或非压缩的图像格式，包括但不限于RAW格式、JPEG格式、TIFF格式、BMP格式等等。以下将详细讨论模块122的图像融合级210和色调映射级220中的示例实现。
图像融合
图3示出了图2中的图像融合级210的示例实现的框图。图像融合的主要目的是为了从多个具有噪声较高的原始图像中筛选有利像素并且去除不利的噪声像素。这样有助于降低噪声和避免由于拍摄时候的相机移动或场景中的运动物体的移动而导致的“伪像”，从而产生清晰的融合图像。为了实现图像融合的目的，图像融合级210包括噪声像素标识模块320，用于从各个原始图像102中标识出将在图像融合中被排除的噪声像素。图像融合级210还包括融合模块330，用于对被排除了噪声像素的原始图像102进行融合。在一些实现中，为了更好地执行图像融合，图像融合级210还可以包括多图对齐模块310，用于在排除噪声像素之前将多个原始图像102进行对齐。下文将详细介绍在图像融合级210的各个模块中实现的功能。
多图对齐
多图对齐模块310可以将每个原始图像102对齐到同一参考图像。图像对齐能够降低在拍摄多个原始图像102期间的相机移动或运动物体对图像融合的影响，这样的影响在以不同曝光度对原始图像102进行捕获的情况中更加明显。在一些实现中，多图对齐模块310可以从多个原始图像102选择一个原始图像作为参考图像。
参考图像的选择可以是任意的。为了降低用户初始按压或触摸相机快门导致的移动或者由于场景中物体的出现或消失的影响，在选择参考图像时还可以避免选择多个原始图像102中较早或较晚被捕获的图像作为参考图像。在一个示例中，可以选择选择多个原始图像102中第二个被捕获的图像作为参考图像(例如原始图像102-2)。
在另外一些实现中，还可以选择除了多个原始图像102之外的其他图像作为参考图像。例如，可以单独拍摄同一场景的另外一个图像以作为参考图像。参考图像的尺寸可以与原始图像102的尺寸相同，但是可以从大于或小于原始图像的尺寸的原始参考图像缩放而得到。例如，以不同的尺寸拍摄原始参考图像和原始图像102，并且然后可以将原始参考图像缩放至与原始图像相同的尺寸以生成该参考图像。
可以采用各种已知的或将来待开发的图像对齐方法来实现将多个原始图像102对齐到同一参考图像。以下仅简单介绍其中一种基于单应性矩阵(homography matrix)的对齐方法。图4示出了将原始图像对齐到参考图像的示意图。在图4中，每个原始图像102被表示为Fi，其中i＝{1、......N}并且N≥2；参考图像410被表示为Fr。对于每个原始图像Fi(除了作为参考图像的原始图像之外)，首先估计从原始图像Fi到参考图像Fr的相机运动，其可以通过基于原始图像Fi和参考图像Fr确定全局单应性矩阵Hi来实现。之后，将根据单应性矩阵Hi来变形(warp)原始图像Fi。例如，可以通过将参考图像Fr的每个像素的坐标乘以单应性矩阵Hi来计算从参考图像Fr到原始图像Fi的映射。
备选地，为了节约计算开销，还可以将参考图像Fr划分为多个块(例如8×8像素的块)402，并且类似地将原始图像Fi划分成多个相同尺寸的块404。然后通过将参考图像Fr的每个块402的中心像素p乘以单应性矩阵Hi来确定该像素p在原始图像Fi中映射到的对应像素Hi×p，并且然后计算该块402的平移向量412Δp＝Hi×p-p。该平移向量412可以被用于变形原始图像Fi中的块404。对于原始图像Fi和参考图像Fr的每个块均执行类似的映射和变形，从而实现原始图像Fi到参考图像Fr的对齐。
噪声像素标识
噪声像素标识模块320确定多个原始图像102中的噪声像素，这些原始图像可能已经对齐。为了标识出噪声像素，首先确定用于每个原始图像102的像素阈值。像素阈值的确定依赖于参考图像。噪声像素标识模块320使用的参考图像具有与原始图像相同的尺寸。此外，该参考图像可以与用于在图像对齐中使用的参考图像相同，或者以类似的方式被选择或生成(例如可以被选择为多个原始图像102之一或者从不同尺寸的原始参考图像缩放而得)。
噪声像素标识模块320可以根据融合模块330中将采用的具体融合手段来确定像素阈值。通常融合模块330会在原始图像102的原始尺寸上执行图像融合，因此将在原始图像的原始分辨率上执行像素阈值的确定。
根据本公开实现方式，针对每个原始图像102，噪声像素标识模块320确定该原始图像102与参考图像的对应像素之间的像素差异。在本公开的上下文中，两个图像的“对应像素”指的是在两个图像的二维x-y空间中坐标相同的两个像素。由于原始图像102与参考图像的尺寸相同，原始图像102中的每个像素均对应于参考图像中的一个像素。因此，可以确定出每个原始图像102与参考图像的各个对应像素的像素差异。这些像素差异可以构成一张差异图。
在一些实现中，两个像素之间的像素差异可以被计算为像素的数值之间的差异。像素的数值可以由图像的色彩空间来确定。色彩空间的示例包括但不限于RGB、LAB、HSL、HSV等等。如果每个像素包括由一组数值表示，那么两个像素之间的像素差异可以被计算为两个数值集合的距离、例如欧式距离。假设原始图像102Fi中的像素p的数值被表示为Fi(p)并且参考图像Fr中的对应像素p的数值被表示为Fr(p)，那么两个像素之间的像素差异可以被表示为|Fi(p)-Fr(p)|，其中运算符号| |计算两个参数之间的差异。原始图像Fi和参考图像Fr中的对应像素p之间的像素差异构成的差异图D中的像素p的数值，即D(p)＝|Fi(p)-Fr(p)|。
在一些实现中，噪声像素标识模块320可以基于每个原始图像102与参考图像的像素差异的至少一部分的分布来确定用于该原始图像102的像素阈值。分布指的是多个像素差异的数值在统计上的变化情况。在一个实现中，可以统计这些像素差异的取值、例如统计从最小像素差异到最大像素差异之间可能的不同取值。噪声像素标识模块320将像素阈值设置为大于全部像素差异中的预定百分比(例如80％、90％或95％等)的像素差异的数值。也就是说，该像素阈值的设置可以使得相应原始图像102中至少一部分(例如20％、10％或5％)的像素被标识为噪声像素。
在另外一些实现中，由于每个原始图像102或参考图像中存在一些不期望被考虑的像素，根据这些像素计算的像素差异属于异常像素差异，不适于用于确定像素阈值。在这些实现中，噪声像素标识模块320还可以从确定的像素差异中选择出这些异常像素差异，以便于仅基于除异常像素差异之外的其余像素差异的分布来确定像素阈值。例如，可以统计其余像素差异的数值并且将像素阈值设置为大于其余像素差异中的预定百分比(例如80％、90％或95％等)的像素差异的数值。
由于过曝像素无法给出拍摄的物体的较多细节，在图像融合中可以不考虑与原始图像102或参考图像中的过曝像素有关的像素差异。在排除由于过曝导致的异常像素差异的过程中，噪声像素标识模块320可以基于原始图像或参考图像在相应像素处的亮度来确定是否给定像素差异是否属于异常像素差异。如果某个像素处的亮度过大(例如超过预定亮度阈值)，则基于该像素确定的像素差异属于异常像素差异。一个像素处的亮度可以基于该像素的数值、例如具体的色彩空间的数值来确定。
备选地或附加地，噪声像素标识模块320还可以基于像素差异本身的数值来确定异常像素差异。如果某个像素差异的数值过高，则说明原始图像102在该像素处与参考图像的对应像素的数值差异过大(例如超过预定差异阈值)。这意味着原始图像102和参考图像中的任一个图像中可能存在闪现的物体或者相机的传感器感应在该像素位置处存在感应问题。因此，由这些像素计算得到的像素差异可以被摒弃。
在另外一些实现中，由于图像中捕获的物体边缘在图像融合时难以被对齐，期望将表示物体边缘的像素作为噪声像素排除在图像融合之外。因此，噪声像素标识模块320可以将原始图像102中表示物体边缘的像素对应的像素差异也确定为异常像素差异。由于在物体边缘的区域中像素在某个方向上与邻近像素的差异往往较大，因此可以确定原始图像102的某个像素与邻近像素之间的变化，并且在变化较大的情况下将由该像素计算的像素差异确定为异常像素差异。变化的计算还可以通过计算原始图像102在该像素处朝图像的二维空间(x-y空间)中的某个方向的梯度来计算，如果梯度超过预定变化阈值，则确定对应的像素差异为异常像素差异。还可以以其他参数表示从一个像素的数值到它的相邻一个或多个像素的数值之间的变化。
以上给出了从原始图像102与参考图像的像素差异中选择异常像素差异的一些示例。在一些实现中，这些异常像素差异的选择可以通过计算针对原始图像102Fi和参考图像Fr之间的差异图D的遮罩(mask)M来从全部异常像素中选择出异常差异像素。根据以上示例，在对应像素p处的遮罩M(p)可以被确定为：
Figure BDA0001215590330000121
其中luma()表示图像的相应像素的亮度，例如luma(Fi(p))表示原始图像Fi在像素p处的亮度；|Fi(p)-Fr(p)|表示原始图像Fi和参考图像Fr在对应像素p处的像素差异；grad_x()和grad_y()表示在图像的相应像素p处的x方向或y方向的梯度；并且min()表示取grad_x()和grad_y()中的最小值。σove，σout和σedge分别表示预定亮度阈值、预定差异阈值和预定变化阈值。这些阈值可以根据经验设置为特定的数值，例如可以被设置为σove＝220，σout＝15和σedge＝24(假设像素值最高取值为256，而亮度值的最高取值为240)。当然这仅是一个具体示例，根据需要可以将这些阈值设置为任何其他数值。
根据以上公式(1)可知，M(p)＝0意味着在原始图像Fi或参考图像Fr的对应像素p处的亮度过大、像素差异过大、或者在原始图像Fi的像素p相比于邻近像素的变化过大。此时，相应的像素差异D(p)被认为是异常像素差异。如果M(p)＝1，则相应的像素差异D(p)可以在确定像素阈值中被考虑在内。应当理解，在一些实现中，可以仅选择上述三个条件中的一个或两个条件来判断噪声像素。此外，也可以设置其他条件来确定原始图像中的给定像素是否是噪声像素。
噪声像素标识模块320可以根据上述过程为每个原始图像102确定相应的像素阈值。该像素阈值可以被用于从每个原始图像102中过滤噪声像素。具体地，噪声像素标识模块320将每个像素差异与像素阈值相比较。如果该像素差异超过像素阈值，那么原始图像102中的相应像素则被标识为噪声像素。如果该像素差异未超过像素阈值，那么相应像素可以被用于图像融合。
直接平均融合
融合模块330可以基于多个原始图像中除噪声像素之外的像素来执行图像融合。可以使用多个融合方法来跨多个图像执行融合。一种简单的图像融合方法是针对多个原始图像的相应像素坐标，对除噪声像素之外的其余像素跨多个原始图像求平均。融合图像212(被表示为Fd)在像素p的数值Fd(p)可以如下确定：
Figure BDA0001215590330000131
其中
Figure BDA0001215590330000132
其中N表示原始图像102的数目，σi表示用于原始图像Fi的像素阈值。根据上述公式(2)可知，如果原始图像Fi和参考图像Fr在对应像素p处的像素差异|Fi(p)-Fr(p)|小于像素阈值σi，那么该原始图像Fi的像素的数值可以用于与其他图像做平均。如果三个原始图像102中有两个原始图像在对应像素p处与参考图像的像素差异小于像素阈值σi，那么对着两个原始图像的像素p的数值进行平均，得到融合图像212在像素p处的数值。
原始尺寸上的金字塔融合
以上逐个像素的平均融合可能会使得原始图像102中存在不同尺度的异常值难以被去除。附加地，平均融合还可能导致融合图像212的像素与像素之间或者多个区块之间的过渡不够平滑。为了提高融合图像212的质量(例如去除异常值和/或获得平滑)，在一些实现中，融合模块330可以采用其他可以实现平滑图像融合的技术，例如金字塔融合，诸如高斯(Gaussian)金字塔融合或拉普拉斯(Laplacian)金字塔融合等。可以采用已知的或将来变形的高斯金字塔融合和拉普拉斯金字塔融合技术来融合多个原始图像102。
以下仅简单介绍高斯金字塔融合过程和拉普拉斯金字塔融合过程。在采用高斯金字塔融合过程中，针对每个原始图像102，均通过不断地滤波和下采样生成一组具有不同尺寸的中间原始图像。这些中间原始图像构成一个高斯金字塔结构，高斯金字塔结构的每一层对应于一个尺寸的中间原始图像。在一些示例中，每两个层的中间原始图像的尺寸可以2倍的速度递减。
在执行融合时，将多个原始图像102的金字塔结构中相同尺寸的中间原始图像进行直接平均融合来确定中间融合图像。中间融合图像的生成与以上描述的跨多个原始图像直接求平均的融合过程类似。多个层的中间融合图像(仍然是金字塔结构)然后被用于重构融合图像。拉普拉斯金字塔融合的过程与高斯金字塔融合过程类似，只是在每个原始图像102的拉普拉斯金字塔的生成和融合图像的重构不同。高斯金字塔和拉普拉斯金字塔的层数均可以被预先定义，例如可以被定义为2、3、4、5个或更多个。
在金字塔融合过程中，由于对于每个原始图像将被变换到不同尺寸的中间原始图像，并且在不同的尺寸上执行平均融合。因此，在一些实现中，还可以由噪声像素标识模块320为每个金字塔结构中每一层的中间原始图像均确定相应的像素阈值，并且基于像素阈值从中间原始图像中标识噪声像素。假设为给定原始图像Fi生成c层的金字塔结构，每一层的中间原始图像可以被表示为
Figure BDA0001215590330000141
可以为每个中间原始图像
Figure BDA0001215590330000142
确定相应的中间像素阈值
Figure BDA0001215590330000143
中间像素阈值
Figure BDA0001215590330000144
的计算可以类似于以上在原始图像102的原始尺寸基础上对像素阈值σl的确定过程，在此不再赘述。注意，为了确定中间像素阈值
Figure BDA0001215590330000145
还可以以与原始图像的处理类似的过程为参考图像生成类似的金字塔结构，以便于基于与每个中间原始图像具有相同尺寸的中间参考图像计算中间像素阈值
Figure BDA0001215590330000146
如上文所述，可以将金字塔的每一层的中间原始图像进行平均融合时，以获得该层的中间融合图像。这类似于以上原始图像102的直接融合过程，被表示为如下：
Figure BDA0001215590330000151
其中
Figure BDA0001215590330000152
其中
Figure BDA0001215590330000153
表示金字塔的第l层的融合图像
Figure BDA0001215590330000154
中的像素p；
Figure BDA0001215590330000155
表示原始图像Fi的金字塔的第l层的中间原始图像
Figure BDA0001215590330000156
的像素p；
Figure BDA0001215590330000157
表示参考图像Fr的金字塔的第l层的中间原始图像
Figure BDA0001215590330000158
的像素p；并且
Figure BDA0001215590330000159
表示用于第l层的中间原始图像
Figure BDA00012155903300001510
的像素阈值。根据公式(3)，中间原始图像
Figure BDA00012155903300001511
与中间参考图像
Figure BDA00012155903300001512
的像素p之间的像素差异小于该像素阈值
Figure BDA00012155903300001513
时，中间原始图像
Figure BDA00012155903300001514
的像素p被用于融合。多个原始图像102的金字塔结构的每个层的中间融合图像
Figure BDA00012155903300001515
被用于生成融合图像212。
混合融合
以上讨论了从原始图像102的原始尺寸基础上构建金字塔结构以执行融合。在另外一些实现中，为了降低计算开销和提高处理速度，融合模块330可以不从原始图像102的原始尺寸开始执行金字塔融合，而是可以在原始图像102的原始尺寸上只执行以上描述的简单平均融合。然后，将原始图像102和参考图像缩小到预定尺寸，并且在该预定尺寸的基础上执行金字塔融合。最终的融合图像212基于这两种融合得到的结果来确定。这样的混合融合不仅能够使得融合图像212平滑而且还可以达到快速处理的目的，从而适合于在诸如智能手机、相机之类具有有限处理能力的终端中实现。
图5示出了混合融合的示意图，其中示出了在原始图像102的原始尺寸上执行平均融合的第一图像融合层501和在缩小尺寸上执行金字塔融合的第二图像融合层502。在第一图像融合层501中，图像融合级210中的噪声像素标识模块320按照以上讨论的直接平均融合过程来确定多个原始图像(102-1…102-N)的像素阈值，并且融合模块330在标识出噪声像素后对其余像素跨这些原始图像求平均，以生成第一中间融合图像518。
在第二图像融合层502中，每个原始图像102-1、102-2、…102-N(表示为Fi)被缩小，以生成对应的缩略图像520、522、524(表示为Fi↓)。在一些示例中，可以将每个原始图像102缩小为原始尺寸的1/2、1/4或1/16等。然后，可以对多个缩小原始图像执行金字塔融合、例如高斯金字塔融合或拉普拉斯金字塔融合。图5示出了拉普拉斯金字塔融合的一个示例。
在该示例中，针对每个缩略原始图像520、522、524，构建具有三层的拉普拉斯金字塔结构504，每个金字塔结构包括一组具有不同尺寸的中间缩略图像。例如，针对缩略原始图像520，可以生成与图像520尺寸相同的中间缩略图像530、比图像520的尺寸缩小一半的中间缩略图像540和比图像520的尺寸缩小1/4的中间缩略图像550。针对原始图像522和524，也可以生成具有同样的三个尺寸的中间缩略图像，即缩略图像532至552和缩略图像534至554。在其他示例中，还可以为每个缩略原始图像构建具有更多或更少层的金字塔结构。
与以上关于原始图像102描述的金字塔融合过程类似，在第二图像融合层502中，可以由噪声像素标识模块320在金字塔结构的不同层中确定针对每个中间缩略图像确定对应的中间像素阈值以用于从中标识噪声像素。在融合时，可以由融合模块330基于以上公式(3)来生成金字塔的每一层的融合结果538、548和558，这些融合结果可以用于重构第二融合层502的第二中间融合图像528。第二中间融合图像528具有与缩略原始图像520、522和524相同的尺寸。
融合模块330基于第一和第二中间融合图像518和528来确定多个原始图像102的融合图像212。在一些实现中，由于第一和第二中间融合图像518和528具有不同的尺寸，可以采用类似高斯或拉普拉斯金字塔融合的方法来实现这两个不同尺寸的图像的融合。具体地，可以从具有原始尺寸的第一中间融合图像518生成具有不同尺寸的图像以构成金字塔结构。然后，将金字塔结构中与第二中间融合图像528的尺寸相同的图像替换为第二中间融合图像528。例如，如果第二中间融合图像528的尺寸是原始图像102的尺寸的1/16并且在金字塔结构中层与层之间以2倍的速度降低分辨率，那么第二中间融合图像528可以替换金字塔结构中从下往上第三层的图像。在替换之后，按照金字塔融合的常规重构方法生成融合图像212。
在一些实现中，由于混合融合中的金字塔融合(即第二融合层502)中将会产生原始图像102在不同尺寸上的中间像素阈值。这些中间像素还可以进一步用于指导在原始图像102的噪声像素的标识。也就是说，对于原始图像Fi，可以不仅基于它的像素阈值σi，还基于从与该原始图像Fi对应的缩略原始图像Fi↓生成的某个中间缩略图像的中间像素阈值来确定噪声像素。在一些实现中，如果原始图像Fi与参考图像的对应像素之间的像素差异超过像素阈值σi，则进一步基于用于中间缩略图像的中间像素阈值来判断是否可以将原始图像Fi中的相应像素标识为噪声像素。
具体地，假设中间缩略图像被表示为
Figure BDA0001215590330000171
其表示从缩略原始图像Fi↓生成的金字塔结构中第l层的中间缩略图像
Figure BDA0001215590330000172
并且它的中间像素阈值可以被表示为
Figure BDA0001215590330000173
对于给定原始图像Fi中的给定像素，可以首先确定它在中间缩略图像
Figure BDA0001215590330000174
中的对应像素。例如，如果中间缩略图像
Figure BDA0001215590330000175
的尺寸是原始图像Fi的尺寸1/4，对于给定原始图像Fi中的给定像素p1，它在中间缩略图像
Figure BDA0001215590330000176
的对应像素p2的坐标值像素p1的坐标值(在图像二维x-y空间中坐标表示)的1/4。
在确定出中间缩略图像
Figure BDA0001215590330000177
中的对应像素p2之后，确定该像素p2与具有相同尺寸的中间参考图像
Figure BDA0001215590330000178
中的对应像素p2之间的像素差异。如果该像素差异小于对应的中间像素阈值
Figure BDA0001215590330000179
则原始图像Fi中的像素p1不是噪声像素。如果与像素p2有关的像素差异超过中间像素阈值
Figure BDA00012155903300001710
或者如果与像素p1有关的像素差异超过像素阈值σi，则确定原始图像Fi中的像素p1是噪声像素。在一些实现中，可以从缩略图像
Figure BDA00012155903300001711
的金字塔结构中选择任一层的中间缩略图像
Figure BDA00012155903300001712
的中间像素阈值
Figure BDA00012155903300001713
来指导原始图像Fi中的噪声像素的确定。
以两个阈值来标识原始图像Fi中的像素p1是否为噪声像素的示例可以被表示为如下：
Figure BDA0001215590330000181
其中wi＝1，则意味着原始图像Fi中的像素p1不是噪声像素，而wi＝0，则意味着原始图像Fi中的像素p1是噪声像素。
以上讨论了在图像融合级210中的各种图像融合的实现。如已经提及的，在一些情况中，图像融合级210输出的融合图像212可以被认为是HDR图像。在另外一些情况中，例如在为了更好地图像对齐和去噪而以低曝光度捕获原始图像102的情况中，还可以进一步处理融合图像212(例如执行色调映射)以获得亮度范围更大的HDR图像。
色调映射
图6示出了图2中的色调映射级220的具体框图。色调映射的主要目的是为了调整或校正图像融合级210输出的融合图像212的曝光度。如图6所示，色调映射级220包括曝光调整模块610，用于基于具有预定曝光度的参考图像602来调整融合图像212的曝光度，以获得经调整图像612。此外，色调映射级220还包括曝光融合模块620，用于基于经调整图像612生成HDR图像104。
在色调映射过程中使用的参考图像602可以不同于图像融合过程中使用的参考图像。在一些实现中，参考图像602可以是在捕获多个原始图像102之前由相机152采集到的与原始图像102相同的场景的预览图像。该预览图像的曝光度可以是相机152根据场景的光线和聚焦区域自动调整的曝光度，或者可以是用户设定的曝光度。这样的曝光度高于捕获原始图像102所使用的曝光度，并且能够呈现出较好的全局场景曝光情况。由于预览图像的曝光情况是经用户确认的，因此基于该预览图像的曝光度对融合图像212进行调整，可以使得生成的HDR图像104具有用户较为满意的全局曝光。
预览图像602可以由相机152自动获取和存储，但是其尺寸小于可能由相机正常捕获的原始图像102，并且因此也小于融合图像212的尺寸。为了执行曝光调整，曝光调整模块610首先将融合图像212的尺寸改变为与预览图像602相同。备选地，参考图像602可以是由相机152以预定曝光度(例如自动调整的曝光度)拍摄的与原始图像102的场景相同的图像(例如在原始图像102的捕获之前或之后采集到的图像)。在这种情况下，参考图像602的尺寸与原始图像102的尺寸(并且因此与融合图像212的尺寸)相同，并且因此不需要执行对融合图像212的缩放。当然，还可以采用其他能够引导原始图像102的场景的全局或局部曝光的图像作为参考图像602，并且根据需要将融合图像212缩放为与参考图像602相同的尺寸。
为了使得参考图像602可以正确改变融合图像212或者被缩放后的融合图像212的曝光度，在一些实现中，还可以将融合图像212对齐到参考图像602。两个图像对齐的具体方法可以采用以上在图像融合过程中描述的多图对齐方法。在另外一些实现中，相较于图像融合中的图像对齐，在色调映射中的参考图像602与融合图像212的对齐可以无需太过精确。可以采用一些简单的图像对齐方法将融合图像212对齐到参考图像602。
对于将参考图像602和融合图像212对齐之后，曝光调整模块610可以使得融合图像212与参考图像602的曝光度类似。这可以采用例如直方图均衡化(histogramequalization)的方法来实现。具体地，曝光调整模块610可以基于参考图像602来调整融合图像212中某些像素的数值。在一些实现中，由于参考图像602与融合图像212呈现的是不同时刻的场景，因此曝光调整模块610还要处理两个图像中不一致的像素。曝光调整模块610可以确定融合图像212与参考图像602的对应像素之间的像素差异(例如像素的数值之间的欧式距离)，然后将该像素差异与预定差异阈值进行比较。如果像素差异低于预定差异阈值，则用参考图像602的相应像素替换融合图像212中的像素。如果像素差异大于预定差异阈值，则保留融合图像212中的像素不变。这个过程可以被表示为如下：
Figure BDA0001215590330000201
其中R0(p)表示参考图像602的像素p；F′d↓(p)表示经缩小且与参考图像602对齐后的融合图像212的像素p；R1(p)表示像素替换之后的经调整图像；并且σout表示预定差异阈值。预定差异阈值σout可以根据经验被设置为任意数值、例如10、15、20等(假设像素的最高取值为256)，用于排除两个图像中由于相机移动或物体移动等导致的不一致的异常像素。
在一些实现中，由于被替换有参考图像602的像素，过滤掉异常值之后的图像R1(p)的可能存在一些过曝像素。因此，曝光调整模块610还可以基于欠曝的融合图像212来调整图像R1(p)中的某些像素的亮度。具体地，曝光调整模块610可以调整图像R1(p)中亮度过高(例如高于预定亮度阈值)的像素(例如过曝像素)，例如对这些像素进行平滑处理。还可以来调整过曝像素。例如，可以将融合图像212的给定像素的数值与图像R1(p)的给定像素的数值进行加权，以得到新的像素值。这可以被表示为如下：
R2(p)＝(1-α)×R1(p)+α×Fd↓(p) (6)
其中Fd↓(p)表示经缩小的融合图像212(但未与参考图像602对齐(即未受参考图像602影响))的像素p，并且α表示从0到1取值的权值。
在一个实现中，用于线性加权的权值α可以是0到1范围内的任何预定值。在另一些实现中，为了获得过曝像素的更平滑过度，α可以由平滑步长函数来确定，以将α限制为仅对图像R1(p)中亮度较大的过曝像素进行平滑。α的平滑步长函数可以被表示为如下：
α＝smoothstep(a,b,luma(R1(p))) (7)
其中luma(R1(p))表示图像R1(p)在像素p处的亮度，a和b可以被确定为较大的亮度值并且b大于a，例如a＝200和b＝220(假设亮度最高取值为240)。当然a和b还可以去被设置为其他亮度值。公式(7)的smoothstep()函数表示当R1(p)小于a时，α＝0；当R1(p)大于b时，α＝1；当R1(p)在a和b之间时，可以α被取值为0到1之间的值并且该值可以由R1(p)的具体大小决定。当R1(p)越接近于b，则α则越接近于1。这样设置的α可以实现仅对过曝像素进行平滑。
在另外一些实现中，曝光调整模块610还可以备选地或附加地对曝光调整后的图像R1(p)或图像R2(p)进行进一步曝光校正。例如，可以采用多种已知或将来待开发的自动曝光校正的技术来进一步增强图像中的暗部区域或亮部区域的细节。曝光调整模块610输出经调整图像612。由于曝光调整模块610中对融合图像212进行逐像素的调整，因此经调整图像612可以呈现良好的全局曝光，但是可能某些像素或区块之间的平滑度不够，因此可以在曝光融合模块620中进一步优化，以获得更高质量的图像。
曝光融合模块620可以基于经调整图像612来进行融合图像212的处理。在一些实现中，曝光融合模块620可以通过比较经调整图像612的亮度与融合图像212的亮度，来确定用于融合图像212中的各个像素的亮度权值图。在经调整图像612尺寸与融合图像212的尺寸不一致的情况中(例如经调整图像612小于融合图像212)，可以首先将经调整图像612缩放为与融合图像212一致。针对融合图像212的每个像素，比较缩放后的经调整图像(被表示为612’)在对应像素的亮度与融合图像212在该像素的亮度，获得相应的亮度权值。这可以被表示为：
W(p)＝luma(R3↑(p))/luma(Fd(p)) (8)
其中Fd(p)表示初始的融合图像212(即从图像融合级210接收到的融合图像)的像素p；R3↑(p)表示缩放(例如放大)后与融合图像Fd(p)相同尺寸的经调整图像的像素p；luma()表示像素R3↑(p)或Fd(p)处的亮度；并且W(p)表示在亮度权值图W的像素p处的数值。
曝光融合模块620可以通过将亮度权值图W与融合图像Fd 212进行融合来生成HDR图像104。在一些实现中，简单地将W(p)与融合图像212的相应像素p的数值Fd(p)相乘来确定HDR图像104的像素p。由于这样的简单融合可能导致诸如图像中的缝隙之类的误差，在另外一些实现中，曝光融合模块620可以采用金字塔融合来实现亮度权值图W与融合图像Fd的融合，以便于在不同尺寸上将亮度权值施加到融合图像上。
图7图示了这样的金字塔融合的实现方式。如所示出的，从融合图像Fd 212生成一组具有不同尺寸的中间融合图像720、730和740，这些图像组成金字塔结构(例如拉普拉斯或高斯金字塔)。还从亮度权值图W 712生成一组具有与中间融合图像720、730和740的尺寸分别相同的中间亮度权值图722、732和742。为了保留亮度权值图中的亮度权值，可以对亮度权值图W 712构建高斯金字塔而不是拉普拉斯金字塔。
曝光融合模块620可以将两个金字塔中具有相同尺寸的中间融合图像和中间亮度权值图进行相乘、例如将对应像素的数值求乘积，从而生成中间融合图像724、734和744。拉普拉斯金字塔和高斯金字塔的融合产生拉普拉斯金字塔。也就是说，中间融合图像724、734和744构成了另一个拉普拉斯金字塔。因此，可以对中间融合图像724、734和744采用拉普拉斯金字塔重构，生成HDR图像104。
以上描述了在色调映射级220中基于具有预定曝光度的参考图像来执行色调映射。在另外一些实现中，还可以采用其他方法来调整融合图像212的曝光度，以实现对融合图像212的欠曝的优化。例如，可以简单地将融合图像212的全局曝光度提高预定量。备选地或附加地，还可以通过机器学习等手段针对不同场景或物体分析恰当的曝光度，从而对融合图像212的不同区域(暗部区域和亮部区域等)进行不同的曝光度调整。本公开范围在此方面不受限制，只要能够将欠曝的融合图像212的曝光度提高到合适水平即可。在其他的实现中，也可以不必要对融合图像212执行曝光调整，而是执行其他处理来获得对应的HDR图像。
示例过程
图8示出了根据本公开一些实现的图像融合的过程800的流程图。过程800可以由计算设备100来实现，例如可以被实现为计算设备100的存储器120中的模块122。
在810，计算设备100获取场景的多个原始图像和第一参考图像。多个原始图像与第一参考图像具有相同尺寸。可以由计算设备100的相机152现场捕获多个原始图像或者可以由其他通信单元150或通信单元140从其他源获得这些原始图像。在一些实现方式中，原始图像的曝光度可以相同，并且可以低于用户选择的相机的预定曝光度。在一些实现方式中，可以选择多个原始图像之一作为第一参考图像。
在820，计算设备100基于第一参考图像来融合多个原始图像以获得融合图像。该融合包括针对多个原始图像中的每一个：确定该原始图像与第一参考图像的对应像素之间的像素差异，基于像素差异的至少一部分的分布来确定用于该原始图像的像素阈值，以及通过将像素差异与像素阈值相比较，来标识该原始图像中将在融合中被排除的噪声像素。
在一些实现方式中，确定像素阈值可以包括基于以下至少一项从像素差异中选择异常像素差异：原始图像在相应像素处的亮度，述第一参考图像在相应像素处的亮度，像素差异的数值，以及原始图像的相应像素与邻近像素之间的变化；以及基于除异常像素差异之外的其余像素差异的分布来确定像素阈值。
在一些实现方式中，原始图像的融合还可以包括通过对除噪声像素之外的其余像素跨多个原始图像求平均，以生成第一中间融合图像；缩小多个原始图像以生成多个缩略原始图像；缩小第一参考图像以生成缩略参考图像；基于缩略参考图像来融合多个缩略原始图像，以生成第二中间融合图像；以及基于第一中间融合图像和第二中间融合图像生成融合图像。
在一些实现方式中，融合多个缩略原始图像可以包括从缩略参考图像生成一组具有不同尺寸的中间参考图像；以及
针对多个缩略原始图像中的每一个：从该缩略原始图像生成一组具有不同尺寸的中间缩略图像，以及基于中间参考图像来融合中间缩略图像，以用于第二中间融合图像的生成。
在一些实现方式中，融合中间缩略图像可以包括针对中间缩略图像中的每一个：确定该中间缩略图像与相同尺寸的中间参考图像的对应像素之间的中间像素差异，基于中间像素差异的至少一部分的分布来确定用于该中间缩略图像的中间像素阈值，以及通过将中间像素差异与中间像素阈值相比较，来标识该中间缩略图像中将在中间缩略图像的融合中被排除的噪声像素。
在一些实现方式中，标识原始图像中的噪声像素还可以包括：对于原始图像中的第一像素，在从与原始图像对应的缩略原始图像生成的给定中间缩略图像中，确定与第一像素对应的第二像素；确定第二像素与中间参考图像中的给定中间参考图像的对应像素之间的像素差异是否超过中间像素阈值，给定中间参考图像与给定中间缩略图像具有相同尺寸；以及响应于第二像素与对应像素之间的像素差异超过中间像素阈值，将原始图像的第一像素标识为噪声像素。
图9示出了根据本公开一些实现的色调映射过程900的流程图。过程900可以由计算设备100来实现，例如可以被实现为计算设备100的存储器120中的模块122。在910，计算设备100获取具有预定曝光度的第二参考图像。第二参考图像的预定曝光度可以高于原始图像的同一曝光度，并且第二参考图像可以不同于第一参考图像。在920，计算设备100基于第二参考图像来调整融合图像的曝光度以获得经调整图像。在930，计算设备100基于经调整图像来生成HDR图像。
在一些实现方式中，调整融合图像的曝光度可以包括以下至少一项：响应于融合图像与第二参考图像的对应像素之间的像素差异低于预定差异阈值，将融合图像的像素替换为第二参考图像的像素；以及调整融合图像中亮度大于预定亮度阈值的像素的数值。
在一些实现方式中，生成HDR图像可以包括通过比较经调整图像的亮度与融合图像的亮度，来确定用于融合图像中的像素的亮度权值图；以及融合亮度权值图和融合图像以生成HDR图像。
在一些实现方式中，获取第二参考图像可以包括获取在捕获多个原始图像之前采集到的场景的预览图像作为第二参考图像。
示例实现方式
以下列出了本公开的一些示例实现方式。
在一方面，本公开提供了一种计算机实施的方法，包括：获取场景的多个原始图像和第一参考图像，所述多个原始图像与所述第一参考图像具有相同尺寸；以及基于所述第一参考图像来融合所述多个原始图像以获得融合图像，所述融合包括针对所述多个原始图像中的每一个：确定该原始图像与所述第一参考图像的对应像素之间的像素差异，基于所述像素差异的至少一部分的分布来确定用于该原始图像的像素阈值，以及通过将所述像素差异与所述像素阈值相比较，来标识该原始图像中将在所述融合中被排除的噪声像素。
在一些实现方式中，确定所述像素阈值包括：基于以下至少一项从所述像素差异中选择异常像素差异：原始图像在相应像素处的亮度，所述第一参考图像在相应像素处的亮度，所述像素差异的数值，以及原始图像的相应像素与邻近像素之间的变化；以及基于除所述异常像素差异之外的其余像素差异的分布来确定所述像素阈值。
在一些实现方式中，所述融合还包括：通过对除所述噪声像素之外的其余像素跨所述多个原始图像求平均，以生成第一中间融合图像；缩小所述多个原始图像以生成多个缩略原始图像；缩小所述第一参考图像以生成缩略参考图像；基于所述缩略参考图像来融合所述多个缩略原始图像，以生成第二中间融合图像；以及基于所述第一中间融合图像和所述第二中间融合图像生成所述融合图像。
在一些实现方式中，融合所述多个缩略原始图像包括：从所述缩略参考图像生成一组具有不同尺寸的中间参考图像；以及针对所述多个缩略原始图像中的每一个：从该缩略原始图像生成具有所述不同尺寸的一组中间缩略图像，以及基于所述中间参考图像来融合所述中间缩略图像，以用于所述第二中间融合图像的生成。
在一些实现方式中，融合所述中间缩略图像包括：针对所述中间缩略图像中的每一个：确定该中间缩略图像与相同尺寸的中间参考图像的对应像素之间的中间像素差异，基于所述中间像素差异的至少一部分的分布来确定用于该中间缩略图像的中间像素阈值，以及通过将所述中间像素差异与所述中间像素阈值相比较，来标识该中间缩略图像中将在所述中间缩略图像的融合中被排除的噪声像素。
在一些实现方式中，标识原始图像中的噪声像素还包括：对于所述原始图像中的第一像素，在从与所述原始图像对应的缩略原始图像生成的给定中间缩略图像中，确定与所述第一像素对应的第二像素；确定所述第二像素与中间参考图像中的给定中间参考图像的对应像素之间的像素差异是否超过所述中间像素阈值，所述给定中间参考图像与所述给定中间缩略图像具有相同尺寸；以及响应于所述第二像素与所述对应像素之间的所述像素差异超过所述中间像素阈值，将所述原始图像的所述第一像素标识为噪声像素。
在一些实现方式中，所述方法进一步包括：获取具有预定曝光度的第二参考图像；基于所述第二参考图像来调整所述融合图像的曝光度以获得经调整图像；以及基于所述经调整图像来生成高动态范围图像。
在一些实现方式中，调整所述融合图像的曝光度包括以下至少一项：响应于所述融合图像与所述第二参考图像的对应像素之间的像素差异低于预定差异阈值，将所述融合图像的所述像素替换为所述第二参考图像的所述像素；以及调整所述融合图像中亮度大于预定亮度阈值的像素的数值。
在一些实现方式中，生成所述高动态范围图像包括：通过比较所述经调整图像的亮度与所述融合图像的亮度，来确定用于所述融合图像中的像素的亮度权值图；以及融合所述亮度权值图和所述融合图像以生成所述高动态范围图像。
在一些实现方式中，获取所述第二参考图像包括：获取在捕获所述多个原始图像之前采集到的所述场景的预览图像作为所述第二参考图像。
在一些实现方式中，获取所述多个原始图像包括：获取具有同一曝光度的所述多个原始图像，所述同一曝光度低于所述第二参考图像的所述预定曝光度。
在一些实现方式中，获取所述第一参考图像包括：选择所述多个原始图像之一作为所述第一参考图像。
在一方面，本公开提供了一种设备，包括处理单元；以及存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行以下动作：获取场景的多个原始图像和第一参考图像，所述多个原始图像与所述第一参考图像具有相同尺寸；以及基于所述第一参考图像来融合所述多个原始图像以获得融合图像，所述融合包括针对所述多个原始图像中的每一个：确定该原始图像与所述第一参考图像的对应像素之间的像素差异，基于所述像素差异的至少一部分的分布来确定用于该原始图像的像素阈值，以及通过将所述像素差异与所述像素阈值相比较，来标识该原始图像中将在所述融合中被排除的噪声像素。
在一些实现方式中，确定所述像素阈值包括：基于以下至少一项从所述像素差异中选择异常像素差异：原始图像在相应像素处的亮度，所述第一参考图像在相应像素处的亮度，所述像素差异的数值，以及原始图像的相应像素与邻近像素之间的变化；以及基于除所述异常像素差异之外的其余像素差异的分布来确定所述像素阈值。
在一些实现方式中，所述融合还包括：通过对除所述噪声像素之外的其余像素跨所述多个原始图像求平均，以生成第一中间融合图像；缩小所述多个原始图像以生成多个缩略原始图像；缩小所述第一参考图像以生成缩略参考图像；基于所述缩略参考图像来融合所述多个缩略原始图像，以生成第二中间融合图像；以及基于所述第一中间融合图像和所述第二中间融合图像生成所述融合图像。
在一些实现方式中，融合所述多个缩略原始图像包括：从所述缩略参考图像生成一组具有不同尺寸的中间参考图像；以及针对所述多个缩略原始图像中的每一个：从该缩略原始图像生成具有所述不同尺寸的一组中间缩略图像，以及基于所述中间参考图像来融合所述中间缩略图像，以用于所述第二中间融合图像的生成。
在一些实现方式中，融合所述中间缩略图像包括：针对所述中间缩略图像中的每一个：确定该中间缩略图像与相同尺寸的中间参考图像的对应像素之间的中间像素差异，基于所述中间像素差异的至少一部分的分布来确定用于该中间缩略图像的中间像素阈值，以及通过将所述中间像素差异与所述中间像素阈值相比较，来标识该中间缩略图像中将在所述中间缩略图像的融合中被排除的噪声像素。
在一些实现方式中，标识原始图像中的噪声像素还包括：对于所述原始图像中的第一像素，在从与所述原始图像对应的缩略原始图像生成的给定中间缩略图像中，确定与所述第一像素对应的第二像素；确定所述第二像素与中间参考图像中的给定中间参考图像的对应像素之间的像素差异是否超过所述中间像素阈值，所述给定中间参考图像与所述给定中间缩略图像具有相同尺寸；以及响应于所述第二像素与所述对应像素之间的所述像素差异超过所述中间像素阈值，将所述原始图像的所述第一像素标识为噪声像素。
在一些实现方式中，所述方法进一步包括：获取具有预定曝光度的第二参考图像；基于所述第二参考图像来调整所述融合图像的曝光度以获得经调整图像；以及基于所述经调整图像来生成高动态范围图像。
在一些实现方式中，调整所述融合图像的曝光度包括以下至少一项：响应于所述融合图像与所述第二参考图像的对应像素之间的像素差异低于预定差异阈值，将所述融合图像的所述像素替换为所述第二参考图像的所述像素；以及调整所述融合图像中亮度大于预定亮度阈值的像素的数值。
在一些实现方式中，生成所述高动态范围图像包括：通过比较所述经调整图像的亮度与所述融合图像的亮度，来确定用于所述融合图像中的像素的亮度权值图；以及融合所述亮度权值图和所述融合图像以生成所述高动态范围图像。
在一些实现方式中，获取所述第二参考图像包括：获取在捕获所述多个原始图像之前采集到的所述场景的预览图像作为所述第二参考图像。
在一些实现方式中，获取所述多个原始图像包括：获取具有同一曝光度的所述多个原始图像，所述同一曝光度低于所述第二参考图像的所述预定曝光度。
在一些实现方式中，获取所述第一参考图像包括：选择所述多个原始图像之一作为所述第一参考图像。
在一方面，本公开提供了一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备：获取场景的多个原始图像和第一参考图像，所述多个原始图像与所述第一参考图像具有相同尺寸；以及基于所述第一参考图像来融合所述多个原始图像以获得融合图像，所述融合包括针对所述多个原始图像中的每一个：确定该原始图像与所述第一参考图像的对应像素之间的像素差异，基于所述像素差异的至少一部分的分布来确定用于该原始图像的像素阈值，以及通过将所述像素差异与所述像素阈值相比较，来标识该原始图像中将在所述融合中被排除的噪声像素。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种计算机实施的方法(800、900)，包括：
获取(810)场景的多个原始图像(102-1…102-N)和第一参考图像(102-2)，所述多个原始图像(102-1…102-N)与所述第一参考图像(102-2)具有相同尺寸；以及
基于所述第一参考图像(102-2)来融合(820)所述多个原始图像(102-1…102-N)以获得融合图像(212)，所述融合(820)包括针对所述多个原始图像(102-1…102-N)中的每一个：
确定该原始图像与所述第一参考图像的对应像素之间的像素差异，
基于所述像素差异的至少一部分的分布来确定用于该原始图像的像素阈值，
通过将所述像素差异与所述像素阈值相比较，来标识该原始图像中将在所述融合中被排除的噪声像素，以及
将该原始图像的所述噪声像素从所述融合中排除。
2.根据权利要求1所述的方法(800、900)，其中确定所述像素阈值包括：
基于以下至少一项从所述像素差异中选择异常像素差异：
原始图像(102-1…102-N)在相应像素处的亮度，
所述第一参考图像(102-2)在相应像素处的亮度，
所述像素差异的数值，以及
原始图像(102-1…102-N)的相应像素与邻近像素之间的变化；以及
基于除所述异常像素差异之外的其余像素差异的分布，来确定所述像素阈值。
3.根据权利要求1所述的方法(800、900)，其中所述融合(820)还包括：
对除所述噪声像素之外的其余像素跨所述多个原始图像(102-1…102-N)求平均，以生成第一中间融合图像(518)；
缩小所述多个原始图像(102-1…102-N)以生成多个缩略原始图像(520…524)；
缩小所述第一参考图像(102-2)以生成缩略参考图像(522)；
基于所述缩略参考图像(522)来融合所述多个缩略原始图像(520…524)，以生成第二中间融合图像(528)；以及
基于所述第一中间融合图像(518)和所述第二中间融合图像(528)生成所述融合图像。
4.根据权利要求3所述的方法(800、900)，其中融合所述多个缩略原始图像(520…524)包括：
从所述缩略参考图像(522)生成一组具有不同尺寸的中间参考图像(532、542、552)；以及
针对所述多个缩略原始图像(520…524)中的每一个：
从该缩略原始图像生成一组具有所述不同尺寸的中间缩略图像(530、540、550；532、542、552；543、544、554)，以及
基于所述中间参考图像(532、542、552)融合所述中间缩略图像(530、540、550；532、542、552；543、544、554)，以用于所述第二中间融合图像(528)的生成。
5.根据权利要求4所述的方法，其中融合所述中间缩略图像(530、540、550；532、542、552；543、544、554)包括：
针对所述中间缩略图像(530、540、550；532、542、552；543、544、554)中的每一个：
确定该中间缩略图像与相同尺寸的中间参考图像的对应像素之间的中间像素差异，
基于所述中间像素差异的至少一部分的分布来确定用于该中间缩略图像的中间像素阈值，以及
通过将所述中间像素差异与所述中间像素阈值相比较，来标识该中间缩略图像中将在所述中间缩略图像的融合中被排除的噪声像素。
6.根据权利要求5所述的方法(800、900)，其中标识原始图像(102-1…102-N)中的噪声像素还包括：
对于所述原始图像(102-1…102-N)中的第一像素，在从与所述原始图像(102-1…102-N)对应的缩略原始图像(520…524)生成的给定中间缩略图像(530、540、550、532、542、552、543、544、554)中，确定与所述第一像素对应的第二像素；
确定所述第二像素与所述中间参考图像中的给定中间参考图像(532、542、552)的对应像素之间的像素差异，所述给定中间参考图像(532、542、552)与所述给定中间缩略图像(530、540、550、532、542、552、543、544、554)具有相同尺寸；以及
响应于所述第二像素与所述对应像素之间的所述像素差异超过所述中间像素阈值，将所述原始图像(102-1…102-N)中的所述第一像素标识为噪声像素。
7.根据权利要求1所述的方法(800、900)，进一步包括：
获取(910)具有预定曝光度的第二参考图像(602)；
基于所述第二参考图像(602)来调整(920)所述融合图像(212)的曝光度以获得经调整图像(612)；以及
基于所述经调整图像(612)来生成(930)高动态范围(HDR)图像(104)。
8.根据权利要求7所述的方法(800、900)，其中调整所述融合图像(212)的曝光度包括以下至少一项：
响应于所述融合图像(212)与所述第二参考图像(602)的对应像素之间的像素差异低于预定差异阈值，将所述融合图像(212)的所述像素替换为所述第二参考图像(602)的所述像素；以及
调整所述融合图像(212)中亮度大于预定亮度阈值的像素的数值。
9.根据权利要求7所述的方法(800、900)，其中生成所述HDR图像(104)包括：
通过比较所述经调整图像(612)的亮度与所述融合图像的亮度，来确定用于所述融合图像(212)中的像素的亮度权值图(712)；以及
融合所述亮度权值图(712)和所述融合图像(212)以生成所述HDR图像(104)。
10.根据权利要求7所述的方法(800、900)，其中获取所述第二参考图像(602)包括：
获取在捕获所述多个原始图像(102-1…102-N)之前采集到的所述场景的预览图像作为所述第二参考图像(602)。
11.根据权利要求7所述的方法(800、900)，其中获取所述多个原始图像(102-1…102-N)包括：
获取具有同一曝光度的所述多个原始图像(102-1…102-N)，所述同一曝光度低于所述第二参考图像(602)的所述预定曝光度。
12.根据权利要求1所述的方法(800、900)，其中获取所述第一参考图像包括：
选择所述多个原始图像(102-1…102-N)之一作为所述第一参考图像。
13.一种电子设备(100)，包括：
处理单元(110)；以及
存储器(120)，耦合至所述处理单元(110)并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行以下动作：
获取(810)场景的多个原始图像(102-1…102-N)和第一参考图像(102-2)，所述多个原始图像(102-1…102-N)与所述第一参考图像(102-2)具有相同尺寸；以及
基于所述第一参考图像(102-2)来融合(820)所述多个原始图像(102-1…102-N)以获得融合图像(212)，所述融合包括针对所述多个原始图像(102-1…102-N)中的每一个：
确定该原始图像与所述第一参考图像的对应像素之间的像素差异，
基于所述像素差异的至少一部分的分布来确定用于该原始图像的像素阈值，
通过将所述像素差异与所述像素阈值相比较，来标识该原始图像中将在所述融合中被排除的噪声像素，以及
将该原始图像的所述噪声像素从所述融合中排除。
14.根据权利要求13所述的设备(100)，其中确定所述像素阈值包括：
基于以下至少一项从所述像素差异中选择异常像素差异：
原始图像(102-1…102-N)在相应像素处的亮度，
所述第一参考图像(102-2)在相应像素处的亮度，
所述像素差异的数值，以及
原始图像(102-1…102-N)的相应像素与邻近像素之间的变化；以及
基于除所述异常像素差异之外的其余像素差异的分布，来确定所述像素阈值。
15.根据权利要求13所述的设备(100)，其中所述融合(820)还包括：
通过对除所述噪声像素之外的其余像素跨所述多个原始图像(102-1…102-N)求平均，以生成第一中间融合图像(518)；
缩小所述多个原始图像(102-1…102-N)以生成多个缩略原始图像(520…524)；
缩小所述第一参考图像(102-2)以生成缩略参考图像(522)；
基于所述缩略参考图像(522)来融合所述多个缩略原始图像(520…524)，以生成第二中间融合图像(528)；以及
基于所述第一中间融合图像(518)和所述第二中间融合图像(528)生成所述融合图像。
16.根据权利要求15所述的设备(100)，其中融合所述多个缩略原始图像(520…524)包括：
从所述缩略参考图像(522)生成一组具有不同尺寸的中间参考图像(532、542、552)；以及
针对所述多个缩略原始图像(520…524)中的每一个：
从该缩略原始图像生成具有所述不同尺寸的一组中间缩略图像(530、540、550；532、542、552；543、544、554)，以及
基于所述中间参考图像(532、542、552)来融合所述中间缩略图像(530、540、550；532、542、552；543、544、554)，以用于所述第二中间融合图像(528)的生成。
17.根据权利要求16所述的设备，其中融合所述中间缩略图像(530、540、550；532、542、552；543、544、554)包括：
针对所述中间缩略图像(530、540、550；532、542、552；543、544、554)中的每一个：
确定该中间缩略图像与相同尺寸的中间参考图像的对应像素之间的中间像素差异，
基于所述中间像素差异的至少一部分的分布来确定用于该中间缩略图像的中间像素阈值，以及
通过将所述中间像素差异与所述中间像素阈值相比较，来标识该中间缩略图像中将在所述中间缩略图像的融合中被排除的噪声像素。
18.根据权利要求17所述的设备(100)，其中标识原始图像(102-1…102-N)中的噪声像素还包括：
对于所述原始图像(102-1…102-N)中的第一像素，在从与所述原始图像(102-1…102-N)对应的缩略原始图像(520…524)生成的给定中间缩略图像(530、540、550、532、542、552、543、544、554)中，确定与所述第一像素对应的第二像素；
确定所述第二像素与所述中间参考图像中的给定中间参考图像的(532、542、552)对应像素之间的像素差异是否超过所述中间像素阈值，所述给定中间参考图像(532、542、552)与所述给定中间缩略图像(530、540、550、532、542、552、543、544、554)具有相同尺寸；以及
响应于所述第二像素与所述对应像素之间的所述像素差异超过所述中间像素阈值，将所述原始图像(102-1…102-N)中的所述第一像素标识为噪声像素。
19.根据权利要求13所述的设备(100)，其中所述动作进一步包括：
获取具有预定曝光度的第二参考图像(602)；
基于所述第二参考图像(602)来调整所述融合图像(212)的曝光度以获得经调整图像(612)；以及
基于所述经调整图像(612)来生成高动态范围(HDR)图像(104)。
20.根据权利要求19所述的设备(100)，其中调整所述融合图像(212)的曝光度包括以下至少一项：
响应于所述融合图像(212)与所述第二参考图像(602)的对应像素之间的像素差异低于预定差异阈值，将所述融合图像(212)的所述像素替换为所述第二参考图像(602)的所述像素；以及
调整所述融合图像(212)中亮度大于预定亮度阈值的像素的数值。
CN201710048552.3A 2017-01-20 2017-01-20 图像融合和hdr成像 Active CN108335279B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710048552.3A CN108335279B (zh) 2017-01-20 2017-01-20 图像融合和hdr成像
PCT/US2018/013752 WO2018136373A1 (en) 2017-01-20 2018-01-16 Image fusion and hdr imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710048552.3A CN108335279B (zh) 2017-01-20 2017-01-20 图像融合和hdr成像

Publications (2)

Publication Number Publication Date
CN108335279A CN108335279A (zh) 2018-07-27
CN108335279B true CN108335279B (zh) 2022-05-17

Family

ID=61168160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710048552.3A Active CN108335279B (zh) 2017-01-20 2017-01-20 图像融合和hdr成像

Country Status (2)

Country Link
CN (1) CN108335279B (zh)
WO (1) WO2018136373A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102484B (zh) * 2018-08-03 2021-08-10 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
US10867392B2 (en) * 2018-10-03 2020-12-15 Apical Limited Spatially multiplexed exposure
CN111050143B (zh) * 2018-10-11 2021-09-21 华为技术有限公司 一种图像拍摄方法和终端设备
CN111311498B (zh) * 2018-12-11 2022-07-12 展讯通信（上海）有限公司 图像鬼影剔除方法及装置、存储介质、终端
CN113228046B (zh) * 2018-12-27 2024-03-05 浙江大华技术股份有限公司 图像融合的系统和方法
US10853928B2 (en) * 2019-03-29 2020-12-01 Apple Inc. Image fusion processing module
CN110049254B (zh) * 2019-04-09 2021-04-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110033421B (zh) * 2019-04-09 2021-08-24 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110517210B (zh) * 2019-07-08 2021-09-03 河北工业大学 基于Haar小波梯度重建的多曝光焊区图像融合方法
CN110458771B (zh) * 2019-07-29 2022-04-08 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110490914B (zh) * 2019-07-29 2022-11-15 广东工业大学 一种基于亮度自适应和显著性检测的图像融合方法
CN112419161B (zh) * 2019-08-20 2022-07-05 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质及电子设备
CN110751608B (zh) * 2019-10-23 2022-08-16 北京迈格威科技有限公司 一种夜景高动态范围图像融合方法、装置和电子设备
CN110728648B (zh) * 2019-10-25 2022-07-19 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
CN111340736B (zh) * 2020-03-06 2024-03-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111652829B (zh) * 2020-06-09 2022-12-06 展讯通信（上海）有限公司 图像融合方法、装置、电子设备及存储介质
US11798146B2 (en) 2020-08-06 2023-10-24 Apple Inc. Image fusion architecture
US11803949B2 (en) 2020-08-06 2023-10-31 Apple Inc. Image fusion architecture with multimode operations
CN112887639A (zh) * 2021-01-18 2021-06-01 Oppo广东移动通信有限公司 图像处理方法、装置、系统、电子设备以及存储介质
US11841926B2 (en) 2021-02-10 2023-12-12 Apple Inc. Image fusion processor circuit for dual-mode image fusion architecture
CN112785504B (zh) * 2021-02-23 2022-12-23 深圳市来科计算机科技有限公司 一种昼夜图像融合的方法
CN112995518A (zh) * 2021-03-12 2021-06-18 北京奇艺世纪科技有限公司 一种图像生成方法及装置
CN113191994B (zh) * 2021-04-26 2023-11-21 北京小米移动软件有限公司 图像处理方法、装置及存储介质
US11689814B1 (en) * 2021-12-02 2023-06-27 Centre For Intelligent Multidimensaional Data Analysis Limited System and a method for processing an image
CN114998136A (zh) * 2022-01-29 2022-09-02 杭州微影软件有限公司 一种热成像图像校正方法和装置
CN115115554B (zh) * 2022-08-30 2022-11-04 腾讯科技（深圳）有限公司 基于增强图像的图像处理方法、装置和计算机设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547442B2 (en) * 2008-06-19 2013-10-01 Panasonic Corporation Method and apparatus for motion blur and ghosting prevention in imaging system
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
CN102497490B (zh) * 2011-12-16 2014-08-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
US9338349B2 (en) * 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
CN104349066B (zh) * 2013-07-31 2018-03-06 华为终端（东莞）有限公司 一种生成高动态范围图像的方法、装置
EP3095090B1 (en) * 2014-02-24 2018-11-28 Huawei Technologies Co., Ltd. System and method for processing input images before generating a high dynamic range image
CN104935911B (zh) * 2014-03-18 2017-07-21 华为技术有限公司 一种高动态范围图像合成的方法及装置
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉模型的红外图像增强技术研究;李毅;《中国博士学位论文全文数据库信息科技辑》;20160815;第2016年卷(第08期);全文 *

Also Published As

Publication number Publication date
WO2018136373A1 (en) 2018-07-26
CN108335279A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN108335279B (zh) 图像融合和hdr成像
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN110062160B (zh) 图像处理方法和装置
CN109348089B (zh) 夜景图像处理方法、装置、电子设备及存储介质
CN108683862B (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
WO2019105154A1 (en) Image processing method, apparatus and device
WO2020034737A1 (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
US20200045219A1 (en) Control method, control apparatus, imaging device, and electronic device
Eisemann et al. Flash photography enhancement via intrinsic relighting
WO2018176925A1 (zh) Hdr图像的生成方法及装置
JP4234195B2 (ja) 画像分割方法および画像分割システム
CN104349066B (zh) 一种生成高动态范围图像的方法、装置
US8947501B2 (en) Scene enhancements in off-center peripheral regions for nonlinear lens geometries
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
WO2019072190A1 (zh) 图像处理方法、电子装置和计算机可读存储介质
US20180109711A1 (en) Method and device for overexposed photography
CN107846556B (zh) 成像方法、装置、移动终端和存储介质
CN108156369B (zh) 图像处理方法和装置
JP6720881B2 (ja) 画像処理装置及び画像処理方法
CN108616689B (zh) 基于人像的高动态范围图像获取方法、装置及设备
WO2020029679A1 (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
CN110881108B (zh) 图像处理方法及图像处理装置
CN110866486A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN106791451B (zh) 一种智能终端的拍照方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant