CN108989699B - 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质 - Google Patents

Abstract

本申请提出一种图像合成方法、装置以及成像设备，其中，方法包括：通过分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长；进一步的对参考帧和调整帧进行成像对象的轮廓识别；根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；最后将修正后的调整帧，与参考帧进行合成，得到目标图像。该方法将短曝光的图像作为参考帧，根据位移视角以及画面分析，对较长曝光的影像进行修正，解决现有技术中HDR影像在不同曝光时长的图像合成时，被摄物为动态物体时图像容易出现错位或边缘模糊的技术问题。

Description

图像合成方法、装置、成像设备、电子设备以及计算机可读存 储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质。

背景技术

在对移动的物体进行拍照时，随曝光时间的增加，画面中移动物体的边缘就容易出现错位或者更加模糊。现有技术中，为了得到高动态范围图像(High-Dynamic Range，HDR)，往往需要对多曝光度下对应的多个图像，依权重进行图像的合成。

但是，在实际的图像合成过程中，由于不同曝光条件下移动物体的位置和边缘形状会有一定程度的差异，造成最终合成图像在移动区容易出现错位或者模糊的情况。

发明内容

本申请提出一种图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质，以实现通过影像预处理的方式对欲合成的不同曝光图像做校修正以及边缘处理，解决现有技术中HDR影像在不同曝光时长的图像合成时，被摄物为移动物体时图像容易出现错位或边缘模糊的技术问题。

本申请一方面实施例提出了一种图像合成方法，包括：

分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，所述第一曝光时长小于所述第二曝光时长；

对所述参考帧和所述调整帧进行成像对象的轮廓识别；

根据所述轮廓，对所述参考帧和所述调整帧确定相似轮廓包围的图像区域具有对应关系；

根据所述参考帧中的图像区域，对所述调整帧中对应的图像区域进行修正；

将修正后的调整帧，与所述参考帧进行合成，得到目标图像。

本申请实施例的图像合成方法，通过分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长；进一步的对参考帧和调整帧进行成像对象的轮廓识别；根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；最后将修正后的调整帧，与参考帧进行合成，得到目标图像。该方法通过影像预处理的方式对欲合成的不同曝光图像做校准对应以及边缘处理，解决现有技术中HDR影像在不同曝光时长的图像合成时，被摄物为动态物体时图像容易出现错位或边缘模糊的技术问题。

本申请又一方面实施例提出了一种图像合成装置，包括：

获取模块，用于分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，所述第一曝光时长小于所述第二曝光时长；

识别模块，用于对所述参考帧和所述调整帧进行成像对象的轮廓识别；

确定模块，用于根据所述轮廓，对所述参考帧和所述调整帧确定相似轮廓包围的图像区域具有对应关系；

修正模块，用于根据所述参考帧中的图像区域，对所述调整帧中对应的图像区域进行修正；

合成模块，用于将修正后的调整帧，与所述参考帧进行合成，得到目标图像。

本申请实施例的图像合成装置，通过分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长；进一步的对参考帧和调整帧进行成像对象的轮廓识别；根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；最后将修正后的调整帧，与参考帧进行合成，得到目标图像。该方法通过影像预处理的方式对欲合成的不同曝光图像做校准对应以及边缘处理，解决现有技术中HDR影像在不同曝光时长的图像合成时，被摄物为动态物体时图像容易出现错位或边缘模糊的技术问题。

本申请又一方面实施例提出了一种成像设备，所述成像设备包括多个感光像素组成的像素单元阵列，所述成像设备还包括处理器，所述处理器用于：

分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，所述第一曝光时长小于所述第二曝光时长；

对所述参考帧和所述调整帧进行成像对象的轮廓识别；

根据所述轮廓，对所述参考帧和所述调整帧确定相似轮廓包围的图像区域具有对应关系；

根据所述参考帧中的图像区域，对所述调整帧中对应的图像区域进行修正；

将修正后的调整帧，与所述参考帧进行合成，得到目标图像。

本申请实施例的成像设备，通过分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长；进一步的对参考帧和调整帧进行成像对象的轮廓识别；根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；最后将修正后的调整帧，与参考帧进行合成，得到目标图像。该方法通过影像预处理的方式对欲合成的不同曝光图像做校准对应以及边缘处理，解决现有技术中HDR影像在不同曝光时长的图像合成时，被摄物为动态物体时图像容易出现错位或边缘模糊的技术问题。

本申请又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述实施例所述的图像合成方法。

本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，当所述存储介质中的指令由处理器执行时，实现上述实施例所述的图像合成方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种图像合成方法的流程示意图；

图2为本申请实施例所提供的根据图像特征点对图像进行调整的流程示意图；

图3为本申请实施例所提供的另一种图像合成方法的流程示意图；

图4为本申请实施例所提供的不同曝光的图像示例图；

图5为本申请实施例所提供的参考帧图像轮廓识别以及调整帧像素调整示例图；

图6为本申请实施例所提供的对调整帧中的图像区域进行锐化处理的示例图；

图7为本申请实施例所提供的一种图像合成装置的结构示意图；

图8为本申请实施例所提供的一种成像设备的结构示意图；

图9为本申请实施例所提供的一种电子设备的内部结构示意图；

图10为本申请某些实施方式的图像处理电路的模块示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请主要针对现有技术中，采用低动态范围曝光来合成高动态范围图像，在画面中有移动物体的情况下，因为曝光时间点和曝光时间皆不同，造成最终合成图像在移动区容易出现错位或模糊的技术问题，提出了一种图像合成方法。

本申请实施例的图像合成方法，通过分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长；进一步的对参考帧和调整帧进行成像对象的轮廓识别；根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；最后将修正后的调整帧，与参考帧进行合成，得到目标图像。

下面参考附图描述本申请实施例的图像合成方法和装置。

图1为本申请实施例所提供的一种图像合成方法的流程示意图。

本申请实施例的图像合成方法，应用于成像设备，其中，成像设备包括多个感光像素组成的像素单元阵列以及处理器。

如图1所示，该图像合成方法包括以下步骤：

步骤101，分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长。

本申请实施例中，通过具有拍摄功能的电子设备针对同一场景拍摄出不同曝光时长的图像，在拍摄移动的物体时，曝光时间的长短直接影响拍摄的效果，由此，将以第一曝光时长拍摄的图像作为参考帧，以第二曝光时长拍摄的图像作为调整帧。成像设备分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧。其中，第一曝光时长小于第二曝光时长。

为了获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧，本实施例提供了两种可能的实现方式。

作为一种可能的实现方式，根据第一曝光时长以及第二曝光时长，控制像素单元阵列中的感光像素进行多次曝光。对于同一次曝光，像素单元阵列中的感光像素采用相同的曝光时长。成像设备的感光阵列中的各感光像素，可以包括多个长曝光像素、多个中曝光像素和多个短曝光像素，感光像素所含的长曝光像素、中曝光像素和短曝光像素均应采用相同的曝光时长。

作为另一种可能的实现方式，根据第一曝光时长以及两个第二曝光时长，控制像素单元阵列中的感光像素进行单次曝光。成像设备的感光阵列中的各感光像素，可以包括多个长曝光像素、多个中曝光像素和多个短曝光像素，其中，多个短曝光像素采用第一曝光时长进行曝光，多个长曝光像素和多个中曝光像素采用对应的第二曝光时长进行曝光，最终将以短曝光像素拍摄的图像作为参考帧，以中长曝光像素拍摄的图像作为调整帧，并且多个长曝光像素采用的第二曝光时长大于多个中曝光像素采用的第二曝光时长。

步骤102，对参考帧和调整帧进行成像对象的轮廓识别。

本申请实施例中，对参考帧和调整帧进行成像对象的轮廓识别，是指忽略图像背景和成像对象内部的纹理以及噪声干扰的影响，采用一定的技术和方法来实现成像对象轮廓识别的过程。

作为一种可能的实现方式，可采用边缘检测的轮廓识别方法，对参考帧和调整帧进行成像对象的轮廓识别。该方法主要定义了亮度、颜色等特征的低层突变，通过标识图像中亮度变化明显的点来完成边缘检测。但这种方式在含有大量噪声或者纹理的情况下不适用，因此可以在含有大量噪声或者纹理的情况下采用另一种可能的实现方式。

作为另一种可能的实现方式，也可采用人类视觉系统中提取可以使用的数学模型完成目标轮廓识别，该方法一般适用于图像平滑与边缘检测领域。

本实施例中，对参考帧和调整帧进行成像对象的轮廓识别过程是采用人类视觉系统中提取可以使用的数学模型完成目标轮廓识别，首先对输入图像做预处理，通常采用较小的二维高斯模板做平滑滤波处理，去除图像噪声。其次对平滑后的图像做边缘检测处理，得到初步的边缘响应图像，其中通常会涉及到亮度、颜色等可以区分物体与背景的可用梯度特征信息。然后再对边缘响应做进一步处理，得到更好的边缘响应图像，从而得到可以作为轮廓的边缘图像。

步骤103，根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系。

具体地，在对参考帧和调整帧进行成像对象的轮廓识别后，根据识别的轮廓的形状以及轮廓内的图像色彩，对比参考帧和调整帧，确定参考帧和调整帧中的相似轮廓。在参考帧和调整帧中，确定相似轮廓包围的图像区域之间具有对应关系。

作为一种示例，如果参考帧中的A区域与调整帧中的B区域的轮廓相似，则A区域与B区域具有对应关系。

步骤104，根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正。

具体地，通过对比参考帧中的图像区域与调整帧中对应的图像区域，得到相似图像区域的位置差异，进一步的根据得到的位置差异，对调整帧中对应的图像区域进行位置调整。其中，对调整帧中对应的图像区域进行调整，可以是对调整帧中对应的图像区域进行位置的平移和旋转，有效的实现了平移和转角的修正。

步骤105，将修正后的调整帧，与参考帧进行合成，得到目标图像。

本申请实施例中，将修正后的调整帧与参考帧对应像素依权重对像素值求和，得到合成像素值，合成像素值进而构成高动态范围的目标图像。

作为一种可能的实现方式，将修正后的调整帧与参考帧合成为高动态范围的图像之后，根据恢复成像系统的响应曲线，对高动态范围图像进行灰度压缩。

需要说明的是，由于不同帧图像之间存在视差，为了优化修正效果，在上述实施例的步骤104中对调整帧中对应的图像区域进行位置调整后，还需要确定参考帧和调整帧中的图像的特征点，并根据特征点对图像进行适当形变，具体的步骤参见图2，具体的步骤如下：

步骤201，确定参考帧中的图像区域的各第一特征点。

具体地，在参考帧中的图像区域的轮廓上，等间隔提取得到各第一特征点，再根据各第一特征点，将参考帧中的图像区域的轮廓划分为多个第一轮廓段。其中，特征点是在图像区域的轮廓上等间隔采样出的离散点集。

步骤202，确定调整帧中对应图像区域的各第二特征点。

具体地，在调整帧中的图像区域的轮廓中，查询与参考帧中划分的多个第一轮廓段匹配的第二轮廓段，进而将各第二轮廓段的端点确定为调整帧中对应图像区域的各第二特征点。

进一步的，根据各第一轮廓段与各第二轮廓段之间的匹配关系，对于各第一轮廓段与各第二轮廓段之间相互匹配的，可以确定各第一特征点与各第二特征点之间的对应关系。

步骤203，根据第一特征点以及对应的第二特征点之间的相对位置差异，对调整帧中对应图像区域进行形变调整。

具体地，首先将调整帧中图像区域的各第二特征点之间进行连线，利用各第二特征点之间的连线，将调整帧中对应图像区域划分为多个子区域。然后根据第一特征点以及对应的第二特征点之间的相对位置差异，对各第二特征点之间的相对位置进行调整，以改变多个子区域的形状。最后对多个子区域内的图像内容进行形变调整，以填充形状改变后的子区域，从而实现对调整帧中对应图像区域进行形变调整。

进一步的，在对调整帧中对应图像区域进行形变调整后，对调整后的图像区域进行边缘锐化处理，避免合成后的图像出现边缘模糊的情况。

本申请实施例的图像合成方法，通过分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长；进一步的对参考帧和调整帧进行成像对象的轮廓识别；根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；最后将修正后的调整帧，与参考帧进行合成，得到目标图像。该方法通过将短曝光图像作为参考帧，根据位移视角以及画面分析，对较长曝光的图像进行修正以及边缘处理，解决现有技术中在不同曝光时长的图像合成时，被摄物为动态物体时图像容易出现错位或边缘模糊的技术问题。

作为一种示例，本申请实施例通过拍摄三次不同曝光时间的低动态范围曝光(LowDynamic Range，LDR)图像来合成高动态范围图像。图3为本申请实施例所提供的另一种图像合成方法的流程示意图。

如图3所示，该图像合成方法包括以下步骤：

步骤301，分别获取以短曝光拍摄的参考帧，以及以中曝光和长曝光拍摄的调整帧。

本申请实施例中，采用具有拍摄功能的电子设备针对同一场景拍摄出三次不同曝光时长的图像，参见图4，三个图像分别为在短曝光、中曝光和长曝光下拍摄的图像，并将短曝光拍摄图像作为参考帧，以及以中曝光和长曝光拍摄的图像作为调整帧。

步骤302，对参考帧和调整帧进行成像对象的轮廓识别。

本实施例中，对参考帧和调整帧进行成像对象的轮廓识别方法，与上述实施例中的步骤102中的方法类似，故在此不作赘述。

步骤303，比对参考帧中的图像区域与调整帧中对应的图像区域，计算位位置差异以及特征点。

具体地，在对参考帧和调整帧进行成像对象的轮廓识别后，根据识别的轮廓的形状以及轮廓内的图像色彩，对比参考帧和调整帧，确定参考帧和调整帧中的相似轮廓。通过对比参考帧中的图像区域与调整帧中对应的图像区域，即可得到相似图像区域的位置差异。

进一步的，特征点是在图像区域的轮廓上等间隔采样出的离散点集。在参考帧中的图像区域的轮廓上，等间隔提取得到各第一特征点，再根据各第一特征点，将参考帧中的图像区域的轮廓划分为多个第一轮廓段。在调整帧中的图像区域的轮廓中，查询与参考帧中划分的多个第一轮廓段匹配的第二轮廓段，进而将各第二轮廓段的端点确定为调整帧中对应图像区域的各第二特征点，进而计算第一特征点和第二特征点之间的相对位置差异。

步骤304，根据位置差异以及特征点，对调整帧进行像素调整，使得调整帧与参考帧的图像像素对应。

具体地，根据步骤303中计算的图像区域的位值差异以及特征点之间的相对位置差异，对调整帧进行像素调整，使得调整帧与参考帧的图像像素对应。参见图5，图5为参考帧图像轮廓识别以及调整帧像素调整示例图。图中参考帧图像的虚线是对图像轮廓的识别，根据参考帧的图像轮廓，对调整帧的图像进行像素调整，使得调整帧与参考帧的图像像素对应。

步骤305，对调整帧中与参考帧的轮廓相对应的像素区域进行锐化处理。

本实施例中，对调整帧的图像区域进行锐化处理，是使模糊的图像变得更加清晰，避免合成后的图像出现边缘模糊的情况。由于图像的模糊实质就是图像受到平均或积分运算造成的，因此可以对图像进行逆运算如微分运算来使图像清晰化。从频谱角度来分析，图像模糊的实质是其高频分量被衰减，因此可以通过高通滤波操作使图像清晰。

需要说明的是，对调整帧中的图像区域进行锐化处理，需要图像具有较高的信噪比，否则锐化后图像信噪比反而更低，从而使噪声的增加比信号还要多，因此，可以对调整帧中的图像区域，先去除或减轻噪声后再进行锐化处理。参见图6，为对调整帧中的图像区域进行锐化处理后的图像。

步骤306，将处理后的调整帧，与参考帧进行合成，得到目标图像。

本实施例中，将处理后的调整帧与参考帧进行合成，得到目标图像的方法，与上述实施例中的步骤105中的方法类似，故在此不作赘述。

本申请实施例的图像合成方法，通过分别获取以短曝光拍摄的参考帧，以及以中曝光和长曝光拍摄的调整帧；对参考帧和调整帧进行成像对象的轮廓识别；比对参考帧中的图像区域与调整帧中对应的图像区域，计算位置差异和特征点；根据位置差异以及特征点，对调整帧进行像素调整，使得调整帧与参考帧的图像像素对应；对调整帧中与参考帧的轮廓相对应的像素区域进行锐化处理；将处理后的调整帧，与参考帧进行合成，得到目标图像。该方法通过预处理的方式将不同曝光图像做像素调整以及边缘处理，解决了现有技术中在不同曝光时长的图像合成时，被摄物为动态物体时图像容易出现错位或边缘模糊的技术问题。

为了实现上述实施例，本申请还提出一种图像合成装置。

图7为本申请实施例提供的一种图像合成装置的结构示意图。

如图7所示，该图像合成装置100包括：获取模块110、识别模块120、确定模块130、修正模块140、合成模块150。

获取模块110，用于分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长。

识别模块120，用于对参考帧和调整帧进行成像对象的轮廓识别。

确定模块130，用于根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系。

修正模块140，用于根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正。

合成模块150，用于将修正后的调整帧，与参考帧进行合成，得到目标图像。

其中，确定模块130，还用于根据轮廓的形状以及所述轮廓内图像色彩，确定参考帧和调整帧中的相似轮廓；

在参考帧和调整帧中，确定相似轮廓包围的图像区域具有对应关系。

作为一种可能的实现方式，修正模块140，还包括：

第一对比单元，用于对比参考帧中的图像区域，与调整帧中对应的图像区域，得到位置差异。

第一调整单元，用于根据位置差异，对调整帧中对应的图像区域进行位置调整。

作为另一种可能的实现方式，该图像合成装置，还包括：

第一确定模块，用于确定参考帧中的图像区域的各第一特征点。

第二确定模块，用于确定调整帧中对应图像区域的各第二特征点。

调整模块，用于根据第一特征点以及对应的第二特征点之间的相对位置差异，对调整帧中对应图像区域进行形变调整。

其中，调整模块，还用于利用各第二特征点之间的连线，将调整帧中对应图像区域划分为多个子区域；

根据第一特征点以及对应的第二特征点之间的相对位置差异，对各第二特征点之间的相对位置进行调整，以改变多个子区域的形状；

对多个子区域内的图像内容进行形变，以填充形状改变后的子区域。

作为另一种可能的实现方式，第一确定模块，还用于对参考帧中的图像区域的轮廓，等间隔提取得到各第一特征点；

根据各第一特征点，将参考帧中的图像区域的轮廓划分为多个第一轮廓段。

第二确定模块，还用于在调整帧中的图像区域的轮廓中，查询与第一轮廓段匹配的第二轮廓段；

将各第二轮廓段的端点确定为各第二特征点；

根据各第一轮廓段与各第二轮廓段之间的匹配关系，确定各第一特征点与各第二特征点之间的对应关系。

作为另一种可能的实现方式，该图像合成装置，还包括：

锐化模块，用于对形变调整后的图像区域进行边缘锐化处理。

作为另一种可能的实现方式，该图像合成装置，还包括：

第一控制模块，用于根据第一曝光时长以及第二曝光时长，控制像素单元阵列中的感光像素进行多次曝光；其中，对同一次曝光，像素单元阵列中的感光像素采用相同的曝光时长。

第二控制模块，用于根据第一曝光时长以及两个第二曝光时长，控制像素单元阵列中的感光像素进行单次曝光；其中，多个长曝光像素和多个中曝光像素采用对应的第二曝光时长进行曝光；多个长曝光像素采用的第二曝光时长大于多个中曝光像素采用的第二曝光时长；

多个短曝光像素采用第一曝光时长进行曝光。

本申请实施例的图像合成装置，通过分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长；进一步的对参考帧和调整帧进行成像对象的轮廓识别；根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；最后将修正后的调整帧，与参考帧进行合成，得到目标图像。该方法通过影像预处理的方式对欲合成的不同曝光图像做校准对应以及边缘处理，解决现有技术中HDR影像在不同曝光时长的图像合成时，被摄物为动态物体时图像容易出现错位或边缘模糊的技术问题。

需要说明的是，前述对图像合成方法实施例的解释说明也适用于该实施例的图像合成装置，此处不再赘述。

为了实现上述实施例，本申请还提出一种成像设备。

图8为本申请实施例提供的一种成像设备的结构示意图。

如图8所示，该成像设备200包括：多个感光像素组成的像素单元阵列210以及处理器220。

处理器220，用于分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于所述第二曝光时长；

对参考帧和调整帧进行成像对象的轮廓识别；

根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；

根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；

将修正后的调整帧，与参考帧进行合成，得到目标图像。

本申请实施例的成像设备，通过分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，第一曝光时长小于第二曝光时长；进一步的对参考帧和调整帧进行成像对象的轮廓识别；根据轮廓，对参考帧和调整帧确定相似轮廓包围的图像区域具有对应关系；根据参考帧中的图像区域，对调整帧中对应的图像区域进行修正；最后将修正后的调整帧，与参考帧进行合成，得到目标图像。该方法通过影像预处理的方式对欲合成的不同曝光图像做校准对应以及边缘处理，解决现有技术中HDR影像在不同曝光时长的图像合成时，被摄物为动态物体时图像容易出现错位或边缘模糊的技术问题。

为了实现上述实施例，本申请还提出一种电子设备，图9为本申请实施例提供的一种电子设备的内部结构示意图。如图9所示，

该电子设备300包括通过系统总线310连接的处理器320、存储器330、显示器340和输入装置350。其中，电子设备300的存储器330存储有操作系统和计算机可读指令。该计算机可读指令可被处理器320执行，以实现本申请实施方式的图像合成方法。该处理器320用于提供计算和控制能力，支撑整个电子设备300的运行。电子设备300的显示器340可以是液晶显示屏或者电子墨水显示屏等，输入装置350可以是显示器340上覆盖的触摸层，也可以是电子设备300外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备300可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备300的限定，具体的电子设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

为了清楚说明本实施例提供的电子设备，请参阅图10，提供了本申请实施例的图像处理电路40，图像处理电路可利用硬件和/或软件组件实现，包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路40的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路40包括ISP处理器41(ISP处理器41可为处理器320)和控制逻辑器42。摄像头43捕捉的图像数据首先由ISP处理器41处理，ISP处理器41对图像数据进行分析以捕捉可用于确定摄像头43的一个或多个控制参数的图像统计信息。摄像头43可包括一个或多个透镜432和图像传感器434。图像传感器434可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器434可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器41处理的一组原始图像数据。传感器44(如陀螺仪)可基于传感器44接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器41。传感器44接口可以为SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器434也可将原始图像数据发送给传感器44，传感器44可基于传感器44接口类型把原始图像数据提供给ISP处理器41，或者传感器44将原始图像数据存储到图像存储器45中。

ISP处理器41按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器41可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器41还可从图像存储器45接收图像数据。例如，传感器44接口将原始图像数据发送给图像存储器45，图像存储器45中的原始图像数据再提供给ISP处理器41以供处理。图像存储器45可为存储器50、存储器50的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器434接口或来自传感器44接口或来自图像存储器45的原始图像数据时，ISP处理器41可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器45，以便在被显示之前进行另外的处理。ISP处理器41从图像存储器45接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器41处理后的图像数据可输出给显示器47(显示器47可包括显示屏83)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器41的输出还可发送给图像存储器45，且显示器47可从图像存储器45读取图像数据。在一个实施例中，图像存储器45可被配置为实现一个或多个帧缓冲器。此外，ISP处理器41的输出可发送给编码器/解码器46，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器47设备上之前解压缩。编码器/解码器46可由CPU或GPU或协处理器实现。

ISP处理器41确定的统计数据可发送给控制逻辑器42单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜432阴影校正等图像传感器434统计信息。控制逻辑器42可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头43的控制参数及ISP处理器41的控制参数。例如，摄像头43的控制参数可包括传感器44控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜432控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜432阴影校正参数。

例如，以下为运用图9中的处理器320或运用图10中的图像处理电路40(具体为ISP处理器41)实现图像合成方法的步骤：

分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，所述第一曝光时长小于所述第二曝光时长；

对所述参考帧和所述调整帧进行成像对象的轮廓识别；

根据所述轮廓，对所述参考帧和所述调整帧确定相似轮廓包围的图像区域具有对应关系；

根据所述参考帧中的图像区域，对所述调整帧中对应的图像区域进行修正；

将修正后的调整帧，与所述参考帧进行合成，得到目标图像。

再例如，以下为运用图9中的处理器或运用图10中的图像处理电路40(具体为ISP处理器)实现图像合成方法的步骤：

对比所述参考帧中的图像区域，与所述调整帧中对应的图像区域，得到位置差异；

根据所述位置差异，对所述调整帧中对应的图像区域进行位置调整。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，当所述存储介质中的指令由处理器执行时，实现如上述实施例中所述的图像合成方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像合成方法，其特征在于，所述方法包括以下步骤：

分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，所述第一曝光时长小于所述第二曝光时长；

对所述参考帧和所述调整帧进行成像对象的轮廓识别；

根据所述轮廓，对所述参考帧和所述调整帧确定相似轮廓包围的图像区域具有对应关系；其中，根据所述轮廓的形状以及所述轮廓内图像色彩，对比所述参考帧和所述调整帧，以确定所述参考帧和所述调整帧中的相似轮廓；在所述参考帧和所述调整帧中，确定所述相似轮廓包围的图像区域具有对应关系；

比对所述参考帧和所述调整帧的相似轮廓包围的图像区域，计算位置差异以及特征点；

根据所述参考帧中的图像区域，对所述调整帧中对应的图像区域进行修正；根据所述位置差异以及特征点，对所述调整帧进行像素调整；对所述调整帧中与所述参考帧的轮廓相对应的像素区域进行锐化处理；

将处理后的调整帧，与所述参考帧进行合成，得到目标图像。

2.根据权利要求1所述的图像合成方法，其特征在于，所述根据所述参考帧中的图像区域，对所述调整帧中对应的图像区域进行修正，包括：

对比所述参考帧中的图像区域，与所述调整帧中对应的图像区域，得到位置差异；

根据所述位置差异，对所述调整帧中对应的图像区域进行位置调整。

3.根据权利要求1所述的图像合成方法，其特征在于，所述对所述调整帧中对应的图像区域进行位置调整之后，还包括：

确定所述参考帧中的图像区域的各第一特征点；

确定所述调整帧中对应图像区域的各第二特征点；

根据所述第一特征点以及对应的第二特征点之间的相对位置差异，对所述调整帧中对应图像区域进行形变调整。

4.根据权利要求3所述的图像合成方法，其特征在于，所述根据所述第一特征点以及对应的第二特征点之间的相对位置差异，对所述调整帧中对应图像区域进行形变调整，包括：

利用各第二特征点之间的连线，将所述调整帧中对应图像区域划分为多个子区域；

根据所述第一特征点以及对应的第二特征点之间的相对位置差异，对各第二特征点之间的相对位置进行调整，以改变所述多个子区域的形状；

对所述多个子区域内的图像内容进行形变，以填充形状改变后的子区域。

5.根据权利要求3所述的图像合成方法，其特征在于，所述确定所述参考帧中的图像区域的各第一特征点，包括：

对所述参考帧中的图像区域的轮廓，等间隔提取得到各第一特征点；

所述确定所述调整帧中对应图像区域的各第二特征点，包括：

根据各第一特征点，将所述参考帧中的图像区域的轮廓划分为多个第一轮廓段；

在所述调整帧中的图像区域的轮廓中，查询与所述第一轮廓段匹配的第二轮廓段；

将各第二轮廓段的端点确定为各第二特征点；

根据各第一轮廓段与各第二轮廓段之间的匹配关系，确定各第一特征点与各第二特征点之间的对应关系。

6.根据权利要求3所述的图像合成方法，其特征在于，所述根据所述第一特征点以及对应的第二特征点之间的相对位置差异，对所述调整帧中对应图像区域进行形变调整之后，还包括：

对形变调整后的图像区域进行边缘锐化处理。

7.根据权利要求1-6任一项所述的图像合成方法，其特征在于，用于成像设备，所述成像设备包括由多个感光像素组成的像素单元阵列，所述分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧之前，还包括：

根据所述第一曝光时长以及所述第二曝光时长，控制所述像素单元阵列中的感光像素进行多次曝光；

其中，对同一次曝光，所述像素单元阵列中的感光像素采用相同的曝光时长。

8.根据权利要求1-6任一项所述的图像合成方法，其特征在于，用于成像设备，所述成像设备包括由多个感光像素组成的像素单元阵列，所述感光像素包括多个长曝光像素、多个中曝光像素和多个短曝光像素；

所述分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧之前，还包括：

根据所述第一曝光时长以及两个所述第二曝光时长，控制所述像素单元阵列中的感光像素进行单次曝光；

其中，所述多个长曝光像素和所述多个中曝光像素采用对应的第二曝光时长进行曝光；所述多个长曝光像素采用的第二曝光时长大于所述多个中曝光像素采用的第二曝光时长；

所述多个短曝光像素采用所述第一曝光时长进行曝光。

9.一种图像合成装置，其特征在于，所述装置包括：

获取模块，用于分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，所述第一曝光时长小于所述第二曝光时长；

识别模块，用于对所述参考帧和所述调整帧进行成像对象的轮廓识别；

确定模块，用于根据所述轮廓，对所述参考帧和所述调整帧确定相似轮廓包围的图像区域具有对应关系；其中，根据所述轮廓的形状以及所述轮廓内图像色彩，对比所述参考帧和所述调整帧，以确定所述参考帧和所述调整帧中的相似轮廓；在所述参考帧和所述调整帧中，确定所述相似轮廓包围的图像区域具有对应关系；比对所述参考帧和所述调整帧的相似轮廓包围的图像区域，计算位置差异以及特征点；

修正模块，用于根据所述参考帧中的图像区域，对所述调整帧中对应的图像区域进行修正；根据所述位置差异以及特征点，对所述调整帧进行像素调整；对所述调整帧中与所述参考帧的轮廓相对应的像素区域进行锐化处理；

合成模块，用于将处理后的调整帧，与所述参考帧进行合成，得到目标图像。

10.一种成像设备，其特征在于，所述成像设备包括多个感光像素组成的像素单元阵列，所述成像设备还包括处理器，所述处理器用于：

分别获取以第一曝光时长拍摄的参考帧，以及以第二曝光时长拍摄的调整帧；其中，所述第一曝光时长小于所述第二曝光时长；

对所述参考帧和所述调整帧进行成像对象的轮廓识别；

根据所述轮廓，对所述参考帧和所述调整帧确定相似轮廓包围的图像区域具有对应关系；其中，根据所述轮廓的形状以及所述轮廓内图像色彩，对比所述参考帧和所述调整帧，以确定所述参考帧和所述调整帧中的相似轮廓；在所述参考帧和所述调整帧中，确定所述相似轮廓包围的图像区域具有对应关系；比对所述参考帧和所述调整帧的相似轮廓包围的图像区域，计算位置差异以及特征点；

根据所述参考帧中的图像区域，对所述调整帧中对应的图像区域进行修正；根据所述位置差异以及特征点，对所述调整帧进行像素调整；对所述调整帧中与所述参考帧的轮廓相对应的像素区域进行锐化处理；

将处理后的调整帧，与所述参考帧进行合成，得到目标图像。

11.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的图像合成方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的图像合成方法。

Images