CN112991245B - 双摄虚化处理方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请提供一种双摄虚化处理方法、装置、电子设备和可读存储介质，通过摄像设备的主摄像头拍摄获得连续的预设帧的第一图像，并通过副摄像头拍摄获得第二图像，其中，预设帧的第一图像为在控制主摄像头处于双转换增益DCG和数字重叠DOL模式下获得。再对预设帧第一图像进行高动态范围HDR融合处理，得到预设帧第一图像对应的融合图像。最后对第二图像进行虚化处理，将虚化处理后的第二图像与融合图像进行合成处理，得到合成图像。如此，通过将第一图像进行HDR融合处理，可提高图像渲染效果，为图像保留更多细节，并且，在多帧第一图像获得中，通过DCG和DOL处理，可以达到缩减帧间差异，避免图像出现鬼影现象。

Description

双摄虚化处理方法、装置、电子设备和可读存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种双摄虚化处理方法、装置、电子设备和可读存储介质。

背景技术

在摄像技术领域中，虚化是一个很常见的概念，也是热爱摄影的人经常使用的技术。虚化也可以理解成浅景深，景深越窄，虚化效果越好，同样的使用单反镜头拍出来的照片会更具细节。在日常中，无论是网红打卡还是随手一拍，大家都会惯用虚化模式来突出自己觉得美好的事物，然而现在的非单反相机的拍摄设备由于其像素是固定的，因此在这方面难以与单反相媲美。

在目前的如智能手机等摄像设备的双摄虚化处理中，一般的如彩色相机加彩色相机，以及彩色相机加深度相机的模式中，由于需要通过拜尔滤色镜将自然光进行过滤等处理，最终每个像素点的颜色信息是经过插值处理得到的，导致图像不够明亮、缺少细节信息。而彩色相机加黑白相机的模式中，虽然可以避免该缺陷，但是由于目前对于摄像设备的景深方面的要求，可实现景深处理的相机往往不可缺少，因此，这种情况下往往需要增设相机数量来实现，导致成本的提高。并且，目前的多帧图像处理方式中，由于各帧之间时间差较大，如果对象移动或者拍摄的稳定欠缺会存在鬼影的问题，影响图像质量。

发明内容

基于此，有必要针对上述技术问题，提供一种能够在不增加成本的基础上提高图像质量的双摄虚化处理方法、装置、电子设备和可读存储介质。

本申请的实施例可以这样实现：

第一方面，本申请提供一种双摄虚化处理方法，应用于包含主摄像头和副摄像头的摄像设备，所述方法包括：

通过所述主摄像头拍摄获得连续的预设帧的第一图像，并通过所述副摄像头拍摄获得第二图像，其中，所述预设帧的第一图像为在控制所述主摄像头处于双转换增益DCG模式和数字重叠DOL模式下获得；

对所述预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像；

对所述第二图像进行虚化处理；

将虚化处理后的第二图像与所述融合图像进行合成处理，得到合成图像。

在可选的实施方式中，所述通过所述主摄像头拍摄获得连续的预设帧的第一图像的步骤，包括：

通过所述主摄像头进行拍摄，在拍摄获得每帧第一图像时，对获得的所述每帧第一图像进行曝光处理，得到曝光后的曝光图像；

将曝光处理后的曝光图像进行暂存处理；

在完成预设帧的第一图像的曝光处理后，将暂存的预设帧的曝光图像进行输出。

在可选的实施方式中，所述预设帧的第一图像中像素点一一对应，所述对所述预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像的步骤，包括：

针对每帧第一图像，根据所述第一图像的各个像素点的像素值计算对应像素点在融合处理时的融合权重；

根据所述预设帧的第一图像中对应像素点的像素值和融合权重，计算得到融合像素值；

根据所述预设帧的第一图像中各像素点对应的融合像素值，以将所述预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像。

在可选的实施方式中，所述对所述第二图像进行虚化处理的步骤，包括：

确定所述第二图像内的被摄物体中处于与所述副摄像头的对焦参数对应的对焦平面上的目标被摄物体；

对所述第二图像中除所述目标被摄物体之外的其他被摄物体进行虚化处理。

在可选的实施方式中，所述对所述第二图像中除所述目标被摄物体之外的其他被摄物体进行虚化处理的步骤，包括：

根据所述预设帧的第一图像中的任一第一图像以及所述第二图像，按三角定位算法计算得到被摄物体相距所述主摄像头或所述副摄像头的距离值；

针对所述第二图像中除所述目标被摄物体之外的其他被摄物体，根据所述其他被摄物体对应的距离值对其进行虚化处理。

在可选的实施方式中，虚化处理的第二图像包括虚化区域和非虚化区域，所述将虚化处理后的第二图像与所述融合图像进行合成处理，得到合成图像的步骤，包括：

确定所述融合图像中与虚化处理后的第二图像的非虚化区域对应的目标区域；

提取所述融合图像中所述目标区域对应的图像，将提取的图像覆盖至所述第二图像的非虚化区域，得到合成图像。

在可选的实施方式中，所述将提取的图像覆盖至所述第二图像的对焦平面对应区域，得到合成图像的步骤，包括：

比较提取的图像中的像素点和所述第二图像的非虚化区域的像素点，以将提取的图像和所述非虚化区域的图像进行对齐处理；

将对齐处理后的所述提取的图像覆盖至所述第二图像的非虚化区域，得到合成图像。

第二方面，本申请提供一种双摄虚化处理装置，应用于包含主摄像头和副摄像头的摄像设备，所述装置包括：

获得模块，用于通过所述主摄像头拍摄获得连续的预设帧的第一图像，并通过所述副摄像头拍摄获得第二图像，其中，所述预设帧的第一图像为在控制所述主摄像头处于双转换增益DCG模式和数字重叠DOL模式下获得；

融合模块，用于对所述预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像；

处理模块，用于对所述第二图像进行虚化处理；

合成模块，用于将虚化处理后的第二图像与所述融合图像进行合成处理，得到合成图像。

第三方面，本申请提供一种电子设备，包括处理器、存储器和摄像头，其中，所述摄像头包括主摄像头和副摄像头，所述存储器用于存放计算机程序，并向所述处理器提供计算机程序和数据，所述处理器用于执行所述存储器所存放的计算机程序，并具体用于执行前述实施方式任意一项所述的方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式中任一项所述的方法的步骤。

本申请实施例的有益效果包括，例如：

本申请提供一种双摄虚化处理方法、装置、电子设备和可读存储介质，通过摄像设备的主摄像头拍摄获得连续的预设帧的第一图像，并通过副摄像头拍摄获得第二图像，其中，预设帧第一图像为在控制主摄像头处于双转换增益DCG和数字重叠DOL模式下获得。再对预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像。最后对第二图像进行虚化处理，将虚化处理后的第二图像与融合图像进行合成处理，得到合成图像。如此，通过将预设帧的第一图像进行HDR融合处理，可提高图像渲染效果，为图像保留更多细节，并且，在多帧第一图像获得中，通过DCG和DOL处理，可以达到缩减帧间差异，避免图像出现鬼影现象。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为拜尔滤色镜滤光示意图；

图2为本申请实施例提供的电子设备的结构框图；

图3为本申请实施例提供的双摄虚化处理方法的流程图；

图4为本申请实施例提供的基于DCG模式的像素电路原理图；

图5为本申请实施例提供的DCG模式下的电路时序示意图；

图6为传统曝光处理方式的示意图；

图7为本申请实施例提供的DOL模式下的曝光处理方式的示意图；

图8为本申请实施例提供的双摄虚化处理方法中，融合处理方法的流程图；

图9为本申请实施例提供的双摄虚化处理方法中，虚化处理方法的流程图；

图10为本申请实施例提供的双摄虚化处理方法中，虚化处理方法的另一流程图；

图11为本申请实施例提供的双摄虚化处理方法中，合成处理方法的流程图；

图12为本申请实施例提供的双摄虚化处理方法中，合成处理方法的另一流程图；

图13为本申请实施例提供的双摄虚化处理装置的功能模块框图。

具体实施方式

在现有技术中，为了实现双摄虚化处理，其摄像头一般采用以下三种组合方式：彩色相机加彩色相机、彩色相机加深度相机、彩色相机加黑白相机。其中，彩色相机加彩色相机、彩色相机加黑白相机的模式下，可以通过人眼三角定位计算物体距离，并通过算法进行虚化处理。而彩色相机加深度相机的模式下，可通过将深度相机测得的深度信息融合到普通彩色相机拍摄的彩色图片中，得到虚化的照片。

在现有技术的三种方式中，其中，彩色相机加彩色相机、彩色相机加深度相机的模式下，设备中可通过拜尔滤色镜将自然光进行过滤得到三原色的马赛克彩色滤色阵列。如图1中所示，入射的自然光经过不同的拜尔滤色镜后得到了相应的颜色。其中，绿色占一半，红蓝各占四分之一。最终每个像素点的颜色信息是经过插值处理得到的。这样将导致得到的图像不够明亮、缺少图像细节信息。

而彩色相机加黑白相机模式下，由于黑白相机没有拜尔滤色镜，所有的光都入射进来。所以和具有拜尔滤色镜的彩色相机相比可以获得更大的进光亮，光学传感器的灵敏度也更高。因此，黑白相机相对彩色相机而言，得到的图像更加明亮，细节信息能够保留的更好。将彩色、黑白图像融合后，其信噪比可以得到提升。但是，往往深度相机(彩色相机亦可实现深度处理)是不可缺少的，因此，若利用黑色相机以达到提高图像细节的目的的方式中，意味着需要增加相机的数量，如此导致成本的增加且影响美观。

此外，现有技术中在处理多帧图像时，一般是在一帧图像曝光处理并完成其他处理之后，再进行下一帧图像的曝光处理等。这样导致图像帧间差异大，如果拍摄对象移动或者拍摄的稳定性欠佳时，将导致图像存在鬼影的现象。

为了解决上述现有技术中所存在的问题，本申请实施例提供一种双摄虚化处理方案，可以在避免增加成本的基础上，提高图像质量、避免图像鬼影现象的出现。

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的本实施例中介绍的各实现方式仅是一部分可能的实现方式，而不是全部的实现方式。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的实施例可选实现方式。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的双摄虚化处理方法，可以应用于如图2所示的电子设备，图2为本申请实施例提供的电子设备的结构框图。该电子设备可为摄像设备，可以是一摄像机，或者是带有摄像功能的智能手机、平板电脑等设备。

该电子设备可包括图形接口110、处理器120和存储器130。图形接口110、处理器120和存储器130通过总线系统相互连接。总线可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

图形接口110用于实现对外的图像采集。本申请实施例中，图形接口110可包括主摄像头和副摄像头。

存储器130，用于存放计算机程序。具体地，计算机程序可以包括程序代码，程序代码包括计算机操作指令。存储器130可以包括只读存储器和随机存取存储器等，并向处理器120提供指令和数据。存储器130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

在本申请实施例中，如图3所示，提供了一种双摄虚化处理方法，图3为本申请实施例提供的一种双摄虚化处理方法的流程示意图，本申请实施例主要以该方法应用于图2中的电子设备来举例说明。该双摄虚化处理方法可以包括以下步骤：

S101，通过主摄像头拍摄获得连续的预设帧的第一图像，并通过副摄像头拍摄获得第二图像，其中，预设帧的第一图像为在控制主摄像头处于双转换增益DCG模式和数字重叠DOL模式下获得。

S102，对预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像。

S103，对第二图像进行虚化处理。

S104，将虚化处理后的第二图像与融合图像进行合成处理，得到合成图像。

本实施例中，摄像设备包括主摄像头和副摄像头，其中，主摄像头和副摄像头可在水平方向上呈左右排布设置于摄像设备上，也可以在垂直方向上呈上下排布设置于摄像设备上。本实施例中，主摄像头和副摄像头可以是彩色相机，在彩色相机加彩色相机的模式下，通过本实施例所提供的虚化处理方案，可以实现保留图像细节、提升图像质量以及缩短帧间差异的目的。

可选地，通过主摄像头和副摄像头进行图像拍摄，其中，主摄像头可在双转换增益DCG(Dual Conversion Gain，DCG)模式和数字重叠DOL模式下进行连续多帧图像的拍摄。DCG模式，其中，CG是像素的一个属性，在传感器规格或者传感器测试测量报告中，经常会列举出CG的数值。该数值描述的是光电转换后产生的单位电子经过放大达到多大的电压。一般性地，达到的电压越高，则CG越大，而DCG是通过硬件设计提高上限。

本实施例中，主摄像头在数字重叠(Digital overlap，DOL)模式下进行连续多帧图像的拍摄，可以通过以下方式执行连续多帧第一图像的获取：

通过主摄像头进行拍摄，在拍摄获得每帧第一图像时，对获得的每帧第一图像进行曝光处理，得到曝光后的曝光图像。再将曝光处理后的曝光图像进行暂存处理。在完成预设帧的第一图像的曝光处理后，将暂存的预设帧的曝光图像进行输出。

本实施例中，可以控制主摄像头在完成一帧图像的曝光处理之后，紧接着处理下一帧图像的曝光处理，在完成预设帧的图像的处理之后，再统一进行该预设帧的图像的输出处理等。如此，相比传统的在完成一帧图像曝光处理，并完成该帧图像的输出等处理之后，再进行下一帧图像的曝光的方式，本实施例中的方式可大大缩短图像帧间差异。

在此基础上，在主摄像头处于DCG模式下时，其相应的像素电路图可如图4中所示。在DCG模式下，其像素电路图相比普通的像素电路图增加了额外的一个FD1和一个DCG开关。该增加的FD1比下方的FD电容可大很多。

在高变换增益(High conversion gain，HCG)模式下，RG作为重置开关工作，DCG保持拉高电平使能状态。如此，FD1电容等于下方的小电容FD，因此变化增益CG较大。当工作在低变换增益(Low conversion gain，LCG)模式下，RG保持使能状态，DCG作为重置开关，FD电容等于上边的大电容FD1，相应地变换增益较小。对应的电路时序可如图5中所示。

在主摄像头处于DCG模式时，则在进行每帧图像的曝光处理时，可以同时对电容进行充电，从而可以进一步地缩短两帧之间的曝光处理间隔，进一步地降低帧间差异。例如，如图6中所示，在普通模式下，若连续的三帧图像的曝光处理为长曝光、短曝光和超短曝光。则该三帧图像的曝光处理在时间轴上的示意如图6中所示。而若主摄像头在DCG模式和DOL模式下时，则该三帧图像的曝光处理在时间轴上的示意如图7中所示。可以看出，主摄像头在DCG模式和DOL模式下获得连续的多帧图像时，图像帧间之间的差异大大缩短。如此，在被摄物体移动或者是设备稳定性欠佳的情况下，也可避免图像出现鬼影的现象。

本实施例中，在主摄像头处于DCG模式和DOL模式下获得连续的预设帧的第一图像的同时，可控制副摄像头拍摄获得第二图像。其中，副摄像头可为广角摄像头，第二图像可为广角图像。通过副摄像头可以获得拍摄范围较广的区域内的图像信息。

本实施例中，可对通过主摄像头获得的预设帧的第一图像进行高动态范围HDR融合处理，其中，可选地，所述的预设帧可为三帧，当然，也可以是其他帧数，本实施例不作具体限制。通过对多帧第一图像进行高动态范围融合处理，得到的融合图像相比普通图像而言，可以显示出更多的动态范围和图像细节，能够更好的反映出真实环境中的视觉效果。

在此基础上，通过对第二图像进行虚化处理，以将图像中的例如背景区域等进行虚化，以保留所需突出显示的区域图像的清晰度。再将虚化处理后的第二图像与得到的融合图像进行合成处理，从而可以得到结合融合图像的高动态、高细节的优势以及第二图像的虚化效果的合成图像。

本实施例中，通过控制主摄像头在处于DCG模式和DOL模式下进行连续的多帧第一图像的拍摄，可以使得连续多帧第一图像之间的帧间差异达到缩小，可避免图像出现鬼影的现象。在此基础上，通过对多帧第一图像进行高动态范围HDR融合处理，可以得到保留更多动态范围和图像细节的融合图像。最后将虚化后的第二图像与融合图像进行合成，可得到结合融合图像的高动态、高细节的优势以及第二图像的虚化效果的合成图像。

在本实施例的一种实现方式中，由于预设帧的第一图像拍摄时间间隔极短，可以认为预设帧的第一图像的拍摄场景以及拍摄对象均没有变化。因此，预设帧的第一图像中像素点一一对应，请参阅图8，在上述对预设帧的第一图像进行HDR融合处理时，可以通过以下方式实现：

S1021，针对每帧第一图像，根据第一图像的各个像素点的像素值计算对应像素点在融合处理时的融合权重。

S1022，根据预设帧的第一图像中对应像素点的像素值和融合权重，计算得到融合像素值。

S1023，根据预设帧的第一图像中各像素点对应的融合像素值，以将预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像。

本实施例中，针对每一帧第一图像，第一图像中的各个像素点的像素值的融合权重与像素点的过曝光程度或欠曝光程度负相关。第一图像的像素点欠曝光或者过曝光程度越高，则该像素点的在融合时的融合权重越小。若像素点的像素值表明像素点没有过曝光或者欠曝光，则相应的其融合权重就越大。由于预设帧的第一图像中像素点一一对应，基于对应的像素点的像素值可按上述方式确定融合权重。例如，按照融合权重的大小以及对应的多个像素点的像素值，可采用加权处理的方式，得到加权后的融合像素值。在得到预设帧的第一图像中所有对应的像素点的融合像素值后，则基于该所有的融合像素值可确定出预设帧的第一图像在进行HDR融合处理后得到融合图像。如此，得到的融合图像有较高的图像质量，可以保留更多的图像细节。

在本实施例的一种实现方式中，请参阅图9，上述在对第二图像进行虚化处理时，可以通过以下方式实现：

S1031，确定第二图像内的被摄物体中处于与副摄像头的对焦参数对应的对焦平面上的目标被摄物体。

S1032，对第二图像中除目标被摄物体之外的其他被摄物体进行虚化处理。

在摄像头的对焦参数确定的情况下，相应地其拍摄画面中的对焦平面可以确定。对焦平面上的画面一般即为用户所想要突出显示的画面，例如，人脸图像、近处的花朵等。因此，在对图像做虚化处理时，一般需要保留对焦平面上的物体的清晰度，而将除对焦平面之外的其他物体进行虚化处理，例如对远处的树木、房屋等背景图像进行虚化处理。

因此，本实施例中，通过确定与副摄像头的对焦参数对应的对焦平面的方式，可以准确确定出需要进行虚化处理的区域图像，保留用户想要突出显示的物体，实现准确的虚化处理。

随着对虚化处理的要求的不断提高，在进行虚化处理时，希望能够实现不同程度的虚化，从而使图像效果有层次地呈现。基于此考虑，请参阅图10，在本实施例的一种实现方式中，上述S1032可以通过以下方式实现：

S10321，根据预设帧的第一图像中的任一第一图像以及第二图像，按三角定位算法计算得到被摄物体相距主摄像头或副摄像头的距离值。

S10322，针对第二图像中除目标被摄物体之外的其他被摄物体，根据其他被摄物体对应的距离值对其进行虚化处理。

本实施例中，可选取预设帧的第一图像中的任意一帧第一图像，并结合第二图像进行被摄物体定位，可选地，可选取预设帧的第一图像中的中间帧的第一图像。例如，在主摄像头连续拍摄获得三帧第一图像的情况下，可利用该三帧第一图像的中间一帧第一图像以及副摄像头拍摄获得的第二图像进行被摄物体的定位。进行被摄物体的定位时，可采用目前常用的三角定位算法予以实现，本实施例对此不作赘述。由于主摄像头和副摄像头在摄像设备上位置相近，因此，被摄物体的距离值可以是相对于主摄像头的，也可以是相对于副摄像头的。

在确定第二图像中各个被摄物体相对于副摄像头的距离值之后，首先可确定出第二图像中处于对焦平面上的目标被摄物体，对焦平面上的目标被摄物体不作虚化处理。此外，相应地则可以确定出第二图像中除目标被摄物体之外的其他被摄物体。

在按照其他被摄物体分别各自对应的距离值进行虚化处理时，可选地，虚化处理的强度可与被摄物体的距离值呈正相关。例如，若被摄物体对应的距离值越大，则表明被摄物体距离副摄像头越远，对该被摄物体的虚化处理的强度可越大。而若被摄物体对应的距离值越小，则表明被摄物体距离副摄像头越小，即越靠近对焦平面，对该被摄物体的虚化程序的强度可越小。

如此，按照上述基于被摄物体的距离值相应地对被摄物体进行不同程度的虚化处理，可以使虚化后的图像呈现出不同的虚化层次，可使虚化后的图像从对焦平面中清晰的图像，逐渐平滑地由虚化强度较小的虚化图像过渡到虚化强度较大的虚化图像。由此，虚化后的第二图像即包含目标被摄物体所在的非虚化区域，以及除目标被摄物体之外的其他被摄物体所在的虚化区域。

由上述可知，对焦平面上的图像一般是用户想要突出显示的图像，第二图像是由广角相机拍摄获得的广角图像，在图像质量上欠佳。而上述通过对多帧第一图像进行HDR融合处理后得到的融合图像，具有高细节、高质量的优点。因此，本实施例中，为了在虚化效果的基础上，提高对焦平面区域图像的质量，将融合图像与虚化处理后的第二图像进行合成处理。请参阅图11，在本实施例的一种实现方式中，可通过以下方式实现：

S1041，确定融合图像中与虚化处理后的第二图像的非虚化区域对应的目标区域。

S1042，提取融合图像中目标区域对应的图像，将提取的图像覆盖至第二图像的非虚化区域，得到合成图像。

本实施例中，通过将融合图像与虚化处理后的第二图像进行比对的方式，确定融合图像与虚化处理后的第二图像的非虚化区域对应的目标区域。将融合图像中的目标区域的图像覆盖至第二图像的非虚化区域，得到的合成图像即为非虚化区域为高质量的融合图像以及虚化区域为虚化处理后的图像构成的图像。

此外，虽然主摄像头和副摄像头在摄像设备上位置相近，但是两者之间还是存在一定距离，两个摄像头在同一时刻拍摄同一场景下的物体，拍摄获得的图像中物体仍然可能存在一定移位。为了避免上述进行图像合成时存在图像的细微偏差，因此，请参阅图12，在本实施例的一种实现方式中，可通过以下方式进行图像的合成处理：

S10421，比较提取的图像中的像素点和第二图像的非虚化区域的像素点，以将提取的图像和非虚化区域的图像进行对齐处理。

S10422，将对齐处理后的提取的图像覆盖至第二图像的非虚化区域，得到合成图像。

本实施例中，可利用主摄像头和副摄像头拍摄画面的交叠部分进行像素点的一一对应。进而比较提取的图像中的像素点与第二图像的非虚化区域的像素点，将两者进行对齐处理，从而进行图像的合成。

为了避免在合成图像后，在合成边界处存在明显拼接痕迹，本实施例中，还可对合成图像的边界处的像素点进行锐化处理，从而使图像的拼接位置处可平滑过渡，避免拼接痕迹过重。

本实施例提供的双摄虚化处理方案，通过控制主摄像头在DCG模式和DOL模式下拍摄获得连续的多帧图像，如此，由于DCG模式和DOL模式下的曝光处理机制，可使得到的多帧图像的帧间差异达到缩小，避免后续出现图像鬼影的现象。并且，将多帧图像进行HDR融合处理，使得到的融合图像可保留高动态、高细节，提高图像质量。在此基础上，对副摄像头拍摄获得的图像进行虚化处理，再与融合图像进行合成。最终得到的合成图像可在虚化效果的基础上，保留图像的更多细节。

本实施例通过上述方式，可实现在避免提高成本、影响设备外观的前提下，实现图像高细节、高动态的目的，并且，可达到缩减帧间差异，避免图像鬼影现象的效果。

应该理解的是，虽然本申请实施例提供的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图13所示，本申请实施例提供一种双摄虚化处理装置140，应用于上述摄像设备，图13为本申请实施例提供的一种双摄虚化处理装置140的方框示意图，该双摄虚化处理装置140可以包括：获得模块141、融合模块142、处理模块143和合成模块144。

获得模块141，用于通过主摄像头拍摄获得连续的预设帧的第一图像，并通过副摄像头拍摄获得第二图像，其中，预设帧的第一图像为在控制主摄像头处于双转换增益DCG模式和数字重叠DOL模式下获得。融合模块142，用于对预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像。处理模块143，用于对第二图像进行虚化处理。合成模块144，用于将虚化处理后的第二图像与融合图像进行合成处理，得到合成图像。

在一种可能的实现方式中，获得模块141用于通过以下方式获得预设帧的第一图像：

通过主摄像头进行拍摄，在拍摄获得每帧第一图像时，对获得的每帧第一图像进行曝光处理，并将曝光处理后的曝光图像进行暂存处理；在完成预设帧的第一图像的曝光处理后，将暂存的预设帧的曝光图像进行输出。

在一种可能的实现方式中，预设帧的第一图像中像素点一一对应，融合模块142用于通过以下方式得到融合图像：

针对每帧第一图像，根据第一图像的各个像素点的像素值计算对应像素点在融合处理时的融合权重；根据预设帧的第一图像中对应像素点的像素值和融合权重，计算得到融合像素值；根据预设帧的第一图像中各像素点对应的融合像素值，以将预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像。

在一种可能的实现方式中，处理模块143用于通过以下方式进行虚化处理：

确定第二图像内的被摄物体中处于与副摄像头的对焦参数对应的对焦平面上的目标被摄物体；对第二图像中除目标被摄物体之外的其他被摄物体进行虚化处理。

在一种可能的实现方式中，处理模块143具体可以用于通过以下方式进行虚化处理：

根据预设帧的第一图像中的任一第一图像以及第二图像，按三角定位算法计算得到被摄物体相距主摄像头或副摄像头的距离值；针对第二图像中除目标被摄物体之外的其他被摄物体，根据其他被摄物体对应的距离值对其进行虚化处理。

在一种可能的实现方式中，虚化处理的第二图像包括虚化区域和非虚化区域，合成模块144可以通过以下方式得到合成图像：

确定融合图像中与虚化处理后的第二图像的非虚化区域对应的目标区域；提取融合图像中目标区域对应的图像，将提取的图像覆盖至第二图像的非虚化区域，得到合成图像。

在一种可能的实现方式中，合成模块144具体可以通过以下方式得到合成图像：

比较提取的图像中的像素点和第二图像的非虚化区域的像素点，以将提取的图像和非虚化区域的图像进行对齐处理；将对齐处理后的提取的图像覆盖至第二图像的非虚化区域，得到合成图像。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例多种实现方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个配置成实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请实施例的各个实现方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例各个实现方式中方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

基于本申请实施例图2所示提供的电子设备，在本申请实施例中，提供的双摄虚化处理装置140可以实现为一种计算机程序的形式，计算机程序可在如图2所示的电子设备上运行。电子设备的存储器130中可存储组成该双摄虚化处理装置140的各个程序模块。

在本实施例的一种实现方式中，该处理器120执行计算机程序时实现以下步骤：通过主摄像头拍摄获得连续的预设帧的第一图像，并通过副摄像头拍摄获得第二图像，其中，预设帧的第一图像为在控制主摄像头处于双转换增益DCG模式和数字重叠DOL模式下获得；对预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像；对第二图像进行虚化处理；将虚化处理后的第二图像与融合图像进行合成处理，得到合成图像。

应理解，通过控制主摄像头在DCG模式和DOL模式下获得连续的多帧图像，可缩短图像帧间差异，避免后续图像鬼影现象的出现。且利用HDR融合处理，可保留图像更多细节，提高图像质量。将虚化处理的图像与融合图像进行合成，可在实现虚化效果的基础上，提高图像细节。

在本实施例的一种实现方式中，处理器120执行计算机程序时实现以下步骤：通过主摄像头进行拍摄，在拍摄获得每帧第一图像时，对获得的每帧第一图像进行曝光处理，得到曝光后的曝光图像；将曝光处理后的曝光图像进行暂存处理；在完成预设帧的第一图像的曝光处理后，将暂存的预设帧的曝光图像进行输出。

在本实施例的一种实现方式中，预设帧的第一图像中像素点一一对应，处理器120执行计算机程序时实现以下步骤：针对每帧第一图像，根据第一图像的各个像素点的像素值计算对应像素点在融合处理时的融合权重；根据预设帧的第一图像中对应像素点的像素值和融合权重，计算得到融合像素值；根据预设帧的第一图像中各像素点对应的融合像素值，以将预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像。

在本实施例的一种实现方式中，处理器120执行计算机程序时实现以下步骤：确定第二图像内的被摄物体中处于与副摄像头的对焦参数对应的对焦平面上的目标被摄物体；对第二图像中除目标被摄物体之外的其他被摄物体进行虚化处理。

在本实施例的一种实现方式中，处理器120执行计算机程序时实现以下步骤：根据预设帧的第一图像中的任一第一图像以及第二图像，按三角定位算法计算得到被摄物体相距主摄像头或副摄像头的距离值；针对第二图像中除目标被摄物体之外的其他被摄物体，根据其他被摄物体对应的距离值对其进行虚化处理。

在本实施例的一种实现方式中，虚化处理的第二图像包括虚化区域和非虚化区域，处理器120执行计算机程序时实现以下步骤：确定融合图像中与虚化处理后的第二图像的非虚化区域对应的目标区域；提取融合图像中目标区域对应的图像，将提取的图像覆盖至第二图像的非虚化区域，得到合成图像。

在本实施例的一种实现方式中，处理器120执行计算机程序时实现以下步骤：比较提取的图像中的像素点和第二图像的非虚化区域的像素点，以将提取的图像和非虚化区域的图像进行对齐处理；将对齐处理后的提取的图像覆盖至第二图像的非虚化区域，得到合成图像。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器120执行时实现以下步骤：通过主摄像头拍摄获得连续的预设帧的第一图像，并通过副摄像头拍摄获得第二图像，其中，预设帧的第一图像为在控制主摄像头处于双转换增益DCG模式和数字重叠DOL模式下获得；对预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像；对第二图像进行虚化处理；将虚化处理后的第二图像与融合图像进行合成处理，得到合成图像。

可以理解的，通过控制主摄像头在DCG模式和DOL模式下获得连续的多帧图像，可缩短图像帧间差异，避免后续图像鬼影现象的出现。且利用HDR融合处理，可保留图像更多细节，提高图像质量。将虚化处理的图像与融合图像进行合成，可在实现虚化效果的基础上，提高图像细节。

在本实施例的一种实现方式中，该计算机程序被处理器120执行时还实现以下步骤：通过主摄像头进行拍摄，在拍摄获得每帧第一图像时，对获得的每帧第一图像进行曝光处理，得到曝光后的曝光图像；将曝光处理后的曝光图像进行暂存处理；在完成预设帧的第一图像的曝光处理后，将暂存的预设帧的曝光图像进行输出。

在本实施例的一种实现方式中，预设帧的第一图像中像素点一一对应，该计算机程序被处理器120执行时还实现以下步骤：针对每帧第一图像，根据第一图像的各个像素点的像素值计算对应像素点在融合处理时的融合权重；根据预设帧的第一图像中对应像素点的像素值和融合权重，计算得到融合像素值；根据预设帧的第一图像中各像素点对应的融合像素值，以将预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像。

在本实施例的一种实现方式中，该计算机程序被处理器120执行时还实现以下步骤：确定第二图像内的被摄物体中处于与副摄像头的对焦参数对应的对焦平面上的目标被摄物体；对第二图像中除目标被摄物体之外的其他被摄物体进行虚化处理。

在本实施例的一种实现方式中，该计算机程序被处理器120执行时还实现以下步骤：根据预设帧的第一图像中的任一第一图像以及第二图像，按三角定位算法计算得到被摄物体相距主摄像头或副摄像头的距离值；针对第二图像中除目标被摄物体之外的其他被摄物体，根据其他被摄物体对应的距离值对其进行虚化处理。

在本实施例的一种实现方式中，虚化处理的第二图像包括虚化区域和非虚化区域，该计算机程序被处理器120执行时还实现以下步骤：确定融合图像中与虚化处理后的第二图像的非虚化区域对应的目标区域；提取融合图像中目标区域对应的图像，将提取的图像覆盖至第二图像的非虚化区域，得到合成图像。

在本实施例的一种实现方式中，该计算机程序被处理器120执行时还实现以下步骤：比较提取的图像中的像素点和第二图像的非虚化区域的像素点，以将提取的图像和非虚化区域的图像进行对齐处理；将对齐处理后的提取的图像覆盖至第二图像的非虚化区域，得到合成图像。

综上，本申请实施例提供的双摄虚化处理方法、装置、电子设备和可读存储介质，通过摄像设备的主摄像头拍摄获得连续的预设帧的第一图像，并通过副摄像头拍摄获得第二图像，其中，预设帧的第一图像为在控制主摄像头处于双转换增益DCG和数字重叠DOL模式下获得。再对预设帧的第一图像进行高动态范围HDR融合处理，得到预设帧的第一图像对应的融合图像。最后对第二图像进行虚化处理，将虚化处理后的第二图像与融合图像进行合成处理，得到合成图像。如此，通过将第一图像进行HDR融合处理，可提高图像渲染效果，为图像保留更多细节，并且，在多帧第一图像获得中，通过DCG和DOL处理，可以达到缩减帧间差异，避免图像出现鬼影现象。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种双摄虚化处理方法，其特征在于，应用于包含主摄像头和副摄像头的摄像设备，所述方法包括：

通过所述主摄像头拍摄获得连续的预设帧的第一图像，并通过所述副摄像头拍摄获得第二图像，其中，所述预设帧的第一图像为在控制所述主摄像头处于双转换增益DCG模式和数字重叠DOL模式下获得；

对所述预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像；

对所述第二图像进行虚化处理；

将虚化处理后的第二图像与所述融合图像进行合成处理，得到合成图像。

2.根据权利要求1所述的双摄虚化处理方法，其特征在于，所述通过所述主摄像头拍摄获得连续的预设帧的第一图像的步骤，包括：

通过所述主摄像头进行拍摄，在拍摄获得每帧第一图像时，对获得的所述每帧第一图像进行曝光处理，得到曝光后的曝光图像；

将曝光处理后的曝光图像进行暂存处理；

在完成预设帧的第一图像的曝光处理后，将暂存的预设帧的曝光图像进行输出。

3.根据权利要求1所述的双摄虚化处理方法，其特征在于，所述预设帧的第一图像中像素点一一对应，所述对所述预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像的步骤，包括：

针对每帧第一图像，根据所述第一图像的各个像素点的像素值计算对应像素点在融合处理时的融合权重；

根据所述预设帧的第一图像中对应像素点的像素值和融合权重，计算得到融合像素值；

根据所述预设帧的第一图像中各像素点对应的融合像素值，以将所述预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像。

4.根据权利要求1所述的双摄虚化处理方法，其特征在于，所述对所述第二图像进行虚化处理的步骤，包括：

确定所述第二图像内的被摄物体中处于与所述副摄像头的对焦参数对应的对焦平面上的目标被摄物体；

对所述第二图像中除所述目标被摄物体之外的其他被摄物体进行虚化处理。

5.根据权利要求4所述的双摄虚化处理方法，其特征在于，所述对所述第二图像中除所述目标被摄物体之外的其他被摄物体进行虚化处理的步骤，包括：

根据所述预设帧的第一图像中的任一第一图像以及所述第二图像，按三角定位算法计算得到被摄物体相距所述主摄像头或所述副摄像头的距离值；

针对所述第二图像中除所述目标被摄物体之外的其他被摄物体，根据所述其他被摄物体对应的距离值对其进行虚化处理。

6.根据权利要求1-5任意一项所述的双摄虚化处理方法，其特征在于，虚化处理的第二图像包括虚化区域和非虚化区域，所述将虚化处理后的第二图像与所述融合图像进行合成处理，得到合成图像的步骤，包括：

确定所述融合图像中与虚化处理后的第二图像的非虚化区域对应的目标区域；

提取所述融合图像中所述目标区域对应的图像，将提取的图像覆盖至所述第二图像的非虚化区域，得到合成图像。

7.根据权利要求6所述的双摄虚化处理方法，其特征在于，所述将提取的图像覆盖至所述第二图像的对焦平面对应区域，得到合成图像的步骤，包括：

比较提取的图像中的像素点和所述第二图像的非虚化区域的像素点，以将提取的图像和所述非虚化区域的图像进行对齐处理；

将对齐处理后的所述提取的图像覆盖至所述第二图像的非虚化区域，得到合成图像。

8.一种双摄虚化处理装置，其特征在于，应用于包含主摄像头和副摄像头的摄像设备，所述装置包括：

获得模块，用于通过所述主摄像头拍摄获得连续的预设帧的第一图像，并通过所述副摄像头拍摄获得第二图像，其中，所述预设帧的第一图像为在控制所述主摄像头处于双转换增益DCG模式和数字重叠DOL模式下获得；

融合模块，用于对所述预设帧的第一图像进行高动态范围HDR融合处理，得到所述预设帧的第一图像对应的融合图像；

处理模块，用于对所述第二图像进行虚化处理；

合成模块，用于将虚化处理后的第二图像与所述融合图像进行合成处理，得到合成图像。

9.一种电子设备，其特征在于，包括处理器、存储器和摄像头，其中，所述摄像头包括主摄像头和副摄像头，所述存储器用于存放计算机程序，并向所述处理器提供计算机程序和数据，所述处理器用于执行所述存储器所存放的计算机程序，并具体用于执行权利要求1-7任意一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法的步骤。