CN115375780A - 色差计算方法、装置、电子设备和存储介质、产品 - Google Patents

Abstract

本申请涉及一种色差计算方法、装置、电子设备和存储介质、产品，该方法包括：从至少两帧待处理图像中分别提取色彩特征；色彩特征为基于待处理图像上不同深度的色彩特征所生成的。对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。由于从待处理图像上所提取的色彩特征为基于不同深度的色彩特征所生成的特征，因此，对至少两帧待处理图像的色彩特征进行色差融合，所生成的融合后的色差特征也可以兼顾图像中不同深度的色差信息。最后，将融合后的色差特征输入至色差预测网络中进行色差预测，提高了色差预测的准确性。

Description

色差计算方法、装置、电子设备和存储介质、产品

技术领域

本申请涉及计算机技术领域，特别是涉及一种色差计算方法、装置、电子设备和存储介质、产品。

背景技术

在图像处理过程中，经常会涉及到对图像进行颜色测量，例如，计算图像之间的色差等。其中，色差指的是两个颜色在颜色视觉上的差异，从色度学的角度来说，色差包括色相差、彩度差、明度差三个方面。具体的，可以使用测色仪器测量后，再通过色差公式计算得出这两种颜色的差异值

传统方法，在计算图像之间的色差时，通常采用CIEDE2000公式来计算两帧图像之间的色差。但是，采用CIEDE2000公式所计算出的两帧图像之间的色差的准确性较低。

发明内容

本申请实施例提供了一种色差计算方法、装置、电子设备、计算机可读存储介质，可以提高了所确定的至少两帧待处理图像之间的目标色差值的准确性。

一方面，提供了一种色差计算方法，所述方法包括：

从至少两帧待处理图像中分别提取色彩特征；所述色彩特征为基于所述待处理图像上不同深度的色彩特征所生成的；

对所述至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征；

将所述融合后的色差特征输入至色差预测网络中进行色差预测，生成所述至少两帧待处理图像之间的目标色差值。

另一方面，提供了一种色差计算装置，所述装置包括：

色彩特征提取模块，用于从至少两帧待处理图像中分别提取色彩特征；所述色彩特征为基于所述待处理图像上不同深度的色彩特征所生成的；

色差融合模块，用于对所述至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征；

色差预测模块，用于将所述融合后的色差特征输入至色差预测网络中进行色差预测，生成所述至少两帧待处理图像之间的目标色差值。

另一方面，提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的色差计算方法的步骤。

另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的色差计算方法的步骤。

另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的色差计算方法的步骤。

上述色差计算方法、装置、电子设备和存储介质、产品，从至少两帧待处理图像中分别提取色彩特征；色彩特征为基于待处理图像上不同深度的色彩特征所生成的。对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。由于从待处理图像上所提取的色彩特征为基于不同深度的色彩特征所生成的特征，因此，从至少两帧待处理图像中所分别提取的色彩特征，可以兼顾待处理图像中不同深度的信息。然后，再对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。那么，显然，融合后的色差特征也可以兼顾图像中不同深度的色差信息。最后，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。最终，提高了所确定的至少两帧待处理图像之间的目标色差值的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中色差计算方法的应用环境图；

图2为一个实施例中色差计算方法的流程图；

图3为图2中从至少两帧待处理图像中分别提取色彩特征方法的流程图；

图4为一个实施例中从待处理图像中提取第一色彩特征及第二色彩特征的流程示意图；

图5为一个实施例中色差计算方法的流程示意图；

图6为一个实施例中色差预测网络的结构示意图；

图7为一个具体的实施例中色差计算方法的流程图；

图8为一个实施例中色差计算装置的结构框图；

图9为图8中色彩特征提取模块的结构框图；

图10为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一色彩特征称为第二色彩特征，且类似地，可将第二色彩特征称为第一色彩特征。第一色彩特征和第二色彩特征两者都是色彩特征，但其不是同一色彩特征。

传统方法，在计算图像之间的色差时，通常采用以CIEDE2000为代表的色差度量公式来计算两帧图像之间的色差。由于CIEDE2000公式是基于CIELAB空间发展而来的，而图像在CIELAB空间上是非均匀排布的，因此，在采用CIEDE2000色差度量公式计算色差之前，需要先对图像上的非均匀区域进行矫正，操作较为复杂。

其次，采用CIEDE2000色差度量公式计算图像的色差，由于只能逐一像素地计算图像的色差，因此，采用CIEDE2000色差度量公式只能计算完全对齐的图像之间的色差，无法计算非完全对齐的图像之间的色差。最后，在采用CIEDE2000色差度量公式计算图像的色差时，也并未考虑空间信息对色差的影响。综上，采用CIEDE2000公式所计算出的两帧图像之间的色差的准确性较低，不能真实地反应人眼对于自然图像色彩差异的感知。

为了解决采用CIEDE2000公式所计算出的两帧图像之间的色差的准确性较低的问题，本申请提出了一种色差计算方法，图1为一个实施例中色差计算方法的应用环境示意图。如图1所示，该应用环境包括电子设备120，电子设备120可以从至少两帧待处理图像中分别提取色彩特征；色彩特征为基于待处理图像上不同深度的色彩特征所生成的；对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征；将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。其中，电子设备120可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。

图2为一个实施例中色差计算方法的流程图。本实施例中的色差计算方法，以运行于图1中的电子设备上为例进行描述。如图2所示，色差计算方法包括步骤220至步骤260，其中，

步骤220，从至少两帧待处理图像中分别提取色彩特征；色彩特征为基于待处理图像上不同深度的色彩特征所生成的。

电子设备在对图像进行色差计算时，可以针对至少两帧待处理图像进行色差计算。例如，电子设备可以对两帧待处理图像进行色差计算，也可以对三帧待处理图像进行色差计算，本申请对此不做限定。这里的待处理图像可以是由电子设备的摄像模组对拍摄场景进行拍摄获取的图像，也可以是拍照后保存到电子设备中的照片，或者是从其他地方获取保存至电子设备中的照片，本申请对此不做限定。且本申请中并不限定进行色差计算的至少两帧待处理图像是完全对齐的图像。即该至少两帧待处理图像的对齐程度达到预设对齐程度阈值即可，例如，至少两帧待处理图像的对齐程度达到80％即可，本申请对此不做限定。

在计算至少两帧待处理图像之间的色差时，可以从至少两帧待处理图像中分别提取色彩特征，即针对每帧待处理图像，均从中提取色彩特征。具体的，可以先从待处理图像中提取不同深度的色彩特征，然后，基于这些不同深度的色彩特征生成待处理图像的色彩特征。其中，针对待处理图像基于不同的提取深度进行特征提取，就可以得到不同深度的色彩特征。这里，提取深度可以理解为与进行特征提取所采用的神经网络的隐含层的层数相关。

由于从待处理图像中所提取的色彩特征是基于不同深度的色彩特征所生成的，不同深度的色彩特征可以体现出待处理图像不同粒度的信息。这里，不同深度的色彩特征可以体现出光线信息、颜色信息、边缘信息、纹理信息及抽象的语义信息、分类信息等中的至少一种。

步骤240，对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。

在得到了至少两帧待处理图像的色彩特征之后，对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。具体的，色差融合的具体过程包括：可以对两帧待处理图像的色彩特征进行矩阵运算，得到与两帧待处理图像的色彩特征对应的色差特征；再对该色差特征进行降维处理，生成降维处理后的色差特征，将降维处理后的色差特征作为融合后的色差特征。

步骤260，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。

最后，对两帧待处理图像的融合后的色差特征进行优化处理，具体的，可以采用色差预测网络对融合后的色差特征进行优化处理。例如，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。其中，色差预测网络为基于大量图像之间的色差特征对神经网络进行训练，所得到的网络。将两帧待处理图像的色差特征输入至色差预测网络中进行色差预测，可以输出更加准确的色差值。

在计算出两帧待处理图像的色差值之后，可以基于两帧待处理图像的色差值进行色彩转换(色彩tuning)或AI色彩调节(AI color rendition)等后续操作。例如，可以采用不同电子设备(测试设备及标准设备)对同一拍摄场景进行拍摄分别生成两帧图像，作为两帧待处理图像。其中，标准设备所拍摄出的图像的色彩显示效果较为理想。然后，采用本申请实施例中的色差计算方法，计算两帧待处理图像之间的色差值。最后，再基于色差值调整测试设备所拍摄出的图像的色彩显示效果，以向标准设备所拍摄出的图像的色彩显示效果靠近。从而，提高测试设备所拍摄出的图像的色彩显示效果。

采用CIEDE2000色差度量公式计算图像的色差，由于只能逐一像素地计算图像的色差，因此，采用CIEDE2000色差度量公式只能计算完全对齐的图像之间的色差，无法计算非完全对齐的图像之间的色差。且在采用CIEDE2000色差度量公式计算图像的色差时，主要是在色块层面进行色差计算，也并未考虑图像整体的空域信息对色差的影响。综上，采用CIEDE2000公式所计算出的两帧图像之间的色差的准确性较低，不能真实地反应人眼对于自然图像色彩差异的感知。本申请实施例中，色彩特征为基于待处理图像上不同深度的色彩特征所生成的，所以，基于色彩特征进行色差计算，就实现了并非从色块层面进行色差计算，且考虑了图像整体的空域信息对色差的影响。因此，提高了对自然图像进行色差计算以及色彩评价的鲁棒性。

本申请实施例中，从至少两帧待处理图像中分别提取色彩特征；色彩特征为基于待处理图像上不同深度的色彩特征所生成的。对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。由于从待处理图像上所提取的色彩特征为基于不同深度的色彩特征所生成的特征，因此，从至少两帧待处理图像中所分别提取的色彩特征，可以兼顾待处理图像中不同深度的信息。然后，再对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。那么，显然，融合后的色差特征也可以兼顾图像中不同深度的色差信息。最后，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。最终，提高了所确定的至少两帧待处理图像之间的目标色差值的准确性。

在上一个实施例中描述了一种色差计算方法，从至少两帧待处理图像中所分别提取的色彩特征为基于待处理图像上不同深度的色彩特征所生成的。在本实施例中进一步描述，不同深度的色彩特征包括第一色彩特征及第二色彩特征，第一色彩特征的深度小于第二色彩特征的深度。那么，如图3所示，详细说明步骤220，从至少两帧待处理图像中分别提取色彩特征的具体实现步骤，包括：

步骤222，针对至少两帧待处理图像中的各待处理图像，从待处理图像中提取第一色彩特征及第二色彩特征。

这里，不同深度的色彩特征包括第一色彩特征及第二色彩特征，第一色彩特征的深度小于第二色彩特征的深度。例如，第一色彩特征可以为浅层色彩特征，第二色彩特征为深层色彩特征。具体的，针对待处理图像基于不同的提取深度进行特征提取，就可以得到浅层色彩特征及深层色彩特征。同理，这里的提取深度可以理解为与进行特征提取所采用的神经网络的隐含层的层数相关。这里的浅层色彩特征是相对于深层色彩特征而言的。其中，浅层色彩特征可以体现出细粒度信息(浅层信息)，例如光线信息、颜色信息、边缘信息、纹理信息等中的至少一种。深层色彩特征可以体现出粗粒度信息(深层信息)，例如抽象的语义信息、分类信息等。当然，这里的细粒度信息也是相对于粗粒度信息而言的。

步骤224，对第一色彩特征及第二色彩特征进行特征融合，生成各待处理图像的色彩特征。

针对至少两帧待处理图像中的各待处理图像，从待处理图像中提取第一色彩特征及第二色彩特征之后，就可以对第一色彩特征及第二色彩特征进行特征融合，生成各待处理图像的色彩特征。即对浅层色彩特征及深层色彩特征进行特征融合，生成各待处理图像的色彩特征。由于浅层色彩特征可以体现出细粒度信息，例如光线信息、颜色信息、边缘信息、纹理信息等中的至少一种。深层色彩特征可以体现出粗粒度信息，例如抽象的语义信息、分类信息等。因此，所生成的各待处理图像的色彩特征就可以包含深层信息、浅层信息、像素信息和空域信息等。

具体的，在对第一色彩特征及第二色彩特征进行特征融合时，可以采用特征拼接(concat)、特征并行叠加(addition)、双线性插值操作(biLinear interpolation)、池化操作(sum-pooling)等中的任意一种进行特征融合。本申请对此不做限定。其中，特征拼接指的是直接将第一色彩特征及第二色彩特征进行连接，生成待处理图像的色彩特征。例如，若两个输入特征x和y的维数若为p和q，则对两个输入特征x和y进行特征拼接后，输出特征z的维数为p+q。其中，特征并行叠加指的是将第一色彩特征及第二色彩特征对应的两个特征向量组合成复向量。例如，对于输入特征x和y，则对两个输入特征x和y进行特征并行叠加后，输出特征z＝x+iy，其中i是虚数单位。其中，双线性插值操作指的是在两个方向分别进行一次线性插值的方式。

通过特征拼接(concat)、特征并行叠加(addition)、双线性插值操作(biLinearinterpolation)、池化操作(sum-pooling)等中的任意一种，对第一色彩特征及第二色彩特征进行特征融合，生成各待处理图像的色彩特征。即通过特征拼接(concat)、特征并行叠加(addition)、双线性插值操作(biLinear interpolation)、池化操作(sum-pooling)等中的任意一种，对待处理图像的浅层色彩特征及深层色彩特征进行特征融合，生成待处理图像的色彩特征。

本申请实施例中，在从至少两帧待处理图像中分别提取色彩特征时，具体的，针对至少两帧待处理图像中的各待处理图像，从待处理图像中提取第一色彩特征及第二色彩特征。再对第一色彩特征及第二色彩特征进行特征融合，生成各待处理图像的色彩特征。由于第一色彩特征的深度小于第二色彩特征的深度，即第一色彩特征的深度与第二色彩特征的深度不同。那么，对待处理图像的第一色彩特征及第二色彩特征进行特征融合，所生成的待处理图像的色彩特征就能够兼顾不同深度的色彩特征。换言之，所生成的待处理图像的色彩特征就能够兼顾浅层色彩特征及深层色彩特征。因此，所生成的待处理图像的色彩特征就能够更加全面地体现出待处理图像的色彩信息。进而，为后续准确地计算不同待处理图像之间的色差值做铺垫。

在上述实施例中，描述了如何从待处理图像中提取不同深度的色彩特征，进而基于不同深度的色彩特征生成待处理图像的色彩特征的过程。在本实施例中，进一步描述了步骤222，从待处理图像中提取第一色彩特征及第二色彩特征的具体实现步骤，包括：

将待处理图像输入至第一特征提取网络中进行特征提取，生成第一色彩特征；

将待处理图像输入至第二特征提取网络中进行特征提取，生成第二色彩特征；其中，第一特征提取网络的隐含层的层数小于第二特征提取网络的隐含层的层数，且第一特征提取网络中卷积层的卷积核大小大于第二特征提取网络中卷积层的卷积核大小。

结合图4所示，为一个实施例中从待处理图像中提取第一色彩特征及第二色彩特征的流程示意图。具体的，针对各待处理图像，将待处理图像的原图输入至第一特征提取网络中进行特征提取，生成待处理图像的第一色彩特征。同时，首先，对同一帧待处理图像进行下采样处理，生成下采样图像；其次，将下采样图像输入第二特征提取网络中进行特征提取，生成中间色彩特征；最后，对中间色彩特征进行上采样处理，生成同一帧待处理图像的第二色彩特征。这里第二色彩特征的特征维度与第一色彩特征的特征维度相同，便于后续进行特征融合。这里，下采样的倍率可以选择2倍，或其他倍率，本申请对此不做限定。

其中，第一特征提取网络的隐含层的层数小于第二特征提取网络的隐含层的层数，即第一特征提取网络可以称之为浅层特征提取网络，第二特征提取网络可以称之为深层特征提取网络。例如，第一特征提取网络可以包含四层隐含层，当然，本申请对此不做限定。第二特征提取网络可以包含五至十层隐含层，例如五层、八层或十层隐含层，当然，本申请对此不做限定。那么，显然，所得到的第一色彩特征的深度小于所得到的第二色彩特征的深度，即经过浅层特征提取网络所得到的是浅层色彩特征，经过深层特征提取网络所得到的是深层色彩特征。

其中，第一特征提取网络中卷积层的卷积核大小大于第二特征提取网络中卷积层的卷积核大小。例如，第一特征提取网络中卷积层的卷积核大小可以为11×11，第二特征提取网络中卷积层的卷积核大小可以为3×3，当然，本申请对此不做限定。即浅层特征提取网络中卷积层的卷积核大小大于深层特征提取网络中卷积层的卷积核大小。那么，多层小卷积核堆叠可以和大卷积核有相近的感受野，但深层特征提取网络中小卷积核的参数和计算量更少。因此，减小了深层特征提取网络的计算量。

本申请实施例中，将待处理图像输入至第一特征提取网络中进行特征提取，生成第一色彩特征。将待处理图像输入至第二特征提取网络中进行特征提取，生成第二色彩特征。其中，第一特征提取网络的隐含层的层数小于第二特征提取网络的隐含层的层数，那么，就可以从待处理图像中提取出不同深度的色彩特征。采用人工智能的方式提取色彩特征，进而计算两帧图像之间的色差值，相比较于直接采用色差计算公式的方式，准确性更高。进而，基于第一色彩特征及第二色彩特征进行特征融合，生成各待处理图像的色彩特征。那么，所得到的待处理图像的色彩特征就能够兼顾不同深度的色彩特征，更全面地体现待处理图像的色彩信息。且由于第一特征提取网络中卷积层的卷积核大小大于第二特征提取网络中卷积层的卷积核大小，则使得第二特征提取网络中小卷积核的参数和计算量更少。因此，最终减小了第二特征提取网络的计算量。

在一个实施例中，步骤224，对第一色彩特征及第二色彩特征进行特征融合，生成各待处理图像的色彩特征，包括：

对第一色彩特征及第二色彩特征进行特征拼接及矩阵变换，生成各待处理图像的色彩特征。

具体的，在对待处理图像的第一色彩特征及第二色彩特征进行特征融合时，可以对第一色彩特征及第二色彩特征进行特征拼接及矩阵变换，生成待处理图像的色彩特征。如此，对各待处理图像的第一色彩特征及第二色彩特征均进行上述操作，就得到了各待处理图像的色彩特征。

其中，第一色彩特征、第二色彩特征的特征维度包括三个维度(w维度(行)、h维度(列)和c维度(通道数))。对第一色彩特征及第二色彩特征按照对应的特征维度进行特征拼接，生成拼接特征。对拼接特征再进行矩阵转换，具体可以采用reshape操作(矩阵转换操作)将拼接特征按目标维度进行转换，例如，将拼接特征按h维度和w维度展开，得到待处理图像的色彩特征f(x)∈R^S×C，其中，C*H*W->S*C。

本申请实施例中，在对第一色彩特征及第二色彩特征进行特征融合时，具体对第一色彩特征及第二色彩特征进行特征拼接及矩阵变换，生成待处理图像的色彩特征。由于对第一色彩特征及第二色彩特征进行特征拼接，所得到的拼接特征的维度增大了，因此，通过矩阵变换就可以对拼接特征实现降维处理，生成待处理图像的色彩特征。且对第一色彩特征及第二色彩特征进行特征拼接及矩阵变换，所生成的待处理图像的色彩特征就能够兼顾不同深度的色彩特征。因此，所生成的待处理图像的色彩特征就能够更加全面地体现出待处理图像的色彩信息。进而，为后续准确地计算不同待处理图像之间的色差值做铺垫。

在上一个实施例中描述了一种色差计算方法，从至少两帧待处理图像中所分别提取的色彩特征为基于待处理图像上不同深度的色彩特征所生成的。在本实施例中，进一步描述步骤240，对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征的具体实现步骤，包括：

采用双线性池化方式对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。

在得到了至少两帧待处理图像的色彩特征之后，例如，在得到了两帧待处理图像的色彩特征之后，采用双线性池化方式对两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。也可以采用其他池化方式对两帧待处理图像的色彩特征进行色差融合，例如，采用最大池化、平均池化、随机池化、中值池化中的任意一种方式进行色差融合，本申请对此不做限定。其中，双线性池化方式主要用于特征融合，具体可以对从同一个样本中提取出来的特征X和特征Y，通过双线性池化方式可以得到融合后的特征。

具体的，首先，对至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征。可以采用预设色差融合方式对所述至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征；所述预设色差融合方式包括对所述至少两帧待处理图像的色彩特征进行矩阵运算或对所述至少两帧待处理图像的色彩特征进行拼接处理中的任意一种。这里的矩阵运算包括对至少两帧待处理图像中的任意两帧待处理图像的色彩特征进行矩阵相加、矩阵相减、矩阵相乘、矩阵相除等矩阵运算，本申请对此不做限定。

其次，对初始色差特征在两个不同的方向上进行池化处理，生成与两个不同的方向分别对应的池化结果，基于池化结果生成融合后的色差特征。具体的，可以对初始色差特征在横轴、纵轴两个不同的方向上进行池化处理，生成与两个不同的方向分别对应的池化结果。再对两个不同的方向分别对应的池化结果进行拼接，生成融合后的色差特征。通过池化操作可以大大降低特征维度。其中，进行池化处理的公式如下所示：

其中，C代表h(x,y)的长和宽，max表示池化操作，在横轴方向上进行池化处理(max_x)后得到C个元素，在纵轴方向上进行池化处理(max_y)后得到C个元素，再将二者进行拼接得到融合后的色差特征h，该融合后的色差特征h包括2*C个元素。且该融合后的色差特征h在R这个向量空间内，其维度为2C*1。

本申请实施例中，采用双线性池化方式对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。具体的，首先，对至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征。其次，对初始色差特征在两个不同的方向上进行池化处理，生成与两个不同的方向分别对应的池化结果，基于池化结果生成融合后的色差特征。采用双线性池化方式对至少两帧待处理图像的色彩特征进行色差融合，相比较与其他色差融合方法，可以在大大降低特征维度的同时，保证所生成的融合后的色差特征的准确性。因此，提高了后续基于融合后的色差特征进行色差预测的准确性。

在上一个实施例中描述了对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征的步骤。在本实施例中，详细说明所述对所述至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征的具体实现步骤，包括：

采用预设色差融合方式对所述至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征；所述预设色差融合方式包括对所述至少两帧待处理图像的色彩特征进行矩阵运算或对所述至少两帧待处理图像的色彩特征进行拼接处理中的任意一种。

假设对两帧待处理图像的色彩特征采用矩阵相乘的方式进行初步色差融合，其中，进行初步色差融合的公式如下所示：

h(x,y)＝f(x)^Tf(y)∈R^C×C 公式(1-2)

其中，一帧待处理图像的色彩特征为f(x)∈R^S×C，另一帧待处理图像的色彩特征为f(y)∈R^S×C，h(x,y)为对f(x)∈R^S×C、f(y)∈R^S×C进行初步色差融合所得到的初始色差特征。其中，C表示色彩通道数。

假设对两帧待处理图像的色彩特征采用矩阵相减的方式进行初步色差融合，其中，进行初步色差融合的公式如下所示：

h(x,y)＝||f(x)-f(y)|| 公式(1-3)

其中，一帧待处理图像的色彩特征为f(x)∈R^S×C，另一帧待处理图像的色彩特征为f(y)∈R^S×C，h(x,y)为对f(x)∈R^S×C、f(y)∈R^S×C进行初步色差融合所得到的初始色差特征。

本申请实施例中，在对至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征时，可以采用预设色差融合方式对所述至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征；所述预设色差融合方式包括对所述至少两帧待处理图像的色彩特征进行矩阵运算或对所述至少两帧待处理图像的色彩特征进行拼接处理中的任意一种。因此，可以采用多种色差融合方式进行色差融合，可以得到多样化的色差融合结果即初始色差特征。后续，再对多样化的初始色差特征在两个不同的方向上进行池化处理，生成与所述两个不同的方向分别对应的池化结果，基于所述池化结果生成融合后的色差特征。就可以进一步提高融合后的色差特征的多样性。

在上述实施例中，提供了一种色差计算方法，包括：从至少两帧待处理图像中分别提取色彩特征；色彩特征为基于待处理图像上不同深度的色彩特征所生成的。对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。在本实施例中，色差预测网络包括至少两个全连接层，各全连接层之间通过激活函数连接。并详细说明步骤260，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值，包括：

将融合后的色差特征输入至第一个全连接层中进行处理，生成第一色差预测结果；

将第一色差预测结果输入至激活函数中进行处理，生成第二色差预测结果；

循环执行将第二色差预测结果作为新的融合后的色差特征输入至下一个全连接层以及激活函数中进行处理的步骤，直到遍历完全连接层，生成至少两帧待处理图像之间的目标色差值。

结合图5所示，为一个实施例中色差计算方法的流程示意图。其中，将两帧非完全对称的待处理图像分别输入至色彩特征提取网络中进行特征提取，生成待处理图像的色彩特征。其中，色彩特征提取网络包括浅层特征提取网络及深层特征提取网络。这里，两帧非完全对称的待处理图像对应的色彩特征提取网络的参数可以一致或不一致，本申请对此不做限定。假设两帧非完全对称的待处理图像包括第一帧待处理图像及第二帧待处理图像，则将第一帧待处理图像输入至浅层特征提取网络，提取出浅层色彩特征；将第一帧待处理图像输入至深层特征提取网络，提取出深层色彩特征。再对第一帧待处理图像的浅层色彩特征、深层色彩特征进行特征融合，生成第一帧待处理图像的色彩特征。将第二帧待处理图像输入至浅层特征提取网络，提取出浅层色彩特征；将第二帧待处理图像输入至深层特征提取网络，提取出深层色彩特征。再对第二帧待处理图像的浅层色彩特征、深层色彩特征进行特征融合，生成第二帧待处理图像的色彩特征。

再将第一帧待处理图像的色彩特征、第二帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。最后，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。

具体的，色差预测网络包括至少两个全连接层，各全连接层之间通过激活函数连接。因此，首先，将融合后的色差特征输入至第一个全连接层中进行处理，生成第一色差预测结果。其次，将第一色差预测结果输入至激活函数中进行处理，生成第二色差预测结果。最后，循环执行将第二色差预测结果作为新的融合后的色差特征输入至下一个全连接层以及激活函数中进行处理的步骤，直到遍历完全连接层，生成至少两帧待处理图像之间的目标色差值。

可选地，结合图6所示，为一个实施例中色差预测网络的结构示意图。这里的色差预测网络可以包括两个全连接层，且这里可以采用RELU函数作为激活函数。因此，首先，将融合后的色差特征h输入至第一个全连接层(全连接层1)中进行处理，生成第一色差预测结果。其次，将第一色差预测结果输入至激活函数中进行处理，生成第二色差预测结果。最后，执行将第二色差预测结果作为新的融合后的色差特征输入至第二个全连接层(全连接层2)以及激活函数中进行处理的步骤，将激活函数的输出作为两帧待处理图像之间的目标色差值。

本申请实施例中，在将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值时，具体的，首先，将融合后的色差特征输入至第一个全连接层中进行处理，生成第一色差预测结果。其次，将第一色差预测结果输入至激活函数中进行处理，生成第二色差预测结果。最后，循环执行将第二色差预测结果作为新的融合后的色差特征输入至下一个全连接层以及激活函数中进行处理的步骤，直到遍历完全连接层，生成至少两帧待处理图像之间的目标色差值。通过至少两个全连接层对融合后的色差特征进行降维，输出一维向量作为两帧待处理图像之间的目标色差值。

在一个具体的实施例中，如图7所示，提供了一种色差计算方法，包括：

步骤702，将待处理图像输入至第一特征提取网络中进行特征提取，生成第一色彩特征；

步骤704，对待处理图像进行下采样，生成下采样图像；

步骤706，将下采样图像输入至第二特征提取网络中进行特征提取，生成中间色彩特征；

步骤708，对中间色彩特征进行上采样，生成第二色彩特征；第二色彩特征的特征维度与第一色彩特征的特征维度相同；其中，第一特征提取网络的隐含层的层数小于第二特征提取网络的隐含层的层数，且第一特征提取网络中卷积层的卷积核大小大于第二特征提取网络中卷积层的卷积核大小；

步骤710，对第一色彩特征及第二色彩特征进行特征拼接及矩阵变换，生成各待处理图像的色彩特征；

步骤712，采用双线性池化方式对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征；

步骤714，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。

本申请实施例中，由于从待处理图像上所提取的色彩特征为基于不同深度的色彩特征所生成的特征，因此，从至少两帧待处理图像中所分别提取的色彩特征，可以兼顾待处理图像中不同深度的信息。然后，再对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。那么，显然，融合后的色差特征也可以兼顾图像中不同深度的色差信息。最后，将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。最终，提高了所确定的至少两帧待处理图像之间的目标色差值的准确性。

在一个实施例中，如图8所示，提供了一种色差计算装置800，该装置包括：

色彩特征提取模块820，用于从至少两帧待处理图像中分别提取色彩特征；色彩特征为基于待处理图像上不同深度的色彩特征所生成的；

色差融合模块840，用于对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征；

色差预测模块860，用于将融合后的色差特征输入至色差预测网络中进行色差预测，生成至少两帧待处理图像之间的目标色差值。

在一个实施例中，如图9所示，不同深度的色彩特征包括第一色彩特征及第二色彩特征，第一色彩特征的深度小于第二色彩特征的深度；色彩特征提取模块820，包括：

第一、第二色彩特征提取单元822，用于针对至少两帧待处理图像中的各待处理图像，从待处理图像中提取第一色彩特征及第二色彩特征；

特征融合单元824，用于对第一色彩特征及第二色彩特征进行特征融合，生成各待处理图像的色彩特征。

在一个实施例中，第一、第二色彩特征提取单元822，还用于将待处理图像输入至第一特征提取网络中进行特征提取，生成第一色彩特征；将待处理图像输入至第二特征提取网络中进行特征提取，生成第二色彩特征；其中，第一特征提取网络的隐含层的层数小于第二特征提取网络的隐含层的层数，且第一特征提取网络中卷积层的卷积核大小大于第二特征提取网络中卷积层的卷积核大小。

在一个实施例中，第一、第二色彩特征提取单元822，还用于对待处理图像进行下采样，生成下采样图像；将下采样图像输入至第二特征提取网络中进行特征提取，生成中间色彩特征；对中间色彩特征进行上采样，生成第二色彩特征；第二色彩特征的特征维度与第一色彩特征的特征维度相同。

在一个实施例中，特征融合单元824，还用于对第一色彩特征及第二色彩特征进行特征拼接及矩阵变换，生成各待处理图像的色彩特征。

在一个实施例中，色差融合模块840，包括：

双线性池化单元，用于采用双线性池化方式对至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。

在一个实施例中，双线性池化单元，还用于对至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征；对初始色差特征在两个不同的方向上进行池化处理，生成与两个不同的方向分别对应的池化结果，基于池化结果生成融合后的色差特征。

在一个实施例中，双线性池化单元，还用于采用预设色差融合方式对至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征；预设色差融合方式包括对至少两帧待处理图像的色彩特征进行矩阵运算或对至少两帧待处理图像的色彩特征进行拼接处理中的任意一种。

在一个实施例中，色差预测网络包括至少两个全连接层，各全连接层之间通过激活函数连接；色差预测模块860，还用于将融合后的色差特征输入至第一个全连接层中进行处理，生成第一色差预测结果；将第一色差预测结果输入至激活函数中进行处理，生成第二色差预测结果；循环执行将第二色差预测结果作为新的融合后的色差特征输入至下一个全连接层以及激活函数中进行处理的步骤，直到遍历完全连接层，生成至少两帧待处理图像之间的目标色差值。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述色差计算装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将色差计算装置按照需要划分为不同的模块，以完成上述色差计算装置的全部或部分功能。

关于色差计算装置的具体限定可以参见上文中对于色差计算方法的限定，在此不再赘述。上述色差计算装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图10为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point ofSales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种色差计算方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。

本申请实施例中提供的色差计算装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行色差计算方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行色差计算方法。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic RandomAccess memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic RandomAccess memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic RandomAccess Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic RandomAccess Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic RandomAccess Memory，接口动态随机存储器)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种色差计算方法，其特征在于，所述方法包括：

从至少两帧待处理图像中分别提取色彩特征；所述色彩特征为基于所述待处理图像上不同深度的色彩特征所生成的；

对所述至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征；

将所述融合后的色差特征输入至色差预测网络中进行色差预测，生成所述至少两帧待处理图像之间的目标色差值。

2.根据权利要求1所述的方法，其特征在于，所述不同深度的色彩特征包括第一色彩特征及第二色彩特征，所述第一色彩特征的深度小于所述第二色彩特征的深度；所述从至少两帧待处理图像中分别提取色彩特征，包括：

针对所述至少两帧待处理图像中的各待处理图像，从所述待处理图像中提取所述第一色彩特征及所述第二色彩特征；

对所述第一色彩特征及所述第二色彩特征进行特征融合，生成各所述待处理图像的色彩特征。

3.根据权利要求2所述的方法，其特征在于，所述从所述待处理图像中提取所述第一色彩特征及所述第二色彩特征，包括：

将所述待处理图像输入至第一特征提取网络中进行特征提取，生成所述第一色彩特征；

将所述待处理图像输入至第二特征提取网络中进行特征提取，生成所述第二色彩特征；其中，所述第一特征提取网络的隐含层的层数小于所述第二特征提取网络的隐含层的层数，且所述第一特征提取网络中卷积层的卷积核大小大于所述第二特征提取网络中卷积层的卷积核大小。

4.根据权利要求3所述的方法，其特征在于，所述将所述待处理图像输入至第二特征提取网络中进行特征提取，生成所述第二色彩特征，包括：

对所述待处理图像进行下采样，生成下采样图像；

将所述下采样图像输入至所述第二特征提取网络中进行特征提取，生成中间色彩特征；

对所述中间色彩特征进行上采样，生成第二色彩特征；所述第二色彩特征的特征维度与所述第一色彩特征的特征维度相同。

5.根据权利要求2-4中任一项所述的方法，其特征在于，所述对所述第一色彩特征及所述第二色彩特征进行特征融合，生成各所述待处理图像的色彩特征，包括：

对所述第一色彩特征及所述第二色彩特征进行特征拼接及矩阵变换，生成各所述待处理图像的色彩特征。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述对所述至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征，包括：

采用双线性池化方式对所述至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征。

7.根据权利要求6所述的方法，其特征在于，所述采用双线性池化方式对所述至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征，包括：

对所述至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征；

对所述初始色差特征在两个不同的方向上进行池化处理，生成与所述两个不同的方向分别对应的池化结果，基于所述池化结果生成融合后的色差特征。

8.根据权利要求7所述的方法，其特征在于，所述对所述至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征，包括：

采用预设色差融合方式对所述至少两帧待处理图像的色彩特征进行初步色差融合，生成初始色差特征；所述预设色差融合方式包括对所述至少两帧待处理图像的色彩特征进行矩阵运算或对所述至少两帧待处理图像的色彩特征进行拼接处理中的任意一种。

9.根据权利要求1-4中任一项所述的方法，其特征在于，所述色差预测网络包括至少两个全连接层，各所述全连接层之间通过激活函数连接；所述将所述融合后的色差特征输入至色差预测网络中进行色差预测，生成所述至少两帧待处理图像之间的目标色差值，包括：

将所述融合后的色差特征输入至第一个全连接层中进行处理，生成第一色差预测结果；

将所述第一色差预测结果输入至所述激活函数中进行处理，生成第二色差预测结果；

循环执行将所述第二色差预测结果作为新的所述融合后的色差特征输入至下一个所述全连接层以及所述激活函数中进行处理的步骤，直到遍历完所述全连接层，生成所述至少两帧待处理图像之间的目标色差值。

10.一种色差计算装置，其特征在于，所述装置包括：

色彩特征提取模块，用于从至少两帧待处理图像中分别提取色彩特征；所述色彩特征为基于所述待处理图像上不同深度的色彩特征所生成的；

色差融合模块，用于对所述至少两帧待处理图像的色彩特征进行色差融合，生成融合后的色差特征；

色差预测模块，用于将所述融合后的色差特征输入至色差预测网络中进行色差预测，生成所述至少两帧待处理图像之间的目标色差值。

11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的色差计算方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的色差计算方法的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的色差计算方法的步骤。

Images