[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113781350A - 图像处理方法、图像处理装置、电子设备及存储介质 - Google Patents

图像处理方法、图像处理装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113781350A
CN113781350A CN202111084966.4A CN202111084966A CN113781350A CN 113781350 A CN113781350 A CN 113781350A CN 202111084966 A CN202111084966 A CN 202111084966A CN 113781350 A CN113781350 A CN 113781350A
Authority
CN
China
Prior art keywords
pixel
image
color
full
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111084966.4A
Other languages
English (en)
Other versions
CN113781350B (zh
Inventor
邓宇帆
李小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111084966.4A priority Critical patent/CN113781350B/zh
Publication of CN113781350A publication Critical patent/CN113781350A/zh
Application granted granted Critical
Publication of CN113781350B publication Critical patent/CN113781350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质。图像处理方法包括：在待处理图像中的当前像素的颜色不是目标颜色时，确定以当前像素为中心的局部图像的像素方差总值；在像素方差总值大于或等于预设阈值且所述局部图像的纹理方向为第一方向时，根据预设神经网络确定当前像素所在位置的目标颜色的像素值；分别将待处理图像中的每个像素作为当前像素并进行处理以得到具有目标颜色的第一全尺寸图像；根据第一全尺寸图像和待处理图像确定具有预设颜色的第二全尺寸图像，预设颜色与目标颜色不同。上述图像处理方法、装置、电子设备及存储介质为多通道的色彩还原提供了基础。

Description

图像处理方法、图像处理装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及存储介质。
背景技术
在相关技术中，相机包括由多种颜色的多个滤光片组成的滤光片阵列和由多个感光像素组成的感光像素阵列，一个滤光片对应一个感光像素，外界光线能够透过滤光片照射在感光像素上，感光像素能够将接收到的光信号转换成电信号并输出，进而输出的电信号经过一系列算法处理之后得到目标图像。但是，由于滤光片阵列的排列方式多种多样，例如bayer阵列、quadbayer阵、RGBW阵列等，不同排列方式的滤光片阵列对应的处理算法可能不同，因此，需要针对不同排列方式的滤光片阵列设计相应的处理算法。
发明内容
本申请的实施方式提供了一种图像处理方法、图像处理装置、电子设备及存储介质。
本申请实施方式的图像处理方法包括：在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差总值；在所述像素方差总值大于或等于预设阈值且所述局部图像的纹理方向为第一方向时，根据预设神经网络确定所述当前像素所在位置的所述目标颜色的像素值；分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像；根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，所述预设颜色与所述目标颜色不同。
本申请实施方式的图像处理装置包括第一确定模块、第二确定模块、处理模块和第三确定模块。第一确定模块用于在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差总值。第二确定模块用于在所述像素方差总值大于或等于预设阈值且所述局部图像的纹理方向为第一方向时，根据预设神经网络确定所述当前像素所在位置的所述目标颜色的像素值。处理模块用于分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像。第三确定模块用于根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，所述预设颜色与所述目标颜色不同。
本申请实施方式的电子设备包括一个或多个处理器和存储器。所述存储器存储有计算机程序。所述计算机程序被所述处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
上述图像处理方法、装置、电子设备及存储介质中，通过对不是目标颜色的像素所在位置进行目标颜色的像素值插值，能够得到具有目标颜色的第一全尺寸图像，进而能够根据第一全尺寸图像和待处理图像得到具有预设颜色的第二全尺寸图像，从而实现去马赛克的效果，提高了全尺寸模式下各颜色通道的图像的解析力，为多通道的色彩还原提供了基础。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的图像处理方法的流程示意图；
图2是本申请实施方式的图像处理装置的示意图；
图3是本申请实施方式的电子设备的示意图；
图4是本申请实施方式的电子设备的滤光片组的示意图；
图5是本申请实施方式的图像处理方法的预设方向的示意图；
图6-图9是本申请实施方式的图像处理方法的流程示意图；
图10是本申请实施方式的图像处理方法的场景示意图；
图11是本申请实施方式的图像处理方法的流程示意图；
图12是本申请实施方式的图像处理方法的场景示意图；
图13是本申请实施方式的图像处理方法的流程示意图；
图14是本申请实施方式的图像处理方法的流程示意图；
图15是本申请实施方式的图像处理方法的待处理图像的像素块的示意图；
图16是本申请实施方式的图像处理方法的场景示意图；
图17是本申请实施方式的图像处理方法的卷积神经网络的示意图；
图18是本申请实施方式的图像处理方法的流程示意图；
图19是本申请实施方式的图像处理方法的场景示意图；
图20是本申请实施方式的图像处理方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1-图3，本申请实施方式的图像处理方法包括：
011：在待处理图像中的当前像素的颜色不是目标颜色时，确定以当前像素为中心的局部图像的像素方差总值；
013：在像素方差总值大于或等于预设阈值且局部图像的纹理方向为第一方向时，根据预设神经网络确定当前像素所在位置的目标颜色的像素值；
015：分别将待处理图像中的每个像素作为当前像素并进行处理以得到具有目标颜色的第一全尺寸图像；
017：根据第一全尺寸图像和待处理图像确定具有预设颜色的第二全尺寸图像，预设颜色与目标颜色不同。
本申请实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，图像处理装置100包括第一确定模块11、第二确定模块13、处理模块15和第三确定模块17。第一确定模块11用于在待处理图像中的当前像素的颜色不是目标颜色时，确定以当前像素为中心的局部图像的像素方差总值。第二确定模块13用于在像素方差总值大于或等于预设阈值且局部图像的纹理方向为第一方向时，根据预设神经网络确定当前像素所在位置的目标颜色的像素值。处理模15块用于分别将待处理图像中的每个像素作为当前像素并进行处理以得到具有目标颜色的第一全尺寸图像。第三确定模块17用于根据第一全尺寸图像和待处理图像确定具有预设颜色的第二全尺寸图像，预设颜色与目标颜色不同。
本申请实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，本申请实施方式的电子设备1000包括一个或多个处理器200和存储器300。存储器300存储有计算机程序。计算机程序被处理器200执行的情况下，实现本申请实施方式的图像处理方法的步骤011、步骤013、步骤015、步骤017。
上述图像处理方法、图像处理装置100和电子设备1000中，通过对不是目标颜色的像素所在位置进行目标颜色的像素值插值，能够得到具有目标颜色的第一全尺寸图像，进而能够根据第一全尺寸图像和待处理图像得到具有预设颜色的第二全尺寸图像，从而实现去马赛克的效果，提高了全尺寸模式下各颜色通道的图像的解析力，为多通道的色彩还原提供了基础。
具体地，在某些实施方式中，电子设备包括壳体和相机模组，壳体和相机模组相结合。相机模组包括图像传感器，图像传感器包括感光像素阵列和滤光片阵列。感光像素阵列包括多个感光像素。滤光片阵列包括多个滤光片单元，每个滤光片单元包括多个滤光片组，每个滤光片组包括第一颜色空间中一种颜色对应的第一滤光片和第二颜色空间中一种颜色对应的第二滤光片。一个第一滤光片覆盖一个感光像素，一个第二滤光片覆盖一个感光像素，感光像素能够接收穿过与其对应的滤光片的外界光线并生成相应的电信号，根据所有感光像素生成的电信号可确定待处理图像。第一颜色空间可包括红色(Red，R)、绿色(Green，G)和蓝色(Blued，B)。第二颜色空间可包括品红色(Magenta，M)、黄色(Yellow，Y)和青色(Cyan，C)。
请结合图4，在某些实施方式中，一个滤光片组400包括一个第一滤光片组402、两个第二滤光片组404和一个第三滤光片组406，在第一滤光片组402中，第一滤光片为红色滤光片4022，第二滤光片为品红色滤光片4024；在第二滤光片组404中，第一滤光片为绿色滤光片4042，第二滤光片为黄色滤光片4044；在第三滤光片组406中，第一滤光片为蓝色滤光片4062，第二滤光片为青色滤光片4064，也即是说，在一个滤光片组400中G滤光片4042和Y滤光片4044的比例各为25％，R滤光片4022、B滤光片4062、C滤光片4064、M滤光片4024各为12.5％。滤光片组400的四个滤光片组呈2*2排列，其中，两个第二滤光片组404沿第三对角方向E1分布，第一滤光片组402和第三滤光片组406沿第四对角方向E2分布。每个滤光片组中包括两个第一滤光片和两个第二滤光片，四个滤光片呈2*2排列，其中，两个第一滤光片沿第一对角方向F1排列，两个第二滤光片沿第二对角方向F2排列。需要说明的是，第一对角方向F1和第二对角方向F2仅用于说明第一滤光片和第二滤光片的排列方向不一致，并不是指的固定的对角方向。同样地，第三对角方向E1和第四对角方向E2仅用于说明两个第二滤光片组404与第一滤光片组402和第三滤光片组406的排列方向不一致，并不是指的固定的对角方向。第一对角方向F1和第三对角方向E1可以指斜45°方向，第二对角方向F2和第四对角方向E2可以指反斜45°方向。
待处理图像包括多个像素，每个像素的颜色与对应的滤光片的颜色相同，滤光片的颜色包括多种，从而待处理图像包括多种颜色的像素。在某些实施方式中，待处理图像包括R像素、G像素、B像素、M像素、Y像素和C像素。
局部图像是待处理图像的局部。当前像素位于局部图像的中心。局部图像的尺寸包括但不限于5*5、7*7、9*9、11*11、13*13等。在一个例子中，局部图像的尺寸为7*7个像素，这样能够获得较好的图像处理结果。
像素方差总值可根据局部图像中像素的像素值确定。
局部图像的纹理方向可为预设方向中像素的梯度最小的方向。请结合图5，在某些实施方式中，在0到180度内每隔22.5度划分一个方向，分别记作E、AD、A、AU、N、DD、D、DU、W和S，其中E和W都是指代水平方向，N和S指代垂直方向，也即是说，预设方向包括水平方向(E、W)、垂直方向(N、S)、斜22.5°方向(AD)、反斜22.5°方向(DU)、斜45°方向(A)、反斜45°方向(D)、斜67.5°方向(AU)、反斜67.5°方向(DD)。第一方向可包括斜22.5°方向(AD)、反斜22.5°方向(DU)、斜45°方向(A)、反斜45°方向(D)、斜67.5°方向(AU)和反斜67.5°方向(DD)。可以理解，在上述实施方式中，预设方向包括8个方向，在其他实施方式中，预设方向可以划分为16个方向或者更多，在此不做限定。
预设神经网络可为预先训练得到的神经网络。目标颜色可为待处理图像的多种颜色中的任一种。在某些实施方式中，目标颜色为待处理图像中占比最高的一种颜色，例如G或Y。
预设颜色可为待处理图像的多种颜色中除目标颜色外的其他颜色。在一个例子中，待处理图像包括R、G、B、C、M、Y，当目标颜色为G时，预设颜色包括R、B、C、M、Y。
需要指出的是，预设颜色包括多种，在步骤017中确定的第二全尺寸图像也包括多种，每种预设颜色对应一种第二全尺寸图像，每种第二全尺寸图像中只存在一种预设颜色。第一全尺寸图像的尺寸和第二全尺寸图像的尺寸均与待处理图像的尺寸相同，第一全尺寸图像的像素数量和第二全尺寸图像的像素数量均与待处理图像的像素数量相同。
在某些实施方式中，待处理图像包括多个像素块，每个像素块包括多个像素单元，每个像素单元包括第一颜色空间中一种颜色对应的两个第一像素和第二颜色空间中一种颜色对应的两个第二像素，两个第一像素沿第一对角方向排列，两个第二像素沿第二对角方向排列，目标颜色为第一颜色空间或第二颜色空间中的一种颜色。
可以理解，相较于相关技术中仅包括第一颜色空间对应的颜色通道的待处理图像，本申请的待处理图像既包括第一颜色空间对应的颜色通道又包括第二颜色空间对应的颜色通道，颜色通道数的增加意味着白平衡参考信息翻倍，将大幅提升灰点检测和光源分析的准确度，有利于实现更为精准的白平衡判断或者其他图像处理功能。
具体地，每个像素块可包括R像素、G像素、B像素、M像素、Y像素和C像素，其中，G像素和Y像素的比例各为25％，R像素、B像素、C像素、M像素各为12.5％。需要说明的是，第一对角方向和第二对角方向仅用于说明第一像素和第二像素的排列方向不一致，并不是指的固定的对角方向。第一对角方向可为斜45°方向，第二对角方向可为反斜45°方向。此外，在其他实施方式中，像素单元中的像素也可以是其他颜色像素和/或其他排列方式，在此不作限定。
需要指出的是，在本申请实施方式中，像素的颜色是指与该像素对应的滤光片的颜色，第一像素的颜色即为与第一像素对应的第一滤光片的颜色，第二像素的颜色即为与第二像素对应的第二滤光片的颜色。
请参阅图6，在某些实施方式中，局部图像包括与第一颜色空间和第二颜色空间对应的多个颜色通道，步骤011包括：
0111：根据局部图像中每个颜色通道的像素均值和每个颜色通道的像素值确定局部图像中每个颜色通道的像素方差值；
0113：计算每个颜色通道的像素方差值的和值以作为局部图像的像素方差总值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第一确定模块11包括第一确定单元和第一计算单元。第一确定单元用于根据局部图像中每个颜色通道的像素均值和每个颜色通道的像素值确定局部图像中每个颜色通道的像素方差值。第一计算单元用于计算每个颜色通道的像素方差值的和值以作为局部图像的像素方差总值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于根据局部图像中每个颜色通道的像素均值和每个颜色通道的像素值确定局部图像中每个颜色通道的像素方差值，及用于计算每个颜色通道的像素方差值的和值以作为局部图像的像素方差总值。
如此，能够根据局部图像中的各个颜色通道的像素方差值计算出局部图像的像素方差总值。
具体地，像素方差值σc可由以下公式表示：
Figure BDA0003265255950000041
其中，c表示颜色通道，N表示局部图像的像素总个数，pixel_valuec表示局部图像中第i个像素的像素值，uc表示局部图像的颜色通道c中的像素均值。
进一步地，像素方差总值σ可由以下公式表示：σ＝∑σc。在某些实施方式中，当像素方差总值小于预设阈值时，确定以当前像素为中心的局部图像为平坦区，可以直接根据当前像素与目标颜色像素的色比恒常关系插值出当前像素所在位置的目标颜色的像素值；当像素方差总值大于或等于预设阈值时，确定以当前像素为中心的局部图像为纹理区，进而计算局部图像的纹理方向，并根据纹理方向选择相应的方法插值出当前像素所在位置的目标颜色的像素值。平坦区和纹理区对应的当前像素所在位置的目标颜色的像素值的插值方式不同。
在某些实施方式中，预设阈值可以根据画面亮度动态设置，例如，当画面亮度为100时，可以设置预设阈值为10，当画面亮度为200时，可以设置预设阈值为15等。
请参阅图7，在某些实施方式中，在步骤015之前，图像处理方法还包括：
019：在像素方差总值小于预设阈值时，根据局部图像中颜色为目标颜色的所有像素和颜色与当前像素的颜色相同的所有像素确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，图像处理装置100还包括第四确定模块。第四确定模块用于在像素方差总值小于预设阈值时，根据局部图像中颜色为目标颜色的所有像素和颜色与当前像素的颜色相同的所有像素确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于在像素方差总值小于预设阈值时，根据局部图像中颜色为目标颜色的所有像素和颜色与当前像素的颜色相同的所有像素确定当前像素所在位置的目标颜色的像素值。
如此，在局部图像表征为平坦区时，能够确定当前像素所在位置的目标颜色的像素值。
具体地，像素方差总值小于预设阈值即局部图像表征为平坦区。
在一个例子中，当前像素为红色像素，目标颜色为绿色，则在像素方差总值小于预设阈值时，根据局部图像中所有绿色像素和所有红色像素，确定当前像素所在位置的绿色像素值。
请参阅图8，在某些实施方式中，步骤019包括：
0191：根据局部图像中颜色为目标颜色的所有像素的第一像素均值和局部图像中颜色与当前像素的颜色相同的所有像素的第二像素均值确定第一色比常数；
0193：根据第一色比常数和当前像素的像素值确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第四确定模块包括第二确定单元和第三确定单元。第二确定单元用于根据局部图像中颜色为目标颜色的所有像素的第一像素均值和局部图像中颜色与当前像素的颜色相同的所有像素的第二像素均值确定第一色比常数。第三确定单元用于根据第一色比常数和当前像素的像素值确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于根据局部图像中颜色为目标颜色的所有像素的第一像素均值和局部图像中颜色与当前像素的颜色相同的所有像素的第二像素均值确定第一色比常数，及用于根据第一色比常数和当前像素的像素值确定当前像素所在位置的目标颜色的像素值。
如此，在局部图像表征为平坦区时，可以直接根据局部像素的色比恒常关系确定当前像素所在位置的目标颜色的像素值。
具体地，第一像素均值，即局部图像中颜色为目标颜色的所有像素的像素平均值。第二像素均值，局部图像中颜色与当前像素的颜色相同的所有像素的像素平均值。第一色比常数，即第一像素均值与第二像素均值的比值。进一步地，可以将第一色比常数和当前像素的像素值乘积作为当前像素所在位置的目标颜色的像素值。
在一个例子中，目标颜色为绿色，当前像素为红色像素，当前像素的坐标为(5,5)，则第一色比常数可由以下公式表示：ratio_RG＝mean_G/mean_R，其中，mean_G表示局部图像中所有绿色像素的第一像素均值，mean_R表示局部图像中所有红色像素的第二像素均值，从而，坐标(5,5)处的绿色像素值为：G(5,5)＝R(5,5)*ratio_RG，R(5,5)表示当前像素的像素值。
请参阅图9，在某些实施方式中，在步骤015之前，图像处理方法还包括：
021：在像素方差总值大于或等于预设阈值且局部图像的纹理方向为第二方向时，根据第二方向上的颜色为目标颜色的像素确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，图像处理装置100还包括第五确定模块。第五确定模块用于在像素方差总值大于或等于预设阈值且局部图像的纹理方向为第二方向时，根据第二方向上的颜色为目标颜色的像素确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于在像素方差总值大于或等于预设阈值且局部图像的纹理方向为第二方向时，根据第二方向上的颜色为目标颜色的像素确定当前像素所在位置的目标颜色的像素值。
如此，在局部图像表征为纹理区且纹理方向为第二方向时，可以确定当前像素所在位置的目标颜色的像素值。
具体地，像素方差总值大于或等于预设阈值即局部图像表征为纹理区。第二方向可以理解为预设方向中除第一方向外的其他方向。
以下将以预设方向包括水平方向(E、W)、垂直方向(N、S)、斜22.5°方向(AD)、反斜22.5°方向(DU)、斜45°方向(A)、反斜45°方向(D)、斜67.5°方向(AU)、反斜67.5°方向(DD)，第一方向包括斜22.5°方向(AD)、反斜22.5°方向(DU)、斜45°方向(A)、反斜45°方向(D)、斜67.5°方向(AU)和反斜67.5°方向(DD)，第二方向包括水平方向和垂直方向为例，对本申请的技术方案和有益效果进行说明。可以理解，在其他实施方式中，第二方向可为其他预设方向，例如斜45°方向和反斜45°方向，在此不作限定。
可以理解，在局部图像表征为纹理区且纹理方向为水平方向或垂直方向时，由于采用预设神经网络对当前像素所在位置的目标颜色的像素值进行插值可能会出现不理想的效果，因此，在这种情况下可根据步骤021确定当前像素所在位置的目标颜色的像素值，这样能够获得较好的插值效果。
在一个例子中，当前像素为红色像素，目标颜色为绿色，局部图像的纹理方向为第二方向中的水平方向时，则在像素方差总值大于或等于预设阈值时，根据局部图像中水平方向上的绿色像素，确定当前像素所在位置的绿色像素值。
请结合图10，以第二方向为水平方向或垂直方向为例进行说明，可以理解的是，对于颜色不是目标颜色的当前像素，可以根据当前像素所在的局部图像的像素方差总值和局部图像的纹理方向，选择上述步骤013、步骤019、步骤021中对应的一种方法确定当前像素所在位置的目标颜色的像素值。
请参阅图11，在某些实施方式中，步骤021包括：
0211：以当前像素为中心，确定第二方向上与当前像素距离最近的颜色为目标颜色的两个像素；
0213：将两个像素的像素值的平均值作为当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第五确定模块包括第四确定单元和第二计算单元。第四确定单元用于以当前像素为中心，确定第二方向上与当前像素距离最近的颜色为目标颜色的两个像素。第二计算单元用于将两个像素的像素值的平均值作为当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于以当前像素为中心，确定第二方向上与当前像素距离最近的颜色为目标颜色的两个像素，及用于将两个像素的像素值的平均值作为当前像素所在位置的目标颜色的像素值。
如此，在局部图像表征为纹理区且纹理方向为第二方向时，可以根据第二方向上与当前像素距离最近的颜色为目标颜色的两个像素确定当前像素所在位置的目标颜色的像素值。
请结合图12，在一个例子中，目标颜色为绿色，局部图像的纹理方向为第二方向中的水平方向(E、W)，当前像素的坐标为(5,5)，以当前像素为中心，可确定水平方向上与当前像素最近的两个绿色像素分别为G(5,3)和G(5,7)，则坐标(5,5)处的绿色像素值可表示为：G(5,5)＝(G(5,3)+G(5,7))/2。
请继续结合图12，在另一个例子中，目标颜色为绿色，局部图像的纹理方向为第二方向中的垂直方向(N、S)，当前像素的坐标为(5,5)，以当前像素为中心，可确定垂直方向上与当前像素最近的两个绿色像素分别为G(3,5)和G(7,5)，则坐标(5,5)处的绿色像素值可表示为：G(5,5)＝(G(3,5)+G(7,5))/2。
请参阅图13，在某些实施方式中，步骤013包括：
0131：根据待处理图像和预设神经网络确定具有目标颜色的第三全尺寸图像；
0133：根据第三全尺寸图像确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第二确定模块13包括第五确定单元和第六确定单元。第五确定单元用于根据待处理图像和预设神经网络确定具有目标颜色的第三全尺寸图像。第六确定单元用于根据第三全尺寸图像确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于根据待处理图像和预设神经网络确定具有目标颜色的第三全尺寸图像，及用于根据第三全尺寸图像确定当前像素所在位置的目标颜色的像素值。
如此，在像素方差总值大于或等于预设阈值且局部图像的纹理方向为第一方向时，采用预设神经网络确定当前像素所在位置的目标颜色的像素值能够获得较好的效果。
具体地，第三全尺寸图像的尺寸与待处理图像的尺寸相同，第三全尺寸图像的像素数量与待处理图像的像素数量相同。在步骤0133中，将第三全尺寸图像中与当前像素的坐标相同的像素的像素值作为当前像素所在位置的目标颜色的像素值。可以理解，虽然第三全尺寸图像中每个像素的颜色均为目标颜色，但是第三全尺寸图像不能够直接作为第一全尺寸图像，只有在当前像素对应的局部图像的像素方差总值大于或等于预设阈值且纹理方向为第一方向时，与当前像素的坐标相同的第三全尺寸图像中的像素的像素值才能够作为当前像素所在位置的目标颜色的像素的像素值。
在一个例子中，若当前像素的坐标为(5,5)，且当前像素对应的局部图像的像素方差总值等于预设阈值，当前像素对应的局部图像的纹理方向为第一方向，则将第三全尺寸图像中坐标为(5,5)的像素的像素值作为当前像素所在位置的目标颜色的像素值。
请参阅图14，在某些实施方式中，待处理图像包括多个预设窗口，每个预设窗口包括多个像素块，步骤0131包括：
01311：将预设窗口内每个像素块中同一位置的像素合并以作为输入子图；
01313：根据输入子图和预设神经网络确定具有目标颜色的第三全尺寸图像。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第五确定单元包括生成子单元和确定子单元。生成子单元用于将预设窗口内每个像素块中同一位置的像素合并以作为输入子图。确定子单元用于根据输入子图和预设神经网络确定具有目标颜色的第三全尺寸图像。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于将预设窗口内每个像素块中同一位置的像素合并以作为输入子图，及用于根据输入子图和预设神经网络确定具有目标颜色的第三全尺寸图像。
如此，基于预设神经网络确定具有目标颜色的第三全尺寸图像。
具体地，预设窗口的尺寸为像素块的尺寸的整数倍，例如，当像素块的尺寸为4*4时，预设窗口的尺寸可为8*8、16*16、32*32、64*64等。可以理解，当预设窗口的尺寸为8*8时，一个预设窗口包括4个像素块；当预设窗口的尺寸为16*16时，一个预设窗口包括16个像素块；当预设窗口的尺寸为32*32时，一个预设窗口包括64个像素块；当预设窗口的尺寸为64*64时，一个预设窗口包括256个像素块。在某些实施方式中，预设窗口的尺寸不小于32*32，这样能够保证获得较好的运算结果。
输入子图，可以理解为一个预设窗口内的每个像素块在同一位置的像素的集合。由于每个像素块包括多个像素，因此，根据一个预设窗口可生成多个输入子图。输入子图的数量与一个像素块中像素的数量相同。同一输入子图的像素的数量与预设窗口中像素块的数量相同。同一输入子图的每个像素的颜色相同。将一个预设窗口对应的所有输入子图输入预设神经网络，可得到该一个预设窗口对应的部分第三全尺寸图像，对待处理图像的每个预设窗口对应的所有输入子图进行上述处理，即可得到待处理图像对应的完整的第三全尺寸图像。
请结合图15和图16，以下将以像素块的尺寸为4*4，预设窗口的尺寸为12*12为例，对上述实施方式的技术方案进行详细描述。
图15为像素块500的示意图，在图15的示例中，一个像素块500包括一个第一像素单元502、两个第二像素单元504和一个第三像素单元506，在第一像素单元502中，第一像素为红色像素，第二像素为品红色像素；在第二像素单元504中，第一像素为绿色像素，第二像素为黄色像素；在第三像素单元506中，第一像素为蓝色像素，第二像素为青色像素。像素块包括16个位置，根据位置的不同，上述红色像素可记为R2和R5，上述品红色像素可记为M1和M6，上述绿色像素可记为G4、G7、G10和G13，上述黄色像素可记为Y3、Y8、Y9和Y14，上述蓝色像素可记为B12和B15，上述青色像素可记为C11和C16。
图16为根据预设窗口生成输入子图的场景示意图，在图16的示例中，一个预设窗口包括9个像素块。将每个像素块中同一位置的像素聚集成一个输入子图，可得到16个输入子图。每个输入子图包括9个颜色相同的像素。进一步地，将16个输入子图作为输入图像输入预设神经网络可得到该预设窗口对应的部分第三全尺寸图像。
请结合图17，在某些实施方式中，预设神经网络包括卷积神经网络，卷积神经网络包括第一网络结构、第二网络结构、第三网络结构、第四网络结构、第五网络结构、第六网络结构和分支网络结构，第一网络结构、第三网络结构、第四网络结构、第六网络结构和分支网络结构均包括大小为3*3的卷积核，第二网络结构和第五网络结构均包括大小为1*1的卷积核。
具体地，第一网络结构的输出端与第二网络结构的输入端连接，第二网络结构的输出端与第三网络结构的输入端连接，第三网络结构的输出端与第四网络结构的输入端连接，第四网络结构的输出端与第五网络结构的输入端连接，第五网络结构的输出端与第六网络结构的输入端连接。其中，第一网络结构包括3*3的卷积核，第一网络结构的输入为16个输入子图，第一网络结构的输出为256个第一输出子图；第二网络结构包括1*1的卷积核，第二网络结构的输入为256个第一输出子图，第二网络结构的输出为128个第二输出子图；第三网络结构包括3*3的卷积核，第三网络结构的输入为128个第二输出子图，第三网络结构的输出为128个第三输出子图；第四网络结构包括3*3的卷积核，第四网络结构的输入为128个第三输出子图，第四网络结构的输出为128个第四输出子图；第五网络结构包括1*1的卷积核，第五网络结构的输入为128个第四输出子图，第五网络结构的输出为128个第五输出子图；第六网络结构包括3*3的卷积核，第六网络结构的输入为128个第五输出子图，第六网络结构的输出为16个第六输出子图。
分支网络结构连接第一网络结构的输入端和第六网络结构的输出端，分支网络结构包括大小为3*3的卷积核。输入卷积神经网络的16个输入子图经过分支网络结构的处理之后累加到第六网络结构输出的16个第六输出子图上并输出卷积神经网络。如此，基于残差网络的结构，增加卷积神经网络的拟合能力。
请参阅图18，在某些实施方式中，目标颜色包括绿色，预设颜色包括红色、蓝色、青色、品红色和黄色，步骤017包括：
0171：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除红色像素外其他像素所在位置的红色像素值以得到红色的第二全尺寸图像；
0173：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除蓝色像素外其他像素所在位置的蓝色像素值以得到蓝色的第二全尺寸图像；
0175：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除青色像素外其他像素所在位置的青色像素值以得到青色的第二全尺寸图像；
0177：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除品红色像素外其他像素所在位置的品红色像素值以得到品红色的第二全尺寸图像；
0179：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除黄色像素外其他像素所在位置的黄色像素值以得到黄色的第二全尺寸图像。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第三确定模块17包括第一滤波单元、第二滤波单元、第三滤波单元、第四滤波单元和第五滤波单元。第一滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除红色像素外其他像素所在位置的红色像素值以得到红色的第二全尺寸图像。第二滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除蓝色像素外其他像素所在位置的蓝色像素值以得到蓝色的第二全尺寸图像。第三滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除青色像素外其他像素所在位置的青色像素值以得到青色的第二全尺寸图像。第四滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除品红色像素外其他像素所在位置的品红色像素值以得到品红色的第二全尺寸图像。第五滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除黄色像素外其他像素所在位置的黄色像素值以得到黄色的第二全尺寸图像。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除红色像素外其他像素所在位置的红色像素值以得到红色的第二全尺寸图像，及用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除蓝色像素外其他像素所在位置的蓝色像素值以得到蓝色的第二全尺寸图像，及用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除青色像素外其他像素所在位置的青色像素值以得到青色的第二全尺寸图像，及用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除品红色像素外其他像素所在位置的品红色像素值以得到品红色的第二全尺寸图像，及用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除黄色像素外其他像素所在位置的黄色像素值以得到黄色的第二全尺寸图像。
如此，在已经获得具有目标颜色的第一全尺寸图像的情况下，可以通过滤波的方式获得具有预设颜色的多种第二全尺寸图像。
具体地，滤波的方式可包括引导滤波或联合双边滤波。引导滤波和联合双边滤波是两种不同的融合策略，它们都可以用来引导待插值的颜色通道并将缺失的像素值补齐。以下将以联合双边滤波为例对本申请实施方式的方案进行详细说明。可以理解，也可以使用引导滤波实现本申请实施方式的技术方案，在此不作限定。
请结合图19，将待处理图像中每种预设颜色(例如品红色)的颜色通道对应的图像分别作为待滤波图像I，将第一全尺寸图像作为引导图像I’，经过联合双边滤波后可得到第二全尺寸图像(输出图像J)。联合双边滤波的处理过程可由以下公式表示：
Figure BDA0003265255950000091
Figure BDA0003265255950000092
其中，kp＝∑q∈Ωf(||p-q||)g(||Ip′-Iq′||)，Jp为输出图像的像素值，kp为权重总和，Ω为滤波窗口(可以是7*7大小)，p为待滤波像素点在待滤波图像中的坐标，q为滤波窗口内的像素点在待滤波图像中的坐标，Iq为q点对应的像素值，Ip′为引导图像中与待滤波像素点对应的像素值，Iq′为引导图像中与q点对应的像素值。f表示滤波窗口每个坐标对应的权重，是固定的，越靠近滤波窗口中心的权重越大。g表示其他位置的像素与中心像素差异的权重，差异越大，权重越小。
进一步地，以品红色的颜色通道为例，若待滤波像素点的坐标为(i,j)，则坐标(i,j)处品红色像素的像素值插值可表示为：M(i,j)＝G(i,j)*meanM/meanG，其中，meanG＝sum(sum(HF.*I’))，meanM＝sum(sum(HF.*I))。I’表示引导图像的G像素窗口(可以是7*7大小)。I表示待滤波图像的M像素窗口(可以是7*7大小)，无M像素的地方，矩阵值为0。meanG表示得到G像素局部的加权和。meanM表示得到M像素局部的加权和。H表示距离权重矩阵。F表示像素差异权重矩阵，是f和g矩阵的点乘。HF表示H和F的点乘结果。
请参阅图20，在某些实施方式中，在步骤011之后，图像处理方法还包括：
023：确定局部图像在预设方向的像素梯度值；
025：将像素梯度值最小的预设方向作为局部图像的纹理方向。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，图像处理装置100还包括第六确定模块和第七确定模块。第六确定模块用于确定局部图像在预设方向的像素梯度值。第七确定模块用于将像素梯度值最小的预设方向作为局部图像的纹理方向。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于确定局部图像在预设方向的像素梯度值，及用于将像素梯度值最小的预设方向作为局部图像的纹理方向。
如此，能够可以确定出预设方向中像素梯度值最小的方向。
具体地，在滤光片组为图4所示的排列方式时，预设方向可包括水平方向(E、W)、垂直方向(N、S)、斜22.5°方向(AD)、反斜22.5°方向(DU)、斜45°方向(A)、反斜45°方向(D)、斜67.5°方向(AU)、反斜67.5°方向(DD)。第一方向可包括斜45°方向和反斜45°方向。第二方向为预设方向中除第一方向外的其他方向，在第一方向包括斜45°方向和反斜45°方向时，第二方向可包括水平方向、垂直方向、斜22.5°方向、反斜22.5°方向、斜67.5°方向和反斜67.5°方向。
像素梯度值可通过累加多个像素之间的差值的绝对值确定。例如，请结合图5，水平方向E的像素梯度值grad_E可由以下公式确定：grad_E＝abs(raw(5,5)-raw(5,9))+abs(raw(4，5)-raw(4,9))+abs(raw(6,5)-raw(6,9))+abs(raw(6,5)-raw(5,6)-raw(5,8))+abs(raw(4,5)-raw(4,6)+raw(2,6))+abs(raw(6,5)-raw(6,6)+raw(6,7))。垂直方向N的像素梯度值grad_N可由以下公式确定：grad_N＝abs(raw(5,5)-raw(1,5))+abs(raw(5,6)-raw(1,6))+abs(raw(5,4)-raw(1,4))+abs(raw(5，5)-raw(2，5)-raw(4,5))+abs(raw(5,6)-raw(3,6)-raw(2,6))+abs(raw(5，4)-raw(3，4)-raw(2,4))。斜45°方向A的像素梯度值grad_A可由以下公式确定：grad_A＝abs(raw(5,5)-raw(1,9))+abs(raw(5，5)-raw(9,1))+abs(raw(4,6)-raw(6,4))+abs(raw(7,3)-raw(3,7))+
abs(raw(7,4)-raw(4,7))+abs(raw(6,3)-raw(3,6))+abs(raw(8,4)-raw(4,8))。反斜45°方向AD的像素梯度值grad_AD可由以下公式确定：grad_AD＝abs(raw(5,4)-raw(4，9))+abs(raw(6,3)-raw(5,8))+abs(raw(6,4)-raw(5,7))+abs(raw(5,3)-raw(4,6))+
abs(raw(5,5)-raw(6,2))+abs(raw(4,4)-raw(3,7))+abs(raw(4,3)-raw(3，8))。
在某些实施方式中，令Grad＝[grad_N grad_S grad_E grad_W grad_AD grad_Agrad_AU grad_DD grad_D grad_DU]，计算[Mingrad,Dir]＝min(Grad)，若得到Dir＝1或2，则可确定纹理方向为垂直方向；若得到Dir＝3或4，则可确定纹理方向为水平方向；若得到Dir＝5，则可确定纹理方向为斜22.5°方向；若得到Dir＝6，则可确定纹理方向为斜45°方向；若得到Dir＝7，则可确定纹理方向为斜67.5°方向；若得到Dir＝8，则可确定纹理方向为反斜67.5°方向；若得到Dir＝9，则可确定纹理方向为反斜45°方向；若得到Dir＝10，则可确定纹理方向为反斜22.5°方向。
需要指出的是，上述所提到的具体数值只为了作为例子详细说明本申请的实施，而不应理解为对本申请的限制。在其他例子或实施方式或实施例中，可根据本申请来选择其他数值，在此不作具体限定。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，程序被处理器执行的情况下，实现上述任一实施方式的图像处理方法的步骤。
例如，程序被处理器执行的情况下，实现以下图像处理方法的步骤：
011：在待处理图像中的当前像素的颜色不是目标颜色时，确定以当前像素为中心的局部图像的像素方差总值；
013：在像素方差总值大于或等于预设阈值且局部图像的纹理方向为第一方向时，根据预设神经网络确定当前像素所在位置的目标颜色的像素值；
015：分别将待处理图像中的每个像素作为当前像素并进行处理以得到具有目标颜色的第一全尺寸图像；
017：根据第一全尺寸图像和待处理图像确定具有预设颜色的第二全尺寸图像，预设颜色与目标颜色不同。
可以理解，计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：
在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差总值；
在所述像素方差总值大于或等于预设阈值且所述局部图像的纹理方向为第一方向时，根据预设神经网络确定所述当前像素所在位置的所述目标颜色的像素值；
分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像；
根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，所述预设颜色与所述目标颜色不同。
2.根据权利要求1所述的图像处理方法，其特征在于，所述局部图像包括与所述第一颜色空间和所述第二颜色空间对应的多个颜色通道，所述确定以所述当前像素为中心的局部图像的像素方差总值，包括：
根据所述局部图像中每个所述颜色通道的像素均值和每个所述颜色通道的像素值确定所述局部图像中每个所述颜色通道的像素方差值；
计算每个所述颜色通道的所述像素方差值的和值以作为所述局部图像的所述像素方差总值。
3.根据权利要求1所述的图像处理方法，其特征在于，在所述分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像之前，所述图像处理方法还包括：
在所述像素方差总值小于所述预设阈值时，根据所述局部图像中颜色为所述目标颜色的所有像素和颜色与所述当前像素的颜色相同的所有像素确定所述当前像素所在位置的所述目标颜色的像素值。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述局部图像中颜色为目标颜色的所有像素和颜色与所述当前像素的颜色相同的所有像素确定所述当前像素所在位置的所述目标颜色的像素值，包括：
根据所述局部图像中颜色为所述目标颜色的所有像素的第一像素均值和所述局部图像中颜色与所述当前像素的颜色相同的所有像素的第二像素均值确定第一色比常数；
根据所述第一色比常数和所述当前像素的像素值确定所述当前像素所在位置的所述目标颜色的像素值。
5.根据权利要求1所述的图像处理方法，其特征在于，所述根据预设神经网络确定所述当前像素所在位置的所述目标颜色的像素值，包括：
根据待处理图像和所述预设神经网络确定具有所述目标颜色的第三全尺寸图像；
根据所述第三全尺寸图像确定所述当前像素所在位置的所述目标颜色的像素值。
6.根据权利要求5所述的图像处理方法，其特征在于，所述待处理图像包括多个预设窗口，每个所述预设窗口包括多个所述像素块，所述根据待处理图像和所述预设神经网络确定具有所述目标颜色的第三全尺寸图像，包括：
将所述预设窗口内每个所述像素块中同一位置的像素合并以作为输入子图；
根据所述输入子图和所述预设神经网络确定具有所述目标颜色的所述第三全尺寸图像。
7.根据权利要求6所述的图像处理方法，其特征在于，所述预设神经网络包括卷积神经网络，所述卷积神经网络包括第一网络结构、第二网络结构、第三网络结构、第四网络结构、第五网络结构、第六网络结构和分支网络结构，所述第一网络结构、所述第三网络结构、所述第四网络结构、所述第六网络结构和所述分支网络结构均包括大小为3*3的卷积核，所述第二网络结构和所述第五网络结构均包括大小为1*1的卷积核。
8.根据权利要求1所述的图像处理方法，其特征在于，在所述分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像之前，所述图像处理方法还包括：
在所述像素方差总值大于或等于所述预设阈值且所述局部图像的所述纹理方向为第二方向时，根据所述第二方向上的颜色为所述目标颜色的像素确定所述当前像素所在位置的所述目标颜色的像素值。
9.根据权利要求8所述的图像处理方法，其特征在于，所述根据所述第二方向上的颜色为所述目标颜色的像素确定所述当前像素所在位置的所述目标颜色的像素值，包括：
以所述当前像素为中心，确定所述第二方向上与所述当前像素距离最近的颜色为所述目标颜色的两个像素；
将所述两个像素的像素值的平均值作为所述当前像素所在位置的所述目标颜色的像素值。
10.根据权利要求1所述的图像处理方法，其特征在于，所述目标颜色包括绿色，所述预设颜色包括红色、蓝色、青色、品红色和黄色，所述根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，包括：
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除红色像素外其他像素所在位置的红色像素值以得到红色的第二全尺寸图像；
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除蓝色像素外其他像素所在位置的蓝色像素值以得到蓝色的第二全尺寸图像；
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除青色像素外其他像素所在位置的青色像素值以得到青色的第二全尺寸图像；
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除品红色像素外其他像素所在位置的品红色像素值以得到品红色的第二全尺寸图像；
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除黄色像素外其他像素所在位置的黄色像素值以得到黄色的第二全尺寸图像。
11.根据权利要求1所述的图像处理方法，其特征在于，在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差之后，所述图像处理方法还包括：
确定所述局部图像在预设方向的像素梯度值；
将所述像素梯度值最小的预设方向作为所述局部图像的所述纹理方向。
12.根据权利要求1-11任一项所述的图像处理方法，其特征在于，所述待处理图像包括多个像素块，每个所述像素块包括多个像素单元，每个所述像素单元包括第一颜色空间中一种颜色对应的两个第一像素和第二颜色空间中一种颜色对应的两个第二像素，两个所述第一像素沿第一对角方向排列，两个所述第二像素沿第二对角方向排列，所述目标颜色为所述第一颜色空间或所述第二颜色空间中的一种颜色。
13.一种图像处理装置，其特征在于，所述图像处理装置包括：
第一确定模块，用于在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差总值；
第二确定模块，用于在所述像素方差总值大于或等于预设阈值且所述局部图像的纹理方向为第一方向时，根据预设神经网络确定所述当前像素所在位置的所述目标颜色的像素值；
处理模块，用于分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像；
第三确定模块，用于根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，所述预设颜色与所述目标颜色不同。
14.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行的情况下，实现权利要求1-12任一项所述的图像处理方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现权利要求1-12任一项所述的图像处理方法的步骤。
CN202111084966.4A 2021-09-16 2021-09-16 图像处理方法、图像处理装置、电子设备及存储介质 Active CN113781350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111084966.4A CN113781350B (zh) 2021-09-16 2021-09-16 图像处理方法、图像处理装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111084966.4A CN113781350B (zh) 2021-09-16 2021-09-16 图像处理方法、图像处理装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113781350A true CN113781350A (zh) 2021-12-10
CN113781350B CN113781350B (zh) 2023-11-24

Family

ID=78844449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111084966.4A Active CN113781350B (zh) 2021-09-16 2021-09-16 图像处理方法、图像处理装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113781350B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201322450D0 (en) * 2013-12-18 2014-02-05 Imagination Tech Ltd Defence pixel fixing
WO2015093253A1 (ja) * 2013-12-20 2015-06-25 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
CN106530252A (zh) * 2016-11-08 2017-03-22 北京小米移动软件有限公司 图像处理方法及装置
CN109636753A (zh) * 2018-12-11 2019-04-16 珠海奔图电子有限公司 图像处理方法和装置、电子设备及计算机可读存储介质
CN110189339A (zh) * 2019-06-03 2019-08-30 重庆大学 深度图辅助的主动轮廓抠图方法及系统
CN112053417A (zh) * 2019-06-06 2020-12-08 西安诺瓦星云科技股份有限公司 图像处理方法、装置和系统以及计算机可读存储介质
CN112598758A (zh) * 2020-10-22 2021-04-02 努比亚技术有限公司 一种图像处理方法、移动终端以及计算机存储介质
CN112801882A (zh) * 2019-11-14 2021-05-14 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN112843697A (zh) * 2021-02-02 2021-05-28 网易（杭州）网络有限公司 一种图像处理方法、装置、存储介质及计算机设备
CN112999654A (zh) * 2021-03-04 2021-06-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN113362261A (zh) * 2020-03-04 2021-09-07 杭州海康威视数字技术股份有限公司 图像融合方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201322450D0 (en) * 2013-12-18 2014-02-05 Imagination Tech Ltd Defence pixel fixing
WO2015093253A1 (ja) * 2013-12-20 2015-06-25 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
CN106530252A (zh) * 2016-11-08 2017-03-22 北京小米移动软件有限公司 图像处理方法及装置
CN109636753A (zh) * 2018-12-11 2019-04-16 珠海奔图电子有限公司 图像处理方法和装置、电子设备及计算机可读存储介质
CN110189339A (zh) * 2019-06-03 2019-08-30 重庆大学 深度图辅助的主动轮廓抠图方法及系统
CN112053417A (zh) * 2019-06-06 2020-12-08 西安诺瓦星云科技股份有限公司 图像处理方法、装置和系统以及计算机可读存储介质
CN112801882A (zh) * 2019-11-14 2021-05-14 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN113362261A (zh) * 2020-03-04 2021-09-07 杭州海康威视数字技术股份有限公司 图像融合方法
CN112598758A (zh) * 2020-10-22 2021-04-02 努比亚技术有限公司 一种图像处理方法、移动终端以及计算机存储介质
CN112843697A (zh) * 2021-02-02 2021-05-28 网易（杭州）网络有限公司 一种图像处理方法、装置、存储介质及计算机设备
CN112999654A (zh) * 2021-03-04 2021-06-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙国栋等: "基于灰度直方图反向投影的织物疵点图像分割", 《制造业自动化》 *
杨磊等: "结合纹理特征的Camshift目标跟踪算法研究", 《电子设计工程》 *

Also Published As

Publication number Publication date
CN113781350B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
KR101663871B1 (ko) 이미지의 컬러 결점을 보정하기 위한 방법 및 연관된 장치
US8248496B2 (en) Image processing apparatus, image processing method, and image sensor
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN107623844B (zh) 中间位置处的像素的颜色值的确定
Chen et al. Effective demosaicking algorithm based on edge property for color filter arrays
JP2008070853A (ja) 画像配列データの補償方法
US10943340B2 (en) Blending images
CN110557584A (zh) 图像处理方法及装置、计算机可读存储介质
JP2000134634A (ja) 画像変換方法
US8798398B2 (en) Image processing apparatus
CN108307162B (zh) 高效灵活的色彩处理器
US20190355105A1 (en) Method and device for blind correction of lateral chromatic aberration in color images
CN113068011B (zh) 图像传感器、图像处理方法及系统
US10783608B2 (en) Method for processing signals from a matrix for taking colour images, and corresponding sensor
CN117274060B (zh) 一种无监督的端到端去马赛克方法及系统
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN113781350B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
CN103259960A (zh) 数据的插值方法及装置、图像输出方法及装置
JP2020091910A (ja) 画像処理装置、画像処理方法及びプログラム
JP5484015B2 (ja) 撮像装置、撮像方法、及びプログラム
US8068145B1 (en) Method, systems, and computer program product for demosaicing images
CN113781349A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
CN112237002A (zh) 图像处理方法和设备
CN115187487A (zh) 图像处理方法及装置、电子设备、存储介质
CN113888439A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant