CN113763496B - 图像着色的方法、装置及计算机可读存储介质 - Google Patents
图像着色的方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113763496B CN113763496B CN202110296808.9A CN202110296808A CN113763496B CN 113763496 B CN113763496 B CN 113763496B CN 202110296808 A CN202110296808 A CN 202110296808A CN 113763496 B CN113763496 B CN 113763496B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- primitive
- determining
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004040 coloring Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 50
- 239000000463 material Substances 0.000 claims description 55
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000009877 rendering Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 11
- 239000013598 vector Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种图像着色的方法、装置及计算机可读存储介质，涉及计算机技术领域。在本公开中，确定待处理图像的参考图像，然后根据第一固定图元的每个第一预设色相值组与参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，为第一固定图元进行着色；根据移动图元的每个第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图所确定的每个第二预设色相值组与参考图像的第三相似度，为移动图元进行着色。对待处理图像的第一固定图元和移动图元分别进行着色处理，考虑到了固定图元对位置敏感，以及移动图元对位置不敏感的特性，从而使得待处理图像的着色效果更好。
Description
技术领域
本公开涉及计算机技术领域，特别涉及一种图像着色的方法、装置及计算机可读存储介质。
背景技术
随着互联网技术的发展，可以利用机器自动生成海报，而在机器自动生成海报的过程中，需要对图层中的每个图元进行着色。如果对每个图元的颜色进行手工配置，则比较耗费时间。
一种解决方案是把现有的颜色表现优异的参考图像中的颜色整体地迁移到待处理图像的图层的各个图元上，使得着色后的图像具备参考图像的整体风格和颜色特征。Reinhard算法提出对整个参考图像与待处理图像进行统计分析，确定一个线性变换关系，使得参考图像和待处理图像在颜色空间中具有同样的均值和方差。Welsh算法提出利用查找匹配像素的亮度值的方法实现灰度图像的自动彩色化。
发明内容
使用Reinhard算法或Welsh算法进行颜色迁移，以实现对图像的着色，仅考虑了整体的颜色统计特征或亮度值的整体匹配，没有针对不同图元的特性进行考虑，着色效果达不到预期要求。
为此，本公开提供一种实现更好的着色效果的图像着色的方法。
在本公开的实施例中，确定待处理图像的参考图像，然后根据第一固定图元的每个第一预设色相值组与参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，为第一固定图元进行着色；根据移动图元的每个第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图所确定的每个第二预设色相值组与参考图像的第三相似度，为移动图元进行着色。对待处理图像的第一固定图元和移动图元分别进行着色处理，考虑到了固定图元对位置敏感，以及移动图元对位置不敏感的特性，从而使得待处理图像的着色效果更好。
根据本公开的一些实施例，提供一种图像着色的方法，包括：
根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像；
针对待处理图像中的第一固定图元，设置多个第一预设色相值组，每个第一预设色相值组包括所述第一固定图元中各个像素点的色相值，根据第一固定图元的每个第一预设色相值组与所述参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，按照最高第二相似度相应的第一预设色相值组，为所述第一固定图元中各个像素点进行着色；
针对待处理图像中的移动图元，设置多个第二预设色相值组，每个第二预设色相值组包括所述移动图元中各个像素点的色相值，计算移动图元的每个第二预设色相值组与所述参考图像的各个像素点的像素值组的卷积特征图，将卷积特征图中最大的元素值作为移动图元的每个第二预设色相值组与所述参考图像的第三相似度，按照最高第三相似度相应的第二预设色相值组，为所述移动图元中各个像素点进行着色。
在一些实施例中，计算移动图元的每个第二预设色相值组与所述参考图像的各个像素点的像素值组的卷积特征图包括：
针对每个第二预设色相值组，将移动图元由所述第二预设色相值组表示转换为RGB色彩模式表示；
根据转换后的移动图元的R通道特征图与所述参考图像的R通道特征图的卷积计算结果，确定第一卷积特征图；
根据转换后的移动图元的G通道特征图与所述参考图像的G通道特征图的卷积计算结果，确定第二卷积特征图；
根据转换后的移动图元的B通道特征图与所述参考图像的B通道特征图的卷积计算结果，确定第三卷积特征图；
根据第一卷积特征图、第二卷积特征图、第三卷积特征图的加权求和结果，确定移动图元的所述第二预设色相值组与所述参考图像的各个像素点的像素值组的卷积特征图。
在一些实施例中，根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像包括：
分别计算待处理图像的空间特征以及图像库中的每张候选图像的空间特征；
将待处理图像的空间特征以及每张候选图像的空间特征输入到第一相似度预测模型中，得到输出的待处理图像与每张候选图像的第一相似度，其中，所述第一相似度预测模型是利用多个训练图像的移动图元的空间特征和固定图元的空间特征对神经网络模型进行训练得到的；
将最高第一相似度相应的候选图像，确定为待处理图像的参考图像。
在一些实施例中，所述待处理图像的空间特征包括待处理图像中每个固定图元的空间特征和每个移动图元的空间特征；所述第一相似度预测模型进行以下处理，输出待处理图像与每张候选图像的第一相似度：根据待处理图像中的固定图元的空间特征和候选图像中相应的固定图元的空间特征，确定相应的第四相似度；根据待处理图像中的移动图元的空间特征和候选图像的空间特征的卷积运算结果，确定相应的第五相似度；根据待处理图像中每个固定图元对应的第四相似度和待处理图像中每个移动图元对应的第五相似度的加权求和结果，确定待处理图像与每张候选图像的第一相似度。
在一些实施例中，根据待处理图像中的固定图元相应的像素点坐标值的余弦变换结果以及所述固定图元的像素点坐标值转换到频域空间上的张量值，确定待处理图像中的固定图元的空间特征；
根据待处理图像中的移动图元相应的像素点坐标值的余弦变换结果以及所述移动图元的像素点坐标值转换到频域空间上的张量值，确定待处理图像中的移动图元的空间特征；
根据每张候选图像的像素点坐标值的余弦变换结果以及相应的候选图像的像素点坐标值转换到频域空间上的张量值，确定相应的候选图像的空间特征。
在一些实施例中，还包括：
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；
根据所述边缘对比度、色块的面积以及相应的色块与待处理图像的背景元素的对比度，确定待处理图像的前景元素的色相值，其中，所述色块与待处理图像的背景元素的对比度根据色块的亮度值的平均值与背景元素中所有像素点的亮度平均值的比值确定。
在一些实施例中，还包括：
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；
根据所述边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度，确定待处理图像的背景元素的色相值，其中，所述色块与待处理图像的前景元素的对比度根据色块的亮度值的平均值与前景元素中所有像素点的亮度平均值的比值确定。
在一些实施例中，确定边缘对比度包括：
将参考图像由HSL色彩模式表示转换为RGB色彩模式表示，获取参考图像中的每个像素点对应的RGB颜色值；
利用第一聚类算法对转换后的参考图像中的每个像素点对应的RGB颜色值进行聚类，得到第一聚类结果；
利用第二聚类算法对第一聚类结果中每个聚类对应的每个像素点在坐标空间上进行聚类，得到第二聚类结果；
根据第二聚类结果形成的一个或多个簇，确定一个或多个色块；
在每个色块的边缘选择预设个数的采样像素点，并分别计算每个采样像素点的亮度差值，根据计算的所有色块中采样像素点对应的亮度差值的最大值的平均值，确定边缘对比度。
在一些实施例中，还包括：
在确定待处理图像中的每个第一固定图元和每个移动图元的色相值之后，
获取图像库中的每个图元素材的色相直方图，以及待处理图像中的每个移动图元和固定图元的色相直方图；
获取标准图像的色相直方图；
构建第一部分与第二部分的等式，以求解图元素材的权重，所述第一部分是各个图元素材的色相直方图的元素值与图元素材的权重的乘积和、待处理图像中的各个移动图元的色相直方图的元素值与相应移动图元的权重的乘积和以及各个固定图元的色相直方图的元素值与相应固定图元的权重的乘积和的求和结果，所述第二部分是所述标准图像的色相直方图的元素值；
将求解的图元素材的权重最大的预设个数的图元素材，添加到待处理图像中。
根据本公开的另一些实施例，提供一种图像着色的装置，包括：
确定模块，被配置为根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像；
第一着色模块，被配置为针对待处理图像中的第一固定图元，设置多个第一预设色相值组，每个第一预设色相值组包括所述第一固定图元中各个像素点的色相值，根据第一固定图元的每个第一预设色相值组与所述参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，按照最高第二相似度相应的第一预设色相值组，为所述第一固定图元中各个像素点进行着色；
第二着色模块，被配置为针对待处理图像中的移动图元，设置多个第二预设色相值组，每个第二预设色相值组包括所述移动图元中各个像素点的色相值，计算移动图元的每个第二预设色相值组与所述参考图像的各个像素点的像素值组的卷积特征图，将卷积特征图中最大的元素值作为移动图元的每个第二预设色相值组与所述参考图像的第三相似度，按照最高第三相似度相应的第二预设色相值组，为所述移动图元中各个像素点进行着色。
在一些实施例中，还包括：
第三着色模块，被配置为：
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；
根据所述边缘对比度、色块的面积以及相应的色块与待处理图像的背景元素的对比度，确定待处理图像的前景元素的色相值，其中，所述色块与待处理图像的背景元素的对比度根据色块的亮度值的平均值与背景元素中所有像素点的亮度平均值的比值确定。
在一些实施例中，还包括：
第四着色模块，被配置为：
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；
根据所述边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度，确定待处理图像的背景元素的色相值，其中，所述色块与待处理图像的前景元素的对比度根据色块的亮度值的平均值与前景元素中所有像素点的亮度平均值的比值确定。
在一些实施例中，还包括：添加模块，被配置为：
在确定待处理图像中的每个第一固定图元和每个移动图元的色相值之后，
获取图像库中的每个图元素材的色相直方图，以及待处理图像中的每个移动图元和固定图元的色相直方图；
获取标准图像的色相直方图；
构建第一部分与第二部分的等式，以求解图元素材的权重，所述第一部分是各个图元素材的色相直方图的元素值与图元素材的权重的乘积和、待处理图像中的各个移动图元的色相直方图的元素值与相应移动图元的权重的乘积和以及各个固定图元的色相直方图的元素值与相应固定图元的权重的乘积和的求和结果，所述第二部分是所述标准图像的色相直方图的元素值；
将求解的图元素材的权重最大的预设个数的图元素材，添加到待处理图像中。
根据本公开的又一些实施例，提供一种图像着色的装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一实施例所述的图像着色的方法。
根据本公开的再一些实施例，提供一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的图像着色的方法。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出根据本公开的一些实施例的图像着色的方法的流程示意图。
图2示出根据本公开的一些实施例的利用第一相似度预测模型确定待处理图像与候选图像的第一相似度的示意图。
图3示出根据本公开的一些实施例的为待处理图像中的移动图元进行着色的示意图。
图4示出根据本公开的一些实施例的基于RGB颜色值进行聚类得到的第一聚类结果的示意图。
图5示出根据本公开的一些实施例的在坐标空间上进行聚类得到的第二聚类结果的示意图。
图6示出根据本公开的一些实施例的确定边缘对比度的示意图。
图7示出根据本公开的一些实施例的为待处理图像中选择图元素材的示意图。
图8示出根据本公开的一些实施例的图像着色的装置的示意图。
图9示出根据本公开的另一些实施例的图像着色的装置的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
本公开的“第一”、“第二”、“第三”等描述，如果没有特别指出，是用来表示不同的对象，并不用来表示大小或时序等含义。
图1示出根据本公开的一些实施例的图像着色的方法的流程示意图。该方法例如可以由图像着色的装置执行。
如图1所示，该实施例的方法包括步骤110-130。在一些实施例中，还可以包括步骤140-150，在另一些实施例中，还可以包括步骤160。
在步骤110，从图像库中确定待处理图像的参考图像。
将图像表示为结构化的图层结构形式，一张图像例如可以包括图元、背景元素和前景元素中的一项或多项，其中，图元可以是一个或多个，图元例如可以包括移动图元和固定图元中的一项或多项。
在一些实施例中，根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像具体包括：分别计算待处理图像的空间特征以及图像库中的每张候选图像的空间特征；将待处理图像的空间特征以及每张候选图像的空间特征输入到第一相似度预测模型中，得到输出的待处理图像与每张候选图像的第一相似度，其中，第一相似度预测模型是利用多个训练图像的移动图元的空间特征和固定图元的空间特征对神经网络模型进行训练得到的。最后，将最高第一相似度相应的候选图像，确定为待处理图像的参考图像。
在一些实施例中，待处理图像的空间特征包括待处理图像中每个固定图元的空间特征和每个移动图元的空间特征。确定待处理图像的空间特征的方法例如可以包括：根据待处理图像中的固定图元相应的像素点坐标值的余弦变换结果以及固定图元的像素点坐标值转换到频域空间上的张量值，确定待处理图像中的固定图元的空间特征；根据待处理图像中的移动图元相应的像素点坐标值的余弦变换结果以及移动图元的像素点坐标值转换到频域空间上的张量值，确定待处理图像中的移动图元的空间特征。
确定候选图像的空间特征的方法例如可以包括：根据每张候选图像的像素点坐标值的余弦变换结果以及相应的候选图像的像素点坐标值转换到频域空间上的张量值，确定相应的候选图像的空间特征。
例如，可以通过如下公式计算图像或图元的空间特征F，即将图像中的各个像素点(或图元中的各个像素点)转换到频域空间。
其中，图像(或图元)的像素尺寸M＊N，f(x，y)是坐标位置为(x，y)的像素点的像素值。μ和v分别表示像素点的坐标位置x和y转换到频域空间上的张量值。c(μ)和c(v)的取值如下：
在一些实施例中，根据待处理图像的固定图元与候选图像的第四相似度以及待处理图像的移动图元与候选图像的第五相似度，确定待处理图像与候选图像的第一相似度。对第一相似度预测模型进行以下处理，输出待处理图像与每张候选图像的第一相似度：根据待处理图像中的固定图元的空间特征和候选图像中相应的固定图元的空间特征，确定相应的第四相似度；根据待处理图像中的移动图元的空间特征和候选图像的空间特征的卷积运算结果，确定相应的第五相似度；根据待处理图像中每个固定图元对应的第四相似度和待处理图像中每个移动图元对应的第五相似度的加权求和结果，确定待处理图像与每张候选图像的第一相似度。
把待处理图像的固定图元与移动图元分开处理，分别计算固定图元和移动图元的第四相似度、第五相似度，并将分别计算的第四相似度、第五相似度进行加权求和，得到待处理图像与候选图像的第一相似度，考虑到移动图元对位置不敏感的特性，可以使得计算的第一相似度更加准确，从而使得后续的着色效果更好。
图2示出根据本公开的一些实施例的利用第一相似度预测模型确定待处理图像与候选图像的第一相似度的示意图。
如图2所示，假设待处理图像中的固定图元有1个，移动图元有3个，把待处理图像的固定图元与移动图元分开处理，固定图元直接与候选图像的对应位置的图元计算相似性，而移动图元通过卷积核在整个候选图像的范围内扫描，生成候选图像的特征图(尺寸例如为16＊10)，并对其进行最大池化，生成池化层特征图(尺寸例如为8＊5)，对多个移动图元生成的所有池化层特征图进行拼接，生成特征向量。并将该特征向量输入隐藏层进行处理，通过输出层输出第一相似度。
在一些实施例中，为了保证输出的特征向量具有固定维度，例如可以定义移动图元的数量最多为5个，生成5*8*5大小的特征向量(即维度为200)。如果移动图元的数量不足5个，则用0填充，多于5个则取前5个移动图元，生成的特征向量经过神经网络的隐藏层，输出移动图元的第四相似度，再与计算的固定图元的第五相似度加权得到最终的待处理图像与候选图像的第一相似度。
第一相似度预测模型的训练数据例如可以通过如下方式获得，例如，通过改变移动图元的位置，缩放移动图元，增加或删除移动图元等操作生成新的训练数据。将这些训练数据输入到神经网络进行反向传播训练，得到第一相似度预测模型。利用上述方法生成新的训练数据可以丰富训练数据集以增强第一相似度预测模型的泛化能力，提高预测的第一相似度的准确率，从而使得后续的着色效果更好。
在步骤120，为待处理图像中的第一固定图元中各个像素点进行着色。
针对待处理图像中的第一固定图元，设置多个第一预设色相值组，每个第一预设色相值组包括第一固定图元中各个像素点的色相值，根据第一固定图元的每个第一预设色相值组与参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，按照最高第二相似度相应的第一预设色相值组，为第一固定图元中各个像素点进行着色。
例如，可以通过旋转色相环，在色相环上进行非均匀采样，依次选取色相环中的多个色相值作为第一预设色相值组，分别计算着色为每个第一预设色相值组的第一固定图元与参考图像中对应位置的第二固定图元的第二相似度，选择第二相似度取最大值时所对应的第一预设色相值组的值作为第一固定图元的色相值。
在步骤130，为待处理图像中的移动图元中各个像素点进行着色。
针对待处理图像中的移动图元，设置多个第二预设色相值组，每个第二预设色相值组包括移动图元中各个像素点的色相值，计算移动图元的每个第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图，将卷积特征图中最大的元素值作为移动图元的每个第二预设色相值组与参考图像的第三相似度，按照最高第三相似度相应的第二预设色相值组，为移动图元中各个像素点进行着色。
待处理图像、候选图像以及参考图像可以用HSL(色相Hue、饱和度Saturation、亮度Lightness)色彩模式表示，也可以用RGB色彩模式表示，两者之间可以互相转换。
在一些实施例中，计算移动图元的每个第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图包括：针对每个第二预设色相值组，将移动图元由第二预设色相值组表示转换为RGB色彩模式表示；根据转换后的移动图元的R通道特征图与参考图像的R通道特征图的卷积计算结果，确定第一卷积特征图；根据转换后的移动图元的G通道特征图与参考图像的G通道特征图的卷积计算结果，确定第二卷积特征图；根据转换后的移动图元的B通道特征图与参考图像的B通道特征图的卷积计算结果，确定第三卷积特征图；根据第一卷积特征图、第二卷积特征图、第三卷积特征图的加权求和结果，确定移动图元的第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图。
对待处理图像中的第一固定图元和移动图元分别进行着色处理，考虑到了固定图元对位置敏感，以及移动图元对位置不敏感的特性，可以使得待处理图像的着色效果更好。
图3示出根据本公开的一些实施例的为待处理图像中的移动图元进行着色的示意图。
假设待处理图像中的移动图元是RGB色彩模式表示的，首先将移动图元转换为HSL格式表示，在色相环上进行多次非均匀采样，取得多个第二预设色相值组，分别计算待处理图像中的移动图元的R通道、G通道、B通道三个通道与参考图像的目标R通道、目标G通道、目标B通道的卷积特征图，即分别表示为第一卷积特征图、第二卷积特征图、第三卷积特征图，将三个通道上的卷积特征图进行加权求和，得到最终的卷积特征结果，选取其中的最大取值所对应的第二预设色相值组作为对该移动图元的着色，并轮询占领参考图像中的某一位置，其他移动图元在着色时不能选取已被占领的位置。对待处理图像中的其他移动图元参考上述方法选取第二预设色相值组。
在步骤140，对待处理图像的前景元素进行着色处理。
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；根据边缘对比度、色块的面积以及相应的色块与待处理图像的背景元素的对比度，确定待处理图像的前景元素的色相值。其中，色块与待处理图像的背景元素的对比度根据色块的亮度值的平均值与背景元素中所有像素点的亮度平均值的比值确定。
例如，根据边缘对比度、色块的面积以及相应的色块与待处理图像的背景元素的对比度，确定待处理图像的前景元素的色相值可以包括：为边缘对比度、色块的面积、以及相应的色块与待处理图像的背景元素的对比度分别设置第一权重、第二权重、以及第三权重，将这三者与其分别对应的第一权重、第二权重或第三权重进行加权求和，然后将该加权求和结果作为待处理图像的前景元素的色相值。
其中，确定边缘对比度包括：将参考图像由HSL色彩模式表示转换为RGB色彩模式表示，获取参考图像中的每个像素点对应的RGB颜色值；利用第一聚类算法对转换后的参考图像中的每个像素点对应的RGB颜色值进行聚类，得到第一聚类结果；利用第二聚类算法对第一聚类结果中每个聚类对应的每个像素点在坐标空间上进行聚类，得到第二聚类结果；根据第二聚类结果形成的一个或多个簇，确定一个或多个色块；在每个色块的边缘选择预设个数的采样像素点，并分别计算每个采样像素点的亮度差值，根据计算的所有色块中采样像素点对应的亮度差值的最大值的平均值，确定边缘对比度。
其中，第一聚类算法和第二聚类算法例如可以是均值漂移聚类算法、K近邻算法等。第一聚类算法和第二聚类算法可以相同，也可以不同。
图4示出根据本公开的一些实施例的基于RGB颜色值进行聚类得到的第一聚类结果的示意图。
如图4所示，利用第一聚类算法对转换后的参考图像中的每个像素点对应的RGB颜色值进行聚类，得到第一聚类结果，例如分别得到了3个聚类。其中，第一聚类算法例如可以是均值漂移聚类算法、K近邻算法等。
图5示出根据本公开的一些实施例的在坐标空间上进行聚类得到的第二聚类结果的示意图。
如图5所示，利用第二聚类算法对第一聚类结果中的其中一个聚类对应的每个像素点在坐标空间上进行再次聚类，得到第二聚类结果，例如得到了4个聚类。其中，第二聚类算法例如可以是均值漂移聚类算法、K近邻算法等。
图6示出根据本公开的一些实施例的确定边缘对比度的示意图。
如图6所示，在色块的边缘选择预设个数(例如12个)的采样像素点，并分别计算每个采样像素点的亮度差值，从这12个采样像素点的亮度差值中找到该色块对应的亮度差值的最大值。然后根据所有色块中对应的亮度差值的最大值的平均值，确定边缘对比度。
在步骤150，对待处理图像的背景元素进行着色处理。
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；根据边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度，确定待处理图像的背景元素的色相值，其中，色块与待处理图像的前景元素的对比度根据色块的亮度值的平均值与前景元素中所有像素点的亮度平均值的比值确定。
例如，根据边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度，确定待处理图像的背景元素的色相值可以包括：为边缘对比度、色块的面积、以及相应的色块与待处理图像的前景元素的对比度分别设置第一权重、第二权重、以及第三权重，将这三者与其分别对应的第一权重、第二权重或第三权重进行加权求和，然后将该加权求和结果作为待处理图像的背景元素的色相值。
在步骤160，为待处理图像添加图元素材。
获取图像库中的每个图元素材的色相直方图，以及待处理图像中的每个移动图元和固定图元的色相直方图；获取标准图像的色相直方图；构建第一部分与第二部分的等式，以求解图元素材的权重，第一部分是各个图元素材的色相直方图的元素值与图元素材的权重的乘积和、待处理图像中的各个移动图元的色相直方图的元素值与相应移动图元的权重的乘积和以及各个固定图元的色相直方图的元素值与相应固定图元的权重的乘积和的求和结果，第二部分是标准图像的色相直方图的元素值；将求解的图元素材的权重最大的预设个数的图元素材，添加到待处理图像中。
上述实施例中，可以对不可变色的图元进行组合选择，为待处理图像中添加本来不存在的图元素材，以搭配待处理图像的色彩，使得待处理图像的着色效果更好。
图7示出根据本公开的一些实施例的为待处理图像中选择图元素材的示意图。
如图7所示，等式左边表示n个图元素材，等式右边表示标准图像。
建立下列等式，通过求解最小二乘法可以确定所有图元素材的权重系数，选择权重系数最大的预设个数的图元素材添加到待处理图像中。
w1h11+w2h21+...+wnhn1＝ho1
w1h12+w2h22+...+wnhn2＝ho2
.....
w1h1n+w2h2n+...+wnhnn＝hon
其中，h11，h12，...h1n是图元素材1的的直方图分量，h21，h22，...h2n是图元素材2的直方图分量，hn1，hn2，...hnn是图元素材n的直方图分量，ho1，ho2，...hon表示标准图像的直方图分量，w1，w2，..wn是n个图元素材的权重，根据求解上述等式得到的权重，对所有权重进行排序，选择排序靠前的m(m≤n)个图元素材添加到待处理图像中。
上述实施例中，对待处理图像中的第一固定图元和移动图元分别进行着色处理，考虑到了固定图元对位置敏感，以及移动图元对位置不敏感的特性，可以使得待处理图像的着色效果更好。考虑了边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度和相应的色块与待处理图像的北京元素的对比度，为待处理图像的背景元素和前景元素分别进行着色，实现了对待处理图像中的不同元素分别进行着色，可以使得待处理图像的着色效果更好。此外，还可以对不可变色的图元进行组合选择，为待处理图像中添加本来不存在的图元素材，以搭配待处理图像的色彩，使得待处理图像的着色效果更好。
图8示出根据本公开的一些实施例的图像着色的装置的示意图。
如图8所示，该实施例的图像着色的装置800包括：存储器810以及耦接至该存储器810的处理器820，处理器820被配置为基于存储在存储器810中的指令，执行本公开任意一些实施例中的图像着色的方法。
例如，执行包括以下步骤的图像着色的方法：
根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像。然后，针对待处理图像中的第一固定图元，设置多个第一预设色相值组，每个第一预设色相值组包括第一固定图元中各个像素点的色相值，根据第一固定图元的每个第一预设色相值组与参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，按照最高第二相似度相应的第一预设色相值组，为第一固定图元中各个像素点进行着色。针对待处理图像中的移动图元，设置多个第二预设色相值组，每个第二预设色相值组包括移动图元中各个像素点的色相值，计算移动图元的每个第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图，将卷积特征图中最大的元素值作为移动图元的每个第二预设色相值组与参考图像的第三相似度，按照最高第三相似度相应的第二预设色相值组，为移动图元中各个像素点进行着色。在一些实施例中，还包括：根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；根据边缘对比度、色块的面积以及相应的色块与待处理图像的背景元素的对比度，确定待处理图像的前景元素的色相值；根据边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度，确定待处理图像的背景元素的色相值。其中，色块与待处理图像的前景元素的对比度根据色块的亮度值的平均值与前景元素中所有像素点的亮度平均值的比值确定。在一些实施例中，还包括：获取图像库中的每个图元素材的色相直方图，以及待处理图像中的每个移动图元和固定图元的色相直方图；获取标准图像的色相直方图；构建第一部分与第二部分的等式，以求解图元素材的权重，第一部分是各个图元素材的色相直方图的元素值与图元素材的权重的乘积和、待处理图像中的各个移动图元的色相直方图的元素值与相应移动图元的权重的乘积和以及各个固定图元的色相直方图的元素值与相应固定图元的权重的乘积和的求和结果，第二部分是标准图像的色相直方图的元素值；将求解的图元素材的权重最大的预设个数的图元素材，添加到待处理图像中。
其中，存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图像着色的装置800还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830，840，850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。
图9示出根据本公开的另一些实施例的图像着色的装置的示意图。
如图9所示，该实施例的图像着色的装置900包括确定模块910、第一着色模块920、第二着色模块930。在一些实施例中，还包括：第三着色模块940、第四着色模块950或添加模块960中的一项或多项。
确定模块910，被配置为根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像。其中，根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像包括：分别计算待处理图像的空间特征以及图像库中的每张候选图像的空间特征；将待处理图像的空间特征以及每张候选图像的空间特征输入到第一相似度预测模型中，得到输出的待处理图像与每张候选图像的第一相似度，其中，第一相似度预测模型是利用多个训练图像的移动图元的空间特征和固定图元的空间特征对神经网络模型进行训练得到的；将最高第一相似度相应的候选图像，确定为待处理图像的参考图像。其中，待处理图像的空间特征包括待处理图像中每个固定图元的空间特征和每个移动图元的空间特征；第一相似度预测模型进行以下处理，输出待处理图像与每张候选图像的第一相似度：根据待处理图像中的固定图元的空间特征和候选图像中相应的固定图元的空间特征，确定相应的第四相似度；根据待处理图像中的移动图元的空间特征和候选图像的空间特征的卷积运算结果，确定相应的第五相似度；根据待处理图像中每个固定图元对应的第四相似度和待处理图像中每个移动图元对应的第五相似度的加权求和结果，确定待处理图像与每张候选图像的第一相似度。其中，确定空间特征的方法例如可以包括：根据待处理图像中的固定图元相应的像素点坐标值的余弦变换结果以及固定图元的像素点坐标值转换到频域空间上的张量值，确定待处理图像中的固定图元的空间特征；根据待处理图像中的移动图元相应的像素点坐标值的余弦变换结果以及移动图元的像素点坐标值转换到频域空间上的张量值，确定待处理图像中的移动图元的空间特征；根据每张候选图像的像素点坐标值的余弦变换结果以及相应的候选图像的像素点坐标值转换到频域空间上的张量值，确定相应的候选图像的空间特征。
第一着色模块920，被配置为针对待处理图像中的第一固定图元，设置多个第一预设色相值组，每个第一预设色相值组包括第一固定图元中各个像素点的色相值，根据第一固定图元的每个第一预设色相值组与参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，按照最高第二相似度相应的第一预设色相值组，为第一固定图元中各个像素点进行着色。
第二着色模块930，被配置为针对待处理图像中的移动图元，设置多个第二预设色相值组，每个第二预设色相值组包括移动图元中各个像素点的色相值，计算移动图元的每个第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图，将卷积特征图中最大的元素值作为移动图元的每个第二预设色相值组与参考图像的第三相似度，按照最高第三相似度相应的第二预设色相值组，为移动图元中各个像素点进行着色。其中，计算移动图元的每个第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图包括：针对每个第二预设色相值组，将移动图元由第二预设色相值组表示转换为RGB色彩模式表示；根据转换后的移动图元的R通道特征图与参考图像的R通道特征图的卷积计算结果，确定第一卷积特征图；根据转换后的移动图元的G通道特征图与参考图像的G通道特征图的卷积计算结果，确定第二卷积特征图；根据转换后的移动图元的B通道特征图与参考图像的B通道特征图的卷积计算结果，确定第三卷积特征图；根据第一卷积特征图、第二卷积特征图、第三卷积特征图的加权求和结果，确定移动图元的第二预设色相值组与参考图像的各个像素点的像素值组的卷积特征图。
在一些实施例中，还包括：第三着色模块940，第三着色模块940被配置为：根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；根据边缘对比度、色块的面积以及相应的色块与待处理图像的背景元素的对比度，确定待处理图像的前景元素的色相值，其中，色块与待处理图像的背景元素的对比度根据色块的亮度值的平均值与背景元素中所有像素点的亮度平均值的比值确定。其中，确定边缘对比度包括：将参考图像由HSL色彩模式表示转换为RGB色彩模式表示，获取参考图像中的每个像素点对应的RGB颜色值；利用第一聚类算法对转换后的参考图像中的每个像素点对应的RGB颜色值进行聚类，得到第一聚类结果；利用第二聚类算法对第一聚类结果中每个聚类对应的每个像素点在坐标空间上进行聚类，得到第二聚类结果；根据第二聚类结果形成的一个或多个簇，确定一个或多个色块；在每个色块的边缘选择预设个数的采样像素点，并分别计算每个采样像素点的亮度差值，根据计算的所有色块中采样像素点对应的亮度差值的最大值的平均值，确定边缘对比度。
在一些实施例中，还包括：第四着色模块950。第四着色模块950被配置为：根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；根据边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度，确定待处理图像的背景元素的色相值，其中，色块与待处理图像的前景元素的对比度根据色块的亮度值的平均值与前景元素中所有像素点的亮度平均值的比值确定。
在一些实施例中，还包括：添加模块960。添加模块960被配置为：在确定待处理图像中的每个第一固定图元和每个移动图元的色相值之后，获取图像库中的每个图元素材的色相直方图，以及待处理图像中的每个移动图元和固定图元的色相直方图；获取标准图像的色相直方图；构建第一部分与第二部分的等式，以求解图元素材的权重，第一部分是各个图元素材的色相直方图的元素值与图元素材的权重的乘积和、待处理图像中的各个移动图元的色相直方图的元素值与相应移动图元的权重的乘积和以及各个固定图元的色相直方图的元素值与相应固定图元的权重的乘积和的求和结果，第二部分是标准图像的色相直方图的元素值；将求解的图元素材的权重最大的预设个数的图元素材，添加到待处理图像中。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的计算机非瞬时性可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (15)
1.一种图像着色的方法，包括：
根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像；
针对待处理图像中的第一固定图元，设置多个第一预设色相值组，每个第一预设色相值组包括所述第一固定图元中各个像素点的色相值，根据第一固定图元的每个第一预设色相值组与所述参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，按照最高第二相似度相应的第一预设色相值组，为所述第一固定图元中各个像素点进行着色；
针对待处理图像中的移动图元，设置多个第二预设色相值组，每个第二预设色相值组包括所述移动图元中各个像素点的色相值，计算移动图元的每个第二预设色相值组与所述参考图像的各个像素点的像素值组的卷积特征图，将卷积特征图中最大的元素值作为移动图元的每个第二预设色相值组与所述参考图像的第三相似度，按照最高第三相似度相应的第二预设色相值组，为所述移动图元中各个像素点进行着色。
2.根据权利要求1所述的图像着色的方法，计算移动图元的每个第二预设色相值组与所述参考图像的各个像素点的像素值组的卷积特征图包括：
针对每个第二预设色相值组，将移动图元由所述第二预设色相值组表示转换为RGB色彩模式表示；
根据转换后的移动图元的R通道特征图与所述参考图像的R通道特征图的卷积计算结果，确定第一卷积特征图；
根据转换后的移动图元的G通道特征图与所述参考图像的G通道特征图的卷积计算结果，确定第二卷积特征图；
根据转换后的移动图元的B通道特征图与所述参考图像的B通道特征图的卷积计算结果，确定第三卷积特征图；
根据第一卷积特征图、第二卷积特征图、第三卷积特征图的加权求和结果，确定移动图元的所述第二预设色相值组与所述参考图像的各个像素点的像素值组的卷积特征图。
3.根据权利要求1所述的图像着色的方法，根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像包括：
分别计算待处理图像的空间特征以及图像库中的每张候选图像的空间特征；
将待处理图像的空间特征以及每张候选图像的空间特征输入到第一相似度预测模型中，得到输出的待处理图像与每张候选图像的第一相似度，其中，所述第一相似度预测模型是利用多个训练图像的移动图元的空间特征和固定图元的空间特征对神经网络模型进行训练得到的；
将最高第一相似度相应的候选图像，确定为待处理图像的参考图像。
4.根据权利要求3所述的图像着色的方法，其中，
所述待处理图像的空间特征包括待处理图像中每个固定图元的空间特征和每个移动图元的空间特征；
所述第一相似度预测模型进行以下处理，输出待处理图像与每张候选图像的第一相似度：
根据待处理图像中的固定图元的空间特征和候选图像中相应的固定图元的空间特征，确定相应的第四相似度；
根据待处理图像中的移动图元的空间特征和候选图像的空间特征的卷积运算结果，确定相应的第五相似度；
根据待处理图像中每个固定图元对应的第四相似度和待处理图像中每个移动图元对应的第五相似度的加权求和结果，确定待处理图像与每张候选图像的第一相似度。
5.根据权利要求4所述的图像着色的方法，其中，
根据待处理图像中的固定图元相应的像素点坐标值的余弦变换结果以及所述固定图元的像素点坐标值转换到频域空间上的张量值，确定待处理图像中的固定图元的空间特征；
根据待处理图像中的移动图元相应的像素点坐标值的余弦变换结果以及所述移动图元的像素点坐标值转换到频域空间上的张量值，确定待处理图像中的移动图元的空间特征；
根据每张候选图像的像素点坐标值的余弦变换结果以及相应的候选图像的像素点坐标值转换到频域空间上的张量值，确定相应的候选图像的空间特征。
6.根据权利要求1所述的图像着色的方法，还包括：
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；
根据所述边缘对比度、色块的面积以及相应的色块与待处理图像的背景元素的对比度，确定待处理图像的前景元素的色相值，其中，所述色块与待处理图像的背景元素的对比度根据色块的亮度值的平均值与背景元素中所有像素点的亮度平均值的比值确定。
7.根据权利要求1或6所述的图像着色的方法，还包括：
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；
根据所述边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度，确定待处理图像的背景元素的色相值，其中，所述色块与待处理图像的前景元素的对比度根据色块的亮度值的平均值与前景元素中所有像素点的亮度平均值的比值确定。
8.根据权利要求6所述的图像着色的方法，确定边缘对比度包括：
将参考图像由HSL色彩模式表示转换为RGB色彩模式表示，获取参考图像中的每个像素点对应的RGB颜色值；
利用第一聚类算法对转换后的参考图像中的每个像素点对应的RGB颜色值进行聚类，得到第一聚类结果；
利用第二聚类算法对第一聚类结果中每个聚类对应的每个像素点在坐标空间上进行聚类，得到第二聚类结果；
根据第二聚类结果形成的一个或多个簇，确定一个或多个色块；
在每个色块的边缘选择预设个数的采样像素点，并分别计算每个采样像素点的亮度差值，根据计算的所有色块中采样像素点对应的亮度差值的最大值的平均值，确定边缘对比度。
9.根据权利要求1所述的图像着色的方法，还包括：
在确定待处理图像中的每个第一固定图元和每个移动图元的色相值之后，
获取图像库中的每个图元素材的色相直方图，以及待处理图像中的每个移动图元和固定图元的色相直方图；
获取标准图像的色相直方图；
构建第一部分与第二部分的等式，以求解图元素材的权重，所述第一部分是各个图元素材的色相直方图的元素值与图元素材的权重的乘积和、待处理图像中的各个移动图元的色相直方图的元素值与相应移动图元的权重的乘积和以及各个固定图元的色相直方图的元素值与相应固定图元的权重的乘积和的求和结果，所述第二部分是所述标准图像的色相直方图的元素值；
将求解的图元素材的权重最大的预设个数的图元素材，添加到待处理图像中。
10.一种图像着色的装置，包括：
确定模块，被配置为根据待处理图像与图像库中的每张候选图像的第一相似度，从图像库中确定待处理图像的参考图像；
第一着色模块，被配置为针对待处理图像中的第一固定图元，设置多个第一预设色相值组，每个第一预设色相值组包括所述第一固定图元中各个像素点的色相值，根据第一固定图元的每个第一预设色相值组与所述参考图像相应位置的第二固定图元的各个像素点的像素值组之间的第二相似度，按照最高第二相似度相应的第一预设色相值组，为所述第一固定图元中各个像素点进行着色；
第二着色模块，被配置为针对待处理图像中的移动图元，设置多个第二预设色相值组，每个第二预设色相值组包括所述移动图元中各个像素点的色相值，计算移动图元的每个第二预设色相值组与所述参考图像的各个像素点的像素值组的卷积特征图，将卷积特征图中最大的元素值作为移动图元的每个第二预设色相值组与所述参考图像的第三相似度，按照最高第三相似度相应的第二预设色相值组，为所述移动图元中各个像素点进行着色。
11.根据权利要求10所述的图像着色的装置，还包括：
第三着色模块，被配置为：
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；
根据所述边缘对比度、色块的面积以及相应的色块与待处理图像的背景元素的对比度，确定待处理图像的前景元素的色相值，其中，所述色块与待处理图像的背景元素的对比度根据色块的亮度值的平均值与背景元素中所有像素点的亮度平均值的比值确定。
12.根据权利要求10或11所述的图像着色的装置，还包括：
第四着色模块，被配置为：
根据参考图像中的每个像素点对应的RGB颜色值的聚类结果，确定色块以及边缘对比度；
根据所述边缘对比度、色块的面积以及相应的色块与待处理图像的前景元素的对比度，确定待处理图像的背景元素的色相值，其中，所述色块与待处理图像的前景元素的对比度根据色块的亮度值的平均值与前景元素中所有像素点的亮度平均值的比值确定。
13.根据权利要求10所述的图像着色的方法，还包括：
添加模块，被配置为：
在确定待处理图像中的每个第一固定图元和每个移动图元的色相值之后，
获取图像库中的每个图元素材的色相直方图，以及待处理图像中的每个移动图元和固定图元的色相直方图；
获取标准图像的色相直方图；
构建第一部分与第二部分的等式，以求解图元素材的权重，所述第一部分是各个图元素材的色相直方图的元素值与图元素材的权重的乘积和、待处理图像中的各个移动图元的色相直方图的元素值与相应移动图元的权重的乘积和以及各个固定图元的色相直方图的元素值与相应固定图元的权重的乘积和的求和结果，所述第二部分是所述标准图像的色相直方图的元素值；
将求解的图元素材的权重最大的预设个数的图元素材，添加到待处理图像中。
14.一种图像着色的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-9中任一项所述的图像着色的方法。
15.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-9中任一项所述的图像着色的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110296808.9A CN113763496B (zh) | 2021-03-19 | 2021-03-19 | 图像着色的方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110296808.9A CN113763496B (zh) | 2021-03-19 | 2021-03-19 | 图像着色的方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763496A CN113763496A (zh) | 2021-12-07 |
| CN113763496B true CN113763496B (zh) | 2024-04-09 |
Family
ID=78786777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110296808.9A Active CN113763496B (zh) | 2021-03-19 | 2021-03-19 | 图像着色的方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763496B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024221225A1 (zh) * | 2023-04-25 | 2024-10-31 | 卓永红 | 并行合成多个像素颜色的颜色处理方法和系统及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305228A (zh) * | 2018-01-26 | 2018-07-20 | 网易（杭州）网络有限公司 | 图像处理方法、装置、存储介质及处理器 |
| WO2019104047A1 (en) * | 2017-11-22 | 2019-05-31 | Gopro, Inc. | Global tone mapping |
| CN111524076A (zh) * | 2020-04-07 | 2020-08-11 | 咪咕文化科技有限公司 | 图像处理方法、电子设备和计算机可读存储介质 |
| WO2020216808A1 (en) * | 2019-04-23 | 2020-10-29 | L'oréal Sa | Machine image colour extraction and machine image construction using an extracted colour |
| WO2021035505A1 (zh) * | 2019-08-27 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7970206B2 (en) * | 2006-12-13 | 2011-06-28 | Adobe Systems Incorporated | Method and system for dynamic, luminance-based color contrasting in a region of interest in a graphic image |
| US10438400B2 (en) * | 2016-03-08 | 2019-10-08 | Nvidia Corporation | Perceptually-based foveated rendering using a contrast-enhancing filter |
-
2021
- 2021-03-19 CN CN202110296808.9A patent/CN113763496B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104047A1 (en) * | 2017-11-22 | 2019-05-31 | Gopro, Inc. | Global tone mapping |
| CN108305228A (zh) * | 2018-01-26 | 2018-07-20 | 网易（杭州）网络有限公司 | 图像处理方法、装置、存储介质及处理器 |
| WO2020216808A1 (en) * | 2019-04-23 | 2020-10-29 | L'oréal Sa | Machine image colour extraction and machine image construction using an extracted colour |
| WO2021035505A1 (zh) * | 2019-08-27 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
| CN111524076A (zh) * | 2020-04-07 | 2020-08-11 | 咪咕文化科技有限公司 | 图像处理方法、电子设备和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 混合场景中阴影绘制方法研究;陈国栋;叶东文;党琪琪;;计算机工程;20160215(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763496A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11880977B2 (en) | Interactive image matting using neural networks | |
| CN110544258B (zh) | 图像分割的方法、装置、电子设备和存储介质 | |
| CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| US9344690B2 (en) | Image demosaicing | |
| US10489970B2 (en) | 2D image processing for extrusion into 3D objects | |
| CN113379775A (zh) | 利用彩色化神经网络基于交互式颜色边缘生成彩色化图像 | |
| CN108288253B (zh) | Hdr图像生成方法及装置 | |
| CN110728722B (zh) | 图像颜色迁移方法、装置、计算机设备和存储介质 | |
| US9401027B2 (en) | Method and apparatus for scene segmentation from focal stack images | |
| EP4057609B1 (en) | Method and apparatus for image correction | |
| CN108960012B (zh) | 特征点检测方法、装置及电子设备 | |
| CN113763496B (zh) | 图像着色的方法、装置及计算机可读存储介质 | |
| Popowicz et al. | Overview of grayscale image colorization techniques | |
| CN114494739A (zh) | 基于人工智能的色粉混合效果检测方法 | |
| CN114187515A (zh) | 图像分割方法和图像分割装置 | |
| CN114693697A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| KR20140138046A (ko) | 픽처를 처리하기 위한 방법 및 디바이스 | |
| CN116703744B (zh) | 一种基于卷积神经网络的遥感影像匀光匀色方法和装置 | |
| CN109242750B (zh) | 图片签名方法、图片匹配方法、装置、设备及存储介质 | |
| KR20180064028A (ko) | 영상 처리 방법 및 장치 | |
| CN113379785B (zh) | 一种融合边界先验与频域信息的显著性目标检测方法 | |
| Gain et al. | CCC++: Optimized Color Classified Colorization with Segment Anything Model (SAM) Empowered Object Selective Color Harmonization | |
| US11200708B1 (en) | Real-time color vector preview generation | |
| Gaddam et al. | Advanced Image Processing Using Histogram Equalization and Android Application Implementation | |
| Zhou et al. | Saliency preserving decolorization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |