[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019153741A1 - 图像着色方法和装置 - Google Patents

图像着色方法和装置 Download PDF

Info

Publication number
WO2019153741A1
WO2019153741A1 PCT/CN2018/105438 CN2018105438W WO2019153741A1 WO 2019153741 A1 WO2019153741 A1 WO 2019153741A1 CN 2018105438 W CN2018105438 W CN 2018105438W WO 2019153741 A1 WO2019153741 A1 WO 2019153741A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
model
grayscale
coloring
Prior art date
Application number
PCT/CN2018/105438
Other languages
English (en)
French (fr)
Inventor
杜康宁
邹祥祥
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to EP18859977.3A priority Critical patent/EP3751505A4/en
Priority to US16/339,592 priority patent/US11334973B2/en
Publication of WO2019153741A1 publication Critical patent/WO2019153741A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/465—Conversion of monochrome to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Definitions

  • synthesizing the grayscale image and the color information into a color image comprises:
  • the using the grayscale image to establish the face image coloring model based on a depth learning technique comprises: acquiring a face image sample; and each face image in the face image sample The red, green and blue color model image is converted into the LAB color model image; all the LAB color model images obtained by the conversion are used to train the deep convolution generation confrontation network to obtain the face image coloring model.
  • establishing the face image coloring model based on the grayscale image based on the depth learning technique further comprises: analysing each face image in the face image sample from red, green, and blue colors Each face image in the face image sample is normalized before the model image is converted to the LAB color model image.
  • the synthesis module is configured to: synthesize the grayscale image and the color information into a LAB color model image; convert the LAB color model image into a red, green, and blue color model image.
  • the initial training model is trained again to obtain the character image Shading model.
  • FIG. 1 is a flowchart of an image coloring method provided by an embodiment of the present disclosure
  • FIG. 5 is a schematic structural diagram of an image coloring device according to still another embodiment of the present disclosure.
  • FIG. 1 is a flowchart of an image coloring method according to an embodiment of the present disclosure.
  • the image coloring method includes:
  • Step 101 Acquire a grayscale image to be colored.
  • the grayscale image in the embodiment of the present disclosure may be an image corresponding to a black and white photo, or may be a grayscale image generated by other methods, and is not limited thereto.
  • the grayscale image is a face image
  • the grayscale image is input into a neural network based face image coloring model, and color information of each pixel in the grayscale image is obtained
  • the grayscale image is In the case of a character image
  • the grayscale image is input into a neural network based character image coloring model to obtain color information of each pixel in the grayscale image.
  • the gray image to be colored is classified, and then input to different image coloring models, respectively, to obtain corresponding color information, and the gray image and the color information are combined into a color image to complete the gray image.
  • Coloring Since the overall color and contour of different types of grayscale images are very different, different shading models are used for coloring. Each shading model only needs to use the samples of the corresponding category of images for training, which reduces the complexity of the model and makes the model accurate. The degree is high, which speeds up the training speed of the model and the coloring speed of the subsequent gray image. In addition, the color image obtained by the coloring is closer to the real image.
  • FIG. 3 is a flowchart of a method for establishing a face image coloring model according to an embodiment of the present disclosure.
  • establishing a face image coloring model by using a deep learning technique may include:
  • L represents Luminosity, which is the same as the gradation in the grayscale image
  • A represents a range from magenta to green
  • B represents a range from yellow to blue.
  • the face image coloring model is obtained by using deep convolution generation to combat network training.
  • the deep convolution generation is very sensitive to the data against the network.
  • the face image can be standardized to ensure that the same feature is in the same position, and only a small image area containing the face is intercepted.
  • an image having the same feature may also be selected for training, for example, selecting a character image of the same gender, the same age group, and the same clothing type for training, thereby simplifying the complexity of the sample.
  • the AB channel data is used as the color information output by the image coloring model, and then the color information and the grayscale image are synthesized into the LAB color model image, and then the LAB color model image is converted into the RGB color model image, thereby facilitating Display and storage of synthesized color images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

提供了一种图像着色方法及装置，属于图像处理技术领域。所述图像着色方法包括：获取待着色的灰度图像；对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息；当所述灰度图像为人脸图像时，所述图像着色模型为人脸图像着色模型，当所述灰度图像为人物图像时，所述图像着色模型为人物图像着色模型；将所述灰度图像和所述色彩信息合成为彩色图像。由于不同类型的灰度图像的整体颜色以及轮廓差别很大，所以采用不同的着色模型进行着色，着色得到的彩色图像更贴近真实图像。

Description

图像着色方法和装置
相关申请的交叉引用
本申请要求于2018年2月7日向中国专利局提交的专利申请201810123237.7的优先权利益，并且在此通过引用的方式将该在先申请的内容并入本文。
技术领域
本公开涉及图像处理技术领域，特别涉及一种图像着色方法和装置。
背景技术
随着移动互联网的发展，人们对图像视觉效果的要求也越来越高。例如，日常生活中用户要求照片更加清晰，色彩更加真实。然而由于技术原因，年代较为久远的照片大多为黑白照片，黑白照片的视觉效果很难与彩色照片相比，所以需要将黑白照片转换为彩色照片。
发明内容
本公开的实施例提供了一种图像着色方法，包括：获取待着色的灰度图像；对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息，所述图像着色模型包括与人脸图像对应的人脸图像着色模型或与人物图像对应的人物图像着色模型；将所述灰度图像和所述色彩信息合成为彩色图像。
在一些实施例中，对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像，包括：检测所述灰度图像中人脸的数量和大小；当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例超过设定值时，判断所述灰度图像为人脸图像；当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例未超过设定值时，判断所述灰度图像为人物图像。
在一些实施例中，将所述灰度图像和所述色彩信息合成为彩色图 像包括：
将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；将所述LAB颜色模型图像转换为红绿蓝颜色模型图像。
在一些实施例中，所述图像着色方法还包括：利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型或所述人物图像着色模型。
在一些实施例中，中利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型包括：获取人脸图像样本；将所述人脸图像样本中的每一张人脸图像由红绿蓝颜色模型图像转换为LAB颜色模型图像；采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
在一些实施例中，利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型还包括：在将所述人脸图像样本中的每一张人脸图像由红绿蓝颜色模型图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
在一些实施例中，所述对所述人脸图像样本中的每一张人脸图像进行标准化包括：对所述人脸图像中的人脸进行关键点定位；按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
在一些实施例中，所述人脸图像样本中的人脸图像为同一人种的人脸图像。
在一些实施例中，利用所述灰度图像、基于深度学习技术而建立所述人物图像着色模型包括：获取人物图像样本；将所述人物图像样本中的每一张人物图像由红绿蓝颜色模型图像转换为LAB颜色模型图像；采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例高于第一阈值，所述第一像素中的第一颜色分量值高于第二阈值；采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
本公开的另外的实施例提供了一种图像着色装置，包括：获取模块，用于获取待着色的灰度图像；分类模块，用于对所述灰度图像进 行分类，确定所述灰度图像的类型为人脸图像或者人物图像；处理模块，用于将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息；所述图像着色模型包括与人脸图像对应的人脸图像着色模型或与人物图像对应的人物图像着色模型；合成模块，用于将所述灰度图像和所述色彩信息合成为彩色图像。
在一些实施例中，分类模块被配置成：检测所述灰度图像中人脸的数量和大小；当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例超过设定值时，判断所述灰度图像为人脸图像；当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例未超过设定值时，判断所述灰度图像为人物图像。
在一些实施例中，合成模块被配置成：将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；将所述LAB颜色模型图像转换为红绿蓝颜色模型图像。
在一些实施例中，图像着色装置还包括：训练模块，其被配置成利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型或所述人物图像着色模型。
在一些实施例中，训练模块被配置成：接收人脸图像样本；将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
在一些实施例中，所述训练模块还被配置成：在将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
在一些实施例中，训练模块还被配置成：对所述人脸图像中的人脸进行关键点定位；按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
在一些实施例中，人脸图像样本中的人脸图像为同一人种的人脸图像。
在一些实施例中，训练模块被配置成：接收人物图像样本；将所述人物图像样本中的每一张人物图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网 络进行训练，得到初次训练模型；选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例高于第一阈值，所述第一像素中的第一颜色分量值高于第二阈值；采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
在一些实施例中，，所述设定值的取值范围为1-5。
在本公开实施例中，通过将待着色的灰度图像分类，然后分别输入到不同的着色模型，得到对应的色彩信息，将灰度图像和色彩信息合成为彩色图像，完成人物图像着色。由于不同类型的灰度图像的整体颜色以及轮廓差别很大，所以采用不同的着色模型进行着色，各个着色模型只需要采用对应分类的样本进行训练，降低了模型的复杂度，使得模型准确度高，从而加快了模型的训练速度以及后续灰度图像的着色速度，另外，着色得到的彩色图像更贴近真实图像。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开的一个实施例提供的图像着色方法的流程图；
图2是本公开的另一实施例提供的图像着色方法的流程图；
图3是本公开一个实施例提供的建立人脸图像着色模型的方法流程图；
图4是本公开的另一实施例提供的建立人物图像着色模型的方法流程图；
图5是本公开的又一实施例提供的图像着色装置的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施例作进一步地详细描述。
图1是本公开实施例提供的一种图像着色方法的流程图，参见图1，所述图像着色方法包括：
步骤101：获取待着色的灰度图像。
本公开实施例中的灰度图像可以是黑白照片对应的图像，也可以是其他方式生成的灰度图像，对此不做限制。
步骤102：对所述灰度图像进行分类，确定所述灰度图像的类型。
具体地，可以根据灰度图像中的主体进行分类，例如图像中主体为人脸，则可以分类为人脸图像，图像中主体为人，则可以分类为人物图像，图像中主体为建筑，则可以分类为建筑图像等。通常用户对于人脸图像和人物图像的着色需求最大，故本公开实施例以针对人脸图像和人物图像的灰度图像着色方案为例进行说明。
步骤103：将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息。
当所述灰度图像为人脸图像时，将所述灰度图像输入到基于神经网络的人脸图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人物图像时，将所述灰度图像输入到基于神经网络的人物图像着色模型中，得到所述灰度图像中各个像素的色彩信息。
通过对灰度图像进行分类，使得不同类型的灰度图像可以采用基于神经网络的不同图像着色模型进行处理，从而使得在进行模型训练时，每个图像着色模型只需要针对一个类型的图像样本进行训练，模型准确度更高，复杂度更低，在进行着色时，处理速度更快。
步骤104：将所述灰度图像和所述色彩信息合成为彩色图像。
本公开实施例中采用的图像着色模型可以根据输入的灰度图像生成用于灰度图像中每个像素对应的色彩信息，在获得这些彩色信息后，只需要将灰度图像的每个像素的灰度值与色彩信息合成即可得到彩色图像，图像着色过程简单。
在本公开实施例中，通过将待着色的灰度图像分类，然后分别输入到不同的图像着色模型，得到对应的色彩信息，将灰度图像和色彩信息合成为彩色图像，完成对灰度图像的着色。由于不同类型的灰度图像的整体颜色以及轮廓差别很大，所以采用不同的着色模型进行着色，各个着色模型只需要采用对应类别的图像的样本进行训练，降低了模型的复杂度，使得模型准确度高，从而加快了模型的训练速度以 及后续灰度图像的着色速度，另外，着色得到的彩色图像更贴近真实图像。
图2是本公开的另一实施例提供的图像着色方法的流程图，参见图2，所述图像着色方法包括：
步骤200：利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型或所述人物图像着色模型。
在一些实施例中，所采用的深度学习技术可以采用本领域技术人员知晓的深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks，DCGAN)，在进行训练前需要事先定义模型，也即定义神经网络的输入、输出以及网络结构。在本公开的实施例中，模型的输入为灰度图像，输出为色彩信息。
下面，结合图3，以建立人脸图像着色模型为例说明图像着色模型的过程。
图3是本公开实施例提供的建立人脸图像着色模型的方法流程图，参见图3，通过深度学习技术建立人脸图像着色模型可以包括：
步骤211、获取人脸图像样本；步骤212、将所述人脸图像样本中的每一张人脸图像由红(Red，R)绿(Green，G)蓝(Blue，B)颜色模型图像转换为LAB颜色模型图像；步骤213、采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
在一些实施例中，人脸图像是指人脸的数量为1，且人脸的大小(具体为人脸占整个图像的比例)超过设定值(例如50％)的图像，除人脸图像外的其他包含人脸的图像则定义为人物图像。
在上述训练过程中，首先将人脸图像由RGB颜色模型图像转换为LAB颜色模型图像，在LAB颜色模型图像中L通道与灰度图像的单通道一致，而AB通道表示图像的色彩信息。故灰度图像着色的过程可以被视为包括由L通道作为输入而得到AB通道作为输出的过程。采用LAB颜色模型的图像对深度卷积生成对抗网络进行训练，可以得到由L通道的数据生成AB通道的数据的模型，即人脸图像着色模型。使用常用的深度卷积生成对抗网络训练即可获得效果较好的人脸图像着色模型，此模型在色彩的丰富程度上较低，适用于人脸图像的着色。
在LAB颜色模型中，颜色信息和强度信息是彼此分离的，而在RGB 颜色模型中，颜色信息和强度信息通常是混合在一起的。因此，通过将灰度图像和色彩信息合成为LAB颜色模型图像，再将LAB颜色模型图像转换为RGB颜色模型图像，可以实现在不改变原有灰度图像本身的强度信息的情况下实现色彩信息的添加。
其中，L表示亮度(Luminosity)，与灰度图像中的灰度相同，A表示从洋红色至绿色的范围，B表示从黄色至蓝色的范围。
在一些实施例中，所述通过深度学习技术建立人脸图像着色模型，还包括：
在将所述人脸图像样本中的每一张人脸图像由RGB颜色模型图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
人脸图像着色模型是采用深度卷积生成对抗网络训练得到的，深度卷积生成对抗网络对数据十分敏感。为了简化模型的训练过程，加快训练收敛的速度，可以对人脸图像进行标准化处理，保证相同特征在相同的位置，同时仅仅截取包含人脸的较小图像区域。
进一步地，对所述人脸图像样本中的每一张人脸图像进行标准化，包括：对所述人脸图像中的人脸进行关键点定位；按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
通过该标准化过程，可以实现不同样本中相同特征在相同的位置，同时仅仅截取包含人脸的较小图像区域，保证样本图像复杂度较低，人脸图像的训练过程较为简单，从而保证训练得到的模型的精确度。
在一些实施例中，人脸图像中的关键点可以包括双眼、鼻尖、嘴角等，定位时，例如可以将鼻尖的设定位置定义在图像的正中心的一个区域内，同时保证其他关键点位于设定的对应区域。然后，对所述人脸图像进行尺寸标准化，使得人脸图像样本中的每一张人脸图像的尺寸相同。
在一些实施例中，人脸图像样本中的人脸图像为同一人种的人脸图像。基于不同人种的人脸图像对深度卷积生成对抗网络进行训练，得到对应于不同人种的人脸图像的图像着色模型，然后在后续人脸图像着色过程中对不同人种的黑白照片使用不同的图像着色模型，着色精度更高。例如，在后续着色时，可以获取用户输入指令，根据用户 输入指令选取对应人种的图像着色模型，进行灰度图像的着色。
图4是本公开的另一实施例提供的建立人物图像着色模型方法流程图，参见图4，所述通过深度学习技术建立所述人物图像着色模型包括：
步骤221、获取人物图像样本；步骤222、将所述人物图像样本中的每一张人物图像由RGB颜色模型图像转换为LAB颜色模型图像；步骤223、采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；步骤224、选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例处于第一范围内，所述第一像素为设定颜色分量的值处于第二范围内的像素；步骤225、采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
首先将人物图像由RGB颜色模型图像转换为LAB颜色模型图像，在LAB颜色模型图像中，L通道与灰度图像的单通道一致，而AB通道表示图像的色彩信息。故灰度图像着色可以被视为包括由L通道作为输入得到AB通道作为输出的过程。采用LAB颜色模型图像对深度卷积生成对抗网络进行训练，可以得到由L通道的数据生成AB通道的数据的模型，即初次训练模型，由于训练样本是在非受控环境下采集的，复杂度较高，模型训练时间较长且收敛较慢，训练后的模型合成的彩色特征由训练样本决定，因而通常得到的是色彩十分丰富的模型。然而采用这种模型着色的图像在视觉上和真实图像存在较大的差异，即颜色过于丰富。在此基础上，为了得到接近与真实的彩色图像，本公开的实施例采用控制训练样本特征的方法，例如减少样本中的颜色类型，重新筛选样本，将保留的图像作为新的训练样本继续对模型进行训练，也即从训练样本中筛选出一部分颜色相对统一且符合需要的图像继续训练模型，由于再次训练样本为颜色大致统一的样本，模型更容易收敛。例如，可以从人物图像样本中选择第一人物图像以组成再次训练样本，第一人物图像中第一像素的比例高于第一阈值，所述第一像素中的第一颜色分量值高于第二阈值。由此，可以获得颜色大致统一的再次训练样本。
进一步地，在上述训练过程中，还可以选取具有相同特征的图像进行训练，例如选取相同性别、相同年龄段、相同服饰类型的人物图 像进行训练，简化样本的复杂度。
进一步地，在本公开实施例中，在训练人物图像着色模型时，也可以先对每张人物图像进行标准化处理，即，所述通过深度学习技术训练所述人物图像着色模型，还包括：在将所述人物图像样本中的每一张人物图像由RGB颜色模型图像转换为LAB颜色模型图像之前，对所述人物图像样本中的每一张人物图像进行标准化。具体处理过程与人脸图像的标准化类似，不同的是关键点的选取、设定位置以及图像尺寸的设置。在一些实施例中，使得人物图像能够保留更多的区域，例如上半身的衣物，背景场景等。
类似地，在一些实施例中，人物图像样本中的人物图像为同一人种的人物图像。基于不同人种的人物图像对深度卷积生成对抗网络进行训练，得到对应于不同人种的人物图像的图像着色模型，然后在后续人物图像着色过程中对不同人种的黑白照片使用不同的图像着色模型，着色精度更高。
在本公开实施例中，在获取人脸图像样本和人物图像样本时，可以采用人脸检测技术从样本库中选取具有人脸的图像，然后采用步骤202的方式进行分类，形成人脸图像样本和人物图像样本。例如，人脸检测方法可以采用计算机视觉库OPEN CV自带的人脸检测工具完成。
以上通过示例方式介绍了建立人脸图像着色模型和人物图像着色模型的方法或过程的实施例，接下来，返回图2，继续说明图2所示的图像着色方法的流程图。
步骤201：获取待着色的灰度图像。
也即获取要着色的灰度图像，该灰度图像可以是黑白照片对应的图像，也可以是其他方式生成的灰度图像，对此不做限制。
步骤202：对所述灰度图像进行分类，确定所述灰度图像的类型。
由于黑白照片中多为人脸图像和人物图像，且用户对于人脸图像和人物图像的着色需求最大，故本申请的灰度图像着色方案针对人脸图像和人物图像。
在本公开实施例中，步骤202可以包括：根据所述灰度图像中的人脸的数量和大小，判断所述灰度图像为人脸图像或者人物图像。
在一些实施例中，根据所述灰度图像中的人脸的数量和大小，判断所述灰度图像为人脸图像或者人物图像，包括：检测所述灰度图像 中人脸的数量和大小；当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例的大小超过设定值时，判断所述灰度图像为人脸图像；当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例的大小未超过设定值时，判断所述灰度图像为人物图像。
由于人脸图像中仅包含一张人脸，且要求人脸占比超过一定的比例，所以通过检测图像中人脸的数量和大小，即可确定待着色的灰度图像是人脸图像，还是人物图像。
步骤203：将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息。
当所述灰度图像为人脸图像时，将所述灰度图像输入到基于神经网络的人脸图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息；当所述灰度图像为人物图像时，将所述灰度图像输入到基于神经网络的人物图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息。
在步骤202和步骤203中，将灰度图像分为人脸图像和人物图像进行处理，人脸图像和人物图像是较为常见的黑白照片的图像，着色需求大；同时，由于人脸图像和人物图像中人脸占比不同，导致整体颜色以及轮廓差别很大，所以采用两种着色模型进行着色，降低了模型的复杂度，使得着色得到的彩色图像更贴近真实图像。
步骤204：将所述灰度图像和所述色彩信息合成为彩色图像。
在本公开实施例中，步骤204可以包括：
将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；
将所述LAB颜色模型图像转换为RGB颜色模型图像。
在上述实施例中，采用AB通道数据作为图像着色模型输出的色彩信息，再将该色彩信息和灰度图像合成为LAB颜色模型图像，再将LAB颜色模型图像转换为RGB颜色模型图像，从而方便合成的彩色图像的显示和存储等。
具体地，色彩信息包括用于灰度图像中每个像素的A通道和B通道数值，将灰度图像的各个像素的灰度值与用于灰度图像中各个像素的A通道和B通道数值合成，从而得到LAB颜色模型图像。
图5是本公开实施例提供的一种图像着色装置的结构示意图，该装置用于执行图1-图4所示的图像着色方法，参见图5，所述图像着色装置包括：获取模块301、分类模块302、处理模块303和合成模块304。
获取模块301，用于获取待着色的灰度图像；分类模块302，用于对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；处理模块303，用于将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息；所述图像着色模型包括与人脸图像对应的人脸图像着色模型或与人物图像对应的人物图像着色模型；合成模块304，用于将所述灰度图像和所述色彩信息合成为彩色图像。
在一些实施例中，获取模块可包括图像拍摄或扫描设备，以获取例如照片的灰度图像。分类模块可接收灰度图像信息，并基于前述的人脸图像或人物图像的定义，从所接收到的灰度图像信息中识别出人脸图像和人物图像。处理模块可以接收灰度图像，并将它们提供至之前建立好的人脸图像着色模型和人物图像着色模型，由人脸图像着色模型或人物图像着色模型输出用于灰度图像中各个像素的色彩信息。处理模块和合成模块可以以软件方式实施，由于之前已经建立了的人脸图像着色模型和人物图像着色模型，该模型基于灰度图像信息自动产生色彩信息，所以通过向其提供灰度图像信息，可输出用于灰度图像的各个像素的色彩信息。
在本公开实施例中，通过将待着色的灰度图像分类，然后分别输入到不同的图像着色模型，得到对应的色彩信息，将灰度图像和色彩信息合成为彩色图像，完成人物图像着色。由于不同类型的灰度图像的整体颜色以及轮廓差别很大，所以采用不同的图像着色模型进行着色，各个图像着色模型只需要采用对应分类的样本进行训练，降低了模型的复杂度，使得模型准确度高，从而加快了模型的训练速度以及后续灰度图像的着色速度，另外，着色得到的彩色图像更贴近真实图像。
在本公开实施例中，所述分类模块302，用于根据所述灰度图像中的人脸的数量和大小，判断所述灰度图像为人脸图像或者人物图像。
相应地，所述处理模块303被配置成将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于 所述灰度图像中各个像素的色彩信息，所述图像着色模型包括与人脸图像对应的人脸图像着色模型或与人物图像对应的人物图像着色模型。。
在一些实施例中，分类模块302被配置成检测所述灰度图像中人脸的数量和大小；当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例超过设定值时，判断所述灰度图像为人脸图像；当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例未超过设定值时，判断所述灰度图像为人物图像。
在本公开实施例中，所述合成模块304，用于将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；将所述LAB颜色模型图像转换为RGB颜色模型图像。
在一些实施例中，所述图像着色装置还可以包括：训练模块305，其被配置成利用灰度图像、基于深度学习技术而建立所述人脸图像着色模型或所述人物图像着色模型。
训练模块305可接收获取人脸图像样本，将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像；采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
进一步地，所述训练模块305，还用于在将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
例如，所述训练模块305可以对所述人脸图像中的人脸进行关键点定位；按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
在一些实施例中，所述人脸图像样本中的人脸图像可以为同一人种的人脸图像。
在建立人物图像着色模型时，所述训练模块305可接收人物图像样本；将所述人物图像样本中的每一张人物图像转换为LAB颜色模型图像；采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例处于第一范围内，所述第一像素为设定颜色分量的值处于第二范围内 的像素；采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
需要说明的是：上述实施例提供的图像着色装置仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像着色装置与图像着色方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本公开的一些实施例，并不用以限制本申请的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

  1. 一种图像着色方法，包括：
    获取待着色的灰度图像；
    对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；
    将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息，所述图像着色模型包括与人脸图像对应的人脸图像着色模型或与人物图像对应的人物图像着色模型；
    将所述灰度图像和所述色彩信息合成为彩色图像。
  2. 根据权利要求1所述的图像着色方法，其中对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像，包括：
    检测所述灰度图像中人脸的数量和大小；
    当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例超过设定值时，判断所述灰度图像为人脸图像；
    当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例未超过设定值时，判断所述灰度图像为人物图像。
  3. 根据权利要求1或2所述的图像着色方法，其中将所述灰度图像和所述色彩信息合成为彩色图像，包括：
    将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；
    将所述LAB颜色模型图像转换为红绿蓝颜色模型图像。
  4. 根据权利要求1或2所述的图像着色方法，其中所述图像着色方法还包括：利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型或所述人物图像着色模型。
  5. 根据权利要求4所述的图像着色方法，其中利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型，包括：
    获取人脸图像样本；
    将所述人脸图像样本中的每一张人脸图像由红绿蓝颜色模型图像转换为LAB颜色模型图像；
    采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
  6. 根据权利要求5所述的图像着色方法，其中利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型还包括：
    在将所述人脸图像样本中的每一张人脸图像由红绿蓝颜色模型图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
  7. 根据权利要求6所述的图像着色方法，其中所述对所述人脸图像样本中的每一张人脸图像进行标准化，包括：
    对所述人脸图像中的人脸进行关键点定位；
    按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
  8. 根据权利要求5所述的图像着色方法，其中所述人脸图像样本中的人脸图像为同一人种的人脸图像。
  9. 根据权利要求4所述的图像着色方法，其中利用所述灰度图像、基于深度学习技术而建立所述人物图像着色模型，包括：
    获取人物图像样本；
    将所述人物图像样本中的每一张人物图像由红绿蓝颜色模型图像转换为LAB颜色模型图像；
    采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；
    选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例高于第一阈值，所述第一像素中的第一颜色分量值高于第二阈值；
    采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
  10. 一种图像着色装置，包括：
    获取模块，用于获取待着色的灰度图像；
    分类模块，用于对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；
    处理模块，用于将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到用于所述灰度图像中各个像素的色彩信息；所述图像着色模型包括与人脸图像对应的人脸图像着色模型或与人物图像对应的人物图像着色模型；
    合成模块，用于将所述灰度图像和所述色彩信息合成为彩色图像。
  11. 根据权利要求10所述的图像着色装置，其中所述分类模块被配置成：
    检测所述灰度图像中人脸的数量和大小；
    当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例超过设定值时，判断所述灰度图像为人脸图像；
    当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例未超过设定值时，判断所述灰度图像为人物图像。
  12. 根据权利要求10或11所述的图像着色装置，其中所述合成模块被配置成：
    将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；
    将所述LAB颜色模型图像转换为红绿蓝颜色模型图像。
  13. 根据权利要求10或11所述的图像着色装置，其中所述图像着色装置还包括：
    训练模块，其被配置成利用所述灰度图像、基于深度学习技术而建立所述人脸图像着色模型或所述人物图像着色模型。
  14. 根据权利要求13所述的图像着色装置，其中所述训练模块被配置成：
    接收人脸图像样本；
    将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像；
    采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
  15. 根据权利要求14所述的图像着色装置，其中所述训练模块，还被配置成：
    在将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
  16. 根据权利要求15所述的图像着色装置，其中所述训练模块还被配置成：
    对所述人脸图像中的人脸进行关键点定位；
    按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
  17. 根据权利要求14所述的图像着色装置，其中所述人脸图像样本中的人脸图像为同一人种的人脸图像。
  18. 根据权利要求13所述的图像着色装置，其中所述训练模块被配置成：
    接收人物图像样本；
    将所述人物图像样本中的每一张人物图像转换为LAB颜色模型图像；
    采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；
    选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例高于第一阈值，所述第一像素中的第一颜色分量值高于第二阈值；
    采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
PCT/CN2018/105438 2018-02-07 2018-09-13 图像着色方法和装置 WO2019153741A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18859977.3A EP3751505A4 (en) 2018-02-07 2018-09-13 METHOD AND DEVICE FOR COLORING IMAGES
US16/339,592 US11334973B2 (en) 2018-02-07 2018-09-13 Image colorizing method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810123237.7A CN109754444B (zh) 2018-02-07 2018-02-07 图像着色方法和装置
CN201810123237.7 2018-02-07

Publications (1)

Publication Number Publication Date
WO2019153741A1 true WO2019153741A1 (zh) 2019-08-15

Family

ID=66402325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/105438 WO2019153741A1 (zh) 2018-02-07 2018-09-13 图像着色方法和装置

Country Status (4)

Country Link
US (1) US11334973B2 (zh)
EP (1) EP3751505A4 (zh)
CN (1) CN109754444B (zh)
WO (1) WO2019153741A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949356A (zh) * 2019-12-10 2021-06-11 北京沃东天骏信息技术有限公司 活体检测的方法和装置
CN115272527A (zh) * 2022-08-02 2022-11-01 上海人工智能创新中心 基于色盘对抗网络的图像上色方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335324A (zh) * 2019-05-22 2019-10-15 湖南大学 一种基于rgb三通道多路合成的灰度图像着色方法及系统
CN110533740A (zh) * 2019-07-31 2019-12-03 成都旷视金智科技有限公司 一种图像着色方法、装置、系统及存储介质
JP7490004B2 (ja) * 2019-09-11 2024-05-24 グーグル エルエルシー 機械学習を用いた画像カラー化
JP2021145239A (ja) * 2020-03-12 2021-09-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
CN111654721A (zh) * 2020-04-17 2020-09-11 北京奇艺世纪科技有限公司 视频处理方法、系统、电子设备及存储介质
CN112330790B (zh) * 2020-11-20 2024-02-02 东北大学 基于对抗学习与自适应色度修正的ct图像自动着色方法
CN113313843A (zh) * 2021-06-18 2021-08-27 熵基科技股份有限公司 安检图像着色方法、装置、存储介质及计算机设备
TWI800975B (zh) * 2021-11-09 2023-05-01 瑞昱半導體股份有限公司 影像辨識系統及其訓練方法
CN114422698B (zh) * 2022-01-19 2023-09-26 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质
CN114820822A (zh) * 2022-04-02 2022-07-29 深圳市纵维立方科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114898031A (zh) * 2022-04-08 2022-08-12 北京科技大学 一种基于生成对抗式网络的图像着色方法及装置
CN116433508B (zh) * 2023-03-16 2023-10-27 湖北大学 一种基于Swin-Unet的灰度图像着色校正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477695A (zh) * 2009-01-05 2009-07-08 东南大学 一种图像和视频快速着色的方法
CN103489161A (zh) * 2013-09-12 2014-01-01 南京邮电大学 一种灰度图像彩色化方法及装置
CN103839079A (zh) * 2014-03-18 2014-06-04 浙江师范大学 一种基于分类学习的相似图像彩色化算法
US20170004378A1 (en) * 2015-07-02 2017-01-05 Alibaba Group Holding Limited Method and system for preprocessing images
CN106855996A (zh) * 2016-12-13 2017-06-16 中山大学 一种基于卷积神经网络的灰阶图像着色方法及其装置
CN107437081A (zh) * 2017-08-07 2017-12-05 北京中星微电子有限公司 基于深度卷神经网络的人脸识别方法、装置和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611622B1 (en) * 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US8179570B2 (en) * 2009-03-31 2012-05-15 Xerox Corporation Generating image embedded with UV fluorescent watermark by combining binary images generated using different halftone strategies
CN101667299B (zh) * 2009-09-27 2011-12-21 大连海事大学 一种数字图像染色方法
CN102547063B (zh) * 2012-02-08 2014-06-11 南京航空航天大学 基于颜色对比度增强的自然感彩色融合方法
CN106339680B (zh) * 2016-08-25 2019-07-23 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106980873B (zh) * 2017-03-09 2020-07-07 南京理工大学 基于深度学习的锦鲤筛选方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477695A (zh) * 2009-01-05 2009-07-08 东南大学 一种图像和视频快速着色的方法
CN103489161A (zh) * 2013-09-12 2014-01-01 南京邮电大学 一种灰度图像彩色化方法及装置
CN103839079A (zh) * 2014-03-18 2014-06-04 浙江师范大学 一种基于分类学习的相似图像彩色化算法
US20170004378A1 (en) * 2015-07-02 2017-01-05 Alibaba Group Holding Limited Method and system for preprocessing images
CN106855996A (zh) * 2016-12-13 2017-06-16 中山大学 一种基于卷积神经网络的灰阶图像着色方法及其装置
CN107437081A (zh) * 2017-08-07 2017-12-05 北京中星微电子有限公司 基于深度卷神经网络的人脸识别方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3751505A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949356A (zh) * 2019-12-10 2021-06-11 北京沃东天骏信息技术有限公司 活体检测的方法和装置
CN115272527A (zh) * 2022-08-02 2022-11-01 上海人工智能创新中心 基于色盘对抗网络的图像上色方法

Also Published As

Publication number Publication date
US20210366087A1 (en) 2021-11-25
EP3751505A1 (en) 2020-12-16
US11334973B2 (en) 2022-05-17
EP3751505A4 (en) 2021-12-08
CN109754444A (zh) 2019-05-14
CN109754444B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
WO2019153741A1 (zh) 图像着色方法和装置
US11610433B2 (en) Skin tone assisted digital image color matching
WO2022151655A1 (zh) 数据集生成、伪造检测方法、装置、设备、介质和程序
EP3338217B1 (en) Feature detection and masking in images based on color distributions
US7415153B2 (en) Color naming, color categorization and describing color composition of images
US8385638B2 (en) Detecting skin tone in images
US11373449B1 (en) Systems and methods for passive-subject liveness verification in digital media
CN108280426B (zh) 基于迁移学习的暗光源表情识别方法及装置
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
JP2016048845A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2007047965A (ja) デジタル画像の対象物検出方法および装置並びにプログラム
WO2022156214A1 (zh) 一种活体检测方法及装置
US20160140748A1 (en) Automated animation for presentation of images
KR102563621B1 (ko) 인공지능 기반 치아 쉐이드 진단 시스템 및 이를 위한 동작 방법
US11640663B1 (en) Method of determining suitability of skin analysis image and apparatus therefor
CN113298753A (zh) 敏感肌的检测方法、图像处理方法、装置及设备
CN114663951A (zh) 低照度人脸检测方法、装置、计算机设备及存储介质
CN109766832A (zh) 一种图像预处理方法、装置、系统、设备和存储介质
CN113763498A (zh) 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统
US20230410553A1 (en) Semantic-aware auto white balance
KR102334030B1 (ko) 컴퓨터 장치를 이용한 헤어 염색 방법
JP6467994B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
Mk et al. SketchScan: Face Sketch Illustration and Identification using Deep Learning
CN109741243A (zh) 彩色素描图像生成方法及相关产品
Irshad et al. Detecting shadows in computer vision: A MATLAB-based approach

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018859977

Country of ref document: EP

Effective date: 20200907