[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112489063A - 图像分割方法、图像分割模型的训练方法和装置 - Google Patents

图像分割方法、图像分割模型的训练方法和装置 Download PDF

Info

Publication number
CN112489063A
CN112489063A CN202011462426.0A CN202011462426A CN112489063A CN 112489063 A CN112489063 A CN 112489063A CN 202011462426 A CN202011462426 A CN 202011462426A CN 112489063 A CN112489063 A CN 112489063A
Authority
CN
China
Prior art keywords
image
model
sub
edge
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011462426.0A
Other languages
English (en)
Inventor
李虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202011462426.0A priority Critical patent/CN112489063A/zh
Publication of CN112489063A publication Critical patent/CN112489063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像分割方法、图像分割模型的训练方法和装置，该图像分割方法包括：获取包含有目标人像的待处理图像；将待处理图像输入至预先训练完成的、包含有第一子模型和第二子模型的图像分割模型；通过第一子模型，识别目标人像的边缘位置所在的目标区域；通过第二子模型，从目标区域中识别目标人像的边缘位置，基于目标人像的边缘位置从待处理图像分割所述目标人像。该方式中，第一子模型对待处理图像进行组粒度分割，得到目标人像的边缘位置在待处理图像中的目标区域，然后通过第二子模型针对目标区域对待处理图像进行精细分割，得到待处理图像中目标人像的准确边缘位置，从而可以准确地从待处理图像中分割出目标人像。

Description

图像分割方法、图像分割模型的训练方法和装置
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种图像分割方法、图像分割模型的训练方法和装置。
背景技术
相关技术中的人像抠图方法，通常通过区域生长、均值迭代分割等方法进行图像的分割，根据图像分割结果中指示的人像区域完成人像抠图。但该方式在进行图像分割时所提取的特征信息有限，泛化性能较差，难以得到准确地人像分割结果。
发明内容
本发明的目的在于提供一种图像分割方法、图像分割模型的训练方法和装置，以提高人像分割的准确性。
第一方面，本发明实施例提供了一种图像分割方法，该方法包括：获取包含有目标人像的待处理图像；将该待处理图像输入至预先训练完成的图像分割模型；其中，图像分割模型包括第一子模型和第二子模型；通过第一子模型，识别目标人像的边缘位置所在的目标区域；通过第二子模型，从目标区域中识别目标人像的边缘位置，基于目标人像的边缘位置从待处理图像分割目标人像。
在可选的实施方式中，上述第一子模型包括第一编码网络和第一解码网络；上述通过第一子模型，识别目标人像的边缘位置所在的目标区域的步骤，包括：通过第一编码网络，从待处理图像中提取目标人像的边缘特征；通过第一解码网络，根据边缘特征，确定目标人像的边缘位置所在的目标区域。
在可选的实施方式中，上述第一子模型包括多个依次连接的第一编码网络和第一解码网络；上述通过第一编码网络，从待处理图像中提取目标人像的边缘特征的步骤，包括：通过第一个第一编码网络，从待处理图像中提取目标人像的边缘特征，并对边缘特征进行池化操作，得到分辨率低于边缘特征的高维特征；将边缘特征输入至第一个第一解码网络，将高维特征输入至第二个第一编码网络；通过第二个第一编码网络，从高维特征中提取目标人像的高维边缘特征，并对高维边缘特征进行池化操作，得到分辨率低于高维边缘特征的高维特征；将高维边缘特征输入至第二个第一解码网络，将分辨率低于高维边缘特征的高维特征输入至第三个第一编码网络；将第三个第一编码网络作为新的第二个第一编码网络，将分辨率低于高维边缘特征的高维特征作为新的高维特征，将第三个第一解码网络作为新的第二个第一解码网络，继续执行通过第二个第一编码网络，从高维特征中提取目标人像的高维边缘特征，并对高维边缘特征进行池化操作，得到分辨率低于高维边缘特征的高维特征的步骤，直到第一子模型包括的第一编码网络均从高维特征中提取了目标人像的边缘特征。
上述通过第一解码网络，根据边缘特征，确定目标人像的边缘位置所在的目标区域的步骤，包括：通过第一个第一解码网络对第二个第一解码网络输出的图像特征进行上采样处理，得到上采样图像，并将上采样图像与第一个第一编码网络输出的边缘特征进行叠加，对叠加后的图像进行卷积处理，得到目标人像的边缘位置所在的目标区域；其中，第二个第一解码网络输出的图像特征包括：对第三个第一解码网络输出的图像特征进行上采样处理，得到上采样图像，将上采样图像与第二个第一编码网络输出的高维边缘进行叠加，对叠加后的图像进行卷积处理，得到第二个第一解码网络输出的图像特征。
在可选的实施方式中，上述第二子模型包括第二编码网络和第二解码网络；上述通过第二子模型，从目标区域中识别目标人像的边缘位置的步骤，包括：通过第二编码网络，对指示目标人像的边缘位置所在的目标区域的图像与待处理图像的加和图像进行边缘特征提取，得到加和图像中目标人像的边缘特征；通过第二解码网络，根据加和图像中目标人像的边缘特征，确定目标人像的边缘位置。
第二方面，本发明实施例提供了一种图像分割模型的训练方法，该图像分割模型包括第一子模型和第二子模型，该训练方法包括：获取样本集；该样本集中包括多个样本，每个样本包含有样本图像，以及样本图像对应的辅助图像和标准分割图像；其中，该辅助图像包括前景图像、背景图像和边缘图像；基于样本集对第一初始模型进行机器学习训练，得到第一子模型；将样本集中的样本输入至第一子模型，得到第一子模型的输出结果；基于样本集和第一子模型的输出结果，对第二初始模型进行机器学习训练，得到第二子模型。
在可选的实施方式中，上述基于样本集对第一初始模型进行机器学习训练，得到第一子模型的步骤，包括：基于样本集确定训练样本；将训练样本中的样本图像、样本图像对应的前景图和背景图进行叠加后输入至第一初始模型，得到第一输出结果；根据第一输出结果和标准分割图像，确定第一损失量；基于第一损失量调整第一初始模型的权重参数，继续执行基于样本集确定训练样本的步骤，直到第一损失量收敛或者达到预设的训练次数，得到第一子模型。
在可选的实施方式中，上述第一初始模型包括多个第一解码网络；上述根据第一输出结果和标准分割图像，确定第一损失量的步骤，包括：针对每个第一解码网络，基于标准分割图像和预设的损失函数，计算当前第一解码网络的输出结果对应的损失值；将每个第一解码网络对应的损失值与预设权重相乘后再相加，得到第一损失量。
在可选的实施方式中，上述基于样本集和第一子模型的输出结果，对第二初始模型进行机器学习训练，得到第二子模型的步骤，包括：将训练样本的样本图像、样本图像的边缘图像和第一子模型的输出结果进行叠加后输入至第二初始模型，得到第二输出结果；根据第二输出结果和标准分割图像，确定第二损失量；基于第二损失量调整第二初始模型的权重参数，继续执行基于样本集确定训练样本的步骤，直到第二损失量收敛或者达到预设的训练次数，得到第二子模型。
在可选的实施方式中，上述第二初始模型包括第二编码网络和第二解码网络；上述根据第二输出结果和标准分割图像，确定第二损失量的步骤，包括：基于标准分割图像和预设的损失函数，计算第二解码网络输出的第二输出结果对应的损失值，将第二输出结果对应的损失值确定为第二损失量。
在可选的实施方式中，上述损失函数包括下述第一函数、第二函数和第三函数中的一种或者多种：第一函数L1为：
Figure BDA0002828473210000041
其中，N表示从样本集中确定的训练样本的总数；M表示训练样本中像素点的总数；yij表示第i个训练样本的标准分割图像中第j个像素点的像素值；pij表示第i个训练样本中的样本图像，在第二输出结果中第j个像素点的像素值；log表示对数运算；
第二函数L2为：
Figure BDA0002828473210000042
其中，x＝{xa；a＝1,2,...,B2}和y＝{ya；a＝1,2,...,B2}分别表示从第二输出结果和标准分割图像中截取的B*B的窗口区域；B为小于标准分割图像的尺寸的数值；μx、μy分别表示x和y的均值；
Figure BDA0002828473210000043
分别表示x和y的方差；σxy表示x和y的协方差；C1、C2表示常数；
第二函数L3为：
Figure BDA0002828473210000051
其中，yj表示标准分割图像中第j个像素点的像素值；
Figure BDA0002828473210000052
表示第二输出结果中第j个像素点的像素值对应的二值化结果。
第三方面，本发明实施例提供了一种图像分割装置，该装置包括：图像获取模块，用于获取包含有目标人像的待处理图像；图像输入模块，用于将待处理图像输入至预先训练完成的图像分割模型；其中，图像分割模型包括第一子模型和第二子模型；边缘识别模块，用于通过第一子模型，识别目标人像的边缘位置所在的目标区域；人像分割模块，用于通过第二子模型，从目标区域中识别目标人像的边缘位置，基于目标人像的边缘位置从待处理图像分割所述目标人像。
第四方面，本发明实施例提供了一种图像分割模型的训练装置，该图像分割模型包括第一子模型和第二子模型，该训练装置包括：样本集获取模块，用于获取样本集；该样本集中包括多个样本，每个样本包含有样本图像，以及样本图像对应的辅助图像和标准分割图像；其中，该辅助图像包括前景图像、背景图像和边缘图像；第一模型训练模块，用于基于样本集对第一初始模型进行机器学习训练，得到第一子模型；第一结果输出模块，用于将样本集中的样本输入至第一子模型，得到第一子模型的输出结果；第二模型训练模块，用于基于样本集和第一子模型的输出结果，对第二初始模型进行机器学习训练，得到第二子模型。
第五方面，本发明实施例提供了一种电子设备，包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述图像分割方法或者上述图像分割模型的训练方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述图像分割方法或者上述图像分割模型的训练方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种图像分割方法、图像分割模型的训练方法和装置，首先获取包含有目标人像的待处理图像，进而将该待处理图像输入至预先训练完成的、包含有第一子模型和第二子模型的图像分割模型；再通过第一子模型识别目标人像的边缘位置所在的目标区域；然后通过第二子模型从目标区域中识别目标人像的边缘位置，基于目标人像的边缘位置从待处理图像分割目标人像。该方式中，第一子模型对待处理图像进行组粒度分割，得到目标人像的边缘位置在待处理图像中的目标区域，然后通过第二子模型针对目标区域对待处理图像进行精细分割，得到待处理图像中目标人像的准确边缘位置，从而可以准确地从待处理图像中分割出目标人像。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像分割方法的流程图；
图2为本发明实施例提供的另一种图像分割方法的流程图；
图3为本发明实施例提供的一种第一子模型的结构示意图；
图4为本发明实施例提供的一种图像分割模型的训练方法的流程图；
图5为本发明实施例提供的另一种图像分割模型的训练方法的流程图；
图6为本发明实施例提供的一种图像分割装置的结构示意图；
图7为本发明实施例提供的一种图像分割模型的训练装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中的人像抠图方法，通常通过区域生长、均值迭代分割等方法进行图像的分割，并根据图像分割结果中指示的人像区域完成人像抠图。但该方式在进行图像分割时所提取的特征信息有限，泛化性能较差，难以得到准确地人像分割结果；而且该方在进行图像分割前需要用户在图像中预先划分背景区域和前景区域，操作较为复杂。
基于上述问题，本发明实施例提供了一种图像分割方法、图像分割模型的训练方法和装置，该技术可以应用于各种图像的图像分割和图像中人像的分割场景中。为了便于对本发明实施例进行理解，首先对本发明实施例所公开的一种图像分割方法进行详细介绍，如图1所示，该方法包括如下具体步骤：
步骤S102，获取包含有目标人像的待处理图像。
上述待处理图像中包含有目标人像，该目标人像可以是各种人像，例如，包含有人的正脸的人像、包含有人的侧脸的人像或者不包含面部区域的人像等。上述待处理图像可以是通过摄像机或者照相机拍摄的图片或者照片，也可以是某一视频文件中的视频帧。在具体实现时，可以通过通信连接的照相机、摄像头等设备拍摄后传入，或者从存储有已经拍摄完成的待处理的图像的存储设备中获取待处理图像，也可以从视频文件的存储设备中获取待处理图像。
步骤S104，将上述待处理图像输入至预先训练完成的图像分割模型；其中，该图像分割模型包括第一子模型和第二子模型。
上述图像分割模型包括第一子模型和第二子模型两部分，其中，第一子模型和第二子模型均可以是深度学习模型或者神经网络模型等。上述第一子模型和第二子模型均是基于预设的样本集，通过机器学习训练得到的。
步骤S106，通过第一子模型，识别目标人像的边缘位置所在的目标区域。
上述第一子模型用于对待处理图像进行粗粒度的分割，以确定待处理图像中目标人像的边缘位置所在的目标区域，该目标区域也即是目标人像的边缘位置所在的大致位置，也可以理解为在待处理图像中，粗线条地勾勒出目标人像的边缘位置。
步骤S108，通过第二子模型，从目标区域中识别目标人像的边缘位置，基于目标人像的边缘位置从待处理图像分割目标人像。
上述第二子模型用于基于上述目标区域，对待处理图像进行精细地分割，以从目标区域中识别出准确的目标人像的边缘位置，从而根据识别出的目标人像的边缘位置可以从待处理图像中分割出目标人像。
例如，当目标人像中包含有人的头发时，头发与背景区域之间的位置区域，可以称为目标人像的边缘位置，通过第一子模型，可以识别出目标人像的头发与背景区域之间的大致区域(相当于上述目标区域)，但是头发的发丝是比较细的，该目标区域中通常无法精细地分割出每个发丝与背景的位置，因而，需要通过第二子模型，从目标区域中精细地划分发丝与背景的位置，从而可以得到准确的目标人像的边缘位置。
本发明实施例图像的一种图像分割方法，首先获取包含有目标人像的待处理图像，进而将该待处理图像输入至预先训练完成的、包含有第一子模型和第二子模型的图像分割模型；再通过第一子模型识别目标人像的边缘位置所在的目标区域；然后通过第二子模型从目标区域中识别目标人像的边缘位置，基于目标人像的边缘位置从待处理图像分割目标人像。该方式中，第一子模型对待处理图像进行组粒度分割，得到目标人像的边缘位置在待处理图像中的目标区域，然后通过第二子模型针对目标区域对待处理图像进行精细分割，得到待处理图像中目标人像的准确边缘位置，从而可以准确地从待处理图像中分割出目标人像。
本发明实施例还提供了另一种图像分割方法，该方法在上述实施例方法的基础上实现；该方法重点描述通过第一子模型，识别目标人像的边缘位置所在的目标区域的具体过程(通过下述步骤S206实现)，以及通过第二子模型，从目标区域中识别目标人像的边缘位置的具体过程(通过下述步骤S208-S210实现)；如图2所示，该方法包括如下具体步骤：
步骤S202，获取包含有目标人像的待处理图像。
步骤S204，将上述待处理图像输入至预先训练完成的图像分割模型；其中，该图像分割模型包括第一子模型和第二子模型，该第一子模型包括第一编码网络和第一解码网络，该第二子模型包括第二编码网络和第二解码网络。
在具体实现时，上述第一子模型和第二子模型的网络结构可以相同，也可以不同。当第一子模型和第二子模型的网络结构相同时，第一子模型和第二子模型的网络参数的权重不同。上述第一子模型和第二子模型是预先训练好的，具体的训练过程可以参考下述图像分割模型的训练方法的实施例，在此不在赘述。
步骤S206，通过第一编码网络，从待处理图像中提取目标人像的边缘特征；通过第一解码网络，根据边缘特征，确定目标人像的边缘位置所在的目标区域。
上述第一编码网络用于对待处理图像进行特征提取，得到目标人像的边缘特征，然后将该边缘特征输入至第一解码网络中，该第一解码网络可以基于该边缘特征，确定出目标人像的边缘位置在待处理图像中的目标区域。在具体实现时，上述第一子模型包括多个依次连接的第一编码网络和第一解码网络；其中多个第一编码网络之间是依次连接的，多个第一解码网络之间也是依次连接的，在该网络结构下，上述通过第一编码网络，从待处理图像中提取目标人像的边缘特征的步骤，可以通过下述步骤10-12实现：
步骤10，通过第一个第一编码网络，从待处理图像中提取目标人像的边缘特征，并对边缘特征进行池化操作，得到分辨率低于边缘特征的高维特征；将边缘特征输入至第一个第一解码网络，将高维特征输入至第二个第一编码网络。
步骤11，通过第二个第一编码网络，从高维特征中提取目标人像的高维边缘特征，并对高维边缘特征进行池化操作，得到分辨率低于该高维边缘特征的高维特征；将该高维边缘特征输入至第二个第一解码网络，将分辨率低于高维边缘特征的高维特征输入至第三个第一编码网络。
步骤12，将第三个第一编码网络作为新的第二个第一编码网络，将分辨率低于高维边缘特征的高维特征作为新的高维特征，将第三个第一解码网络作为新的第二个解码网络，继续执行上述步骤11，直到第一子模型包括的第一编码网络均从高维特征中提取了目标人像的边缘特征。
为了便于对上述步骤10-12进行理解，下面针对第一子模型包括3个依次连接的第一编码网络和第一解码网络对上述步骤进行介绍，如图3所示，上述第一子模块包括第一编码网络1(相当于上述第一个第一编码网络)、第一编码网络2(相当于上述第二个第一编码网络)、第一编码网络3(相当于上述第三个第一编码网络)、第一解码网络1(相当于上述第一个第一解码网络)、第一解码网络2(相当于上述第二个第一解码网络)和第一解码网络3(相当于上述第三个第一解码网络)。在具体实现时，每个第一编码网络中均包含有卷积层和池化层，卷积层用于提取特征，池化层用于进行池化操作；因而，第一编码网络1的卷积层用于从待处理图像中提取目标人像的边缘特征，并将该边缘特征输入至第一解码网络1和第一编码网络1的池化层，该池化层用于对边缘特征进行池化操作(相当于进行下采样操作)，得到分辨率低于边缘特征的高维特征，并将该高维特征输入至第一编码网络2的卷积层。
第一编码网络2的卷积层用于从接收的高维特征中提取目标人像的高维边缘特征，并将该高维边缘特征输入至第一解码网络2和第一编码网络2的池化层，该池化层用于对高维边缘特征进行池化操作，得到分辨率低于该高维边缘特征的高维特征，并将该高维特征输入至第一编码网络3的卷积层。第一编码网络3的卷积层用于从输入的高维特征中提取目标人像的高维边缘特征，并将该高维边缘特征输入至第一解码网络3和第一编码网络3的池化层，该池化层用于对该高维边缘特征进行池化操作，得到分辨率低于该高维边缘特征的高维特征高维，并将该高维特征输入至第一解码网络3。
基于上述描述，上述通过第一解码网络，根据边缘特征，确定目标人像的边缘位置所在的目标区域的步骤，具体实现方式为：通过第一个第一解码网络对第二个第一解码网络输出的图像特征进行上采样处理，得到上采样图像，并将上采样图像与第一个第一编码网络输出的边缘特征进行叠加，对叠加后的图像进行卷积处理，得到目标人像的边缘位置所在的目标区域；其中，第二个第一解码网络输出的图像特征包括：对第三个第一解码网络输出的图像特征进行上采样处理，得到上采样图像，将该上采样图像与第二个第一编码网络输出的高维边缘进行叠加，对叠加后的图像进行卷积处理，得到第二个第一解码网络输出的图像特征。
在具体实现时，每个第一解码网络中均包含有上采样层和卷积层，如图3所示，第一解码网络3对输入的高维边缘特征进行上采样处理，得到上采样图像，将该上采样图像与第一编码网络3输入的高维特征进行叠加后输入至卷积层，得到卷积后的图像特征，并将该图像特征输入至第一解码网络2。该第一解码网络2对第一编码网络3输入的图像特征进行上采样处理，得到上采样图像，将该上采样图像与第一编码网络2输入的高维特征进行叠加后输入至卷积层，得到卷积后的图像特征，并将该图像输入至第一解码网络1。第一解码网络1的上采样层用于对第一解码网络2输出的图像特征进行上采样，得到上采样图像，以使叠加层对上采样图像和第一编码网络1输出的边缘特征进行叠加，并将叠加后的图像输入至卷积层进行卷积处理，得到分割结果，该分割结果用于指示目标人像的边缘位置所在的目标区域。
步骤S208，通过第二编码网络，对指示目标人像的边缘位置所在的目标区域的图像与待处理图像的加和图像进行边缘特征提取，得到加和图像中目标人像的边缘特征。
步骤S210，通过第二解码网络，根据加和图像中目标人像的边缘特征，确定目标人像的边缘位置。
上述第二编码网络用于对指示目标人像的边缘位置所在的目标区域的图像与待处理图像的加和图像进行边缘特征提取，得到加和图像中目标人像的边缘特征，然后将该边缘特征输入至第二解码网络中，该第二解码网络可以根据加和图像中目标人像的边缘特征，确定目标人像的边缘位置。在具体实现时，上述第二子模型可以包括多个依次连接的第二编码网络和第二解码网络；其中多个第二编码网络之间是依次连接的，多个第二解码网络之间也是依次连接的，例如，图3中的第一编码网络替换为第二编码网络，第一解码网络替换为第二解码网路，即可得到第二子模型的网络结构。在具体实现时，上述第二编码网络的实现原理可以与第一编码网络的实现原理类似，第二解码网络的实现原理可以与第一解码网络的实现原理类似。
上述图像分割方法，通过第一编码网络和第一解码网络对待处理图像进行粗粒度的分割，得到目标人像的边缘位置在待处理图像中的目标区域，然后通过第二编码网络和第二解码网络针对目标区域对待处理图像进行精细分割，得到待处理图像中目标人像的准确边缘位置，从而提升了分割目标人像的准确性。
针对于上述图像分割方法，本发明实施例还提供了一种图像分割模型的训练方法，该图像分割模型包括第一子模型和第二子模型，如图4所示，该训练方法包括如下具体步骤：
步骤S402，获取样本集；该样本集中包括多个样本，每个样本包含有样本图像，以及该样本图像对应的辅助图像和标准分割图像；其中，该辅助图像包括前景图像、背景图像和边缘图像。
上述样本集中通常包含有多个样本，每个样本包含有一个样本图像，以及该样本图像对应的辅助图像和标准分割图像，该辅助图像也可以称为三分图，该三分图将样本图像划分为三个区域，分别是确定前景、确定背景和不确定区域，其中，确定前景也即是目标人像在样本图像中的区域，确定背景也即是样本图像中的背景所在区域，不确定区域也即是目标人像的边缘位置所在的区域，每个区域都对应一个二值化图像，分别是前景图像、背景图像和边缘图像。上述标准分割图像也即是预先分割好的、样本图像中目标人像的准确分割结果图。
步骤S404，基于样本集对第一初始模型进行机器学习训练，得到第一子模型。
步骤S406，将样本集中的样本输入至第一子模型，得到第一子模型的输出结果。
在具体实现时，可以依次将样本集中的样本输入至第一子模型中，得到第一子模型的输出结果，该第一子模型的输出结果中包含有样本集中每个样本对应的输出结果。
步骤S408，基于样本集和第一子模型的输出结果，对第二初始模型进行机器学习训练，得到第二子模型。
通过样本集中的样本对第一初始模型和第二初始模型进行机器学习训练，可以得到训练完成的第一子模型和第二子模型。在具体实现时，可以将样本中的样本图像和辅助图像输入至第一初始模型中，得到输出结果，然后根据输出结果和标准分割图像计算损失值，基于该损失值调整第一初始模型的网络参数，得到网络参数收敛的第一子模型；然后将第一子模型的输出结果、样本图像和辅助模型输入至第二子模型，得到输出结果，再针对该输出结果和标准分割图像计算损失值，并基于该损失值调整第二初始模型的网络参数，得到网络参数收敛的第二子模型。
上述图像分割模型的训练方法，首先获取样本集，该样本集包含有样本图像，以及该样本图像对应的辅助图像和标准分割图像；进而基于样本集对第一初始模型进行机器学习训练，得到第一子模型；再基于样本集和第一子模型针对样本集的输出结果，对第二初始模型进行机器学习训练，得到第二子模型。该方式中，通过样本图像的辅助图像图来指导第一子模型和第二子模型的训练，能够得到更为精准的图像分割模型，有利于后续进行人像的精准抠图。
本发明实施例还提供了另一种图像分割模型的训练方法，该训练方法在上述训练方法实施例的基础上实现；该方法重点描述基于样本集对第一初始模型进行机器学习训练，得到第一子模型的具体过程(通过下述步骤S502-S508实现)，以及基于样本集和第一子模型的输出结果，对第二初始模型进行机器学习训练，得到第二子模型的具体过程(通过下述步骤S510-S514实现)；如图5所示，该方法包括如下具体步骤：
步骤S502，基于样本集确定训练样本。
上述训练样本中包含有样本图像、该样本图像对应的前景图像、背景图像和边缘图像，以及该样本图像对应的标准分割图像。
步骤S504，将上述训练样本中的样本图像、该样本图像对应的前景图和背景图进行叠加后输入至第一初始模型，得到第一输出结果。
步骤S506，根据第一输出结果和标准分割图像，确定第一损失量。
上述第一损失量用于表征第一输出结果与标准分割图像之间的差距，该第一损失量可以通过二元交叉熵损失函数、结构相似性损失函数或者交并比损失函数等计算得到，计算损失值的损失函数可以根据研发需求设置。在具体实现时，上述第一初始模型包括多个依次连接的第一编码网络和第一解码网络；上述步骤S506可以通过下述步骤20-21实现：
步骤20，针对每个第一解码网络，基于标准分割图像和预设的损失函数，计算当前第一解码网络的输出结果对应的损失值。
步骤21，将每个第一解码网络对应的损失值与预设权重相乘后再相加，得到第一损失量。
在计算第一损失量时，第一初始模型对应的每个第一解码网络的输出结果，都需要基于损失函数，计算标准分割图像与输出结果的差距，得到每个第一解码网络对应的损失值，然后将每个第一解码网络对应的损失值与预设权重相乘后再相加，得到第一损失量。在具体实现时，每个第一解码网络对应的损失值的权重的大小由第一解码网络的输出结果(相当于特征图像)的尺寸来决定，尺寸越大的特征图像，权重占比相应也越大，也即是权重大小与特征图像的尺寸成正比。由于尺寸越大的特征图像中包含有的纹理信息越丰富，从而使得权重的设置更加合理。
步骤S508，基于第一损失量调整第一初始模型的权重参数，继续执行基于样本集确定训练样本的步骤，直到第一损失量收敛或者达到预设的训练次数，得到第一子模型。
步骤S510，将训练样本的样本图像、样本图像的边缘图像和第一子模型的第一输出结果进行叠加后输入至第二初始模型，得到第二输出结果。
步骤S512，根据第二输出结果和标准分割图像，确定第二损失量。
步骤S514，基于第二损失量调整第二初始模型的权重参数，继续执行基于样本集确定训练样本的步骤，直到第二损失量收敛或者达到预设的训练次数，得到第二子模型。
上述第二损失量用于表征第二输出结果与标准分割图像之间的差距，该第二损失量可以通过二元交叉熵损失函数、结构相似性损失函数或者交并比损失函数等计算得到，计算损失量的具体方式可以根据研发需求设置。在具体实现时，上述第二初始模型包括第二编码网络和第二解码网络，上述第二损失量可以通过下述计算得到：基于标准分割图像和预设的损失函数，计算第二解码网络输出的第二输出结果对应的损失值，将该第二输出结果对应的损失值确定为第二损失量。
在具体实现时，上述第二子模型也可以包含有依次连接的多个第二编码网络和第二解码网络，在计算第二损失量时，可以根据最后一个第二解码网络输出的第二输出结果计算第二损失量，从而可以减少计算量。
在具体实现时，得到第一损失量和第二损失量的损失函数可以是相同的损失函数，该损失函数包括下述第一函数、第二函数和第三函数中的一种或者多种：
上述第一函数L1为：
Figure BDA0002828473210000171
其中，N表示从样本集中确定的训练样本的总数；M表示训练样本中像素点的总数；yij表示第i个训练样本的标准分割图像中第j个像素点的像素值；log表示对数运算；在计算第一损失量时，pij表示第i个训练样本中的样本图像，在第一输出结果中第j个像素点的像素值；在计算第二损失量时，上述pij表示第i个训练样本中的样本图像，在第二输出结果中第j个像素点的像素值。
上述第二函数L2为：
Figure BDA0002828473210000172
其中，在计算第二损失量时，x＝{xa；a＝1,2,...,B2}和y＝{ya；a＝1,2,...,B2}分别表示从第二输出结果和标准分割图像中截取的B*B的窗口区域；μx、μy分别表示x和y的均值；
Figure BDA0002828473210000173
分别表示x和y的方差；σxy表示x和y的协方差；C1、C2表示常数；在计算第一损失量时，x＝{xa；a＝1,2,...,B2}和y＝{ya；a＝1,2,...,B2}分别表示从第一输出结果和标准分割图像中截取的B*B的窗口区域。上述B可以是研发人员设置的小于标准分割图像的尺寸的数值。
在具体实现时，上述均值可以通过下述方式计算：将B*B窗口区域中的图像的像素值累加然后除以该窗口区域中的像素点总数得到均值。上述方差为该窗口区域中的图像的每一个像素值减去均值后求平方，之后将所有像素计算的结果累加除以像素点总数得到的。C1、C2是为了防止出现分母为0的异常情况而设定的。
通过上述第二函数的计算公式可以看出，每个像素点产生的损失都与其临近的局部窗口区域有关(相当于上述B*B窗口区域)，因此在模型训练的过程中，会对目标人像边缘部分的损失值加强，对非边缘部分抑制。该第二函数的存在，可以使得本发明注到更多的目标人像显著性的边缘细节信息，例如，在人像抠图中，更能够关注到头发等细节信息。
上述第二函数L3为：
Figure BDA0002828473210000181
其中，yj表示标准分割图像中第j个像素点的像素值；在计算第二损失量时，
Figure BDA0002828473210000182
表示第二输出结果中第j个像素点的像素值对应的二值化结果；在计算第一损失量时，
Figure BDA0002828473210000183
表示第一输出结果中第j个像素点的像素值对应的二值化结果。这里的二值化结果可以是通过下述方式计算得到的：将第一输出结果中第j个像素点的像素值与预设阈值进行比较，如果大于预设阈值，二值化结果为1，如果小于或者等于预设阈值，二值化结果设置为0。同样地，第二输出结果对应的二值化结果也可以通过该方式计算得到。
在具体实现时，上述损失函数可以采用第一函数、第二函数和第三函数中的任意一种，也可以采用第一函数、第二函数和第三函数中任意两种函数的组合，也可以采用这三种函数的组合。
本发明实施例提供的一种图像分割模型的训练方法，该方式在训练第一子模型时，使用样本图像对应的前景图像与背景图来进行训练得到粗粒度的分割结果，并将该分割结果作为第二子模型的输入，该第二子模型使用样本图像的边缘图像和输入的分割结果进行训练，最终获取到精细的分割结果，从而使得训练完成的图像分割模型可以更为精准的对人像进行抠图。
针对于上述图像分割方法的实施例，本发明实施例提供了一种图像分割装置，如图6所示，该装置包括：
图像获取模块60，用于获取包含有目标人像的待处理图像。
图像输入模块61，用于将待处理图像输入至预先训练完成的图像分割模型；其中，该图像分割模型包括第一子模型和第二子模型。
边缘识别模块62，用于通过第一子模型，识别目标人像的边缘位置所在的目标区域。
人像分割模块63，用于通过第二子模型，从目标区域中识别目标人像的边缘位置，基于目标人像的边缘位置从待处理图像分割目标人像。
上述图像分割装置，首先获取包含有目标人像的待处理图像，进而将该待处理图像输入至预先训练完成的、包含有第一子模型和第二子模型的图像分割模型；再通过第一子模型识别目标人像的边缘位置所在的目标区域；然后通过第二子模型从目标区域中识别目标人像的边缘位置，基于目标人像的边缘位置从待处理图像分割目标人像。该方式中，第一子模型对待处理图像进行组粒度分割，得到目标人像的边缘位置在待处理图像中的目标区域，然后通过第二子模型针对目标区域对待处理图像进行精细分割，得到待处理图像中目标人像的准确边缘位置，从而可以准确地从待处理图像中分割出目标人像。
具体地，上述第一子模型包括第一编码网络和第一解码网络；上述边缘识别模块62，包括：特征提取模块，用于通过第一编码网络，从待处理图像中提取目标人像的边缘特征；区域确定模块，用于通过第一解码网络，根据边缘特征，确定目标人像的边缘位置所在的目标区域。
在具体实现时，上述第一子模型包括多个依次连接的第一编码网络和第一解码网络；上述特征提取模块，用于：通过第一个第一编码网络，从待处理图像中提取目标人像的边缘特征，并对边缘特征进行池化操作，得到分辨率低于边缘特征的高维特征；将该边缘特征输入至第一个第一解码网络，将高维特征输入至第二个第一编码网络；通过第二个第一编码网络，从高维特征中提取目标人像的高维边缘特征，并对高维边缘特征进行池化操作，得到分辨率低于高维边缘特征的高维特征；将高维边缘特征输入至第二个第一解码网络，将分辨率低于高维边缘特征的高维特征输入至第三个第一编码网络；将第三个第一编码网络作为新的第二个所述第一编码网络，将分辨率低于高维边缘特征的高维特征作为新的高维特征，将第三个第一解码网络作为新的第二个第一解码网络，继续执行通过第二个第一编码网络，从高维特征中提取目标人像的高维边缘特征，并对高维边缘特征进行池化操作，得到分辨率低于高维边缘特征的高维特征的步骤，直到第一子模型包括的第一编码网络均从高维特征中提取了目标人像的边缘特征。
具体地，上述区域确定模块，用于通过第一个第一解码网络对第二个第一解码网络输出的图像特征进行上采样处理，得到上采样图像，并将上采样图像与第一个第一编码网络输出的边缘特征进行叠加，对叠加后的图像进行卷积处理，得到目标人像的边缘位置所在的目标区域；其中，第二个第一解码网络输出的图像特征包括：对第三个第一解码网络输出的图像特征进行上采样处理，得到上采样图像，将上采样图像与第二个第一编码网络输出的高维边缘进行叠加，对叠加后的图像进行卷积处理，得到第二个第一解码网络输出的图像特征。
进一步地，上述第二子模型包括第二编码网络和第二解码网络；上述人像分割模块63，用于：通过第二编码网络，对指示目标人像的边缘位置所在的目标区域的图像与待处理图像的加和图像进行边缘特征提取，得到加和图像中目标人像的边缘特征；通过第二解码网络，根据加和图像中目标人像的边缘特征，确定目标人像的边缘位置。
本发明实施例所提供的图像分割装置，其实现原理及产生的技术效果和前述图像分割方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
针对于上述图像分割方法的实施例，本发明实施例提供了一种图像分割模型的训练装置，该图像分割模型包括第一子模型和第二子模型，如图7所示，该训练装置包括：
样本集获取模块70，用于获取样本集；该样本集中包括多个样本，每个样本包含有样本图像，以及该样本图像对应的辅助图像和标准分割图像；其中，该辅助图像包括前景图像、背景图像和边缘图像。
第一模型训练模块71，用于基于样本集对第一初始模型进行机器学习训练，得到第一子模型。
第一结果输出模块72，用于将样本集中的样本输入至第一子模型，得到第一子模型的输出结果。
第二模型训练模块73，用于基于样本集和第一子模型的输出结果，对第二初始模型进行机器学习训练，得到第二子模型。
上述图像分割模型的训练装置，首先获取样本集，该样本集包含有样本图像，以及该样本图像对应的辅助图像和标准分割图像；进而基于样本集对第一初始模型进行机器学习训练，得到第一子模型；再基于样本集和第一子模型针对样本集的输出结果，对第二初始模型进行机器学习训练，得到第二子模型。该方式中，通过样本图像的辅助图像图来指导第一子模型和第二子模型的训练，能够得到更为精准的图像分割模型，有利于后续进行人像的精准抠图。
进一步地，上述第一模型训练模块71，用于：基于样本集确定训练样本；将训练样本中的样本图像、样本图像对应的前景图和背景图进行叠加后输入至第一初始模型，得到第一输出结果；根据第一输出结果和标准分割图像，确定第一损失量；基于第一损失量调整第一初始模型的权重参数，继续执行基于样本集确定训练样本的步骤，直到第一损失量收敛或者达到预设的训练次数，得到第一子模型。
具体地，上述第一初始模型包括多个依次连接的第一编码网络和第一解码网络；上述第一模型训练模块71，还用于：针对每个第一解码网络，基于标准分割图像和预设的损失函数，计算当前第一解码网络的输出结果对应的损失值；将每个第一解码网络对应的损失值与预设权重相乘后再相加，得到第一损失量。
进一步地，上述第二模型训练模块73，用于：将训练样本的样本图像、样本图像的边缘图像和第一子模型的输出结果进行叠加后输入至第二初始模型，得到第二输出结果；根据第二输出结果和标准分割图像，确定第二损失量；基于第二损失量调整第二初始模型的权重参数，继续执行基于样本集确定训练样本的步骤，直到第二损失量收敛或者达到预设的训练次数，得到第二子模型。
具体地，上述第二初始模型包括第二编码网络和第二解码网络；上述第二模型训练模块73，还用于：基于标准分割图像和预设的损失函数，计算第二解码网络输出的第二输出结果对应的损失值，将第二输出结果对应的损失值确定为第二损失量。
在具体实现时，上述损失函数包括下述第一函数、第二函数和第三函数中的一种或者多种：第一函数L1为：
Figure BDA0002828473210000221
其中，N表示从样本集中确定的训练样本的总数；M表示训练样本中像素点的总数；yij表示第i个训练样本的标准分割图像中第j个像素点的像素值；pij表示第i个训练样本中的样本图像，在第二输出结果中第j个像素点的像素值；log表示对数运算。
第二函数L2为：
Figure BDA0002828473210000231
其中，x＝{xa；a＝1,2,...,B2}和y＝{ya；a＝1,2,...,B2}分别表示从第二输出结果和标准分割图像中截取的B*B的窗口区域，B为小于标准分割图像的尺寸的数值；μx、μy分别表示x和y的均值；
Figure BDA0002828473210000232
分别表示x和y的方差；σxy表示x和y的协方差；C1、C2表示常数。
第三函数L3为：
Figure BDA0002828473210000233
其中，yj表示标准分割图像中第j个像素点的像素值；
Figure BDA0002828473210000234
表示第二输出结果中第j个像素点的像素值对应的二值化结果。
本发明实施例所提供的图像分割模型的训练装置，其实现原理及产生的技术效果和前述图像分割模型的训练方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备，如图8所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述图像分割方法或者上述图像分割模型的训练方法。
进一步地，图8所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述图像分割方法或者图像分割模型的训练方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的图像分割方法、图像分割模型的训练方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种图像分割方法，其特征在于，所述方法包括：
获取包含有目标人像的待处理图像；
将所述待处理图像输入至预先训练完成的图像分割模型；其中，所述图像分割模型包括第一子模型和第二子模型；
通过所述第一子模型，识别所述目标人像的边缘位置所在的目标区域；
通过所述第二子模型，从所述目标区域中识别所述目标人像的边缘位置，基于所述目标人像的边缘位置从所述待处理图像分割所述目标人像。
2.根据权利要求1所述的方法，其特征在于，所述第一子模型包括第一编码网络和第一解码网络；
所述通过所述第一子模型，识别所述目标人像的边缘位置所在的目标区域的步骤，包括：
通过所述第一编码网络，从所述待处理图像中提取所述目标人像的边缘特征；通过所述第一解码网络，根据所述边缘特征，确定所述目标人像的边缘位置所在的目标区域。
3.根据权利要求2所述的方法，其特征在于，所述第一子模型包括多个依次连接的第一编码网络和第一解码网络；
所述通过所述第一编码网络，从所述待处理图像中提取所述目标人像的边缘特征的步骤，包括：
通过第一个所述第一编码网络，从所述待处理图像中提取所述目标人像的边缘特征，并对所述边缘特征进行池化操作，得到分辨率低于所述边缘特征的高维特征；将所述边缘特征输入至第一个所述第一解码网络，将所述高维特征输入至第二个所述第一编码网络；
通过第二个所述第一编码网络，从所述高维特征中提取所述目标人像的高维边缘特征，并对所述高维边缘特征进行池化操作，得到分辨率低于所述高维边缘特征的高维特征；将所述高维边缘特征输入至第二个所述第一解码网络，将分辨率低于所述高维边缘特征的高维特征输入至第三个所述第一编码网络；
将第三个所述第一编码网络作为新的第二个所述第一编码网络，将分辨率低于所述高维边缘特征的高维特征作为新的高维特征，将第三个所述第一解码网络作为新的第二个第一解码网络，继续执行通过第二个所述第一编码网络，从所述高维特征中提取所述目标人像的高维边缘特征，并对所述高维边缘特征进行池化操作，得到分辨率低于所述高维边缘特征的高维特征的步骤，直到所述第一子模型包括的第一编码网络均从所述高维特征中提取了所述目标人像的边缘特征。
4.根据权利要求3所述的方法，其特征在于，所述通过所述第一解码网络，根据所述边缘特征，确定所述目标人像的边缘位置所在的目标区域的步骤，包括：
通过第一个所述第一解码网络对第二个所述第一解码网络输出的图像特征进行上采样处理，得到上采样图像，并将所述上采样图像与第一个所述第一编码网络输出的边缘特征进行叠加，对叠加后的图像进行卷积处理，得到所述目标人像的边缘位置所在的目标区域；
其中，第二个所述第一解码网络输出的图像特征包括：对第三个所述第一解码网络输出的图像特征进行上采样处理，得到上采样图像，将所述上采样图像与第二个所述第一编码网络输出的高维边缘进行叠加，对叠加后的图像进行卷积处理，得到第二个所述第一解码网络输出的图像特征。
5.根据权利要求1所述的方法，其特征在于，所述第二子模型包括第二编码网络和第二解码网络；
所述通过所述第二子模型，从所述目标区域中识别所述目标人像的边缘位置的步骤，包括：
通过所述第二编码网络，对指示所述目标人像的边缘位置所在的目标区域的图像与所述待处理图像的加和图像进行边缘特征提取，得到所述加和图像中目标人像的边缘特征；
通过所述第二解码网络，根据所述加和图像中目标人像的边缘特征，确定所述目标人像的边缘位置。
6.一种图像分割模型的训练方法，其特征在于，所述图像分割模型包括第一子模型和第二子模型，所述训练方法包括：
获取样本集；所述样本集中包括多个样本，每个所述样本包含有样本图像，以及所述样本图像对应的辅助图像和标准分割图像；其中，所述辅助图像包括前景图像、背景图像和边缘图像；
基于所述样本集对第一初始模型进行机器学习训练，得到第一子模型；
将所述样本集中的样本输入至所述第一子模型，得到所述第一子模型的输出结果；
基于所述样本集和所述第一子模型的输出结果，对第二初始模型进行机器学习训练，得到所述第二子模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述样本集对第一初始模型进行机器学习训练，得到第一子模型的步骤，包括：
基于所述样本集确定训练样本；
将所述训练样本中的样本图像、所述样本图像对应的前景图和背景图进行叠加后输入至所述第一初始模型，得到第一输出结果；
根据所述第一输出结果和所述标准分割图像，确定第一损失量；
基于所述第一损失量调整所述第一初始模型的权重参数，继续执行基于所述样本集确定训练样本的步骤，直到所述第一损失量收敛或者达到预设的训练次数，得到所述第一子模型。
8.根据权利要求7所述的方法，其特征在于，所述第一初始模型包括多个第一解码网络；
所述根据所述第一输出结果和所述标准分割图像，确定第一损失量的步骤，包括：
针对每个所述第一解码网络，基于所述标准分割图像和预设的损失函数，计算当前第一解码网络的输出结果对应的损失值；
将每个所述第一解码网络对应的损失值与预设权重相乘后再相加，得到所述第一损失量。
9.根据权利要求7所述的方法，其特征在于，所述基于所述样本集和所述第一子模型的输出结果，对第二初始模型进行机器学习训练，得到所述第二子模型的步骤，包括：
将所述训练样本的样本图像、所述样本图像的边缘图像和所述第一子模型的输出结果进行叠加后输入至所述第二初始模型，得到第二输出结果；
根据所述第二输出结果和所述标准分割图像，确定第二损失量；
基于所述第二损失量调整所述第二初始模型的权重参数，继续执行基于所述样本集确定训练样本的步骤，直到所述第二损失量收敛或者达到预设的训练次数，得到第二子模型。
10.根据权利要求9所述的方法，其特征在于，所述第二初始模型包括第二编码网络和第二解码网络；所述根据所述第二输出结果和所述标准分割图像，确定第二损失量的步骤，包括：
基于所述标准分割图像和预设的损失函数，计算所述第二解码网络输出的第二输出结果对应的损失值，将所述第二输出结果对应的损失值确定为所述第二损失量。
11.根据权利要求10所述的方法，其特征在于，所述损失函数包括下述第一函数、第二函数和第三函数中的一种或者多种：
所述第一函数L1为：
Figure FDA0002828473200000041
其中，N表示从所述样本集中确定的训练样本的总数；M表示所述训练样本中像素点的总数；yij表示第i个训练样本的标准分割图像中第j个像素点的像素值；pij表示第i个训练样本中的样本图像，在所述第二输出结果中第j个像素点的像素值；log表示对数运算；
所述第二函数L2为：
Figure FDA0002828473200000051
其中，x＝{xa；a＝1,2,...,B2}和y＝{ya；a＝1,2,...,B2}分别表示从所述第二输出结果和所述标准分割图像中截取的B*B的窗口区域；B为小于所述标准分割图像的尺寸的数值；μx、μy分别表示x和y的均值；
Figure FDA0002828473200000052
分别表示x和y的方差；σxy表示x和y的协方差；C1、C2表示常数；
所述第二函数L3为：
Figure FDA0002828473200000053
yj表示所述标准分割图像中第j个像素点的像素值；
Figure FDA0002828473200000054
表示所述第二输出结果中第j个像素点的像素值对应的二值化结果。
12.一种图像分割装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含有目标人像的待处理图像；
图像输入模块，用于将所述待处理图像输入至预先训练完成的图像分割模型；其中，所述图像分割模型包括第一子模型和第二子模型；
边缘识别模块，用于通过所述第一子模型，识别所述目标人像的边缘位置所在的目标区域；
人像分割模块，用于通过所述第二子模型，从所述目标区域中识别所述目标人像的边缘位置，基于所述目标人像的边缘位置从所述待处理图像分割所述目标人像。
13.一种图像分割模型的训练装置，其特征在于，所述图像分割模型包括第一子模型和第二子模型，所述训练装置包括：
样本集获取模块，用于获取样本集；所述样本集中包括多个样本，每个所述样本包含有样本图像，以及所述样本图像对应的辅助图像和标准分割图像；其中，所述辅助图像包括前景图像、背景图像和边缘图像；
第一模型训练模块，用于基于所述样本集对第一初始模型进行机器学习训练，得到第一子模型；
第一结果输出模块，用于将所述样本集中的样本输入至所述第一子模型，得到所述第一子模型的输出结果；
第二模型训练模块，用于基于所述样本集和所述第一子模型的输出结果，对第二初始模型进行机器学习训练，得到所述第二子模型。
14.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至5任一项所述的图像分割方法，或者权利要求6至11任一项所述的图像分割模型的训练方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现权利要求1至5任一项所述的图像分割方法，或者权利要求6至11任一项所述的图像分割模型的训练方法。
CN202011462426.0A 2020-12-10 2020-12-10 图像分割方法、图像分割模型的训练方法和装置 Pending CN112489063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011462426.0A CN112489063A (zh) 2020-12-10 2020-12-10 图像分割方法、图像分割模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011462426.0A CN112489063A (zh) 2020-12-10 2020-12-10 图像分割方法、图像分割模型的训练方法和装置

Publications (1)

Publication Number Publication Date
CN112489063A true CN112489063A (zh) 2021-03-12

Family

ID=74916941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011462426.0A Pending CN112489063A (zh) 2020-12-10 2020-12-10 图像分割方法、图像分割模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN112489063A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487618A (zh) * 2021-09-07 2021-10-08 北京世纪好未来教育科技有限公司 人像分割方法、装置、电子设备及存储介质
CN114155370A (zh) * 2021-10-29 2022-03-08 北京搜狗科技发展有限公司 图像数据处理方法、装置及介质
CN114240954A (zh) * 2021-12-16 2022-03-25 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114742979A (zh) * 2022-04-15 2022-07-12 推想医疗科技股份有限公司 基于定位贴片的位置识别方法、装置、存储介质及设备
CN114937047A (zh) * 2022-05-19 2022-08-23 深圳市优必选科技股份有限公司 分割图像的方法、装置、设备及存储介质
WO2023230927A1 (zh) * 2022-05-31 2023-12-07 北京小米移动软件有限公司 图像处理方法、装置及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325954A (zh) * 2018-09-18 2019-02-12 北京旷视科技有限公司 图像分割方法、装置及电子设备
CN110276766A (zh) * 2019-06-27 2019-09-24 广州久邦世纪科技有限公司 一种人像分割的方法及装置
CN110517278A (zh) * 2019-08-07 2019-11-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110796673A (zh) * 2019-10-31 2020-02-14 Oppo广东移动通信有限公司 图像分割方法及相关产品
CN111091166A (zh) * 2020-03-25 2020-05-01 腾讯科技（深圳）有限公司 图像处理模型训练方法、图像处理方法、设备及存储介质
CN111311485A (zh) * 2020-03-17 2020-06-19 Oppo广东移动通信有限公司 图像处理方法及相关装置
CN111582278A (zh) * 2019-02-19 2020-08-25 北京嘀嘀无限科技发展有限公司 人像分割方法、装置及电子设备
CN111598903A (zh) * 2020-05-21 2020-08-28 Oppo广东移动通信有限公司 人像分割方法、装置、存储介质和电子设备
CN111932568A (zh) * 2020-08-10 2020-11-13 北京金山云网络技术有限公司 人体图像分割方法、人体图像分割模型的训练方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325954A (zh) * 2018-09-18 2019-02-12 北京旷视科技有限公司 图像分割方法、装置及电子设备
CN111582278A (zh) * 2019-02-19 2020-08-25 北京嘀嘀无限科技发展有限公司 人像分割方法、装置及电子设备
CN110276766A (zh) * 2019-06-27 2019-09-24 广州久邦世纪科技有限公司 一种人像分割的方法及装置
CN110517278A (zh) * 2019-08-07 2019-11-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110796673A (zh) * 2019-10-31 2020-02-14 Oppo广东移动通信有限公司 图像分割方法及相关产品
CN111311485A (zh) * 2020-03-17 2020-06-19 Oppo广东移动通信有限公司 图像处理方法及相关装置
CN111091166A (zh) * 2020-03-25 2020-05-01 腾讯科技（深圳）有限公司 图像处理模型训练方法、图像处理方法、设备及存储介质
CN111598903A (zh) * 2020-05-21 2020-08-28 Oppo广东移动通信有限公司 人像分割方法、装置、存储介质和电子设备
CN111932568A (zh) * 2020-08-10 2020-11-13 北京金山云网络技术有限公司 人体图像分割方法、人体图像分割模型的训练方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487618A (zh) * 2021-09-07 2021-10-08 北京世纪好未来教育科技有限公司 人像分割方法、装置、电子设备及存储介质
CN114155370A (zh) * 2021-10-29 2022-03-08 北京搜狗科技发展有限公司 图像数据处理方法、装置及介质
CN114240954A (zh) * 2021-12-16 2022-03-25 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114240954B (zh) * 2021-12-16 2022-07-08 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114742979A (zh) * 2022-04-15 2022-07-12 推想医疗科技股份有限公司 基于定位贴片的位置识别方法、装置、存储介质及设备
CN114937047A (zh) * 2022-05-19 2022-08-23 深圳市优必选科技股份有限公司 分割图像的方法、装置、设备及存储介质
WO2023230927A1 (zh) * 2022-05-31 2023-12-07 北京小米移动软件有限公司 图像处理方法、装置及可读存储介质

Similar Documents

Publication Publication Date Title
CN112489063A (zh) 图像分割方法、图像分割模型的训练方法和装置
CN109255352B (zh) 目标检测方法、装置及系统
CN109493350B (zh) 人像分割方法及装置
CN109325954B (zh) 图像分割方法、装置及电子设备
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112950581B (zh) 质量评估方法、装置和电子设备
CN109948616B (zh) 图像检测方法、装置、电子设备及计算机可读存储介质
CN112381837B (zh) 一种图像处理方法及电子设备
CN111783797B (zh) 目标检测方法、装置及存储介质
CN112001403B (zh) 一种图像轮廓检测方法及系统
CN109064504B (zh) 图像处理方法、装置和计算机存储介质
CN111028170B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN113781510B (zh) 边缘检测方法、装置及电子设备
CN110378893B (zh) 图像质量评价方法、装置和电子设备
CN114332133B (zh) 基于改进CE-Net的肺炎CT图像感染区分割方法及系统
CN110969627A (zh) 图像处理方法及装置
CN111275040B (zh) 定位方法及装置、电子设备、计算机可读存储介质
CN112597918A (zh) 文本检测方法及装置、电子设备、存储介质
CN114494775A (zh) 视频切分方法、装置、设备及存储介质
CN114913588A (zh) 一种应用于复杂场景下的人脸图像修复及识别方法
CN105354228B (zh) 相似图搜索方法及装置
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN112419342A (zh) 图像处理方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination