[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113221619B - 基于泊松重建的人脸图像去高光方法、系统及其存储介质 - Google Patents

基于泊松重建的人脸图像去高光方法、系统及其存储介质 Download PDF

Info

Publication number
CN113221619B
CN113221619B CN202110118782.9A CN202110118782A CN113221619B CN 113221619 B CN113221619 B CN 113221619B CN 202110118782 A CN202110118782 A CN 202110118782A CN 113221619 B CN113221619 B CN 113221619B
Authority
CN
China
Prior art keywords
image
face
highlight
boundary
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110118782.9A
Other languages
English (en)
Other versions
CN113221619A (zh
Inventor
张裕平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Emperor Technology Co Ltd
Original Assignee
Shenzhen Emperor Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Emperor Technology Co Ltd filed Critical Shenzhen Emperor Technology Co Ltd
Priority to CN202110118782.9A priority Critical patent/CN113221619B/zh
Publication of CN113221619A publication Critical patent/CN113221619A/zh
Application granted granted Critical
Publication of CN113221619B publication Critical patent/CN113221619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理领域，具体涉及一种基于泊松重建的人脸图像去高光方法、系统及其存储介质，其方法包括：获取人脸图像，对人脸图像进行定位检测得到人脸区域；从人脸区域中筛选出皮肤区域；获取皮肤区域中像素点的亮度值和饱和度值，根据其亮度值和饱和度值获取到高光点，并将所有高光点进行整合得到高光区域；获取高光区域图像边界上的像素点的亮度值，根据亮度值识别出正常边界点和异常边界点；获取所有正常边界点中的颜色参数均值；将异常边界点中的颜色参数值，替换为正常边界点中的颜色参数均值；对进行调整后的高光区域进行泊松重建求解，得到滤除高光后的图像；经本方法调整后的图像有效地解决了边界上色彩异常的问题。

Description

基于泊松重建的人脸图像去高光方法、系统及其存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于泊松重建的人脸图像去高光方法、一种基于泊松重建的人脸图像去高光系统以及一种存储有上述方法的可读存储介质。
背景技术
随着科技的发展，人们在社会生活中常常会利用到一些数码图像，例如：用于制作用户的证件照；而证件机关普遍对证件照的质量有较高的要求，比如其要求图像中不允许出现有高反光区域；但用户在采集的人脸图像时，往往会因为拍摄环境、人脸油脂分泌等因素的影响，使得在图像的人脸区域中出现局部高反光的现象。为了满足证件照对图像的要求，现今市面上在用户采集完人脸图像后，均需要对该人脸图像进行图像处理，以去除图像中的高光部分。
在现今市面上的技术中，出现了一些对人脸图像中的高光部分进行自动调整的方法；在该方法中，其先从人脸图像中筛选出相应的高光区域；并对该高光区域进行泊松重建求解，以滤除图像中的高光部分；但由于泊松重建方法需要有边界的约束，当遇到高光区域的边界是有色的眼镜框时，其容易使眼镜框的颜色扩散至高光区域的内部，导致图像中出现色彩异常的现象，使其图像无法满足证件照的要求。
发明内容
为克服上述缺陷，本发明的目的即在于提供一种能对滤除高光后的图像边缘区域进行调整的基于泊松重建的人脸图像去高光方法、系统以及存储有其方法的可读存储介质；其在有效去除皮肤高光的同时，使得滤除高光后的图像边缘与周边像素的颜色衔接平滑、自然。
本发明的目的是通过以下技术方案来实现的：
本发明是一种基于泊松重建的人脸图像去高光方法，其包括：
获取人脸图像，并对所述人脸图像进行定位检测，得到人脸区域；
从所述人脸区域中检测出预定的特征点；
根据所述特征点的位置在所述人脸区域中筛选出皮肤区域；
根据所述皮肤区域中每个像素点的亮度值和饱和度值，在所述皮肤区域中定义出高光区域；
获取所述高光区域的图像边界以及其图像边界上的像素点的亮度值，根据该亮度值识别出正常边界点和异常边界点；
获取所有正常边界点中的颜色参数值，并求得其对应正常边界点中的颜色参数均值；再将所有异常边界点中的颜色参数值，对应替换为正常边界点中的颜色参数均值，以对所述高光区域进行调整；
对进行调整后的所述高光区域进行泊松重建求解，得到滤除高光后的图像。
在本发明中，所述得到滤除高光后的图像之后包括：
对所述人脸图像进行模糊处理，获得模糊图像；然后用所述人脸图像减去模糊图像，获得纹理图像；再将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像。
在本发明中，所述根据该亮度值识别出正常边界点和异常边界点包括：
判断所述图像边界上的像素点的亮度值是否小于第二亮度阈值，若不小于第二亮度阈值，则将该像素点定义为正常边界点；若小于第二亮度阈值，则将该像素点定义为异常边界点。
在本发明中，所述颜色参数值为：R、G、B通道的值。
在本发明中，所述根据所述皮肤区域中每个像素点的亮度值和饱和度值，在所述皮肤区域中定义出高光区域包括：
获取所述皮肤区域中每个像素点的亮度值和饱和度值，将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较，若所述像素点的亮度值不小于所述第一亮度阈值，且所述像素点的饱和度值不大于所述饱和度阈值，则将该像素点定义为高光点，所有高光点的集合即为所述高光区域。
在本发明中，所述根据所述特征点的位置在所述人脸区域中筛选出皮肤区域包括：
从所述人脸图像的alpha通道中获取人像轮廓，并在所述人像轮廓的预定位置上的特征点进行选定作为轮廓点；
根据所述轮廓点的位置使用线性差值的方式在所述人像轮廓中拟合出一条连续的脸部轮廓线，并根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图；
在所述脸部轮廓图中根据其余特征点的位置，使用线性插值的方式拟合出预定数量的封闭的轮廓区域，并将所述轮廓区域从所述脸部轮廓图中分离出来，得到皮肤区域。
在本发明中，所述根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图之后包括：
获取所述脸部轮廓图中的每个像素点的亮度值，若该亮度值小于第三亮度阈值，则在所述脸部轮廓图中将对应的像素点进行去除。
基于同样的构思，本发明还提供一种基于泊松重建的人脸图像去高光系统，其包括：
人脸区域定位模块，所述人脸区域定位模块用于获取人脸图像，并对所述人脸图像进行定位检测，得到人脸区域；
特征点确定模块，所述特征点确定模块与所述人脸区域定位模块相连接，用于从所述人脸区域中检测出预定的特征点；
皮肤区域定位模块，所述皮肤区域定位模块与所述特征点确定模块相连接，用于根据所述特征点的位置在所述人脸区域中筛选出皮肤区域；
高光区域定位模块，所述高光区域定位模块与所述皮肤区域定位模块相连接，用于根据所述皮肤区域中每个像素点的亮度值和饱和度值，在所述皮肤区域中定义出高光区域；
边界点调整模块，所述边界点调整模块与所述高光区域定位模块相连接，用于获取所述高光区域的图像边界以及其图像边界上的像素点的亮度值，根据该亮度值识别出正常边界点和异常边界点；获取所有正常边界点中的颜色参数值，并求得其对应正常边界点中的颜色参数均值；再将所有异常边界点中的颜色参数值，对应替换为正常边界点中的颜色参数均值，以对所述高光区域进行调整；
图像重建模块，所述图像重建模块与所述边界点调整模块相连接，用于对进行调整后的所述高光区域进行泊松重建求解，得到滤除高光后的图像。
在本发明中，所述的基于泊松重建的人脸图像去高光系统还包括：
纹理修复模块，所述纹理修复模块分别与所述人脸区域定位模块和所述图像重建模块相连接，用于对所述人脸图像进行模糊处理，获得模糊图像；然后用所述人脸图像减去模糊图像，获得纹理图像；将所述纹理图像与所述重建后图像进行叠加得到纹理修复图像。
基于同样的构思，本发明还提供一种计算机可读程序存储介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行如上所述的方法。
本发明通过对人脸图像中的皮肤区域进行亮度和饱和度分析得到高光区域，并对该高光区域的异常边界像素进行调整以作为泊松重建的边界条件，通过泊松重建求解得到滤除高光后的图像，由于在本发明中结合高光区域的图像边界的亮度值识别出异常边界点，并对该异常边界点的颜色参数进行调整，有效地解决了边界点上色彩异常的问题，进而使得滤除高光后的图像能很好地满足证件照的要求。
附图说明
为了易于说明，本发明由下述的较佳实施例及附图作详细描述。
图1为本发明基于泊松重建的人脸图像去高光方法一个实施例的工作流程示意图；
图2为本发明基于泊松重建的人脸图像去高光方法另一个实施例的工作流程示意图；
图3为本发明基于泊松重建的人脸图像去高光系统一个实施例的逻辑结构示意图；
图4为本发明基于泊松重建的人脸图像去高光系统另一个实施例的逻辑结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面以一个实施例对本发明的一种基于泊松重建的人脸图像去高光方法进行具体描述，请参阅图1，其包括：
S101.人脸检测
获取人脸图像，并对所述人脸图像进行定位检测，得到人脸区域；其具体为：通过在数据库中获取或直接导入人脸图像；其中，该人脸图像优选为需要进行去高光处理的证件照；其可使用人脸检测器对证件照进行人脸检测，定位出人脸区域，进而得到人脸区域。
S102.人脸特征点定位
从所述人脸区域中检测出预定的特征点；其具体为：在该人脸区域中对预定的68个人脸特征点进行定位，以在人脸区域图像中定位出人脸轮廓、眉毛、眼睛、鼻子、嘴巴的坐标。
S103.皮肤区域检测
根据所述特征点的位置在所述人脸区域中筛选出皮肤区域；其具体为：在人脸轮廓的基础上，去除眼睛、嘴巴、眼镜等非高光区域，最后得到皮肤区域。
S104.高光定位
获取所述皮肤区域中每个像素点的亮度值和饱和度值，将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较，若所述像素点的亮度值和饱和度值同时满足比较条件，则将该像素点定义为高光点，并将所有高光点进行整合得到高光区域；其中，该第一亮度阈值和饱和度阈值可以为预设的经验值，也可以根据每个像素点的亮度值和饱和度值计算出。在实际应用中，有一些图片的高光区域即使亮度值不是很高，但仍然十分刺眼，原因是这些区域的饱和度较低，色彩上显得突兀。所以在本实施例中结合高光区域在亮度值和饱和度值上的特征对高光区域进行定位，以获取到一个更为合理的高光区域。
S105.异常边界调整
获取所述高光区域的图像边界以及其图像边界上的像素点的亮度值，根据该亮度值识别出正常边界点和异常边界点；
获取所有正常边界点中的颜色参数值，并求得其对应正常边界点中的颜色参数均值；再将所有异常边界点中的颜色参数值，对应替换为正常边界点中的颜色参数均值，以对所述高光区域进行调整；其中，该所述颜色参数值为：R、G、B通道的值。
在本实施例中，其具体为：将边界像素的亮度值偏离高光检测v亮度阈值的情况，进行分类。如果边界像素的亮度值pv大于等于第二亮度阈值，其中，第一亮度阈值大于所述第二亮度阈值，该第二亮度阈值为v_th-0.15，则归为正常边界像素类pc0，pv小于v_th-0.15，归为异常边界像素类pc1
然后修改异常边界像素，使得满足边界要求：将异常边界像素的R、G、B通道的值替换成正常边界像素R、G、B的均值
pbgr＝meanbgr,p∈pc1
本步骤有效抑制的黑色眼镜框像素向内扩散的现象。
S106.高光滤除
对进行调整后的所述高光区域进行泊松重建求解，得到滤除高光后的图像，以滤除图像中的高光；在本实施例中，采用泊松重建方法充分考虑了高光区域周围的正常肤色和高光区域的梯度场，将二者作为重建方程的约束条件并求解，处理结果和正常肤色区域衔接正常，使得重建后图像不会出现色彩异常的现象。
其具体可以为，以g表示原图像中高光区域，V是g的梯度场，S是重建后的图像，Ω是重建后目标图像中被覆盖的区域，是其边界，设重建后图像在Ω内的像素值由f表示，在外的像素值由f*表示。泊松重建要求插入后的图像标尺插入图像本身的纹理信息，而且在边界上看不到明显的处理痕迹，此种约束下的优化问题可以表示为：
由于拉普拉斯算子定义为梯度的散度，即：
根据优化方程得：
原填充图的拉普拉斯处理的离散化结果为：
原泊松方程可以变为如下形式：
fi+1,j+fi,j+1+fi-1,j+fi,j-1-4fi,j＝gi,j
所以该优化问题的离散解为：
在本步骤中通过泊松重建方法滤除高光之后，其图像中高光部分消失了，而且处理后的区域与正常肤色衔接自然，无异常色彩。
下面以另一个实施例对本发明的一种基于泊松重建的人脸图像去高光方法进行具体描述，请参阅图2，其包括：
S201.人脸检测
获取人脸图像，并对所述人脸图像进行定位检测，得到人脸区域；其中，该人脸图像通过在数据库中获取或直接导入人脸图像；且该人脸图像优选为需要进行去高光处理的证件照；其可使用人脸检测器对证件照进行人脸检测，定位出人脸区域，进而得到人脸区域。
S202.人脸特征点定位
从所述人脸区域中检测出预定的特征点；其具体为：在该人脸区域中对预定的68个人脸特征点进行定位，以在人脸区域图像中定位出人脸轮廓、眉毛、眼睛、鼻子、嘴巴的坐标。
S203.皮肤区域检测
从所述人脸图像的alpha通道中获取人像轮廓，并在该人像轮廓中对预定位置上的特征点进行选定作为轮廓点；根据所述轮廓点的位置使用线性差值的方式在所述人像轮廓中拟合出一条连续的脸部轮廓线，并根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图。
获取该脸部轮廓图中的每个像素点的亮度值，若该亮度值小于第三亮度阈值，则在所述脸部轮廓图中将对应的像素点进行去除；
然后在所述脸部轮廓图中根据其余特征点的位置，使用线性插值的方式拟合出预定数量的封闭的轮廓区域，并将所述轮廓区域从所脸部轮廓图中分离出来，得到皮肤区域。
其中，该alpha通道是指一张图片的透明和半透明度；在本实施例中该步骤具体为：从68个人脸特征点中选取17个预定位置上的轮廓点，使用线性差值的方式拟合出一条连续的轮廓线，从而将脸部轮廓图从人像轮廓中分割出来；并且由于在人脸图像中头发的亮度值比肤色的亮度值低很多，一般低于0.2，故使用第三亮度阈值去除头发区域，该第三亮度阈值具体为0.2，如果有滤除不净的头发残渣，使用形态学滤波的开运算断开残渣与保留区域的连接，并且统计连通区域面积，根据皮肤连通区域面积较大先验，去除余留残渣区域；上述去除非皮肤区域的方法适用于人像佩带黑色镜框眼镜的情况，该方法能够有效去除镜片区域，避免将镜片的高光误判为皮肤高光，再根据眉毛、眼睛和嘴巴的特征点，使用线性插值的方式拟合出封闭的区域其相应的对应着眉毛、眼睛和嘴巴的轮廓区域，并将眉毛、眼睛和嘴巴分割出来，只剩下皮肤区域。
S204.高光定位
获取所述皮肤区域中每个像素点的亮度值和饱和度值，根据每个像素点的亮度值和饱和度值计算出第一亮度阈值v_th和饱和度阈值s_th，再将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较，若所述像素点的亮度值不小于所述第一亮度阈值，且所述像素点的饱和度值不大于所述饱和度阈值，则将该像素点定义为高光点，所有高光点的集合即为所述高光区域；
由于高光区域在HSV色彩空间表现为亮度值较大，饱和度值较小，所以首先将RGB彩色图片转为HSV空间，使用Opencv中的Threshold函数分别计算出亮度值V和饱和度值S通道图片的第一亮度阈值v_th和饱和度阈值s_th，得到这两个阈值之后，在肤色区域遍历，若某像素点的v>＝v_th而且s<＝s_th，则认为是高光点。在本实施例中结合高光区域在亮度值和饱和度值上的特征对高光区域进行定位，以获取到一个更为合理的高光区域。其中，该OpenCV是一个开源的跨平台计算机视觉和机器学习软件库。
S205.异常边界调整
由于泊松重建方法存在一定的缺陷，该方法需要有边界的约束，有的时候高光区域的边界是黑色眼镜框，则黑色像素通过梯度传播到高光区域内部会出现发黑的现象，这导致图像无法满足证件照的要求。为此，在本实施例中，其通过改进了泊松重建算法，修改不符合皮肤条件的边界，避免异常像素向内部扩散，具体方法如下：
获取所述高光区域的图像边界；并获取所述图像边界上的像素点的亮度值，并判断所述图像边界上的像素点的亮度值是否小于第二亮度阈值，若不小于第二亮度阈值，则将该像素点定义为正常边界点；若小于第二亮度阈值，则将该像素点定义为异常边界点；
获取所有正常边界点中的R、G、B通道的值，并求得其对应正常边界点中的的R、G、B通道均值；将所有异常边界点中的R、G、B通道的值，对应替换为正常边界点中的的R、G、B通道均值，以对所述高光区域进行调整。
在本实施例中，其具体为：将边界像素的亮度值偏离高光检测v亮度阈值的情况，进行分类。如果边界像素的亮度值pv大于等于第二亮度阈值，其中，第一亮度阈值大于所述第二亮度阈值，该第二亮度阈值为v_th-0.15，则归为正常边界像素类pc0，pv小于v_th-0.15，归为异常边界像素类pc1
然后修改异常边界像素，使得满足边界要求：将异常边界像素的R、G、B通道的值替换成正常边界像素R、G、B的均值
pbgr＝meanbgr,p∈pc1
本步骤有效抑制的黑色眼镜框像素向内扩散的现象。
S206.高光滤除
将所述高光区域进行泊松重建求解，得到滤除高光后的图像；在本实施例中，采用泊松重建方法充分考虑了高光区域周围的正常肤色和高光区域的梯度场，将二者作为重建方程的约束条件并求解，处理结果和正常肤色区域衔接正常，使得滤除高光后的图像不会出现色彩异常的现象。
其具体可以为，以g表示原图像中高光区域，V是g的梯度场，S是重建后的图像，Ω是重建后目标图像中被覆盖的区域，是其边界，设重建后图像在Ω内的像素值由f表示，在外的像素值由f*表示。在本实施例中，此种约束下的优化问题可以表示为：
由于拉普拉斯算子定义为梯度的散度，即：
根据优化方程得：
原填充图的拉普拉斯处理的离散化结果为：
原泊松方程可以变为如下形式：
fi+1,j+fi,j+1+fi-1,j+fi,j-1-4fi,j＝gi,j
所以该优化问题的离散解为：
在本步骤中通过泊松重建方法滤除高光之后，其图像中高光部分消失了，而且处理后的区域与正常肤色衔接自然，无异常色彩。
S207.纹理修复
证件照人脸高光去除算法除了保证高光有效滤除、衔接自然和色彩正确之外，还要考虑纹理保留程度和亮度层次问题。虽然泊松重建方程以最小化原图和融合后的梯度场为优化目标，但在压缩了局部图像亮度的同时也压缩了梯度信息，所以图像的纹理信息存在一定的损失，处理后的皮肤趋于平滑；为了进一步增强图片的真实感，在泊松重建的基础上，进行纹理的增强；故在本步骤中，通过滤波算法对所述人脸图像进行模糊处理，获得模糊图像；然后用所述人脸图像减去模糊图像，获得纹理图像；再将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像；其中，所述滤波算法包括：高斯滤波、中值滤波、均值滤波。
在本实施例中，其采用USM锐化方法进行纹理的学习，其中，这种锐化的方法就是对人脸图像先进行模糊处理，模糊方法可以根据自己的需要进行调整，如高斯滤波、中值滤波、均值滤波等，然后用原来的图像减去一个系数乘以模糊之后的图像，从而获得图像细节。设人脸区域为src，采用窗口为5的高斯滤波算子进行滤波得到滤波后图像blurImg，利用src与blurImg之间的差值来获得纹理图像usmImg：
usmImgbgr,i＝srcImgbgr,i-blurImgbgr,i,i∈Ωhighlight
在高光区域将纹理图像usmImg和重建后图像poissonImg进行叠加：
dstImgbgr,i＝usmImgbgr,i+poissonImgbgr,i,i∈Ωhighlight
该算法通过纹理值驱动像素梯度动态变化，以获得真实自然的纹理和有层次感的亮度。
在本实施例中通过纹理图像与经泊松重建后图像进行叠加得到纹理修复图像，以恢复高光滤除区域亮度值的层次感和皮肤纹理，使得经处理后的图像有较好的真实感，不会出现失真的现象。
本发明包括一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
以上可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
下面以一个实施例对本发明的一种基于泊松重建的人脸图像去高光系统进行具体描述，请参阅图3，其包括：
人脸区域定位模块301，所述人脸区域定位模块301用于获取人脸图像，并对所述人脸图像进行定位检测，得到人脸区域；所述人脸区域定位模块301通过人脸检测器对人脸图像进行人脸检测，定位出人脸区域，进而得到人脸区域。
特征点确定模块302，所述特征点确定模块302与所述人脸区域定位模块301相连接，用于从所述人脸区域中检测出预定的特征点；该特征点确定模块302在该人脸区域中对预定的68个人脸特征点进行定位，以在人脸区域图像中定位出人脸轮廓、眉毛、眼睛、鼻子、嘴巴的坐标。
皮肤区域定位模块303，所述皮肤区域定位模块303与所述特征点确定模块302相连接，用于根据所述特征点的位置在所述人脸区域中筛选出皮肤区域；其具体为：在人脸轮廓的基础上，去除眼睛、嘴巴、眼镜等非高光区域，最后定位出皮肤区域，进而得到皮肤区域。
高光区域定位模块304，所述高光区域定位模块304与所述皮肤区域定位模块303相连接，用于获取所述皮肤区域中每个像素点的亮度值和饱和度值，将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较，若所述像素点的亮度值和饱和度值同时满足比较条件，则将该像素点定义为高光点，并将所有高光点进行整合得到高光区域；其具体为：若所述像素点的亮度值不小于所述第一亮度阈值，且所述像素点的饱和度值不大于所述饱和度阈值，则将该像素点定义为高光点。
边界点调整模块305，所述边界点调整模块305与所述高光区域定位模块304相连接，用于获取所述高光区域的图像边界以及其图像边界上的像素点的亮度值，根据该亮度值识别出正常边界点和异常边界点；获取所有正常边界点中的颜色参数值，并求得其对应正常边界点中的颜色参数均值；再将所有异常边界点中的颜色参数值，对应替换为正常边界点中的颜色参数均值，以对所述高光区域进行调整；其中，该所述颜色参数值为：R、G、B通道的值。具体地，根据该亮度值识别出正常边界点和异常边界点可以为：获取所述图像边界上的像素点的亮度值，并判断所述图像边界上的像素点的亮度值是否小于第二亮度阈值，若不小于第二亮度阈值，则将该像素点定义为正常边界点；若小于第二亮度阈值，则将该像素点定义为异常边界点。
图像重建模块306，所述图像重建模块306与所述边界点调整模块305相连接，用于对进行调整后的所述高光区域进行泊松重建求解，得到滤除高光后的图像。
请参看图4，在本实施例中的泊松重建的人脸图像去高光系统中还包括：
纹理修复模块307，所述纹理修复模块307分别与所述人脸区域定位模块301和所述图像重建模块306相连接，用于于对所述人脸图像进行模糊处理，获得模糊图像；然后用所述人脸图像减去模糊图像，获得纹理图像；将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于泊松重建的人脸图像去高光方法，其特征在于，包括：
获取人脸图像，并对所述人脸图像进行定位检测，得到人脸区域；
从所述人脸区域中检测出预定的特征点；
根据所述特征点的位置在所述人脸区域中筛选出皮肤区域；
根据所述皮肤区域中每个像素点的亮度值和饱和度值，在所述皮肤区域中定义出高光区域；
获取所述高光区域的图像边界以及其图像边界上的像素点的亮度值，根据该亮度值识别出正常边界点和异常边界点；
获取所有正常边界点中的颜色参数值，并求得其对应正常边界点中的颜色参数均值；再将所有异常边界点中的颜色参数值，对应替换为正常边界点中的颜色参数均值，以对所述高光区域进行调整；
对进行调整后的所述高光区域进行泊松重建求解，得到滤除高光后的图像；
对所述人脸图像进行模糊处理，获得模糊图像；然后用所述人脸图像减去模糊图像，获得纹理图像；再将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像。
2.根据权利要求1所述的基于泊松重建的人脸图像去高光方法，其特征在于，所述根据该亮度值识别出正常边界点和异常边界点包括：
判断所述图像边界上的像素点的亮度值是否小于第二亮度阈值，若不小于第二亮度阈值，则将该像素点定义为正常边界点；若小于第二亮度阈值，则将该像素点定义为异常边界点。
3.根据权利要求2所述的基于泊松重建的人脸图像去高光方法，其特征在于，所述颜色参数值为：R、G、B通道的值。
4.根据权利要求3所述的基于泊松重建的人脸图像去高光方法，其特征在于，所述根据所述皮肤区域中每个像素点的亮度值和饱和度值，在所述皮肤区域中定义出高光区域包括：
获取所述皮肤区域中每个像素点的亮度值和饱和度值，将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较，若所述像素点的亮度值不小于所述第一亮度阈值，且所述像素点的饱和度值不大于所述饱和度阈值，则将该像素点定义为高光点，所有高光点的集合即为所述高光区域。
5.根据权利要求4所述的基于泊松重建的人脸图像去高光方法，其特征在于，所述根据所述特征点的位置在所述人脸区域中筛选出皮肤区域包括：
从所述人脸图像的alpha通道中获取人像轮廓，并在所述人像轮廓的预定位置上的特征点进行选定作为轮廓点；
根据所述轮廓点的位置使用线性差值的方式在所述人像轮廓中拟合出一条连续的脸部轮廓线，并根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图；
在所述脸部轮廓图中根据其余特征点的位置，使用线性插值的方式拟合出预定数量的封闭的轮廓区域，并将所述轮廓区域从所述脸部轮廓图中分离出来，得到皮肤区域。
6.根据权利要求5所述的基于泊松重建的人脸图像去高光方法，其特征在于，所述根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图之后包括：
获取所述脸部轮廓图中的每个像素点的亮度值，若该亮度值小于第三亮度阈值，则在所述脸部轮廓图中将对应的像素点进行去除。
7.一种基于泊松重建的人脸图像去高光系统，其特征在于，包括：
人脸区域定位模块，所述人脸区域定位模块用于获取人脸图像，并对所述人脸图像进行定位检测，得到人脸区域；
特征点确定模块，所述特征点确定模块与所述人脸区域定位模块相连接，用于从所述人脸区域中检测出预定的特征点；
皮肤区域定位模块，所述皮肤区域定位模块与所述特征点确定模块相连接，用于根据所述特征点的位置在所述人脸区域中筛选出皮肤区域；
高光区域定位模块，所述高光区域定位模块与所述皮肤区域定位模块相连接，用于根据所述皮肤区域中每个像素点的亮度值和饱和度值，在所述皮肤区域中定义出高光区域；
边界点调整模块，所述边界点调整模块与所述高光区域定位模块相连接，用于获取所述高光区域的图像边界以及其图像边界上的像素点的亮度值，根据该亮度值识别出正常边界点和异常边界点；获取所有正常边界点中的颜色参数值，并求得其对应正常边界点中的颜色参数均值；再将所有异常边界点中的颜色参数值，对应替换为正常边界点中的颜色参数均值，以对所述高光区域进行调整；
图像重建模块，所述图像重建模块与所述边界点调整模块相连接，用于对进行调整后的所述高光区域进行泊松重建求解，得到滤除高光后的图像；
纹理修复模块，所述纹理修复模块分别与所述人脸区域定位模块和所述图像重建模块相连接，用于对所述人脸图像进行模糊处理，获得模糊图像；然后用所述人脸图像减去模糊图像，获得纹理图像；将所述纹理图像与所述重建后图像进行叠加得到纹理修复图像。
8.一种计算机可读程序存储介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至6中任一项所述的方法。
CN202110118782.9A 2021-01-28 2021-01-28 基于泊松重建的人脸图像去高光方法、系统及其存储介质 Active CN113221619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118782.9A CN113221619B (zh) 2021-01-28 2021-01-28 基于泊松重建的人脸图像去高光方法、系统及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118782.9A CN113221619B (zh) 2021-01-28 2021-01-28 基于泊松重建的人脸图像去高光方法、系统及其存储介质

Publications (2)

Publication Number Publication Date
CN113221619A CN113221619A (zh) 2021-08-06
CN113221619B true CN113221619B (zh) 2024-02-20

Family

ID=77084513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118782.9A Active CN113221619B (zh) 2021-01-28 2021-01-28 基于泊松重建的人脸图像去高光方法、系统及其存储介质

Country Status (1)

Country Link
CN (1) CN113221619B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757861A (zh) * 2022-04-06 2022-07-15 佛山虎牙虎信科技有限公司 纹理图像融合方法、装置、计算机设备以及可读介质
CN116363232B (zh) * 2022-07-14 2024-02-09 上海玄戒技术有限公司 色域压缩方法、装置、电子设备、芯片及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341569A (ja) * 2004-05-17 2005-12-08 Mitsubishi Electric Research Laboratories Inc 物体を含むシーンの様式化された画像を生成する方法
WO2015127394A1 (en) * 2014-02-23 2015-08-27 Northeastern University System for beauty, cosmetic, and fashion analysis
CN105719234A (zh) * 2016-01-26 2016-06-29 厦门美图之家科技有限公司 用于人脸区域的自动去油光方法、系统及拍摄终端
CN111553284A (zh) * 2020-04-29 2020-08-18 武汉大学 人脸图像处理方法、装置、计算机设备和存储介质
CN111738914A (zh) * 2020-07-29 2020-10-02 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861851B2 (en) * 2011-05-13 2014-10-14 Dolby Laboratories Licensing Corporation Color highlight reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341569A (ja) * 2004-05-17 2005-12-08 Mitsubishi Electric Research Laboratories Inc 物体を含むシーンの様式化された画像を生成する方法
WO2015127394A1 (en) * 2014-02-23 2015-08-27 Northeastern University System for beauty, cosmetic, and fashion analysis
CN105719234A (zh) * 2016-01-26 2016-06-29 厦门美图之家科技有限公司 用于人脸区域的自动去油光方法、系统及拍摄终端
CN111553284A (zh) * 2020-04-29 2020-08-18 武汉大学 人脸图像处理方法、装置、计算机设备和存储介质
CN111738914A (zh) * 2020-07-29 2020-10-02 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Detecting specular highlights in dermatological images;Ali Madooei et.al;《2015 IEEE International Conference on Image Processing (ICIP)》;第4357-4360页 *
证件照人脸自动偏色校正和高光去除;钟超军;《CNKI优秀硕士学位论文.信息科技》(第12期);第10-13页 *

Also Published As

Publication number Publication date
CN113221619A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US10783617B2 (en) Device for and method of enhancing quality of an image
JP4856086B2 (ja) 取得したデジタル画像での赤目検出方法及び装置
US8488896B2 (en) Image processing apparatus and image processing method
US7627146B2 (en) Method and apparatus for effecting automatic red eye reduction
US6707940B1 (en) Method and apparatus for image segmentation
CN107172354B (zh) 视频处理方法、装置、电子设备及存储介质
CN113221619B (zh) 基于泊松重建的人脸图像去高光方法、系统及其存储介质
JP2007507932A (ja) 補正方法
CN115908415B (zh) 基于边缘的缺陷检测方法、装置、设备及存储介质
EP2034436A1 (en) Method for non-photorealistic rendering
WO2019015477A1 (zh) 图像矫正方法、计算机可读存储介质和计算机设备
CN107358593A (zh) 成像方法和装置
CN113034354A (zh) 一种图像处理方法、装置、电子设备和刻度存储介质
CN111192241B (zh) 一种人脸图像的质量评估方法、装置及计算机存储介质
CN112785572B (zh) 图像质量评估方法、装置以及计算机可读存储介质
Yoo et al. Red-eye detection and correction using inpainting in digital photographs
CN113221618B (zh) 人脸图像去高光的方法、系统及其存储介质
CN111031241B (zh) 图像处理方法及其装置、终端和计算机可读存储介质
CN111105368B (zh) 图像处理方法及其装置、电子设备和计算机可读存储介质
Arsic et al. Improved lip detection algorithm based on region segmentation and edge detection
CN111105369B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN108810407B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
KR101315464B1 (ko) 이미지 처리방법
CN107770446B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN115841450A (zh) 表面缺陷检测方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant