CN110414463A - 一种基于人脸超分辨率的人脸检测模型 - Google Patents

Abstract

本发明涉及安全防范技术领域，且公开了一种基于人脸超分辨率的人脸检测模型，所述检测模型的检测方法包括以下步骤：S1：输入图像经过检测网络的提取特征并进行下采样，获取多个尺度的特征层；S2：检测网络分别在步骤S1生成的特征层内做检测，得到检测和分类结果并储存。该基于人脸超分辨率的人脸检测模型，通过人脸超分来提升人脸检测的性能，由于底层特征具有高分辨率，利于提取人脸框定位信息，尤其是小脸的定位，同时高层特征具有强语义信息，利于提取判别是否是人脸分类信息，通过超分来增强底层特征的分辨率，既增强了底层信息又利用了高层信息，提升了对小脸和模糊人脸的检测能力。

Description

一种基于人脸超分辨率的人脸检测模型

技术领域

本发明涉及安全防范技术领域，具体为一种基于人脸超分辨率的人脸检测模型。

背景技术

人脸检测属于计算机视觉领域的一个基本研究方向，人脸检测已经应用到我们日常生活中，目前主流的人脸检测方法大部分是基于深度学习，主要过程是针对输入图像，通过深度学习网络提取图像特征，根据特征来判断是否存在人脸和人脸位置，然而，受到人脸姿态的变化，场景光照，人脸尺度等不可控制因素的影响，图像内的人相特征不清晰，一般的人脸算法难以获取有价值的检测结果。

发明内容

针对上述背景技术的不足，本发明提供了一种基于人脸超分辨率的人脸检测模型，具备检测能力强的优点，解决了背景技术提出的问题。

本发明提供如下技术方案：一种基于人脸超分辨率的人脸检测模型，所述检测模型的检测方法包括以下步骤：

S1：输入图像经过检测网络的提取特征并进行下采样，获取多个尺度的特征层；

S2：检测网络分别在步骤S1生成的特征层内做检测，得到检测和分类结果并储存。

优选的，在所述步骤S2之前，利用超分网络在所述小尺度特征层加入超分结构分别得到小尺度特征层的大尺度超分特征层，融合所述大尺度超分特征层和对应尺度下的原特征层，获得多个尺度的新特征层。

优选的，所述超分网络包括有生成网络G和判别网络D，所述生成网络利用低分辨率图像不断生成与原图像特征接近的高分辨率图像，所述判别网络不断寻找新生成网络G生成的高分辨率图像与原图像的差异，当所述判断网络无法寻找到生成的高分辨率图像和原图的差异时的最终图像则为最终的超分图像。

优选的，所述超分网络的超分方法包括以下步骤：

S201：输入一个低分辨率图像LR和原高分辨率图像HR，利用公式1生成生成超分图像，公式1如下：

其中，D，G分别代表判别网络和生成网络，I^LR和I^HR分别代表低分辨率图像和高分辨率图像，θ_D和θ_G分别代表D，G网络参数；

S202：将超分图像1输入判别网络D，计算求出超分图像与原图像的内容损失和感知损失，其内容损失和感知损失的计算公式如下：

其中，WH代表特征层大小，φ代表对不同层提取的特征，l_content代表内容损失，l_perceptual代表感知损失；

S203：重复步骤S201和步骤S202直至l_content和l_perceptual的值均为零，获得最终的超分图像。

优选的，所述特征层的尺度为相邻小尺度特征层的尺度大小的两倍，所述超分网络的超分效果为2倍。

优选的，在所述步骤S1之前还包括初始化步骤，所述初始化步骤如下：

S101：输入训练图像单独训练一个初始的检测网络；

S102：利用初始的检测网络生成的特征层和训练图像单独训练一个初始的超分网络。

本发明具备以下有益效果：

该基于人脸超分辨率的人脸检测模型，通过人脸超分来提升人脸检测的性能，由于底层特征具有高分辨率，利于提取人脸框定位信息，尤其是小脸的定位，同时高层特征具有强语义信息，利于提取判别是否是人脸分类信息，通过超分来增强底层特征的分辨率，既增强了底层信息又利用了高层信息，提升了对小脸和模糊人脸的检测能力。

附图说明

图1为本发明实施方式的原理框图；

图2为本发明超分过程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，一种基于人脸超分辨率的人脸检测模型，检测模型的检测方法包括以下步骤：

S1：输入图像经过检测网络的提取特征并进行下采样，本实施例中以图像大小为640x640为例，得到80x80,40x40,20x20三个尺度的特征层；

S2：检测网络分别在步骤S1生成的特征层内做检测，得到检测和分类结果并储存，达到多尺度检测而且综合利用底层特征和高层特征的目的。

本实施例中，在步骤S2中，利用超分网络在小尺度特征层加入超分结构分别得到小尺度特征层的大尺度超分特征层，融合大尺度超分特征层和对应尺度下的原特征层，获得多个尺度的新特征层，本实施例中分别对20x20,40x40特征层加入2倍超分结构，分别得到40x40和80x80的超分特征，然后融合超分特征和原始特征，使特征既具有底层信息的同时增强了高层语义信息，而且超分的过程能达到去模糊的目的，增强对模糊人脸的检测能力。

本实施例中，超分网络包括有生成网络G和判别网络D，生成网络利用低分辨率图像不断生成与原图像特征接近的高分辨率图像，判别网络不断寻找新生成网络G生成的高分辨率图像与原图像的差异，当判断网络无法寻找到生成的高分辨率图像和原图的差异时的最终图像则为最终的超分图像。

本实施例中，超分网络的超分方法包括以下步骤：

S201：输入一个低分辨率图像LR和原高分辨率图像HR，利用公式1生成生成超分图像，公式1如下：

其中，D，G分别代表判别网络和生成网络，I^LR和I^HR分别代表低分辨率图像和高分辨率图像，θ_D和θ_G分别代表D，G网络参数；

S202：将超分图像1输入判别网络D，计算求出超分图像与原图像的内容损失和感知损失，其内容损失和感知损失的计算公式如下：

其中，WH代表特征层大小，φ代表对不同层提取的特征，l_content代表内容损失，l_perceptual代表感知损失；

S203：重复步骤S201和步骤S202直至l_content和l_perceptual的值均为零，获得最终的超分图像。

本实施例中，特征层的尺度为相邻小尺度特征层的尺度大小的两倍，超分网络的超分效果为2倍，实践证明2倍超分具有最佳的检测效果。

本实施例中，在步骤S1之前还包括初始化步骤，初始化步骤如下：

S101：输入训练图像单独训练一个初始的检测网络；

S102：利用初始的检测网络生成的特征层和训练图像单独训练一个初始的超分网络。

分步训练同时从易到难迭代训练确保初期训练网络和超分网络的形成。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于人脸超分辨率的人脸检测模型，其特征在于：所述检测模型的检测方法包括以下步骤：

S1：输入图像经过检测网络的提取特征并进行下采样，获取多个尺度的特征层；

S2：检测网络分别在步骤S1生成的特征层内做检测，得到检测和分类结果并储存。

2.根据权利要求1所述的一种基于人脸超分辨率的人脸检测模型，其特征在于：在所述步骤S2之前，利用超分网络在所述小尺度特征层加入超分结构分别得到小尺度特征层的大尺度超分特征层，融合所述大尺度超分特征层和对应尺度下的原特征层，获得多个尺度的新特征层。

3.根据权利要求2所述的一种基于人脸超分辨率的人脸检测模型，其特征在于：所述超分网络包括有生成网络G和判别网络D，所述生成网络利用低分辨率图像不断生成与原图像特征接近的高分辨率图像，所述判别网络不断寻找新生成网络G生成的高分辨率图像与原图像的差异，当所述判断网络无法寻找到生成的高分辨率图像和原图的差异时的最终图像则为最终的超分图像。

4.根据权利要求3所述的一种基于人脸超分辨率的人脸检测模型，其特征在于：所述超分网络的超分方法包括以下步骤：

S201：输入一个低分辨率图像LR和原高分辨率图像HR，利用公式1生成生成超分图像，公式1如下：

其中，D，G分别代表判别网络和生成网络，I^LR和I^HR分别代表低分辨率图像和高分辨率图像，θ_D和θ_G分别代表D，G网络参数；

S202：将超分图像1输入判别网络D，计算求出超分图像与原图像的内容损失和感知损失，其内容损失和感知损失的计算公式如下：

其中，WH代表特征层大小，φ代表对不同层提取的特征，l_content代表内容损失，l_perceptual代表感知损失；

S203：重复步骤S201和步骤S202直至l_content和l_perceptual的值均为零，获得最终的超分图像。

5.根据权利要求2所述的一种基于人脸超分辨率的人脸检测模型，其特征在于：所述特征层的尺度为相邻小尺度特征层的尺度大小的两倍，所述超分网络的超分效果为2倍。

6.根据权利要求2所述的一种基于人脸超分辨率的人脸检测模型，其特征在于：在所述步骤S1之前还包括初始化步骤，所述初始化步骤如下：

S101：输入训练图像单独训练一个初始的检测网络；

S102：利用初始的检测网络生成的特征层和训练图像单独训练一个初始的超分网络。