CN108121951A - 特征点定位方法及装置 - Google Patents
特征点定位方法及装置 Download PDFInfo
- Publication number
- CN108121951A CN108121951A CN201711311746.4A CN201711311746A CN108121951A CN 108121951 A CN108121951 A CN 108121951A CN 201711311746 A CN201711311746 A CN 201711311746A CN 108121951 A CN108121951 A CN 108121951A
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- face location
- convolutional neural
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开是关于特征点定位方法及装置。该方法包括：根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；第一子网络至少包括卷积神经网络的第一特征提取层；根据第一特征图，确定人脸图像的人脸位置框；根据人脸位置框、第一特征图和第二子网络，确定人脸图像中的特征点及其位置；第二子网络层至少包括卷积神经网络的第二特征提取层和全连接层。该技术方案可以在得到人脸位置框图之后，根据人脸位置框图、第一特征图和第二子网络得到人脸图像中的特征点及位置，这样，卷积神经网络可以一次性解决人来检测和特征点检测的两个问题，实现了神经网络的多任务处理的可能，提高了卷积神经网络的使用效率。
Description
技术领域
本公开涉及深度学习，尤其涉及特征点定位方法及装置。
背景技术
最近几年深度学习在计算机视觉领域取得了巨大的成功，而在显著性检测这一计算机视觉的经典问题上直到2015年才有了完全使用深度学习的方法。通过深度学习的方法实现显著性检测的方式也有很多种，其结果相较于传统的方法更加准确，而目前显著性检测大多用于目标检测和人脸检测。
发明内容
本公开实施例提供特征点定位方法及装置。所述技术方案如下：
根据本公开实施例的第一方面，提供一种特征点定位方法，包括：
根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
根据所述第一特征图，确定所述人脸图像的人脸位置框；
根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
本公开的实施例提供的技术方案可以包括以下有益效果：可以在得到人脸位置框图之后，根据人脸位置框图、第一特征图和第二子网络得到人脸图像中的特征点及位置，这样，卷积神经网络可以一次性解决人来检测和特征点检测的两个问题，实现了神经网络的多任务处理的可能，提高了卷积神经网络的使用效率。
在一个实施例中，所述根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及位置包括：
根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
在一个实施例中，所述卷积神经网络还包括区域生成网络RPN层；所述根据所述第一特征图，确定所述人脸图像的人脸位置框包括：
在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
在一个实施例中，所述卷积神经网络还包括ROIpooling层，所述根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图包括：
将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
在一个实施例中，所述将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置包括：
在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
在一个实施例中，所述方法还包括：
利用训练样本进行预选训练，得到所述卷积神经网络。
在一个实施例中，所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述利用训练样本进行预选训练，得到所述卷积神经网络包括：
将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；
确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
根据本公开实施例的第二方面，提供一种特征点定位装置，包括：
提取模块，用于根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
第一确定模块，用于根据所述第一特征图，确定所述人脸图像的人脸位置框；
第二确定模块，用于根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
在一个实施例中，所述第二确定模块包括：
第一确定子模块，用于根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
第一输入子模块，用于将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
在一个实施例中，所述卷积神经网络还包括区域生成网络RPN层；所述第一确定模块包括：
第二确定子模块，用于在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
设置子模块，用于在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
在一个实施例中，所述卷积神经网络还包括ROIpooling层，所述提取模块包括：
映射子模块，用于将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
归一化子模块，用于在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
在一个实施例中，所述第一输入子模块用于：
在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
在一个实施例中，所述装置还包括：
训练模块，用于利用训练样本进行预选训练，得到所述卷积神经网络。
在一个实施例中，所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述训练模块包括：
第二输入子模块，用于将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
第三确定子模块，用于根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
第四确定子模块，用于根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
第五确定子模块，用于确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
改进子模块，用于根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
根据本公开实施例的第三方面，提供特征点定位装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
根据所述第一特征图，确定所述人脸图像的人脸位置框；
根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的特征点定位方法的流程图。
图2是根据一示例性实施例示出的特征点定位方法的流程图。
图3是根据一示例性实施例示出的特征点定位方法的流程图。
图4是根据一示例性实施例示出的特征点定位方法的流程图。
图5是根据一示例性实施例示出的特征点定位方法的流程图。
图6是根据一示例性实施例示出的卷积神经网络的示意图。
图7是根据一示例性实施例示出的特征点定位装置的框图。
图8是根据一示例性实施例示出的特征点定位装置的框图。
图9是根据一示例性实施例示出的特征点定位装置的框图。
图10是根据一示例性实施例示出的特征点定位装置的框图。
图11是根据一示例性实施例示出的特征点定位装置的框图。
图12是根据一示例性实施例示出的特征点定位装置的框图。
图13是根据一示例性实施例示出的特征点定位装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前人脸位置框和人脸上特征点检测需要通过两个不同的神经网络完成，人脸图像先输入用于目标检测的神经网络，得到人脸位置框，人脸图像和人脸位置框再输入用于特征定位的神经网络，得到人脸的特征点及位置。用户需要检测特征点时，必须先进行人脸位置检测，上述两种方法都需要计算得到人脸图像的特征图，这样，需要多浪费一次资源计算特征图，因此，降低了计算机使用效率。
图1是根据一示例性实施例示出的一种特征点定位方法的流程图，如图1所示，特征点定位方法用于特征点定位装置中，该装置应用于终端，该方法可以包括以下步骤101-103：
在步骤101中，根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图。
在步骤102中，根据第一特征图，确定人脸图像的人脸位置框。
本实施例中，人脸位置框的检测方法有很多种，例如通过目标检测中锚箱(anchorbox)来实现；通过adaboost人脸检测中的滑窗实现。
在步骤103中，根据人脸位置框、第一特征图和第二子网络，确定人脸图像中的特征点及其位置。
这里，第二子网络层至少包括卷积神经网络的第二特征提取层和全连接层。
在一个实施例中，如图2所示，图1中步骤103，即根据人脸位置框、第一特征图和第二子网络，确定人脸图像中的特征点及位置，可以包括：
在步骤1031中，根据第一特征图和人脸位置框，确定在人脸位置框内的第二特征图。
在步骤1032中，将第二特征图输入第二子网络，得到人脸图像中特征点及位置。
人脸图像通过五点来定位，即五官位置来点位，本实施例的特征点即五官的定位点。
在一个实施例中，如图3所示，卷积神经网络还包括区域生成网络(RegionProposal Network，RPN)层；图1中步骤102，即根据第一特征图，确定人脸图像的人脸位置框，可以包括：
在步骤1021中，在RPN层中，通过锚箱从第一特征图中确定至少一个位置范围框及位置范围框的置信度。
位置范围用于人脸图像中的人脸。锚箱也可以不在RPN层中。
在步骤1022中，在至少一个位置范围框中，将置信度高于预设值的位置范围框作为人脸位置框。
在一个实施例中，卷积神经网络还包括ROIpooling层，图2中的步骤1031，即根据第一特征图和人脸位置框，确定人脸位置内第二特征图，可以包括：
将第一特征图映射到人脸位置框中，得到人脸位置框内的第三特征图；在ROIpooling层中，将第三特征图归一化为预设行列的第二特征图。
这里，第一特征图包含了人脸图像的特征，第一特征图和人脸图像具有映射关系，人脸位置框的位置是在人脸图像上的人脸位置，因此，通过第一特征图，人脸位置框内的图像就可以映射到相应出相应的特征图，即第三特征图。
由于人脸位置框的尺寸不同，因此第三特征图包含的特征也不相同，因此，需要将所有的第三特征图归一化，使得所有的第二特征图所在的向量矩阵具有相同数量的行和列。
在一个实施例中，所述方法还包括：
接收一张显示人脸的显示图像。将显示图像的尺寸调整为卷积神经网络设定的预设尺寸，将调整后的显示图像作为人脸图像。
在一个实施例中，图1中的步骤1042，即将第二特征图输入第二子网络，得到人脸图像中特征点及位置，可以包括：
在第二特征提取层中，从第二特征图中提取特征更紧密的第四特征图；在全连接层中，根据第四特征图，从人脸图像中筛选出特征点及其位置。
第二特征提取层可以是一个卷积层。
在一个实施例中，如图4所示，方法还包括：
在步骤100中，利用训练样本进行预选训练，得到卷积神经网络。
在一个实施例中，如图5所示，训练样本包括一组训练图像、每张训练图像的人脸位置框及每张训练图像的特征点及其位置；对于一组训练图像中的第i张训练图像，i是正整数，步骤100，即利用训练样本进行预选训练，得到卷积神经网络，可以包括：
在步骤1001中，将第i张训练图像输入卷积神经网络，从第一子网络输出训练特征图。
在步骤1002中，根据训练特征图，确定第i张训练图像的第一训练结果。
在步骤1003中，根据第一训练结果、第一特征图和第二子网络，确定第i张训练图像的第二训练结果。
在步骤1004中，确定第一训练结果和第i张训练图像的人脸位置框的第一误差。
在步骤1005中，确定第i张训练图像的特征点及其位置和第二结果的第二误差。
在步骤1006中，根据第一误差和第二误差，改进卷积神经网络的参数。
本实施例中，初始的卷积神经网络的参数是随机的。
如图6所示的卷积神经网络，假设该卷积神经网络包括五层深度，第一层深度包括第一卷积层和第一池化层，第二层深度包括第二卷积层和第二池化层，第三层深度包括三层卷积层和第三层池化层，第四层深度包括ROIpooling层，第五层深度包括RPN层，第六层深度包括第四卷积层，第七层深度包括全连接层。第一特征提取子层可以包括前三层深度，第二特征提取子层可以包括第六层深度。本实施例中，第二子网络需要包括至少一层卷积层和全连接层。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图7是根据一示例性实施例示出的一种特征点定位装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示，该特征点定位装置包括：
提取模块201，用于根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
第一确定模块202，用于根据所述第一特征图，确定所述人脸图像的人脸位置框；
第二确定模块203，用于根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
在一个实施例中，如图8所示，所述第二确定模块203包括：
第一确定子模块2031，用于根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
第一输入子模块2032，用于将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
在一个实施例中，如图9所示，所述卷积神经网络还包括区域生成网络RPN层；所述第一确定模块202包括：
第二确定子模块2021，用于在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
设置子模块2022，用于在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
在一个实施例中，如图10所示，所述卷积神经网络还包括ROIpooling层，所述提取模块201包括：
映射子模块2011，用于将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
归一化子模块2012，用于在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
在一个实施例中，所述第一输入子模块2032用于：
在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
在一个实施例中，如图11所示，所述装置还包括：
训练模块204，用于利用训练样本进行预选训练，得到所述卷积神经网络。
在一个实施例中，如图12所示，所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述训练模块204包括：
第二输入子模块2041，用于将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
第三确定子模块2042，用于根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
第四确定子模块2043，用于根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
第五确定子模块2044，用于确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
改进子模块2045，用于根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
根据本公开实施例的第三方面，提供一种特征点定位装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
根据所述第一特征图，确定所述人脸图像的人脸位置框；
根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
上述处理器还可被配置为：
所述根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及位置包括：
根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
所述卷积神经网络还包括区域生成网络RPN层；所述根据所述第一特征图，确定所述人脸图像的人脸位置框包括：
在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
所述卷积神经网络还包括ROIpooling层，所述根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图包括：
将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
所述将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置包括：
在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
所述方法还包括：
利用训练样本进行预选训练，得到所述卷积神经网络。
所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述利用训练样本进行预选训练，得到所述卷积神经网络包括：
将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；
确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图13是根据一示例性实施例示出的一种用于特征点定位装置的框图。例如，装置1900可以被提供为一服务器。装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置1900的处理器执行时，使得装置1900能够执行上述特征点定位方法，所述方法包括：
根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
根据所述第一特征图，确定所述人脸图像的人脸位置框；
根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
所述根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及位置包括：
根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
所述卷积神经网络还包括区域生成网络RPN层；所述根据所述第一特征图，确定所述人脸图像的人脸位置框包括：
在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
所述卷积神经网络还包括ROIpooling层，所述根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图包括：
将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
所述将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置包括：
在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
所述方法还包括：
利用训练样本进行预选训练，得到所述卷积神经网络。
所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述利用训练样本进行预选训练，得到所述卷积神经网络包括：
将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；
确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (13)
1.一种特征点定位方法，其特征在于，包括：
根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
根据所述第一特征图，确定所述人脸图像的人脸位置框；
根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及位置包括：
根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络还包括区域生成网络RPN层；所述根据所述第一特征图，确定所述人脸图像的人脸位置框包括：
在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
4.根据权利要求3所述的方法，其特征在于，所述卷积神经网络还包括ROIpooling层，所述根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图包括：
将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
5.根据权利要求1所述的方法，其特征在于，所述将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置包括：
在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用训练样本进行预选训练，得到所述卷积神经网络。
7.根据权利要求6所述的方法，其特征在于，所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述利用训练样本进行预选训练，得到所述卷积神经网络包括：
将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；
确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
8.一种特征点定位装置，其特征在于，包括：
提取模块，用于根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
第一确定模块，用于根据所述第一特征图，确定所述人脸图像的人脸位置框；
第二确定模块，用于根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
9.根据权利要求8所述的装置，其特征在于，所述第二确定模块包括：
第一确定子模块，用于根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
第一输入子模块，用于将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
10.根据权利要求9所述的装置，其特征在于，所述卷积神经网络还包括区域生成网络RPN层；所述第一确定模块包括：
第二确定子模块，用于在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
设置子模块，用于在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
11.根据权利要求10所述的装置，其特征在于，所述卷积神经网络还包括ROIpooling层，所述提取模块包括：
映射子模块，用于将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
归一化子模块，用于在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
12.一种特征点定位装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
根据所述第一特征图，确定所述人脸图像的人脸位置框；
根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711311746.4A CN108121951A (zh) | 2017-12-11 | 2017-12-11 | 特征点定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711311746.4A CN108121951A (zh) | 2017-12-11 | 2017-12-11 | 特征点定位方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108121951A true CN108121951A (zh) | 2018-06-05 |
Family
ID=62229737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711311746.4A Pending CN108121951A (zh) | 2017-12-11 | 2017-12-11 | 特征点定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108121951A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858445A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN110210285A (zh) * | 2019-04-16 | 2019-09-06 | 浙江大华技术股份有限公司 | 人脸跟踪方法、人脸跟踪装置以及计算机存储介质 |
| CN110348358A (zh) * | 2019-07-03 | 2019-10-18 | 网易（杭州）网络有限公司 | 一种肤色检测系统、方法、介质和计算设备 |
| CN110765898A (zh) * | 2019-10-09 | 2020-02-07 | 东软睿驰汽车技术（沈阳）有限公司 | 一种图像中物体及其关键点的确定方法和装置 |
| CN112308105A (zh) * | 2019-08-02 | 2021-02-02 | 北京图森智途科技有限公司 | 目标检测方法、目标检测器及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845432A (zh) * | 2017-02-07 | 2017-06-13 | 深圳市深网视界科技有限公司 | 一种人脸与人体共同检测的方法和设备 |
| CN107220703A (zh) * | 2016-12-29 | 2017-09-29 | 恩泊泰（天津）科技有限公司 | 一种基于多尺度检测的深度神经网络 |
| CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
-
2017
- 2017-12-11 CN CN201711311746.4A patent/CN108121951A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220703A (zh) * | 2016-12-29 | 2017-09-29 | 恩泊泰（天津）科技有限公司 | 一种基于多尺度检测的深度神经网络 |
| CN106845432A (zh) * | 2017-02-07 | 2017-06-13 | 深圳市深网视界科技有限公司 | 一种人脸与人体共同检测的方法和设备 |
| CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHAOQING REN等: "《Object Detection Networks on Convolutional Feature Maps》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND INTELLIGENCE》 * |
| XIAORAN QIN等: "《A Faster R-CNN based Method for Comic Characters Face Detection》", 《2017 14TH IAPR INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858445A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN110210285A (zh) * | 2019-04-16 | 2019-09-06 | 浙江大华技术股份有限公司 | 人脸跟踪方法、人脸跟踪装置以及计算机存储介质 |
| CN110348358A (zh) * | 2019-07-03 | 2019-10-18 | 网易（杭州）网络有限公司 | 一种肤色检测系统、方法、介质和计算设备 |
| CN112308105A (zh) * | 2019-08-02 | 2021-02-02 | 北京图森智途科技有限公司 | 目标检测方法、目标检测器及相关设备 |
| CN112308105B (zh) * | 2019-08-02 | 2024-04-12 | 北京图森智途科技有限公司 | 目标检测方法、目标检测器及相关设备 |
| CN110765898A (zh) * | 2019-10-09 | 2020-02-07 | 东软睿驰汽车技术（沈阳）有限公司 | 一种图像中物体及其关键点的确定方法和装置 |
| CN110765898B (zh) * | 2019-10-09 | 2022-11-22 | 东软睿驰汽车技术（沈阳）有限公司 | 一种图像中物体及其关键点的确定方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108121951A (zh) | 特征点定位方法及装置 | |
| CN106469302B (zh) | 一种基于人工神经网络的人脸肤质检测方法 | |
| CN108205655A (zh) | 一种关键点预测方法、装置、电子设备及存储介质 | |
| CN107491771A (zh) | 人脸检测方法和装置 | |
| CN106778820A (zh) | 识别模型确定方法及装置 | |
| CN109657583A (zh) | 脸部关键点检测方法、装置、计算机设备和存储介质 | |
| CN108573243A (zh) | 一种基于深度卷积神经网络的低质量人脸的比对方法 | |
| CN108108676A (zh) | 人脸识别方法、卷积神经网络生成方法及装置 | |
| CN110781976B (zh) | 训练图像的扩充方法、训练方法及相关装置 | |
| CN110415184B (zh) | 一种基于正交元空间的多模态图像增强方法 | |
| CN110455306A (zh) | 一种基于深度学习的机器人场景识别与语义导航地图标注方法 | |
| CN109871845A (zh) | 证件图像提取方法及终端设备 | |
| CN110147833A (zh) | 人像处理方法、装置、系统和可读存储介质 | |
| CN109410211A (zh) | 一种图像中目标物体的分割方法及装置 | |
| US11468296B2 (en) | Relative position encoding based networks for action recognition | |
| CN110598715A (zh) | 图像识别方法、装置、计算机设备及可读存储介质 | |
| CN108121961A (zh) | 巡检行为识别方法、装置、计算机设备和存储介质 | |
| CN109657539B (zh) | 人脸颜值评价方法、装置、可读存储介质及电子设备 | |
| Panella et al. | A smartphone-based application using machine learning for gesture recognition: Using feature extraction and template matching via Hu image moments to recognize gestures | |
| CN108197669A (zh) | 卷积神经网络的特征训练方法及装置 | |
| CN112446322A (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| CN110348358A (zh) | 一种肤色检测系统、方法、介质和计算设备 | |
| CN111382655A (zh) | 一种举手行为识别方法及装置、电子设备 | |
| CN110415171B (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| CN107690656B (zh) | 检测光学模组的方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180605 |
|
| RJ01 | Rejection of invention patent application after publication |