[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111783748B - 人脸识别方法、装置、电子设备及存储介质 - Google Patents

人脸识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111783748B
CN111783748B CN202010808939.6A CN202010808939A CN111783748B CN 111783748 B CN111783748 B CN 111783748B CN 202010808939 A CN202010808939 A CN 202010808939A CN 111783748 B CN111783748 B CN 111783748B
Authority
CN
China
Prior art keywords
face
preset
matrix
graph
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010808939.6A
Other languages
English (en)
Other versions
CN111783748A (zh
Inventor
王朋远
彭菲
黄磊
张建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN202010808939.6A priority Critical patent/CN111783748B/zh
Publication of CN111783748A publication Critical patent/CN111783748A/zh
Application granted granted Critical
Publication of CN111783748B publication Critical patent/CN111783748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸识别方法，属于人脸识别技术领域，有助于提升人脸识别的准确率和可靠性。所述方法包括：获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；根据各预设人脸关键点构建相应节点，通过无向边表示预设人脸关键点中相邻预设人脸关键点对应的所述节点的邻接关系，构建无向图；通过预先训练的图卷积神经网络，基于无向图的节点特征矩阵、预设邻接矩阵，以及预设邻接矩阵的单位矩阵，进行图特征提取得到的人脸特征，根据提取的人脸特征对目标人脸进行人脸识别。

Description

人脸识别方法、装置、电子设备及存储介质
技术领域
本申请涉及人脸识别技术领域，特别是涉及一种人脸识别方法、装置、电子设备及计算机可读存储介质。
背景技术
人脸识别广泛应用于考勤、门禁、安防等领域。为了提升人脸识别对活体人脸的辨识度，以提升人脸识别的可靠性，现有技术中，常使用深度图像采集设备采集的人脸深度图像结合可见光图像采集设备采集的人脸平面图像综合进行人脸识别。例如，结合人脸平面图像中的人脸关键点信息，确定人脸深度图像中的人脸关键点，之后，根据人脸深度图像中的人脸关键点的深度信息进行人脸活体检测，在确认采集的人脸平面图像为活体人脸图像时，再进一步根据人脸平面图像中提取的人脸特征进行人脸比对识别。由于人脸深度图像中的三维人脸特征难于提取，现有技术中极少使用三维人脸特征进行人脸识别的方案。
发明内容
本申请提供一种人脸识别方法，有助于提升进行人脸识别准确率和可靠性。
为了解决上述问题，第一方面，本申请实施例提供了一种人脸识别方法，包括：
获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；
确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；
根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图；所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵；
通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；
以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别。
第二方面，本申请实施例提供了一种人脸识别装置，包括：
人脸图像获取模块，用于获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；
人脸关键点信息获取模块，用于确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；
人脸关键点无向图构建模块，用于根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图；所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵；
图特征提取模块，用于通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；
人脸识别模块，用于以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的人脸识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的人脸识别方法的步骤。
本申请实施例公开的人脸识别方法，通过获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图；所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵；通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别，有助于提升进行人脸识别的准确率和可靠性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的人脸识别方法流程图；
图2是本申请实施例一的人脸识别方法中人脸关键点分布示意图；
图3是本申请实施例一的人脸识别方法中人脸关键点邻接关系示意图；
图4是本申请实施例一的人脸识别方法中三维坐标系建立原理示意图；
图5是本申请实施例二的人脸识别方法流程图；
图6是本申请实施例二的人脸识别装置结构示意图之一；
图7是本申请实施例二的人脸识别装置结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本申请实施例公开的一种人脸识别方法，如图1所示，所述方法包括步骤110至步骤150。
步骤110，获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像。
在本申请的一些实施例中，所述不同图像采集装置可以为一电子设备上的双目摄像头或一个结构光摄像头，也可以为两个独立的摄像头。其中，不同图像采集装置中一个为采集三维人脸图像(如人脸深度图像)的图像采集装置，另一个可以为采集二维人脸图像(如可见光人脸图像或红外光人脸图像)的图像采集装置。所述不同图像采集装置针对目标人脸同步地分别采集目标人脸的二维人脸图像和三维人脸图像。例如，所述不同图像采集装置可以为结构光图像采集设备，通过该结构光图像采集设备同时采集待识别人脸的可见光图像(即二维人脸图像)和深度图像(即三维人脸图像)。
步骤120，确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标。
本申请的一些实施例中，所述确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标，包括：对所述二维人脸图像和所述三维人脸图像进行图像校准；根据所述进行图像校准后得到的二维人脸图像，检测与所述目标人脸对应的预设人脸关键点，确定各所述预设人脸关键点的像素位置和二维图像内容信息；根据所述预设人脸关键点的像素位置，确定进行图像校准后得到的三维人脸图像中各所述预设人脸关键点的三维空间坐标。
由于不同图像采集装置相对于被采集物体存在物理位置差异，因此，通过不同图像采集装置采集的目标人脸的二维人脸图像和三维人脸图像中的图像内容存在一定视觉差异，具体实施时，首先需要根据成像原理和所述不同图像采集装置安装位置，基于图像采集装置的摄像头相关参数对采集的原始二维人脸图像和三维人脸图像进行图像校准。具体实施时，可以采用现有技术中的图像校准方法对二维人脸图像和三维人脸图像进行图像校准，本申请实施例中不再赘述。
本申请实施例中对二维人脸图像和三维人脸图像的图像校准方法不做限定。
在获取到校准后的二维人脸图像之后，采用现有技术中的方法检测所述二维人脸图像中的人脸关键点。本申请的一些实施例中，所述二维人脸图像可以为可见光人脸图像，也可以为红外光人脸图像，不同光谱条件下采集的二维人脸图像将采用现有技术中相应的人脸关键点检测方法确定所述二维人脸图像中的人脸关键点。
以所述二维人脸图像为可见光人脸图像为例，可以采用Dlib库(一个机器学习的开源库)对所述二维人脸图像进行人脸检测和人脸关键点对齐，以确定所述二维人脸图像中人脸关键点的像素位置。不同的人脸检测算法可以获取到不同数量的人脸关键点，具体应用过程中，可以根据具体人脸识别需求选择预设人脸关键点用于后续的人脸识别。本申请的一些实施例中，可以选择检测得到的人脸关键点中如图2所示的104个人脸关键点作为预设人脸关键点，用于后续进行人脸识别。
本申请的一些实施例中，在对二维人脸图像进行人脸关键点检测时，可以获取到所述二维人脸图像中预设人脸关键点的像素位置，同时，还可以获取到每个所述预设人脸关键点的二维图像内容信息。例如，对于可见光人脸图像，可以获取到每个所述预设人脸关键点的颜色值(如RGB颜色空间的取值)、透明度。再例如，对于红外光人脸图像，可以获取到每个所述预设人脸关键点的红外亮度值。
由于经过图像校准处理的二维人脸图像和三维人脸图像的像素位置是一一对应的，因此，检测得到的所述二维人脸图像中的各人脸关键点的像素位置，也是进行图像校准处理后得到的三维人脸图像中对应人脸关键点的像素位置。即可以将所述二维人脸图像中的各人脸关键点的像素位置作为三维人脸图像中对应人脸关键点的像素位置。
进一步的，根据三维人脸图像中对应人脸关键点的像素位置，可以得到三维空间坐标。例如，通过重建人脸点云确定人脸关键点的三维空间坐标，点云中的每个人脸关键点代表二维人脸图像中每个像素位置在真实场景中，以图像采集装置镜面中心为原点、建立的右手坐标系中的位置。如图3所示，在基于图3所示的成像原理构建坐标系中，可以通过如下公式1根据三维图像中预设人脸关键点的像素位置，转换得到相应人脸关键点的三维空间坐标：
Figure BDA0002630205020000061
其中，(col,row)表示三维人脸图像中某一点的像素位置，depth表示三维人脸图像中(col,row)像素位置处的像素值，opt和FoculLength为三维人脸图像的图像采集装置的参数矩阵，(x,y,z)为三维人脸图像中(col,row)像素位置的人脸关键点的三维空间坐标。
本申请的一些实施例中，还可以采用其他方法进行三维人脸图像中人脸关键点的像素位置到三维空间坐标的转换，本申请实施例中不再一一例举。本申请对进行三维人脸图像中人脸关键点的像素位置到三维空间坐标的转换所采用的具体方法不做限定。
步骤130，根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图。
其中，所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵。所述预设邻接矩阵中的元素表示任意两个所述节点之间是否存在邻接关系，即两个所述节点对应的人脸关键点是否相邻。预设邻接矩阵用于存储所述无向图中各所述节点的关系(如是否有边连接)的数据(例如，对应相邻的两个人脸关键点的节点之间的边的元素取值为1，对应不相邻的两个人脸关键点的节点之间的边的元素取值为0)。
本申请的一些实施例中，为了提取二维人脸图像和三维人脸图像中的人脸特征，通过构建无向图来表达二维人脸图像和三维人脸图像中的人脸关键点的数据特征和关系。例如，根据每个所述预设人脸关键点的数据分别构建一个节点数据，每个所述预设人脸关键点与无向图中的节点一一对应，之后，通过无向边将检测得到所述预设人脸关键点中具有邻接关系(如相邻)的人脸关键点对应的节点，这样，就可以得到一个由节点和边组成的无向图。例如，对于人脸关键点0和1，根据人脸关键点0和1可以创建两个节点d0和d1，假设，人脸关键点0和1，则创建一条无相边L01,连接节点d0和d1。即，在无向图中，节点d0和d1之间存在一条值为1的边。
本申请的一些实施例中，通过将人脸的三维空间人脸关键点在五官区域内部连接，再连接具有邻接关系的五官区域，将检测得到的所有人脸关键点连接成为一个完整的图，得到人脸的无向图。而预设邻接矩阵用于表示无向图的任意两个节点之间是否存在邻接关系。例如，对于104个预设人脸关键点，可以通过一个104*104的矩阵来表示这104个预设人脸关键点中任意两个人脸关键点之间是否存在邻接关系。以预设邻接矩阵表示为A举例，预设邻接矩阵A中的矩阵元素Aij表示第i个人脸关键点与第j个人脸关键点之间是否存在邻接关系，例如，Aij＝1表示第i个人脸关键点与第j个人脸关键点之间存在邻接关系，Aij＝0表示第i个人脸关键点与第j个人脸关键点之间不存在邻接关系(即第i个人脸关键点与第j个人脸关键点无关)，其中，i和j为整数。
下面举例说明所述预设邻接矩阵A的生成过程。
本申请的一些实施例中，根据五官和所述预设人脸关键点的分布，将检测到的所有所述预设人脸关键点分为脸颊(如图2中标号0至32的33个人脸关键点)，左眉(如图2中左上角的9个人脸关键点，标号33至41)，右眉(如图2中右上角的9个人脸关键点，标号42至50)，左眼(如图2中左眉下方的9个人脸关键点，标号66至74)，右眼(如图2中右眉下方的9个人脸关键点，标号75至83)，鼻子(如图2中中间位置的15个人脸关键点，标号51至65)，嘴巴(如图2中中间靠下区域的20个人脸关键点，标号84至103)，共7个五官区域。
本申请的一些实施例中，通过分别连接上述五官区域内的人脸关键点，可以得到部分人脸关键点之间的邻接关系，并根据得到的邻接关系设置所述预设邻接矩阵中相应矩阵元素的取值。
例如，将脸颊的33个人脸关键点从0-32顺序连接，即脸颊的33个人脸关键点中，0与1、1与2、……、31与32分别具有邻接关系，在所述预设邻接关系矩阵中，将具有邻接关系的人脸关键点对应节点连接的边设置为关系值为1的边。例如，人脸关键点0和1对应两个节点连接形成的边的关系值设置为1。相应的，所述预设邻接矩阵A的矩阵元素A0,1的取值为1。再例如，人脸关键点0和3对应两个节点连接形成的边的关系值设置为0，相应的，所述预设邻接矩阵A的矩阵元素A0,3的取值为0。
又例如，将左眉区域和右眉区域各自的9个人脸关键点中相邻的人脸关键点顺次连接，闭合连接成环。如图3中的人脸关键点33与34、34与35、……41与33分别邻接，则对应上述每组邻接人脸关键点的节点分别通过关系值为1的一条边连接,如所述预设邻接矩阵A的矩阵元素A33,34的取值为1。再例如，如图3中的人脸关键点33与35不邻接，则对应人脸关键点33和35的节点通过关系值为0的一条边连接,即所述预设邻接矩阵A的矩阵元素A33,35的取值为0。
再例如，左眼区域中8个边缘人脸关键点(如图3中标号66至73)中相邻人脸关键点顺次连接，右眼区域中8个边缘人脸关键点(如图3中标号75至82)中相邻人脸关键点顺次连接，闭合连接成环，再分别将瞳孔关键点(图标号73和标号84)与上述左眼区域的8个边缘人脸关键点、上述右眼区域的8个边缘人脸关键点分别进行连接。
鼻子的外部边缘人脸关键点顺次连接，闭合连接成环，之后，再顺次连接鼻尖区域和鼻梁区域的人脸关键点(如图3中的51、52、53、54和60)。
而对于嘴巴区域的20个人脸关键点，将外边缘的人脸关键点和内边缘人脸关键点分别顺次连接，闭合连接成环，形成双环形状。
本申请的一些实施例中，对于不在同一五官区域内的人脸关键点，可以认为距离较近的人脸关键点也具有邻接关系，因此，通过将不在同一五官区域内的距离较近的人脸关键点顺序连接成线，从而将所有所述预设人脸关键点连接成一个完整的图，更加全面的体现人脸关键点的分布信息。
例如，认为外眉角、外眼角和脸颊最上部人脸关键点具有邻接关系，通过关系值为1的边分别连接外眉角和外眼角对应的节点、外眼角和脸颊最上部人脸关键点对应的节点。再例如，认为内眉角、内眼角和鼻梁最上部人脸关键点具有邻接关系，通过关系值为1的边分别连接内眉角和内眼角对应的节点、内眼角和鼻梁最上部人脸关键点对应的节点。又例如，认为眉心点、鼻顶点、鼻梁点、鼻尖点、上唇中点、嘴巴中间点、下唇中点、下颚中间点等人脸中轴线上的人脸关键点依次具备邻接关系，并通过关系值为1的边分别连接人脸中轴线上的上述具有邻接关系的人脸关键点对应的节点。
本申请的另一些实施例中，还可以通过其他方式确定邻接的人脸关键点。例如，对于人脸中轴线上的上述人脸关键点，认为鼻顶点、鼻梁点、鼻尖点、上唇中点、嘴巴中间点、下唇中点、下颚中间点等人脸中轴线上的人脸关键点依次具备邻接关系。由于图神经网络提取特征的过程具有很强的鲁棒性，仅改变其中一条边的关系值(即仅改变对少量人脸关键点的邻接关系的认定)，不会影响神经网络的预测结果。
对于具有邻接关系的两个人脸关键点(即上述被连接的两个人脸关键点)，这两个人脸关键点对应的节点将通过一条关系值为1的边连接；而对于不具有邻接关系的两个人脸关键点(即上述未被连接的两个人脸关键点)，这两个人脸关键点对应的节点将通过一条关系值为0的边连接。相应的，连接两个节点的边的关系值可以通过所述预设邻接矩阵的相应矩阵元素的值表示。
按照上述方法，可以得到人脸的无向图的所述预设邻接矩阵。
本申请的一些实施例中，重新定义具有邻接关系的人脸关键点，将得到不同的邻接矩阵。在一个人脸识别应用中，优选的，每个人脸对应的无向图的邻接矩阵是相同的。即在一个人脸识别应用中，可以根据具有邻接关系的人脸关键点的定义和连接规则，预先生成邻接矩阵。
另一方面，对于图结构，包括节点和边两部分数据，而前述步骤中生成的无向图的节点存储数据通过节点特征矩阵表示。每个所述节点存储的所述关键点信息包括：所述节点对应的所述预设人脸关键点的三维空间坐标和二维图像内容信息；所述二维图像内容信息包括以下任意一项或多项信息：颜色值、红外亮度、透明度。以所述节点特征矩阵X为N*d维矩阵为例，N和d为大于1的自然数，其中，N为所述预设人脸关键点的数量，d为每个所述预设人脸关键点的关键点信息的维度数量，所述关键点信息包括：三维空间坐标和二维图像内容信息两个维度。具体到本实施例而言，N等于104，d等于6，即所述关键点信息可以表示为(r,g,b,x,y,z)，其中，r,g,b为人脸关键点在二维人脸图像中的颜色值，x,y,z为人脸关键点在三维人脸图像中的三维空间坐标。
本申请的另一些实施例中，所述关键点信息可以表示为(r,g,b,a,x,y,z)，其中，r,g,b为人脸关键点在二维人脸图像中的颜色值，a为人脸关键点在二维人脸图像中的透明度值，x,y,z为人脸关键点在三维人脸图像中的三维空间坐标。
本申请的另一些实施例中，如果二维人脸图像为红外图像，所述关键点信息可以表示为(i,x,y,z)，其中，i为人脸关键点在二维人脸图像中的红外亮度值，x,y,z为人脸关键点在三维人脸图像中的三维空间坐标。
步骤140，通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取。
本申请的一些实施例中，通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取，包括：通过预先训练的图卷积神经网络，基于所述无向图的预设邻接矩阵和所述预设邻接矩阵的单位矩阵，对所述无向图的所述节点特征矩阵中所述关键点信息进行空间信息聚合。
普通的卷积神经网络(CNN)，在图像识别应用中，输入的对象是图片，是一种标准的二维结构，通过卷积核在图片上平移，通过卷积的方式来提取特征。由于图片具有平移不变形，一个小窗口不论移动到图片的哪一个位置，其内部的结构都是一模一样的。但是CNN只能处理欧式空间的数据。而图的结构是一种不规则的拓扑结构，可以认为是无限维的一种数据，不具有平移不变性，每一个节点的周围结构都是独一无二的，CNN和RNN(循环神经网络)均无法处理这种结构的数据。而图卷积神经网络(GCN)通过精妙的设计，可以从图数据中提取特征，从而可以使用这些特征去对数据进行节点分类、图分类，边预测等。本申请具体实施时，采用图卷积神经网络提取基于人脸图像得到的无向图中的人脸特征。
本申请实施例中的图卷积神经网络的输入数据包括两部分：无向图的节点特征矩阵和邻接矩阵(即前述预设邻接矩阵)。例如，图卷积神经网络通过以下公式2前向传播提取特征：
Figure BDA0002630205020000111
上述公式2中，
Figure BDA0002630205020000112
是无向图G的邻接矩阵A加上所述邻接矩阵A的单位矩阵I得到的和矩阵；/>
Figure BDA0002630205020000113
是度矩阵(degree matrix)，计算公式为/>
Figure BDA0002630205020000114
Figure BDA0002630205020000115
为对角矩阵，对角线上的元素为相应节点(如邻接矩阵A中矩阵元素Aij对应的节点)的度+1；/>
Figure BDA0002630205020000116
的作用为对/>
Figure BDA0002630205020000117
进行归一化，由于矩阵/>
Figure BDA0002630205020000118
未经过归一化，在计算的过程中很容易产生一些不可预测的问题，经过归一化后/>
Figure BDA0002630205020000119
的元素取值均为(0,1)之间；H(l)为隐层l的输入特征向量，对于输入层而言，H(l)等于原始节点特征矩阵X，/>
Figure BDA00026302050200001110
作用为实现空间信息的聚合；W(l)为第l个隐层的权重矩阵，其取值通过预先训练确定；σ为非线性激活函数。
本申请实施例中，通过对预设邻接矩阵加上单位矩阵，实现了为无向图中的每个节点添加一个对自身节点的连接。根据公式2前向传播时，如果不加单位矩阵，经过一层图卷积提取特征时，例如图2中的人脸关键点，瞳孔对应节点将会只提取其周围8个节点的数据特征，却会忽略其自身节点的数据特征。加上单位矩阵后，图卷积将提取其邻域节点及瞳孔节点本身的数据特征。
其中，所述图卷积神经网络第1隐层的输入为原始的节点特征矩阵X,以后每经过一个隐层处理，所述图卷积神经网络就会多聚合一阶邻域上的信息，经过l个隐层，就对每个节点融合了l阶邻域特征。权重矩阵W(l)的维度为Fl*Fl+1，即权重矩阵的第二个维度大小决定了下一层的特征数，核心网络有几个隐层，就会训练出几层的权重W。激活函数可以为例如Sigmoid、ReLu等。
本申请的一些实施例中，可以采用5层图卷
积神经网络，网络结构为GCN*5+FC1+FC2，其中，GCN为图卷积网络，FC1和FC2为全连接层。通过5层GCN后+FC1后，可以获取到指定维度(如1024)的输出向量，该输出向量可以作为输入无向图对应人脸的人脸特征。
本申请的一些实施例中，所述通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取的步骤之前，如图5所示，还包括：
步骤100，训练所述图卷积神经网络。
其中，训练所述图卷积神经网络包括：对于若干训练人脸，构建该训练人脸对应的无向图，所述无向图包括预设邻接矩阵，以及相应训练人脸的节点特征矩阵；对于每个所述训练人脸，以所述预设邻接矩阵和所述单位矩阵的和矩阵、所述训练人脸对应的所述节点特征矩阵，作为样本数据，以所述训练人脸的分类结果真实值作为样本标签，构建所述训练人脸对应的训练样本；对每条所述训练样本，分别通过所述图卷积神经网络基于所述和矩阵、所述节点特征矩阵进行图特征提取，并根据所述图特征提取得到的特征计算分类结果预测值，之后，通过交叉熵损失函数计算所有所述训练样本的分类结果预测值和分类结果真实值的误差，并以所述误差最小为目标优化所述图卷积神经网络的网络参数，直至所述误差收敛到满足预设条件，完成所述图卷积神经网络的训练过程。
在所述图卷积神经网络的训练阶段，首先要构建大量训练样本。每个所述训练样本对应针对同一训练人脸同步采集的二维人脸图像和三维人脸图像。每个所述训练样本的样本数据包括：预设邻接矩阵、根据所述二维人脸图像和三维人脸图像生成的节点特征矩阵，样本标签为所述训练人脸的分类结果真实值。以训练样本集中包括5万个人的人脸图像生成的训练样本为例，所述样本标签用于表示当前训练样本属于5万个类别的概率，可以采用如“0001000…”的形式表示。
其中，根据训练人脸的二维人脸图像和三维人脸图像，检测所述预设人脸关键点，并确定二维人脸图像中的二维图像内容信息、确定三维人脸图像中的所述预设人脸关键点的三维空间坐标的具体实施方式，参见前述步骤描述，此处不再赘述。根据三维空间坐标和二维图像内容信息构建无向图的具体实施方式参见前述步骤描述，此处不再赘述。训练阶段构建的无向图中的邻接矩阵与前述识别过程中的所述预设邻接矩阵相同，所述邻接矩阵的单位矩阵可以根据所述邻接矩阵采用现有技术生成。
以所述图卷积神经网络包括5个图卷积层和2个全连接层为例，在训练过程中，对于每个输入的训练样本(即标注的无向图)，所述图卷积神经网络通过各图卷积层对所述预设邻接矩阵与所述单位矩阵的和矩阵、所述输入无向图中节点特征矩阵进行空间信息聚合，第5个图卷积层输出如1024维的输出向量；之后，依次通过两个全连接层进行特征映射，得到输入的无向图对应的人脸分类结果预测值；接下来，通过交叉熵损失计算所有训练样本所述分类结果预测值和分类结果真实值的误差，得到所述图卷积神经网络的模型误差；然后，以模型误差最小为目标，采用梯度下降法调整网络参数，并重新对训练样本进行计算，直至模型误差收敛，完成所述图卷积神经网络的训练过程。
本申请的一些实施例中，在通过最后一个全连接层将前一个全连接层输出的1024维输出向量映射到C(如5万)个类别时，可以通过softmax计算分类概率。所述softmax函数可以如以下公式3所示。
Figure BDA0002630205020000131
上述公式3中，gi为输出向量被映射到第i类别的得分，P(i)为出书向量被映射到第i类别的概率，1≤k≤C。
例如，对于根据5万个人的100万对人脸图像(每人20对图像，每对人脸图像包括一张二维人脸图像和一张三维人脸图像)生成的100万条训练样本，对100万条训练样本分别通过所述图卷积神经网络的图卷积层和第一个全连接层进行特征提取，并通过最后一个全连接层将特征提取后得到的特征向量分别映射到对应的5万个类别(每个人对应一个类别)，如果映射正确率超过一定阈值(如99％)，则可认为所述图卷积神经网络的图卷积层和第一个全连接层提取的特征为每个人的唯一特征，网络训练完毕。
步骤150，以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别。
本申请的一些实施例中，在进行人脸识别之前需要预先建立人脸特征库。预设人脸特征库中包括若干注册人脸的人脸特征库；其中，所述人脸特征库中每组所述人脸特征是通过以下方法得到的：获取由不同图像采集装置针对一注册人脸同步采集的二维人脸图像和三维人脸图像；确定针对所述注册人脸采集的所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定针对所述注册人脸采集的所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；根据所述注册人脸的各所述预设人脸关键点的三维空间坐标和二维图像内容信息，构建所述注册人脸对应的所述无向图；通过预先训练的图卷积神经网络，基于所述注册人脸对应的所述无向图的节点特征矩阵和预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；将所述图卷积神经网络进行所述图特征提取得到的特征作为所述注册人脸的人脸特征；在所述人脸特征库存储所述注册人脸的人脸特征。
获取每个注册人脸的二维人脸图像和三维人脸图像的具体实施方式，参见前述步骤中获取目标人脸的二维人脸图像和三维人脸图像的具体实施方式，此处不再赘述。
确定针对所述注册人脸采集的所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定针对所述注册人脸采集的所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标的具体实施方式，参见识别阶段或训练阶段确定二维图像内容信息和三维空间坐标的具体实施方式，此处不再赘述。
根据二维图像内容信息和三维空间坐标构建无向图的具体实施方式，参见识别阶段或训练阶段构建无向图的具体实施方式，此处不再赘述。
之后，对于每个注册人脸，将根据该注册人脸的图像生成的无向图输入至预先训练的图卷积神经网络，由所述图卷积神经网络对输入的无向图进行图特征提取，然后，将所述图卷积神经网络进行前述图特征提取步骤后得到的特征，作为所述注册人脸的一组人脸特征，并在所述人脸特征库存储所述注册人脸的该组人脸特征。
在识别阶段，以所述图卷积神经网络的预设隐层向量作为人脸特征，对所述目标人脸进行人脸识别，包括：将所述图卷积神经网络进行所述图特征提取得到的特征与预设人脸特征库中的人脸特征进行相似度比对；根据相似度比对的结果，确定对所述目标人脸进行人脸识别的识别结果。
本申请的一些实施例中，将所述图卷积神经网络提取的特征与预设人脸特征库中的人脸特征进行相似度比对时，可以采用计算余弦相似度的方法(如以下公式4)计算比对得分：
Figure BDA0002630205020000151
上述公式4中，sim(x,y)代表人脸特征x和人脸特征y的相似度，
Figure BDA0002630205020000152
为计算点积，x为取模，计算得到的相似度sim(x,y)为(0～1)之间的数，sim(x,y)的取值越接近于1，说明人脸特征x和人脸特征y相似度越大，sim(x,y)的取值越接近于0，说明人脸特征x和人脸特征y相似度越小。
本申请的一些实施例中，可以取与所述图卷积神经网络提取的所述人脸特征相似度最大的所述人脸特征库中的人脸特征作为匹配成功的人脸特征，并将匹配成功的所述人脸特征库中的人脸特征所属注册人脸的相关信息作为人脸识别结果。
本申请的另一些实施例中，还可以采用其他方法计算所述图卷积神经网络提取的所述人脸特征与所述人脸特征库中的各组人脸特征的相似度，本申请实施例对计算两组人脸特征相似度的具体实施方式不做限定。
本申请的另一些实施例中，还可以采用其他方法根据所述图卷积神经网络提取的所述人脸特征与所述人脸特征库中的各组人脸特征的相似度确定人脸识别结果，本申请对根据人脸特征相似度确定人脸识别结果的具体实施方式不做限定。
本申请实施例公开的人脸识别方法，通过获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图；所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵；通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别，有助于提升进行人脸识别的准确率和可靠性。
本申请实施例公开的人脸识别方法，与现有技术中的人脸识别方法相比，在比对阶段，同时使用了二维人脸特征和三维人脸特征，相当于既利用了人脸的纹理信息，又利用了人脸的三维信息，除了能够提高识别精度，在对抗打印照片和视频攻击方面也具有很强的优势，其安全性和可靠性更高。
本申请实施例公开的人脸识别方法，通过采用图卷积神经网络代替普通的卷积神经网络，更加适用于提取由人脸关键点构建的无向图中的数据特征，即更加适用于提取人脸关键点之间的位置关系特征。
实施例二
对应于方法实施例，本申请另一实施例中公开了一种人脸识别装置，如图6所示，所述装置包括：
人脸图像获取模块610，用于获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；
人脸关键点信息获取模块620，用于确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；
人脸关键点无向图构建模块630，用于根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图；所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵；
图特征提取模块640，用于通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；
人脸识别模块650，用于以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别。
本申请的一些实施例中，所述图特征提取模块640，进一步用于：
通过预先训练的图卷积神经网络，基于所述无向图的预设邻接矩阵和所述预设邻接矩阵的单位矩阵，对所述无向图的所述节点特征矩阵中所述关键点信息进行空间信息聚合
本申请的一些实施例中，每个所述节点存储的所述关键点信息包括：所述节点对应的所述预设人脸关键点的三维空间坐标和二维图像内容信息；所述二维图像内容信息包括以下任意一项或多项信息：颜色值、红外亮度、透明度。
本申请的一些实施例中，如图7所示，所述装置还包括：图卷积神经网络训练模块600，所述图卷积神经网络训练模块600用于：
对于若干训练人脸，构建该训练人脸对应的无向图，所述无向图包括预设邻接矩阵，以及相应训练人脸的节点特征矩阵；
对于每个所述训练人脸，以所述预设邻接矩阵和所述单位矩阵的和矩阵、所述训练人脸对应的所述节点特征矩阵，作为样本数据，以所述训练人脸的分类结果真实值作为样本标签，构建所述训练人脸对应的训练样本；
对每条所述训练样本，分别通过所述图卷积神经网络基于所述和矩阵、所述节点特征矩阵进行图特征提取，并根据所述图特征提取得到的特征计算分类结果预测值，之后，通过交叉熵损失函数计算所有所述训练样本的分类结果预测值和分类结果真实值的误差，并以所述误差最小为目标优化所述图卷积神经网络的网络参数，直至所述误差收敛到满足预设条件，完成所述图卷积神经网络的训练过程。
本申请的一些实施例中，人脸识别模块650进一步用于：
将所述图卷积神经网络进行所述图特征提取得到的特征与预设人脸特征库中的人脸特征进行相似度比对；
根据相似度比对的结果，确定对所述目标人脸进行人脸识别的识别结果。
本申请的一些实施例中，所述预设人脸特征库中包括若干注册人脸的人脸特征库；其中，所述人脸特征库中每组所述人脸特征是通过以下方法得到的：
获取由不同图像采集装置针对一注册人脸同步采集的二维人脸图像和三维人脸图像；
确定针对所述注册人脸采集的所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定针对所述注册人脸采集的所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；
根据所述注册人脸的各所述预设人脸关键点的三维空间坐标和二维图像内容信息，构建所述注册人脸对应的所述无向图；
通过预先训练的图卷积神经网络，基于所述注册人脸对应的所述无向图的节点特征矩阵和预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；
将所述图卷积神经网络进行所述图特征提取得到的特征作为所述注册人脸的人脸特征；
在所述人脸特征库存储所述注册人脸的人脸特征。
本实施例公开的人脸识别装置用于实现前述实施例所述的人脸识别方法，装置的各模块的具体实施方式参见方法中相应步骤，本实施例不再赘述。
本申请实施例公开的人脸识别装置，通过获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图；所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵；通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别，有助于提升进行人脸识别的准确率和可靠性。
本申请实施例公开的人脸识别装置，与现有技术中的人脸识别方法相比，在比对阶段，同时使用了二维人脸特征和三维人脸特征，相当于既利用了人脸的纹理信息，又利用了人脸的三维信息，除了能够提高识别精度，在对抗打印照片和视频攻击方面也具有很强的优势，其安全性和可靠性更高。
本申请实施例公开的人脸识别方法，通过采用图卷积神经网络代替普通的卷积神经网络，更加适用于提取由人脸关键点构建的无向图中的数据特征，即更加适用于提取人脸关键点之间的位置关系特征。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一所述的人脸识别方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一所述的人脸识别方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种人脸识别方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；
确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；
根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图；所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵；其中，所述预设邻接矩阵根据具有邻接关系的人脸关键点的定义和连接规则预先生成；每个所述节点存储的所述关键点信息包括：所述节点对应的所述预设人脸关键点的三维空间坐标和二维图像内容信息；
通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；
以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取的步骤，包括：
通过预先训练的图卷积神经网络，基于所述无向图的预设邻接矩阵和所述预设邻接矩阵的单位矩阵，对所述无向图的所述节点特征矩阵中所述关键点信息进行空间信息聚合。
3.根据权利要求1所述的方法，其特征在于，所述二维图像内容信息包括以下任意一项或多项信息：颜色值、红外亮度、透明度。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取的步骤之前，包括：
对于若干训练人脸，构建该训练人脸对应的无向图，所述无向图包括预设邻接矩阵，以及相应训练人脸的节点特征矩阵；
对于每个所述训练人脸，以所述预设邻接矩阵和所述单位矩阵的和矩阵、所述训练人脸对应的所述节点特征矩阵，作为样本数据，以所述训练人脸的分类结果真实值作为样本标签，构建所述训练人脸对应的训练样本；
对每条所述训练样本，分别通过所述图卷积神经网络基于所述和矩阵、所述节点特征矩阵进行图特征提取，并根据所述图特征提取得到的特征计算分类结果预测值，之后，通过交叉熵损失函数计算所有所述训练样本的分类结果预测值和分类结果真实值的误差，并以所述误差最小为目标优化所述图卷积神经网络的网络参数，直至所述误差收敛到满足预设条件，完成所述图卷积神经网络的训练过程。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别的步骤，包括：
将所述图卷积神经网络进行所述图特征提取得到的特征与预设人脸特征库中的人脸特征进行相似度比对；
根据相似度比对的结果，确定对所述目标人脸进行人脸识别的识别结果。
6.根据权利要求5所述的方法，其特征在于，所述预设人脸特征库中包括若干注册人脸的人脸特征库；其中，所述人脸特征库中每组所述人脸特征是通过以下方法得到的：
获取由不同图像采集装置针对一注册人脸同步采集的二维人脸图像和三维人脸图像；
确定针对所述注册人脸采集的所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定针对所述注册人脸采集的所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；
根据所述注册人脸的各所述预设人脸关键点的三维空间坐标和二维图像内容信息，构建所述注册人脸对应的所述无向图；
通过预先训练的图卷积神经网络，基于所述注册人脸对应的所述无向图的节点特征矩阵和预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；
将所述图卷积神经网络进行所述图特征提取得到的特征作为所述注册人脸的人脸特征；
在所述人脸特征库存储所述注册人脸的人脸特征。
7.一种人脸识别装置，其特征在于，包括：
人脸图像获取模块，用于获取由不同图像采集装置针对目标人脸同步采集的二维人脸图像和三维人脸图像；
人脸关键点信息获取模块，用于确定所述二维人脸图像中的各预设人脸关键点的像素位置和二维图像内容信息，以及，确定所述三维人脸图像中的各所述预设人脸关键点的三维空间坐标；
人脸关键点无向图构建模块，用于根据各所述预设人脸关键点构建相应节点，通过无向边表示所述预设人脸关键点中相邻所述预设人脸关键点对应的所述节点的邻接关系，构建无向图；所述无向图包括：表示所述节点之间邻接关系的预设邻接矩阵、由所述无向图中各所述节点存储的关键点信息构成的节点特征矩阵；其中，所述邻接矩阵根据具有邻接关系的人脸关键点的定义和连接规则预先生成；每个所述节点存储的所述关键点信息包括：所述节点对应的所述预设人脸关键点的三维空间坐标和二维图像内容信息；
图特征提取模块，用于通过预先训练的图卷积神经网络，基于所述节点特征矩阵、所述预设邻接矩阵，以及所述预设邻接矩阵的单位矩阵，进行图特征提取；
人脸识别模块，用于以所述图卷积神经网络进行所述图特征提取得到的特征作为人脸特征，对所述目标人脸进行人脸识别。
8.根据权利要求7所述的装置，其特征在于，所述图特征提取模块，进一步用于：
通过预先训练的图卷积神经网络，基于所述无向图的预设邻接矩阵和所述预设邻接矩阵的单位矩阵，对所述无向图的所述节点特征矩阵中所述关键点信息进行空间信息聚合。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任意一项所述的人脸识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任意一项所述的人脸识别方法的步骤。
CN202010808939.6A 2020-08-12 2020-08-12 人脸识别方法、装置、电子设备及存储介质 Active CN111783748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010808939.6A CN111783748B (zh) 2020-08-12 2020-08-12 人脸识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010808939.6A CN111783748B (zh) 2020-08-12 2020-08-12 人脸识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111783748A CN111783748A (zh) 2020-10-16
CN111783748B true CN111783748B (zh) 2023-07-14

Family

ID=72761928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010808939.6A Active CN111783748B (zh) 2020-08-12 2020-08-12 人脸识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111783748B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329736B (zh) * 2020-11-30 2022-04-12 上海华瑞银行股份有限公司 人脸识别方法及金融系统
CN112541575B (zh) * 2020-12-06 2023-03-10 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN112784709B (zh) * 2021-01-06 2023-06-20 华南理工大学 一种远程多目标的高效检测和识别方法
CN112733807A (zh) * 2021-02-22 2021-04-30 佳都新太科技股份有限公司 一种人脸比对的图卷积神经网络训练方法及装置
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备
CN113537194B (zh) * 2021-07-15 2024-08-02 Oppo广东移动通信有限公司 光照估计方法、光照估计装置、存储介质与电子设备
CN113688715A (zh) * 2021-08-18 2021-11-23 山东海量信息技术研究院 面部表情识别方法及系统
CN113673610A (zh) * 2021-08-25 2021-11-19 上海鹏冠生物医药科技有限公司 一种用于组织细胞病理图像诊断系统的图像预处理方法
CN113887435A (zh) * 2021-09-30 2022-01-04 北京百度网讯科技有限公司 人脸图像处理方法、装置、设备、存储介质及程序产品
CN116524581B (zh) * 2023-07-05 2023-09-12 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117801A (zh) * 2018-08-20 2019-01-01 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质
CN110659723B (zh) * 2019-09-03 2023-09-19 腾讯科技（深圳）有限公司 基于人工智能的数据处理方法、装置、介质及电子设备
CN111079587B (zh) * 2019-12-03 2023-09-22 北京迈格威科技有限公司 人脸的识别方法、装置、计算机设备及可读存储介质
CN111243093B (zh) * 2020-01-07 2023-05-12 腾讯科技（深圳）有限公司 三维人脸网格的生成方法、装置、设备及存储介质
CN111259875B (zh) * 2020-05-06 2020-07-31 中国人民解放军国防科技大学 一种基于自适应语义时空图卷积网络的唇读方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dynamic Deep Multi-task Learning for Caricature-Visual Face Recognition;Zuheng Ming等;2019 International Conference on Document Analysis and Recognition Workshops (ICDARW);全文 *
基于二维纹理重建三维人脸深度图像后的人脸识别;李睿;李科;孙家炜;;现代计算机(专业版)(10);全文 *

Also Published As

Publication number Publication date
CN111783748A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783748B (zh) 人脸识别方法、装置、电子设备及存储介质
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN108520535B (zh) 基于深度恢复信息的物体分类方法
CN108229381B (zh) 人脸图像生成方法、装置、存储介质和计算机设备
WO2019227479A1 (zh) 人脸旋转图像的生成方法及装置
CN111274916B (zh) 人脸识别方法和人脸识别装置
CN112801015B (zh) 一种基于注意力机制的多模态人脸识别方法
CN111444881A (zh) 伪造人脸视频检测方法和装置
WO2022000420A1 (zh) 人体动作识别方法、人体动作识别系统及设备
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN107408211A (zh) 用于物体的再识别的方法
CN112036260B (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN110222718B (zh) 图像处理的方法及装置
CN116311549A (zh) 活体对象识别方法、设备和计算机可读存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN111639580A (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN112560824B (zh) 一种基于多特征自适应融合的人脸表情识别方法
CN112434576A (zh) 一种基于深度相机的人脸识别方法及系统
CN114373205B (zh) 一种基于卷积宽度网络的人脸检测和识别方法
CN117576461A (zh) 一种用于变电站场景的语义理解方法、介质及系统
CN117133041A (zh) 一种基于深度学习的三维重建网络人脸识别方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Facial recognition methods, devices, electronic devices, and storage media

Granted publication date: 20230714

Pledgee: Agricultural Bank of China Limited Beijing Haidian East Branch

Pledgor: HANWANG TECHNOLOGY Co.,Ltd.

Registration number: Y2024110000307

PE01 Entry into force of the registration of the contract for pledge of patent right