CN110717407A - 基于唇语密码的人脸识别方法、装置及存储介质 - Google Patents

Abstract

本发明属于生物识别技术领域，提出了一种基于唇语密码的人脸识别方法、装置及存储介质，方法包括：获得待测主体的读密码视频；通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取所述视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；若唇语密码预测值与唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。本发明通过基于唇语密码的人脸识别方法，可以实现检测快捷且检测精度高的效果。

Description

基于唇语密码的人脸识别方法、装置及存储介质

技术领域

本发明涉及生物识别技术领域，尤其涉及一种基于唇语密码的人脸识别方法、装置及存储介质。

背景技术

传统的密码识别方法中，所使用的密码为数字、字符或者其他符号组合，使用者必须准确记住所使用的密码并且正确输入才能被成功识别，因此传统的密码识别方法存在容易遗忘、记错、操作繁琐等弊端。

而近年来流行的指纹识别、人脸识别、虹膜识别方法能够克服上述传统密码需要记忆、逐个输入的不足，但也存在如下缺陷：1、单纯的指纹识别、人脸识别，面临复制指纹、照片攻击的风险，用复制的指纹以及静态的照片会骗过指纹识别和人脸识别；2、虹膜识别的安全性高些，但是，却存在设备昂贵，需要投入的经济成本较高的问题。

鉴于以上问题的存在，亟需一种检测成本低，且不损失检测准确度的安全识别方法。

发明内容

本发明提供一种基于唇语密码的人脸识别方法、电子装置及计算机可读存储介质，其主要通过dlib+Resnet人脸关键点检测模型，进行唇语图像的筛选；通过基于双向LSTM的唇语识别模型完成对唇语图像的分类，实现了利用唇语作为密码进行人脸识别的技术效果。

为实现上述目的，本发明提供一种基于唇语密码的人脸识别方法，应用于电子装置，方法包括：S110、获得待测主体的读密码视频；S120、通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取所述视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；S130、根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；S140、将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；S150、若所述唇语密码预测值与所述唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。

优选的，所述基于双向LSTM的唇语识别模型的构建方法包括：

S210、构建用于获取待测主体的嘴唇特征的初始网络层；所述初始网络层为2D卷积网络；S220、在所述初始网络层上构建用于提取训练集数据中的时间特征的双向LSTM层；S230、在所述双向LSTM层上构建用于输出唇语密码预测值的Softmax层；S240、在所述Softmax层上构建优化网络层；其中，所述优化网络层用于将所述唇语密码预测值输入损失函数进行迭代训练，直至损失函数的值达到设定阈值。

优选的，步骤S140包括，在所述Softmax层中，通过唇语密码预测值公式将所述双向LSTM层提取的时间特征数据计算为唇语密码预测值，所述唇语密码预测值公式如下：P＝W*X+b；其中，P为唇语密码预测值，X为时间特征数据，W为权重，b为偏移量。

优选的，所述步骤S130包括：S310、将所述唇语图像进行归一化；S320、将归一化后的唇语图像存储为规定格式的数据集样本；所述数据集样本包括：样本数、数据序列长度、图像长、图像宽、图像深度。

优选的，所述步骤S120中，通过dlib数据库的特征点模型解析所述唇语图像获取嘴唇特征信息；所述视频中待测主体读密码的起点时刻至终点时刻的时间段通过解析所述读密码视频的声音波形获取。

为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器、处理器，所述存储器中存储基于唇语密码的人脸识别程序，所述基于唇语密码的人脸识别程序被所述处理器执行时实现如下步骤：S110、获得待测主体的读密码视频；S120、通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；S130、根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；S140、将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；S150、若所述唇语密码预测值与所述唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。

优选的，所述基于双向LSTM的唇语识别模型的构建方法包括：

S210、构建用于获取待测主体的嘴唇特征的初始网络层；所述初始网络层为2D卷积网络；S220、在所述初始网络层上构建用于提取训练集数据中的时间特征的双向LSTM层；S230、在所述双向LSTM层上构建用于输出唇语密码预测值的Softmax层；S240、在所述Softmax层上构建优化网络层；其中，所述优化网络层用于将唇语密码预测值输入损失函数进行迭代训练，直至损失函数的值达到设定阈值。

优选的，步骤S140包括：在所述Softmax层中，通过唇语密码预测值公式将所述双向LSTM层提取的时间特征数据计算为唇语密码预测值，所述唇语密码预测值公式如下：P＝W*X+b；其中，P为唇语密码预测值，X为时间特征数据，W为权重，b为偏移量。

优选的，所述步骤S120中，通过dlib数据库的特征点模型解析所述唇语图像获取嘴唇特征信息；所述视频中待测主体读密码的起点时刻至终点时刻的时间段通过解析所述读密码视频的声音波形获取。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括基于唇语密码的人脸识别程序，所述基于唇语密码的人脸识别程序被处理器执行时，实现上述的基于唇语密码的人脸识别方法的步骤。

本发明提出的基于唇语密码的人脸识别方法、电子装置及计算机可读存储介质，通过采用2D卷积模型+双向LSTM模型+Softmax层+优化网络层，对唇语图像进行分类，训练出模型；其中，2D卷积模型用于提取人的嘴唇特征；双向LSTM模型用于将视频中的多幅嘴唇图片串联起来，提取时间特征；Softmax层用于输出唇语密码预测值；优化网络层，用于将所述唇语密码预测值输入损失函数进行迭代训练，直至损失函数的值达到设定阈值；最终得到基于唇语密码的人脸识别模型；利用基于唇语密码的人脸识别模型进行唇语密码识别，可实现使用成本低、识别精度高的技术效果。

附图说明

图1为本发明基于唇语密码的人脸识别方法较佳实施例的流程图；

图2为本发明基于双向LSTM的唇语识别模型的构建方法较佳实施例的流程图；

图3为本发明基于唇语密码的人脸识别方法的原理示意图；

图4为本发明的电子装置的较佳实施例的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于唇语密码的人脸识别方法。图1示出了根据本发明实施例的基于唇语密码的人脸识别方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

本申请是通过dlib+Resnet人脸关键点检测模型，进行唇语图像的筛选；通过双向LSTM模型完成对唇语图像的分类，从而实现利用唇语作为密码进行人脸识别。

需要说明的是，Resnet(Residual Network)是一种新型的网络结构，它功能强大，Resnet网络可以被看作是并行和串行多个模块的结合。Resnet是ImageNet竞赛中分类问题比较好的网络，它有多种结构形式，有Resnet-34，Resnet-50，Resnet-101，Resnet-152；Resnet网络结构的设计遵循两种设计规则：(1)对于相同的输出特征图尺寸，层具有相同数量的滤波器；(2)如果特征图大小减半，则滤波器的数量加倍，以便保持每一层的时间复杂度。第一个是跳跃式连接方法，第二个则是Batch Normalization层的使用。基于Resnet的人脸检测算法需要用大小位置不同的窗口在图像中进行滑动，然后判断窗口中是否存在人脸。

另外，dlib中使用的是HOG(histogram of oriented gradient)+回归树的方法，使用dlib训练好的模型进行检测效果要好很多。dlib也使用了卷积神经网络来进行人脸检测。

本发明的基于唇语密码的人脸识别方法用到的是dlib中已经训练好的Resnet模型的接口，此接口会返回一个128维的人脸特征向量。

如图1所示，在本实施例中，基于唇语密码的人脸识别方法包括步骤S110-步骤S150。

S110、获得待测主体的读密码视频。

待测主体也就是想要进行密码检测的用户，该需要进行密码检测的用户需要读出预先设定好的语音密码才可以通过密码检测。具体地说，检测装置要获取待测主体读密码的动作视频。

在一个具体的实施例中，用户随机选出4-6个数字作为密码，用户脸部正对摄像头，匀速读出上述数字，速度大约为1秒钟一个数字，读数可以采用普通话、方言、英语等。在采集信息时，可重复4-10遍。用户要记住自己设定的那个4-6位的数字，作为密码。在下次进入时，读出上述密码即可，完成识别。

S120、通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像。

在一个具体的实施例中，通过dlib数据库的特征点模型解析所述唇语图像获取嘴唇特征信息；并且所述视频中待测主体读密码的起点时刻至终点时刻的时间段通过解析所述读密码视频的声音波形获取。

具体地说，通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，利用dlib数据库的特征点模型确定嘴唇位置，剪切出若干帧嘴唇图像；根据解析声音波形得到数字密码视频中的声音起点时间和声音终点时间，根据上述起点时间和终点时间，筛选出连续帧的唇语图像。

在一个具体的实施例中，人脸检测模型对视频进行逐帧检测人脸，然后根据dlib的特征点模型，确认嘴唇的位置，从而在上述视频中剪切出嘴唇图片。示例性的说明如下：比如用户视频中读的是1234，则样本就是剪切出的若干帧嘴唇图片，标签是1234对应的拼音：yi er san si，不同拼音之间用空格分开。

比如用户视频中读出的是数字6，则样本剪切出的是若干帧嘴唇图片，标签是6对应的拼音：liu；根据声音波形得到每个数字的声音的起点和重点时间，基于双向LSTM的唇语识别模型根据起点和终点时间，确定视频中的一段人脸连续帧的图像，从而通过唇动识别出数字，根据识别出的数字和后台预先存储的密码进行比对，若一致，则通过。

S130、根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集。

所述步骤S130中对所述唇语图像进行预处理的方法包括：S310、将所述唇语图像进行归一化；S320、将归一化后的唇语图像存储为规定格式的数据集样本；所述数据集样本的存储格式为【样本数，数据序列长度，图像长，图像宽，图像深度】。

S140、将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值。

S150、若所述唇语密码预测值与所述唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。

综上所述，利用基于唇语密码的人脸识别模型进行唇语密码识别，可实现使用成本低、识别精度高的技术效果。

图2为根据本发明实施例的基于双向LSTM的唇语识别模型的构建方法较佳实施例的流程图，如图2所示，基于双向LSTM的唇语识别模型的构建方法包括：步骤S210-步骤S240。

S210、构建用于获取待测主体的嘴唇特征的初始网络层；该初始网络层为2D卷积网络。

具体地说，先建立Masking层，过滤掉输入样本中补齐为0的数据；然后，设计卷积核个数，构建2D卷积网络的初始网络层，利用初始网络层的2D卷积网络，提取输入数据中每一帧的特征值；其中，卷积核根据训练集数据中样本嘴唇大小进行设置。输入训练集样本中每一帧图像，与网络中的卷积核相乘求和，经过三层卷积后，得到特征值。

S220、在所述初始网络层上构建用于提取训练集数据中的时间特征的双向LSTM层。

嘴部发声是一个动态过程，需要看当前帧的前后帧才能更准确得出当前帧的隐藏层信息。也就是说双向LSTM层，考虑了“过去”和“将来”对当前帧的影响。

其中，双向LSTM层，步长为视频提取的嘴唇图像数量。

S230、在所述双向LSTM层上构建用于输出唇语密码预测值的Softmax层。

具体地说，利用Softmax层将一段唇动图像做分类，共为0-9，共10类。需要说明的是，使用Softmax的输出层拥有多个单元，实际上我们有多少个分类就会有多少个单元，在这个例子中，我们有10个分类，所以也就有10个神经单元，它们代表了这10个分类。在Softmax的作用下每个神经单元都会计算出当前样本属于本类的概率。

将神经网络得出的时间值X通过Softmax层得到该样本的唇语密码预测值；换句话说，Softmax层通过公式将所述双向LSTM层提取的时间特征数据计算为唇语密码预测值，所述公式如下：P＝W*X+b；其中，P为唇语密码预测值，X为时间特征数据，W为权重，b为偏移量。

总的来说，唇语识别模型的神经网络包括：三层2D卷积网络，两层双向LSTM网络，以及一层激活函数为Softmax的全连接层，最后添加一层逻辑预测层(即优化网络层)。

S240、在所述Softmax层上构建优化网络层；其中，所述优化网络层用于将所述唇语密码预测值输入损失函数进行迭代训练，直至损失函数的值达到设定阈值。

所述神经网络的训练过程，将训练集数据输入神经网络，经过层层计算，得到唇语密码预测值，将唇语密码预测值与真实的标签输入到损失函数，计算出Loss，通过反向传播修正模型参数。换句话说，就是利用损失函数对上述神经网络模型进行迭代训练，直至Loss达到设定的阈值。

总的来说，本发明的基于双向LSTM的唇语识别模型是一种双向循环神经网络，Forward层和Backward层共同连接着输出层，其中包含了6个共享权值w1-w6。神经元之间的连接权重w，以及每个神经元本身的偏置b。调参的方式是采用梯度下降算法(Gradientdescent)，沿着梯度方向调整参数大小。激活函数的梯度越大，w和b的大小调整得越快，训练收敛得就越快。而神经网络常用的激活函数为sigmoid函数。

在Forward层从1时刻到t时刻正向计算一遍，得到并保存每个时刻向前隐含层的输出。在Backward层沿着时刻t到时刻1反向计算一遍，得到并保存每个时刻向后隐含层的输出。最后在每个时刻结合Forward层和Backward层的相应时刻输出的结果得到最终的输出。

综上所述，双向LSTM网络，时间序列分类任务表现更好，同时利用时间序列历史和未来信息，结合上下文信息，结果综合判断，判断结果更为准确。

图3为根据本发明实施例的基于唇语密码的人脸识别方法的原理示意图。如图3所示，先通过待测主体的读取密码的视频获得连续帧的唇语图像，然后将获得的唇语图像进行归一化处理，将归一化处理后的唇语图像存储为规定格式的数据集样本；其中的规定格式为数据集样本的存储格式，在本发明的一个具体实施方式中，该规定的存储格式为【样本数，数据序列长度，图像长，图像宽，图像深度】。

将上述数据集以八比二的比例分为两部分，一部分作为训练集，一部分作为测试集；其中，训练集用于训练基于双向LSTM的唇语识别模型。构建基于双向LSTM的唇语识别模型的步骤包括：先设计卷积核的个数，构建2D卷积网络，然后设计隐藏层单元格数和步长，构建双向LSTM网络；然后构建Softmax层，Softmax层用于利用Softmax函数对所获得的待测主体的读密码视频的时间特征进行分类，最终选取概率最大(也就是值对应最大的)结点作为唇语密码预测值输出。最后一步，利用损失函数进行网络优化，最终通过损失函数的迭代训练得到识别效果最佳的基于双向LSTM的唇语识别模型。

利用测试集的样本进行基于双向LSTM的唇语识别模型的测试。完成测试后的基于双向LSTM的唇语识别模型，可以进行唇语视频的预测。

本发明提供一种基于唇语密码的人脸识别方法，应用于一种电子装置4。图4示出了根据本发明基于唇语密码的人脸识别方法较佳实施例的应用环境示意图。

在本实施例中，电子装置4可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。

如图4所示，该电子装置4包括：处理器42、存储器41、通信总线43及网络接口44。

存储器41包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器41等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置4的内部存储单元，例如该电子装置4的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置4的外部存储器41，例如所述电子装置4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

在本实施例中，所述存储器41的可读存储介质通常用于存储安装于所述电子装置4的基于唇语密码的人脸识别程序40等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

处理器42在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器41中存储的程序代码或处理数据，例如执行基于唇语密码的人脸识别程序40等。

通信总线43用于实现这些组件之间的连接通信。

网络接口44可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置4与其他电子设备之间建立通信连接。

图4仅示出了具有组件41-44的电子装置4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

可选地，该电子装置4还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。

可选地，该电子装置4还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置4中处理的信息以及用于显示可视化的用户界面。

可选地，该电子装置4还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。

在图4所示的装置实施例中，作为一种计算机存储介质的存储器41中可以存储操作系统、以及基于唇语密码的人脸识别程序40；处理器42执行存储器41中存储的基于唇语密码的人脸识别程序40时实现如下步骤：S110、获得待测主体的读密码视频；S120、通过基于Resnet的人脸检测模型对所获取的读密码视频进行逐帧检测，获取所获得的视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；S130、根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；S140、将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；S150、若所述唇语密码预测值与所述唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。

在其他实施例中，基于唇语密码的人脸识别程序40还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器41中，并由处理器42执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。

所述基于唇语密码的人脸识别程序40可以被分割为：密码视频获取单元、唇语特征集获取单元、基于双向LSTM的唇语识别模型训练单元、基于双向LSTM的唇语识别模型测试单元；其中，密码视频获取单元，用于获得待测主体的读密码视频；唇语特征集获取单元，用于通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；基于双向LSTM的唇语识别模型训练单元，为利用所获取的按时间序列排列的唇语特征集训练好的神经网络模型；基于双向LSTM的唇语识别模型测试单元，为利用所获取的按时间序列排列的唇语特征集进行测试训练好的基于双向LSTM的唇语识别模型。所实现的功能或操作步骤均与上文类似，此处不再详述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括基于唇语密码的人脸识别程序，所述基于唇语密码的人脸识别程序被处理器执行时实现如下操作：S110、获得待测主体的读密码视频；S120、通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；S130、根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；S140、将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；S150、若所述唇语密码预测值与所述唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。

本发明之计算机可读存储介质的具体实施方式与上述基于唇语密码的人脸识别方法、电子装置的具体实施方式大致相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于唇语密码的人脸识别方法，应用于电子装置，其特征在于，所述方法包括：

S110、获得待测主体的读密码视频；

S120、通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取所述视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；

S130、根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；

S140、将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；

S150、若所述唇语密码预测值与所述唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。

2.根据权利要求1所述的基于唇语密码的人脸识别方法，其特征在于，所述基于双向LSTM的唇语识别模型的构建方法包括：

S210、构建用于获取待测主体的嘴唇特征的初始网络层；所述初始网络层为2D卷积网络；

S220、在所述初始网络层上构建用于提取训练集数据中的时间特征的双向LSTM层；

S230、在所述双向LSTM层上构建用于输出唇语密码预测值的Softmax层；

S240、在所述Softmax层上构建优化网络层；其中，所述优化网络层用于将所述唇语密码预测值输入损失函数进行迭代训练，直至损失函数的值达到设定阈值。

3.根据权利要求2所述的基于唇语密码的人脸识别方法，其特征在于，步骤S140包括：

在所述Softmax层中，通过唇语密码预测值公式将所述双向LSTM层提取的时间特征数据计算为唇语密码预测值，所述唇语密码预测值公式如下：P＝W*X+b；

其中，P为唇语密码预测值，X为时间特征数据，W为权重，b为偏移量。

4.根据权利要求1所述的基于唇语密码的人脸识别方法，其特征在于，所述确定所述时间段内的唇语特征集步骤S130包括：

S310、将所述唇语图像进行归一化；

S320、将归一化后的唇语图像存储为规定格式的数据集样本；所述数据集样本包括：样本数、数据序列长度、图像长、图像宽、图像深度。

5.根据权利要求1所述的基于唇语密码的人脸识别方法，其特征在于，所述步骤S120中，通过dlib数据库的特征点模型解析所述唇语图像获取嘴唇特征信息；所述视频中待测主体读密码的起点时刻至终点时刻的时间段通过解析所述读密码视频的声音波形获取。

6.一种电子装置，其特征在于，该电子装置包括：存储器、处理器，所述存储器中存储有基于唇语密码的人脸识别程序，所述基于唇语密码的人脸识别程序被所述处理器执行时实现如下步骤：

S110、获得待测主体的读密码视频；

S120、通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取所述视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；

S130、根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；

S140、将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；

S150、若所述唇语密码预测值与所述唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。

7.根据权利要求6所述的电子装置，其特征在于，所述的基于双向LSTM的唇语识别模型的构建方法包括：

S210、构建用于获取待测主体的嘴唇特征的初始网络层；所述初始网络层为2D卷积网络；

S220、在所述初始网络层上构建用于提取训练集数据中的时间特征的双向LSTM层；

S230、在所述双向LSTM层上构建用于输出唇语密码预测值的Softmax层；

S240、在所述Softmax层上构建优化网络层；其中，所述优化网络层用于将所述唇语密码预测值输入损失函数进行迭代训练，直至损失函数的值达到设定阈值。

8.根据权利要求7所述的电子装置，其特征在于，步骤S140包括：在所述Softmax层中，通过唇语密码预测公式将所述双向LSTM层提取的时间特征数据计算为唇语密码预测值，所述唇语密码预测值公式如下：P＝W*X+b；

其中，P为唇语密码预测值，X为时间特征数据，W为权重，b为偏移量。

9.根据权利要求6所述的电子装置，其特征在于，所述步骤S120中，通过dlib数据库的特征点模型解析所述唇语图像获取嘴唇特征信息；所述视频中待测主体读密码的起点时刻至终点时刻的时间段通过解析所述读密码视频的声音波形获取。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括基于唇语密码的人脸识别程序，所述基于唇语密码的人脸识别程序被处理器执行时，实现如权利要求1至5中任一项所述的基于唇语密码的人脸识别方法的步骤。

Images