CN110287772B - 平面手掌掌心区域提取方法及装置 - Google Patents

Abstract

本发明涉及生物特征识别技术领域。本发明实施例提供一种平面手掌掌心区域提取方法及装置，其中所述平面手掌掌心区域提取方法包括：获取待处理的手掌图像；识别手掌图像中的至少三个手指关键点；确定各个手指关键点在恒定坐标系所分别对应的关键点坐标，其中恒定坐标系的位置在不同的手掌图像中均保持恒定；基于所确定的对应各个手指关键点的关键点坐标建立变换矩阵，并通过矩阵回归运算从手掌图像中提取手掌掌心区域。由此，通过关键点坐标矩阵经过回归运算来确定手掌掌心区域，对拍摄距离具有适应性，能够广泛地应用于移动终端中，且具有较高的精确度。

Description

平面手掌掌心区域提取方法及装置

技术领域

本发明涉及生物特征识别技术领域，具体地涉及一种平面手掌掌心区域提取方法及装置。

背景技术

近年来，工业界、学术界不断致力于提高身份信息的验证效果，以满足门禁控制、航空安全、电子银行等多个不同领域中，对于识别人的身份的严苛需求。基于生物特征识别的方法正吸引着越来越多的关注，掌纹识别便是其中一种极具代表的生物特征识别方法。掌纹识别方法具有区分性高、鲁棒性强、用户友好等诸多优点。掌纹指掌心表面的皮肤纹理，主要包含两类特征：摩擦嵴和屈褶线。这两种特征对于人类个体而言是不变的、永久的、独一无二的。

在目前相关技术中，二维平面的掌心区域裁减是在固定掌纹采集装置上进行的，并裁减小指和无名指间丫点与食指和中指丫点，将两点连接后作中垂线，延伸固定长度找到掌心，从而针对掌心区域进行掌纹识别。这种方法对于点的准确性要求非常高，离开固定掌纹采集装置效果变差，例如，当手掌与固定掌纹采集装置之间的距离不同时，由于图像比例问题会导致所得到的掌心位置也是不可靠的。

发明内容

本发明实施例的目的是提供一种平面手掌掌心区域提取方法及装置，用以至少解决目前固定掌纹采集装置对识别点的准确性要求高，无法适用于移动设备，以及掌心位置提取不准确的问题。

为了实现上述目的，本发明实施例一方面提供一种平面手掌掌心区域提取方法，包括：获取待处理的手掌图像；识别所述手掌图像中的至少三个手指关键点；确定各个所述手指关键点在恒定坐标系所分别对应的关键点坐标，其中所述恒定坐标系的位置在不同的手掌图像中均保持恒定；基于所确定的对应所述各个手指关键点的关键点坐标建立变换矩阵，并通过矩阵回归运算从所述手掌图像中提取手掌掌心区域。

本发明实施例另一方面提供一种平面手掌掌心区域提取装置，包括：获取单元，用于获取待处理的手掌图像；关键点识别单元，用于识别所述手掌图像中的至少三个手指关键点；关键点坐标确定单元，用于确定各个所述手指关键点在恒定坐标系所分别对应的关键点坐标，其中所述恒定坐标系的位置在不同的手掌图像中均保持恒定；掌心区域确定单元，用于基于所确定的对应所述各个手指关键点的关键点坐标建立变换矩阵，并通过矩阵回归运算从所述手掌图像中提取手掌掌心区域。

本发明实施例另一方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现本申请上述的方法的步骤。

本发明实施例另一方面提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请上述的方法的步骤。

通过上述技术方案，识别手掌图像中的手指关键点，并确定各个手指关键点在恒定坐标系中的关键点坐标位置，最后基于不小于三个手指关键点的关键点坐标建立变换矩阵，以通过矩阵回归运算从手掌图像中提取手掌掌心区域。由此，通过关键点坐标矩阵回归运算来确定手掌掌心区域，相比于从关键点简单地延伸固定长度，能更加考虑关键点坐标之间的回归关系，对于手掌与摄像机之间的远近有一定的适应性，具有非常广泛的应用场景，能够广泛地应用于诸如手机这样的通用型终端中，且能够精准地从手掌图像中提取出手掌掌心区域。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例的平面手掌掌心区域提取方法的流程图；

图2是本发明一实施例的平面手掌掌心区域提取方法中针对手掌倾斜情况下进行矩阵回归运算的流程图；

图3是图2中用于确定手掌倾斜度的流程图；

图4A是本发明一实施例的平面手掌掌心区域提取方法中在手掌中应用的手指关键点的示意图；

图4B示出了对图4A所示的手掌图像经过倾斜转化之后的摆正手掌图像的示意图；

图5是本发明一实施例的平面手掌掌心区域提取方法中针对卷积神经网络的训练流程图；

图6是本发明一实施例的平面手掌掌心区域提取方法的流程原理图；

图7是本发明一实施例的平面手掌掌心区域提取装置的结构框图；

图8是本发明另一实施例的平面手掌掌心区域提取装置的结构框图；

图9是本发明一实施例的搭建有平面手掌掌心区域提取装置的实体装置的结构框图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明一实施例的平面手掌掌心区域提取方法，包括：

S11、获取待处理的手掌图像。

关于本发明实施例方法的实施主体，一方面，其可以是专用于掌纹识别或平面手掌掌心区域提取的专用集成组件、专用服务器或专用终端等；另一方面，其还可以是通用型服务器或终端，其中该通用型服务器或终端(例如智能手机、平板电脑等)可以是安装有用于进行掌纹识别或平面手掌掌心区域提取的模块或配置有用于平面手掌掌心区域提取的程序代码，且以上都属于本发明的保护范围内。

关于手掌图像的获取方式，其可以是调用终端的摄像头来采集手掌图像，也可以是终端或服务器接收自底层所上传的手掌图像。因此，本发明实施例的应用并不局限于在固定掌纹采集设备上的应用。

S12、识别手掌图像中的至少三个手指关键点。

示例性地，该手指关键点包括选自以下中的任意一者：手指指尖、手指指节以及手指指根。

需说明的是，所识别的手掌图像中的手指关键点应当大于或等于三个，以满足后续矩阵回归变换计算手掌掌心区域位置的要求。其中，手指关键点也可以用于表示手指特征点，例如可以是将手指上的纹路特征(手指指节和手指指根)或端点特征(例如手指指尖)中的一者或多者来作为标识的手指关键点。另外，关于手指关键点的识别方式，其可以是通过目前相关技术中的关键点识别技术来实现，并且其还可以是通过于此后文中所介绍的方法来实现，且都属于本发明的保护范围内。

S13、确定各个手指关键点在恒定坐标系所分别对应的关键点坐标，其中恒定坐标系的位置在不同的手掌图像中均保持恒定。

需说明的是，在手掌图像中所构建的恒定坐标系在各个不同的手掌图像中的位置(包括坐标系原点和坐标轴)都可以是预先标定好的，其可以是相同的且其不随着图像的变化而改变。另外，关于各个手指关键点在图像中所构建的世界坐标系中的坐标的确定过程，其可以是根据各个手指关键点距坐标系原点的水平距离和垂直距离来确定各个手指关键点的坐标。具体的，可以是选择手掌图像特定物理位置的点作为坐标原点，并基于该坐标原点而构建坐标系，例如将各个手掌图像的左下边角的点作为坐标系原点(0,0)，并以该坐标原点按世界坐标系的两个坐标轴方向(例如X轴向和Y轴向)分别进行延伸，以构建出恒定坐标系的X轴和Y轴。

S14、基于所确定的对应各个手指关键点的关键点坐标建立变换矩阵，并通过矩阵回归运算从手掌图像中提取手掌掌心区域。

其中，基于各个手指关键点的关键点坐标建立变换矩阵，并经过矩阵回归来从手掌图像中提取手掌掌心区域，由于在矩阵回归的过程中会比较不同矩阵中不同坐标点之间的相对关系(例如长度关系)，并进而确定出手掌掌心区域的位置，例如根据上述相对关系而对掌心偏移距离作出对应比例的调整，由此可以对手掌与摄像头之间的远近距离而适应性地调整掌心偏移距离，使得本技术方案不必限制手掌与采集设备之间的距离，能够较佳地适用于终端拍照设备，并依然能够准确地找到手掌掌心区域的位置。

由于在使用移动终端对手掌进行图像采集的过程中，很有可能会出现手掌呈一定手掌倾斜度的情况，此时就应当对上述变换矩阵回归的过程作出适当的改进，以保障所提取的手掌掌心区域的可靠性。

有鉴于此，本发明实施例还提出了如图2所示的针对手掌倾斜情况下进行矩阵回归运算的流程，包括：

S21、根据所确定的关键点坐标，确定手掌倾斜度。

具体的，可以是将恒定坐标系的坐标轴(X或Y轴)作为标定轴，然后将设定关键点之间的连线与标定轴之间的夹角确定为手掌倾斜度。示例性地，在无手掌倾斜的情况下手掌的两个关键点之间的连线与标定轴之间的夹角为0度，那么当实际计算到的这个两个关键点之间的连线与标定轴之间的夹角非0度时，则可以确定是存在手掌倾斜的情况的。

在一些实施方式中，其可以是通过如图3所示的流程来确定手掌倾斜度的：S211、计算第一手指关键点与第二手指关键点之间的坐标向量；S212计算坐标向量的模；S213、根据坐标向量和坐标向量的模，确定手掌倾斜度。

示例性地，其可以是通过以下方式来计算手掌倾斜度：

θ＝arccos(|x2-x1|/|AB|)

其中，A(x1,y1)和B(x2,y2)分别表示第一手指关键点和第二手指关键点的关键点坐标，且在不存在手掌倾斜情况时向量AB平行于X轴；θ表示手掌倾斜度。可以理解的是，还可以通过其他变形的方式来计算手掌倾斜度，例如利用Y轴作为标定轴等等，且都属于本发明的保护范围内。

S22、基于手掌倾斜度和预设定的关键点掌心偏距，计算各个手指关键点进行倾斜转化之后所分别对应的目标关键点坐标。

具体的，预设定的各个手掌关键点与掌心之间的关键点掌心偏距为L1、L2、L3等，且通过计算得出的(相对于X轴)手掌倾角θ，则可以是确定手掌关键点在手掌图像中所表现的像素偏移距离为L1cosθ、L2cosθ和L3cosθ等，因此可以是根据该像素偏移距离来进行计算，以确定经过倾斜转化之后目标关键点坐标。

S23、基于目标关键点坐标组成变换矩阵，并通过矩阵回归运算确定手掌掌心区域的位置。

因此，通过将多个目标关键点坐标矩阵组成矩阵，并进行矩阵回归运算，能够准确地找到手掌掌心区域的位置。如图4A，其示出了在手掌中所标出的5个点，分别是中指指尖、食指指根、中指指根、无名指指根和小拇指指根，通过这些关键点来进行倾斜度计算；如图4B，其示出了经过倾斜转化之后的手掌图像示例，由此可以摆正手掌图像，从而准确地提取出掌心区域。

在一些实施方式中，手指关键点是通过卷积神经网络进行识别的，因此可以是利用卷积神经网络技术来识别手指关键点，提高了关键点识别结果的可靠性和时效性。

如图5所示，本发明实施例的平面手掌掌心区域提取方法中针对卷积神经网络的训练过程，包括：

S51、获取多张训练手掌图像以组成训练手掌图像集，其中各张训练手掌图像预标注了相对应的手指关键点。

关于训练手掌图像，其可以是通过收集由相机(例如手机的相机)拍照所产生的与人手相关的图像，其具体可以是人工拍摄的、或也可以是从互联网上关键词搜索下载而得到的等，在此不作限制；然后，通过物体识别技术(例如语义分割模型)识别出人手区域，并对图像中的人手区域进行裁剪以得到手掌图像。进而，通过人工标注，在手掌图像上标注上各个手掌图像中的关键点，例如对手掌图像中的手指指节或指根等。将标注有人体关键点的图像输入至卷积神经网络进行训练。

S52、将训练手掌图像集输入至卷积神经网络，以训练卷积神经网络，使得经训练的卷积神经网络能够从手掌图像中识别出手指关键点。

具体的，在训练的过程中还可以是将训练手掌图像集分成训练集和验证集，然后基于训练集，迭代训练卷积神经网络，以使得当所迭代训练的网络在验证集上的检测率超过预设定的检测阈值，且误报率小于预设定的误报阈值时，确定完成针对卷积神经网络的训练操作。由此，加快和稳定了针对卷积神经网络的训练过程，保障了经训练后的卷积神经网络具有较佳性能，其能够快速且准确地检测到手掌图像中的手指关键点。

在一些实施方式中，卷积神经网络可以是openpose网络，由此可以是采用openpose网络模型来实现对手指关键点的检测，产生手部2D关节位置的热点图。可以理解的是，一个手指所具有的关节点或端点有手指指尖、手指上指节、手指中指节和手指指根，因此该openpose网络模型可以识别出五根手指的共20个关节点。但是，在本技术方案中可能并不需要应用所有的关节点，并可以是根据预设定的关节点需求设置从所识别的手指关节点中筛选手指关键点，其中关节点需求设置包括针对各个手指的指尖、上指节、中指节和指根中的一者或多者的特定组合，例如可能就用到5个关节点作为手指关键点(其中，包括如图4A和4B所示的四根手指的指根节点和中指的指尖节点)。

在本实施例中所应用的openpose网络模型可以是借助于目前市场上较为成熟的openpose网络模型，但需要对其进行改进，首先在训练数据集上，openpose应当是选用预先人工标注有手指关键点的手掌图像，这些手指关键点可以是一般手势识别情况下的20个关节点，但其还可以是上图所示的5个点，数据量更少以提升训练效率。在本实施例中，openpose网络模型可以是全卷积结构，并还可以是通过使用批量标准化来加快和稳定训练过程；另外，可通过创建数据集的方式来训练检测器(即openpose网络模型)，其中数据集包括训练集和验证集。

具体的，在该数据集中可以是包含10个不同室内环境的项目，其中在验证集中的手掌图像上是人工标注有手指关键点的，而训练集中的手掌图像上是对应于同一室内环境项目下的手掌图像由0penpose自动注释的手指关键点；在训练网络之前，将数据集分成约10000帧的训练集和约1000帧的验证集；网络训练了20000次迭代；当重新训练的网络在验证集上的检测率超过95.0％，且误报率小于2.1％时，可以确定openpose网络模型已经训练收敛完成。最后，该经训练的openpose网络模型可以在约定的时间内检测出手掌图像中的手指关键点。

在本发明实施例中，通过在手掌上选择超过多个关键点(大于或等于三个)，并利用该多个关键点来寻找掌心位置，从而实现了基于多点在平面上构建掌心区域并找到掌心位置，能够较佳地识别出存在倾角的手掌平面中的掌心位置。

如图6所示，本发明一实施例的平面手掌掌心区域提取方法，包括：

S61、获取手掌图像。

其中，可以是应用在对非水平放置的手掌的掌心位置进行识别，因此本技术方案中的手掌图像不仅可以应用在固定设置的掌纹识别设备中，以采集水平放置的手掌的手掌图像。另外，其还可以是通过采集处于非规则安放(例如与水平面之间呈一定角度)的手掌的掌心位置。

在一应用场景下，用户可以打开掌纹识别APP，并通过进一步的操作激活相机模块以采集手掌图像。

S62、识别手掌图像中的多个手指关键点。

关于关键点的数量，其需要是大于三个的，由此可以构建平面并通过回归估算找到掌心位置；关于关键点的类型，其可以是指示手指的指节(包括上、中和下指节)等，具体还可以是各类手指(例如食指、中指等)的指根中点。其中，可以是选择三个或三个以上关键点的目的在于：手掌的三个或三个以上的关键点能够组成平面(三点成面的原理)，进而在下文中将展开描述通过构建手掌平面，并基于多个关键点的坐标进行矩阵变换回归来确定手掌平面的掌心位置，相比于现有技术中通过两关键点划中线取固定延伸距离作为掌心位置更加准确。

具体的关键点识别过程，其可以是通过卷积神经网络来实现的：将经标注有手指关键点的手掌图像作为训练手掌图像，并将该训练手掌图像输入至卷积神经网络进行训练，由此利用该经训练的卷积神经网络进行图像识别时，能够找到手掌中关键点。其可以是通过收集由相机(例如手机的相机)拍照所产生的与人手相关的图像，其具体可以是人工拍摄的、或也可以是从互联网上关键词搜索下载而得到的等；然后，通过物体识别技术(例如语义分割模型)识别出人手区域，并对图像中的人手区域进行裁剪以得到手掌图像。进而，通过人工标注，在手掌图像上标注上各个手掌图像中的关键点，例如对手掌图像中的手指指节或指根中点。将标注有人体关键点的图像输入至卷积神经网络进行训练，从而将该卷积神经网络训练成手指关键点检测网络，以实现对手指关键点的检测。

S63、确定所识别的各个手指关键点的坐标。

在手掌图像中构建恒定坐标系(也就是说该恒定坐标系在各个图像中的位置都是预先标定好的，是相同的且其不随着图像的变化而改变)，并确定各个手指关键点在图像中所构建的世界坐标系中的坐标，例如根据各个手指关键点距坐标系原点的水平距离和垂直距离来确定各个手指关键点的坐标。具体的，可以是选择手掌图像特定位置的点作为坐标原点，并基于该坐标原点而构建坐标系，例如将各个手掌图像的左下边角的点作为坐标原点，并以该坐标原点构建恒定坐标系。

S64、确定掌心偏移距离，并根据掌心偏移距离和所识别的多个手指关键点坐标，确定掌心位置坐标。

通过找到关键点后将关键点坐标作为org原始坐标，并确定原始坐标相对固定坐标dst找到变换矩阵，即mat＝trans.estimate_transform('similarity',org,dst)，进而利用变换矩阵对图像进行变换。其中，可以是依据变换矩阵来计算当前手掌的掌心偏移距离。

关于掌心位置坐标的确定，其可以是从多个手指关键点(沿着坐标系y轴方向)向掌内延伸掌心半径(Lcosθ)得到多个延伸点，并根据多个延伸点的坐标确定掌心位置坐标。因此，通过3个点或超过3个点的多个关键点所对应的坐标进行矩阵变换来回归掌心位置坐标，能够较准确地预测出掌心点位置坐标。

在一些实施方式中，当手掌平面与水平面之间存在倾角时，我们需要这种情况进行识别，并对相应的掌心点位置坐标作出调整。具体的，其可以是通过倾角计算检测模块来实现的，其中该倾角计算检测模块可以是将中指指尖关节与中指指根关节之间的连线与恒定水平面或恒定坐标系的X轴之间的夹角确定为手掌倾角θ，因此在通过上文实施例中的openpose网络模型检测到中指指尖关键点A(x1,y1)B(x2,y2)和中指指根关键点B后，可以确定向量AB相对于X轴的夹角，也就是手掌倾角θ：

θ＝arccos(|x2-x1|/|AB|)

由此，借助于openpose网络模型所检测的手指关键点，能够计算出手掌图像中的手掌倾角θ。此时，应当将L*cosθ确定为掌心偏移距离(L表示的是预设的在关键点与掌心之间的标定延长距离)，并进而根据关键点向掌内延伸的新的延伸点来确定相应的掌心位置坐标。在本实施例中，通过关键点卷积神经网络识别出多个手掌关键点，通过计算得出的手掌倾角θ，然后再利用预设的各个手掌关键点与掌心之间的标定距离L1、L2、L3等，来确定对应的偏移距离L1cosθ、L2cosθ和L3cosθ等；进而，将经偏移距离变换之后的关键点坐标组成变换矩阵，最后基于变换矩阵通过回归运算便能够得到准确掌心位置。

通过本发明实施例，应用多个手指关键点来在平面上确定掌心位置，并还通过倾角预测及补偿来弥补手掌倾斜角度所带来的掌心识别误差，实现了更加准确地找到掌心位置。

如图7所示，本发明一实施例的平面手掌掌心区域提取装置，包括：

获取单元701，用于获取待处理的手掌图像；

关键点识别单元702，用于识别所述手掌图像中的至少三个手指关键点，其中所述手指关键点包括选自以下中的任意一者：手指指尖、手指指节以及手指指根；

关键点坐标确定单元703，用于确定各个所述手指关键点在恒定坐标系所分别对应的关键点坐标，其中所述恒定坐标系的位置在不同的手掌图像中均保持恒定；

掌心区域确定单元704，用于基于所确定的对应所述各个手指关键点的关键点坐标建立变换矩阵，并通过矩阵回归运算从所述手掌图像中提取手掌掌心区域。

优选地，所述掌心区域确定单元704还用于根据所确定的所述关键点坐标，确定手掌倾斜度，以及，基于所述手掌倾斜度和预设定的关键点掌心偏距，计算所述各个手指关键点进行倾斜转化之后所分别对应的目标关键点坐标，以及，基于所述目标关键点坐标组成变换矩阵，并通过矩阵回归运算确定所述手掌掌心区域的位置。

优选地，所述掌心区域确定单元704还用于计算第一手指关键点与第二手指关键点之间的坐标向量，计算所述坐标向量的模，以及，根据所述坐标向量和所述坐标向量的模，确定所述手掌倾斜度。

优选地，所述掌心区域确定单元704还用于通过包括以下的方式来计算所述手掌倾斜度：

θ＝arccos(|x2-x1|/|AB|)

其中，A(x1,y1)和B(x2,y2)分别表示第一手指关键点和第二手指关键点的关键点坐标，且在不存在手掌倾斜情况时向量AB平行于X轴；θ表示手掌倾斜度。

在具体的应用场景中，如图8所示，该装置还包括训练单元705，用于获取多张训练手掌图像以组成训练手掌图像集，其中各张所述训练手掌图像预标注了相对应的手指关键点，以及，将所述训练手掌图像集输入至所述卷积神经网络，以训练所述卷积神经网络，使得经训练的所述卷积神经网络能够从手掌图像中识别出手指关键点。

优选地，所述训练单元705还用于将所述训练手掌图像集分成训练集和验证集，以及基于所述训练集，迭代训练所述卷积神经网络，以及当所迭代训练的网络在所述验证集上的检测率超过预设定的检测阈值，且误报率小于预设定的误报阈值时，确定完成针对所述卷积神经网络的训练操作。

在一些实施方式中，所述卷积神经网络包括openpose网络。

需要说明的是，本发明实施例提供的一种平面手掌掌心区域提取装置所涉及各功能单元的其他相应描述，可以参考图1-6中的对应描述，在此不再赘述。

基于上述如图1-6所示方法，相应的，本发明实施例还提供了一种存储设备，其上存储有计算机程序，该程序被处理器执行时实现上述如图1-6所示的平面手掌掌心区域提取方法。

基于上述如图1-6所示方法和如图7、8所示虚拟装置的实施例，为了实现上述目的，如图9所示，本发明实施例还提供了一种平面手掌掌心区域提取装置的实体装置90，该实体装置90包括存储设备901和处理器902；所述存储设备901，用于存储计算机程序；所述处理器902，用于执行所述计算机程序以实现上述如图1-6所示的平面手掌掌心区域提取方法。

通过应用本发明的技术方案，识别手掌图像中的手指关键点，并确定各个手指关键点在恒定坐标系中的关键点坐标位置，最后基于不小于三个手指关键点的关键点坐标建立变换矩阵，以通过矩阵回归运算从手掌图像中提取手掌掌心区域。由此，通过关键点坐标矩阵回归运算来确定手掌掌心区域，相比于从关键点简单地延伸固定长度，能更加考虑关键点坐标之间的回归关系，对于手掌与摄像机之间的远近有一定的适应性，具有非常广泛的应用场景，能够广泛地应用于诸如手机这样的通用型终端中，且都能够精准地从手掌图像中提取出手掌掌心区域。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (7)

1.一种平面手掌掌心区域提取方法，其特征在于，包括：

获取待处理的手掌图像；

识别所述手掌图像中的至少三个手指关键点，其中所述三个手指关键点能够组成平面；

确定各个所述手指关键点在恒定坐标系所分别对应的关键点坐标，其中所述恒定坐标系的位置在不同的手掌图像中均保持恒定；

基于所确定的对应各个手指关键点的关键点坐标建立变换矩阵，并通过矩阵回归运算从所述手掌图像中提取手掌掌心区域；

所述基于所确定的对应各个手指关键点的关键点坐标建立变换矩阵，并通过矩阵回归运算从所述手掌图像中提取手掌掌心区域包括：

根据所确定的所述关键点坐标，确定手掌倾斜度；

基于所述手掌倾斜度和预设定的关键点掌心偏距，计算所述各个手指关键点进行倾斜转化之后所分别对应的目标关键点坐标；

基于所述目标关键点坐标组成变换矩阵，并通过矩阵回归运算确定所述手掌掌心区域的位置；

所述根据所确定的所述关键点坐标，确定手掌倾斜度包括：

计算第一手指关键点与第二手指关键点之间的坐标向量；

计算所述坐标向量的模；

根据所述坐标向量和所述坐标向量的模，确定所述手掌倾斜度；

通过以下的方式来计算所述手掌倾斜度：

θ = arccos(|x2-x1|/|AB|)

其中，A(x1,y1)和B(x2,y2)分别表示第一手指关键点和第二手指关键点的关键点坐标，且在不存在手掌倾斜情况时向量AB平行于X轴；θ表示手掌倾斜度。

2.根据权利要求1所述的方法，其特征在于，所述手指关键点是通过卷积神经网络进行识别的，其中该方法还包括针对卷积神经网络的训练过程，所述针对卷积神经网络的训练过程包括：

获取多张训练手掌图像以组成训练手掌图像集，其中各张所述训练手掌图像预标注了相对应的手指关键点；

将所述训练手掌图像集输入至所述卷积神经网络，以训练所述卷积神经网络，使得经训练的所述卷积神经网络能够从手掌图像中识别出手指关键点。

3.根据权利要求2所述的方法，其特征在于，所述将所述训练手掌图像集输入至所述卷积神经网络，以训练所述卷积神经网络包括：

将所述训练手掌图像集分成训练集和验证集；

基于所述训练集，迭代训练所述卷积神经网络；

当所迭代训练的网络在所述验证集上的检测率超过预设定的检测阈值，且误报率小于预设定的误报阈值时，确定完成针对所述卷积神经网络的训练操作。

4.根据权利要求2所述的方法，其特征在于，所述卷积神经网络包括openpose网络，其中针对所述手指关键点的识别操作包括：

基于所述openpose网络识别出手掌图像中的各个手指关节点；以及

根据预设的关节点需求设置从所识别的手指关节点中自动注释手指关键点，其中所述关节点需求设置包括针对各个手指的指尖、上指节、中指节和指根中的一者或多者的特定组合。

5.一种平面手掌掌心区域提取装置，其特征在于，包括：

获取单元，用于获取待处理的手掌图像；

关键点识别单元，用于识别所述手掌图像中的至少三个手指关键点，其中所述三个手指关键点能够组成平面；

关键点坐标确定单元，用于确定各个所述手指关键点在恒定坐标系所分别对应的关键点坐标，其中所述恒定坐标系的位置在不同的手掌图像中均保持恒定；

掌心区域确定单元，用于基于所确定的对应所述各个手指关键点的关键点坐标建立变换矩阵，并通过矩阵回归运算从所述手掌图像中提取手掌掌心区域；

所述掌心区域确定单元还用于根据所确定的所述关键点坐标，确定手掌倾斜度，以及，基于所述手掌倾斜度和预设定的关键点掌心偏距，计算所述各个手指关键点进行倾斜转化之后所分别对应的目标关键点坐标，以及，基于所述目标关键点坐标组成变换矩阵，并通过矩阵回归运算确定所述手掌掌心区域的位置；

所述掌心区域确定单元还用于计算第一手指关键点与第二手指关键点之间的坐标向量，计算所述坐标向量的模，以及，根据所述坐标向量和所述坐标向量的模，确定所述手掌倾斜度；

所述掌心区域确定单元还用于通过包括以下的方式来计算所述手掌倾斜度：

θ = arccos(|x2-x1|/|AB|)

其中，A(x1,y1)和B(x2,y2)分别表示第一手指关键点和第二手指关键点的关键点坐标，且在不存在手掌倾斜情况时向量AB平行于X轴；θ表示手掌倾斜度。

6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

7.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。