CN110210443A - 一种优化投影对称性近似稀疏分类的手势识别方法 - Google Patents

Abstract

本发明涉及一种优化投影对称性近似稀疏分类的手势识别方法，首先通过对手势图像进行归一化校正、提取手势特征、构建OP‑SYSRC算法、然后采用目标识别的Faster R‑CNN算法并通过迁移学习来构建手势识别模型，在模型进行区域选择及特征提取程序后加入构建的OP‑SYSRC算法，对模型进行训练和测试。在大数据手势识别环境下，大大提高了大数据库容量下手势图像的识别和对比度性能，确保了系统的数据可扩展性。

Description

一种优化投影对称性近似稀疏分类的手势识别方法

技术领域

本发明属于图像处理与计算机视觉领域，具体涉及一种基于大数据的OP-SYSRC(优化投影对称性近似稀疏表示分类)鲁棒手势识别算法。

背景技术

大数据技术的发展和应用促进了各领域信息技术的快速发展，大量数据不断更新，支持各种数据库。如果这些数据得到充分利用，它们将带来巨大的价值回报。手势识别已广泛应用于个人认证，视频监控和人机交互等领域。目前手势识别已经逐步运用到军事方面命令指挥手语的工作。指挥人员对计算机设备做出部队的命令手势，计算机通过摄像头实时的检测并理解指挥人员的命令手势，将新的行动命令传达给无人机、无人车或其他作战人员。而计算机等设备采集手势图像需要提取具有识别的特征并将该特征与存储在数据集中的模板进行比较来执行自动手势识别。随着鲁棒特征表示和匹配技术的发展，手势识别系统的准确性不断提高，并且多个公共基准数据库的错误率显着降低。

针对大数据的手势识别实时性差和识别率低的问题。提出了一种基于大数据的OP-SYSRC(优化投影对称性近似稀疏表示分类)鲁棒手势识别算法来解决手势图像识别中的问题。基于OP-SRC的思想，提出了OP-SYSRC监督降维算法。当SYSRC(对称性近似稀疏表)分类算法用于将高维复杂背景的手势图像数据投影到低维空间时，可以保留数据的类别信息，并且可以有效地减少数据维度。OP-SYSRC使用分类残差作为标准并进行线性正交投影，这使OP-SYSRC成为监督角色。它将高维手势图像转换为具有不同信息的小特征进行分类，并且计算的数量很少，这可以减少存储。这对提高图像分类效率，获得更高的识别率，具有十分重要的意义。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，弥补现有手势识别中手部特征提取和降维方式误差大和鲁棒性弱的不足，本发明提出一种优化投影对称性近似稀疏分类的手势识别方法。

技术方案

一种优化投影对称性近似稀疏分类的手势识别方法，其特征在于步骤如下：

步骤1：图像预处理

采集若干手势图像数据，对手势图像进行归一化校正；

步骤2：提取手势特征

首先对手势图像通过梯度操作和图像卷积获得单向振幅图像，然后将单向振幅图像分成7×7个单元格，得到多个单元格的幅度信息，并将多个幅度信息累加得到图像的最终幅度梯度；采用局部二进制模式LBP对最终幅度梯度得到累积幅度图像，对累积幅度图像进行编码以获得POEM图像，并对POEM图像进行维度Γ，即手势特征提取：

其中D^B和D^W分别是相似度矩阵B和类内相似度矩阵W的类或列的元素之和，B和W是对称矩阵，且D^B和D^W是对角矩阵，L^W和L^B是拉普拉斯矩阵；得到所有手势特征集合S＝{Γ₁,Γ₂,Γ₃,......,Γ_M}；

步骤3：构建OP-SYSRC算法

采用PCA降维方法将特征数据从高维空间投影到一个低维子空间进行降维处理；

将集合S里面的特征遍历一遍后进行累加，然后取平均值得到平均图像Ψ：

计算每张手势图像和平均图像的差值Φ_n，即使用集合S里的每个特征元素减去平均图像Ψ：

Φ_n＝Γ_n-Ψ (6)

计算整个集合的分歧特征λ_k：

其中，u_k是一个大于零小于1的偏差值，k＝{1,2,3,......,K}；

输入一张新的手势图像后，采用分歧特征对其进行分类：

ω_k＝u_k(λ_k-ΨΨ^T) (8)

ω_k是这个类别的分歧特征所有的权重并构成一个向量：

Ω＝[ω₁,ω₂,......,ω_M] (9)

每一个正确的手势类别都会相对应的一个区间值ε，最后根据分歧特征的权重向量就可以得到最终类别的区间值ε_k：

ε_k＝||Ω-Ω_k||² (10)

其中Ω_k是对应手势类别区间值的初始权重向量；

步骤4：模型训练/测试：

采用目标识别的Faster R-CNN算法并通过迁移学习来构建手势识别模型，在模型进行区域选择及特征提取程序后加入步骤3构建的OP-SYSRC算法；

在训练过程中，每一批次处理32幅图像，初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001；训练过程共进行5万次迭代，得到训练好的手势识别模型；采用训练好的手势识别模型对样本进行测试。

有益效果

本发明提出的一种优化投影对称性近似稀疏分类的手势识别方法，与现有技术相比，具有以下有益效果：

1.能够适用于多数量的图像数据类型，而且还能确保快速准确的手势识别稳定，降低优化难度和计算强度；

2.在大数据手势识别环境下，大大提高了大数据库容量下手势图像的识别和对比度性能，确保了系统的数据可扩展性。

3.与传统的PCA方法相比，加入了OP-SYSRC算法的PCA在手势图像分类准确率达到了95％，大大提高了分类效果。

附图说明

图1为本发明改进后的手势识别技术系统工作流程图；

图2为本发明提出的算法对手势图片样本集的降维处理；

图3为本发明提出的算法对手势图片样本集归一化处理的速率；

具体实施方式

本发明提出一种基于大数据的OP-SYSRC鲁棒手势识别算法，其主要由手势识别的技术特征、OP-SYSRC算法的构建和模型训练/测试三部分构成。

该方法具体包括步骤如下：

1.手势识别的特征提取：

在采集到众多手势图像数据后，首先，需要对手势图像进行归一化校正，这是手势识别的重要部分。其目的主要是去除手势图像中的复杂背景等干扰信息。归一化校正的结果直接影响后续特征提取和分类识别的效果。这样使得每个图像仅包含手势的特征区域。

在得到经过归一化的手势图像后，提取图像的POEM特征，并执行特征尺寸缩减以提取图像的主要特征。手势特征提取首先通过梯度操作和图像卷积获得像素梯度的梯度和方向。然后将单向振幅图像分成7×7个单元格，得到多个单元格的幅度信息，并将多个幅度信息累加得到图像的最终幅度梯度；采用局部二进制模式LBP对最终幅度梯度得到累积幅度图像。对累积幅度图像进行编码以获得POEM图像，最后提取维度，目标函数为

其中W_ij是样本类中的相似性矩阵，B_ij是样本类之间的相似性矩阵。通过热核方法构建相似性矩阵，热核公式如下式所示:

通过找到线性变换矩阵来实现高维数据的维数降低。假设a是投影向量，经过简单的转换后，目标函数转换为：

其中D^B和D^W分别是相似度矩阵B和类内相似度矩阵W的类或列的元素之和，B和W是对称矩阵，且D^B和D^W是对角矩阵,L^W和L^B是拉普拉斯矩阵。通过等式(1)可以获得投影向量a的最大值，则根据下式求解最大特征值的特征向量：

XL^BX^Ta＝λXL^WX^Ta (4)

计算过程是首先使用K近邻方法来确定两点之间是否存在边缘，并构造一个类内邻接图和一个类间邻接图，其中KNN占据最接近的五个邻居。然后，通过热核方法构造样本类中的权重矩阵W和类之间的权重矩阵B，以求解方程(4)的广义特征矩阵。

1.OP-SYSRC算法的构建：

经过第二步对手势图像集归一化处理和特征提取后，采用PCA降维方法将特征数据从高维空间投影到一个低维子空间实现降维处理，OP-SYSRC方法是一种优化投影对称性近似稀疏表示的方法，在PCA中起着监督作用，使得高维数据投影到低维数据中时，保留着手势特征最主要的分歧特征，这种分歧特征对手势图像的分类尤为重要。

在OP-SYSR分类算法中，将第一步获取到的所有手势特征设为集合S＝{Γ₁,Γ₂,Γ₃,......,Γ_M}，然后把集合S里面的特征遍历一遍进行累加，然后取平均值得到平均图像Ψ：

这里Γ是单个手势特征值，Ψ是一个N维的特征向量。

下来计算每张图像和平均图像的差值Φ，就是用S集合里的每个特征元素减去步骤二中的平均值。

Φ_M＝Γ_M-Ψ (6)

假定每个手势图像在开始输入前都有一个模糊的手势分类，设有K个类别的手势共M张图片，在公式(6)中我们得到了整个图像特征集合的平均值Φ，通过下式来计算出整个集合的分歧特征λ_k：

这里u_k是一个大于零小于1的偏差值。

上面几步构建了OP-SYSRC分类算法得到降维处理后的手势独特的分歧特征。这时我们在输入一张新的手势图像后，我们可以用分歧特征对其进行分类：

ω_k＝u_k(λ_k-ΨΨ^T) (8)

ω_k是这个类别的分歧特征所有的权重并构成一个向量：

Ω＝[ω₁,ω₂,......,ω_M] (9)

每一个正确的手势类别都会相对应的一个区间值ε，最后根据分歧特征的权重向量就可以得到最终类别的区间值ε_k：

ε_k＝||Ω-Ω_k||² (10)

其中Ω_k是对应手势类别区间值的初始权重向量。

3.模型训练/测试：

本发明选择ChaLearn Gesture Data(CGD)手势识别数据库的共享手势数据库进行测试。CGD手势数据库包含1040人的20种不同类别的手势共80000张图像。采用目标识别的Faster R-CNN算法并通过迁移学习来构建手势识别模型，在模型进行区域选择及特征提取程序后加入步骤3构建的OP-SYSRC算法；

模型训练和测试均在Nvidia GeForce RTX 2080Ti上进行，在训练过程中，每一批次处理32幅图像，初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001。训练过程共进行5万次迭代，迭代第2万次和第4万次分别将学习速率缩小10倍。通过改变饱和度、曝光度和色调，对训练图像进行数据扩充，考虑旋转角度与分类结果直接相关，数据扩充时并不改变其旋转角度。

Claims (1)

1.一种优化投影对称性近似稀疏分类的手势识别方法，其特征在于步骤如下：

步骤1：图像预处理

采集若干手势图像数据，对手势图像进行归一化校正；

步骤2：提取手势特征

首先对手势图像通过梯度操作和图像卷积获得单向振幅图像，然后将单向振幅图像分成7×7个单元格，得到多个单元格的幅度信息，并将多个幅度信息累加得到图像的最终幅度梯度；采用局部二进制模式LBP对最终幅度梯度得到累积幅度图像，对累积幅度图像进行编码以获得POEM图像，并对POEM图像进行维度Γ，即手势特征提取：

其中D^B和D^W分别是相似度矩阵B和类内相似度矩阵W的类或列的元素之和，B和W是对称矩阵，且D^B和D^W是对角矩阵，L^W和L^B是拉普拉斯矩阵；得到所有手势特征集合S＝{Γ₁,Γ₂,Γ₃,......,Γ_M}；

步骤3：构建OP-SYSRC算法

采用PCA降维方法将特征数据从高维空间投影到一个低维子空间进行降维处理；

将集合S里面的特征遍历一遍后进行累加，然后取平均值得到平均图像Ψ：

计算每张手势图像和平均图像的差值Φ_n，即使用集合S里的每个特征元素减去平均图像Ψ：

Φ_n＝Γ_n-Ψ (6)

计算整个集合的分歧特征λ_k：

其中，u_k是一个大于零小于1的偏差值，k＝{1,2,3,......,K}；

输入一张新的手势图像后，采用分歧特征对其进行分类：

ω_k＝u_k(λ_k-ΨΨ^T) (8)

ω_k是这个类别的分歧特征所有的权重并构成一个向量：

Ω＝[ω₁,ω₂,......,ω_M] (9)

每一个正确的手势类别都会相对应的一个区间值ε，最后根据分歧特征的权重向量就可以得到最终类别的区间值ε_k：

ε_k＝||Ω-Ω_k||² (10)

其中Ω_k是对应手势类别区间值的初始权重向量；

步骤4：模型训练/测试：

采用目标识别的Faster R-CNN算法并通过迁移学习来构建手势识别模型，在模型进行区域选择及特征提取程序后加入步骤3构建的OP-SYSRC算法；

在训练过程中，每一批次处理32幅图像，初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001；训练过程共进行5万次迭代，得到训练好的手势识别模型；采用训练好的手势识别模型对样本进行测试。