CN105930773A - 动作识别方法及装置 - Google Patents

Abstract

本发明公开了一种动作识别方法及装置，本发明中首先采集人体动作，并对人体动作进行初步编辑，确定动作的起始和结束帧；之后提取编辑后的人体动作数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；之后移除描述特征中的存在的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；最后以上述处理后得到的描述特征作为输入，输入到支持向量机模型进行训练，最后得到可对动作进行识别的分类模型。对于具体的动作，分类模型将给出对应的动作标签，所得到的分类模型即实现了对新的人体动作的定义。利用本发明的方法工具用户只需录制自己或他人的动作便可完成动作的定义和识别，识别效果达到95％以上。

Description

动作识别方法及装置

技术领域

本发明涉及体人机交互技术领域，更具体涉及一种动作识别方法及装置。

背景技术

在人机交互领域，动作识别是体感交互的前提，动作识别和行为理解逐渐成为人机交互领域的研究热点。为达到有效的交互目的，必须对不同的交互动作，包含肢体运动、手势以及静态姿势，进行定义和识别。

目前，基于Kinect的动作识别方法较多，如事件触发方法、模板匹配方法、机器学习方法等。现有技术中提出的灵活动作和铰接式骨架工具包(flexible action and articulated skeleton toolkit,FAAST)是介于Kinect开发包和应用程序之间的体感操作中间件，主要采用事件触发方式进行识别，如角度、距离、速度等事件，该方法计算量小，实时性和准确率高，但事件触发方法本身具有局限性，对连续动作的识别较困难，同时不能实现新动作的定义和使用。

近年来，基于Kinect体感技术的动作识别应用开发十分丰富，但在这些应用中，虽然能够有效跟踪人体运动轨迹，但识别动作比较单一且识别方法不利于扩展，亟待研究和开发一种具有扩展性和通用性的动作识别模型。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何快速方便地识别用户的姿势动作，以供后续使用。

(二)技术方案

为了解决上述技术问题，本发明提供了一种动作识别方法，所述方法包括以下步骤：

S1、采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；

S2、提取所述步骤S1编辑之后的人体动作的数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；

S3、移除所述描述特征中存在的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；

S4、将所述步骤S3处理后得到的描述特征输入到支持向量机分类模型进行训练，训练得到的分类模型即实现对新的人体动作的定义；对于具体的动作，分类器将给出一个具体的标签以标识识别的动作。其中，所述标签用于标识对应的人体动作；

S5、接受特定动作的标签，触发与该动作关联的键盘或鼠标事件，并将该事件递交给目标应用。

优选地，所述步骤S1中采集人体动作之前所述方法还包括以下步骤：

设置所述人体动作的名称以及动作持续时间；

采集倒计时开始计时，经过预定倒计时时长后开始采集人体动作；

所述步骤S1中采集人体动作之后所述方法还包括以下步骤：

采集所述动作持续时间长度内的人体动作后将采集的人体动作进行保存；

所述步骤S1中初步编辑具体为：选定起始帧和结束帧，移除所述起始帧之前以及所述结束帧之后的人体动作帧的数据。

优选地，所述步骤S2中提取所述关节点具体包括以下步骤：

S21、利用Kinect SDK API获取关节点位置，该位置基于Kinect设备空间坐标系；

S22、以用户右手方向为x轴正方向，头部正上方为y轴正方向，面向交互设备正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；

S23、Kinect设备空间坐标系oxyz下的坐标点P(x,y,z)与用户空间坐标系o’x’y’z’下的坐标点P’(x’,y’,z’)的变换关系可描述下式，

$(x^{\′},y^{\′},z^{\′},1)=(x,y,z,1)\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& -1& 0\\ -x_0& -y_0& -z_0& 1\end{array}\right)---\left(1\right)$

式中，O’(x₀,y₀,z₀)表示用户空间坐标系o’x’y’z’的坐标原点。

优选地，所述步骤S2中提取所述圆形度以及泽尼克矩具体包括以下步骤：

S24、对所述步骤S1编辑之后的人体动作进行运动检测，检测方法参考如下公式

$\left\{\begin{array}{c}|color(x,t)-color(x,t-1)|>th\\ depth(x,t)-\mathrm{de}pth(x,t-1)>0\end{array}\right.---\left(2\right)$

式中color(x，t)和color(x，t-1)分别是位置x＝(x，y)处t时刻和t-1时刻的色彩帧像素，depth(x,t)和depth(x,t-1)是相应像素的深度值，th为第一预定阈值，所述第一预定阀值用于区分实际的人体运动与噪声；

S25、在运动检测后，首先估计一个初始前景模板，以上一个步骤中的像素点作为种子像素，实现一个区域增长算法不断扩大种子区域，其中所述区域增长算法具体为：比较所述种子像素与其近邻像素，若近邻像素与种子像素满足下面公式，则近邻像素与种子像素相似，则对应的近邻像素被添加到种子区域，如此，种子区域被扩大，当不再有近邻像素被包含时，迭代结束；

$(x_i,y_i)\∈\underset{\‾}{R}\↔\left|f\right(x_i-y_i)-f(p_k\left)\right|\≤th---\left(3\right)$

式中，表示当前帧中增长区域中的像素集合，P(t)＝{p₁＝(x₁,y₁),p₂＝(x₂,y₂),…}为的子集，(x_i,y_i)为待判定的像素点p_k是P(t)中的任意一个点，th为特定阈值；

S26、对所述步骤S25处理后得到的数据进行基于边缘的改进：

通过膨胀稍微扩大色彩帧以确保包含所有重要的边缘；在扩大的模板上应用canny算子，使用膨胀算子连接边缘；将得到的结果掩码与初始的掩码进行与操作以排除冗余的背景数据；

S27、对所述步骤S26处理后的数据进行基于色彩信息的改进，以减少深度数据上的边界错误；

S28、利用下面的公式计算一维径向多项式R_n,m为：

$R_{n,m}-{\mathrm{\Σ}}_{s=0}^{(n-|m\left|\right)/2}{(-1)}^s\frac{(n-s)!}{s!\left(\right(\frac{n+\left|m\right|}{2})-s)!\left(\right(\frac{n-\left|m\right|}{2})-s)!}{\mathrm{\ρ}}^{n-2s}---\left(4\right)$

式中，n是一个非负整数，表示一维径向多项式的阶数，m是一个非零整数，满足n-|m|＝even和|m|≤n，表示相位角的重复度，ρ是点(x，y)到原点的向量的长度，其中点(x，y)是经过所述步骤S27处理后得到的数据点；

S29、利用下面的公式计算泽尼克基函数：定义在单位圆内的复值二维泽尼克基函数表示为如下：

V_n,m(ρ，θ)＝R_n，me^im，|ρ|≤1 (5)

复值二维泽尼克多项式满足正交性：

${\∫}_0^{2\mathrm{\π}}{\∫}_0^1{V}_{n,m}^{*}(\mathrm{\ρ},\mathrm{\θ})V_{p,q}(\mathrm{\ρ},\mathrm{\θ})\mathrm{\ρ}d\mathrm{\ρ}d\mathrm{\θ}=\left\{\begin{array}{cc}\frac{\mathrm{\π}}{n+1}& n=p,m=q\\ 0& otherwise\end{array}\right.---\left(6\right)$

式中，*表示复共轭，V_p,q与V_n,m的含义相同，区别在于基数不同；

S210、将步骤S27处理后得到的数据对应的图像投影到泽尼克基函数，并利用下面的公式计算泽尼克矩：

$Z_{n,m}=\frac{n+1}{\mathrm{\π}}{\∫}_0^{2\mathrm{\π}}{\∫}_0^{1}f(\mathrm{\ρ},\mathrm{\θ})V_{n,m}^{*}(\mathrm{\ρ},\mathrm{\θ})\mathrm{\ρ}d\mathrm{\ρ}d\mathrm{\θ}---\left(7\right)$

上式表示阶为n，相位角重复为m的复泽尼克矩式中，f(x，y)为图像的函数；

其中，为达到尺度和平移不变性，图像函数f(x，y)需被归一化，转换方程为：

$g(x,y)=f(\frac{x}{a}+\stackrel{\‾}{x},\frac{y}{a}+\stackrel{\‾}{y})---\left(8\right)$

S211、利用所述步骤S27处理后的数据以及下面的公式计算所述圆形度：

$Comp=\frac{2\sqrt{A\mathrm{\π}}}{P}---\left(9\right)$

式中，A是所述步骤S27处理后的数据对应的图像的面积，而P是所述步骤S27处理后的数据对应的图像的周长；

优选地，所述步骤S3中利用动态时间规整法移除所述描述特征的噪声；

所述步骤S3中利用Fourier Temporal Pyramid清除所述描述特征由于动作速率变化带来的误差以及动作时间匹配上的误差。

一种动作识别用的装置，所述装置包括动作采集单元、特征提取单元、数据清洗单元、动作分类单元以及输入模拟器单元；

所述动作采集单元用于采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；

所述特征提取单元用于提取所述动作采集单元编辑之后的人体动作的数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；

所述数据清洗单元用于移除所述描述特征的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；

所述动作分类单元用于接收为所述数据清洗单元处理后得到的描述特征然后进行模型训练，训练得到的分类模型就具体的动作输出一个标签，，以此实现对新的人体动作的定义和识别；其中，所述标签用于标识对应的人体动作；

所述输入模拟器单元用于接受特定动作的标签，触发与该动作关联的键盘或鼠标事件，并将该事件递交给目标应用。

优选地，所述动作采集单元包括设置子单元、倒计时计时子单元、采集子单元、存储子单元、导入子单元以及编辑子单元；

所述设置子单元用于设置预定倒计时、所述人体动作的名称以及动作持续时间；

所述倒计时计时子单元用于在采集倒计时开始计时，经过预定倒计时时长后控制所述采集子单元开始工作，采集人体动作；

所述导入子单元用于导入包含人体动作的文件；

所述存储子单元用于在所述采集子单元采集所述动作持续时间的时间长度的人体动作后将采集的人体动作进行保存；

所述编辑子单元用于选定起始帧和结束帧，删除所述起始帧之前以及所述结束帧之后的人体动作对应的数据。

优选地，所述特征提取单元包括关节点提取子单元，

所述关节点提取子单元用于利用Kinect SDK API获取关节点位置基于Kinect设备空间坐标系；以用户右手方向为x轴正方向，头部正上方为y轴正方向，面向交互设备正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；Kinect设备空间坐标系oxyz下的坐标点P(x,y,z)与用户空间坐标系o’x’y’z’下的坐标点P’(x’,y’,z’)的变换关系可描述下式，

$(x^{\′},y^{\′},z^{\′},1)=(x,y,z,1)\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& -1& 0\\ -x_0& -y_0& -z_0& 1\end{array}\right)---\left(1\right)$

式中，O’(x₀,y₀,z₀)表示用户空间坐标系o’x’y’z’的坐标原点。

优选地，所述特征提取单元包括数据处理子单元、圆形度提取子单元以及泽尼克矩提取子单元；

所述数据处理子单元用于对所述步述动作采集单元编辑之后的人体动作进行运动检测，去除不符合下面公式的人体动作对应的数据：

$\left\{\begin{array}{c}|color(x,t)-color(x,t-1)|>th\\ depth(x,t)-\mathrm{de}pth(x,t-1)>0\end{array}\right.---\left(2\right)$

式中color(x，t)和color(x，t-1)分别是位置x＝(x，y)处t时刻和t-1时刻的色彩帧像素，depth(x,t)和depth(x,t-1)是相应像素的深度值，th为第一预定阈值，所述第一预定阀值用于区分实际的人体运动与噪声；

所述数据处理子单元还用于在运动检测后，设置一个初始前景掩码，并且选取种子像素，并利用区域增长算法完成整个种子区域，其中所述区域增长算法具体为：比较所述种子像素与近邻像素，若近邻像素与种子像素满足下面公式，则近邻像素与种子像素相似，则对应的近邻像素被添加到种子区域，如此，种子区域被扩大，当不再有近邻像素被包含时，迭代结束；

$(x_i,y_i)\∈\underset{\‾}{R}\↔\left|f\right(x_i-y_i)-f(p_k\left)\right|\≤th---\left(3\right)$

式中，表示当前帧中增长区域中的像素集合，P(t)＝{p₁＝(x₁，y₁),p₂＝(x₂，y₂)，…}为的子集，由跟所述种子像素(x_i，y_i)邻接的点组成，p_k是P(t)中的任意一个点，th为预第二定阈值；

所述数据处理子单元还用于对整个种子区域的数据进行基于边缘的改进：

通过膨胀稍微扩大色彩帧以确保包含所有重要的边缘；在扩大的掩码上应用canny算子，使用膨胀算子连接边缘；将得到的结果掩码与初始的掩码进行与操作以排除冗余的背景数据；

所述数据处理子单元还用于对基于边缘改进处理后的数据进行基于色彩信息的改进，以减少深度数据上的边界错误；

所述泽尼克矩提取子单元用于利用下面的公式计算一维径向多项式R_n,m为：

$R_{n,m}-{\mathrm{\Σ}}_{s=0}^{(n-|m\left|\right)/2}{(-1)}^s\frac{(n-s)!}{s!\left(\right(\frac{n+\left|m\right|}{2})-s)!\left(\right(\frac{n-\left|m\right|}{2})-s)!}{\mathrm{\ρ}}^{n-2s}---\left(4\right)$

式中，n是一个非负整数，表示一维径向多项式的阶数，m是一个非零整数，满足n-|m|＝even和|m|≤n，表示相位角的重复度，ρ是点(x，y)到原点的向量的长度，其中点(x，y)是经过所述步骤S27处理后得到的数据点；

所述泽尼克矩提取子单元还用于利用下面的公式计算泽尼克基函数：定义在单位圆内的复值二维泽尼克基函数表示为如下：

V_n,m(ρ，θ)＝R_n，me^im，|ρ|≤1 (5)

复值二维泽尼克多项式满足正交性：

${\∫}_0^{2\mathrm{\π}}{\∫}_0^1{V}_{n,m}^{*}(\mathrm{\ρ},\mathrm{\θ})V_{p,q}(\mathrm{\ρ},\mathrm{\θ})\mathrm{\ρ}d\mathrm{\ρ}d\mathrm{\θ}=\left\{\begin{array}{cc}\frac{\mathrm{\π}}{n+1}& n=p,m=q\\ 0& otherwise\end{array}\right.---\left(6\right)$

式中，*表示复共轭，V_p,q与V_n,m的含义相同，区别在于基数不同；

所述泽尼克矩提取子单元还用于将数据处理子单元进行色彩信息的改进后得到的数据对应的图像投影到泽尼克基函数，并利用下面的公式计算泽尼克矩：

$Z_{n,m}=\frac{n+1}{\mathrm{\π}}{\∫}_0^{2\mathrm{\π}}{\∫}_0^{1}f(\mathrm{\ρ},\mathrm{\θ})V_{n,m}^{*}(\mathrm{\ρ},\mathrm{\θ})\mathrm{\ρ}d\mathrm{\ρ}d\mathrm{\θ}---\left(7\right)$

上式表示阶为n，相位角重复为m的复泽尼克矩式中，f(x，y)为图像的函数；

其中，为达到尺度和平移不变性，图像函数f(x，y)需被归一化，转换方程为：

$g(x,y)=f(\frac{x}{a}+\stackrel{\‾}{x},\frac{y}{a}+\stackrel{\‾}{y})---\left(8\right)$

所述圆形度提取子单元用于将数据处理子单元进行色彩信息的改进后得到的数据以及下面的公式计算所述圆形度：

$Comp=\frac{2\sqrt{A\mathrm{\π}}}{P}---\left(9\right)$

式中，A是所述数据处理子单元进行色彩信息的改进后得到的数据对应的图像的面积，而P是所述数据处理子单元进行色彩信息的改进后得到的数据对应的图像的周长。

优选地，所述数据清洗单元包括第一清洗子单元以及第二清洗子单元；

所述第一清洗子单元用于利用动态时间规整法清除所述描述特征的噪声；

所述第二清洗子单元用于利用Fourier Temporal Pyramid清除所述描述特征由于动作速率变化带来的误差以及动作时间匹配上的误差。

(三)有益效果

本发明提供了一种动作识别方法及装置，本发明中首先采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；之后提取编辑之后的人体动作的数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；之后清除所述描述特征的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；最后为上述处理后得到的描述特征对应的人体动作分配一个标签，并将所述人体动作对应的描述特征以及对应的标签进行存储，实现对新的人体动作的定义；其中，所述标签用于标识对应的人体动作。利用本发明的方法或装置用户只需录制自己或他人的动作便可完成动作的定义，录制的动作数据后期可用于构建动作分类模型，可针对具体的桌面应用进行定制，识别效果达到95％以上。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一个较佳实施例的动作识别方法流程图；

图2A、2B是本发明的另一个较佳实施例的动作识别方法流程图

图3是本发明的另一个较佳实施例的动作识别方法中步骤S1的流程图；

图4是本发明的另一个较佳实施例的动作识别方法中步骤S25-S27的流程图；

图5是本发明的另一个较佳实施例的动作识别方法中步骤S26的流程图；

图6A、6B、6C是本发明的另一个较佳实施例的动作识别方法中步骤S26的处理效果示意图；

图7A、7B、7C是本发明的另一个较佳实施例的动作识别方法中步骤S27的效果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

一种动作识别方法，如图1所示，所述方法包括以下步骤：

S1、采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；

S2、提取所述步骤S1编辑之后的人体动作的数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；

S3、清除所述描述特征的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；

S4、将所述步骤S3处理后得到的描述特征输入到支持向量机模型进行训练，得到训练后的模型，使用训练后的模型对人体动作分配一个标签，，以此实现对新的人体动作的定义；其中，所述标签用于标识对应的人体动作；

S5、接受特定动作的标签，触发与该动作关联的键盘或鼠标事件，并将该事件递交给目标应用。

利用本发明的方法或装置用户只需录制自己或他人的动作便可完成动作的定义识别制的动作数据后期可用于构建动作分类模型，可针对具体的桌面应用进行定制，识别效果达到95％以上。上述方法度已经定义的动作作进行识别，并将识别的结果与具体的目标应用关联起来，以实现使用姿势动作操控传统的桌面应用。

进一步地，所述步骤S1中采集人体动作之前所述方法还包括以下步骤：

设置所述人体动作的名称以及动作持续时间；

采集倒计时开始计时，经过预定倒计时时长后开始采集人体动作；

所述步骤S1中采集人体动作之后所述方法还包括以下步骤：

采集所述动作持续时间长度内的人体动作后将采集的人体动作进行保存；

所述步骤S1中初步编辑具体为：选定起始帧和结束帧，删除所述起始帧之前以及所述结束帧之后的人体动作帧的数据。

进一步地，如图2A、2B所示，所述步骤S2中提取所述关节点具体包括以下步骤：

S21、利用Kinect SDK API获取关节点位置，该位置基于Kinect设备空间坐标系；

S22、以用户右手方向为x轴正方向，头部正上方为y轴正方向，面向交互设备正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；

S23、Kinect设备空间坐标系oxyz下的坐标点P(x,y,z)与用户空间坐标系o’x’y’z’下的坐标点P’(x’,y’,z’)的变换关系可描述下式，

$(x^{\′},y^{\′},z^{\′},1)=(x,y,z,1)\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& -1& 0\\ -x_0& -y_0& -z_0& 1\end{array}\right)---\left(1\right)$

式中，O’(x₀,y₀,z₀)表示用户空间坐标系o’x’y’z’的坐标原点。

所述步骤S2中提取所述圆形度以及泽尼克矩：首先从运动的图像帧中去除背景，将运动的人分割出来，然后计算分割后图像的圆形度和泽尼克矩作为描述当前图像帧的特征。提出的分割方法为融合深度信息和颜色信息的分割，其流程图如图4所示，具体包括以下步骤：

S24、对所述步骤S1编辑之后的人体动作进行运动检测，

利用下面公式进行检测，得到符合下面公式的像素点：

$\left\{\begin{array}{c}|color(x,t)-color(x,t-1)|>th\\ depth(x,t)-\mathrm{de}pth(x,t-1)>0\end{array}\right.---\left(2\right)$

式中color(x，t)和color(x，t-1)分别是位置x＝(x，y)处t时刻和t-1时刻的色彩帧像素，depth(x,t)和depth(x,t-1)是相应像素的深度值，th为第一预定阈值，所述第一预定阀值用于区分实际的人体运动与噪声；

S25、在运动检测后，设置一个初始的前景区域，然后实现一个区域增长算法构建成整个前景区域，其中所述区域增长算法具体为：利用前一个步骤中得到的像素点作为种子像素，比较所述种子像素与其近邻像素，若近邻像素与种子像素满足下面公式，则近邻像素与种子像素相似，对应的近邻像素被添加到种子区域，如此，种子区域被扩大，当不再有近邻像素被包含时，迭代结束；

$(x_i,y_i)\∈\underset{\‾}{R}\↔\left|f\right(x_i-y_i)-f(p_k\left)\right|\≤th---\left(3\right)$

式中，表示当前帧中增长区域，即前景区域中的像素集合，P(t)＝{p₁＝(x₁,y₁)，p₂＝(x₂,y₂),…}为的子集，像素(x_i,y_i)为待判定的像素点，p_k是P(t)中的任意一个点，th为预第二定阈值；

S26、上一个步骤中区域增长算法当应用于带噪声的深度图时，估计的前景掩码将包含错误的区域，这些区域本该属于背景。为解决这类问题，我们利用色彩数据中边缘信息进行改进，最终形成提高的前景掩码。具体操作为：

通过膨胀稍微扩大色彩帧以确保包含所有重要的边缘；在扩大的模板上应用canny算子，接着使用膨胀算子连接边缘；最后将得到的结果模板与初始的掩码进行与操作以排除冗余的背景数据；算法流程如图5，算法应用后的结果如图6A、6B、6C所示；

S27、对所述步骤S26处理后的数据进行基于色彩信息的改进，以减少深度数据上的边界错误；其效果如图7A、7B、7C所示；

S28、利用下面的公式计算一维径向多项式R_n,m为：

$R_{n,m}-{\mathrm{\Σ}}_{s=0}^{(n-|m\left|\right)/2}{(-1)}^s\frac{(n-s)!}{s!\left(\right(\frac{n+\left|m\right|}{2})-s)!\left(\right(\frac{n-\left|m\right|}{2})-s)!}{\mathrm{\ρ}}^{n-2s}---\left(4\right)$

式中，n是一个非负整数，表示一维径向多项式的阶数，m是一个非零整数，满足n-|m|＝even和|m|≤n，表示相位角的重复度，ρ是点(x，y)到原点的向量的长度，其中点(x，y)是经过所述步骤S27处理后得到的数据点；

S29、利用下面的公式计算泽尼克基函数：定义在单位圆内的复值二维泽尼克基函数表示为如下：

V_n,m(ρ，θ)＝R_n,me^im，|ρ|≤1 (5)

复值二维泽尼克多项式满足正交性：

${\∫}_0^{2\mathrm{\π}}{\∫}_0^1{V}_{n,m}^{*}(\mathrm{\ρ},\mathrm{\θ})V_{p,q}(\mathrm{\ρ},\mathrm{\θ})\mathrm{\ρ}d\mathrm{\ρ}d\mathrm{\θ}=\left\{\begin{array}{cc}\frac{\mathrm{\π}}{n+1}& n=p,m=q\\ 0& otherwise\end{array}\right.---\left(6\right)$

式中，*表示复共轭，V_p,q与V_n,m的含义相同，区别在于基数不同；

S210、将步骤S27处理后得到的数据对应的图像投影到泽尼克基函数，并利用下面的公式计算泽尼克矩：

$Z_{n,m}=\frac{n+1}{\mathrm{\π}}{\∫}_0^{2\mathrm{\π}}{\∫}_0^{1}f(\mathrm{\ρ},\mathrm{\θ})V_{n,m}^{*}(\mathrm{\ρ},\mathrm{\θ})\mathrm{\ρ}d\mathrm{\ρ}d\mathrm{\θ}---\left(7\right)$

上式表示阶为n，相位角重复为m的复泽尼克矩式中，f(x，y)为图像的函数；

其中，为达到尺度和平移不变性，图像函数f(x，y)需被归一化，转换方程为：

$g(x,y)=f(\frac{x}{a}+\stackrel{\‾}{x},\frac{y}{a}+\stackrel{\‾}{y})---\left(8\right)$

S211、利用所述步骤S27处理后的数据以及下面的公式计算所述圆形度：

$Comp=\frac{2\sqrt{A\mathrm{\π}}}{P}---\left(9\right)$

式中，A是所述步骤S27处理后的数据对应的图像的面积，而P是所述步骤S27处理后的数据对应的图像的周长。

其中，泽尼克矩可视作一副图像到一个泽尼克多项式集合的映射。由于泽尼克多项式彼此正交，所以使用泽尼克矩表示图像的属性时，各阶矩间不存在信息冗余。同时，泽尼克矩具备旋转不变性和对噪声鲁棒，归一化后的泽尼克矩是尺度和平移不变的。圆形度用于度量目标区域的紧凑度，被定义为面积和周长平方的比，对于圆形目标其达到最小，对于薄的复杂的目标其接近无限大。

进一步地，如图2A、2B所示，所述步骤S3中利用动态时间规整法清除所述描述特征的噪声；

所述步骤S3中利用Fourier Temporal Pyramid清除所述描述特征由于动作速率变化带来的误差以及动作时间匹配上的误差。

对应于上述方法本发明还公开了一种动作识别装置，所述装置包括动作采集单元、特征提取单元、数据清洗单元、动作分类单元以及输入模拟器单元；

所述动作采集单元用于采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；

所述特征提取单元用于提取所述动作采集单元编辑之后的人体动作的数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；

所述数据清洗单元用于清除所述描述特征的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；

所述动作分类单元用于接收所述数据清洗单元处理后得到的描述特征，然后进行模型训练，训练得到的分类模型就具体的人体动作输出一个标签，，以此实现对新的人体动作的定义和识别；其中，所述标签标识了对应的人体动作；

所述输入模拟器单元用于接受特定动作的标签，触发与该动作关联的键盘或鼠标事件，并将该事件递交给目标应用。

进一步地，所述动作采集单元包括设置子单元、倒计时计时子单元、采集子单元、存储子单元、导入子单元以及编辑子单元；

所述设置子单元用于设置预定倒计时、所述人体动作的名称以及动作持续时间；

所述倒计时计时子单元用于在采集倒计时开始计时，经过预定倒计时时长后控制所述采集子单元开始工作，采集人体动作；

所述导入子单元用于导入包含人体动作的文件；

所述存储子单元用于在所述采集子单元采集所述动作持续时间的时间长度的人体动作后将采集的人体动作进行保存；

所述编辑子单元用于选定起始帧和结束帧，删除所述起始帧之前以及所述结束帧之后的人体动作对应的数据。

进一步地，所述特征提取单元包括关节点提取子单元，

所述关节点提取子单元用于利用Kinect SDK API获取关节点位置基于Kinect设备空间坐标系；以用户右手方向为x轴正方向，头部正上方为y轴正方向，面向交互设备正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；Kinect设备空间坐标系oxyz下的坐标点P(x,y,z)与用户空间坐标系o’x’y’z’下的坐标点P’(x’,y’,z’)的变换关系可描述下式，

$(x^{\′},y^{\′},z^{\′},1)=(x,y,z,1)\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& -1& 0\\ -x_0& -y_0& -z_0& 1\end{array}\right)---\left(1\right)$

式中，O’(x₀,y₀,z₀)表示用户空间坐标系o’x’y’z’的坐标原点。

所述特征提取单元包括数据处理子单元、圆形度提取子单元以及泽尼克矩提取子单元；

所述数据处理子单元用于对所述步述动作采集单元编辑之后的人体动作进行运动检测，去除不符合下面公式的人体动作对应的数据：

$\left\{\begin{array}{c}|color(x,t)-color(x,t-1)|>th\\ depth(x,t)-\mathrm{de}pth(x,t-1)>0\end{array}\right.---\left(2\right)$

式中color(x，t)和color(x，t-1)分别是位置x＝(x，y)处t时刻和t-1时刻的色彩帧像素，depth(x,t)和depth(x,t-1)是相应像素的深度值，th为第一预定阈值，所述第一预定阀值用于区分实际的人体运动与噪声；

所述数据处理子单元还用于在运动检测后，设置一个初始前景掩码，并且选取种子像素，并利用区域增长算法完成整个种子区域，其中所述区域增长算法具体为：比较所述种子像素与近邻像素，若近邻像素与种子像素满足下面公式，则近邻像素与种子像素相似，则对应的近邻像素被添加到种子区域，如此，种子区域被扩大，当不再有近邻像素被包含时，迭代结束；

$(x_i,y_i)\∈\underset{\‾}{R}\↔\left|f\right(x_i-y_i)-f(p_k\left)\right|\≤th---\left(3\right)$

式中，表示当前帧中增长区域中的像素集合，P(t)＝{p₁＝(x₁，y₁),p₂＝(x₂,y₂),…}为的子集，由跟所述种子像素(x_i,y_i)邻接的点组成，p_k是P(t)中的任意一个点，th为预第二定阈值；

所述数据处理子单元还用于对整个种子区域的数据进行基于边缘的改进：

通过膨胀稍微扩大色彩帧以确保包含所有重要的边缘；在扩大的掩码上应用canny算子，使用膨胀算子连接边缘；将得到的结果掩码与初始的掩码进行与操作以排除冗余的背景数据；

所述数据处理子单元还用于对基于边缘改进处理后的数据进行基于色彩信息的改进，以减少深度数据上的边界错误；

所述泽尼克矩提取子单元用于利用下面的公式计算一维径向多项式R_n,m为：

$R_{n,m}-{\mathrm{\Σ}}_{s=0}^{(n-|m\left|\right)/2}{(-1)}^s\frac{(n-s)!}{s!\left(\right(\frac{n+\left|m\right|}{2})-s)!\left(\right(\frac{n-\left|m\right|}{2})-s)!}{\mathrm{\ρ}}^{n-2s}---\left(4\right)$

式中，n是一个非负整数，表示一维径向多项式的阶数，m是一个非零整数，满足n-|m|＝even和|m|≤n，表示相位角的重复度，ρ是点(x，y)到原点的向量的长度，其中点(x，y)是经过所述步骤S27处理后得到的数据点；

所述泽尼克矩提取子单元还用于利用下面的公式计算泽尼克基函数：定义在单位圆内的复值二维泽尼克基函数表示为如下：

V_n,m(ρ，θ)＝R_n,me^im,|ρ|≤1 (5)

复值二维泽尼克多项式满足正交性：

${\∫}_0^{2\mathrm{\π}}{\∫}_0^1{V}_{n,m}^{*}(\mathrm{\ρ},\mathrm{\θ})V_{p,q}(\mathrm{\ρ},\mathrm{\θ})\mathrm{\ρ}d\mathrm{\ρ}d\mathrm{\θ}=\left\{\begin{array}{cc}\frac{\mathrm{\π}}{n+1}& n=p,m=q\\ 0& otherwise\end{array}\right.---\left(6\right)$

式中，*表示复共轭，V_p,q与V_n,m的含义相同，区别在于基数不同；

所述泽尼克矩提取子单元还用于将数据处理子单元进行色彩信息的改进后得到的数据对应的图像投影到泽尼克基函数，并利用下面的公式计算泽尼克矩：

$Z_{n,m}=\frac{n+1}{\mathrm{\π}}{\∫}_0^{2\mathrm{\π}}{\∫}_0^{1}f(\mathrm{\ρ},\mathrm{\θ})V_{n,m}^{*}(\mathrm{\ρ},\mathrm{\θ})\mathrm{\ρ}d\mathrm{\ρ}d\mathrm{\θ}---\left(7\right)$

上式表示阶为n，相位角重复为m的复泽尼克矩式中，f(x，y)为图像的函数；

其中，为达到尺度和平移不变性，图像函数f(x，y)需被归一化，转换方程为：

$g(x,y)=f(\frac{x}{a}+\stackrel{\‾}{x},\frac{y}{a}+\stackrel{\‾}{y})---\left(8\right)$

所述圆形度提取子单元用于将数据处理子单元进行色彩信息的改进后得到的数据以及下面的公式计算所述圆形度：

$Comp=\frac{2\sqrt{A\mathrm{\π}}}{P}---\left(9\right)$

式中，A是所述数据处理子单元进行色彩信息的改进后得到的数据对应的图像的面积，而P是所述数据处理子单元进行色彩信息的改进后得到的数据对应的图像的周长。

进一步地，所述数据清洗单元包括第一清洗子单元以及第二清洗子单元；

所述第一清洗子单元用于利用动态时间规整法DTW清除所述描述特征的噪声；

所述第二清洗子单元用于利用Fourier Temporal Pyramid(FTP)清除所述描述特征由于动作速率变化带来的误差以及动作时间匹配上的误差。

进一步地，图3为动作采集装置的工作流程图。动作采集单元用于对预设的每个动作进行数据采集，该单元实现为动作定义工具包Actionkit。Actionkit由四部分组成，分别是Actionkit主界面、新动作界面、录制新动作界面和动作编辑界面。Actionkit主界面上主要有两个按钮，点击加载按钮弹出文件打开窗口，要求用户选择一已录制好的动作xml文件，然后弹出动作编辑界面；点击录制按钮弹出新动作界面。在新动作界面，用户需设定动作的名称，执行该动作预估的时间，当点击开始录制按钮，弹出录制新动作界面，点击取消按钮回到Actionkit主界面。在录制新动作界面，首先显示一个10秒的倒计时以使用户做好准备，然后显示一个用户在新动作界面设定的时间倒计时，在改时间内，用户执行意向的动作，待倒计时完毕，执行的动作被记录在xml文件中，同时同步的深度图像和颜色图像亦被记录下来。在动作编辑界面，左侧展示人的骨架表示，右侧设置有三个按钮，左侧底部为Back按钮，左侧顶端显示当前帧号及总帧数。当滑动鼠标滚轮时，从当前帧回退到上一帧或前进到下一帧，点击动画按钮可对整个动作进行预览，当选定动作的起始帧后，点击剪掉开始按钮可修建掉起始帧之前的所有帧，当选定动作的结束帧后，点击剪掉结束按钮可修建掉结束帧之后的所有帧。

Actionkit旨在提供动作录制接口，借助Actionkit用户能够录制意向的动作，录制完毕后，Actionkit将其并存为一个xml文件，同时记录同步的深度图像和颜色图像。稍后，用户可在Actionkit加载动作xml文件以实现对已录制的动作进行预览，滑动鼠标光标浏览动作的每一帧，按需选择动作的起始帧和结束帧，并将起始帧和结束帧之前的帧全部修剪掉。

上述装置可以看做是一个基于骨架关节点和形状描述子的动作工具包。

FAAST是目前与本发明较类似的唯一工具，本发明与其的不同之处在于提供了一种十分便利的动作定义工具，使得用户不用如在FAAST中那般去构思描述动作的复杂规则，同时本发明中对动作的识别采用了机器学习的方法，可针对具体的应用定制识别方法，设别效果较好。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种动作识别方法，其特征在于，所述方法包括以下步骤：

S1、采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；

S2、提取所述步骤S1编辑之后的人体动作数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；

S3、移除所述描述特征中存在的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；

S4、将所述步骤S3处理后得到的描述特征输入到支持向量机分类模型进行训练，训练得到的分类模型即实现对新的人体动作的定义；对于具体的动作，分类器将给出一个具体的标签以标识识别的动作；

S5、接受特定动作的标签，触发与该动作关联的键盘或鼠标事件，并将该事件递交给目标应用。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中采集人体动作之前所述方法还包括以下步骤：

设置所述人体动作的名称以及动作持续时间；

采集倒计时开始计时，经过预定倒计时时长后开始采集人体动作；

所述步骤S1中采集人体动作之后所述方法还包括以下步骤：

采集所述动作持续时间长度内的人体动作后将采集的人体动作进行保存；

所述步骤S1中初步编辑具体为：选定起始帧和结束帧，移除所述起始帧之前以及所述结束帧之后的人体动作帧数据。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2中提取所述关节点具体包括以下步骤：

S21、利用Kinect SDK API获取关节点位置，该位置基于Kinect设备空间坐标系；

S22、以用户右手方向为x轴正方向，头部正上方为y轴正方向，面向交互设备正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；

S23、Kinect设备空间坐标系oxyz下的坐标点P(x,y,z)与用户空间坐标系o’x’y’z’下的坐标点P’(x’,y’,z’)的变换关系可描述下式，

式中，O’(x₀,y₀,z₀)表示用户空间坐标系o’x’y’z’的坐标原点。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2中提取所述圆形度以及泽尼克矩具体包括以下步骤：

S24、对所述步骤S1编辑之后的人体动作进行运动检测，利用下面公式进行检测，得到符合下面公式的像素点：

式中color(x,t)和color(x,t-1)分别是位置x＝(x,y)处t时刻和t-1时刻的色彩帧像素，depth(x,t)和depth(x,t-1)是相应像素的深度值，th为第一预定阈值，所述第一预定阀值用于区分实际的人体运动与噪声；

S25、在运动检测后，设置一个初始的前景区域，然后实现一个区域增长算法构建成整个前景区域，其中所述区域增长算法具体为：利用前一个步骤中得到的像素点作为种子像素，比较所述种子像素与其近邻像素，若近邻像素与种子像素满足下面公式，则近邻像素与种子 像素相似，对应的近邻像素被添加到种子区域，如此，种子区域被扩大，当不再有近邻像素被包含时，迭代结束；

式中，R表示当前帧中前景区域中的像素集合，P(t)＝{p₁＝(x₁,y₁),p₂＝(x₂,y₂),…}为R的子集，像素(x_i,y_i)为待判定的像素点，p_k是P(t)中的任意一个点，th为预第二定阈值；

S26、对所述步骤S25处理后得到的数据进行基于边缘的改进：

通过膨胀稍微扩大色彩帧以确保包含所有重要的边缘；在扩大的模板上应用canny算子，接着使用膨胀算子连接边缘；最后将得到的结果模板与初始的掩码进行与操作以排除冗余的背景数据；

S27、对所述步骤S26处理后的数据进行基于色彩信息的改进，以减少深度数据上的边界错误；

S28、利用下面的公式计算一维径向多项式R_n,m为：

式中，n是一个非负整数，表示一维径向多项式的阶数，m是一个非零整数，满足n-|m|＝even和|m|≤n，表示相位角的重复度，ρ是点(x,y)到原点的向量的长度，其中点(x,y)是经过所述步骤S27处理后得到的数据点；

S29、利用下面的公式计算泽尼克基函数：定义在单位圆内的复值二维泽尼克基函数表示为如下：

V_n,m(ρ,θ)＝R_n,me^im,|ρ|≤1 (5)

复值二维泽尼克多项式满足正交性：

式中，*表示复共轭，V_p,q与V_n,m的含义相同，区别在于基数不同；

S210、将步骤S27处理后得到的数据对应的图像投影到泽尼克基函数，并利用下面的公式计算泽尼克矩：

上式表示阶为n，相位角重复为m的复泽尼克矩式中，f(x,y)为图像的函数；

其中，为达到尺度和平移不变性，图像函数f(x,y)需被归一化，转换方程为：

S211、利用所述步骤S27处理后的数据以及下面的公式计算所述圆形度：

式中，A是所述步骤S27处理后的数据对应的图像的面积，而P是所述步骤S27处理后的数据对应的图像的周长。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3中利用动态时间规整法移除所述描述特征中的噪声；

所述步骤S3中利用Fourier Temporal Pyramid移除所述描述特征由于动作速率变化带来的误差以及动作时间匹配上的误差。

6.一种动作识别用的装置，其特征在于，所述装置包括动作采集单元、特征提取单元、数据清洗单元、动作分类单元以及输入模拟器单元；

所述动作采集单元用于采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；

所述特征提取单元用于提取所述动作采集单元编辑之后的人体动作的数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；

所述数据清洗单元用于移除所述描述特征的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；

所述动作分类单元用于接收所述数据清洗单元处理后得到的描述特征，然后进行模型训练，训练得到的分类模型就具体的人体动作输出一个标签，，以此实现对新的人体动作的定义和识别；其中，所述标签标识了对应的人体动作；

所述输入模拟器单元用于接受特定动作的标签，触发与该动作关联的键盘或鼠标事件，并将该事件递交给目标应用。

7.根据权利要求6所述的装置，其特征在于，所述动作采集单元包括设置子单元、倒计时计时子单元、采集子单元、存储子单元、导入子单元以及编辑子单元；

所述设置子单元用于设置预定倒计时、所述人体动作的名称以及动作持续时间；

所述倒计时计时子单元用于在采集倒计时开始计时，经过预定倒计时时长后控制所述采集子单元开始工作，采集人体动作；

所述导入子单元用于导入包含人体动作的文件；

所述存储子单元用于在所述采集子单元采集所述动作持续时间的时间长度的人体动作后将采集的人体动作进行保存；

所述编辑子单元用于选定起始帧和结束帧，删除所述起始帧之前以及所述结束帧之后的人体动作帧数据。

8.根据权利要求6所述的装置，其特征在于，所述特征提取单元包括关节点提取子单元，

所述关节点提取子单元用于利用Kinect SDK API获取关节点位置基于Kinect设备空间坐标系；以用户右手方向为x轴正方向，头部正上方为y轴正方向，面向交互设备正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；Kinect设备空间坐标系oxyz下的坐标点P(x,y,z)与用户空间坐标系o’x’y’z’下的坐标点P’(x’,y’,z’)的变换关系可描述下式，

式中，O’(x₀,y₀,z₀)表示用户空间坐标系o’x’y’z’的坐标原点。

9.根据权利要求6所述的装置，其特征在于，所述特征提取单元包括数据处理子单元、圆形度提取子单元以及泽尼克矩提取子单元；

所述数据处理子单元用于对所述动作采集单元编辑之后的人体动作进行运动检测，检测方法利用如下公式：

式中color(x,t)和color(x,t-1)分别是位置x＝(x,y)处t时刻和t-1时刻的色彩帧像素，depth(x,t)和depth(x,t-1)是相应像素的深度值，th为第一预定阈值，所述第一预定阀值用于区分实际的人体运动与噪声；

所述数据处理子单元还用于在运动检测后，首先设置一个初始前景模板，以上一步中得到的像素作为种子像素，实现区域增长算法扩大种子区域，最后形成完整的前景模板。其中所述区域增长算法具体 为：比较所述种子像素与其近邻像素，若近邻像素与种子像素满足下面公式，则近邻像素与种子像素相似，则对应的近邻像素被添加到种子区域，如此，种子区域被扩大，当不再有近邻像素被包含时，迭代结束；

式中，R表示当前帧中增长区域中的像素集合，P(t)＝{p₁＝(x₁,y₁),p₂＝(x₂,y₂),…}为R的子集，(x_i,y_i)为待判定的像素点，p_k是P(t)中的任意一个点，th为预第二定阈值；

所述数据处理子单元还用于对整个种子区域的数据进行基于边缘的改进：

通过膨胀稍微扩大色彩帧以确保包含所有重要的边缘；在扩大的模板上应用canny算子，然后使用膨胀算子连接边缘；最后将得到的结果掩码与初始的掩码进行与操作以排除冗余的背景数据；

所述数据处理子单元还用于对基于边缘改进处理后的数据进行基于色彩信息的改进，以减少深度数据上的边界错误；

所述泽尼克矩提取子单元用于利用下面的公式计算一维径向多项式R_n,m为：

式中，n是一个非负整数，表示一维径向多项式的阶数，m是一个非零整数，满足n-|m|＝even和|m|≤n，表示相位角的重复度，ρ是点(x,y)到原点的向量的长度，其中点(x,y)是经过所述步骤S27处理后得到的数据点；

所述泽尼克矩提取子单元还用于利用下面的公式计算泽尼克基函数：定义在单位圆内的复值二维泽尼克基函数表示为如下：

V_n,m(ρ,θ)＝R_n,me^im,|ρ|≤1 (5)

复值二维泽尼克多项式满足正交性：

式中，*表示复共轭，V_p,q与V_n,m的含义相同，区别在于基数不同；

所述泽尼克矩提取子单元还用于将数据处理子单元进行色彩信息的改进后得到的数据对应的图像投影到泽尼克基函数，并利用下面的公式计算泽尼克矩：

上式表示阶为n，相位角重复为m的复泽尼克矩式中，f(x,y)为图像的函数；

其中，为达到尺度和平移不变性，图像函数f(x,y)需被归一化，转换方程为：

所述圆形度提取子单元用于将数据处理子单元进行色彩信息的改进后得到的数据以及下面的公式计算所述圆形度：

式中，A是所述数据处理子单元进行色彩信息的改进后得到的数据对应的图像的面积，而P是所述数据处理子单元进行色彩信息的改进后得到的数据对应的图像的周长。

10.根据权利要求6所述的装置，其特征在于，所述数据清洗单元包括第一清洗子单元以及第二清洗子单元；

所述第一清洗子单元用于利用动态时间规整法清除所述描述特征的噪声；

所述第二清洗子单元用于利用Fourier Temporal Pyramid清除所述描述特征由于动作速率变化带来的误差以及动作时间匹配上的误差。