CN105094298B - 终端以及基于该终端的手势识别方法 - Google Patents

Abstract

本发明提供一种终端以及基于该终端的手势识别方法。终端包括扬声器、第一传感器和第二传感器，第一传感器为麦克风，手势识别方法包括：手势感测步骤，扬声器发出具有预定频率的音频信号，麦克风采集预定手势挥动时具有第一特征值的音频信号，同时第二传感器采集得到第二特征值；手势识别步骤，根据第一特征值和第二特征值确定预定手势的手势类型和手势强度。通过上述方式，本发明能够在不额外增设传感器的情况下，综合运用终端自有的扬声器、麦克风和其他各个类型的传感器对复杂手势进行识别，精确性较高且适用性较佳。

Description

终端以及基于该终端的手势识别方法

技术领域

本发明属于终端领域，涉及人机交互中的手势识别技术领域，特别是涉及一种终端以及基于该终端的手势识别方法。

背景技术

随着智能手机等终端的广泛普及，隔空操作以其能使操作者无需借助任何操作介质即可控制终端实现相应功能的特点，已成为业内发展的趋势。在实际应用场景中，操作者通过手势(肢体动作)与终端的屏幕进行互动，以实现例如对图片进行放大、缩小、旋转等操作，基于此，可知对手势的精确识别极为重要。

当前，识别手势的方法主要有两种：一是为终端额外增设专门用于手势识别的传感器；二是根据终端中单个现有传感器采集的感测数据进行分析识别，例如基于手机摄像头的视觉技术、基于距离传感器或者光线传感器的光影捕捉技术、基于麦克风的回声定位技术。然而，第一种方法需要增加专用设备，不仅会增加终端的生产成本，而且不易安装于智能手机等小型终端上，适用性较差；第二种方法单独使用某一传感器只能检测简单手势，无法对复杂手势进行识别，并且基于视觉、光影捕捉和回声定位技术的传感器极易受光照、背景噪声以及音频信号的功率和发送/接收设备的配置等诸多外界因素的影响，适用性较差且无法确保识别结果的精确性。

发明内容

鉴于上述，本发明所要解决的技术问题是提供一种终端以及基于该终端的手势识别方法，能够在不额外增设传感器的情况下，综合运用终端自有的扬声器、麦克风和各个传感器对复杂手势进行识别，精确性较高且适用性较佳。本发明采用的技术方案是：

第一方面提供一种基于终端的手势识别方法，终端包括扬声器、第一传感器以及第二传感器，第一传感器为麦克风，手势识别方法包括：手势感测步骤，扬声器发出具有预定频率的音频信号，第一传感器采集预定手势挥动时具有第一特征值的音频信号，同时第二传感器采集对应的感测数据并据此得到第二特征值，第二传感器采集的感测数据与第一传感器所采集的特性不同；手势识别步骤，根据第二特征值确定预定手势的手势强度，并结合第一传感器采集到的音频信号的第一特征值，确定预定手势的手势类型。

结合第一方面的实现方式，在第一种可能的实现方式中，在手势识别步骤中，确定预定手势的手势类型的步骤包括：获取预定手势相对第一传感器的第一时间点，以及相对第二传感器的第二时间点，其中第一时间点为预定手势挥动时人手到达第一传感器正上方的时间，第二时间点为预定手势挥动时人手到达第二传感器正上方的时间；确定第一时间点和第二时间点之间的差值，并结合第一传感器和第二传感器在终端上的相对位置，确定预定手势的手势类型。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，确定预定手势的手势类型的步骤包括：若第一时间点大于第二时间点，则判定预定手势为向左挥动或向下挥动；若第一时间点小于等于第二时间点，则判定预定手势为向右挥动或向上挥动；将第一时间点和第二时间点之间的差值与预设的第一距离阈值和第二距离阈值进行比较，若差值大于第一距离阈值，则判定预定手势为向下挥动；若差值小于第一距离阈值，则判定预定手势为向左挥动；若差值大于第二距离阈值，则判定预定手势为向上挥动；若差值小于第二距离阈值，则判定预定手势为向右挥动。

结合第一方面的实现方式，在第三种可能的实现方式中，在手势识别步骤中，确定预定手势的手势强度的步骤包括：获取预定手势挥动时根据多普勒效应产生的对应音频信号的音频片段；获取音频片段的峰值随预定手势挥动而产生的频率偏移量μ，并通过第一关系式得到预定手势挥动时动作变化的强度B1；获取预定手势挥动过程中第二传感器采集到的第二特征值的最大变化量X，并通过第二关系式得到预定手势挥动时与第二传感器的相对距离H；通过第三关系式得到预定手势的手势强度；

B1＝Σμ*A.......第一关系式

H＝k*X/X0.......第二关系式

B＝B1*H.......第三关系式

其中，A为振幅，k为已知的比例系数，X0为已知的第二传感器有效时预先设定的第二特征值的最大有效变化量。

结合第一方面的实现方式，在第四种可能的实现方式中，第一特征值为音频信号的当前频率，手势识别步骤进一步包括：检测当前频率是否大于等于预设的标准频率阈值、预定手势挥动的时间是否小于等于预设的第一时间阈值且大于等于预设的第二时间阈值；若均是，则判定预定手势为有效手势，当前频率和第二特征值为有效数据，并执行确定预定手势的手势类型和手势强度的步骤。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，预定手势包括至少两个手势动作且每个手势动作均为时间上的连贯动作时，检测预定手势挥动的时间是否小于等于预设的第一时间阈值且大于等于预设的第二时间阈值的步骤还包括：检测预定手势的相邻两个手势动作的时间间隔是否小于等于预设的第三时间阈值且大于等于预设的第四时间阈值。

结合第一方面的第四种可能的实现方式，在第六种可能的实现方式中，第二传感器包括距离传感器、光线传感器和摄像头，手势识别步骤还包括：对第二传感器预先设置优先等级；根据优先等级选取第二传感器中优先等级最高的一个采集的第二特征值，并结合第一传感器采集到的音频信号的第一特征值，确定预定手势的手势类型。

结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，手势识别步骤还包括判断预定手势是否为有效手势，距离传感器为光线传感器，手势识别步骤包括：光线传感器连续采样，若在一定采样次数内，在后采样值小于在先采样值，表示人手正在移向屏幕上方；继续采样，若在一定采样次数内，在后采样值与在先采样值相等，且采样值不为零，表示人手正在手机屏幕上方，则判定人手在手机屏幕上方挥动有效；若在一定采样次数内，在后采样值大于在先采样值，表示人手正在移出屏幕上方，则判定人手正在从屏幕上方滑出有效；若在一定采样次数内，在后采样值等于在先采样值，且采样值不为零，表示人手已经离开屏幕上方，则判定人手已经滑出屏幕上方有效；若手势识别步骤中所包含的阶段均有效，则判定预定手势为有效手势，并执行确定预定手势的手势类型和手势强度的步骤。

第二方面提供一种终端，终端包括扬声器、第一传感器以及第二传感器，第一传感器为麦克风，扬声器用于发出具有预定频率的音频信号，第一传感器用于采集预定手势挥动时具有第一特征值的音频信号，同时第二传感器用于采集对应的感测数据并据此得到第二特征值，第二传感器采集的感测数据与第一传感器所采集的特性不同；终端还包括控制器，控制器用于根据第二特征值确定预定手势的手势强度，并结合第一传感器采集到的音频信号的第一特征值，确定预定手势的手势类型。

结合第二方面的实现方式，在第一种可能的实现方式中，控制器还用于获取预定手势相对第一传感器的第一时间点，以及相对第二传感器的第二时间点，其中第一时间点为预定手势挥动时人手到达第一传感器正上方的时间，第二时间点为预定手势挥动时人手到达第二传感器正上方的时间；控制器进一步用于确定第一时间点和第二时间点之间的差值，并结合第一传感器和第二传感器在终端上的位置，确定预定手势的手势类型。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，若第一时间点大于第二时间点，则控制器判定预定手势为向左挥动或向下挥动；若第一时间点小于等于第二时间点，则控制器判定预定手势为向右挥动或向上挥动；控制器进一步用于将第一时间点和第二时间点的差值与预设的第一距离阈值和第二距离阈值进行比较，若差值大于第一距离阈值，则判定预定手势为向下挥动；若差值小于第一距离阈值，则判定预定手势为向左挥动；若差值大于第二距离阈值，则判定预定手势为向上挥动；若差值小于第二距离阈值，则判定预定手势为向右挥动。

结合第二方面的实现方式，在第三种可能的实现方式中，控制器还用于获取预定手势挥动时根据多普勒效应产生的对应音频信号的音频片段；控制器进一步用于获取音频片段的峰值随预定手势挥动而产生的频率偏移量μ，并通过第一关系式得到预定手势挥动时动作变化的强度B1；控制器进一步用于获取预定手势挥动过程中第二传感器采集到的第二特征值的最大变化量X，并通过第二关系式得到预定手势挥动时与第二传感器的相对距离H；控制器用于通过第三关系式得到预定手势的手势强度；

B1＝Σμ*A.......第一关系式

H＝k*X/X0.......第二关系式

B＝B1*H.......第三关系式

其中，A为振幅，k为已知的比例系数，X0为已知的第二传感器有效时预先设定的第二特征值的最大有效变化量。

结合第二方面的实现方式，在第四种可能的实现方式中，第一特征值为音频信号的当前频率，控制器进一步用于检测当前频率是否大于等于预设的标准频率阈值、预定手势挥动的时间是否小于等于预设的第一时间阈值且大于等于预设的第二时间阈值；若均是，则控制器判定预定手势为有效手势，当前频率和第二特征值为有效数据，并执行确定预定手势的手势类型和手势强度的步骤。

结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，预定手势包括至少两个手势动作且每个手势动作均为时间上的连贯动作时，控制器进一步用于检测预定手势的相邻两个手势动作的时间间隔是否小于等于预设的第三时间阈值且大于等于预设的第四时间阈值。

结合第二方面的第四种可能的实现方式，在第六种可能的实现方式中，第二传感器包括距离传感器、光线传感器和摄像头，控制器进一步用于对第二传感器预先设置优先等级，并根据优先等级选取第二传感器中优先等级最高的一个采集得到的第二特征值，结合麦克风采集到的音频信号的第一特征值，确定预定手势的手势类型。

通过上述技术方案，本发明的有益效果是：区别于现有技术，本发明不需额外增设传感器，而是仅利用终端自有的麦克风和扬声器，通过检测手势对扬声器发出的音频信号的多普勒效应以获得麦克风接收到的该音频信号的频率，并综合其他自有传感器采集的感测数据，从而不仅能够对复杂手势进行识别，而且精确性较高、适用性较佳。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本发明优选实施例的终端的结构示意图；

图2是本发明第一实施例的手势识别方法的流程图；

图3是本发明距离传感器为红外传感器时的采样曲线图；

图4是图1所示终端上各个传感器的分布示意图；

图5是本发明优选实施例的预定手势的挥动方向判定的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下文所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。

本发明首先提供一种如图1所示的手势识别方法，其基于图2所示的终端20。请参阅图2所示，终端20包括输入单元21、输出单元23以及分别与二者连接的处理单元22，三者相互之间的耦合或通信连接可以是通过一些接口，也可以是通过电性或其它形式。其中：

输入单元21包括用于视频和/或音频输入的麦克风211和摄像头212，以及用于采集感测数据的距离传感器213和光线传感器214。处理单元22包括控制器221和内存介质222，且优选处理单元22通过终端20的电源提供工作时的运行动力。输出单元23包括扬声器231和(触摸显示)屏幕232。

在本实施例中，麦克风211为终端20的第一传感器，摄像头212、距离传感器213和光线传感器214为终端的第二传感器。本发明的终端20还可以进行其他设置，例如输入单元21还可以包括其他种类的用于采集感测数据的传感器，即第二传感器并不仅限于图2所示的摄像头212、距离传感器213和光线传感器214。另外，本发明全文所提及的终端均以智能手机为例，当然并不局限于智能手机，其可以是具有隔空操作功能的任何终端设备，包括PDA(Personal Digital Assistant，个人数字助理或平板电脑)、智能手环、智能手表、户外显示大中型视频终端以及游戏操作终端等。

图1是本发明基于图2所示终端20的第一实施例的手势识别方法的流程图。请结合图1和图2所示，本实施例的手势识别方法包括手势感测步骤和手势识别步骤，具体而言：

步骤S11：当终端的屏幕上方有一预定手势挥动时，第一传感器采集预定手势挥动时具有第一特征值的音频信号。

在终端20开启隔空操作的功能后，扬声器231实时不间断的发出音频信号。基于人耳对声音的识别(听见)范围一般在20Hz～20KHz(赫兹)，且成年人的识别范围更小，因此在实际场景中为使扬声器231发出的音频信号不被人耳识别同时又易于被麦克风211捕捉到，本实施例优选该音频信号具有的预定频率为18KHz～24KHz。

本发明优选第一特征值为麦克风211采集到的预定手势挥动时根据多普勒效应产生的音频信号的当前频率，主要目的在于获取当前频率再预定手势挥动过程中的频率变化量。

需要指出的是，对于预定手势的感测，需要结合麦克风211、摄像头212以及距离传感器213和光线传感器214在终端20上的实际设置位置，即感测对象并不一定是仅限于屏幕上方挥动的预定手势，例如其中的部分传感器设置于终端20的侧面或背面时，则相应的对在侧面或背面挥动的预定手势进行感测。

步骤S12：当终端的屏幕上方有一预定手势挥动时，第二传感器采集对应的感测数据以得到第二特征值。

鉴于终端20的第二传感器包括基于视觉技术和光影捕捉技术的摄像头212、距离传感器213和光线传感器214，即第二传感器采集的感测数据与第一传感器所采集的特性不同，因此优选终端20最佳的运行环境，即第二传感器最佳的有效运行环境为：灯光或自然光不直接照射于第二传感器尤其是光线传感器214的镜头上，同时保证第二传感器与操作者之间没有任何物体遮挡，运行环境的温度保持在5～35℃，并且操作者与触摸显示屏幕232的识别范围为0～10厘米，当然对于较智能手机更大型的游戏操作终端，该识别范围可以适当设置，例如可以设置为1.5～3.2米。

在本实施例中，第二特征值优选为各类型的第二传感器在预定手势挥动时对应采集到的感测数据的变化量。

本实施例的步骤S11和步骤S12为手势感测步骤，两步骤之间没有硬件或因果递推联系，可以先执行步骤S11，然后再执行步骤S12；或先执行S12，然后再执行步骤S11；又或者同时执行步骤S11和步骤S12，本发明的实施例中并不对此予以限定。但是，需要指出的是，两步骤在采集感测数据时必须保持同步，即时序一致，以确保终端20的控制器221接收到的第一特征值和第二特征值在采集时间上的同步，进一步优选对第一特征值和第二特征值对应标识采集的开始时刻和结束时刻，并存储于内存介质222中以供调用。

步骤S13：根据第二特征值确定预定手势的手势强度，并结合第一传感器采集到的音频信号的第一特征值，确定预定手势的手势类型。

处理单元22获取麦克风211采集到的音频信号的第一特征值，以及距离传感器213和光线传感器214分别对应采集到的感测数据并据此得到第二特征值，而后存储于内存介质222中。在此过程中，麦克风211采集到的音频信号和第二传感器相应采集到的感测数据均为模拟信号，而判定手势类型和手势强度时依据的是数字信号，因此控制器221首先需要对当前频率和感测数据进行模数转换，然后再进行例如对麦克风211采集到的音频信号的当前频率进行快速傅里叶变换(Fast Fourier Transformation，FFT)，以过滤出扬声器231发出的音频信号具有的预定频率18KHz～24KHz附近的音频片段，而后对该音频片段的数值进行放大、取绝对值等处理，从而得到第一特征值和第二特征值。

由于对一次手势事件进行识别的前提是该事件中挥动的预定手势必须为有效手势，因此在对采集的音频信号和感测数据进行处理分析之前需要判断预定手势是否为有效手势。本实施例优选根据动作强度、持续时间以及是否发生在有效时间段内对预定手势进行是否为有效手势的判定，具体而言：

针对一次手势事件中预定手势仅包括一个手势动作且该手势动作均为时间上的连贯动作的情况，此时根据每一手势动作的持续时间即可判定预定手势是否发生在有效时间段内。其中，

控制器221检测并判断麦克风211采集到的音频信号的第一特征值(当前频率)是否大于等于预设的标准频率阈值，以判定预定手势挥动的动作强度是否在合理范围内，从而将因外界影响引起数据轻微变化的情况过滤掉。进一步地，控制器221检测并判断预定手势挥动的时间是否小于等于预设的第一时间阈值且大于等于预设的第二时间阈值，以判定预定手势的持续时间是否发生在终端20可进行隔空操作的有效时间段内，从而将挥动时间过于长久或短暂的手势动作过滤掉。

若当前频率大于等于标准频率阈值，且预定手势挥动的时间小于等于第一时间阈值且大于等于第二时间阈值，则判定预定手势为有效手势，即表示第一特征值和第二特征值为有效数据，而后执行步骤S13以确定预定手势的手势类型和手势强度。

针对一次手势事件中预定手势包括至少两个手势动作且每个手势动作均为时间上的连贯动作的情况，此时不仅需要根据每一手势动作的持续时间以判定每一手势动作是否有效，而且需要根据相邻两个手势动作的时间间隔以判定此次预定手势是否发生在有效时间段内。在上述预定手势仅包括一个手势动作的判定的描述基础上，进一步地，

控制器221检测并判断预定手势的相邻两个手势动作的时间间隔是否小于等于预设的第三时间阈值且大于等于第四时间阈值。

上述标准频率阈值、第一时间阈值、第二时间阈值、第三时间阈值和第四时间阈值作为确保预定手势为有效手势的评判标准，其可以通过对现实生活中发生的多次手势事件的分析与总结得到，例如优选第三时间阈值为大于0秒的数值，第四时间阈值为1秒。并且，各个阈值可以分别是一组或一段数据值，也可以是某一具体数值。

此外，对于当前频率等于标准频率阈值以及手势动作的持续时间、间隔时间等于对应的阈值的状态，本实施例是认为进入该状态即等同于恰好符合有效手势的临界评判标准。在其他实施例中，可将该状态等同于不符合有效手势的临界评判标准进行设定，即当前频率等于标准频率阈值且手势动作的持续时间、间隔时间等于对应的阈值时，判定预定手势为无效手势，第一特征值和第二特征值为无效数据。

当然，本发明对于预定手势是否为有效手势的判定还可以有其他实施方式，例如当距离传感器213为光线传感器时，通过光线传感器对光脉冲的光线量或光线强度进行连续采样，具体而言：

控制器221通过IO(Input/Output，输入/输出)控制信号控制光线传感器的用于发出光脉冲的LED灯的开启与关闭，控制器221通过I2C(Inter-Integrated Circuit，两线式串行)控制信号实现对光线传感器的控制和数据读取。其中，光线传感器的大致工作过程如下：当启动光线传感器时，其设置的LED灯发射光脉冲，当触摸显示屏幕232上方的有效距离内没有人手经过时，传感器发射的光脉冲信号不发生明显变化，光线传感器的采样值输出不变；当触摸显示屏幕232上方的有效距离内有人手经过时，人手将LED灯发射的一部分光脉冲进行遮挡一部分反射到光线传感器，采样值发生变化，最终光线传感器将光脉冲的光信号传输给控制器221以转换为数字信号进行分析处理。

本实施例的手势感测步骤和手势识别步骤S13采用周期性采样的处理方式。请参阅图3所示的光线传感器的采样曲线图，横坐标轴为采样时间t，纵坐标轴为采样值n，一次有效的预定手势滑过手机上方包括五个阶段t1、t2、t3、t4、t5。当人手未到达触摸显示屏幕232上方时，光线传感器接收到的LED灯发射的光脉冲，采样值不发生变化，t1阶段输出值不为零。当人手正在进入触摸显示屏幕232上方时，光线传感器接收到光脉冲，采样值不为零并开始递减，t2阶段的采样值由第一固定值递减至第二固定值。当人手在触摸显示屏幕232上方滑过时，传感器接收到光脉冲，t3阶段的采样值为t2阶段最后一刻输出的第二固定值。当人手正在滑出触摸显示屏幕232上方时，光线传感器接收到光脉冲，t4阶段的采样值开始由t3阶段的第二固定值递增到第一固定值。当人手已经滑出触摸显示屏幕232上方时，光线传感器接收到光脉冲，采样值恢复至t1阶段，t5阶段的采样值不为零。

若采样值未变化(未明显变化)，则表示未感测到人手，并判定人手未到达触摸显示屏幕232上方；继续采样，若在一定采样次数内，在后采样值小于在先采样值，则表示人手正在移向触摸显示屏幕232上方；继续采样，若在一定采样次数内，在后采样值与在先采样值相等，且采样值不为零，则表示人手正在触摸显示屏幕232上方，并判定人手在触摸显示屏幕232上方挥动有效；若在一定采样次数内，在后采样值大于在先采样值，则表示人手正在移出触摸显示屏幕232上方，并判定人手正在从触摸显示屏幕232上方滑出有效；若在一定采样次数内，在后采样值等于在先采样值，且采样值不为零，则表示人手已经离开触摸显示屏幕232上方，并判定人手已经滑出触摸显示屏幕232上方有效。

若手势识别步骤中所包含的上述阶段均有效，则判定预定手势为有效手势，即第一特征值和第二特征值为有效数据，并执行步骤S13以确定预定手势的手势类型和手势强度。进一步地，若上述阶段中至少一个无效或者光线传感器在一定时间段内的累计采样次数大于一次手势识别事件的允许采样次数，则直接判定本次预定手势为无效手势，第一特征值和第二特征值均为无效数据。

在对是有效手势的预定手势的手势强度进行识别时，首先获取预定手势挥动时根据多普勒效应产生的对应音频信号的音频片段，优选该音频片段的频率范围大于预定频率18KHz～24KHz，在其他实施例中，预定手势引起的频率变化可能是大于也可能是小于预定频率，即当预定手挥向终端20时音频片段的频率范围变大，远离终端20时音频片段的频率范围变小。然后获取音频片段的峰值(振幅最大时)随着挥动过程的变化而产生的频率偏移量μ(类似于运动物体的移动速度)。据此，通过如下第一关系式即可计算得到预定手势挥动时动作变化的强度B1。

进一步地，获取手势动作挥动过程中第二传感器采集得到的第二特征值的最大变化量X，例如距离传感器213采集到的人手在挥动过程中与距离传感器213的最大距离变化量，光线传感器214采集到的人手在挥动过程中的最大光采样变化量。据此，通过如下第二关系式即可计算得到预定手势挥动时与第二传感器的相对距离H。

最终，通过如下第三关系式即可计算得到预定手势的手势强度B。

B1＝Σμ*A.......第一关系式

H＝k*X/X0.......第二关系式

B＝B1*H.......第三关系式

其中，A为振幅，k为已知的比例系数，且可根据对多次手势事件的分析与总结预先得到，X0为第二传感器有效时预先设定的第二特征值的最大有效变化量，且X0可根据对第二传感器的种类与硬件的分析与总结预先得到，其在本实施例中为已知。

应该理解到，在本发明的其他实施例中，本领域技术人员还可通过其他关系式计算得到预定手势的手势强度B，并不限于本实施例所述的第一关系式、第二关系式和第三关系式。

在对是有效手势的预定手势的手势类型进行识别时，依据的原理是获取预定手势的手势动作相对麦克风211、摄像头212以及距离传感器213和光线传感器214发生的时间先后，并结合它们在终端20上的实际设置位置进行判断。请结合图4所示麦克风211、摄像头212、距离传感器213和光线传感器214在终端20上的分布示意图，以及图5所示的对预定手势的挥动方向进行判定的流程图进行描述：

步骤S50：获取手势动作相对麦克风211的第一时间点A1，以及相对第二传感器的第二时间点A2。

首先获取预定手势挥动时根据多普勒效应产生的对应音频信号的音频片段，该音频片段的频率范围大于预定频率18KHz～24KHz。然后获取音频片段的峰值所对应的时间，即人手到达麦克风211正上方的时间，以此作为手势动作相对麦克风211的第一时间点A1。进一步地，获取人手到达第二传感器(以距离传感器213为例)正上方的时间，以此作为手势动作相对第二传感器的第二时间点A2。

最终，根据第一时间点A1和第二时间点A2之间的差值A0(即，判定人手到达麦克风211和第二传感器正上方的时间先后)，并结合麦克风211、摄像头212以及距离传感器213和光线传感器214在终端20上的实际位置即可判断预定手势的手势类型。

步骤S51：比较第一时间点A1是否大于第二时间点A2。

若第一时间点A1大于第二时间点A2，表示人手到达麦克风211正上方的时间晚于达到第二传感器正上方的时间，则执行步骤S52。

步骤S52：判定预定手势为向左挥动或向下挥动。

若第一时间点A1小于第二时间点A2，表示人手到达麦克风211正上方的时间早于达到第二传感器正上方的时间，则执行步骤S53。

步骤S53：判定预定手势为向右挥动或向上挥动。

步骤S54：将第一时间点A1和第二时间点A2的差值A0与预设的第一时间阈值进行比较，判断差值A0是否大于第一时间阈值。若差值A0大于第一距离阈值，则执行步骤S55。若差值A0小于第一距离阈值，则执行步骤S56。

步骤S55：判定预定手势为向下挥动。

步骤S56：判定预定手势为向左挥动。

步骤S57：将第一时间点A1和第二时间点A2的差值A0与预设的第二时间阈值进行比较，判断差值A0是否大于第二时间阈值。若差值A0大于第二距离阈值，则执行步骤S58。若差值A0小于第二距离阈值，则执行步骤S59。

其中，第一时间阈值表示人手从麦克风211沿水平方向挥动至第二传感器正上方的参照时间，第二时间阈值表示人手从麦克风211沿竖直方向挥动至第二传感器正上方的参照时间，第一时间阈值和第二时间阈值根据终端的麦克风211和第二传感器的实际设置位置进行设定。

步骤S58：判定预定手势为向上挥动。

步骤S59：判定预定手势为向右挥动。

以上实施例中所提及到的方向用语，例如上、下、左、右等，仅是参考附图4所示的方向，实际应用时可有其他描述，本发明不予限制。鉴于任何手势动作均由上下左右四个方向构成，因此上述方式可结合多种类的第二传感器的多次采集实现对复杂手势进行识别。

基于上述，可知本实施例可在不额外增设传感器的情况下，仅利用终端20自有的麦克风211和扬声器231，通过检测手势对扬声器212发出的音频信号的多普勒效应以获得麦克风211接收到的该音频信号的频率，并综合摄像头212、距离传感器213和光线传感器214采集的感测数据，从而能够将单个传感器对简单动作的识别能力相结合，实现对复杂手势的识别，并且对多种传感器的采集数据的综合分析，使得手势识别的精确性更高。另外，综合多个传感器的采集数据，能够在分析时避免单个传感器受外界环境因素影响而产生的误差，确保精确性的同时适用性也较佳。

本发明还提供有第二实施例的手势识别方法，其在第一实施例揭示的手势识别方法的基础上进行详细描述。本实施例与第一实施例的手势识别方法的不同之处在于：

在手势识别步骤的步骤S12中，针对多个传感器的硬件或采集数据的能力情况，预先对终端20的多个第二传感器(摄像头212、距离传感器213和光线传感器214)设置优先等级，而后根据优先等级依次选取等级最高的一个或等级最高至最低的依次多个第二传感器采集的感测数据并得到第二特征值，并结合麦克风采集到的音频信号的第一特征值，执行步骤S13以用于确定预定手势的手势类型。

其中，优选优先等级的确定标准为各个第二传感器受外界环境因素影响的大小程度并结合每一第二传感器单独进行手势识别时的精确性，即，受外界环境因素影响较小且单独手势识别的精确性较高的第二传感器的优先等级最高，受外界环境因素影响较大且单独手势识别的精确性较低的第二传感器的优先等级最低。

在第一实施例产生的有益效果的基础上，本实施例还可适用于多个传感器同时采集感测数据时，某一传感器失效(例如在光线暗淡时光线传感器214失效)，仍可使用其他传感器采集的感测数据进行分析处理，从而将受外界环境因素影响导致失效的传感器的感测数据弃用，避免手势识别时的分析误差，适用性较佳。

需要说明的是，本实施例中传感器失效和预定手势为无效手势的意义不同，也就是说，即使预定手势为有效手势，在第二传感器失效时该第二传感器采集得到的第二特征值仍然被判定为无效数据；或者说，即使第二传感器未失效，在预定手势为无效手势时该第二传感器采集得到的第二特征值仍然被判定为无效数据。

综上所述，本发明的主要目的是在不额外增设传感器的情况下，仅利用终端自有的传感器，通过检测手势对扬声器发出的音频信号的多普勒效应以获得麦克风接收到的该音频信号的频率，并综合其他自有传感器采集的感测数据，不仅能够对复杂手势进行识别，而且精确性较高、适用性较佳。

再次说明，以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种基于终端的手势识别方法，所述终端包括扬声器、第一传感器以及第二传感器，其特征在于，所述第一传感器为麦克风，所述手势识别方法包括：

手势感测步骤，所述扬声器发出具有预定频率的音频信号，所述第一传感器采集预定手势挥动时具有第一特征值的音频信号，同时所述第二传感器采集对应的感测数据并据此得到第二特征值，所述第二传感器采集的所述感测数据与所述第一传感器所采集的特性不同；

手势识别步骤，根据所述第二特征值确定所述预定手势的手势强度，并结合所述第一传感器采集到的音频信号的第一特征值确定所述预定手势的手势类型；

其中，所述第一特征值为第一时间点，所述第二特征值为第二时间点，所述确定所述预定手势的手势类型的步骤包括：

获取所述预定手势相对所述第一传感器的第一时间点，以及相对所述第二传感器的第二时间点，其中所述第一时间点为所述预定手势挥动时人手到达所述第一传感器正上方的时间，所述第二时间点为所述预定手势挥动时人手到达所述第二传感器正上方的时间；

确定所述第一时间点和所述第二时间点之间的差值，并结合所述第一传感器和所述第二传感器在所述终端上的相对位置，确定所述预定手势的手势类型。

2.根据权利要求1所述的手势识别方法，其特征在于，所述确定所述预定手势的手势类型的步骤包括：

若所述第一时间点大于所述第二时间点，则判定所述预定手势为向左挥动或向下挥动；若所述第一时间点小于等于所述第二时间点，则判定所述预定手势为向右挥动或向上挥动；

将所述第一时间点和所述第二时间点之间的差值与预设的第一距离阈值和第二距离阈值进行比较，若所述差值大于所述第一距离阈值，则判定所述预定手势为向下挥动；若所述差值小于所述第一距离阈值，则判定所述预定手势为向左挥动；若所述差值大于所述第二距离阈值，则判定所述预定手势为向上挥动；若所述差值小于所述第二距离阈值，则判定所述预定手势为向右挥动。

3.根据权利要求1所述的手势识别方法，其特征在于，在所述手势识别步骤中，所述确定所述预定手势的手势强度的步骤包括：

获取所述预定手势挥动时根据多普勒效应产生的对应所述音频信号的音频片段；

获取所述音频片段的峰值随所述预定手势挥动而产生的频率偏移量μ，并通过第一关系式得到所述预定手势挥动时动作变化的强度B1；

获取所述预定手势挥动过程中所述第二传感器采集到的所述第二特征值的最大变化量X，并通过第二关系式得到所述预定手势挥动时与所述第二传感器的相对距离H；

通过第三关系式得到所述预定手势的手势强度；

B1＝Σμ＊A…….第一关系式

H＝k＊X/X0…….第二关系式

B＝B1＊H…….第三关系式

其中，A为振幅，k为已知的比例系数，X0为已知的所述第二传感器有效时预先设定的第二特征值的最大有效变化量。

4.根据权利要求1所述的手势识别方法，其特征在于，所述第一特征值为所述音频信号的当前频率，所述手势识别步骤进一步包括：

检测所述当前频率是否大于等于预设的标准频率阈值、所述预定手势挥动的时间是否小于等于预设的第一时间阈值且大于等于预设的第二时间阈值；

若均是，则判定所述预定手势为有效手势，所述当前频率和所述第二特征值为有效数据，并执行所述确定所述预定手势的手势类型和手势强度的步骤。

5.根据权利要求4所述的手势识别方法，其特征在于，所述预定手势包括至少两个手势动作且每个所述手势动作均为时间上的连贯动作时，所述检测预定手势挥动的时间是否小于等于预设的第一时间阈值且大于等于预设的第二时间阈值的步骤还包括：

检测所述预定手势的相邻两个所述手势动作的时间间隔是否小于等于预设的第三时间阈值且大于等于预设的第四时间阈值。

6.根据权利要求4所述的手势识别方法，其特征在于，所述第二传感器包括距离传感器、光线传感器和摄像头，所述手势识别步骤还包括：

对所述第二传感器预先设置优先等级；

根据所述优先等级选取所述离传感器、光线传感器和摄像头中优先等级最高的一个所采集的所述第二特征值，并结合所述第一传感器采集到的所述音频信号的第一特征值，确定所述预定手势的手势类型。

7.根据权利要求6所述的手势识别方法，其特征在于，所述手势识别步骤还包括判断所述预定手势是否为有效手势，所述距离传感器为光线传感器，所述手势识别步骤包括：

所述光线传感器连续采样，若在一定采样次数内，在后采样值小于在先采样值，表示人手正在移向屏幕上方；继续采样，若在一定采样次数内，在后采样值与在先采样值相等，且采样值不为零，表示人手正在所述屏幕上方，则判定人手在所述屏幕上方挥动有效；若在一定采样次数内，在后采样值大于在先采样值，表示人手正在移出所述屏幕上方，则判定人手正在从所述屏幕上方滑出有效；若在一定采样次数内，在后采样值等于在先采样值，且采样值不为零，表示人手已经离开所述屏幕上方，则判定人手已经滑出所述屏幕上方有效；

若所述手势识别步骤中所包含的阶段均有效，则判定所述预定手势为有效手势，并执行确定所述预定手势的手势类型和手势强度的步骤。

8.一种终端，所述终端包括扬声器、第一传感器以及第二传感器，其特征在于，所述第一传感器为麦克风，所述扬声器用于发出具有预定频率的音频信号，所述第一传感器用于采集预定手势挥动时具有第一特征值的音频信号，同时所述第二传感器用于采集对应的感测数据并据此得到第二特征值，所述第二传感器采集的所述感测数据与所述第一传感器所采集的特性不同；

所述终端还包括控制器，所述控制器用于根据所述第二特征值确定所述预定手势的手势强度，并结合所述第一传感器采集到的音频信号的第一特征值确定所述预定手势的手势类型；

其中，所述控制器还用于获取所述预定手势相对所述第一传感器的第一时间点，以及相对所述第二传感器的第二时间点，其中所述第一时间点为所述预定手势挥动时人手到达所述第一传感器正上方的时间，所述第二时间点为所述预定手势挥动时人手到达所述第二传感器正上方的时间；

所述控制器进一步用于确定所述第一时间点和所述第二时间点之间的差值，并结合所述第一传感器和所述第二传感器在所述终端上的位置，确定所述预定手势的手势类型。

9.根据权利要求8所述的终端，其特征在于，若所述第一时间点大于所述第二时间点，则所述控制器判定所述预定手势为向左挥动或向下挥动；若所述第一时间点小于等于所述第二时间点，则所述控制器判定所述预定手势为向右挥动或向上挥动；

所述控制器进一步用于将所述第一时间点和所述第二时间点的差值与预设的第一距离阈值和第二距离阈值进行比较，若所述差值大于所述第一距离阈值，则判定所述预定手势为向下挥动；若所述差值小于所述第一距离阈值，则判定所述预定手势为向左挥动；若所述差值大于所述第二距离阈值，则判定所述预定手势为向上挥动；若所述差值小于所述第二距离阈值，则判定所述预定手势为向右挥动。

10.根据权利要求8所述的终端，其特征在于，所述控制器还用于获取所述预定手势挥动时根据多普勒效应产生的对应所述音频信号的音频片段；

所述控制器进一步用于获取所述音频片段的峰值随所述预定手势挥动而产生的频率偏移量μ，并通过第一关系式得到所述预定手势挥动时动作变化的强度B1；

所述控制器进一步用于获取所述预定手势挥动过程中所述第二传感器采集到的所述第二特征值的最大变化量X，并通过第二关系式得到所述预定手势挥动时与所述第二传感器的相对距离H；

所述控制器用于通过第三关系式得到所述预定手势的手势强度；

B1＝Σμ＊A…….第一关系式

H＝k＊X/X0…….第二关系式

B＝B1＊H…….第三关系式

其中，A为振幅，k为已知的比例系数，X0为已知的所述第二传感器有效时预先设定的第二特征值的最大有效变化量。

11.根据权利要求8所述的终端，其特征在于，所述第一特征值为所述音频信号的当前频率，

所述控制器进一步用于检测所述当前频率是否大于等于预设的标准频率阈值、所述预定手势挥动的时间是否小于等于预设的第一时间阈值且大于等于预设的第二时间阈值；

若均是，则所述控制器判定所述预定手势为有效手势，所述当前频率和所述第二特征值为有效数据，并执行所述确定所述预定手势的手势类型和手势强度的步骤。

12.根据权利要求11所述的终端，其特征在于，所述预定手势包括至少两个手势动作且每个所述手势动作均为时间上的连贯动作时，所述控制器进一步用于检测所述预定手势的相邻两个所述手势动作的时间间隔是否小于等于预设的第三时间阈值且大于等于预设的第四时间阈值。

13.根据权利要求11所述的终端，其特征在于，所述第二传感器包括距离传感器、光线传感器和摄像头，所述控制器进一步用于对所述第二传感器预先设置优先等级，并根据所述优先等级选取所述第二传感器中优先等级最高的一个采集得到的所述第二特征值，结合所述麦克风采集到的所述音频信号的第一特征值，确定所述预定手势的手势类型。