[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105335711A - 一种复杂环境下指尖检测方法 - Google Patents

一种复杂环境下指尖检测方法 Download PDF

Info

Publication number
CN105335711A
CN105335711A CN201510700440.2A CN201510700440A CN105335711A CN 105335711 A CN105335711 A CN 105335711A CN 201510700440 A CN201510700440 A CN 201510700440A CN 105335711 A CN105335711 A CN 105335711A
Authority
CN
China
Prior art keywords
finger tip
hand region
barycenter
circle
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510700440.2A
Other languages
English (en)
Other versions
CN105335711B (zh
Inventor
康文雄
吴桂乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201510700440.2A priority Critical patent/CN105335711B/zh
Publication of CN105335711A publication Critical patent/CN105335711A/zh
Application granted granted Critical
Publication of CN105335711B publication Critical patent/CN105335711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种复杂环境下指尖检测方法,包括:第一步,通过计算与场景信息对应的稠密光流信息;再构建肤色滤波器得到手部区域;第二步,采用等面积块构建各姿态手部区域的模型,计算手部区域的质心;计算所有轮廓采样点到质心的距离和平均质心距;根据已检测到的指尖数目来确定扩展质心距,以质心为圆心,扩展质心距为半径进行画圆;剔除圆内的轮廓点和圆上连续像素个数最多的手腕区域,在圆外寻找局部最大质心距的轮廓点,则该点标记为指尖;将这一轮检测到指尖的数目与上一轮已检测到的指尖数目比较,判断指尖是否继续检测。该方法鲁棒性强,在复杂环境下人手在摄像头前自由地运动时也可正确检测指尖,从而提高指尖检测的精确度和有效性。

Description

一种复杂环境下指尖检测方法
技术领域
本发明涉及图像处理与分析技术领域,更具体地说,涉及一种复杂环境下指尖检测方法。
背景技术
传统的人机交互系统主要通过按钮、鼠标、键盘等媒介进行人类与计算机的信息交流,这些交互方式大多存在功能有限、占用空间大等缺点,制约了人机交互技术的发展。近年来,随着计算机科学与人工智能技术的发展,人机交互逐渐趋向于自然、直观的方式,其中,基于计算机视觉技术的人机交互方式凭借其使用方便、灵活性高、抗噪声能力强等特点,得到了越来越多研究人员的关注。
作为基于计算机视觉技术的人机交互系统的重要组成部分,指尖检测在手势识别、虚拟控制等领域具有十分广阔的应用前景。早期的指尖检测通过特殊颜料标记或佩戴LED灯等方式从场景中检测指尖,这种方法虽然简单,但是使用起来很不方便,只能用于某些简单的场景;其后,穿戴式数据手套的使用在一定程度上提高了指尖检测的鲁棒性,但是其便捷性较差,同时穿戴式数据手套一般价格较高;随着摄像头工艺技术的发展,研究人员开始使用一些特殊摄像头(如Kinect)获取特殊的场景信息,虽然指尖检测效果有了明显提高,但是该类摄像头普及性不高,难以推广。与此同时,有不少的研究人员提出了采用普通摄像头进行指尖检测的算法,但是这些算法大多比较简单,无法在复杂环境下进行人手检测。综上所述,当前采用普通摄像头捕获场景信息进行指尖检测依然人机手部交互系统的研究趋势。
目前指尖检测技术依然存在很多难题尚未解决:(1)人手是非刚性物体,具有很高的自由度,因此无法用固定的模板来匹配不同情况下的手指;(2)不同人的手指外观存在差别,要精确地检测出不同人的手指外形和姿态,具有较大难度;(3)即使是同一个人的手指,也存在细微的差别,如果无法正确识别这些细微差别,将给检测结果带来较大误差;(4)从场景中分割手部区域是进行指尖检测的基础,当环境较为复杂时,手部区域的精确分割具有较大难度。
发明内容
本发明的目的在于克服现有技术中的缺点与不足,提供一种复杂环境下指尖检测方法;该指尖检测方法不仅可有效实现在复杂环境下进行手部区域的分割,而且该检测方法鲁棒性强,在复杂环境下人手在摄像头前自由地运动时也可正确检测指尖,从而提高指尖检测的精确度和有效性。
为了达到上述目的,本发明通过下述技术方案予以实现:一种复杂环境下指尖检测方法,用于对手部的指尖进行检测;其特征在于:包括以下三个步骤:
第一步,捕获场景信息,通过计算与场景信息对应的稠密光流信息并进行二值化预处理得到含有手部区域的场景图像;再构建肤色滤波器,对含有手部区域的场景图像进行手部区域的分割,得到手部区域;
第二步,采用等面积块构建各姿态手部区域的模型,根据手部区域的面积计算手部区域的质心;再对手部区域轮廓进行采样,计算所有轮廓采样点到质心的距离,并计算出平均质心距;然后根据上一轮已检测到的指尖数目来确定扩展质心距,并以质心为圆心,扩展质心距为半径进行画圆;最后剔除圆内的轮廓点和圆上连续像素个数最多的手腕区域,并在圆外寻找局部最大质心距的轮廓点,则该点标记为指尖;将这一轮检测到指尖的数目与上一轮已检测到的指尖数目比较,若两者相等,则实现指尖的检测,否则将这一轮检测到指尖的数目更新为已检测到的指尖数目,来确定扩展质心距并进行画圆,继续指尖的检测。
在第一步中,所述捕获场景信息,通过计算与场景信息对应的稠密光流信息并进行二值化预处理得到含有手部区域的场景图像;再构建肤色滤波器,对含有手部区域的场景图像进行手部区域的分割,得到手部区域是指:包括以下步骤:
(1.1)捕获场景信息,并计算与之对应的稠密光流信息;
(1.2)遍历光流信息,寻找最大光流值,并利用该最大光流值,在X轴和Y轴方向对所有光流进行正则化处理;
(1.3)根据正则化后的光流,计算沿光流方向发生变化的区域的色调和饱和度,并标记不同的颜色值;
(1.4)设定阈值,根据阈值将颜色标记的光流变化区域转化为二值图像,结合逻辑运算和数学形态学运算,获得含有手部区域的场景图像。
(1.5)根据人体肤色聚类特性,构造YCbCr肤色滤波器,剔除冗余色彩和亮度信息;
(1.6)对YCbCr肤色滤波器过滤后对含有手部区域的场景图像的所有轮廓进行递减排序,寻找最大连通区域作为手部区域,实现对含有手部区域的场景图像进行手部区域的分割。
在第二步中,所述采用等面积块构建各姿态手部区域的模型,来确定手部区域的面积,以计算手部区域的质心;再对手部区域轮廓进行采样,计算所有轮廓采样点到质心的距离,并计算出平均质心距;然后根据上一轮已检测到的指尖数目来确定扩展质心距,并以质心为圆心,扩展质心距为半径进行画圆;最后剔除圆内的轮廓点和圆上连续像素个数最多的手腕区域,并在圆外寻找局部最大质心距的轮廓点,则该点标记为指尖;将这一轮检测到指尖的数目与上一轮已检测到的指尖数目比较,若两者相等,则实现指尖的检测,否则将这一轮检测到指尖的数目更新为已检测到的指尖数目,来确定扩展质心距并进行画圆,继续指尖的检测是指:包括以下步骤:
(2.1)用等面积块构建手部区域外观模型,根据手部区域的不同姿态,得到等面积块的数量,来确定手部区域的面积;
(2.2)根据手部区域的面积和各个等面积块的坐标来计算手部区域的质心;
(2.3)对手部区域轮廓进行密集采样,计算所有采样的轮廓点到质心的距离,并计算出平均质心距;
(2.4)根据已检测到的指尖数目N确定扩展质心距Dext,并以质心为圆心,扩展质心距Dext为半径进行画圆;并剔除包含在该圆内的轮廓点;其中,N的初始值设置为0;
(2.5)统计该圆经过手部区域的像素个数,并确定圆上连续像素个数最多的区域为手腕区域,并剔除该手腕区域包含的轮廓点;
(2.6)对圆外剩余的区域寻找局部最大质心距的轮廓点,并将该轮廓点标记为指尖;
(2.7)将检测到指尖的数目N1与步骤(2.4)中已检测到的指尖数目N比较,若两者相等,则实现指尖的检测,得到指尖的数目和位置;否则将检测到指尖的数目N1更新为步骤(2.4)中已检测到的指尖数目N,并返回步骤(2.4),继续指尖的检测。
在步骤(2.2)中,所述根据手部区域的面积和各个等面积块的坐标来计算手部区域的质心是指:通过公式(1)计算手部区域的质心(xg,yg):
x g = s Σ i = 1 n x i s Σ i = 1 n 1 = Σ i = 1 n x i n , y g = s Σ i = 1 n y i s Σ i = 1 n 1 = Σ i = 1 n y i n - - - ( 1 )
其中,S是手部区域的面积,xi、yi分别是第i个等面积块在X轴方向和Y轴方向坐标。
在步骤(2.3)中,所述计算所有采样的轮廓点到质心的距离,并计算出平均质心距是指:计算所有采样的轮廓点(xpoint_i,ypoint_i)到质心的欧氏距离,平均质心距用公式(2)计算:
D a v g = ∫ ∫ ( x p o int _ i - x g ) 2 + ( y p o int _ i - y g ) 2 d x d y ∫ ∫ d x d y - - - ( 2 )
其中,(xg,yg)为手部区域的质心。
在步骤(2.4)中,所述根据已检测到的指尖数目N确定扩展质心距Dext是指:所述已检测到的指尖数目N与扩展质心距Dext满足的条件为:
0≤N<3,Dext=1.5×Davg
3≤N≤5,Dext=1.2×Davg
若已检测到的指尖数目N>5,则返回第一步;其中,Davg为平均质心距。
在步骤(2.6)中,所述对圆外剩余的区域寻找局部最大质心距的轮廓点,并将该轮廓点标记为指尖是指:通过遍历指尖轮廓点,当轮廓点上连续10个轮廓点的质心距逐渐增加时,记录当前最大值,当质心距连续10个轮廓点的质心距开始减少时,将当前已记录的最大值作为局部最大质心距,局部最大质心距对应的轮廓点则标记为指尖。
与现有技术相比,本发明具有如下优点与有益效果:
1、不同于现有其他方法,本方法实施时不需要使用特殊摄像头或特殊设备,也不需要对人手进行特殊标记,人手可以在摄像头前自由地运动。
其中,在进行手部区域分割时,将捕获的视频场景的光流变化区域可视化,并通过构造YCbCr肤色滤波器与轮廓降序筛选的方式,有效实现复杂环境下的手部区域分割,最大程度避免环境噪声的干扰,可以应对场景中包含大量类肤色区域的情况。
在对手部区域进行指尖检测时,本方法构建了手部区域等面积块模型,通过该模型的分析算法计算平均质心距(Davg)和扩展质心距(Dext),并以Davg和不同的Dext为半径画出圆,进行手腕方向选择和轮廓点筛选,最终通过计算局部最大质心距找到指尖位置,有效排除圆内误检测点,从而有效剔除手腕、手部细小突起等噪声信息对指尖检测的干扰,确保指尖点位于圆外,实现鲁棒的指尖检测。此外,由于圆具有旋转不变性,因此当手掌旋转成不同角度时,该方法依然能够正确地检测指尖。
2、该指尖检测方法不仅可有效实现在复杂环境下进行手部区域的分割,而且该检测方法鲁棒性强,在复杂环境下人手在摄像头前自由地运动时也可正确检测指尖,从而提高指尖检测的精确度和有效性。
附图说明
图1是本发明指尖检测方法的流程框图;
图2是第一步从复杂的环境中进行手部区域分割的方法流程图;
图3是第二步对分割出来的手部区域进行指尖检测的方法流程图;
图4是手掌五指张开时手部区域外观模型图;
图5是手掌呈现拳头时手部区域外观模型图;
图6是手掌呈现拳头时手部区域简化为几何外观模型的示意图;
图7是手掌单指尖时手部区域简化为几何外观模型的示意图;
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例
如图1至3所示,本发明复杂环境下指尖检测方法,用于对手部的指尖进行检测;其特征在于:包括以下三个步骤:
第一步,捕获场景信息,通过计算与场景信息对应的稠密光流信息并进行二值化预处理得到含有手部区域的场景图像;再构建肤色滤波器,对含有手部区域的场景图像进行手部区域的分割,得到手部区域;
第二步,采用等面积块构建各姿态手部区域的模型,根据手部区域的面积计算手部区域的质心;再对手部区域轮廓进行采样,计算所有轮廓采样点到质心的距离,并计算出平均质心距;然后根据上一轮已检测到的指尖数目来确定扩展质心距,并以质心为圆心,扩展质心距为半径进行画圆;最后剔除圆内的轮廓点和圆上连续像素个数最多的手腕区域,并在圆外寻找局部最大质心距的轮廓点,则该点标记为指尖;将这一轮检测到指尖的数目与上一轮已检测到的指尖数目比较,若两者相等,则实现指尖的检测,否则将这一轮检测到指尖的数目更新为已检测到的指尖数目,来确定扩展质心距并进行画圆,继续指尖的检测。
在第一步中,所述捕获场景信息,通过计算与场景信息对应的稠密光流信息并进行二值化预处理得到含有手部区域的场景图像;再构建肤色滤波器,对含有手部区域的场景图像进行手部区域的分割,得到手部区域是指:包括以下步骤:
(1.1)捕获场景信息,并计算与之对应的稠密光流信息;虽然稠密光流的计算量一般都很大,但在本方法中,由于本发明计算稠密光流只是为了获取手部候选大致区域,因此我们使用双层的金字塔进行光流计算,并设定较大的搜索窗口(15x15)。
(1.2)遍历光流信息,寻找最大光流值,并利用该最大光流值,在X轴和Y轴方向对所有光流进行正则化处理。
(1.3)根据正则化后的光流,计算沿光流方向发生变化的区域的色调和饱和度,并标记不同的颜色值。
(1.4)设定阈值,根据阈值将颜色标记的光流变化区域转化为二值图像,结合逻辑运算和数学形态学运算,获得含有手部区域的场景图像。
(1.5)根据人体肤色聚类特性,构造YCbCr肤色滤波器,剔除冗余色彩和亮度信息;一般情况下,候选手部区域图像包含RGB颜色信息,按照公式(3)可以将之转化为YCbCr颜色信息。
Y C b C r 1 = 0.2990 0.5870 0.1140 0 - 0.1687 - 0.3313 0.5000 128 0.5000 - 0.4187 - 0.0813 128 0 0 0 1 R G B 1 - - - ( 3 )
同时,由于人体肤色的分布具有明显的聚类特性,结合大量的实验结果,可以将公式(4)提供的狭长的色带作为肤色模型,并构造YCbCr肤色滤波器。
100 &le; C b &le; 127 128 &le; C r &le; 170 - - - ( 4 )
(1.6)对YCbCr肤色滤波器过滤后对含有手部区域的场景图像的所有轮廓进行递减排序,寻找最大连通区域作为手部区域,实现对含有手部区域的场景图像进行手部区域的分割。
在第二步中,所述采用等面积块构建各姿态手部区域的模型,来确定手部区域的面积,以计算手部区域的质心;再对手部区域轮廓进行采样,计算所有轮廓采样点到质心的距离,并计算出平均质心距;然后根据上一轮已检测到的指尖数目来确定扩展质心距,并以质心为圆心,扩展质心距为半径进行画圆;最后剔除圆内的轮廓点和圆上连续像素个数最多的手腕区域,并在圆外寻找局部最大质心距的轮廓点,则该点标记为指尖;将这一轮检测到指尖的数目与上一轮已检测到的指尖数目比较,若两者相等,则实现指尖的检测,否则将这一轮检测到指尖的数目更新为已检测到的指尖数目,来确定扩展质心距并进行画圆,继续指尖的检测是指:包括以下步骤:
(2.1)用等面积块构建手部区域外观模型,根据手部区域的不同姿态,得到等面积块的数量,来确定手部区域的面积;如图4所示,当手掌五指张开时,结合手部自由度模型,可以用26个等面积块来表示手部区域外观模型;如图5所示,当手掌呈现拳头时,则可用16个等面积块表示其外观模型。为了便于计算,以拳头外观模型为例,该模型可以进一步简化为几何外观模型,如图6所示。
(2.2)根据手部区域的面积和各个等面积块的坐标来计算手部区域的质心;具体是通过公式(1)计算手部区域的质心(xg,yg):
x g = s &Sigma; i = 1 n x i s &Sigma; i = 1 n 1 = &Sigma; i = 1 n x i n , y g = s &Sigma; i = 1 n y i s &Sigma; i = 1 n 1 = &Sigma; i = 1 n y i n - - - ( 1 )
其中,S是手部区域的面积,xi、yi分别是第i个等面积块在X轴方向和Y轴方向坐标。
(2.3)对手部区域轮廓进行密集采样,计算所有采样的轮廓点到质心的距离,并计算出平均质心距;计算所有采样的轮廓点(xpoint_i,ypoint_i)到质心的欧氏距离,平均质心距用公式(2)计算:
D a v g = &Integral; &Integral; ( x p o int _ i - x g ) 2 + ( y p o int _ i - y g ) 2 d x d y &Integral; &Integral; d x d y - - - ( 2 )
其中,(xg,yg)为手部区域的质心。
(2.4)根据已检测到的指尖数目N确定扩展质心距Dext,并以质心为圆心,扩展质心距Dext为半径进行画圆;并剔除包含在该圆内的轮廓点。其中,N的初始值设置为0;;已检测到的指尖数目N与扩展质心距Dext满足的条件为:
0≤N<3,Dext=1.5×Davg
3≤N≤5,Dext=1.2×Davg
若已检测到的指尖数目N>5,则返回第一步;其中,Davg为平均质心距。
基于手部外观模型,当手掌呈现不同手指数时,等面积块的数目是不同的,因此以不同扩展质心距为半径画圆,可以有效将手腕区域并剔除细小突起点的干扰。结合手部外观几何模型以及公式(1)、公式(2),当手指数目小于3时,扩展质心距应该为1.5倍的平均质心距(Dext=1.5×Davg);当手指数目大于3但小于5时,扩展质心距为1.2倍平均质心距(Dext=1.2×Davg);当手指数目大于5时,结束指尖检测,不做以扩展质心距为半径的圆。以图6所示的拳头几何外观模型为例,质心位于中心位置,以1.5倍平均质心距作为半径画圆,该圆将包含拳头上所有的等面积块,从而将拳头上所有的轮廓点都剔除,而不会误检出指尖。再如图7所示的单指尖几何外观模型,以1.5倍平均质心距作为半径画圆,除了突起的指尖,其他的大部分面积块都将包含在以扩展质心距为半径的圆内,从而有效剔除细小突起的干扰点,通过后续计算确定以扩展质心距为半径的圆外的指尖位置。
(2.5)统计该圆经过手部区域的像素个数,并确定圆上连续像素个数最多的区域为手腕区域,该方向不进行指尖检测,并剔除该手腕区域包含的轮廓点。
(2.6)对圆外剩余的区域寻找局部最大质心距的轮廓点,并将该轮廓点标记为指尖。步骤(2.6)具体是这样的:通过遍历指尖轮廓点,当轮廓点上连续10个轮廓点的质心距逐渐增加时,记录当前最大值,当质心距连续10个轮廓点的质心距开始减少时,将当前已记录的最大值作为局部最大质心距,局部最大质心距对应的轮廓点则标记为指尖。
(2.7)将检测到指尖的数目N1与步骤(2.4)中已检测到的指尖数目N比较,若两者相等,则实现指尖的检测,得到指尖的数目和位置;否则将检测到指尖的数目N1更新为步骤(2.4)中已检测到的指尖数目N,并返回步骤(2.4),继续指尖的检测。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (7)

1.一种复杂环境下指尖检测方法,用于对手部的指尖进行检测;其特征在于:包括以下三个步骤:
第一步,捕获场景信息,通过计算与场景信息对应的稠密光流信息并进行二值化预处理得到含有手部区域的场景图像;再构建肤色滤波器,对含有手部区域的场景图像进行手部区域的分割,得到手部区域;
第二步,采用等面积块构建各姿态手部区域的模型,根据手部区域的面积计算手部区域的质心;再对手部区域轮廓进行采样,计算所有轮廓采样点到质心的距离,并计算出平均质心距;然后根据上一轮已检测到的指尖数目来确定扩展质心距,并以质心为圆心,扩展质心距为半径进行画圆;最后剔除圆内的轮廓点和圆上连续像素个数最多的手腕区域,并在圆外寻找局部最大质心距的轮廓点,则该点标记为指尖;将这一轮检测到指尖的数目与上一轮已检测到的指尖数目比较,若两者相等,则实现指尖的检测,否则将这一轮检测到指尖的数目更新为已检测到的指尖数目,来确定扩展质心距并进行画圆,继续指尖的检测。
2.根据权利要求1所述的复杂环境下指尖检测方法,其特征在于:在第一步中,所述捕获场景信息,通过计算与场景信息对应的稠密光流信息并进行二值化预处理得到含有手部区域的场景图像;再构建肤色滤波器,对含有手部区域的场景图像进行手部区域的分割,得到手部区域是指:包括以下步骤:
(1.1)捕获场景信息,并计算与之对应的稠密光流信息;
(1.2)遍历光流信息,寻找最大光流值,并利用该最大光流值,在X轴和Y轴方向对所有光流进行正则化处理;
(1.3)根据正则化后的光流,计算沿光流方向发生变化的区域的色调和饱和度,并标记不同的颜色值;
(1.4)设定阈值,根据阈值将颜色标记的光流变化区域转化为二值图像,结合逻辑运算和数学形态学运算,获得含有手部区域的场景图像。
(1.5)根据人体肤色聚类特性,构造YCbCr肤色滤波器,剔除冗余色彩和亮度信息;
(1.6)对YCbCr肤色滤波器过滤后对含有手部区域的场景图像的所有轮廓进行递减排序,寻找最大连通区域作为手部区域,实现对含有手部区域的场景图像进行手部区域的分割。
3.根据权利要求1所述的复杂环境下指尖检测方法,其特征在于:在第二步中,所述采用等面积块构建各姿态手部区域的模型,来确定手部区域的面积,以计算手部区域的质心;再对手部区域轮廓进行采样,计算所有轮廓采样点到质心的距离,并计算出平均质心距;然后根据上一轮已检测到的指尖数目来确定扩展质心距,并以质心为圆心,扩展质心距为半径进行画圆;最后剔除圆内的轮廓点和圆上连续像素个数最多的手腕区域,并在圆外寻找局部最大质心距的轮廓点,则该点标记为指尖;将这一轮检测到指尖的数目与上一轮已检测到的指尖数目比较,若两者相等,则实现指尖的检测,否则将这一轮检测到指尖的数目更新为已检测到的指尖数目,来确定扩展质心距并进行画圆,继续指尖的检测是指:包括以下步骤:
(2.1)用等面积块构建手部区域外观模型,根据手部区域的不同姿态,得到等面积块的数量,来确定手部区域的面积;
(2.2)根据手部区域的面积和各个等面积块的坐标来计算手部区域的质心;
(2.3)对手部区域轮廓进行密集采样,计算所有采样的轮廓点到质心的距离,并计算出平均质心距;
(2.4)根据已检测到的指尖数目N确定扩展质心距Dext,并以质心为圆心,扩展质心距Dext为半径进行画圆;并剔除包含在该圆内的轮廓点;其中,N的初始值设置为0;
(2.5)统计该圆经过手部区域的像素个数,并确定圆上连续像素个数最多的区域为手腕区域,并剔除该手腕区域包含的轮廓点;
(2.6)对圆外剩余的区域寻找局部最大质心距的轮廓点,并将该轮廓点标记为指尖;
(2.7)将检测到指尖的数目N1与步骤(2.4)中已检测到的指尖数目N比较,若两者相等,则实现指尖的检测,得到指尖的数目和位置;否则将检测到指尖的数目N1更新为步骤(2.4)中已检测到的指尖数目N,并返回步骤(2.4),继续指尖的检测。
4.根据权利要求3所述的复杂环境下指尖检测方法,其特征在于:在步骤(2.2)中,所述根据手部区域的面积和各个等面积块的坐标来计算手部区域的质心是指:通过公式(1)计算手部区域的质心(xg,yg):
x g = s &Sigma; i = 1 n x i s &Sigma; i = 1 n 1 = &Sigma; i = 1 n x i n , y g = s &Sigma; i = 1 n y i s &Sigma; i = 1 n 1 = &Sigma; i = 1 n y i n - - - ( 1 )
其中,S是手部区域的面积,xi、yi分别是第i个等面积块在X轴方向和Y轴方向坐标。
5.根据权利要求3所述的复杂环境下指尖检测方法,其特征在于:在步骤(2.3)中,所述计算所有采样的轮廓点到质心的距离,并计算出平均质心距是指:计算所有采样的轮廓点(xpoint_i,ypoint_i)到质心的欧氏距离,平均质心距用公式(2)计算:
D a v g = &Integral; &Integral; ( x p o int _ i - x g ) 2 + ( y p o int _ i - y g ) 2 d x d y &Integral; &Integral; d x d y - - - ( 2 )
其中,(xg,yg)为手部区域的质心。
6.根据权利要求3所述的复杂环境下指尖检测方法,其特征在于:在步骤(2.4)中,所述根据已检测到的指尖数目N确定扩展质心距Dext是指:所述已检测到的指尖数目N与扩展质心距Dext满足的条件为:
0≤N<3,Dext=1.5×Davg
3≤N≤5,Dext=1.2×Davg
若已检测到的指尖数目N>5,则返回第一步;其中,Davg为平均质心距。
7.根据权利要求3所述的复杂环境下指尖检测方法,其特征在于:在步骤(2.6)中,在步骤(2.6)中,所述对圆外剩余的区域寻找局部最大质心距的轮廓点,并将该轮廓点标记为指尖是指:通过遍历指尖轮廓点,当轮廓点上连续10个轮廓点的质心距逐渐增加时,记录当前最大值,当质心距连续10个轮廓点的质心距开始减少时,将当前已记录的最大值作为局部最大质心距,局部最大质心距对应的轮廓点则标记为指尖。
CN201510700440.2A 2015-10-22 2015-10-22 一种复杂环境下指尖检测方法 Active CN105335711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510700440.2A CN105335711B (zh) 2015-10-22 2015-10-22 一种复杂环境下指尖检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510700440.2A CN105335711B (zh) 2015-10-22 2015-10-22 一种复杂环境下指尖检测方法

Publications (2)

Publication Number Publication Date
CN105335711A true CN105335711A (zh) 2016-02-17
CN105335711B CN105335711B (zh) 2019-01-15

Family

ID=55286227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510700440.2A Active CN105335711B (zh) 2015-10-22 2015-10-22 一种复杂环境下指尖检测方法

Country Status (1)

Country Link
CN (1) CN105335711B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529432A (zh) * 2016-11-01 2017-03-22 山东大学 一种深度融合显著性检测与先验知识的手部区域分割方法
FR3048108A1 (fr) * 2016-02-24 2017-08-25 Hins Procede de reconnaissance de la disposition d'une main dans un flux d'images
CN107180224A (zh) * 2017-04-10 2017-09-19 华南理工大学 基于时空滤波和联合空间Kmeans的手指运动检测与定位方法
WO2018076484A1 (zh) * 2016-10-25 2018-05-03 华南理工大学 一种基于视频的捏合指尖跟踪方法
CN109118529A (zh) * 2018-08-13 2019-01-01 四川长虹电器股份有限公司 一种基于视觉的螺孔图像快速定位方法
CN112114675A (zh) * 2020-09-29 2020-12-22 陕西科技大学 基于手势控制的非接触电梯键盘的使用方法
CN112906563A (zh) * 2021-02-19 2021-06-04 山东英信计算机技术有限公司 一种动态手势识别方法、装置、系统及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034333A (zh) * 2012-12-18 2013-04-10 福建华映显示科技有限公司 手势辨识装置及方法
CN103488972A (zh) * 2013-09-09 2014-01-01 西安交通大学 基于深度信息的指尖检测方法
US20140161309A1 (en) * 2012-12-07 2014-06-12 Chunghwa Picture Tubes, Ltd. Gesture recognizing device and method for recognizing a gesture
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161309A1 (en) * 2012-12-07 2014-06-12 Chunghwa Picture Tubes, Ltd. Gesture recognizing device and method for recognizing a gesture
CN103034333A (zh) * 2012-12-18 2013-04-10 福建华映显示科技有限公司 手势辨识装置及方法
CN103488972A (zh) * 2013-09-09 2014-01-01 西安交通大学 基于深度信息的指尖检测方法
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
南睿: "基于单目视觉的手指识别跟踪系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3048108A1 (fr) * 2016-02-24 2017-08-25 Hins Procede de reconnaissance de la disposition d'une main dans un flux d'images
WO2018076484A1 (zh) * 2016-10-25 2018-05-03 华南理工大学 一种基于视频的捏合指尖跟踪方法
CN106529432A (zh) * 2016-11-01 2017-03-22 山东大学 一种深度融合显著性检测与先验知识的手部区域分割方法
CN106529432B (zh) * 2016-11-01 2019-05-07 山东大学 一种深度融合显著性检测与先验知识的手部区域分割方法
CN107180224A (zh) * 2017-04-10 2017-09-19 华南理工大学 基于时空滤波和联合空间Kmeans的手指运动检测与定位方法
CN107180224B (zh) * 2017-04-10 2020-06-19 华南理工大学 基于时空滤波和联合空间Kmeans的手指运动检测与定位方法
CN109118529A (zh) * 2018-08-13 2019-01-01 四川长虹电器股份有限公司 一种基于视觉的螺孔图像快速定位方法
CN109118529B (zh) * 2018-08-13 2022-06-03 四川长虹电器股份有限公司 一种基于视觉的螺孔图像快速定位方法
CN112114675A (zh) * 2020-09-29 2020-12-22 陕西科技大学 基于手势控制的非接触电梯键盘的使用方法
CN112906563A (zh) * 2021-02-19 2021-06-04 山东英信计算机技术有限公司 一种动态手势识别方法、装置、系统及可读存储介质

Also Published As

Publication number Publication date
CN105335711B (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
Mukherjee et al. Fingertip detection and tracking for recognition of air-writing in videos
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
CN105335711A (zh) 一种复杂环境下指尖检测方法
Zhou et al. A novel finger and hand pose estimation technique for real-time hand gesture recognition
CN105739702B (zh) 用于自然人机交互的多姿态指尖跟踪方法
CN103257713B (zh) 一种手势控制方法
Agrawal et al. A survey on manual and non-manual sign language recognition for isolated and continuous sign
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
Zhu et al. Real-time hand gesture recognition with Kinect for playing racing video games
CN106200971A (zh) 基于手势识别的人机交互系统装置及操作方法
CN103995595A (zh) 一种基于手势的游戏体感控制方法
Kalsh et al. Sign language recognition system
Xu et al. Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction
Ranawat et al. Hand gesture recognition based virtual mouse events
Li et al. Hand gesture tracking and recognition based human-computer interaction system and its applications
CN105261038B (zh) 基于双向光流和感知哈希的指尖跟踪方法
Favorskaya et al. Localization and Recognition of Dynamic Hand Gestures Based on Hierarchy of Manifold Classifiers
CN102073878B (zh) 非穿戴指势视觉识别方法
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
Jadhav et al. Hand gesture recognition system to control slide show navigation
Roy et al. Real time hand gesture based user friendly human computer interaction system
Jiang et al. A dynamic gesture recognition method based on computer vision
Zhang et al. Research on gesture recognition based on improved template matching algorithm
CN102122345A (zh) 基于手部运动变化的指势判别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant