[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112183424A - 一种基于视频的实时手部追踪方法和系统 - Google Patents

一种基于视频的实时手部追踪方法和系统 Download PDF

Info

Publication number
CN112183424A
CN112183424A CN202011074015.4A CN202011074015A CN112183424A CN 112183424 A CN112183424 A CN 112183424A CN 202011074015 A CN202011074015 A CN 202011074015A CN 112183424 A CN112183424 A CN 112183424A
Authority
CN
China
Prior art keywords
image
palm
model
training
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011074015.4A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huayan Mutual Entertainment Technology Co ltd
Original Assignee
Beijing Huayan Mutual Entertainment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huayan Mutual Entertainment Technology Co ltd filed Critical Beijing Huayan Mutual Entertainment Technology Co ltd
Priority to CN202011074015.4A priority Critical patent/CN112183424A/zh
Publication of CN112183424A publication Critical patent/CN112183424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频的实时手部追踪方法和系统，其中方法包括：输入视频帧图像；通过一手掌检测模型对所述视频帧图像进行实时手掌检测，并对检测到手掌进行图像裁剪，得到手掌图像；通过一手部标识模型对所述手掌图像进行手指关键点定位检测，得到所述手掌图像上的每个手指关键点的坐标位置并标识；通过一手势识别模型对所述手部标识模型所标识的手势图像进行手势识别，得到手部姿态实时识别结果。本发明实现了对手部的实时有效追踪。

Description

一种基于视频的实时手部追踪方法和系统
技术领域
本发明涉及图像识别和动画技术领域，具体涉及一种基于视频的实时手部追踪方法和系统。
背景技术
当今，有数百万人在使用手语进行交流，但到目前为止，关于捕捉复杂手势并将翻译成口头语言的研究，取得的进展相当有限。由于手部动作通常是快速的、微妙的，而且手部在运动过程中经常会被遮挡住，手部图像和背景图像通常又缺乏高对比度，所以想从视频帧图像中快速识别出手部图像并不容易，即便是采用多摄像头从多个角度对手部进行捕捉或者采用其他的深度感应装置去感知手部区域图像也难以做到对手部的实时动态跟踪。
发明内容
本发明的目的在于提供一种基于视频的实时手部追踪方法和系统，以解决上述技术问题。
为达此目的，本发明采用以下技术方案：
提供一种基于视频的实时手部追踪方法，包括：
输入视频帧图像；
通过一手掌检测模型对所述视频帧图像进行实时手掌检测，并对检测到手掌进行图像裁剪，得到手掌图像；
通过一手部标识模型对所述手掌图像进行手指关键点定位检测，得到所述手掌图像上的每个手指关键点的坐标位置并标识；
通过一手势识别模型对所述手部标识模型所标识的手势图像进行手势识别，得到手部姿态实时识别结果。
优选地，训练所述手掌检测模型的方法包括如下步骤：
选定30000张包含手掌的所述视频帧图像作为所述手掌检测模型的训练样本；
将作为训练样本的所述视频帧图像输入到一深度学习网络中，训练形成一手掌检测初始模型；
通过所述手掌检测初始模型对所述视频帧图像进行手掌检测，输出检测结果；
对所述手掌检测初始模型输出的所述检测结果进行人工校验以评估模型性能，然后根据模型性能评估结果调整所述深度学习网络的模型训练参数；
根据所调整的模型训练参数，并以所述视频帧图像为训练样本，对所述手掌检测初始模型进行迭代更新，最终训练形成所述手掌检测模型。
优选地，所述深度学习网络为RPN网络结构的神经网络。
优选地，所述视频帧图像的尺寸为256×256。
优选地，所述深度学习网络包括依次级联的5个卷积层，尺寸为256×256的所述视频帧图像经所述深度学习网络的第一卷积层的图像特征提取后输出128×128的特征图；尺寸为128×128的特征图经第二卷积层的图像特征提取后输出64×64的特征图；64×64的特征图经第三卷积层的图像特征提取后输出32×32的特征图；32×32的特征图经第四卷积层的图像特征提取后输出16×16的特征图；16×16的特征图经第五卷积层的图像特征提取后输出8×8的特征图。
优选地，所述手指关键点包括21个具有3D坐标的可表征出手掌形状的手指关键点。
优选地，所述手势识别模型识别手势的方法包括如下步骤：
根据手指关键点标识结果，按照预设尺寸从所述手掌图像上裁剪出所述手势图像；
将所述手势图像与存储于一图像数据库中的分类模板图像进行图像匹配，每张所述分类模板图像关联一手势类型，若图像匹配成功，则输出所匹配的所述分类模板图像所关联的所述手势类型作为对所述手势图像的手势识别结果。
本发明还提供了一种基于视频的实时手部追踪系统，可实现所述实时手部追踪方法，系统包括：
图像输入模块，用于输入视频帧图像；
手掌检测模块，连接所述图像输入模块，用于通过一手掌检测模型对所述视频帧图像进行实时手掌检测，并对检测到的手掌进行图像裁剪，得到手掌图像；
手部标识模块，连接所述手掌检测模块，用于通过一手部标识模型对所述手掌图像进行手指关键点定位检测，得到所述手掌图像上的每个手指关键点的坐标位置并标识；
手势识别模块，连接所述手部标识模块，用于通过一手势识别模型对所述手部标识模型所标识的手势图像进行手势识别，得到手部姿态实时识别结果。
优选地，所述实时手部追踪系统还包括：
手掌检测模型训练模块，连接所述手掌检测模块，用于训练所述手掌检测模型，所述手掌检测模型训练模块中具体包括：
样本标注单元，用于提供给标注人员在所述视频帧图像中标识出手掌位置；
样本选择单元，连接所述样本标注单元，用于在经手掌位置标注后的各所述视频帧图像中选择作为训练所述手掌检测模型的图像样本；
手掌检测初始模型训练单元，连接所述样本选择单元，用于将作为训练样本的各所述视频帧图像输入到一深度学习网络中，训练形成一手掌检测初始模型；
模型性能验证单元，连接所述手掌检测初始模型训练单元，用于验证所述手掌检测初始模型的模型性能；
模型参数调整单元，连接所述模型性能验证单元，用于根据模型性能验证结果，提供给模型训练人员调整模型训练参数；
模型迭代更新单元，分别连接所述样本选择单元和所述模型参数调整单元，用于根据所调整的模型训练参数，并以选择的各所述视频帧图像为训练样本，对所述手掌检测初始模型进行迭代更新，最终训练形成所述手掌检测模型。
优选地，所述深度学习网络包括依次级联的5个卷积层，尺寸为256×256的所述视频帧图像经所述深度学习网络的第一卷积层的图像特征提取后输出128×128的特征图；尺寸为128×128的特征图经第二卷积层的图像特征提取后输出64×64的特征图；64×64的特征图经第三卷积层的图像特征提取后输出32×32的特征图；32×32的特征图经第四卷积层的图像特征提取后输出16×16的特征图；16×16的特征图经第五卷积层的图像特征提取后输出8×8的特征图。
本发明采用深度学习技术，通过手掌检测模型首先对手部最独特、形状最可靠的部分——手掌进行检测，然后再对检测到的手掌进行手指关键点检测，以获取手部姿态信息，最后通过手势匹配识别出手部姿态，实现了对手部的实时有效追踪。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例所述的基于视频的实时手部追踪方法的方法步骤图；
图2是训练所述手掌检测模型的方法步骤图；
图3是所述手势识别模型识别手势的方法步骤图；
图4是本发明一实施例所述的基于视频的实时手部追踪系统的结构示意图；
图5是所述实时手部追踪系统中的所述手掌检测模型训练模块的内部结构示意图；
图6是所述深度学习网络的网络架构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明一实施例提供的基于视频的实时手部追踪方法，如图1所示，包括如下步骤：
步骤S1，输入视频帧图像；
步骤S2，通过一手掌检测模型对视频帧图像进行实时手掌检测，并对检测到的手掌进行图像裁剪，得到手掌图像；
步骤S3，通过一手部标识模型对手掌图像进行手指关键点定位检测，得到手掌图像上的每个手指关键点的坐标位置并标识；
步骤S4，通过一手势识别模型对手部标识模型所标识的手势图像进行手势识别，得到手部姿态实时识别结果。
步骤S2中，如图2所示，手掌检测模型通过以下步骤训练而得：
步骤S21，选定30000张包含手掌的视频帧图像作为手掌检测模型的训练样本；
步骤S22，将作为训练样本的视频帧图像输入到一深度学习网络中，训练形成一手掌检测初始模型；
步骤S23，通过手掌检测初始模型对视频帧图像进行手掌检测，输出检测结果；
步骤S24，对手掌检测初始模型输出的检测结果进行人工校验以评估模型性能，然后根据模型性能评估结果调整深度学习网络的模型训练参数；
步骤S25，根据所调整的模型训练参数，并以视频帧图像为训练样本，对手掌检测初始模型进行迭代更新，最终训练形成手掌检测模型。
本实施例采用的深度学习网络基于RPN神经网络结构改进而得。具体地，如图6所示，本实施例采用的深度学习网络包括依次级联的5个卷积层，尺寸为256×256的视频帧图像经深度学习网络的第一卷积层的图像特征提取后输出128×128的特征图；尺寸为128×128的特征图经第二卷积层的图像特征提取后输出64×64的特征图；64×64的特征图经第三卷积层的图像特征提取后输出32×32的特征图；32×32的特征图经第四卷积层的图像特征提取后输出16×16的特征图；16×16的特征图经第五卷积层的图像特征提取后输出8×8的特征图。由于手掌在五指伸开状态下尺寸最大，紧握拳头时尺寸最小，所以在手掌姿态变化过程中，手掌检测模型检测到的手掌特征图的尺寸也是动态变化的，本发明经多次实验发现，尺寸为64×64的特征图足以表示出五指伸开状态下的手掌，8×8的特征图足以表示紧握拳头的手掌，所以根据手掌五指伸展状态，手掌检测模型将检测到的手掌以64×64或32×32或16×16或8×8的图像尺寸输出给手部标识模型进行进一步的手指关键点定位检测。
本发明检测的手指关键点包括21个具有3D坐标的可完全表征出手掌形状的手指关键点。表征手掌形状的21个手指关键点通过现有技术研究而得，所以表征手掌形状的21个手指关键点具体处于手掌上的哪些位置处在此不做说明。当检测并定位到21个手指关键点后，可以通过这21个手指关键点的坐标位置获取手势图像在视频帧图像中的所处位置，然后截取出手势图像输出给手势识别模型。
如图3所示，手势识别模型识别手势的方法包括如下步骤：
步骤S41，根据手指关键点标识结果，按照预设尺寸从手掌图像上裁剪出手势图像；
步骤S42，将手势图像与存储于一图像数据库中的分类模板图像进行图像匹配，每张分类模板图像关联一手势类型，若图像匹配成功，则输出所匹配的分类模板图像所关联的手势类型作为对手势图像的手势识别结果。
本发明还提供了一种基于视频的实时手部追踪系统，可实现上述的实时手部追踪方法，如图4所示，该系统包括：
图像输入模块1，用于输入视频帧图像；
手掌检测模块2，连接图像输入模块1，用于通过一手掌检测模型对视频帧图像进行实时手掌检测，并对检测到的手掌进行图像裁剪，得到手掌图像；
手部标识模块3，连接手掌检测模块2，用于通过一手部标识模型对手掌图像进行手指关键点定位检测，得到手掌图像上的每个手指关键点的坐标位置并标识；
手势识别模块4，连接手部标识模块3，用于通过一手势识别模型对手部标识模型所标识的手势图像进行手势识别，得到手部姿态实时识别结果。
为实现对手掌检测模型的训练，优选地，实时手部追踪系统还包括：
手掌检测模型训练模块，连接手掌检测模块，用于训练手掌检测模型，如图5所示，手掌检测模型训练中具体包括：
样本标注单元51，用于提供给标注人员在视频帧图像中标识出手掌位置；
样本选择单元52，连接样本标注单元51，用于在经手掌位置标注后的各视频帧图像中选择作为训练手掌检测模型的图像样本；
手掌检测初始模型训练单元53，连接样本选择单元52，用于将作为训练样本的各视频帧图像输入到一深度学习网络中，训练形成一手掌检测初始模型；
模型性能验证单元54，连接手掌检测初始模型训练单元53，用于验证手掌检测初始模型的模型性能；
模型参数调整单元55，连接模型性能验证单元54，用于根据模型性能验证结果，提供给模型训练人员调整模型训练参数；
模型迭代更新单元56，分别连接样本选择单元52和模型参数调整单元55，用于根据所调整的模型训练参数，并以选择的各视频帧图像为训练样本，对手掌检测初始模型进行迭代更新，最终训练形成手掌检测模型。
作为一种优选方案，本实施例采用的深度学习网络基于RPN神经网络结构改进而得。具体地，该深度学习网络包括依次级联的5个卷积层，尺寸为256×256的视频帧图像经深度学习网络的第一卷积层的图像特征提取后输出128×128的特征图；尺寸为128×128的特征图经第二卷积层的图像特征提取后输出64×64的特征图；64×64的特征图经第三卷积层的图像特征提取后输出32×32的特征图；32×32的特征图经第四卷积层的图像特征提取后输出16×16的特征图；16×16的特征图经第五卷积层的图像特征提取后输出8×8的特征图。
综上，本发明实现了对手部的实时追踪检测。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (10)

1.一种基于视频的实时手部追踪方法，其特征在于，包括：
输入视频帧图像；
通过一手掌检测模型对所述视频帧图像进行实时手掌检测，并对检测到手掌进行图像裁剪，得到手掌图像；
通过一手部标识模型对所述手掌图像进行手指关键点定位检测，得到所述手掌图像上的每个手指关键点的坐标位置并标识；
通过一手势识别模型对所述手部标识模型所标识的手势图像进行手势识别，得到手部姿态实时识别结果。
2.根据权利要求1所述的基于视频的实时手部跟踪方法，其特征在于，训练所述手掌检测模型的方法包括如下步骤：
选定30000张包含手掌的所述视频帧图像作为所述手掌检测模型的训练样本；
将作为训练样本的所述视频帧图像输入到一深度学习网络中，训练形成一手掌检测初始模型；
通过所述手掌检测初始模型对所述视频帧图像进行手掌检测，输出检测结果；
对所述手掌检测初始模型输出的所述检测结果进行人工校验以评估模型性能，然后根据模型性能评估结果调整所述深度学习网络的模型训练参数；
根据所调整的模型训练参数，并以所述视频帧图像为训练样本，对所述手掌检测初始模型进行迭代更新，最终训练形成所述手掌检测模型。
3.根据权利要求2所述的基于视频的实时手部追踪方法，其特征在于，所述深度学习网络为RPN网络结构的神经网络。
4.根据权利要求3所述的基于视频的实时手部追踪方法，其特征在于，所述视频帧图像的尺寸为256×256。
5.根据权利要求4所述的基于视频的实时手部追踪方法，其特征在于，所述深度学习网络包括依次级联的5个卷积层，尺寸为256×256的所述视频帧图像经所述深度学习网络的第一卷积层的图像特征提取后输出128×128的特征图；尺寸为128×128的特征图经第二卷积层的图像特征提取后输出64×64的特征图；64×64的特征图经第三卷积层的图像特征提取后输出32×32的特征图；32×32的特征图经第四卷积层的图像特征提取后输出16×16的特征图；16×16的特征图经第五卷积层的图像特征提取后输出8×8的特征图。
6.根据权利要求1所述的基于视频的实时手部追踪方法，其特征在于，所述手指关键点包括21个具有3D坐标的可表征出手掌形状的手指关键点。
7.根据权利要求1所述的基于视频的实时手部追踪方法，其特征在于，所述手势识别模型识别手势的方法包括如下步骤：
根据手指关键点标识结果，按照预设尺寸从所述手掌图像上裁剪出所述手势图像；
将所述手势图像与存储于一图像数据库中的分类模板图像进行图像匹配，每张所述分类模板图像关联一手势类型，若图像匹配成功，则输出所匹配的所述分类模板图像所关联的所述手势类型作为对所述手势图像的手势识别结果。
8.一种基于视频的实时手部追踪系统，可实现如权利要求1-7人员一项所述的实时手部追踪方法，其特征在于，包括：
图像输入模块，用于输入视频帧图像；
手掌检测模块，连接所述图像输入模块，用于通过一手掌检测模型对所述视频帧图像进行实时手掌检测，并对检测到的手掌进行图像裁剪，得到手掌图像；
手部标识模块，连接所述手掌检测模块，用于通过一手部标识模型对所述手掌图像进行手指关键点定位检测，得到所述手掌图像上的每个手指关键点的坐标位置并标识；
手势识别模块，连接所述手部标识模块，用于通过一手势识别模型对所述手部标识模型所标识的手势图像进行手势识别，得到手部姿态实时识别结果。
9.根据权利要求8所述的基于视频的实时手部追踪系统，其特征在于，还包括：
手掌检测模型训练模块，连接所述手掌检测模块，用于训练所述手掌检测模型，所述手掌检测模型训练模块中具体包括：
样本标注单元，用于提供给标注人员在所述视频帧图像中标识出手掌位置；
样本选择单元，连接所述样本标注单元，用于在经手掌位置标注后的各所述视频帧图像中选择作为训练所述手掌检测模型的图像样本；
手掌检测初始模型训练单元，连接所述样本选择单元，用于将作为训练样本的各所述视频帧图像输入到一深度学习网络中，训练形成一手掌检测初始模型；
模型性能验证单元，连接所述手掌检测初始模型训练单元，用于验证所述手掌检测初始模型的模型性能；
模型参数调整单元，连接所述模型性能验证单元，用于根据模型性能验证结果，提供给模型训练人员调整模型训练参数；
模型迭代更新单元，分别连接所述样本选择单元和所述模型参数调整单元，用于根据所调整的模型训练参数，并以选择的各所述视频帧图像为训练样本，对所述手掌检测初始模型进行迭代更新，最终训练形成所述手掌检测模型。
10.根据权利要求9所述的基于视频的实时手部追踪系统，其特征在于，所述深度学习网络包括依次级联的5个卷积层，尺寸为256×256的所述视频帧图像经所述深度学习网络的第一卷积层的图像特征提取后输出128×128的特征图；尺寸为128×128的特征图经第二卷积层的图像特征提取后输出64×64的特征图；64×64的特征图经第三卷积层的图像特征提取后输出32×32的特征图；32×32的特征图经第四卷积层的图像特征提取后输出16×16的特征图；16×16的特征图经第五卷积层的图像特征提取后输出8×8的特征图。
CN202011074015.4A 2020-10-12 2020-10-12 一种基于视频的实时手部追踪方法和系统 Pending CN112183424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011074015.4A CN112183424A (zh) 2020-10-12 2020-10-12 一种基于视频的实时手部追踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011074015.4A CN112183424A (zh) 2020-10-12 2020-10-12 一种基于视频的实时手部追踪方法和系统

Publications (1)

Publication Number Publication Date
CN112183424A true CN112183424A (zh) 2021-01-05

Family

ID=73948657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011074015.4A Pending CN112183424A (zh) 2020-10-12 2020-10-12 一种基于视频的实时手部追踪方法和系统

Country Status (1)

Country Link
CN (1) CN112183424A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589928A (zh) * 2021-07-27 2021-11-02 东莞理工学院 一种面向智能电视的手势识别方法
US20220076433A1 (en) * 2019-12-10 2022-03-10 Google Llc Scalable Real-Time Hand Tracking
CN114581535A (zh) * 2022-03-03 2022-06-03 北京深光科技有限公司 图像中用户骨关键点标注方法、装置、存储介质及设备
WO2022166243A1 (zh) * 2021-02-07 2022-08-11 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871047A (zh) * 2017-11-21 2018-04-03 中国人民解放军战略支援部队航天工程大学 一种复杂空间系统安全管理平行计算方法
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN109255375A (zh) * 2018-08-29 2019-01-22 长春博立电子科技有限公司 基于深度学习的全景图像对象检测方法
CN109376674A (zh) * 2018-10-31 2019-02-22 北京小米移动软件有限公司 人脸检测方法、装置及存储介质
CN109635630A (zh) * 2018-10-23 2019-04-16 百度在线网络技术（北京）有限公司 手部关节点检测方法、装置及存储介质
CN109918635A (zh) * 2017-12-12 2019-06-21 中兴通讯股份有限公司 一种合同文本风险检测方法、装置、设备及存储介质
KR20190132885A (ko) * 2018-05-21 2019-11-29 주식회사 케이티 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
CN110781668A (zh) * 2019-10-24 2020-02-11 腾讯科技（深圳）有限公司 文本信息的类型识别方法及装置
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871047A (zh) * 2017-11-21 2018-04-03 中国人民解放军战略支援部队航天工程大学 一种复杂空间系统安全管理平行计算方法
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN109918635A (zh) * 2017-12-12 2019-06-21 中兴通讯股份有限公司 一种合同文本风险检测方法、装置、设备及存储介质
KR20190132885A (ko) * 2018-05-21 2019-11-29 주식회사 케이티 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
CN109255375A (zh) * 2018-08-29 2019-01-22 长春博立电子科技有限公司 基于深度学习的全景图像对象检测方法
CN109635630A (zh) * 2018-10-23 2019-04-16 百度在线网络技术（北京）有限公司 手部关节点检测方法、装置及存储介质
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法
CN109376674A (zh) * 2018-10-31 2019-02-22 北京小米移动软件有限公司 人脸检测方法、装置及存储介质
CN110781668A (zh) * 2019-10-24 2020-02-11 腾讯科技（深圳）有限公司 文本信息的类型识别方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220076433A1 (en) * 2019-12-10 2022-03-10 Google Llc Scalable Real-Time Hand Tracking
US11783496B2 (en) * 2019-12-10 2023-10-10 Google Llc Scalable real-time hand tracking
WO2022166243A1 (zh) * 2021-02-07 2022-08-11 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
US11776322B2 (en) 2021-02-07 2023-10-03 Qingdao Pico Technology Co., Ltd. Pinch gesture detection and recognition method, device and system
CN113589928A (zh) * 2021-07-27 2021-11-02 东莞理工学院 一种面向智能电视的手势识别方法
CN113589928B (zh) * 2021-07-27 2023-11-24 东莞理工学院 一种面向智能电视的手势识别方法
CN114581535A (zh) * 2022-03-03 2022-06-03 北京深光科技有限公司 图像中用户骨关键点标注方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
CN112183424A (zh) 一种基于视频的实时手部追踪方法和系统
Kumar et al. A position and rotation invariant framework for sign language recognition (SLR) using Kinect
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN108898063B (zh) 一种基于全卷积神经网络的人体姿态识别装置及方法
CN107679446B (zh) 人脸姿态检测方法、装置及存储介质
CN111857334B (zh) 人体手势字母的识别方法、装置、计算机设备及存储介质
CN106022264A (zh) 基于多任务自编码器的交互式人脸活体检测方法和装置
CN103777748A (zh) 一种体感输入方法及装置
CN113420690A (zh) 基于感兴趣区域的静脉识别方法、装置、设备及存储介质
Ding et al. Designs of human–robot interaction using depth sensor-based hand gesture communication for smart material-handling robot operations
CN111444488A (zh) 一种基于动态手势的身份认证方法
Raheja et al. Android based portable hand sign recognition system
Hu et al. Trajectory image based dynamic gesture recognition with convolutional neural networks
Zamora-Mora et al. Real-time hand detection using convolutional neural networks for costa rican sign language recognition
CN111160308B (zh) 手势动作识别方法、装置、设备及可读存储介质
CN112286360A (zh) 用于操作移动设备的方法和装置
Cohen et al. Recognition of continuous sign language alphabet using leap motion controller
Chen et al. A fusion recognition method based on multifeature hidden markov model for dynamic hand gesture
WO2020224127A1 (zh) 视频流截取方法、装置及存储介质
CN109508523A (zh) 一种基于人脸识别的社交方法
Munir et al. Hand Gesture Recognition: A Review
CN113792569B (zh) 对象识别方法、装置、电子设备及可读介质
Deshpande et al. Study and survey on gesture recognition systems
Karthik et al. Survey on Gestures Translation System for Hearing Impaired People in Emergency Situation using Deep Learning Approach
Pradeep et al. Advancement of sign language recognition through technology using python and OpenCV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105