CN108734194A - 一种面向虚拟现实的基于单深度图的人体关节点识别方法 - Google Patents
一种面向虚拟现实的基于单深度图的人体关节点识别方法 Download PDFInfo
- Publication number
- CN108734194A CN108734194A CN201810312359.0A CN201810312359A CN108734194A CN 108734194 A CN108734194 A CN 108734194A CN 201810312359 A CN201810312359 A CN 201810312359A CN 108734194 A CN108734194 A CN 108734194A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- virtual reality
- methods based
- recognition methods
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013480 data collection Methods 0.000 claims abstract 2
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 239000011248 coating agent Substances 0.000 claims 1
- 238000000576 coating method Methods 0.000 claims 1
- 238000005530 etching Methods 0.000 claims 1
- 238000003475 lamination Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000011176 pooling Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 210000002478 hand joint Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向虚拟现实的基于单深度图的人体关节点识别方法，首先通过卷积网络离线训练手势公开数据集NYU，得到一个鲁棒性好、准确率高以及识别速度快的模型；然后通过深度摄像头实时捕获深度图像，在对图像一系列预处理之后分别传入人体骨骼识别模块和手势识别模块，返回识别后的关节点三维信息，进而映射三维人体模型。利用本发明方法，在虚拟现实环境下具有良好的交互功能，在识别率、运算速度、普适性及准确性等方面均有较好的表现。
Description
技术领域
本发明属于人机交互技术领域，尤其是涉及一种面向虚拟现实的基于单深度图的人体关节点识别方法。
背景技术
虚拟现实是一种可以创建和体验虚拟拟世界的计算机系统，提供给用户具有高度沉浸感的人机交互和画面呈现。由于体验沉浸式虚拟现实需要穿头戴式显示设备(HMD)，视线被阻挡，因而传统的键鼠交互不再适用，新的人机交互形式是虚拟现实的核心技术之一，其主要交互形式依旧是人体姿势以及手势，市面上现存的硬件设备，包括leap motion、手柄、手套等设备。额外的交互设备不但增加了硬件成本，而且增加的连接线进一步造成动作的限制，裸手交互，轻量级设备的基于计算机视觉的交互技术是虚拟现实发展的重要方向。
单一深度图像中的人体关节点识别在虚拟现实(VR)和增强现实(AR)的应用中起着重要作用，当前在虚拟环境下的人机交互，尽管已经进行了多年的研究，但由于视野变化大，关节灵活度高，深度质量差，严重自闭症和类似部位混乱，仍然具有挑战性。传统的识别是对对象区域分割后的图像进行特征提取和模型参数估计，是将参数空间中的点或轨迹分类到该空间里某个子集的过程，常见的研究方法一般为3类：基于模板匹配的方法、基于人工神经网络的方法以及基于概率统计模型的方法，适用背景的复杂度和抗干扰能力都能满足一般用户的需求，准确率和识别率也得到了显著的提高。但这些算法在识别率、运算速度、普适性及准确性等方面仍有不足，最近卷积网络(ConvNets)在诸如对象分类和人体姿态估计等几种计算机视觉任务中的应用都出现了很大的增长，因为其具有很强的建模能力和端到端的特征学习能力，模型的准确性和鲁棒性都有显著提高。ConvNets也被引入解决手部姿态估计问题，通常采用复杂的结构设计，如多分支输入和多模型回归，有使用ConvNets生成2D热图并通过逆向运动学推断3D手势；有使用线性层作为先验姿态，使用多阶段ConvNets直接回归三维位置；有采用3个ConvNets分别对每个视图的2D热图进行深度投影并将它们融合以产生3D手势；有将骨架流形嵌入到ConvNets中，并端到端训练模型以呈现顺序预测。
ConvNets的多模型集成方法传统的集成学习意味着训练多个单独的模型，并通过平均或权重融合来结合他们的输出，这在识别竞赛中被广泛采用。然而，ConvNets仍然无法获得传统的随机森林方法的重要优势。使用ConvNets进行手势估计最近深度ConvNets已经应用于手部深度成像的姿态估计。但是，使用多个ConvNets需要大量的内存和时间，这对于应用程序来说并不实用，尤其是虚拟现实应用需要占用大量计算机资源。
发明内容
本发明提供了一种面向虚拟现实的基于单深度图的人体关节点识别方法，在虚拟现实环境下具有良好的交互功能，与现有技术相比，在识别率、运算速度、普适性及准确性等方面均有较大的提高。
一种面向虚拟现实的基于单深度图的人体关节点识别方法，包括以下步骤：
(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；
(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；
(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；
(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；
(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；
(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；
(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；
(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。
本发明所采用的图像为深度图像，它不受光线变化的影响，有效地克服了在计算机视觉领域目标在低亮度下的识别困难的难题。
步骤(1)中，所述五区域卷积神经网络包括：一个数据输入层、六个卷积层、三个池化层、两个eltwise层、两个全连接层。第一层为数据输入层，然后是六个卷积层，两个eltwise层分别位于第三、第五个卷积层之后，三个池化层分别位于第二个卷积层，第一、第二个eltwise层之后，两个全连接层位于第三个池化层之后。
其中所述六个卷积层卷积核大小都为3×3，卷积步长为1，各卷积核个数分别为16、16、32、32、64、64。
所述三个池化层卷积核大小为2×2，步长为2。每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接增加特征图尺寸。
步骤(2)中，所述的训练集采用公开数据集NYU进行模型训练，包含14个关节的72K张训练图像和8K张测试图像。
步骤(3)中，所述五区域卷积神经网络模型的训练过程为：
(3-1)根据手部二值图像检测并绘制其外部轮廓，求出轮廓的封闭多边形并确定封闭多边形的中心；
(3-2)以该中心为中心提取一个立方体，将立方体重新调整大小，深度值归一化为[-1,1]作为ConvNet的输入；
(3-3)深度值归一化后的图像作为输入，先进入网络通过六个卷积层进行特征提取，将输出特征映射到五个特征区域：R1,R2,R3,R4,R5，其中，R1-R4分别为以图像四个顶点为顶点且沿着特征图边缘提取的固定大小区域，R5为以图像中心为区域中心提取的同样大小区域，以图像中心为区域中心(见附图3)，五个特征区域作为分支，分别馈送到两个全连接层进行回归，每个回归器的丢失率为0.5；
(3-4)训练使用最小批量为128的随机梯度下降，使用0.0005的重量衰减和0.9的动量，学习率从0.005开始，每5万次迭代后除以10，模型训练达到200000次迭代。
步骤(4)中，所述的预处理具体步骤为：对实时深度图像帧进行中值滤波处理，然后进行图像前景提取操作，最后进行膨胀与腐蚀操作。
所述中值滤波处理的公式为：
D2(x,y)＝med{D1(x-k,y-l)}(k,l∈W)
其中，D2(x,y)为滤波处理后的深度图像，D1(x,y)为原始图像，(x,y)为坐标处的深度值，W代表二维滤波模板，k表示模板的长度，l表示模板的宽度。
所述图像前景提取操作的公式为：
其中，fg(x,y)表示前景图像中(x,y)处的逻辑值，d(x,y)表示深度图像(x,y)坐标处的深度值。
与现有技术相比，本发明的有益效果是：
1、本发明以深度图像为数据源，克服了RGB图像容易受到外界光照、阴影等因素变化的影响。
2、本发明采用卷积神经网络进行关键的手部关节点识别，而对自由度相对较低的人体关节点识别采用机器学习，在保证识别率的前提下，实时速度得到了提高。
3、本方法是采用具有共享卷积特征提取器的多输出分支。由于FC层的推理比卷积层的推理快得多，多输出结构比多输入结构花费的时间更少。
附图说明
图1为本发明的人体关节点识别架构图；
图2为本发明针对特征提取的网络结构图；
图3为本发明的网络概貌图；
图4为本发明实施例关节点识别效果图。
具体实施方式
下面结合附图对本发明做进一步阐述和说明。
如图1所示，面向虚拟现实的基于单深度图的人体关节点识别方法，包括两个阶段：人体关节点检测阶段和人体姿态识别阶段。
人体关节点检测阶段包括以下步骤：
步骤1：采用kinectV2深度摄像头捕捉深度图像帧D1(分辨率为
512×424)，指定等待下一帧深度图像数据的时间，根据人体二值图像检测，若存在人体，进入步骤2，否则传入下一帧。
步骤2：对图像D1进行中值滤波D2(x,y)＝med{D1(x-k,y-l)}(k,l∈W)，其中W代表二维滤波模板，k表示模板的长度，l表示模板的宽度，D2(x,y)为滤波处理后的深度图像，D1(x,y)为原始图像。
步骤3：对滤波处理后的深度图像D2进行图像前景提取操作，深度图像前景提取的公式，公式中fg(x,y)表示前景图像中(x,y)处的逻辑值，d(x,y)表示深度图像(x,y)坐标处的深度值；θ表示深度图像的阈值门限(设定为0.8m)，得到深度图像D3。
步骤4：对深度图像D3进行膨胀，而后执行腐蚀操作完成对图像的一系列预处理操作。得到深度图像D4，将D4传入kinect人体骨骼识别模型，返回人体20个关节3D位置。
步骤5：根据opencv中的轮廓处理函数，根据手部二值图像检测D4，若存在，进行步骤6，否则执行步骤10。
步骤6：根据手部轮廓计算手部中心，从深度图像D4中以手部区域中心为中心提取一个尺寸为150mm的立方体。
如图2所示，人体姿态识别阶段包括以下步骤：
步骤7：获取数据集并预处理。采用公开数据集NYU进行模型训练，包含14个关节的72K张训练图像和8K张测试图像。根据opencv中的轮廓处理函数，根据手部二值图像检测并绘制其外部轮廓。根据道格拉斯-普克算法，求出轮廓的封闭多边形。确定封闭多边形的中心，以区域中心为中心提取一个尺寸为150mm的立方体。然后将立方体重新调整为96×96的图像，深度值归一化为[-1,1]作为ConvNet的输入。
步骤8：构造卷积神经网路，具体结构为：五区域卷积神经网络模型，具体结构为：一个数据输入层、六个卷积层、三个池化层、两个eltwise层、两个全连接层。
第一层为数据输入层，然后是六个卷积层，两个eltwise层分别位于第三、第五个卷积层之后，三个池化层分别位于第二个卷积层，第一、第二个eltwise层之后，两个全连接层位于第三个池化层之后。
六个卷积层卷积核大小都为3×3，卷积步长为1，各卷积核个数分别为16、16、32、32、64、64。
三个池化层卷积核大小为2×2，步长为2。每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接增加特征图尺寸。
六层卷积输出的12×12×64特征映射到N×N+1的网格中，此处设置N＝2，96×96图像边界内单个区域的接受区域为64×64，分别为R1，R2，R3，R4，R5。进入两个2048维全连接层进行回归，每个回归器的丢失率为0.5，网络概貌如图3所示。回归器输出表示手关节的3D世界坐标的3×J向量，其中J是关节的数量。
训练使用最小批量为128的随机梯度下降。使用0.0005的重量衰减和0.9的动量。学习率从0.005开始，每5万次迭代后除以10，模型训练达到200000次迭代。
步骤9：将步骤6处理的手部深度图像传入步骤8训练好的caffe模型中进行运算识别，返回14个手关节点的三维坐标。
步骤10：通过深度摄像机的参数，将返回的关节三维参数从图像坐标系转换到物理坐标系，并最终映射三维人体模型。
如图4所示，为本实施例的关节点识别效果图，由图中可知，左列图像从下到上依次为摄像头捕获深度图像、前景提取后的真实图像以及调整大小后的手部图像，右列图像为关节映射的3D虚拟手以及对应的真实手势。
Claims (7)
1.一种面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，包括以下步骤：
(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；
(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；
(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；
(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；
(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；
(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；
(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；
(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。
2.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(1)中，所述五区域卷积神经网络模型由6个具有3×3内核的卷积层和3个2×2内核的池化层组成，每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接以增加特征图尺寸。
3.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(2)中，所述的训练集为公开数据集NYU。
4.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(3)中，所述五区域卷积神经网络模型的训练过程为：
(3-1)根据手部二值图像检测并绘制其外部轮廓，求出轮廓的封闭多边形并确定封闭多边形的中心；
(3-2)以该中心为中心提取一个立方体，将立方体重新调整大小，深度值归一化为[-1,1]作为ConvNet的输入；
(3-3)深度值归一化后的图像作为输入，先进入网络通过六个卷积层进行特征提取，将输出特征映射到五个特征区域：R1,R2,R3,R4,R5，其中，R1-R4分别为以图像四个顶点为顶点且沿着特征图边缘提取的固定大小区域，R5为以图像中心为区域中心提取的同样大小区域，以图像中心为区域中心，五个特征区域作为分支，分别馈送到两个全连接层进行回归，每个回归器的丢失率为0.5；
(3-4)训练使用最小批量为128的随机梯度下降，使用0.0005的重量衰减和0.9的动量，学习率从0.005开始，每5万次迭代后除以10，模型训练达到200000次迭代。
5.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(4)中，所述的预处理具体步骤为：对实时深度图像帧进行中值滤波处理，然后进行图像前景提取操作，最后进行膨胀与腐蚀操作。
6.根据权利要求5所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，所述中值滤波处理的公式为：
D2(x,y)＝med{D1(x-k,y-l)}(k,l∈W)
其中，D2(x,y)为滤波处理后的深度图像，D1(x,y)为原始图像，(x,y)为坐标处的深度值，W代表二维滤波模板，k表示模板的长度，l表示模板的宽度。
7.根据权利要求5所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，所述图像前景提取操作的公式为：
其中，fg(x,y)表示前景图像中(x,y)处的逻辑值，d(x,y)表示深度图像(x,y)坐标处的深度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810312359.0A CN108734194B (zh) | 2018-04-09 | 2018-04-09 | 一种面向虚拟现实的基于单深度图的人体关节点识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810312359.0A CN108734194B (zh) | 2018-04-09 | 2018-04-09 | 一种面向虚拟现实的基于单深度图的人体关节点识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108734194A true CN108734194A (zh) | 2018-11-02 |
| CN108734194B CN108734194B (zh) | 2021-08-03 |
Family
ID=63941305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810312359.0A Active CN108734194B (zh) | 2018-04-09 | 2018-04-09 | 一种面向虚拟现实的基于单深度图的人体关节点识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108734194B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109782911A (zh) * | 2018-12-30 | 2019-05-21 | 广州嘉影软件有限公司 | 基于虚拟现实的全身动作捕捉方法和系统 |
| CN109800676A (zh) * | 2018-12-29 | 2019-05-24 | 上海易维视科技股份有限公司 | 基于深度信息的手势识别方法及系统 |
| CN110096973A (zh) * | 2019-04-16 | 2019-08-06 | 东南大学 | 一种基于orb算法和深度级可分离卷积网络的交警手势识别方法 |
| CN110570455A (zh) * | 2019-07-22 | 2019-12-13 | 浙江工业大学 | 一种面向房间vr的全身三维姿态跟踪方法 |
| CN111062263A (zh) * | 2019-11-27 | 2020-04-24 | 杭州易现先进科技有限公司 | 手部姿态估计的方法、设备、计算机设备和存储介质 |
| CN111368668A (zh) * | 2020-02-25 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 三维手部识别方法、装置、电子设备及存储介质 |
| CN111507266A (zh) * | 2020-04-17 | 2020-08-07 | 四川长虹电器股份有限公司 | 一种基于深度图像的人体检测方法和装置 |
| CN111667005A (zh) * | 2020-06-05 | 2020-09-15 | 镇江傲游网络科技有限公司 | 一种采用rgbd视觉传感的人体交互系统 |
| CN111709384A (zh) * | 2020-06-22 | 2020-09-25 | 北京思特奇信息技术股份有限公司 | Ar手势识别方法、装置、电子设备及存储介质 |
| CN114066885A (zh) * | 2022-01-11 | 2022-02-18 | 北京威高智慧科技有限公司 | 下肢骨骼模型构造方法、装置、电子设备及存储介质 |
| CN111274901B (zh) * | 2020-01-15 | 2023-09-01 | 浙江大学 | 一种基于深度门控递归单元的手势深度图像连续检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105518744A (zh) * | 2015-06-29 | 2016-04-20 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| CN107688391A (zh) * | 2017-09-01 | 2018-02-13 | 广州大学 | 一种基于单目视觉的手势识别方法和装置 |
| CN107832736A (zh) * | 2017-11-24 | 2018-03-23 | 南京华捷艾米软件科技有限公司 | 实时人体动作的识别方法和实时人体动作的识别装置 |
-
2018
- 2018-04-09 CN CN201810312359.0A patent/CN108734194B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105518744A (zh) * | 2015-06-29 | 2016-04-20 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| CN107688391A (zh) * | 2017-09-01 | 2018-02-13 | 广州大学 | 一种基于单目视觉的手势识别方法和装置 |
| CN107832736A (zh) * | 2017-11-24 | 2018-03-23 | 南京华捷艾米软件科技有限公司 | 实时人体动作的识别方法和实时人体动作的识别装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800676A (zh) * | 2018-12-29 | 2019-05-24 | 上海易维视科技股份有限公司 | 基于深度信息的手势识别方法及系统 |
| CN109800676B (zh) * | 2018-12-29 | 2023-07-14 | 上海易维视科技股份有限公司 | 基于深度信息的手势识别方法及系统 |
| CN109782911A (zh) * | 2018-12-30 | 2019-05-21 | 广州嘉影软件有限公司 | 基于虚拟现实的全身动作捕捉方法和系统 |
| CN109782911B (zh) * | 2018-12-30 | 2022-02-08 | 广州嘉影软件有限公司 | 基于虚拟现实的全身动作捕捉方法和系统 |
| CN110096973A (zh) * | 2019-04-16 | 2019-08-06 | 东南大学 | 一种基于orb算法和深度级可分离卷积网络的交警手势识别方法 |
| CN110570455B (zh) * | 2019-07-22 | 2021-12-07 | 浙江工业大学 | 一种面向房间vr的全身三维姿态跟踪方法 |
| CN110570455A (zh) * | 2019-07-22 | 2019-12-13 | 浙江工业大学 | 一种面向房间vr的全身三维姿态跟踪方法 |
| CN111062263A (zh) * | 2019-11-27 | 2020-04-24 | 杭州易现先进科技有限公司 | 手部姿态估计的方法、设备、计算机设备和存储介质 |
| CN111062263B (zh) * | 2019-11-27 | 2023-11-03 | 杭州易现先进科技有限公司 | 手部姿态估计的方法、设备、计算机设备和存储介质 |
| CN111274901B (zh) * | 2020-01-15 | 2023-09-01 | 浙江大学 | 一种基于深度门控递归单元的手势深度图像连续检测方法 |
| CN111368668A (zh) * | 2020-02-25 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 三维手部识别方法、装置、电子设备及存储介质 |
| CN111368668B (zh) * | 2020-02-25 | 2023-05-23 | 北京字节跳动网络技术有限公司 | 三维手部识别方法、装置、电子设备及存储介质 |
| CN111507266A (zh) * | 2020-04-17 | 2020-08-07 | 四川长虹电器股份有限公司 | 一种基于深度图像的人体检测方法和装置 |
| CN111667005A (zh) * | 2020-06-05 | 2020-09-15 | 镇江傲游网络科技有限公司 | 一种采用rgbd视觉传感的人体交互系统 |
| CN111667005B (zh) * | 2020-06-05 | 2023-09-12 | 镇江傲游网络科技有限公司 | 一种采用rgbd视觉传感的人体交互系统 |
| CN111709384A (zh) * | 2020-06-22 | 2020-09-25 | 北京思特奇信息技术股份有限公司 | Ar手势识别方法、装置、电子设备及存储介质 |
| CN111709384B (zh) * | 2020-06-22 | 2023-06-30 | 北京思特奇信息技术股份有限公司 | Ar手势识别方法、装置、电子设备及存储介质 |
| CN114066885B (zh) * | 2022-01-11 | 2022-05-17 | 北京威高智慧科技有限公司 | 下肢骨骼模型构造方法、装置、电子设备及存储介质 |
| CN114066885A (zh) * | 2022-01-11 | 2022-02-18 | 北京威高智慧科技有限公司 | 下肢骨骼模型构造方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108734194B (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108734194B (zh) | 一种面向虚拟现实的基于单深度图的人体关节点识别方法 | |
| Wang et al. | Region ensemble network: Towards good practices for deep 3D hand pose estimation | |
| Guo et al. | Towards good practices for deep 3d hand pose estimation | |
| Sarkar et al. | Hand gesture recognition systems: a survey | |
| Sincan et al. | Using motion history images with 3d convolutional networks in isolated sign language recognition | |
| Zhang et al. | A practical robotic grasping method by using 6-D pose estimation with protective correction | |
| CN109359514B (zh) | 一种面向deskVR的手势跟踪识别联合策略方法 | |
| WO2010135617A1 (en) | Gesture recognition systems and related methods | |
| AU2020300067B2 (en) | Layered motion representation and extraction in monocular still camera videos | |
| Dibra et al. | Monocular RGB hand pose inference from unsupervised refinable nets | |
| Liang et al. | A manufacturing-oriented intelligent vision system based on deep neural network for object recognition and 6d pose estimation | |
| Weiyao et al. | Human action recognition using multilevel depth motion maps | |
| CN108648224A (zh) | 一种基于人工神经网络的实时场景布局识别及重建的方法 | |
| CN106200971A (zh) | 基于手势识别的人机交互系统装置及操作方法 | |
| CN111160291A (zh) | 基于深度信息与cnn的人眼检测方法 | |
| CN114641799A (zh) | 对象检测设备、方法和系统 | |
| CN114821764A (zh) | 一种基于kcf追踪检测的手势图像识别方法及系统 | |
| Liu et al. | Hand pose estimation from rgb images based on deep learning: A survey | |
| Kourbane et al. | A graph-based approach for absolute 3D hand pose estimation using a single RGB image | |
| Kurmanji et al. | A comparison of 2D and 3D convolutional neural networks for hand gesture recognition from RGB-D data | |
| Lan et al. | Data fusion-based real-time hand gesture recognition with Kinect V2 | |
| Simion et al. | Fingertip-based real time tracking and gesture recognition for natural user interfaces | |
| Suresh et al. | SIT-HANDS: a novel RGB-D dataset for static hand gesture recognition using kinect sensor | |
| Chang et al. | A Decision Tree based Real-time Hand Gesture Recognition Method using Kinect | |
| Wu et al. | Bimanual gesture recognition based on convolution neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |