[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107479715A - 利用手势控制实现虚拟现实交互的方法和装置 - Google Patents

利用手势控制实现虚拟现实交互的方法和装置 Download PDF

Info

Publication number
CN107479715A
CN107479715A CN201710910701.2A CN201710910701A CN107479715A CN 107479715 A CN107479715 A CN 107479715A CN 201710910701 A CN201710910701 A CN 201710910701A CN 107479715 A CN107479715 A CN 107479715A
Authority
CN
China
Prior art keywords
gestures
picture
gesture
images
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710910701.2A
Other languages
English (en)
Inventor
李志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yun You Network Technology Co Ltd
Original Assignee
Guangzhou Yun You Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yun You Network Technology Co Ltd filed Critical Guangzhou Yun You Network Technology Co Ltd
Priority to CN201710910701.2A priority Critical patent/CN107479715A/zh
Publication of CN107479715A publication Critical patent/CN107479715A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了利用手势控制实现虚拟现实交互的方法，包括如下步骤：首先，手势图像库的构建，通过摄像机和数据手套建立手势图像与手姿态参数间的映射关系；手势图像预处理，拍摄画面时伴随着对显示画面的预处理；手势图像特证提取，提取H0G和色度直方图作为手势特征，确定形状和颜色特征的原融合权重；然后，单视点手势图像检索，改进LSH索引算法，建立索引性能预测模型，优化索引参数，该利用手势控制实现虚拟现实交互的方法和装置，结构简单，操作方便，可以直接采用手势来控制实现虚拟现实，提高了虚拟现实的易用性，适合推广。

Description

利用手势控制实现虚拟现实交互的方法和装置
技术领域
本发明涉及虚拟现实技术领域，具体为利用手势控制实现虚拟现实交互的方法和装置。
背景技术
随着科学技术发展突飞猛进，各种新技术、新发明层出不穷，并被迅速应用并服务于社会，大大促进了经济的发展，虚拟实境，简称VR技术，也称灵境技术或人工环境，是利用电脑模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。使用者进行位置移动时，电脑可以立即进行复杂的运算，将精确的3D世界影像传回产生临场感。虚拟现实（VR），看到的场景和人物全是假的，是把人的意识代入一个虚拟的世界。
但是现有的VR技术在不增加任何硬件的前提下，当用户在观看VR画面面时，当接电话或者看短信时，但是由于用户戴着头盔，无法知晓周围的环境，无法准确将手移到摄像头可检测的区域内，并且无法准确的用手来执行动作。
发明内容
本发明的目的在于提供利用手势控制实现虚拟现实交互的方法和装置，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
利用手势控制实现虚拟现实交互的方法，包括如下步骤：
S1，首先，手势图像库的构建，通过摄像机和数据手套建立手势图像与手姿态参数间的映射关系；
S2，手势图像预处理，拍摄画面时伴随着对显示画面的预处理；
S3，手势图像特证提取，提取H0G和色度直方图作为手势特征，确定形状和颜色特征的原融合权重；
S4，然后，单视点手势图像检索，改进LSH索引算法，建立索引性能预测模型，优化索引参数；
S5，多视点手势图像检索，引入多视点下的手势特征树；
S6，手势特征树检索，基于AP框架完成树节点搜索；
S7，最后，时序一致加权，基于混合高斯分布进行资态时序加权。
优选的，所述显示画面在检测到手势图像之前呈现。
优选的，所述手势图像预处理包括缩放处理白平衡调整、曝光调整和图像去噪处理几种中任意一项。
本发明还提供了利用手势控制实现虚拟现实交互的装置，包括画面显示模块，所述画面显示模块的信号输出端通过导线与指针识别模块的信号输入端电性连接，所述指针识别模块的信号输出端通过导线与交互显示模块的信号输入端电性连接；
所述画面显示模块，用于响应手势检测信号，显示拍摄到的第一画面；
所述指针识别模块，用于识别第一画面中的真实手势动作，将真实手势动作转化成图形指针；
所述交互显示模块，用于显示第二画面，并在第二画面对应的位置显示所述图形指针，进行交互。
优选的，所述指针识别模块包括捕捉分析模块、检测手形模块和转换图形指针模块，所述捕捉分析模块用于捕捉出现在第一画面中的运动团块，对运动团块进行分析，得到数量不少于四个近似手的团块，选取所有近似手的团块作为手部候选区域，所述检测手形模块用于对每个手部候选区域内的手形进行判断，所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域，所述转换图形指针模块用于在所述特定区域内将真实手势动作转换成图形指针。
优选的，所述交互显示模块设置为第二画面是在检测到于势检测信号之前呈现。
与现有技术相比，本发明的有益效果是：该利用手势控制实现虚拟现实交互的方法和装置，结构简单，操作方便，可以直接采用手势来控制实现虚拟现实，提高了虚拟现实的易用性，适合推广。
附图说明
图1为本发明利用手势控制实现虚拟现实交互的方法流程图；
图2为本发明利用手势控制实现虚拟现实交互的方法示意图；
图3为本发明利用手势控制实现虚拟现实交互的装置电路模块图；
图4为本发明指针识别模块的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供一种技术方案：
利用手势控制实现虚拟现实交互的方法，包括如下步骤：
S1，首先，手势图像库的构建，通过摄像机和数据手套建立手势图像与手姿态参数间的映射关系；
S2，手势图像预处理，拍摄画面时伴随着对显示画面的预处理；
S3，手势图像特证提取，提取H0G和色度直方图作为手势特征，确定形状和颜色特征的原融合权重；
S4，然后，单视点手势图像检索，改进LSH索引算法，建立索引性能预测模型，优化索引参数；
S5，多视点手势图像检索，引入多视点下的手势特征树；
S6，手势特征树检索，基于AP框架完成树节点搜索；
S7，最后，时序一致加权，基于混合高斯分布进行资态时序加权。
具体的，所述显示画面在检测到手势图像之前呈现。
具体的，所述手势图像预处理包括缩放处理白平衡调整、曝光调整和图像去噪处理几种中任意一项。
本发明还提供了利用手势控制实现虚拟现实交互的装置，包括画面显示模块，所述画面显示模块的信号输出端通过导线与指针识别模块的信号输入端电性连接，所述指针识别模块的信号输出端通过导线与交互显示模块的信号输入端电性连接；
所述画面显示模块，用于响应手势检测信号，显示拍摄到的第一画面；
所述指针识别模块，用于识别第一画面中的真实手势动作，将真实手势动作转化成图形指针；
所述交互显示模块，用于显示第二画面，并在第二画面对应的位置显示所述图形指针，进行交互。
具体的，所述指针识别模块包括捕捉分析模块、检测手形模块和转换图形指针模块，所述捕捉分析模块用于捕捉出现在第一画面中的运动团块，对运动团块进行分析，得到数量不少于四个近似手的团块，选取所有近似手的团块作为手部候选区域，所述检测手形模块用于对每个手部候选区域内的手形进行判断，所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域，所述转换图形指针模块用于在所述特定区域内将真实手势动作转换成图形指针。
具体的，所述交互显示模块设置为第二画面是在检测到于势检测信号之前呈现。
对于本发明而言，工作原理为：特征提取过程中，使用HOG特征作为形状特征，使用色度直方图特征作为颜色特征；并根据特征相似性度量下的检索评价准则，确定形状特征和颜色特征在融合过程中各自所占的融合权重采用多探测原理和近邻特征表对基本LSH进行改进，得到的改进LSH在算法的时间效率和空间效率都得到了提高；同时，通过建立索引性能预测模型，优化改进LSH的索引参数；最后，将该方法应用于实际的手势图像检索，得到查询图像在特征意义上的近邻，通过特征与姿态间的映射得到估计的姿态值，在多视点姿态估计MAP框架下，通过特征空间树节点搜索保证概率意义上的姿态最优解，利用姿态时序一致加权提高姿态估计精度。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.利用手势控制实现虚拟现实交互的方法，其特征在于，包括如下步骤：
S1，首先，手势图像库的构建，通过摄像机和数据手套建立手势图像与手姿态参数间的映射关系；
S2，手势图像预处理，拍摄画面时伴随着对显示画面的预处理；
S3，手势图像特证提取，提取H0G和色度直方图作为手势特征，确定形状和颜色特征的原融合权重；
S4，然后，单视点手势图像检索，改进LSH索引算法，建立索引性能预测模型，优化索引参数；
S5，多视点手势图像检索，引入多视点下的手势特征树；
S6，手势特征树检索，基于AP框架完成树节点搜索；
S7，最后，时序一致加权，基于混合高斯分布进行资态时序加权。
2.根据权利要求1所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述显示画面在检测到手势图像之前呈现。
3.根据权利要求1所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述手势图像预处理包括缩放处理白平衡调整、曝光调整和图像去噪处理几种中任意一项。
4.本发明还提供了利用手势控制实现虚拟现实交互的装置，其特征在于，包括画面显示模块，所述画面显示模块的信号输出端通过导线与指针识别模块的信号输入端电性连接，所述指针识别模块的信号输出端通过导线与交互显示模块的信号输入端电性连接；
所述画面显示模块，用于响应手势检测信号，显示拍摄到的第一画面；
所述指针识别模块，用于识别第一画面中的真实手势动作，将真实手势动作转化成图形指针；
所述交互显示模块，用于显示第二画面，并在第二画面对应的位置显示所述图形指针，进行交互。
5.根据权利要求4所述的利用手势控制实现虚拟现实交互的装置，其特征在于：所述指针识别模块包括捕捉分析模块、检测手形模块和转换图形指针模块，所述捕捉分析模块用于捕捉出现在第一画面中的运动团块，对运动团块进行分析，得到数量不少于四个近似手的团块，选取所有近似手的团块作为手部候选区域，所述检测手形模块用于对每个手部候选区域内的手形进行判断，所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域，所述转换图形指针模块用于在所述特定区域内将真实手势动作转换成图形指针。
6.根据权利要求4所述的利用手势控制实现虚拟现实交互的装置，其特征在于：所述交互显示模块设置为第二画面是在检测到于势检测信号之前呈现。
CN201710910701.2A 2017-09-29 2017-09-29 利用手势控制实现虚拟现实交互的方法和装置 Pending CN107479715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710910701.2A CN107479715A (zh) 2017-09-29 2017-09-29 利用手势控制实现虚拟现实交互的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710910701.2A CN107479715A (zh) 2017-09-29 2017-09-29 利用手势控制实现虚拟现实交互的方法和装置

Publications (1)

Publication Number Publication Date
CN107479715A true CN107479715A (zh) 2017-12-15

Family

ID=60604831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710910701.2A Pending CN107479715A (zh) 2017-09-29 2017-09-29 利用手势控制实现虚拟现实交互的方法和装置

Country Status (1)

Country Link
CN (1) CN107479715A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967089A (zh) * 2017-12-20 2018-04-27 浙江煮艺文化科技有限公司 一种虚拟现实界面显示方法
CN108171163A (zh) * 2017-12-28 2018-06-15 南京航空航天大学 基于Pareto优化查询的手部姿态识别方法
CN109917921A (zh) * 2019-03-28 2019-06-21 长春光华学院 一种用于vr领域的隔空手势识别方法
CN110780734A (zh) * 2019-09-25 2020-02-11 苏州联游信息技术有限公司 一种基于雷达的手势交互ar投影方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335318A1 (en) * 2012-06-15 2013-12-19 Cognimem Technologies, Inc. Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和系统
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN105302295A (zh) * 2015-09-07 2016-02-03 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的虚拟现实交互设备
CN106030610A (zh) * 2014-01-05 2016-10-12 马诺手势股份公司 移动设备的实时3d姿势识别和跟踪系统
CN106775258A (zh) * 2017-01-04 2017-05-31 虹软(杭州)多媒体信息技术有限公司 利用手势控制实现虚拟现实交互的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335318A1 (en) * 2012-06-15 2013-12-19 Cognimem Technologies, Inc. Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN106030610A (zh) * 2014-01-05 2016-10-12 马诺手势股份公司 移动设备的实时3d姿势识别和跟踪系统
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和系统
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN105302295A (zh) * 2015-09-07 2016-02-03 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的虚拟现实交互设备
CN106775258A (zh) * 2017-01-04 2017-05-31 虹软(杭州)多媒体信息技术有限公司 利用手势控制实现虚拟现实交互的方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967089A (zh) * 2017-12-20 2018-04-27 浙江煮艺文化科技有限公司 一种虚拟现实界面显示方法
CN108171163A (zh) * 2017-12-28 2018-06-15 南京航空航天大学 基于Pareto优化查询的手部姿态识别方法
CN108171163B (zh) * 2017-12-28 2021-11-16 南京航空航天大学 基于Pareto优化查询的手部姿态识别方法
CN109917921A (zh) * 2019-03-28 2019-06-21 长春光华学院 一种用于vr领域的隔空手势识别方法
CN110780734A (zh) * 2019-09-25 2020-02-11 苏州联游信息技术有限公司 一种基于雷达的手势交互ar投影方法及装置
CN110780734B (zh) * 2019-09-25 2023-11-03 深圳清元文化科技有限公司 一种基于雷达的手势交互ar投影方法及装置

Similar Documents

Publication Publication Date Title
CN111667520B (zh) 红外图像和可见光图像的配准方法、装置及可读存储介质
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
CN112381104B (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN110866977B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
CN105528082A (zh) 三维空间及手势识别追踪交互方法、装置和系统
CN109165589A (zh) 基于深度学习的车辆重识别方法和装置
CN112070782B (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN111144284B (zh) 深度人脸图像的生成方法、装置、电子设备及介质
WO2021175071A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN111950321A (zh) 步态识别方法、装置、计算机设备及存储介质
CN112861808B (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
CN112419388A (zh) 深度检测方法、装置、电子设备和计算机可读存储介质
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN114093024A (zh) 人体动作的识别方法、装置、设备及存储介质
WO2023168957A1 (zh) 姿态确定方法、装置、电子设备、存储介质及程序
CN109948624A (zh) 特征提取的方法、装置、电子设备和计算机存储介质
Yaseen et al. A novel approach based on multi-level bottleneck attention modules using self-guided dropblock for person re-identification
CN106909219B (zh) 基于三维空间的交互控制方法和装置、智能终端
CN115482556A (zh) 关键点检测模型训练及虚拟角色驱动的方法和对应的装置
CN113610967B (zh) 三维点检测的方法、装置、电子设备及存储介质
CN113557546B (zh) 图像中关联对象的检测方法、装置、设备和存储介质
CN110348333A (zh) 物体检测方法、装置、存储介质及电子设备
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215

RJ01 Rejection of invention patent application after publication