[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112860072A - 一种虚拟现实多人交互协作方法与系统 - Google Patents

一种虚拟现实多人交互协作方法与系统 Download PDF

Info

Publication number
CN112860072A
CN112860072A CN202110282513.6A CN202110282513A CN112860072A CN 112860072 A CN112860072 A CN 112860072A CN 202110282513 A CN202110282513 A CN 202110282513A CN 112860072 A CN112860072 A CN 112860072A
Authority
CN
China
Prior art keywords
user
walking
collection
virtual reality
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110282513.6A
Other languages
English (en)
Inventor
梁俊娟
宋小静
岳小冰
姜燕
张燕豪
张梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Polytechnic Institute
Original Assignee
Henan Polytechnic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Polytechnic Institute filed Critical Henan Polytechnic Institute
Priority to CN202110282513.6A priority Critical patent/CN112860072A/zh
Publication of CN112860072A publication Critical patent/CN112860072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及虚拟现实技术领域，具体涉及一种虚拟现实多人交互协作方法与系统，该多人交互协作方法基于红外线光幕组实现用户三维姿态数据的采集，基于面目表情识别模块实现用户面部表情的采集，基于姿态采集地垫实现用户行走方向及行走方式的采集，并将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上。本发明可以实现用户姿态、动作、面目表情、用户行走方向及行走方式、手部动作的实时捕捉和快速识别、映射，在可以提高系统实时性的同时，可以提高系统的逼真度，提高用户体验感。

Description

一种虚拟现实多人交互协作方法与系统
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种虚拟现实多人交互协作方法与系统。
背景技术
随着虚拟现实和互联网技术的发展，为了满足地理上广为分布的不同计算终端之间的交互需求，分布式虚拟现实(Distributed Virtual Reality，DVR)，又称分布式虚拟环境(DVE，Distributed Virtual Environments)应运而生。
目前，虚拟现实的多人交互仍然存在以下问题：虚拟现实交互细节处理较为粗糙，数据处理效率性较差，影响实时性，进而影响用户体验。
发明内容
为解决上述问题，本发明提供了一种虚拟现实多人交互协作方法与系统，可以实现用户姿态、动作、面目表情等的实时捕捉和快速识别、映射，从而提高系统的实时性，提高用户体验感。
为实现上述目的，本发明采取的技术方案为：
一种虚拟现实多人交互协作方法，基于红外线光幕组实现用户三维姿态数据的采集，基于面目表情识别模块实现用户面部表情的采集，基于姿态采集地垫实现用户行走方向及行走方式的采集，并将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上。
进一步地，基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。
进一步地，所述姿态采集地垫基于薄膜式压力传感器实现用户行走方向及行走方式的采集，用户通过踩压姿态采集地垫上的对应不同的行走方向、行走方式的模块实现行走方向、行走方式的录入。
进一步地，同时基于麦克风实现用户音频数据录入数据的采集，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。
进一步地，还包括基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上的步骤。
本发明还提供了一种虚拟现实多人交互协作系统，包括：
三维姿态采集模块，用于基于红外线光幕组实现用户三维姿态数据的采集；
面部表情采集模块，用于基于图像采集模块和面目表情识别模块实现用户面部表情的采集；
行走方向及方式采集模块，用于基于姿态采集地垫实现用户行走方向及行走方式的采集；
音频数据采集模块，用于基于麦克风实现用户音频数据录入数据的采集；
映射模块，用于将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。
进一步地，还包括：
手部姿态采集模块，用于基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上。
进一步地，所述面部表情采集模块基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。
本发明具有以下有益效果：
可以实现用户姿态、动作、面目表情、用户行走方向及行走方式、手部动作的实时捕捉和快速识别、映射，在可以提高系统实时性的同时，可以提高系统的逼真度，提高用户体验感。
附图说明
图1为本发明实施例一种虚拟现实多人交互协作系统的系统框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例1
一种虚拟现实多人交互协作方法，基于红外线光幕组实现用户三维姿态数据的采集，基于面目表情识别模块实现用户面部表情的采集，基于姿态采集地垫实现用户行走方向及行走方式的采集，并将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上；同时基于麦克风实现用户音频数据录入数据的采集，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。
本实施例中，基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。
本实施例中，所述姿态采集地垫基于薄膜式压力传感器实现用户行走方向及行走方式的采集，用户通过踩压姿态采集地垫上的对应不同的行走方向、行走方式的模块实现行走方向、行走方式的录入。
本实施例中，还包括基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上的步骤。
实施例2
一种虚拟现实多人交互协作系统，包括：
三维姿态采集模块，用于基于红外线光幕组实现用户三维姿态数据的采集；
面部表情采集模块，用于基于图像采集模块和面目表情识别模块实现用户面部表情的采集；
行走方向及方式采集模块，用于基于姿态采集地垫实现用户行走方向及行走方式的采集；
音频数据采集模块，用于基于麦克风实现用户音频数据录入数据的采集；
手部姿态采集模块，用于基于带三维姿态传感器的指套实现用户手部动作数据的捕捉；
映射模块，用于将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式、手部动作数据实时映射到虚拟场景中绑定的角色上，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。所述角色采用物理模型构建模块搭建，映射模块通过直接改变物理模型构建参数和/物理模型节点实现角色的驱动，从而实现用户三维姿态数据、面部表情、用户行走方向及行走方式的实时映射。
本实施例中，所述面部表情采集模块基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种虚拟现实多人交互协作方法，其特征在于，基于红外线光幕组实现用户三维姿态数据的采集，基于面目表情识别模块实现用户面部表情的采集，基于姿态采集地垫实现用户行走方向及行走方式的采集，并将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上。
2.如权利要求1所述的一种虚拟现实多人交互协作方法，其特征在于，基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。
3.如权利要求1所述的一种虚拟现实多人交互协作方法，其特征在于，所述姿态采集地垫基于薄膜式压力传感器实现用户行走方向及行走方式的采集，用户通过踩压姿态采集地垫上的对应不同的行走方向、行走方式的模块实现行走方向、行走方式的录入。
4.如权利要求1所述的一种虚拟现实多人交互协作方法，其特征在于，同时基于麦克风实现用户音频数据录入数据的采集，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。
5.如权利要求1所述的一种虚拟现实多人交互协作方法，其特征在于，还包括基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上的步骤。
6.一种虚拟现实多人交互协作系统，其特征在于，包括：
三维姿态采集模块，用于基于红外线光幕组实现用户三维姿态数据的采集；
面部表情采集模块，用于基于图像采集模块和面目表情识别模块实现用户面部表情的采集；
行走方向及方式采集模块，用于基于姿态采集地垫实现用户行走方向及行走方式的采集；
音频数据采集模块，用于基于麦克风实现用户音频数据录入数据的采集；
映射模块，用于将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。
7.如权利要求6所述的一种虚拟现实多人交互协作系统，其特征在于，还包括：
手部姿态采集模块，用于基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上。
8.如权利要求6所述的一种虚拟现实多人交互协作系统，其特征在于，所述面部表情采集模块基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。
CN202110282513.6A 2021-03-16 2021-03-16 一种虚拟现实多人交互协作方法与系统 Pending CN112860072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110282513.6A CN112860072A (zh) 2021-03-16 2021-03-16 一种虚拟现实多人交互协作方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110282513.6A CN112860072A (zh) 2021-03-16 2021-03-16 一种虚拟现实多人交互协作方法与系统

Publications (1)

Publication Number Publication Date
CN112860072A true CN112860072A (zh) 2021-05-28

Family

ID=75994780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110282513.6A Pending CN112860072A (zh) 2021-03-16 2021-03-16 一种虚拟现实多人交互协作方法与系统

Country Status (1)

Country Link
CN (1) CN112860072A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407031A (zh) * 2021-06-29 2021-09-17 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN115191788A (zh) * 2022-07-14 2022-10-18 慕思健康睡眠股份有限公司 一种基于智能床垫的体感互动方法及相关产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236520A (ja) * 2000-02-21 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システム
CN110221691A (zh) * 2019-05-13 2019-09-10 深圳电通信息技术有限公司 一种沉浸式虚拟体验方法、系统及装置
CN111443619A (zh) * 2020-04-17 2020-07-24 南京工程学院 一种虚实融合的人机协作仿真方法和系统
CN111932678A (zh) * 2020-08-13 2020-11-13 北京未澜科技有限公司 多视点实时人体运动、手势、表情、纹理重建系统
CN111986297A (zh) * 2020-08-10 2020-11-24 山东金东数字创意股份有限公司 基于语音控制的虚拟角色面部表情实时驱动系统和方法
WO2022143322A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种增强现实交互方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236520A (ja) * 2000-02-21 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システム
CN110221691A (zh) * 2019-05-13 2019-09-10 深圳电通信息技术有限公司 一种沉浸式虚拟体验方法、系统及装置
CN111443619A (zh) * 2020-04-17 2020-07-24 南京工程学院 一种虚实融合的人机协作仿真方法和系统
CN111986297A (zh) * 2020-08-10 2020-11-24 山东金东数字创意股份有限公司 基于语音控制的虚拟角色面部表情实时驱动系统和方法
CN111932678A (zh) * 2020-08-13 2020-11-13 北京未澜科技有限公司 多视点实时人体运动、手势、表情、纹理重建系统
WO2022143322A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种增强现实交互方法及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407031A (zh) * 2021-06-29 2021-09-17 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN113407031B (zh) * 2021-06-29 2023-04-18 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN115191788A (zh) * 2022-07-14 2022-10-18 慕思健康睡眠股份有限公司 一种基于智能床垫的体感互动方法及相关产品

Similar Documents

Publication Publication Date Title
CN104410883B (zh) 一种移动可穿戴非接触式交互系统与方法
CN111738220B (zh) 三维人体姿态估计方法、装置、设备及介质
Camurri et al. Analysis of expressive gesture: The eyesweb expressive gesture processing library
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
US20180186452A1 (en) Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation
CN108388882A (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN103578135A (zh) 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
CN105107200B (zh) 基于实时深度体感交互与增强现实技术的变脸系统及方法
CN110688910B (zh) 一种可穿戴人体基本姿态识别的实现方法
CN112860072A (zh) 一种虚拟现实多人交互协作方法与系统
CN114115693B (zh) 一种基于虚拟键盘输入文本的方法及装置
CN203630822U (zh) 虚拟影像与真实场景相结合的舞台交互集成系统
CN115129164A (zh) 基于虚拟现实的交互控制方法、系统及虚拟现实设备
CN115291718A (zh) 一种智能家居空间下的人机交互系统及其应用方法
CN106028217B (zh) 一种基于音频识别技术的智能设备互动系统及方法
Dardas et al. Hand gesture interaction with a 3D virtual environment
KR102718791B1 (ko) Ar 글래스를 활용한 실시간 수화 통역 장치 및 수화 통역 방법
WO2018113649A1 (zh) 一种虚拟现实语言交互系统与方法
Zheng et al. CG-Recognizer: A biosignal-based continuous gesture recognition system
CN115171154A (zh) 一种基于Performer-Unet的WiFi人体姿态估计算法
CN119722730A (zh) 一种面向时空拓扑建模的实时三维人体姿态估计方法和装置
CN111796708B (zh) 一种在触摸屏上再现图像三维形状特征的方法
CN106997449A (zh) 具有人脸识别功能的机器人和人脸识别方法
CN202548758U (zh) 一种互动投影系统
CN116597512A (zh) 基于双流自适应图神经网络的多模态动作识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528