CN116328276B - 基于健身装置的姿势交互方法及系统及装置及介质 - Google Patents
基于健身装置的姿势交互方法及系统及装置及介质 Download PDFInfo
- Publication number
- CN116328276B CN116328276B CN202111582175.4A CN202111582175A CN116328276B CN 116328276 B CN116328276 B CN 116328276B CN 202111582175 A CN202111582175 A CN 202111582175A CN 116328276 B CN116328276 B CN 116328276B
- Authority
- CN
- China
- Prior art keywords
- interaction
- area
- gesture
- interaction area
- control instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 331
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000009471 action Effects 0.000 claims abstract description 44
- 210000002411 hand bone Anatomy 0.000 claims description 52
- 210000000988 bone and bone Anatomy 0.000 claims description 41
- 210000003049 pelvic bone Anatomy 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 abstract description 23
- 230000008569 process Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0647—Visualisation of executed movements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B2071/0694—Visual indication, e.g. Indicia
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了基于健身装置的姿势交互方法及系统及装置及介质,健身装置采集区域内用户图像,得到用户的动作图像;根据动作图像生成用户的骨骼点信息,根据骨骼点信息建立坐标系;根据坐标系建立若干交互区域,每个交互区域均预设有控制指令;根据骨骼点信息识别交互姿势;判断交互姿势是否位于交互区域中,输出交互姿势位于的交互区域对应的控制指令。本发明的交互效率较高,能更好的满足高频操作,并且本发明在交互的过程中能实现即时交互,减少交互姿势的停留时间,有效地提高了交互的准确度,实现交互过程无显著的等待。同时,本发明的交互方法成本较低,能有效进行推广使用,不仅稳定,同时具有较好的通用性。
Description
技术领域
本发明涉及交互领域,具体涉及基于健身装置的姿势交互方法及系统及装置及介质。
背景技术
手势识别技术是新一代自然人机交互的一项关键技术,相对于传统的鼠标,键盘等接触式的操作方式,手势具有自然直观、容易理解、操作简单、体验性好等优点,更加符合人类日常交流习惯,手势识别已经成为人机交互方案的研究热点。手势作为一门自然、方便的语言,在情感上和实用性上都非常适合用于人机交互。手势识别技术的研究意义在于将手势这种自然且直观的交流方式应用到人机交互的接口技术上,使得人机接口更加接近于人类的使用习惯,进而使得人机交互变得更自然方便。
智能健身镜通过在镜面反射层上设置显示屏,在打开显示屏后,用户不仅可以看到显示屏中的图像,还能看到镜面反射层对周围环境反射的实际图像,使得用户在锻炼过程中能够对照显示屏中的健身视频做健身动作的同时在镜面反射层中看到自己的动作,进而检验自己的动作与健身视频中的动作是否一致,进而帮助用户更好地完成健身训练,提高健身运动的效果。同时智能健身镜还可以利用摄像头采集区域内的实时图像信号,并将该信号发送至数据处理模块,数据处理模块接收并对比实时图像信号和标准图像信号,根据比对结果在显示屏上给出提示,用于辅助用户进行健身,使用户足不出户就能享受到相对专业的健身指导,进而提高健身效果,增强用户体验。
智能健身镜在使用的过程中,常常需要与用户进行交互,用户通过做出动作或手势后,与健身镜进行交互,以提高健身趣味性以及使用的便捷程度,现有的交互方法在使用时需要固定动作停留几秒后,才能识别该动作,这样在用于健身装置的过程中,该交互方法不仅操作的流畅度较低,且无法用于高频的交互场景。现有的交互方法还有通过3D摄像头,精确的判断用户的姿势,并将人体轮廓影射到屏幕中,从而允许用户操作屏幕中的任何位置的元素,虽然这种交互方法具有高灵活性,但是稳定程度较差,交互方法复杂。
发明内容
本发明的目的在于为了确保即时交互,在交互过程中,能够支持高频操作,并且交互的识别准确度高,提高使用效率和灵活性。本发明提供了基于健身装置的姿势交互方法及系统及装置及介质。
为实现上述发明目的,本发明提供了基于健身装置的姿势交互方法,包括:
健身装置采集区域内用户图像,得到用户的动作图像;
根据动作图像生成用户的骨骼点信息,根据骨骼点信息建立坐标系;
根据坐标系建立若干交互区域,每个交互区域均预设有控制指令;
根据骨骼点信息识别交互姿势;
判断交互姿势是否位于交互区域中,输出交互姿势位于的交互区域对应的控制指令。
本发明在使用时,健身装置上设置有摄像装置,用户站在健身装置的采集区域内进行健身,健身装置上的摄像装置对用户图像进行采集,得到用户的动作图像,根据动作图像生成用户的骨骼点信息,在本发明中,骨骼点信息主要包括头顶骨骼点、盆骨骨骼点、左手骨骼点和右手骨骼点。在使用时,通过获取用户的骨骼点信息建立坐标系,并在坐标系建立若干交互区域,每个交互区域对应预设的控制指令。当根据骨骼点信息识别到交互姿势时,则证明用户做出了交互姿势,此时,判断交互姿势是否位于交互区域中,若交互姿势位于一个交互区域中,则输出该交互区域对应的控制指令,进而进行交互。
本发明的交互姿势是预设的,为一个特定的动作,当用户做出该动作并出现在某个交互区域中时,则输出该交互区域对应的控制指令。在本发明中交互姿势优选为双手靠近做出击掌动作,对于一个正常人而言,单手是一个默认状态,所以基于单手的操作,一定是需要增加特定的防误判逻辑,本发明人认为击掌是一个非常好的即时交互动作。从用户侧来讲,击掌不属于一个默认姿势,任何人都能做,且做起来非常容易的动作。可以认为击掌动作可以很好的表达用户的操作意愿且不会和其他自然动作混淆。从技术侧来讲,击掌是一个容易判定的动作,我们只需要根据左手和右手骨骼点的位置是否挨到一起即可完成判定。这样在使用时,不仅交互的准确度更高,同时在识别时无显著的等待,不仅能够支持高频操作,交互的识别准确度高,有效的提高使用效率和灵活性。
在本发明中,根据骨骼点信息建立坐标系,具体包括:
根据动作图像生成用户的骨骼点信息,所述骨骼点信息包括头顶骨骼点和盆骨骨骼点;
获取头顶骨骼点和盆骨骨骼点之间的直线距离,根据所述直线距离获取坐标系的单位长度;
将头顶骨骼点和盆骨骨骼点之间所在直线作为纵坐标、盆骨骨骼点为原点,并以获取的单位长度构建直角坐标系。
选择头顶骨骼点和盆骨骨骼点之间的距离作为关键参照点,首先是因为对于不同体型的用户,一般而言,头顶骨骼点和盆骨骨骼点之间的距离长度通常是稳定的,适用于确定单位长度,对于本发明的单位长度,为建立坐标系后每个单位长度1的长度大小,同时确定的单位长度对于后续判断双手之间的距离、判断是否在交互区域内,以及交互区域的大小都有关系,在本发明中,优选的,单位长度为头顶骨骼点和盆骨骨骼点之间的直线距离的六分之一,基于这个单位长度而言,几乎能适用于所有的人。在确定好坐标系后,根据骨骼点信息识别交互姿势,具体包括:
获取骨骼点信息,骨骼点信息包括左手骨骼点和右手骨骼点;
获取左手骨骼点和右手骨骼点之间的距离;
将左手骨骼点和右手骨骼点之间的距离与阈值T对比,若左手骨骼点和右手骨骼点之间的距离小于或等于阈值T,则识别到交互姿势;若左手骨骼点和右手骨骼点之间的距离大于阈值T,则未识别到交互姿势。
获取左手骨骼点和右手骨骼点之间的中间点坐标;
判断中间点坐标是否位于交互区域中;
若中间点坐标位于一个交互区域中,则该交互区域为激活状态,输出该交互区域对应的控制指令;其他交互区域为未激活状态。
对于本发明而言,阈值T为预设的长度大小,用于判断双手是否靠近,在实际的使用中,用户在做出击掌动作时,双手不一定会完全挨在一起,因此本发明通过阈值T判断双手是否靠近,识别准确度更高,当左手骨骼点和右手骨骼点之间的距离小于或等于阈值T时,则证明双手靠近,做出了击掌动作,即做出了交互姿势,此时,获取左手骨骼点和右手骨骼点之间的中间点坐标信息,通过左手骨骼点和右手骨骼点之间的中间点坐标信息来判断交互姿势是否位于某个交互区域中,在判断时,每个交互区域根据需要设置在坐标系中,当中间点坐标信息在坐标系中位于某个交互区域时,则输出结果,输出的结果为输出该交互区域对应的控制指令。
在本发明中,每个交互区域在坐标系中的位置和面积,可以根据实际需要设置,可以设置在坐标系中的四个象限中,也可以为几个象限重叠的区域中,根据需要设置即可,在本发明中对交互区域在坐标系中的具体位置和面积不做限制,在设置具体位置和面积时,通过坐标点设置即可。其中,交互区域可以为三个也可以为五个,当有三个交互区域时,在坐标系中以头顶骨骼点为中心建立第一交互区域,第一交互区域预设有第一控制指令;在坐标系中以盆骨骨骼点为原点建立第二交互区域和第三交互区域,第二交互区域预设有第二控制指令,第三交互区域预设有第三控制指令。
当有五个交互区域时,在坐标系中以头顶骨骼点为中心建立第一交互区域,第一交互区域预设有第一控制指令;在坐标系中以盆骨骨骼点为原点建立第二交互区域和第三交互区域,第二交互区域预设有第二控制指令,第三交互区域预设有第三控制指令。在坐标系中以头顶骨骼点为原点建立第四交互区域和第五交互区域,第四交互区域预设有第四控制指令,第五交互区域预设有第五控制指令。
在此基础上,为了进一步的避免误判定,或者当用户的交互姿势出现在某个交互区域后,在持续运动的过程中,若用户的交互姿势出现在该交互区域相邻的交互区域中,会又触发另一个交互区域的控制指令,这样在持续运动的过程中容易发生误判定,降低用户使用的体验度和流畅度,因此,若中间点坐标位于一个交互区域中,则该交互区域为激活状态,该交互区域的面积增大,输出该交互区域对应的控制指令,其他交互区域为未激活状态,其他交互区域的面积减小;输出该交互区域对应的控制指令后,所有交互区域的面积恢复原状。本发明的交互方法,在使用时,若交互姿态位于一个交互区域中,则该交互区域为激活状态,其余交互区域为未激活状态;在坐标系中,激活状态的交互区域面积增大,未激活状态的交互区域面积缩小。
当交互姿态位于一个交互区域中,输出该交互区域对应的控制指令,此时该交互区域在坐标系中的面积增大,其他的交互区域为未激活状态,面积缩小,这样在持续的运动过程中,当交互姿势位于未激活状态的交互区域中时,不会发生误判,例如当交互姿势为击掌时,并且具有四个交互区域,四个交互区域分别位于坐标系的四个象限中,当用户在其中一个交互区域做出交互姿势后,当手放下时,容易触发与该区域相邻的交互区域,这样就容易发生误判,因此本发明在当输出一个交互区域时,该交互区域面积增大,其他交互区域面积缩小,能较好的避免这种问题的发生。
与本发明中的方法对应,本发明还提供了基于健身装置的姿势交互系统,包括:
获取模块,用于健身装置采集区域内用户图像,得到用户的动作图像;
第一识别模块,用于根据动作图像获取用户的骨骼点信息,根据骨骼点信息建立坐标系;
交互模块,用于根据坐标系建立若干交互区域,每个交互区域均预设有控制指令;
第二识别模块,用于根据骨骼点信息识别交互姿势;
判断模块,用于根据交互姿势判断交互姿态是否位于交互区域中,输出判断结果;
执行模块,用于根据判断结果执行交互姿势位于的交互区域对应的控制指令;
调节模块,用于根据判断结果调节交互区域面积。
与本发明中的方法对应,本发明还提供了一种电子装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于健身装置的姿势交互方法的步骤。
与本发明中的方法对应,本发明还提供了一种存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于健身装置的姿势交互方法的步骤。
本发明提供的一个或多个技术方案,至少具有如下技术效果或优点:
本发明的交互效率较高,能更好的满足高频操作,并且本发明在交互的过程中能实现即时交互,减少交互姿势的停留时间,有效地提高了交互的准确度,实现交互过程无显著的等待。同时,本发明的交互方法成本较低,能有效进行推广使用,不仅稳定,同时具有较好的通用性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为基于健身装置的姿势交互方法的流程示意图;
图2为基于健身装置的姿势交互系统的组成示意图;
图3为实施例1中三个交互区域在坐标系中的示意图;
图4为实施例2中五个交互区域在坐标系中的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在相互不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述范围内的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
实施例一
请参考图1,图1为基于健身装置的姿势交互方法的流程示意图,本发明提供了基于健身装置的姿势交互方法,所述方法包括:
健身装置采集区域内用户图像,得到用户的动作图像;
根据动作图像生成用户的骨骼点信息,所述骨骼点信息包括头顶骨骼点和盆骨骨骼点;
获取头顶骨骼点和盆骨骨骼点之间的直线距离,根据所述直线距离获取坐标系的单位长度;
将头顶骨骼点和盆骨骨骼点之间所在直线作为纵坐标、盆骨骨骼点为原点,并以获取的单位长度构建直角坐标系。
根据坐标系建立若干交互区域,每个交互区域均预设有控制指令;
获取骨骼点信息,骨骼点信息包括左手骨骼点和右手骨骼点;
获取左手骨骼点和右手骨骼点之间的距离;
将左手骨骼点和右手骨骼点之间的距离与阈值T对比,若左手骨骼点和右手骨骼点之间的距离小于或等于阈值T,则识别到交互姿势;若左手骨骼点和右手骨骼点之间的距离大于阈值T,则未识别到交互姿势。
获取左手骨骼点和右手骨骼点之间的中间点坐标;
判断中间点坐标是否位于交互区域中;
若中间点坐标位于一个交互区域中,则该交互区域为激活状态,输出该交互区域对应的控制指令;其他交互区域为未激活状态。
下面结合具体的例子对本发明中的基于健身装置的姿势交互方法进行介绍:
步骤1健身装置采集区域内用户图像,得到用户的动作图像;
步骤2根据动作图像生成用户的骨骼点信息,根据骨骼点信息建立坐标系;
步骤2.1骨骼点信息包括头顶骨骼点、盆骨骨骼点、左手骨骼点和右手骨骼点;
步骤2.2获取头顶骨骼点和盆骨骨骼点之间的直线距离,根据所述直线距离获取坐标系的单位长度;
步骤2.21获取头顶骨骼点和盆骨骨骼点之间的直线距离,将直线距离的六分之一作为坐标系的单位长度,即坐标系的单位长度1的大小为直线距离的六分之一;
步骤2.3将头顶骨骼点和盆骨骨骼点之间所在直线作为纵坐标、盆骨骨骼点为原点,并以获取的单位长度构建直角坐标系;
步骤3根据坐标系建立若干交互区域;
在本实施例中,交互区域共有3个,分别为第一交互区域、第二交互区域和第三交互区,如图3所示,第一交互区域为图3中的A区域,第二交互区域为图3的B区域,第三交互区为图3的C区域,其中第一交互区域为以头顶骨骼点为中心,纵向5个单位长度,横向6个单位长度作为第一交互区域,即第一交互区域的长度为12个单位长度,高度为10个单位长度。第一交互区域为以头顶骨骼点为中心,纵向向上5个单位长度为上边,纵向向下5个单位长度为下边;以头顶骨骼点为中心,横向向左6个单位长度为左边,横向向右6个单位长度为右边。第一交互区域预设的控制指令为确定,即当交互姿势位于第一交互区域时,输出第一交互区域对应的控制指令,即输出确定的控制指令。
第二交互区域的控制指令为向左,第三交互区域的控制指令为向右,第二交互区域为以盆骨骨骼点为起始点,纵向向上2个单位长度为上边,纵向向下10个单位长度为下边,以头顶骨骼点为起始点,横向向左3个单位长度为右边,横向向左16个单位长度为左边构成的长度为13个单位长度,高度为12个单位长度的区域。第三交互区域为以盆骨骨骼点为起始点,纵向向上2个单位长度为上边,纵向向下10个单位长度为下边,以头顶骨骼点为起始点,横向向右3个单位长度为左边,横向向右16个单位长度为右边构成的长度为13个单位长度,高度为12个单位长度的区域。
步骤4根据骨骼点信息识别交互姿势;
步骤4.1获取左手骨骼点和右手骨骼点之间的距离;
步骤4.2将左手骨骼点和右手骨骼点之间的距离与阈值T对比,若左手骨骼点和右手骨骼点之间的距离小于或等于阈值T,则识别到交互姿势,在本实施例中阈值T为15cm,若左手骨骼点和右手骨骼点之间的距离小于或等于阈值T,则判断用户做出交互姿势,识别到交互姿势,在本实施例中交互姿势为击掌,即用户做出击掌动作;若左手骨骼点和右手骨骼点之间的距离大于阈值T,则用户未做出击掌动作;
步骤4.3用户做出交互姿势,则获取左手骨骼点和右手骨骼点之间的中间点坐标;
步骤5判断中间点坐标是否位于交互区域中;
步骤5.1判断中间点坐标是否位于交互区域中;
步骤5.11若中间点坐标位于其中一个交互区域中时,则该交互区域为激活状态,输出该交互区域对应的控制指令;其他交互区域为未激活状态;
步骤5.12输出该交互区域对应的控制指令的同时,该交互区域为激活状态,其余交互区域为未激活状态;激活状态的交互区域面积增大,未激活状态的交互区域面积缩小。
在本实施例中,激活状态的交互区域的长度增大1.5个单位长度,高度增大0.5个单位长度,具体的,在本实施例中,激活状态的交互区域的长度向左右两侧依次增大即外扩0.75个单位长度,高度向上下两端依次增大即外扩0.25个单位长度。未激活状态的交互区域长度缩小2个单位长度,高度缩小1个单位长度。具体的,未激活状态的交互区域长度向左右两侧依次缩小即内缩1个单位长度,高度向上下两端缩小即内缩0.5个单位长度。
在未输出该交互区域对应的控制指令时,交互区域的面积不改变,输出控制指令后,交互区域的面积调整,执行控制指令后,交互区域的面积恢复到原始状态。
实施例二
在本实施例中健身装置为带有显示屏的智能健身镜,在使用时,用户站在智能健身镜的采集区域中,显示屏会播放健身视频,本装置在交互过程,具体包括以下步骤:
步骤1智能健身镜采集区域内用户图像,得到用户的动作图像;
步骤2根据动作图像生成用户的骨骼点信息,根据骨骼点信息建立坐标系;
步骤2.1骨骼点信息包括头顶骨骼点、盆骨骨骼点、左手骨骼点和右手骨骼点;
步骤2.2获取头顶骨骼点和盆骨骨骼点之间的直线距离,根据所述直线距离获取坐标系的单位长度;
步骤2.21获取头顶骨骼点和盆骨骨骼点之间的直线距离,将直线距离的六分之一作为坐标系的单位长度,即坐标系的单位长度1的大小为直线距离的六分之一;
步骤2.3将头顶骨骼点和盆骨骨骼点之间所在直线作为纵坐标、盆骨骨骼点为原点,并以获取的单位长度构建直角坐标系;
步骤3根据坐标系建立若干交互区域;
在本实施例中,交互区域共有五个,分别为第一交互区域、第二交互区域、第三交互区域、第四交互区域和第五交互区域,如图4所示,第一交互区域为图4中的A区域,第二交互区域为图4的B区域,第三交互区域为图4的C区域,第四交互区域为图4的D区域,第五交互区域为图4的E区域。
其中第一交互区域为以头顶骨骼点为中心,纵向5个单位长度,横向6个单位长度作为第一交互区域,即第一交互区域的长度为12个单位长度,高度为10个单位长度。第一交互区域为以头顶骨骼点为中心,纵向向上5个单位长度为上边,纵向向下5个单位长度为下边;以头顶骨骼点为中心,横向向左6个单位长度为左边,横向向右6个单位长度为右边。第一交互区域预设的控制指令为确定A,即当交互姿势位于第一交互区域时,输出第一交互区域对应的控制指令,即输出确定A的控制指令。
第二交互区域的控制指令为向左,第三交互区域的控制指令为向右,第二交互区域为以盆骨骨骼点为起始点,纵向向上2个单位长度为上边,纵向向下10个单位长度为下边,以头顶骨骼点为起始点,横向向左3个单位长度为右边,横向向左16个单位长度为左边构成的长度为13个单位长度,高度为12个单位长度的区域。第三交互区域为以盆骨骨骼点为起始点,纵向向上2个单位长度为上边,纵向向下10个单位长度为下边,以头顶骨骼点为起始点,横向向右3个单位长度为左边,横向向右16个单位长度为右边构成的长度为13个单位长度,高度为12个单位长度的区域。
第四交互区域的控制指令为确定D,第五交互区域的控制指令为确定E,第四交互区域为以头顶骨骼点为起始点,纵向向上4个单位长度为上边,纵向向下5个单位长度为下边,以头顶骨骼点为起始点,横向向左7个单位长度为右边,横向向左16个单位长度为左边构成的长度为11个单位长度,高度为9个单位长度的区域。
第五交互区域为以头顶骨骼点为起始点,纵向向上4个单位长度为上边,纵向向下5个单位长度为下边,以头顶骨骼点为起始点,横向向右7个单位长度为左边,横向向右16个单位长度为右边构成的长度为11个单位长度,高度为9个单位长度的区域。
步骤4根据骨骼点信息识别交互姿势;
步骤4.1获取左手骨骼点和右手骨骼点之间的距离;
步骤4.2将左手骨骼点和右手骨骼点之间的距离与阈值T对比,若左手骨骼点和右手骨骼点之间的距离小于或等于阈值T,则识别到交互姿势,在本实施例中阈值T为15cm,若左手骨骼点和右手骨骼点之间的距离小于或等于阈值T,则判断用户做出交互姿势,识别到交互姿势,在本实施例中交互姿势为击掌,即用户做出击掌动作;若左手骨骼点和右手骨骼点之间的距离大于阈值T,则用户未做出击掌动作;
步骤4.3用户做出交互姿势,则获取左手骨骼点和右手骨骼点之间的中间点坐标;
步骤5判断中间点坐标是否位于交互区域中;
步骤5.1判断中间点坐标是否位于交互区域中;
步骤5.11若中间点坐标位于其中一个交互区域中时,则该交互区域为激活状态,输出该交互区域对应的控制指令;其他交互区域为未激活状态;
步骤5.12输出该交互区域对应的控制指令的同时,该交互区域为激活状态,其余交互区域为未激活状态;激活状态的交互区域面积增大,未激活状态的交互区域面积缩小。
在本实施例中,激活状态的交互区域的长度增大1.5个单位长度,高度增大0.5个单位长度,具体的,在本实施例中,激活状态的交互区域的长度向左右两侧依次增大即外扩0.75个单位长度,高度向上下两端依次增大即外扩0.25个单位长度。未激活状态的交互区域长度缩小2个单位长度,高度缩小1个单位长度。具体的,未激活状态的交互区域长度向左右两侧依次缩小即内缩1个单位长度,高度向上下两端缩小即内缩0.5个单位长度。
在未输出该交互区域对应的控制指令时,交互区域的面积不改变,输出控制指令后,交互区域的面积调整,执行控制指令后,交互区域的面积恢复到原始状态。
当用户在第一交互区域中做出交互姿势后,健身镜识别到交互姿势,输出第一交互区域对应的控制指令,第一交互区域的面积扩大,即上边纵向向上增大0.25个单位长度,下边纵向向下增大0.25个单位长度,左边横向向左增大0.75个单位长度,右边横向向右增大0.75个单位长度。
实施例三
请参考图2,图2为基于健身装置的姿势交互系统的组成示意图,本发明实施例二提供了基于健身装置的姿势交互系统,所述系统包括:
获取模块,用于获取用户图像得到用户的动作图像;
第一识别模块,用于根据动作图像获取用户的骨骼点信息;
交互模块,用于根据骨骼点信息建立坐标系,并在坐标系建立若干交互区域;
第二识别模块,用于根据骨骼点信息获取交互姿态信息;
判断模块,用于根据交互姿态信息判断交互姿态是否位于交互区域中,输出判断结果;
执行模块,用于根据判断结果执行交互区域对应的控制指令。
实施例四
本发明实施例四提供了一种电子装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述基于健身装置的姿势交互方法的步骤。
其中,所述处理器可以是中央处理器,还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的数据,实现发明中基于健身装置的姿势交互装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外,存储器可以包括高速随机存取存储器、还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡,安全数字卡,闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例五
本发明实施例五提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述基于健身装置的姿势交互方法的步骤。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnlyMemory,ROM)、可擦式可编程只读存储器((ErasableProgrammableReadOnlyMemory,EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (7)
1.基于健身装置的姿势交互方法,其特征在于,包括:
健身装置采集区域内用户图像,得到用户的动作图像;
根据动作图像生成用户的骨骼点信息,根据骨骼点信息建立坐标系;
根据坐标系建立若干交互区域,每个交互区域均预设有控制指令;
根据骨骼点信息识别交互姿势;
判断交互姿势是否位于交互区域中,输出交互姿势位于的交互区域对应的控制指令;
根据骨骼点信息识别交互姿势,具体包括:
获取骨骼点信息,骨骼点信息包括左手骨骼点和右手骨骼点;
获取左手骨骼点和右手骨骼点之间的距离;
将左手骨骼点和右手骨骼点之间的距离与阈值T对比,若左手骨骼点和右手骨骼点之间的距离小于或等于阈值T,则识别到交互姿势;若左手骨骼点和右手骨骼点之间的距离大于阈值T,则未识别到交互姿势;
判断交互姿势是否位于交互区域中,输出交互姿势位于的交互区域对应的控制指令,具体包括:
获取左手骨骼点和右手骨骼点之间的中间点坐标;
判断中间点坐标是否位于交互区域中;
若中间点坐标位于一个交互区域中,则该交互区域为激活状态,输出该交互区域对应的控制指令;其他交互区域为未激活状态;若中间点坐标位于一个交互区域中,则该交互区域为激活状态,该交互区域的面积增大,输出该交互区域对应的控制指令,其他交互区域为未激活状态,其他交互区域的面积减小;
输出该交互区域对应的控制指令后,所有交互区域的面积恢复原状。
2.根据权利要求1所述的基于健身装置的姿势交互方法,其特征在于,根据动作图像生成用户的骨骼点信息,根据骨骼点信息建立坐标系,具体包括:
根据动作图像生成用户的骨骼点信息,所述骨骼点信息包括头顶骨骼点和盆骨骨骼点;
获取头顶骨骼点和盆骨骨骼点之间的直线距离,根据所述直线距离获取坐标系的单位长度;
将头顶骨骼点和盆骨骨骼点之间所在直线作为纵坐标、盆骨骨骼点为原点,并以获取的单位长度构建直角坐标系。
3.根据权利要求2所述的基于健身装置的姿势交互方法,其特征在于,若干交互区域包括第一交互区域、第二交互区域和第三交互区域,第一交互区域预设有第一控制指令,第二交互区域预设有第二控制指令,第三交互区域预设有第三控制指令。
4.根据权利要求2所述的基于健身装置的姿势交互方法,其特征在于,若干交互区域包括第一交互区域、第二交互区域、第三交互区域、第四交互区域和第五交互区域,第一交互区域预设有第一控制指令,第二交互区域预设有第二控制指令,第三交互区域预设有第三控制指令,第四交互区域预设有第四控制指令,第五交互区域预设有第五控制指令。
5.基于健身装置的姿势交互系统,其特征在于,包括:
获取模块,用于健身装置采集区域内用户图像,得到用户的动作图像;
第一识别模块,用于根据动作图像获取用户的骨骼点信息,根据骨骼点信息建立坐标系;
交互模块,用于根据坐标系建立若干交互区域,每个交互区域均预设有控制指令;
第二识别模块,用于根据骨骼点信息识别交互姿势;
判断模块,用于根据交互姿势判断交互姿态是否位于交互区域中,输出判断结果;
执行模块,用于根据判断结果执行交互姿势位于的交互区域对应的控制指令;
调节模块,用于根据判断结果调节交互区域面积。
6.一种电子装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-4中任意一个所述基于健身装置的姿势交互方法的步骤。
7.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任意一个所述基于健身装置的姿势交互方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111582175.4A CN116328276B (zh) | 2021-12-22 | 2021-12-22 | 基于健身装置的姿势交互方法及系统及装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111582175.4A CN116328276B (zh) | 2021-12-22 | 2021-12-22 | 基于健身装置的姿势交互方法及系统及装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116328276A CN116328276A (zh) | 2023-06-27 |
CN116328276B true CN116328276B (zh) | 2024-08-13 |
Family
ID=86889905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111582175.4A Active CN116328276B (zh) | 2021-12-22 | 2021-12-22 | 基于健身装置的姿势交互方法及系统及装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116328276B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765454A (zh) * | 2015-04-02 | 2015-07-08 | 吉林大学 | 基于人体肌肉运动知觉的人机交互界面菜单选择方法 |
CN110443167A (zh) * | 2019-07-23 | 2019-11-12 | 中国建设银行股份有限公司 | 传统文化手势的智能识别方法、智能交互方法及相关装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8994718B2 (en) * | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
CN104298353A (zh) * | 2014-10-08 | 2015-01-21 | 宁波熵联信息技术有限公司 | 一种基于逆运动学的车辆监控防盗方法及系统 |
CN105681859A (zh) * | 2016-01-12 | 2016-06-15 | 东华大学 | 基于人体骨骼追踪控制智能电视的人机交互方法 |
CN110209273B (zh) * | 2019-05-23 | 2022-03-01 | Oppo广东移动通信有限公司 | 手势识别方法、交互控制方法、装置、介质与电子设备 |
CN112926423B (zh) * | 2021-02-07 | 2023-08-25 | 青岛小鸟看看科技有限公司 | 捏合手势检测识别方法、装置及系统 |
CN113238650B (zh) * | 2021-04-15 | 2023-04-07 | 青岛小鸟看看科技有限公司 | 手势识别和控制的方法、装置及虚拟现实设备 |
-
2021
- 2021-12-22 CN CN202111582175.4A patent/CN116328276B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765454A (zh) * | 2015-04-02 | 2015-07-08 | 吉林大学 | 基于人体肌肉运动知觉的人机交互界面菜单选择方法 |
CN110443167A (zh) * | 2019-07-23 | 2019-11-12 | 中国建设银行股份有限公司 | 传统文化手势的智能识别方法、智能交互方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116328276A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11868543B1 (en) | Gesture keyboard method and apparatus | |
US10048763B2 (en) | Distance scalable no touch computing | |
US9703940B2 (en) | Managed biometric identity | |
KR20220144890A (ko) | 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템 | |
JP7152528B2 (ja) | フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器 | |
CN107493495A (zh) | 交互位置确定方法、系统、存储介质和智能终端 | |
US20140009378A1 (en) | User Profile Based Gesture Recognition | |
US9619018B2 (en) | Multimodal interactions based on body postures | |
JP2005202653A (ja) | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム | |
CN109003224B (zh) | 基于人脸的形变图像生成方法和装置 | |
KR20130111234A (ko) | 인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력 | |
KR20120123330A (ko) | 프리젠테이션을 위한 카메라 탐색 | |
US11474627B2 (en) | Method, apparatus and device for erasing handwriting on electronic whiteboard | |
CN105930785A (zh) | 一种智能化的隐式交互系统 | |
KR101242848B1 (ko) | 가상터치스크린을 생성과 제어하는 장치 | |
CN114945949A (zh) | 化身显示装置、化身显示系统、化身显示方法以及化身显示程序 | |
US11755119B2 (en) | Scene controlling method, device and electronic equipment | |
KR101287948B1 (ko) | 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체 | |
JP2024534472A (ja) | タッチレス式画像ベース入力インタフェース | |
CN116328276B (zh) | 基于健身装置的姿势交互方法及系统及装置及介质 | |
CN116339497A (zh) | 一种姿势交互方法及系统及装置及介质 | |
JP7280888B2 (ja) | 電子機器確定方法、システム、コンピュータシステムおよび読取り可能な記憶媒体 | |
JP2018005660A (ja) | 情報処理装置、プログラム、位置情報作成方法、情報処理システム | |
CN116262171A (zh) | 基于健身装置的健身训练方法及系统及装置及介质 | |
KR20240003467A (ko) | 모션 인식에 기초한 영상 콘텐츠 제공 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |