CN118411758A - 胳膊下臂动作捕捉方法、系统及存储介质 - Google Patents
胳膊下臂动作捕捉方法、系统及存储介质 Download PDFInfo
- Publication number
- CN118411758A CN118411758A CN202310250224.7A CN202310250224A CN118411758A CN 118411758 A CN118411758 A CN 118411758A CN 202310250224 A CN202310250224 A CN 202310250224A CN 118411758 A CN118411758 A CN 118411758A
- Authority
- CN
- China
- Prior art keywords
- point
- arm
- calculating
- axis
- dimensional world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 210000002310 elbow joint Anatomy 0.000 claims description 8
- 210000003857 wrist joint Anatomy 0.000 claims description 8
- 210000000707 wrist Anatomy 0.000 claims description 5
- 210000001503 joint Anatomy 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000003049 pelvic bone Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种胳膊下臂动作捕捉方法、系统及存储介质,涉及人工智能技术领域,能够在不使用动捕服的情况下对胳膊下臂的3D动作精准捕捉。该方法包括:采集胳膊下臂目标关键点的三维世界坐标;基于所述目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。该系统应用有上述方案所提的方法。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种胳膊下臂动作捕捉方法、系统及存储介质。
背景技术
伴随着元宇宙技术的发展,虚拟直播也变得日益盛行起来。直播行业由最初的2D虚拟直播发展到现在的3D虚拟直播,由传统的二维卡片人发展到现在的三维虚拟人,其3D动作驱动方式也经历着基于摄像头的简易平面动捕(2D动捕)到定制化的动捕服动捕(3D动捕)的演变。
通过2D动捕进行虚拟直播,能够让人看到简易的二维形象,其成本低、易普及,在元宇宙发展初期,能够满足大众的审美需求,但随着Web3.0、元宇宙时代的到来,2D动捕的缺点也日益显露,如风格都偏向卡通类型、虚拟形象运动大多都是基于平面的位移。
通过定制化的动捕服动捕进行虚拟直播,能够让人看到逼真的三维形象,其受欢迎程度广、市场前景广,符合大众日益增长的审美需求,但相比较与2D动捕的易普及性而言,通过动捕服进行3D动捕虚拟直播的缺点也就更加明显,需要定制化三维形象以及购买专业的动捕服,总体成本较高,不易普及。
对此,我们借鉴2D动捕的思想,通过摄像头去对胳膊下臂动作进行三维动捕,代替动捕服的方式驱动虚拟人物,进行三维场景下的虚拟直播,满足元宇宙场景下日益丰富的虚拟直播需求。
发明内容
本发明的目的在于提供一种胳膊下臂动作捕捉方法、系统及存储介质,能够在不使用动捕服的情况下对胳膊下臂的3D动作精准捕捉。
为了实现上述目的,本发明的第一方面提供一种胳膊下臂动作捕捉方法,包括:
采集胳膊下臂目标关键点的三维世界坐标;
基于所述目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。
优选地,在采集胳膊下臂目标关键点的三维世界坐标之前还包括:
通过相机采集胳膊下臂的图像;
基于所述胳膊下臂的图像构建三维世界坐标系。
较佳地,采集胳膊下臂目标关键点的三维世界坐标的方法包括:
采用Mediapipe识别图像中胳膊下臂的目标关键点,并根据所述三维世界坐标系和图像尺寸得到所述目标关键点的三维世界坐标。
示例性地,所述目标关键点包括手腕关节点、胳膊肘关节点和胳膊上臂关节点。
进一步地,基于所述目标关键点的三维世界坐标计算Z轴动捕数据的方法包括:
对应标定手腕关节点、胳膊肘关节点和胳膊上臂关键点的三维世界坐标为P1点、P2点和P3点;
依次连线P1点、P2点和P3点,构建虚拟三角形;
基于P2点和P3点的平面坐标计算P2点至P3点的向量距离A,基于P1点和P3点的平面坐标计算P1点至P3点的向量距离B,基于P1点和P2点的平面坐标计算P1点至P2点的向量距离C;
根据A、B、C及弧度计算公式求P1点、P2点和P3点形成的弧度D,再将弧度D转换为Z轴旋转角度。
较佳地,根据A、B、C及弧度计算公式求P1点、P2点和P3点形成的弧度D,再将弧度D转换为Z轴旋转角度的方法包括:
采用公式计算Z轴弧度;
采用公式S=180°-Angle计算Z轴旋转角度,所述Angle=D*(180/π)。
进一步地,根据A、B、C及弧度计算公式求P1点、P2点和P3点形成的弧度D,再将弧度D转换为Z轴旋转角度的方法包括:
采用公式计算Z轴弧度;
采用公式S=180°-Angle计算Z轴旋转角度,所述Angle=D*(180/π)。
较佳地,根据a、b、c及弧度计算公式求p1点、p2点和p3点形成的弧度d,再将弧度d转换为X轴旋转角度的方法包括:
采用公式计算X轴弧度;
采用公式angle=d*(180/π)计算X轴旋转角度;
判断p1点和p3点在X轴方向上的差值L,当L小于零时,表示向X轴左边旋转,当L大于零时,表示向X轴右边旋转。
与现有技术相比,本发明提供的一种胳膊下臂动作捕捉方法具有以下有益效果:
本发明提供的一种胳膊下臂动作捕捉方法,首先采集胳膊下臂的动作图像,识别出胳膊下臂的目标关键点,并定位出胳膊下臂目标关键点的三维世界坐标,然后基于目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。
可见,相比较于现有技术通过定制动捕服来实现胳膊下臂动作捕捉的方案而言,本发明直接通过相机采集人体胳膊下臂目标关键点的方法,精准地实现了对胳膊下臂动作的实时捕捉,有效降低了设备成本并增强了该动捕设备的适用性,最后,再根据算法生成可以驱动胳膊下臂模仿主播胳膊下臂动作的驱动数据,以达到利用虚拟人物进行直播的目的。
本发明的第二方面提供一种胳膊下臂动作捕捉系统,应用于上述技术方案所述的胳膊下臂动作捕捉方法中,所述系统包括:
采集单元,用于采集胳膊下臂目标关键点的三维世界坐标;
计算单元,用于基于所述目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。
优选地,所述目标关键点包括手腕关节点、胳膊肘关节点和胳膊上臂关节点。
与现有技术相比,本发明提供的胳膊下臂动作捕捉系统的有益效果与上述技术方案提供的胳膊下臂动作捕捉方法的有益效果相同,在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述胳膊下臂动作捕捉方法的步骤。
与现有技术相比,本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的胳膊下臂动作捕捉方法的有益效果相同,在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例中胳膊下臂动作捕捉方法的流程示意图;
图2为本发明实施例中Mediapipe捕捉的肢体关节关键点示例图;
图3为本发明实施例中一种三维坐标可视化示例图;
图4为本发明实施例中另一种三维坐标可视化示例图;
图5为电子设备示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本发明保护的范围。
实施例一
请参阅图1,本实施例提供一种胳膊下臂动作捕捉方法,包括:
采集胳膊下臂目标关键点的三维世界坐标;基于目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。
本实施例提供的一种胳膊下臂动作捕捉方法,首先采集胳膊下臂的动作图像,识别出胳膊下臂的目标关键点,并定位出胳膊下臂目标关键点的三维世界坐标,然后基于目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。
可见,相比较于现有技术通过定制动捕服来实现胳膊下臂动作捕捉的方案而言,本实施例直接通过相机采集人体胳膊下臂目标关键点的方法,精准地实现了对胳膊下臂动作的实时捕捉,有效降低了设备成本并增强了该动捕设备的适用性,最后,再根据算法生成可以驱动胳膊下臂模仿主播胳膊下臂动作的驱动数据,以达到利用虚拟人物进行直播的目的。
示例性地,为了精准的生成驱动数据并兼顾系统的计算量,我们优选地将目标关键点选为手腕关节点、胳膊肘关节点和胳膊上臂关键点。
优选地,上述实施例在采集胳膊下臂目标关键点的三维世界坐标之前还包括:
通过相机采集胳膊下臂的图像;基于胳膊下臂的图像构建三维世界坐标系。
具体来讲,当人体在相机前活动时,相机可持续采集包括胳膊下臂的图像,然后将采集到的每张图像输入Mediapipe Pose API中能够获取到肢体的33个关键点,提取手腕关节点、胳膊肘关节点和胳膊上臂关键点,对应目标关键点索引为16、14、12,提取左臂中左胯骨、左下臂、左胳膊肘三个骨骼关,对应目标关键点索引为15、13、11,然后以盆骨为中心构建三维世界坐标系,Z轴表示深度信息,即距离相机的距离,获取到每个目标关键点的三维世界坐标。
下文以右臂为例,对胳膊下臂动作捕捉方法做具体示例性说明。
请参阅图2,上述实施例中采集胳膊下臂目标关键点的三维世界坐标的方法包括:
采用Mediapipe识别图像中胳膊下臂的目标关键点,并根据三维世界坐标系和图像尺寸得到目标关键点的三维世界坐标。
具体实施时,获取相机画面的尺寸,尺寸包括宽度和高度,将三维世界坐标归一化到0~1之间,例如,可以将三维世界坐标中的X坐标与宽度相乘,将三维世界坐标中的Y坐标与高度相乘,结合三维世界坐标中的Z坐标得到目标关键点的三维坐标。
请参阅图3,上述实施例中,基于所述目标关键点的三维世界坐标计算Z轴动捕数据的方法包括:
对应标定手腕关节点、胳膊肘关节点和胳膊上臂关节点的三维世界坐标为P1点、P2点和P3点;
依次连线P1点、P2点和P3点,构建虚拟三角形;
基于P2点和P3点的平面坐标计算P2点至P3点的向量距离A,基于P1点和P3点的平面坐标计算P1点至P3点的向量距离B,基于P1点和P2点的平面坐标计算P1点至P2点的向量距离C;
根据A、B、C及弧度计算公式求P1点、P2点和P3点形成的弧度D,再将弧度D转换为Z轴旋转角度。
具体地,根据A、B、C及弧度计算公式求P1点、P2点和P3点形成的弧度D,再将弧度D转换为Z轴旋转角度的方法包括:
采用公式计算Z轴弧度;
采用公式S=180°-Angle计算Z轴旋转角度,所述Angle=D*(180/π)。
具体实施时,以手腕关节点、胳膊肘关节点和胳膊上臂关键点为例,对应目标关键点索引为16、14、12,对应记作P1点、P2点和P3点,依次连线P1点、P2点和P3点,构建虚拟三角∠P1 P2 P3,其中,P1点、P2点和P3点分队对应的三维世界坐标为:
P1=[X:-0.0.1831710493087768,Y:0.495419647982412,Z:0.0346129380017519]
P2=[X:-0.2272228617143631,Y:0.366937407493591,Z:0.1209591135382652]
P3=[X:0.2890154029941559,Y:0.214017992805540,Z:0.0025287352036685]
P1≈(0.1832,0.4954)
P2≈(0.2272,0.3669)
P3≈(0.2890,0.2140)
最后将P1、P2、P3这三个点代入三点夹角计算公式,计算过程如下:
1、求P2到P3的距离,记作A:
A=0.1649
2、求P1到P3的距离,记作B:
B=0.3006
3、求P1到P2的距离,记作C:
C=0.1358
4、求P1点、P2点和P3三点的弧度,记作D:
D=3.0878
5、弧度转角度,记作Angle:
Angle=D*(180/π)
Angle=3.0878*(180/π)
Angle=∠p1p2p3=176°
采用公式S=180°-Angle计算Z轴旋转角度:
S=∠p1p2p3′=∠p2′p1p2′-∠p1p2p3=180°-176°=4°
最终输出的胳膊下臂在z轴方向上抬起的角度为4度。
请参阅图4,上述实施例中,基于所述目标关键点的三维世界坐标计算X轴动捕数据的方法包括:
对应标定手腕关节点和胳膊肘关节点的三维世界坐标为p1点和p2点,同时做p2点Y轴正方向上指定距离的延长线构建坐标点p3;
依次连线p1点、p2点和p3点,构建虚拟三角形;
基于p2点和p3点的三维世界坐标计算p2点至p3点的向量距离a,基于p1点和p3点的三维世界坐标计算p1点至p3点的向量距离b,基于p1点和p2点的三维世界坐标计算p1点至p2点的向量距离c;
根据a、b、c及弧度计算公式求p1点、p2点和p3点弧度d,再将弧度d转换为X轴旋转角度。
其中,根据a、b、c及弧度计算公式求p1点、p2点和p3点形成的弧度d,再将弧度d转换为X轴旋转角度的方法包括:
采用公式计算X轴弧度;
采用公式angle=d*(180/π)计算X轴旋转角度;
判断p1点和p3点在X轴方向上的差值L,当L小于零时,表示向X轴左边旋转,当L大于零时,表示向X轴右边旋转。
具体实施时,以手腕关节点和胳膊肘关节点为例,对应目标关键点索引为16、14,对应标记p1点和p2点,做p2点坐标y轴方向上指定距离的延长线,优先指定距离为3.14,考虑到计算的X轴摆动的角度,而线段的长短不会影响角度,所以指定距离可以是大于0的任意值,我们把新的坐标记作p3:
p1=[X:0.18316194415092468,Y:0.4954097270965576,Z:0.0346129380017519]
p2=[X:0.22719049453735352,Y:0.36693114042282104,Z:0.1209591135382652]
p3=[X:0.22719049453735352,Y:3.506931140422821,Z:0.0025287352036685]
p1≈(0.1832,0.4954)
p2≈(0.2272,0.3669)
p3≈(0.2272,3.5069)
将p1、p2、p3这三个点代入三点夹角计算公式,计算过程如下:
1、求p2到p3的距离,记作A:
a=3.14
2、求p1到p3的距离,记作b:
b=3.0118
3、求p1到p2的距离,记作c:
c=0.1358
4、求p1点、p2点、p3三点的弧度,记作d:
d=0.3301
5、弧度转角度,记作angle:
angle=d*(180/π)
angle=0.3301*(180/π)
angle=18°
计算起始点p1和终止点p3在X轴方向上的差值L=0.1832-0.2272=-0.044,
由于L是一个小于零的数据,最终我们可以输出下臂在X轴方向的活动角度为水平向左的18度。
实施例二
本实施例提供一种胳膊下臂动作捕捉系统,包括:
采集单元,用于采集胳膊下臂目标关键点的三维世界坐标;
计算单元,用于基于所述目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。
优选地,所述目标关键点包括手腕关节点、胳膊肘关节点和胳膊上臂关节点。
与现有技术相比,本实施例提供的胳膊下臂动作捕捉系统的有益效果与上述实施例一提供的胳膊下臂动作捕捉方法的有益效果相同,在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述胳膊下臂动作捕捉方法的步骤。
本实施例提供的计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被电子设备执行时,使得电子设备:获取至少两个网际协议地址;向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求,其中,所述节点评价设备从所述至少两个网际协议地址中,选取网际协议地址并返回;接收所述节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从所述至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本实施例提供的计算机可读存储介质,存储有用于执行上述一种胳膊下臂动作捕捉方法的计算机可读程序指令,能够在不使用动捕服的情况下对头部的3D动作精准捕捉。
与现有技术相比,本发明实施例提供的计算机可读存储介质的有益效果与上述实施例一的胳膊下臂动作捕捉方法的有益效果相同,在此不做赘述。
实施例四
本发明实施例提供一种电子设备,电子设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例一中的一种胳膊下臂动作捕捉方法。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
通常,以下系统可以连接至I/O接口:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置;包括例如磁带、硬盘等的存储装置;以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置被安装,或者从ROM被安装。在该计算机程序被处理装置执行时,执行本公开实施例的方法中限定的上述功能。
本发明提供的电子设备,采用上述实施例一中的一种胳膊下臂动作捕捉方法,能够在不使用动捕服的情况下对胳膊下臂的3D动作精准捕捉。
与现有技术相比,本发明实施例提供的电子设备的有益效果与上述实施例一提供的胳膊下臂动作捕捉方法的有益效果相同,且该电子设备中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种胳膊下臂动作捕捉方法,其特征在于,包括:
采集胳膊下臂目标关键点的三维世界坐标;
基于所述目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。
2.根据权利要求1所述的方法,其特征在于,在采集胳膊下臂目标关键点的三维世界坐标之前还包括:
通过相机采集胳膊下臂的图像;
基于所述胳膊下臂的图像构建三维世界坐标系。
3.根据权利要求1或2所述的方法,其特征在于,采集胳膊下臂目标关键点的三维世界坐标的方法包括:
采用Mediapipe识别图像中胳膊下臂的目标关键点,并根据所述三维世界坐标系和图像尺寸得到所述目标关键点的三维世界坐标。
4.根据权利要求1所述的方法,其特征在于,所述目标关键点包括手腕关节点、胳膊肘关节点和胳膊上臂关节点。
5.根据权利要求4所述的方法,其特征在于,基于所述目标关键点的三维世界坐标计算Z轴动捕数据的方法包括:
对应标定手腕关节点、胳膊肘关节点和胳膊上臂关键点的三维世界坐标为P1点、P2点和P3点;
依次连线P1点、P2点和P3点,构建虚拟三角形;
基于P2点和P3点的平面坐标计算P2点至P3点的向量距离A,基于P1点和P3点的平面坐标计算P1点至P3点的向量距离B,基于P1点和P2点的平面坐标计算P1点至P2点的向量距离C;
根据A、B、C及弧度计算公式求P1点、P2点和P3点形成的弧度D,再将弧度D转换为Z轴旋转角度。
6.根据权利要求5所述的方法,其特征在于,根据A、B、C及弧度计算公式求P1点、P2点和P3点形成的弧度D,再将弧度D转换为Z轴旋转角度的方法包括:
采用公式计算Z轴弧度;
采用公式S=180°-Angle计算Z轴旋转角度,所述Angle=D*(180/π)。
7.根据权利要求4所述的方法,其特征在于,基于所述目标关键点的三维世界坐标计算X轴动捕数据的方法包括:
对应标定手腕关节点和胳膊肘关节点的三维世界坐标为p1点和p2点,同时做p2点Y轴正方向上指定距离的延长线构建坐标点p3;
依次连线p1点、p2点和p3点,构建虚拟三角形;
基于p2点和p3点的三维世界坐标计算p2点至p3点的向量距离a,基于p1点和p3点的三维世界坐标计算p1点至p3点的向量距离b,基于p1点和p2点的三维世界坐标计算p1点至p2点的向量距离c;
根据a、b、c及弧度计算公式求p1点、p2点和p3点弧度d,再将弧度d转换为X轴旋转角度。
8.根据权利要求7所述的方法,其特征在于,根据a、b、c及弧度计算公式求p1点、p2点和p3点形成的弧度d,再将弧度d转换为X轴旋转角度的方法包括:
采用公式计算X轴弧度;
采用公式angle=d*(180/π)计算X轴旋转角度;
判断p1点和p3点在X轴方向上的差值L,当L小于零时,表示向X轴左边旋转,当L大于零时,表示向X轴右边旋转。
9.一种胳膊下臂动作捕捉系统,其特征在于,包括:
采集单元,用于采集胳膊下臂目标关键点的三维世界坐标;
计算单元,用于基于所述目标关键点的三维世界坐标计算动捕数据,所述动捕数据包括Z轴动捕数据和X轴动捕数据。
10.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310250224.7A CN118411758A (zh) | 2023-03-14 | 2023-03-14 | 胳膊下臂动作捕捉方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310250224.7A CN118411758A (zh) | 2023-03-14 | 2023-03-14 | 胳膊下臂动作捕捉方法、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118411758A true CN118411758A (zh) | 2024-07-30 |
Family
ID=91994893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310250224.7A Pending CN118411758A (zh) | 2023-03-14 | 2023-03-14 | 胳膊下臂动作捕捉方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118411758A (zh) |
-
2023
- 2023-03-14 CN CN202310250224.7A patent/CN118411758A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555883B (zh) | 相机姿态追踪过程的重定位方法、装置及存储介质 | |
CN110457414B (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
CN110866977B (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
CN112270754B (zh) | 局部网格地图构建方法及装置、可读介质和电子设备 | |
CN106846497B (zh) | 应用于终端的呈现三维地图的方法和装置 | |
CN109754464B (zh) | 用于生成信息的方法和装置 | |
CN112927362A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
US20240273808A1 (en) | Texture mapping method and apparatus, device and storage medium | |
CN111368668B (zh) | 三维手部识别方法、装置、电子设备及存储介质 | |
CN113289327A (zh) | 移动终端的显示控制方法及装置、存储介质及电子设备 | |
CN111862349A (zh) | 虚拟画笔实现方法、装置和计算机可读存储介质 | |
CN112272311A (zh) | 花屏修复方法、装置、终端、服务器及介质 | |
CN112711335B (zh) | 虚拟环境画面的显示方法、装置、设备及存储介质 | |
CN111382701B (zh) | 动作捕捉方法、装置、电子设备及计算机可读存储介质 | |
CN110956571B (zh) | 基于slam进行虚实融合的方法及电子设备 | |
CN116824688A (zh) | 小腿动作捕捉方法、系统及存储介质 | |
CN114116081B (zh) | 交互式动态流体效果处理方法、装置及电子设备 | |
CN109816791B (zh) | 用于生成信息的方法和装置 | |
CN111447379B (zh) | 生成信息的方法和装置 | |
US11651529B2 (en) | Image processing method, apparatus, electronic device and computer readable storage medium | |
CN118411758A (zh) | 胳膊下臂动作捕捉方法、系统及存储介质 | |
CN116563740A (zh) | 基于扩展现实的控制方法、装置、电子设备和存储介质 | |
CN113223012B (zh) | 视频处理方法、设备及电子设备 | |
CN118379785A (zh) | 手腕动作捕捉方法、系统及存储介质 | |
CN118968607A (zh) | 胳膊上臂动作捕捉方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |