CN118071971A - 提供动作改善信息的方法、处理控制装置以及系统 - Google Patents
提供动作改善信息的方法、处理控制装置以及系统 Download PDFInfo
- Publication number
- CN118071971A CN118071971A CN202211478233.3A CN202211478233A CN118071971A CN 118071971 A CN118071971 A CN 118071971A CN 202211478233 A CN202211478233 A CN 202211478233A CN 118071971 A CN118071971 A CN 118071971A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- images
- information
- motion
- dimensional coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006872 improvement Effects 0.000 title claims abstract description 94
- 230000009471 action Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 title claims description 68
- 230000033001 locomotion Effects 0.000 claims abstract description 201
- 238000004886 process control Methods 0.000 claims abstract description 54
- 238000005259 measurement Methods 0.000 claims description 50
- 238000012937 correction Methods 0.000 claims description 38
- 238000009877 rendering Methods 0.000 claims description 3
- 101150013335 img1 gene Proteins 0.000 description 16
- 101150071665 img2 gene Proteins 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 102100028717 Cytosolic 5'-nucleotidase 3A Human genes 0.000 description 7
- 241000219745 Lupinus Species 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001668 ameliorated effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000037147 athletic performance Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Multi-Process Working Machines And Systems (AREA)
Abstract
一种提供动作改善信息的方法,处理控制装置以及系统,包括以处理控制装置执行:取得多张第一影像,所述多张第一影像以第一角度拍摄第一使用者而产生且对应于第一使用者在进行待评估动作时的不同时间点,取得多张第二影像,所述多张第二影像以第二角度拍摄第一使用者而产生且对应于第一使用者在进行待评估动作时的不同时间点,其中第二角度不同于第一角度,根据所述多张第一影像及所述多张第二影像产生对应第一使用者的待评估动作三维信息,利用待评估动作三维信息及预设动作三维模型产生动作改善信息,以及经由介面输出动作改善信息。
Description
技术领域
本发明关于一种提供动作改善信息的方法、处理控制装置以及系统。
背景技术
近年来,物联网、人工智能等科技趋势带动了数字分身技术的发展。数字分身可以作为现实世界中各种对象的虚拟复制品,所述对象包含工厂设备、自驾车、机器人、真人等。在人物相关的数字分身方面,现有的数字分身建置或应用系统多是用来进行人物或装置的仿真和分析,后来开始发展元宇宙系统,则是在虚拟的三维空间中创建出对应人物的虚拟分身,目前也仅能提供人物姿态虚实同步的功能,或是仿真虚拟对手和对应人物的虚拟分身来进行互动,无法提供动作改善建议,况且对于讲求人物动作的精细度的专业领域(例如运动)而言,若想要经由影像来精准分析和评估人物的动作,进而能提供动作改善建议,系统需搭载多个高速摄影机及能够进行大量运算的处理器,造成极高的建置成本而难以被实际建置及应用。
发明内容
鉴于上述问题,本发明提供一种提供动作改善信息的方法、处理控制装置以及系统。
依据本发明一实施例的一种提供动作改善信息的方法,包括以处理控制装置执行:取得多张第一影像,所述多张第一影像以第一角度拍摄第一使用者而产生且对应于第一使用者在进行待评估动作时的不同时间点;取得多张第二影像,所述多张第二影像以第二角度拍摄第一使用者而产生且对应于第一使用者在进行待评估动作时的不同时间点,其中第二角度不同于第一角度;根据所述多张第一影像及所述多张第二影像产生对应第一使用者的待评估动作三维信息;利用待评估动作三维信息及预设动作三维模型产生动作改善信息,动作改善信息包含对应待评估动作在三维空间中的角度校正信息及速度校正信息;以及经由介面输出动作改善信息。
依据本发明一实施例的一种处理控制装置包括存储器以及处理器,其中处理器连接于存储器。存储器储存用于提供动作改善信息的多个指令。处理器用于读取所述多个指令以执行:取得多张第一影像,所述多张第一影像以第一角度拍摄第一使用者而产生且对应于第一使用者在进行待评估动作时的不同时间点;取得多张第二影像,所述多张第二影像以第二角度拍摄第一使用者而产生且对应于第一使用者在进行待评估动作时的不同时间点,其中第二角度不同于第一角度;根据所述多张第一影像及所述多张第二影像产生对应第一使用者的待评估动作三维信息;利用待评估动作三维信息及预设动作三维模型产生动作改善信息,动作改善信息包含对应待评估动作在三维空间中的角度校正信息及速度校正信息;以及经由介面输出动作改善信息。
依据本发明一实施例的一种提供动作改善信息的系统,包括:第一摄像装置,用于以第一角度拍摄第一使用者以产生多张第一影像,其中所述多张第一影像对应于第一使用者在进行待评估动作时的不同时间点;第二摄像装置,用于以第二角度拍摄第一使用者以产生多张第二影像,其中所述多张第二影像对应于第一使用者在进行待评估动作时的不同时间点,且第二角度不同于第一角度;输出介面;以及处理控制装置,连接于第一摄像装置、第二摄像装置及输出介面,且用于根据所述多张第一影像及所述多张第二影像产生待评估动作三维信息,利用待评估动作三维信息及预设动作三维模型产生动作改善信息,并经由输出介面输出动作改善信息,其中动作改善信息包含对应待评估动作在三维空间中的角度校正信息及速度校正信息。
通过上述架构,本案所揭示的提供动作改善信息方法、处理控制装置以及系统可以非接触式的方式实时分析使用者的动作并提供改善信息,借此,在运动训练或是其他精致动作训练的应用上,可以达到训练中分析及事后提供改善建议的目的。另外,相较于一般在运动训练的系统中所使用多个高速摄影机的配置,本案所揭示的提供动作改善方法、处理控制装置以及系统可基于两台摄像装置所拍摄的影像分析得到动作改善信息,可以具有较低的影像数据处理量,且可以大幅减少整体系统的配置成本。
以上的关于本揭露内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理,并且提供本发明的专利申请范围更进一步的解释。
附图说明
图1依据本发明一实施例所绘示的提供动作改善信息的系统的方框图。
图2依据本发明一实施例所绘示的处理控制装置的方框图。
图3依据本发明一实施例所绘示的提供动作改善信息的方法的流程图。
图4(a)示例性地呈现以第一角度拍摄第一使用者的第一影像。
图4(b)示例性地呈现以第二角度拍摄第一使用者的第二影像。
图5依据本发明一实施例所绘示的产生待评估动作三维信息的流程图。
图6绘示以第一角度拍摄第一使用者的第一影像及以第二角度拍摄第一使用者的第二影像的示意图。
图7(a)绘示第一影像的第一二维坐标组的示意图。
图7(b)绘示绘示第二影像的第二二维坐标组的示意图。
图8依据本发明一实施例所绘示的深度补偿的流程图。
图9依据本发明另一实施例所绘示的产生待评估动作三维信息的流程图。
图10依据本发明一实施例所绘示的产生动作改善信息的流程图。
图11依据本发明另一实施例所绘示的提供动作改善信息的系统的方框图。
图12依据本发明再一实施例所绘示的提供动作改善信息的系统的方框图。
图13依据本发明一实施例所绘示的产生预设动作三维模型的流程图。
图14依据本发明另一实施例所绘示的产生预设动作三维模型的流程图。
图15依据本发明另一实施例所绘示的深度补偿的流程图。
具体实施方式
以下在实施方式中详细叙述本发明的详细特征以及优点,其内容足以使本领域技术人员了解本发明的技术内容并据以实施,且根据本说明书所揭露的内容、权利要求及附图,本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点,但非以任何观点限制本发明的范畴。
请参考图1,图1依据本发明一实施例所绘示的提供动作改善信息的系统1的方框图。如图1所示,提供动作改善信息的系统1包括第一摄像装置11、第二摄像装置12、处理控制装置13以及输出介面14。处理控制装置13电性或通信连接于第一摄像装置11、第二摄像装置12及输出介面14。
第一摄像装置11及第二摄像装置12可为任何能够取像的摄影机,且较佳是相同型号的摄像装置。第一使用者S在进行待评估动作的一段时间内,第一摄像装置11用于以第一角度拍摄第一使用者S(例如受训者)以产生多张第一影像,所述多张第一影像分别对应于第一使用者S在进行待评估动作时的多个不同时间点。第二摄像装置12用于以不同于第一角度的第二角度拍摄第一使用者S以产生多张第二影像,所述多张第二影像分别对应于第一使用者S在进行所述待评估动作时的多个不同时间点。所述多张第一影像所对应的多个时间点及所述多张第二影像所对应的多个时间点至少部分相同。换句话说,第一摄像装置11及第二摄像装置12可以具有不同或相同的取像帧率,本案不予限制。特别来说,第一摄像装置11的拍摄方向(对应于第一角度)与第二摄像装置12的拍摄方向(对应于第二角度)之间的夹角较佳为90度,然本发明不以上述夹角为限。
处理控制装置13用于利用上述第一影像及第二影像取得第一使用者S的待评估动作,分析第一使用者S的待评估动作与预设动作的差异以产生动作改善信息,并通过输出介面14输出对应的动作改善信息。上述处理控制装置13所执行的提供动作改善信息的具体实施内容将于后描述。处理控制装置13可以包含一或多个处理器,所述处理器例如为中央处理器、绘图处理器、微控制器、可程序化逻辑控制器、其他具有信号处理功能的处理器或其结合。输出介面14可以是显示装置(例如但不限于屏幕)、各类扩增实境(AugmentedReality,AR)或虚拟现实(Virtual Reality,VR)装置(例如但不限于头戴显示器、AR/VR/混合实境(Mixed Reality,MR)装置、浮空投影装置或其结合)、输出声音的装置(例如但不限于喇叭)或其结合等。
请参考图2,图2依据本发明一实施例所绘示的处理控制装置13的方框图。如图2所示,处理控制装置13包括存储器131及处理器132,存储器131电性或通信连接于处理器132。
存储器131用于储存提供动作改善信息的多个指令,处理器132用于读取所述多个指令以执行如后所述的提供动作改善信息的方法及/或流程。存储器131可为非挥发性存储器(NVM),例如只读存储器(ROM)、闪存及/或非挥发性随机存取存储器(NVRM)等。
请一并参考图1-3、图4(a)及图4(b)以说明提供动作改善信息的方法,其中图3依据本发明一实施例所绘示的提供动作改善信息的方法的流程图,可被编译为指令,图4(a)示例性地呈现以第一角度拍摄第一使用者S的第一影像IMG1,图4(b)示例性地呈现以第二角度拍摄第一使用者S的第二影像IMG2。如图3所示,提供动作改善信息的方法包括步骤S101:取得多张第一影像,所述多张第一影像以第一角度拍摄第一使用者而产生且对应于第一使用者在进行待评估动作时的不同时间点;步骤S103:取得多张第二影像,所述多张第二影像以第二角度拍摄第一使用者而产生且对应于第一使用者在进行待评估动作时的不同时间点,其中第二角度不同于第一角度;步骤S105:根据所述多张第一影像及所述多张第二影像产生对应第一使用者的待评估动作三维信息;步骤S107:利用待评估动作三维信息及预设动作三维模型产生动作改善信息,动作改善信息包括对应待评估动作在三维空间中的角度校正信息及速度校正信息;以及步骤S109:经由介面输出动作改善信息。也就是说,根据本方法,仅需通过低成本的硬件装置配备即可取得第一角度及第二角度的影像来输出动作改善信息以供第一使用者S获得如何改善自身的动作。如此一来,先前技术的问题可被改善。
于步骤S101,处理控制装置13可以从第一摄像装置11取得多张第一影像。第一影像是由第一摄像装置11以第一角度拍摄第一使用者S而产生,且所述多张第一影像对应于第一使用者S在进行待评估动作时的不同时间。换言之,一张第一影像IMG1对应于一个取像时间点。
于步骤S103,处理控制装置13可以从第二摄像装置12取得多张第二影像。第二影像是由第二摄像装置12以第二角度拍摄第一使用者S而产生,且所述多张第二影像对应于第一使用者S在进行所述待评估动作时的不同时间,其中第二角度不同于第一角度。换言之,一张第二影像IMG2对应于一个取像时间点。第一摄像装置11及第二摄像装置12是同时对进行待评估动作的第一使用者S取像以分别得到第一影像IMG1及第二影像IMG2。
以图4(a)及图4(b)为例,所述待评估动作是羽球的击球动作,第一角度是指第一摄像装置11的拍摄方向垂直于羽球场地的发球线,第二角度是指第二摄像装置12的拍摄方向垂直于羽球场地的中线,然本发明不以上述为限。第一角度和第二角度是不同的角度,在一较佳的实施例中,第一角度和第二角度之间的夹角是90度,然本发明不以上述夹角为限。
于步骤S105,处理控制装置13根据第一影像IMG1及第二影像IMG2中的一或多个特征点产生对应第一使用者S的待评估动作三维信息。举例而言,处理控制装置13可以将第一影像IMG1中的第一使用者S的关节点作为一组特征点,及将第二影像IMG2中的第一使用者S的关节点作为另一组特征点,再根据这两组特征点分别在第一影像IMG1及第二影像IMG2中的坐标产生待评估动作三维信息。
于步骤S107,处理控制装置13比对待评估动作三维信息与预设动作三维模型以产生动作改善信息。预设动作三维模型例如是预先建立的动作模型,且可以是预存在处理控制装置13的存储器131中或由处理控制装置13从外部数据库(例如云端数据库)取得。以前述的羽球为例,预设动作三维模型例如是经由羽球训练员、羽球教练等专业人员,事先进行对应各种待评估动作的标准动作所建立的动作模型。进一步而言,存储器131或外部数据库可储存多个候选动作三维模型,例如,羽球的发球动作可以有正手发长球、正手发短球、反手发长球、反手发短球等,分别建立不同的候选动作模型,在一些实施例中,也可以将多个动作整合在一个模型中。处理器132可以接收第一使用者S提供的输入信息,所述输入信息可以是第一使用者S想要进行训练的待评估动作,例如正手发长球,处理器132即可从这些候选动作三维模型中选取对应待评估动作的一者,例如以建立好的正手发长球的动作模型,作为预设动作三维模型。
动作改善信息包括对应待评估动作在三维空间中的角度校正信息及速度校正信息。处理控制装置13可判断待评估动作三维信息与预设动作三维模型之间的角度差及速度差,以产生角度校正信息及速度校正信息。以图4(a)及图4(b)为例,角度校正信息可以指示挥动球拍时手腕的角度要再向哪个方向旋转多少角度,速度校正信息可以指示挥动球拍时手腕的速度要再加快多少。
接着,于步骤S109,处理控制装置13通过输出介面14输出动作改善信息给第一使用者S(例如以供第一使用者S获得如何改善自身的动作)。
除了上述实施例的流程,在判得动作改善信息后,处理控制装置13可还通过输出介面14输出预设动作三维模型中对应动作改善信息的多张参考影像。参考影像可为预设动作三维模型的多帧影像等。举例而言,羽球受训员(第一使用者S)在进行正手发长球的练习时,可依据羽球教练所建立的正手发长球的动作模型来比对,且依据其差异来提供改善建议,例如当其差异是击球之前受训员的手肘角度过大时,依据预设动作三维模型中羽球教练的标准正手发长球的动作模拟出标准的手肘角度的轴参考影像,以提供给羽球受训员参考。据此,可以让第一使用者S更清楚知道如何改善自身的动作。
请接着一并参考图1、图5及图6,其中图5依据本发明一实施例所绘示的产生待评估动作三维信息的流程图,可被编译为指令;图6绘示在三维空间XYZ中使用第一摄像装置11以第一角度拍摄第一使用者S的第一影像及使用第二摄像装置12以第二角度拍摄第一使用者S的第二影像的示意图,其中三维空间XYZ可为X轴、Y轴及Z轴所形成的空间,以及X轴、Y轴及Z轴中任二者互相垂直且分别形成X-Y平面、X-Z平面及Y-Z平面。图5可视为图3的步骤S105的一实施例的细部流程图。如图5所示,产生待评估动作三维信息的方法包括:步骤S201:从所述多张第一影像分别取得多个第一二维坐标组;步骤S203:从所述多张第二影像分别取得多个第二二维坐标组;步骤S205:对所述多个第一二维坐标组及所述多个第二二维坐标组进行深度补偿以取得多个原始三维坐标组;以及步骤S207:根据所述多个原始三维坐标组产生角度原始信息及速度原始信息,以作为待评估动作三维信息。在图5中,步骤S201绘示为执行在步骤S203之前,但步骤S201也可执行在步骤S203之后,或是步骤S201可与步骤S203被同时执行。
于步骤S201,处理控制装置13从每张第一影像取得对应第一使用者S的第一二维坐标组。于步骤S203,处理控制装置13从每张第二影像取得对应第一使用者S的第二二维坐标组。第一二维坐标组及第二二维坐标组可包括分别对应于第一使用者S的待评估动作的关节点的多个二维坐标。以图6为例,第一二维坐标组包括第一使用者S的多个关节点在二维平面Y-Z中的多个第一二维坐标,第二二维坐标组包括第一使用者S的所述多个关节点在二维平面X-Z中的多个第二二维坐标。具体地,一帧第一影像对应于一个取像时间点,处理控制装置13基于此第一影像产生一个第一二维坐标组。换言之,所述多个第一二维坐标组对应于不同的时间点,且所述不同的时间点分别与所述多张第一影像的取像时间点相同。同理,一帧第二影像对应于一个取像时间点,处理控制装置13基于此第二影像产生一个第二二维坐标组。换言之,所述多个第二二维坐标组对应于不同的时间点,且所述不同的时间点分别与所述多张第二影像的取像时间点相同。
于步骤S205,处理控制装置13对第一二维坐标组中的每个二维坐标与第二二维坐标组中对应的二维坐标进行深度补偿,以降低或消除第一二维坐标组的各二维坐标与第二二维坐标组中对应的二维坐标之间的差异,进而取得由第一二维坐标组及第二二维坐标组形成的原始三维坐标组。具体地,由于第一二维坐标组及第二二维坐标组分别由第一摄像装置11及第二摄像装置12从不同角度拍摄的影像而得,即使第一二维坐标组的二维坐标及第二二维坐标组的二维坐标代表相同的关节点,这两个二维坐标之间仍可能因摄像装置的坐标转换系统有差异等原因而有不一致的状况。因此,通过执行深度补偿,可以降低或消除第一二维坐标组与第二二维坐标组之间的差异,进而形成原始三维坐标组。换言之,一个原始三维坐标组可包括对应于第一使用者S在三维空间XYZ中的多个关节点的三维坐标。
于步骤S207,处理控制装置13可根据原始三维坐标组判断各关节点的角度以作为角度原始信息,及根据不同时间点的多个原始三维坐标组判断各关节点的移动速度以作为速度原始信息,并将角度原始信息及速度原始信息作为待评估动作三维信息。
请接着一并参考图1、图6、图7(a)、图7(b)及图8,其中图7(a)绘示第一影像IMG1的第一二维坐标组的示意图,图7(a)所示的第一影像IMG1包括关节点D11到D15;图7(b)绘示第二影像IMG2的第二二维坐标组的示意图,图7(b)所示的第二影像IMG2包括关节点D21到D25;图8依据本发明一实施例所绘示的深度补偿的流程图,可被编译为指令。图8可视为图5的步骤S205的一实施例的细部流程图。如图8所示,深度补偿的方法包括:步骤S301:将每一第一二维坐标组作为第一目标坐标组,将对应于第一目标坐标组所对应的时间点的第二二维坐标组作为第二目标坐标组;步骤S303:判断第一目标坐标组的所述多个二维坐标中的每一个及其于第二目标坐标组的所述多个二维坐标中对应于相同关节点的二维坐标;步骤S305:判断第二轴坐标与三轴坐标是否相同;若步骤S305的判断结果为“是”,执行步骤S307:以第二轴坐标及第三轴坐标中的一者、第一轴坐标以及第四轴坐标组成三维坐标;若步骤S305的判断结果为“否”,执行步骤S309:根据第二轴坐标与第三轴坐标之间的差距调整第四轴坐标,并以第一轴坐标、第二轴坐标及经调整的第四轴坐标组成三维坐标;以及步骤S311:以第一目标坐标组的所述多个二维坐标各自对应的三维坐标组成所述多个第一三维坐标组中的一个。
需先说明的是,第一影像IMG1的第一二维坐标组各自的所述多个二维坐标各包括第一轴坐标及第二轴坐标,第二影像IMG2的第二二维坐标组各自的所述多个二维坐标各包含第三轴坐标及第四轴坐标,第二轴坐标与第三轴坐标对应于三维空间中的同一轴。以图6为例,第一二维坐标组的每个二维坐标包括的第一轴坐标为Y轴坐标,第二轴坐标为Z轴坐标;第二二维坐标组的每个二维坐标包括的第三轴坐标为Z轴坐标,第四轴坐标为X轴坐标。
于步骤S301,处理控制装置13将所述多个第一二维坐标组中的每一个作为第一目标坐标组,及将所述多个第二二维坐标组中对应于第一目标坐标组所对应的时间点的第二二维坐标组作为第二目标坐标组,以执行后续步骤。换言之,于步骤S301,处理控制装置13将第一影像IMG1的第一二维坐标组作为第一目标坐标组,及将具有相同或相近的取像时间点的第二影像IMG2的第二二维坐标组作为第二目标坐标组,以执行后续步骤。以图7(a)为例,第一影像IMG1包括的关节点D11到D15的二维坐标可作为一个第一目标坐标组。相似地,以图7(b)为例,第二影像IMG2包括的关节点D21到D25的二维坐标可作为一个第二目标坐标组。以第一影像IMG1及第二影像IMG2为例,本文中所述“相近的时间点的第二影像”是指多张第二影像中,取像时间点最接近当前第一影像IMG1的取像时间点的一者。
于步骤S303,处理控制装置13判断第一目标坐标组的二维坐标中的每一个及其于第二目标坐标组的所述多个二维坐标中对应于相同关节点的二维坐标,以执行后续步骤。以图7(a)及图7(b)中的一个关节点为例,处理控制装置13判断关节点D11的二维坐标,及关节点D11在第二影像IMG2中所对应的关节点D21的二维坐标,并根据关节点D11的二维坐标及关节点D21的二维坐标执行后续步骤。
于步骤S305,处理控制装置13判断对应第一目标坐标组的二维坐标的第二轴坐标与第二目标坐标组中对应的二维坐标的第三轴坐标是否彼此相同。以关节点D11及D21为例,关节点D11的二维坐标包括的第一轴坐标为Y1,第二轴坐标为Z1;关节点D21的二维坐标包括的第三轴坐标为Z2,第四轴坐标为X2,处理控制装置13于步骤S305判断第二轴坐标Z1与第三轴坐标Z2是否相同。
若处理控制装置13判断对应关节点D11的第二轴坐标Z1与对应关节点D21的第三轴坐标Z2彼此相同,则于步骤S307,处理控制装置13以第二轴坐标Z1或第三轴坐标Z2中的一者、第一轴坐标Y1及第四轴坐标X2组成一个三维坐标,即(Y1,Z1或Z2,X2)。
若处理控制装置13判断对应关节点D11的第二轴坐标Z1与对应关节点D21的第三轴坐标Z2彼此不同,则于步骤S309,处理控制装置13根据第二轴坐标Z1与第三轴坐标Z2之间的差距等比例地调整第四轴坐标X2,并以第一轴坐标Y1、第二轴坐标Z1及经调整后的第四轴坐标组成一个三维坐标,即(Y1,Z1,)。
在通过步骤S307或步骤S309取得一个三维坐标后,于步骤S311,处理控制装置13以第一目标坐标组的各二维坐标对应的三维坐标组成一个第一三维坐标组,以产生经深度补偿后的第一三维坐标组。简言之,于步骤S311,处理控制装置13将基于第一目标坐标组的各二维坐标产生的三维坐标组成第一三维坐标组。
在图8的实施例中,对于每张第一影像IMG1中的多个关节点的二维坐标与对应相同或相近时间点的第二影像IMG2中的所述多个关节点的二维坐标,处理控制装置13执行步骤S305、S307/S309及S311,以对第一影像IMG1及第二影像IMG2中代表同一关节点的两个二维坐标进行补偿,以产生该关节点的一个三维坐标,并将第一影像IMG1中的各关节点对应的三维坐标组成第一三维坐标组。以图7(a)及图7(b)为例,处理控制装置13对关节点D11的二维坐标与关节点D21的二维坐标执行步骤S305、S307/S309及S311,以产生关节点D11/关节点D21在三维空间中的第一三维坐标组。
请接着一并参考图1及图9,其中图9依据本发明另一实施例所绘示的产生待评估动作三维信息的流程图,可被编译为指令。图9可视为图3的步骤S105的另一实施例的细部流程图。如图9所示,产生待评估动作三维信息的方法包括:步骤S401:分别对所述多张第一影像及所述多张第二影像进行姿态辨识以取得对应第一使用者的多个人体骨架;步骤S403:从所述多个人体骨架分别取得对应待评估动作的多个关节点的多个二维坐标组;以及步骤S405:利用所述多个二维坐标组产生待评估动作三维信息。
于步骤S401,处理控制装置13对每张第一影像进行姿态辨识以取得对应第一使用者S的第一人体骨架,及对每张第二影像进行姿态辨识以取得对应第一使用者S的第二人体骨架。因此,处理控制装置1可以从多张第一影像取得多个第一人体骨架,从多张第二影像取得多个第二人体骨架。举例来说,所述姿态辨识可以OpenPose算法来执行。
于步骤S403,处理控制装置13从每个第一人体骨架取得对应待评估动作的多个关节点的二维坐标作为一个第一二维坐标组,及从每个第二人体骨架取得对应待评估动作的所述多个关节点的二维坐标作为一个第二二维坐标组。换言之,一张第一影像对应于一个第一二维坐标组,此第一二维坐标组包括对应的第一人体骨架的多个关节点的二维坐标;一张第二影像包括一个第二二维坐标组,此第二二维坐标组包括对应的第二人体骨架的所述多个关节点的二维坐标。特别来说,上述步骤S401及S403的执行内容可为图5所示的S201及S203的具体实现方式。
于步骤S405,处理控制装置13利用第一影像的二维坐标组与对应的第二影像的二维坐标组产生待评估动作三维信息。举例而言,如前所述,第一影像的第一二维坐标组中分别对应于不同关节点的多个二维坐标可各为(Y,Z),对应于相同或相近时间点的第二影像的第二二维坐标组中分别对应于不同关节点的多个二维坐标可为(X,Z),处理控制装置13可基于每个关节点所对应的二维坐标(Y,Z)与二维坐标(X,Z)建立一个三维坐标,而评估动作三维信息可包括以上述方式针对多个不同时间点及多个不同关节点而建立的多个三维坐标。以图6为例,此处示例的二维坐标(X,Z)是指在X轴上的坐标及Z轴上的坐标;二维坐标(Y,Z)是指在Y轴上的坐标及Z轴上的坐标。
请接着一并参考图1及图10,其中图10依据本发明一实施例所绘示的产生动作改善信息的流程图,可被编译为指令。图10可视为图3的步骤S107的一实施例的细部流程图。如图10所示,产生动作改善信息的方法包括:步骤S501:利用所述多个原始三维坐标组产生角度原始信息及速度原始信息;步骤S503:利用多个标准三维坐标组产生角度标准信息及速度标准信息;步骤S505:利用角度原始信息与角度标准信息的差异产生角度校正信息;以及步骤S507:利用速度原始信息与速度标准信息的差异产生速度校正信息。在图10中,步骤S501绘示为执行在步骤S503之前,但步骤S501也可执行在步骤S503之后,或是步骤S501可与步骤S503被同时执行。相似地,在图10中,步骤S505绘示为执行在步骤S507之前,但步骤S505也可执行在步骤S507之后,或是步骤S505可与步骤S507被同时执行。
需先说明的是,待评估动作三维信息包括对应于待评估动作的所述多个关节点在不同时间点的所述多个原始三维坐标组,预设动作三维模型包括对应于待评估动作的所述多个关节点在不同时间点的多个标准三维坐标组。换言之,待评估动作三维信息代表第一使用者动作,包括通过第一影像及第二影像取得的多个关节点的多个原始三维坐标组;预设动作三维模型代表训练员动作,包括训练员在执行待评估动作时的所述多个关节点的标准三维坐标组。
于步骤S501,处理控制装置13利用所述多个原始三维坐标组产生指示各关节点的弯曲/旋转角度的角度原始信息,及利用所述多个原始三维坐标组产生指示各关节点的移动速度的速度原始信息。
于步骤S503,处理控制装置13利用所述多个标准三维坐标组产生指示训练员的各关节点的弯曲/旋转角度的角度标准信息,及利用所述多个原始三维坐标组产生指示训练员的各关节点的移动速度的速度标准信息。
于步骤S505及步骤S507,处理控制装置13利用角度原始信息与角度标准信息的差异产生角度校正信息,其中角度校正信息可以指示角度原始信息到角度标准信息所需的角度变化量;及利用速度原始信息与速度标准信息的差异产生速度校正信息,其中速度校正信息可以指示速度原始信息到速度标准信息所需的速度变化量。
换言之,在图10的实施例中,处理控制装置13将第一使用者S的角度原始信息及速度原始信息分别与训练员的角度标准信息及速度标准信息进行比对,以产生角度校正信息及速度校正信息。据此,第一使用者S即可根据角度校正信息及速度校正信息判断自身的动作与训练员的标准动作之间的差异,进而改善自身在进行待评估动作时的姿态。
于一例子中,上述步骤S501可以包含:从所述多个原始三维坐标组取得指定关节点所对应的多个原始坐标;以所述多个原始坐标中的最高坐标所对应的时间点作为起始时间点;以所述多个原始坐标中的最低坐标所对应的时间点作为终止时间点;以及利用所述多个原始坐标组中对应于起始时间点至终止时间点的时间区间的部分,计算角度原始信息及速度原始信息。举例而言,假设待评估动作为羽球的发球动作,指定关节点为手腕,处理控制装置13可取得手腕在三维空间中的对应不同时间点的多个原始坐标,将这些原始坐标中具最大Z轴坐标的一者(视为发球的起点坐标)所对应的时间点作为起始时间点,及将这些原始坐标中具最小Z轴坐标的一者(视为发球的终点坐标)所对应的时间点作为终止时间点,并利用在起始时间点至终止时间点的时间区间的原始坐标,计算角度原始信息及速度原始信息。
于另一例子中,上述步骤S501可以包含:从所述多个原始三维坐标组取得指定关节点所对应的多个原始坐标;当所述多个原始坐标中的一者位于预设坐标范围内时,以所述多个原始坐标中的该者所对应的时间点作为起始时间点;以及利用所述多个原始三维坐标组中对应该起始时间点之后的时间的部分,计算角度原始信息及速度原始信息。同样假设待评估动作为羽球的发球动作,指定关节点为手腕,预设坐标范围为Z轴坐标高于第一使用者S的头顶的Z轴坐标的范围。在此例子中,处理控制装置13可取得手腕在三维空间中的对应不同时间点的多个原始坐标,并于原始坐标的Z轴坐标高于第一使用者S的头顶的Z轴坐标时,以此原始坐标所对应的时间点作为起始时间点,并以此起始时间点之后的原始坐标计算角度原始信息及速度原始信息。
请接着参考图11,图11依据本发明另一实施例所绘示的提供动作改善信息的系统2的方框图。如图11所示,提供动作改善信息的系统2包括第一摄像装置21、第二摄像装置22、处理控制装置23、第三摄像装置24、第四摄像装置25、输出介面26以及惯性量测装置27及28。第一摄像装置21、第二摄像装置22以及输出介面26可分别与图1的第一摄像装置11、第二摄像装置12以及输出介面14相同;处理控制装置23可与图1及图2的处理控制装置13相同,故相同之处不再于此赘述。
相较于图1的提供动作改善信息的系统1,提供动作改善信息的系统2还包括第三摄像装置24、第四摄像装置25以及惯性量测装置27及28。第三摄像装置24及第四摄像装置25可为任何能够取像的摄影机,且较佳是相同型号的摄像装置。第三摄像装置24及第四摄像装置25分别用于取得多张第三影像及多张第四影像,第三影像及第四影像用于建立前述的预设动作三维模型。惯性量测装置27及28连接于处理控制装置23,且用于设置于第二使用者(例如,前述的训练员)的多个关节点以测得对应于第二使用者在进行待评估动作时的不同时间点的多笔惯性量测信息。惯性量测装置27及28例如为六轴传感器,惯性量测信息可包括加速度及角速度。另外,图11示例性地绘示两个惯性量测装置27及28,但惯性量测装置的数量可依需量测的关节点的数量设置,本发明不对惯性量测装置的数量予以限制。
请接着参考图12,图12依据本发明再一实施例所绘示的提供动作改善信息的系统2’的方框图。如图12所示,提供动作改善信息的系统2’与图11所示的提供动作改善信息的系统2相似,故相同之处不再于此赘述。相较于提供动作改善信息的系统2,动作改善信息的系统2’还包括另一处理控制装置29,电性或通信连接于处理控制装置23、第三摄像装置24、第四摄像装置25以及惯性量测装置27及28。处理控制装置29可以包含一或多个处理器,所述处理器例如为中央处理器、绘图处理器、微控制器、可程序化逻辑控制器、其他具有信号处理功能的处理器或其结合。
在图11的实施例中,处理控制装置23的处理器用于根据第一影像及第二影像执行图3、图5及图8到图10的步骤;以及基于第三影像及第四影像产生前述的预设动作三维模型。在图12的实施例中,处理控制装置23的处理器用于根据第一影像及第二影像执行图3、图5及图8到图10的步骤;处理控制装置29的处理器用于基于第三影像及第四影像产生预设动作三维模型。以下以处理控制装置29为例说明产生预设动作三维模型的方式,惟须注意的是,下述产生预设动作三维模型的方式或可由处理控制装置23执行。也就是说,处理控制装置29及处理控制装置23可为(例如被整合为)相同的处理控制装置。
具体地,处理控制装置29从第三摄像装置24取得多张第三影像,所述多张第三影像以第一角度拍摄第二使用者而产生且对应于第二使用者在进行待评估动作时的不同时间点;处理控制装置29从第四摄像装置25取得多张第四影像,所述多张第四影像以第二角度拍摄第二使用者而产生且对应于第二使用者在进行待评估动作时的不同时间点。第三摄像装置24及第四摄像装置25是同时对进行待评估动作的第二使用者取像以分别得到第三影像及第四影像。此述取得第三影像及第四影像的方式同理于前列实施例所述的取得第一影像及第二影像的方式,故于此不予赘述。进一步来说,第三影像及第四影像的取像时间点不同于第一影像及第二影像的取像时间点,特别是早于第一影像及第二影像的取像时间点。
在第三摄像装置24及第四摄像装置25进行取像的同时,设置于第二使用者的多个关节点上的惯性量测装置27及28进行量测。处理控制装置29可从惯性量测装置27及28取得第二使用者在进行待评估动作时的不同时间点的多笔惯性量测信息。换言之,一笔惯性量测信息可包括不同关节点的上的惯性量测装置在同一个时间点产生的数据。
具体而言,待评估动作是由一连串的连续动作组合而成,为了建立更精准的预设动作三维模型,除了第三影像及第四影像,惯性量测信息可作为进一步调整预设动作三维模型的三维信息。因此,在取得第三影像、第四影像及惯性量测信息后,处理控制装置29可根据第三影像、第四影像及惯性量测信息产生预设动作三维模型。
为了更详细说明根据第三影像、第四影像及惯性量测信息产生预设动作三维模型的方法,请接着一并参考图12及图13,图13依据本发明一实施例所绘示的产生预设动作三维模型的流程图,可被编译为指令。如图13所示,产生预设动作三维模型的方法包括由处理控制装置29执行:步骤S601:从所述多张第三影像分别取得多个第三二维坐标组;步骤S603:从所述多张第四影像分别取得多个第四二维坐标组;步骤S605:对所述多个第三二维坐标组及所述多个第四二维坐标组进行深度补偿以取得多个第一三维坐标组;步骤S607:根据所述多个惯性量测信息取得多个第二三维坐标组;步骤S609:对所述多个第一三维坐标组及所述多个第二三维坐标组进行对准校正以产生多个经校正三维坐标组;以及步骤S611:对所述多个经校正三维坐标组进行渲染以产生预设动作三维模型。
步骤S601、S603及S605的实现方式可分别与图5的步骤S201、S203及S205的实现方式相同,其中步骤S605也可以是以图8的方法实现。简言之,所述多个第三二维坐标组及所述多个第四二维坐标组各包括分别对应于所述多个关节点的多个二维坐标;所述多个第一三维坐标组包括分别对应于所述多个关节点的多个三维坐标;预设动作三维模型可包括角度标准信息及速度标准信息,且角度标准信息及速度标准信息可分别与前述的角度原始信息及速度原始信息以同样方式产生。因此,步骤S601、S603及S605的内容不再于此赘述。
在取得第一三维坐标组后,对于与每一帧第三影像对应相同或相近时间点的惯性量测信息,于步骤S607,处理控制装置29将惯性量测信息转换为对应各关节点的三维坐标,并将这些三维坐标作为一个第二三维坐标组。所述多个第二三维坐标组包括分别对应于所述多个关节点的多个三维坐标。
于步骤S609,处理控制装置29对对应相同或相近时间点的第一三维坐标组及第二三维坐标组进行对准校正,以产生多个经校正三维坐标组,其中经校正三维坐标组各包含分别对应于所述多个关节点的多个三维坐标。以第二使用者的手腕作为一个关节点为例,假设基于步骤S601到S607产生了分别对应三帧第三影像的三个第一三维坐标组,每个第一三维坐标组对应一个时间点,则处理控制装置29可基于内插法,利用两个第一三维坐标组之间的时间点对应的惯性量测信息补足无对应的第三影像及第四影像的时间点的三维坐标组,以产生经校正三维坐标组。
于步骤S611,处理控制装置29对所述多个经校正三维坐标组进行渲染以产生预设动作三维模型。具体地,处理控制装置29将经校正三维坐标组渲染为以立体影像呈现的预设动作三维模型。此外,处理控制装置29可将预设动作三维模型输出至处理控制装置23。
请接着一并参考图12及图14,图14依据本发明另一实施例所绘示的产生预设动作三维模型的流程图,可被编译为指令。如图14所示,产生预设动作三维模型的方法包括由处理控制装置29执行:步骤S701:分别对所述多张第三影像及所述多张第四影像进行姿态辨识以取得对应第二使用者的多个人体骨架;步骤S703:从所述多个人体骨架分别取得对应待评估动作的多个关节点的多个二维坐标组;以及步骤S705:利用二维坐标组及惯性量测信息产生预设动作三维模型。步骤S701及步骤S703的实现方式分别与图9的步骤S401及步骤S403的实现方式相同,故不于此赘述。
于步骤S705,处理控制装置29利用第三影像的二维坐标组、与第三影像对应相同或相近时间点的第四影像的二维坐标组以及惯性量测信息,产生待评估动作三维信息。举例而言,产生第三影像、第四影像以及惯性量测信息的时间点可彼此相同或相近,处理控制装置29可以图9的步骤S405的方法基于第三影像及第四影像建立三维坐标,以及利用惯性量测信息调整三维坐标,而预设动作三维模型即可包括经调整后的三维坐标。“第三影像、第四影像以及惯性量测信息的时间点彼此相近”是指多张第四影像中,取像时间点最接近当前第三影像的取像时间点的一者,以及在多笔的惯性量测信息中,产生的时间点最接近当前第三影像的一者。
请接着参考图12及图15,其中图15依据本发明另一实施例所绘示的深度补偿的流程图,可被编译为指令。如图15所示,对第三二维坐标组及第四二维坐标组进行深度补偿以取得第一三维坐标组的方法包括由处理控制装置29执行:步骤S801:将每一第三二维坐标组作为第一目标坐标组,将对应于第一目标坐标组所对应的时间点的第四二维坐标组作为第二目标坐标组;步骤S803:判断第一目标坐标组的所述多个二维坐标中的每一个及其于第二目标坐标组的所述多个二维坐标中对应于相同关节点的二维坐标;步骤S805:判断第二轴坐标与第三轴坐标是否相同;若步骤S805的判断结果为“是”,执行步骤S807:以第二轴坐标及第三轴坐标中的一者、第一轴坐标以及第四轴坐标组成三维坐标;若步骤S805的判断结果为“否”,执行步骤S809:根据第二轴坐标与第三轴坐标之间的差距调整第四轴坐标,并以第一轴坐标、第二轴坐标及经调整的第四轴坐标组成三维坐标;以及步骤S811:以第一目标坐标组的所述多个二维坐标各自对应的三维坐标组成所述多个第一三维坐标组中的一个。
图15的实施例与图8的实施例相似,图15的步骤S801、S803、S805、S807、S809及S811的执行内容同理于图8所示的步骤S301、S303、S305、S307、S309及S311,故不再于此赘述。简言之,图15的实施例是对第三影像的第三二维坐标组及第四影像的第四二维坐标组进行深度补偿,以取得用于产生前述经校正三维坐标组的多个三维坐标组。
特别来说,上述一或多个实施例所提供的提供动作改善信息的方法、处理控制装置以及系统可应用但不限于元宇宙。具体来说,上述利用两个不同拍摄角度的影像产生使用者的待评估动作三维信息的步骤犹如于元宇宙中建置使用者的数字分身并从中取得动作信息,利用待评估动作三维信息及预设动作三维模型产生动作改善信息的步骤犹如于元宇宙中将使用者的数字分身执行的动作与预设数字分身执行的动作进行比较。使用者可以通过虚拟现实眼镜、扩增实境眼镜、手机、个人计算机或其他个人装置进入元宇宙,以自己的数字分身和系统预设的数字分身进行互动,甚至是和另一使用者的数字分身进行互动。
通过上述架构,本案所揭示的提供动作改善信息方法、处理控制装置以及系统可以非接触式的方式实时分析使用者的动作并提供改善信息,借此,在运动训练的应用上,可以达到训练中分析及事后检讨的目的。另外,相较于一般使用多个高速摄影机的配置,本案所揭示的提供动作改善方法、处理控制装置以及系统可基于两台摄像装置所拍摄的影像分析得到动作改善信息,可以具有较低的影像数据处理量,且可以减少整体系统的配置成本。此外,通过惯性量测信息的使用,可以产生精准的各关节点的三维坐标,进而建立更精准的预设动作三维模型。
上述的“训练员”指的是可协助“受训者”达成特定运动项目专业的人员。上述“第一”、“第二”、“第三”或“第四”仅是用来区别相同的陈述(例如影像、摄像装置或使用者),而非用来限制所述多个陈述之间具有任何顺序,也非用来限制所述多个陈述所涉及的步骤之间具有任何顺序。
【符号说明】
1,2,2’:提供动作改善信息的系统
11,21:第一摄像装置
12,22:第二摄像装置
24:第三摄像装置
25:第四摄像装置
13,23,29:处理控制装置
14,26:输出介面
27,28:惯性量测装置
131:存储器
132:处理器
IMG1:第一影像
IMG2:第二影像
S:第一使用者
D11,D12,D13,D14,D15,D21,D22,D23,D24,D25:关节点
S101,S103,S105,S107,S109,S201,S203,S205,S207,S301,S303,S305,S307,S309,S311,S401,S403,S405,S501,S503,S505,S507,S601,S603,S605,S607,S609,S611,S701,S703,S705,S801,S803,S805,S807,S809,S811:步骤。
Claims (20)
1.一种提供动作改善信息的方法,其特征在于,包含以处理控制装置执行:
取得多张第一影像,所述多张第一影像以第一角度拍摄第一使用者而产生且对应于该第一使用者在进行待评估动作时的不同时间点;
取得多张第二影像,所述多张第二影像以第二角度拍摄该第一使用者而产生且对应于该第一使用者在进行该待评估动作时的不同时间点,其中该第二角度不同于该第一角度;
根据所述多张第一影像及所述多张第二影像产生对应该第一使用者的待评估动作三维信息;
利用该待评估动作三维信息及预设动作三维模型产生动作改善信息,该动作改善信息包含对应该待评估动作在三维空间中的角度校正信息及速度校正信息;以及
经由介面输出该动作改善信息。
2.根据权利要求1所述的提供动作改善信息的方法,其特征在于,还包含经由该介面输出于该预设动作三维模型中对应该动作改善信息的多张参考影像。
3.根据权利要求1所述的提供动作改善信息的方法,其特征在于,根据所述多张第一影像及所述多张第二影像产生该待评估动作三维信息包含:
从所述多张第一影像分别取得多个第一二维坐标组;
从所述多张第二影像分别取得多个第二二维坐标组;
对所述多个第一二维坐标组及所述多个第二二维坐标组进行深度补偿以取得多个原始三维坐标组;以及
根据所述多个原始三维坐标组产生角度原始信息及速度原始信息,以作为该待评估动作三维信息;
其中所述多个第一二维坐标组及所述多个第二二维坐标组各包含分别对应于该第一使用者的该待评估动作的多个关节点的多个二维坐标,且所述多个原始三维坐标组各包含分别对应于所述多个关节点的多个三维坐标。
4.根据权利要求1所述的提供动作改善信息的方法,其特征在于,根据所述多张第一影像及所述多张第二影像产生该待评估动作三维信息包含:
分别对所述多张第一影像及所述多张第二影像进行姿态辨识以取得对应该第一使用者的多个人体骨架;
从所述多个人体骨架分别取得对应该待评估动作的多个关节点的多个二维坐标组;以及
利用所述多个二维坐标组产生该待评估动作三维信息。
5.根据权利要求1所述的提供动作改善信息的方法,其特征在于,该待评估动作三维信息包含对应于该待评估动作的多个关节点在不同时间点的多个原始三维坐标组,该预设动作三维模型包含对应于该待评估动作的所述多个关节点在不同时间点的多个标准三维坐标组,且利用该待评估动作三维信息及该预设动作三维模型产生该动作改善信息包含:
利用所述多个原始三维坐标组产生角度原始信息及速度原始信息;
利用所述多个标准三维坐标组产生角度标准信息及速度标准信息;
利用该角度原始信息与该角度标准信息的差异产生该角度校正信息;以及
利用该速度原始信息与该速度标准信息的差异产生该速度校正信息。
6.根据权利要求1所述的提供动作改善信息的方法,其特征在于,还包含在利用该预设动作三维模型之前,以该处理控制装置或另一处理控制装置执行:
取得多张第三影像,所述多张第三影像以该第一角度拍摄第二使用者而产生且对应于该第二使用者在进行该待评估动作时的不同时间点;
取得多张第四影像,所述多张第四影像以该第二角度拍摄该第二使用者而产生且对应于该第二使用者在进行该待评估动作时的不同时间点;
从设置于该第二使用者的多个关节点的多个惯性量测装置取得对应于该第二使用者在进行该待评估动作时的不同时间点的多笔惯性量测信息;以及
根据所述多张第三影像、所述多张第四影像及所述多个惯性量测信息产生该预设动作三维模型。
7.根据权利要求6所述的提供动作改善信息的方法,其特征在于,根据所述多张第三影像、所述多张第四影像及所述多个惯性量测信息产生该预设动作三维模型包含:
从所述多张第三影像分别取得多个第三二维坐标组;
从所述多张第四影像分别取得多个第四二维坐标组;
对所述多个第三二维坐标组及所述多个第四二维坐标组进行深度补偿以取得多个第一三维坐标组;
根据所述多个惯性量测信息取得多个第二三维坐标组;
对所述多个第一三维坐标组及所述多个第二三维坐标组进行对准校正以产生多个经校正三维坐标组;以及
对所述多个经校正三维坐标组进行渲染以产生该预设动作三维模型;
其中所述多个第三二维坐标组及所述多个第四二维坐标组各包含分别对应于所述多个关节点的多个二维坐标,且所述多个第一三维坐标组、所述多个第二三维坐标组及所述多个经校正三维坐标组各包含分别对应于所述多个关节点的多个三维坐标。
8.根据权利要求6所述的提供动作改善信息的方法,其特征在于,根据所述多张第三影像、所述多张第四影像及所述多个惯性量测信息产生该预设动作三维模型包含:
分别对所述多张第三影像及所述多张第四影像进行姿态辨识以取得对应该第二使用者的多个人体骨架;
从所述多个人体骨架分别取得对应该待评估动作的所述多个关节点的多个二维坐标组;以及
利用所述多个二维坐标组及所述多个惯性量测信息产生该预设动作三维模型。
9.根据权利要求7所述的提供动作改善信息的方法,其特征在于,所述多个第三二维坐标组各自的多个二维坐标各包含第一轴坐标及第二轴坐标,所述多个第四二维坐标组各自的多个二维坐标各包含第三轴坐标及第四轴坐标,该二轴坐标与该第三轴坐标对应于该三维空间中的同一轴,且对所述多个第三二维坐标组及所述多个第四二维坐标组进行该深度补偿以取得所述多个第一三维坐标组包含:
将所述多个第三二维坐标组中的每一个作为第一目标坐标组,将所述多个第四二维坐标组中对应于该第一目标坐标组所对应的时间点的第四二维坐标组作为第二目标坐标组,执行:
对该第一目标坐标组的所述多个二维坐标中的每一个及其于该第二目标坐标组的所述多个二维坐标中对应于相同关节点的二维坐标,执行:
当该第二轴坐标与该三轴坐标相同时,以该第二轴坐标及该第三轴坐标中的一者、该第一轴坐标以及该第四轴坐标组成三维坐标;以及
当该第二轴坐标与该三轴坐标不相同时,根据该第二轴坐标与该第三轴坐标之间的差距调整该第四轴坐标,并以该第一轴坐标、该第二轴坐标及经调整的该第四轴坐标组成该三维坐标;以及
以该第一目标坐标组的所述多个二维坐标各自对应的该三维坐标组成所述多个第一三维坐标组中的一个。
10.一种处理控制装置,其特征在于,包含:
存储器,储存用于提供动作改善信息的多个指令;以及
处理器,连接于该存储器,用于读取所述多个指令以执行:
取得多张第一影像,所述多张第一影像以第一角度拍摄第一使用者而产生且对应于该第一使用者在进行待评估动作时的不同时间点;
取得多张第二影像,所述多张第二影像以第二角度拍摄该第一使用者而产生且对应于该第一使用者在进行该待评估动作时的不同时间点,其中该第二角度不同于该第一角度;
根据所述多张第一影像及所述多张第二影像产生对应该第一使用者的待评估动作三维信息;
利用该待评估动作三维信息及预设动作三维模型产生动作改善信息,该动作改善信息包含对应该待评估动作在三维空间中的角度校正信息及速度校正信息;以及
经由介面输出该动作改善信息。
11.一种提供动作改善信息的系统,其特征在于,包含:
第一摄像装置,用于以第一角度拍摄第一使用者以产生多张第一影像,其中所述多张第一影像对应于该第一使用者在进行一待评估动作时的不同时间点;
第二摄像装置,用于以第二角度拍摄该第一使用者以产生多张第二影像,其中所述多张第二影像对应于该第一使用者在进行该待评估动作时的不同时间点,且该第二角度不同于该第一角度;
输出介面;以及
处理控制装置,连接于该第一摄像装置、该第二摄像装置及该输出介面,且用于根据所述多张第一影像及所述多张第二影像产生待评估姿态三维信息,利用该待评估姿态三维信息及预设姿态三维模型产生动作改善信息,并经由该输出介面输出该动作改善信息,其中该动作改善信息包含对应该待评估动作在三维空间中的角度校正信息及速度校正信息。
12.根据权利要求11所述的提供动作改善信息的系统,其特征在于,该输出介面还用于输出于该预设动作三维模型中对应该动作改善信息的多张参考影像。
13.根据权利要求11所述的提供动作改善信息的系统,其特征在于,该处理控制装置执行根据所述多张第一影像及所述多张第二影像产生该待评估动作三维信息包含:
从所述多张第一影像分别取得多个第一二维坐标组;
从所述多张第二影像分别取得多个第二二维坐标组;
对所述多个第一二维坐标组及所述多个第二二维坐标组进行深度补偿以取得多个原始三维坐标组;以及
根据所述多个原始三维坐标组产生角度原始信息及速度原始信息,以作为该待评估动作三维信息;
其中所述多个第一二维坐标组及所述多个第二二维坐标组各包含分别对应于该第一使用者的该待评估动作的多个关节点的多个二维坐标,且所述多个原始三维坐标组各包含分别对应于所述多个关节点的多个三维坐标。
14.根据权利要求11所述的提供动作改善信息的系统,其特征在于,该处理控制装置执行根据所述多张第一影像及所述多张第二影像产生该待评估动作三维信息包含:
分别对所述多张第一影像及所述多张第二影像进行姿态辨识以取得对应该第一使用者的多个人体骨架;
从所述多个人体骨架分别取得对应该待评估动作的多个关节点的多个二维坐标组;以及
利用所述多个二维坐标组产生该待评估动作三维信息。
15.根据权利要求11所述的提供动作改善信息的系统,其特征在于,该待评估动作三维信息包含对应于该待评估动作的多个关节点在不同时间点的多个原始三维坐标组,该预设动作三维模型包含对应于该待评估动作的所述多个关节点在不同时间点的多个标准三维坐标组,且该处理控制装置执行利用该待评估动作三维信息及该预设动作三维模型产生该动作改善信息包含:
利用所述多个原始三维坐标组产生角度原始信息及速度原始信息;
利用所述多个标准三维坐标组产生角度标准信息及速度标准信息;
利用该角度原始信息与该角度标准信息的差异产生该角度校正信息;以及
利用该速度原始信息与该速度标准信息的差异产生该速度校正信息。
16.根据权利要求11所述的提供动作改善信息的系统,其特征在于,还包含:
第三摄像装置,连接于该处理控制装置,且用于以该第一角度拍摄第二使用者以产生对应于该第二使用者在进行该待评估动作时的不同时间点的多张第三影像;
第四摄像装置,连接于该处理控制装置,且用于以该第二角度拍摄该第二使用者以产生对应于该第二使用者在进行该待评估动作时的不同时间点的多张第四影像;以及
多个惯性量测装置,连接于该处理控制装置,且用于设置于该第二使用者的多个关节点以测得对应于该第二使用者在进行该待评估动作时的不同时间点的多笔惯性量测信息;
其中该处理控制装置还用于在利用该预设动作三维模型之前执行:
取得所述多张第三影像;
取得所述多张第四影像;
取得所述多个惯性量测信息;以及
根据所述多张第三影像、所述多张第四影像及所述多个惯性量测信息产生该预设动作三维模型。
17.根据权利要求11所述的提供动作改善信息的系统,其特征在于,还包含:
第三摄像装置,用于以该第一角度拍摄第二使用者以产生对应于该第二使用者在进行该待评估动作时的不同时间点的多张第三影像;
第四摄像装置,用于以该第二角度拍摄该第二使用者以产生对应于该第二使用者在进行该待评估动作时的不同时间点的多张第四影像;
多个惯性量测装置,用于设置于该第二使用者的多个关节点以测得对应于该第二使用者在进行该待评估动作时的不同时间点的多笔惯性量测信息;以及
另一处理控制装置,连接于该第三摄像装置、该第四摄像装置、所述多个惯性量测装置及该处理控制装置,且用于执行:
取得所述多张第三影像;
取得所述多张第四影像;
取得所述多个惯性量测信息;以及
根据所述多张第三影像、所述多张第四影像及所述多个惯性量测信息产生该预设动作三维模型,并提供至该处理控制装置。
18.根据权利要求16或17所述的提供动作改善信息的系统,其特征在于,该处理控制装置或该另一处理控制装置执行根据所述多张第三影像、所述多张第四影像及所述多个惯性量测信息产生该预设动作三维模型包含:
从所述多张第三影像分别取得多个第三二维坐标组;
从所述多张第四影像分别取得多个第四二维坐标组;
对所述多个第三二维坐标组及所述多个第四二维坐标组进行深度补偿以取得多个第一三维坐标组;
根据所述多个惯性量测信息取得多个第二三维坐标组;
对所述多个第一三维坐标组及所述多个第二三维坐标组进行对准校正以产生多个经校正三维坐标组;以及
对所述多个经校正三维坐标组进行渲染以产生该预设动作三维模型;
其中所述多个第三二维坐标组及所述多个第四二维坐标组各包含分别对应于所述多个关节点的多个二维坐标,且所述多个第一三维坐标组、所述多个第二三维坐标组及所述多个经校正三维坐标组各包含分别对应于所述多个关节点的多个三维坐标。
19.根据权利要求16或17所述的提供动作改善信息的系统,其特征在于,该处理控制装置或该另一处理控制装置执行根据所述多张第三影像、所述多张第四影像及所述多个惯性量测信息产生该预设动作三维模型包含:
分别对所述多张第三影像及所述多张第四影像进行姿态辨识以取得对应该第二使用者的多个人体骨架;
从所述多个人体骨架分别取得对应该待评估动作的所述多个关节点的多个二维坐标组;以及
利用所述多个二维坐标组及所述多个惯性量测信息产生该预设动作三维模型。
20.根据权利要求18所述的提供动作改善信息的系统,其特征在于,所述多个第三二维坐标组各自的多个二维坐标各包含第一轴坐标及第二轴坐标,所述多个第四二维坐标组各自的多个二维坐标各包含第三轴坐标及第四轴坐标,该第二轴坐标与该第三轴坐标对应于该三维空间中的同一轴,且该处理控制装置或该另一处理控制装置执行对所述多个第三二维坐标组及所述多个第四二维坐标组进行该深度补偿以取得所述多个第一三维坐标组包含:
将所述多个第三二维坐标组中的每一个作为第一目标坐标组,将所述多个第四二维坐标组中对应于该第一目标坐标组所对应的时间点的第四二维坐标组作为第二目标坐标组,执行:
对该第一目标坐标组的所述多个二维坐标中的每一个及其于该第二目标坐标组的所述多个二维坐标中对应于相同关节点的二维坐标,执行:
当该第二轴坐标与该三轴坐标相同时,以该第二轴坐标及该第三轴坐标中的一者、该第一轴坐标以及该第四轴坐标组成三维坐标;以及
当该第二轴坐标与该三轴坐标不相同时,根据该第二轴坐标与该第三轴坐标之间的差距调整该第四轴坐标,并以该第一轴坐标、该第二轴坐标及经调整的该第四轴坐标组成该三维坐标;以及
以该第一目标坐标组的所述多个二维坐标各自对应的该三维坐标组成所述多个第一三维坐标组中的一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111144172 | 2022-11-18 | ||
TW111144172A TWI822473B (zh) | 2022-11-18 | 2022-11-18 | 提供動作改善資訊的方法、處理控制裝置以及系統 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118071971A true CN118071971A (zh) | 2024-05-24 |
Family
ID=89722647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211478233.3A Pending CN118071971A (zh) | 2022-11-18 | 2022-11-23 | 提供动作改善信息的方法、处理控制装置以及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118071971A (zh) |
TW (1) | TWI822473B (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200491A (zh) * | 2014-08-15 | 2014-12-10 | 浙江省新华医院 | 一种人体运动姿态校正系统 |
CN110599540B (zh) * | 2019-08-05 | 2022-06-17 | 清华大学 | 多视点相机下的实时三维人体体型与姿态重建方法及装置 |
-
2022
- 2022-11-18 TW TW111144172A patent/TWI822473B/zh active
- 2022-11-23 CN CN202211478233.3A patent/CN118071971A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
TW202422474A (zh) | 2024-06-01 |
TWI822473B (zh) | 2023-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7262937B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP4473754B2 (ja) | 仮想試着装置 | |
KR101738569B1 (ko) | 제스쳐 인식 방법 및 시스템 | |
CN106843507B (zh) | 一种虚拟现实多人互动的方法及系统 | |
JP7164045B2 (ja) | 骨格認識方法、骨格認識プログラムおよび骨格認識システム | |
KR102353637B1 (ko) | 골프 동작 분석 방법 및 장치 | |
US20210286983A1 (en) | Estimation method, and computer-readable recording medium recording estimation program | |
CN104252712A (zh) | 图像生成装置及图像生成方法 | |
KR20160059844A (ko) | 운동 궤적 분석을 이용한 훈련 방법 및 장치 | |
CN109448105A (zh) | 基于多深度图像传感器的三维人体骨架生成方法及系统 | |
CN112847336A (zh) | 动作学习方法、装置、存储介质及电子设备 | |
JP7318814B2 (ja) | データ生成方法、データ生成プログラムおよび情報処理装置 | |
US12038744B2 (en) | System of obtaining exercise video utilizing drone and method of obtaining exercise video utilizing drone | |
CN118071971A (zh) | 提供动作改善信息的方法、处理控制装置以及系统 | |
JP2018015436A (ja) | 打具の挙動の解析装置 | |
JP7482471B2 (ja) | 学習モデルの生成方法 | |
CN114821791A (zh) | 一种图像三维动作信息的捕捉方法和系统 | |
KR102342760B1 (ko) | 인공지능 기반의 골프 영상 학습장치, 그 방법 및 그 기록매체 | |
JP7005737B1 (ja) | ゴルフスイング解析システム、ゴルフスイング解析方法及びプログラム | |
JP7011030B1 (ja) | ゴルフスイング解析システム、ゴルフスイング解析方法及びプログラム | |
Akinjala et al. | Animating human movement & gestures on an agent using Microsoft kinect | |
EP4303824A1 (en) | System and method for monitoring a body pose of a user | |
JP7334337B2 (ja) | モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム | |
US20240362849A1 (en) | Computer-readable recording medium storing training program, generation program, training method, and generation method | |
US12020359B2 (en) | System and method for immersive telecommunications supported by AI analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |