[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112379773B - 多人三维动作捕捉方法、存储介质及电子设备 - Google Patents

多人三维动作捕捉方法、存储介质及电子设备 Download PDF

Info

Publication number
CN112379773B
CN112379773B CN202011260863.4A CN202011260863A CN112379773B CN 112379773 B CN112379773 B CN 112379773B CN 202011260863 A CN202011260863 A CN 202011260863A CN 112379773 B CN112379773 B CN 112379773B
Authority
CN
China
Prior art keywords
person
joint point
back projection
matching
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011260863.4A
Other languages
English (en)
Other versions
CN112379773A (zh
Inventor
邱又海
唐毅
徐倩茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhouming Technology Co Ltd
Original Assignee
Shenzhen Zhouming Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhouming Technology Co Ltd filed Critical Shenzhen Zhouming Technology Co Ltd
Priority to CN202011260863.4A priority Critical patent/CN112379773B/zh
Publication of CN112379773A publication Critical patent/CN112379773A/zh
Priority to JP2022546634A priority patent/JP7480312B2/ja
Priority to PCT/CN2021/105486 priority patent/WO2022100119A1/zh
Priority to US18/166,649 priority patent/US20230186684A1/en
Application granted granted Critical
Publication of CN112379773B publication Critical patent/CN112379773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了多人三维动作捕捉方法、存储介质及电子设备，其包括步骤：获取多个相机的同步视频帧，对每一个相机的每一张同步视频帧分别进行关节点识别及定位，得到每一个相机下每一个人员的2D关节点信息；计算每一个2D关节点的反投影射线，根据反投影射线之间为最短距离时的两个端点坐标来进行聚类，以得到最佳的2D人员匹配方案，反投影射线为2D关节点所对应的相机指向2D关节点的射线；根据最佳的2D人员匹配方案进行每一个人员的3D重建，生成每一个人员的3D信息，以进行三维动作捕捉。本发明能解决了密集场景下存在的遮挡、2D误识别而导致2D点集匹配问题，实现了对多人的动作捕捉。

Description

多人三维动作捕捉方法、存储介质及电子设备
技术领域
本发明涉及人机交互技术领域，特别涉及多人三维动作捕捉方法、存储介质及电子设备。
背景技术
从2013年开始，VR(Virtual Reality，虚拟现实)技术在全球开始逐渐普及，其中，动作捕捉技术是VR技术中的一项关键性技术。
现阶段，传统的动作捕捉系统，采用光学式、惯性式或机械式的工作原理，其用户都需要借助第三方硬件、戴特定的动作捕捉服以及道具，来与系统进行交互，以上存在人机交互不够直接的问题。
随着深度学习的技术进度，计算机算力、算法精准度都得到了有效提高，尤其是图像处理领域，计算机可以对图像中的人体动作、面部表情、手指运动等进行实现姿态估计。其中，OpenPose(Github开源人体姿态识别项目)人体姿态识别项目能实现人体动作、面部表情和手指运动等姿态估计，并支持单个人员的动作捕捉功能。当单个人员进入场景后，OpenPose能够很好的对人员2D(two dimensional，二维)关节点进行3D(threedimensional，三维)重建；当在人群密集场景下，由于相机视角覆盖的原因，相机识别的人员个数不尽相同，其算法选取人员的算法很难匹配出正确的人员2D关节点，使得错误重建出人员3D关节点信息。
发明内容
本发明所要解决的技术问题是：提供多人三维动作捕捉方法、存储介质及电子设备，实现对多人的动作捕捉。
为了解决上述技术问题，本发明采用的技术方案为：
一种多人三维动作捕捉方法，包括步骤：
获取多个相机的同步视频帧，对每一个所述相机的每一张所述同步视频帧分别进行关节点识别及定位，得到每一个所述相机下每一个人员的2D关节点信息；
计算每一个2D关节点的反投影射线，根据所述反投影射线之间为最短距离时的两个端点坐标来进行聚类，以得到最佳的2D人员匹配方案，所述反投影射线为所述2D关节点所对应的相机指向所述2D关节点的射线；
根据最佳的所述2D人员匹配方案进行每一个人员的3D重建，生成每一个人员的3D信息，以进行三维动作捕捉。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的多人三维动作捕捉方法。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的多人三维动作捕捉方法。
本发明的有益效果在于：多人三维动作捕捉方法、存储介质及电子设备，采集多个相机对场景内的不同视角进行采集识别，并通过不同相机对同一关节点的反投影射线之间应当重合的原理进行最短距离的计算和聚类，以对不同相机的多个关节点进行正确匹配对应，从而解决了密集场景下存在的遮挡、2D误识别而导致2D点集匹配问题，实现了对多人的动作捕捉。
附图说明
图1为本发明实施例的多人三维动作捕捉方法的流程示意图；
图2为本发明实施例涉及的多人三维动作捕捉方法的整体流程示意图；
图3为本发明实施例涉及的2D关节点的匹配流程示意图；
图4为本发明实施例涉及的人员3D关节点的重建流程示意图；
图5为本发明实施例涉及的OpenPose 25类关节点的结构示意图；
图6为本发明实施例涉及的多人三维动作捕捉方法的模拟场景示意图；
图7为本发明实施例涉及的多人三维动作捕捉方法在模拟场景下的聚类效果示意图；
图8为本发明实施例涉及的2D关节点的匹配示意图；
图9为本发明实施例涉及的关节点置信度过滤的效果示意图；
图10为本发明实施例涉及的五个人员左手关节的匹配示意图；
图11为本发明实施例涉及的多人三维动作捕捉方法在多人场景下的匹配示意图；
图12为本发明实施例涉及的两条反投影射线之间最短线段的计算示意图；
图13为本发明实施例的电子设备的结构示意图。
标号说明：
1、电子设备；2、处理器；3、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1至图11，一种多人三维动作捕捉方法，包括步骤：
获取多个相机的同步视频帧，对每一个所述相机的每一张所述同步视频帧分别进行关节点识别及定位，得到每一个所述相机下每一个人员的2D关节点信息；
计算每一个2D关节点的反投影射线，根据所述反投影射线之间为最短距离时的两个端点坐标来进行聚类，以得到最佳的2D人员匹配方案，所述反投影射线为所述2D关节点所对应的相机指向所述2D关节点的射线；
根据最佳的所述2D人员匹配方案进行每一个人员的3D重建，生成每一个人员的3D信息，以进行三维动作捕捉。
从上述描述可知，本发明的有益效果在于：而采集多个相机对场景内的不同视角进行采集识别，并通过不同相机对同一关节点的反投影射线之间应当重合的原理进行最短距离的计算和聚类，以对不同相机的多个关节点进行正确匹配对应，从而解决了密集场景下存在的遮挡、2D误识别而导致2D点集匹配问题，实现了对多人的动作捕捉。
进一步地，所述计算每一个2D关节点的反投影射线，根据所述反投影射线之间为最短距离时的两个端点坐标来进行聚类，以得到最佳的2D人员匹配方案具体包括以下步骤：
对所有所述2D关节点信息按照关节点类型进行划分，以得到每一个所述关节类型所对应的所有所述2D关节点信息；
对每一个所述关节点类型的每一个所述2D关节点信息分别进行反投影射线的计算，根据所述反投影射线之间的最短距离来进行聚类，以得到每一个所述关节点类型的关节点匹配方案；
合并所有所述关节点类型的关节点匹配方案，以得到最佳的2D人员匹配方案。
从上述描述可知，在进行关节点定位时，按照关节点类型对多个关节点进行分类，只对同关节点类型的关节点进行匹配计算，从而减少了匹配运算次数，提高处理速度。
进一步地，所述计算每一个2D关节点的反投影射线具体包括以下步骤：
对每一个所述2D关节点，根据坐标原点和对应的相机外参得到相机3D坐标，将所述相机3D坐标作为所述反投影射线的端点，根据对应的相机内参、相机外参和每一个所述2D关节点的2D关节点坐标信息获得所述反投影射线的方向向量，以得到每一个所述2D关节点的反投影射线。
从上述描述可知，对于所要建立的坐标系有个坐标原点，根据实际空间相对关系，则可以得到相机3D坐标和2D关节点所对应的3D坐标，从而得到每一个2D关节点的反投影射线。
进一步地，所述根据所述反投影射线之间的最短距离来进行聚类，以得到每一个所述关节点类型的关节点匹配方案包括以下步骤：
分别对每一个所述相机中的每一个所述2D关节点的反投影射线与同一所述关节点类型下其他所述相机中的每一个所述2D关节点的反投影射线进行两两最短线段的计算，并获得两条所述反投影射线之间为最短线段时的两个端点的端点坐标；
对每一个所述关节点类型内的所有所述端点进行聚类，以输出聚类结果，根据所述聚类结果组合生成每一个所述关节点类型的关节点匹配方案。
进一步地，所述获得两条反投影射线之间为最短线段时的两个端点的端点坐标具体包括以下步骤包括如下步骤：
所述反投影射线的起点坐标和方向向量分别为s0和/>所述反投影射线/>的起点坐标和方向向量分别为t0和/>则所述反投影射线/>的向量表达式为/>所述反投影射线/>的向量表达式为/>
假设所述反投影射线和所述反投影射线/>之间为最短线段时的两个端点的端点坐标分别为sj和tj，则两个所述端点坐标的向量表达式为/>知/>记向量/>则所述反投影射线/>和所述反投影射线/>之间的最短线段的向量表达式为第一公式：/>所述sc和所述tc为标量；
将所述最短线段的向量表达式分别代入到和/>得到第二公式和第三公式，所述第二公式为/>所述第三公式为/>记则得到所述标量sc＝(be-cd)/(ac-b2)和所述标量tc＝(ae-bd)/(ac-b2)；
判断所述ac-b2是否等于0，若是，则所述反投影射线和所述反投影射线/>为平行关系，则在任意一条所述反投影射线上指定一固定点作为其中一个端点，代入所述第二公式和所述第三公式即可得到两个所述端点坐标sj和tj，否则根据所述标量sc＝(be-cd)/(ac-b2)和所述标量tc＝(ae-bd)/(ac-b2)求得两个所述端点坐标sj和tj。
从上述描述可知，不同相机对同一关节点的反投影射线之间应当重合，但是基于观测误差以及2D识别的误差，不同相机对同一关节点的反投影射线之间有可能不会重合，但肯定会靠的很近，由此，采用空间两直线之间的最短距离的计算方式来求得反投影射线之间的最短距离，从而用来判断不同相机的关节点之间是否为同一关节点。
进一步地，所述对每一个所述关节点类型内的所有所述端点进行聚类，以输出聚类结果，根据所述聚类结果组合生成每一个所述关节点类型的关节点匹配方案具体包括以下步骤：
在得到任意两条所述反投影射线之间为最短线段时的两个端点坐标时，根据两个所述端点坐标sj和tj得到所述最短线段的最短距离dmin＝|sj-tj|；
将每一个所述关节点类型内最短距离dmin超过预设距离阈值的所述最短线段进行过滤删除，将每一个所述关节点类型内保留下来的所述最短线段所对应的端点形成端点集合R，每一个所述端点对应于2D关节点、相机标识和人员标识；
通过k最邻近分类算法对每一个所述关节点类型内的所述端点集合R内的所有端点进行近邻匹配，以得到近邻端点所形成的簇团，按照每一个所述簇团内端点数量的多少，由高往低地对所述簇团进行排序，得到每一个所述关节点类型内排序后的簇团信息；
对每一个所述关节点类型分别进行匹配方案的生成：获取当前匹配项，遍历每一个簇团中每一个端点，若所遍历的端点未被所述当前匹配项使用且所述当前匹配项没有所遍历的端点的所述相机标识，则在所述当前匹配项中增加所述端点，直至所述簇团中的每一个端点均遍历完成，则得到每一个关节点类型的关节点匹配方案；
所述合并所有所述关节点类型的关节点匹配方案，以得到最佳的2D人员匹配方案具体包括以下步骤：
统计所有关节点类型的关节点匹配方案中每一个匹配项的出现次数，将出现次数最多的匹配项组合为最佳的2D人员匹配方案。
从上述描述可知，虽然存在误差，但是不同相机对同一关节点的反投影射线之间也应该靠的很近，若是超过了预设距离阈值，则认为不属于同一关节点，这样既不会影响关节点匹配的准确性，也能因为减少了端点个数而减少算法的计算量，以进一步提高处理速度和工作效率；同时，端点聚类算法采用密度聚类算法，算法仅要求设置领域半径参数，不需要预先给定簇的数量，通过该聚类算法及组合优化算法生成人员匹配方案，可最大程度的识别场景内的人员个数。
进一步地，所述根据最佳的所述2D人员匹配方案进行每一个人员的3D重建，生成每一个人员的3D信息具体包括以下步骤：
遍历所述2D人员匹配方案的每一个匹配项，获取每一个所述匹配项中每一个关节点所包括的2D关节点坐标信息和对应的相机参数信息；
依据多相机视觉三维测量技术将多个所述2D关节点坐标信息计算成3D三维空间坐标，得到3D关节点信息；
根据所述3D关节点信息，计算重投影误差，将所述重投影误差超过预设投影误差的所述3D关节点信息进行过滤；
直至遍历完每一个所述匹配项中的所有关节点，根据保留下来的所有所述3D关节点信息生成一个人员的3D信息；
直至遍历完所有所述匹配项后，则得到与所述匹配项数量对应的多个人员的3D信息。
从上述描述可知，当两个人员距离很近时，容易出现其中一个关节点同时属于两个人员，由此将这样的关节点进行删除，从而得到两个人员各自的关节点团簇，以降低误识别的出现概率，提高3D重建的准确性。
进一步地，还包括以下步骤：
获取当前同步视频帧和下一同步视频帧所分别得到的多个人员的3D信息，判断上下两个同步视频帧中每一个人员的人体重心位置的偏移距离是否小于预设最大运动距离阈值，若是，则根据所述下一同步视频帧的每一个人员的人体重心位置来更新历史人员位置集合中人员唯一ID所对应的位置信息；
若所述下一同步视频帧的某一人员与所述当前同步视频帧中所有的人员的人体重心位置的偏移距离均大于所述预设最大运动距离阈值，则将其认定为新出现人员，为所述新出现人员赋予一个新的人员唯一ID，并将所述新出现人员的位置信息增加至所述历史人员位置集合；
若所述当前同步视频帧的某一人员与所述下一同步视频帧中所有的人员的人体重心位置的偏移距离均大于所述预设最大运动距离阈值，则将其认定为离开人员，从所述历史人员位置集合中移除所述离开人员所对应的人员唯一ID的位置信息。
从上述描述可知，通过人员唯一ID和上下帧的人体重心位置的偏移距离，从而跟踪到人员3D位置信息。
本发明另一实施方式提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的多人三维动作捕捉方法。
请参照图13、本发明另一实施方式提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的多人三维动作捕捉方法。
其中，关于上述两种实施方式中的计算机程序所包含的图像缩放方法的具体实现过程和对应效果，可以参照前面实施方式的多人三维动作捕捉方法中的相关描述。
由此，以下实施例在一个场景内设置有多个相机，以对该场景内的人员进行三维动作捕捉，比如VR场景下的多人三维动作捕捉等等，具体如下：
请参照图1至图11，本发明的实施例一为：
一种多人三维动作捕捉方法，包括步骤：
S1、获取多个相机的同步视频帧，对每一个相机的每一张同步视频帧分别进行关节点识别及定位，得到每一个相机下每一个人员的2D关节点信息；
在本实施例中，在需要进行三维动作捕捉的场景中假设多个相机，并获取多个相机的同步视频帧，其中，每一个视频帧为3通道BGR格式图像。设A＝{n|1≤n≤N}，A为相机的集合，n为相机序号。在本实施例中，相机设置有12个，在其他等同实施例中，相机的个数可以根据实际需求进行设置。
在本实施例中，利用OpenPose检测出所有相机中每一个人体的关节点并定位，获得每个相机下每个人员的2D关节点信息。其中，每个相机识别到的2D人员个数分别为Kn，设k表示为人员编号，其取值范围为1...Kn。设X＝{Rnodenk|n∈A，1≤k≤Kn}表示为所有相机识别到的2D人员，Rnodenk表示为识别到的2D人员，每个3D人员的重建输入参数由一组2D人员组成并且2D人员所属相机无交集。由于进入场景的人员不确定，则需要进行多组2D人员的匹配。
其中，如图9所示，在2D点匹配算法中，对关节点置信度进行阈值过滤，过滤去除误识别的关节点，该方法，能让用户改变设置阈值条件过滤，解决因场地干扰而造成的误识别现。其中，置信度的阈值可以根据现场场景或者实际应用进行灵活设置。
S2、计算每一个2D关节点的反投影射线，根据反投影射线之间为最短距离时的两个端点坐标来进行聚类，以得到最佳的2D人员匹配方案，反投影射线为2D关节点所对应的相机指向2D关节点的射线；
在本实施例中，不同相机对同一关节点的反投影射线之间应当重合，但是基于观测误差以及2D识别的误差，不同相机对同一关节点的反投影射线之间有可能不会重合，但肯定会靠的很近，因此，通过反投影射线之间为最短距离时的两个端点坐标来进行聚类，可以判断不同相机中的关节点的匹配关系，从而确定不同相机内不同人员的对应关系，得到2D人员匹配方案，这样，既对场景内的不同视角进行采集识别，并通过不同相机对同一关节点的反投影射线之间应当重合的原理进行最短距离的计算和聚类，以对不同相机的多个关节点进行正确匹配对应，从而解决了密集场景下存在的遮挡、2D误识别而导致2D点集匹配问题，实现了对多人的动作捕捉。
S3、根据最佳的2D人员匹配方案进行每一个人员的3D重建，生成每一个人员的3D信息，以进行三维动作捕捉。
请参照图1至图11，本发明的实施例二为：
一种多人三维动作捕捉方法，在上述实施例一的基础上，本实施例的进一步限定如下：
其中，步骤S2具体包括以下步骤：
S21、对所有2D关节点信息按照关节点类型进行划分，以得到每一个关节类型所对应的所有2D关节点信息；
如图5所示，对于OpenPose来说，所识别的2D关节点由25类组成，因此，本实施例中的关节点类型为25类。在其他实施例中，若根据实际需求进行适当的选择关节点类型，也属于本申请的等同实施例。
S22、对每一个关节点类型的每一个2D关节点信息分别进行反投影射线的计算，根据反投影射线之间的最短距离来进行聚类，以得到每一个关节点类型的关节点匹配方案；
在本实施例中，25类的2D关节点分别进行只对同关节点类型的关节点进行匹配计算，从而减少了匹配运算次数，提高处理速度。尤其是在人员的数量较多时，能明显提高处理速度。
S23、合并所有关节点类型的关节点匹配方案，以得到最佳的2D人员匹配方案。
即将25类的关节点匹配方案得到一个2D人员匹配方案，该2D人员匹配方案包括若干个匹配项，该匹配项的个数和进入场景的人数相同。
请参照图1至图11，本发明的实施例三为：
一种多人三维动作捕捉方法，在上述实施例二的基础上，如图2所示，本实施例的进一步限定如下：
如图3所示，步骤S22具体包括以下步骤：
S221、对每一个2D关节点，根据坐标原点和对应的相机外参得到相机3D坐标，将相机3D坐标作为反投影射线的端点，根据对应的相机内参、相机外参和每一个2D关节点的2D关节点坐标信息获得反投影射线的方向向量，以得到每一个2D关节点的反投影射线。
在本实施例中，计算出过2D关节点uvnk的反投影射线，nvnk∈Rnodenk。
其中，反投影射线由相机3D坐标和2D关节点uvnk上的方向向量组成。
其中，相机3D坐标Pn可由相机外参乘坐标原点计算获得，其公式为：Pn＝extrinsicn*O。其中，extrinsicn为相机外参，O为坐标原点(0，0，0)。
其中，方向向量可由2D关节点坐标信息、所属相机内参和外参计算获得，其公式如下：其中，intrinsicn为相机内参。
S222、分别对每一个相机中的每一个2D关节点的反投影射线与同一关节点类型下其他相机中的每一个2D关节点的反投影射线进行两两最短线段的计算，并获得两条反投影射线之间为最短线段时的两个端点的端点坐标；
在本实施例中，依据多相机视觉的基本原理，多相机观测到的某个人员某个3D关节点，其反投影射线必定相交于该关节点上，但是基于观测误差以及2D识别的误差，不同相机对同一关节点的反投影射线之间有可能不会重合，但肯定会靠的很近。由此，在3D空间上，3D关节点附近应当聚集着大量的端点。
在本实施例中，如图12所示，应当知道的是，两条反投影射线之间的距离是空间两条之间的距离，对于图12所示似乎有相交的点，但在三维空间内可能为不相交，因此，图12仅作为计算时的图示。由此，获得两条反投影射线之间为最短线段时的两个端点的端点坐标具体包括以下步骤包括如下步骤：
S2221、反投影射线的起点坐标和方向向量分别为s0和/>反投影射线/>的起点坐标和方向向量分别为t0和/>则反投影射线/>的向量表达式为/>反投影射线/>的向量表达式为/>
S2222、假设反投影射线和反投影射线/>之间为最短线段时的两个端点的端点坐标分别为sj和tj，则两个端点坐标的向量表达式为/>和/>记向量/>则反投影射线/>和反投影射线/>之间的最短线段的向量表达式为第一公式：/>sc和tc为标量；
S2223、将最短线段的向量表达式分别代入到和/>得到第二公式和第三公式，第二公式为/>第三公式为/>记则得到标量sc＝(be-cd)/(ac-b2)和标量tc＝(ae-bd)/(ac-b2)；
S2224、判断ac-b2是否等于0，若是，则反投影射线和反投影射线/>为平行关系，则在任意一条反投影射线上指定一固定点作为其中一个端点，代入第二公式和第三公式即可得到两个端点坐标sj和tj，否则根据标量Sc＝(be-cd)/(ac-b2)和标量tc＝(ae-bd)/(ac-b2)求得两个端点坐标sj和tj。
当ac-b2等于0，则反投影射线和反投影射线/>为平行关系，两者之间的距离为常数，因此任意选取一个端点进行计算得到的距离都是一样的。
S223、对每一个关节点类型内的所有端点进行聚类，以输出聚类结果，根据聚类结果组合生成每一个关节点类型的关节点匹配方案。
在本实施例中，步骤S223具体包括以下步骤：
S2231、在得到任意两条反投影射线之间为最短线段时的两个端点坐标时，根据两个端点坐标sj和tj得到最短线段的最短距离dmin＝|sj-tj|；
S2232、将每一个关节点类型内最短距离dmin超过预设距离阈值的最短线段进行过滤删除，将每一个关节点类型内保留下来的最短线段所对应的端点形成端点集合R，每一个端点对应于2D关节点、相机标识和人员标识；
S2233、通过k最邻近分类算法对每一个关节点类型内的端点集合R内的所有端点进行近邻匹配，以得到近邻端点所形成的簇团，按照每一个簇团内端点数量的多少，由高往低地对簇团进行排序，得到每一个关节点类型内排序后的簇团信息；
其中，在本实施例中，将根据空间上的稠密度进行聚类，用户输入的唯一参数是ε(Eps)邻域。实现该方法具体如下：
通过k最邻近分类算法knn求得端点与端点之间的距离，假定ε(Eps)邻域内最多出现两个端点，那么knn取值可设为：
搜索完毕后，遍历结果集，使用ε(Eps)过滤搜索结果中的近邻距离，给每个端点生成近邻匹配关系；
之后对端点的近邻匹配关系进行排序；
依次抽出未处理的端点，并找出该端点密度直达的近邻端点形成一个簇团，直到所有的近邻匹配关系处理完毕。最后按密度由高往低排序将簇团进行排序，输出簇团信息，其效果如图8所示。
S2234、对每一个关节点类型分别进行匹配方案的生成：获取当前匹配项，遍历每一个簇团中每一个端点，若所遍历的端点未被当前匹配项使用且当前匹配项没有所遍历的端点的相机标识，则在当前匹配项中增加端点，直至簇团中的每一个端点均遍历完成，则得到每一个关节点类型的关节点匹配方案；
在本实施例中，簇团中的每个端点，都可对应到一个2D关节点uvnk、2D人员Rnodenk。当算法开始运行时，设Rnodeavailabe表示未使用2D关节点集合，当前匹配项由mcurrent表示，Rnodeavailabe＝X，mcurrent＝Φ；遍历每个端点Rnodenk，根据相机的互斥原则，若端点未被使用，且当前匹配项mcurrent没有相同相机的端点，则mcurrent+＝Rnode，Rnodeavailabe-＝Rnode；遍历簇团中所有端点，直到端点处理完毕退出，到此为止匹配项生成。
依次处理完所有簇团，或Rnodeavailabe＝Φ时，算法工作完毕生成多个匹配项，完成匹配方案的生成。
其中，在本实施例中，如图10所示，为五个人员左手关节的匹配方案。
S2235、合并所有关节点类型的关节点匹配方案，以得到最佳的2D人员匹配方案具体包括以下步骤：
统计所有关节点类型的关节点匹配方案中每一个匹配项的出现次数，将出现次数最多的匹配项组合为最佳的2D人员匹配方案。
在本实施例中，需要对25组关节点匹配方案进行合并，具体方法为：统计25组匹配方案中所有匹配项，根据匹配项出现次数进行排序；当算法开始运行时，匹配方案为空M＝Φ；之后依次遍历匹配项m，若m与匹配方案不冲突，则将该匹配项加入到方案中，公式如下：
isConflict(m，M)为冲突函数。
如图4所示，步骤S3具体包括以下步骤：
S31、遍历2D人员匹配方案的每一个匹配项，获取每一个匹配项中每一个关节点所包括的2D关节点坐标信息和对应的相机参数信息；
S32、依据多相机视觉三维测量技术将多个2D关节点坐标信息计算成3D三维空间坐标，得到3D关节点信息；
S33、根据3D关节点信息，计算重投影误差，将重投影误差超过预设投影误差的3D关节点信息进行过滤；
S34、直至遍历完每一个匹配项中的所有关节点，根据保留下来的所有3D关节点信息生成一个人员的3D信息；
S35、直至遍历完所有匹配项后，则得到与匹配项数量对应的多个人员的3D信息。
其中，如图6和图7所示，使用4个摄像机+2个保龄球进行3D重建的过程演示，其中，摄像机由左往右[0-3]依次编号，画面中的保龄球2D点编号为：[0-0]、[0-1]、[1-0]、[1-1]、[2-0]、[2-1]、[3-0]和[3-1]。其中，保龄球3D重建正确2D匹配方案应当为：{0-1，1-0，2-0，3-0}，{0-0，1-1，2-1，3-1}。
如图7所示，4个摄像机+2个保龄球则有8个保龄球2D点，每个点对应一条反投影射线，每条直线与不同摄像机的直线求最短直线距离。可得最短线段24条，共计48个端点，将密度聚类算法的半径为0.2米，则可聚类出13个结果，其中两个结果的端点个数如圆圈内所示为12个，该12个点刚好为4条直线间最短线段的端点，则根据接近点聚类结果，生成2D点匹配方案：
第0组聚类结果：{0-1,1-0,2-0,3-0}
第1组聚类结果：{0-0,1-1,2-1,3-1}。
以上的2D点匹配方案与预期一致，从而实现对保龄球2D点的准确识别。
如图11所示，在实际应用场景中，本实施例以四个相机加两个人员的应用场景进行说明，四个相机从左往右依次为0、1、2和3，两个人员分别为0和1，则则最终的匹配方案应当为:{0-0,1-0,2-1,3-0},{0-1,1-1,2-0,3-1}。
通过关节点的识别和匹配关系的计算，最终得到25组匹配方案分别如表1所示：
表一：25组匹配方案
根据以上分析{0-1，1-1，2-0，3-1}，{0-0，1-0，2-1，3-0}为大多数关节点匹配的方案，其高达21次，并且其他节点的匹配方案属于该方案子集，所以选择该{0-1，1-1，2-0，3-1}，{0-0，1-0，2-1，3-0}的人员匹配方案，与预期方案一致。
请参照图1至图11，本发明的实施例四为：
一种多人三维动作捕捉方法，在上述实施例三的基础上，本实施例还包括以下步骤：
S36、获取当前同步视频帧和下一同步视频帧所分别得到的多个人员的3D信息，判断上下两个同步视频帧中每一个人员的人体重心位置的偏移距离是否小于预设最大运动距离阈值，若是，则根据下一同步视频帧的每一个人员的人体重心位置来更新历史人员位置集合中人员唯一ID(Identity document，身份标识)所对应的位置信息；
S37、若下一同步视频帧的某一人员与当前同步视频帧中所有的人员的人体重心位置的偏移距离均大于预设最大运动距离阈值，则将其认定为新出现人员，为新出现人员赋予一个新的人员唯一ID，并将新出现人员的位置信息增加至历史人员位置集合；
S38、若当前同步视频帧的某一人员与下一同步视频帧中所有的人员的人体重心位置的偏移距离均大于预设最大运动距离阈值，则将其认定为离开人员，从历史人员位置集合中移除离开人员所对应的人员唯一ID的位置信息。
在本实施例中，假设历史人员位置集合为LC，初始运行时LC＝Φ；下一帧识别到一组人员3D信息P，计算出该组人员的中心位置信息C＝{c*}，c表示为单个人员的中心位置，其计算公式为通过近邻搜索算法，求得LC、C中各人员中心相互位置距离，公式d(c，c′)＝|c-c′|，c∈C，c′∈LC，其中c表示C中人员中心位置，c′为历史人员LC中人员中心位置；设人员最大运动距离Dmax，若存在d(c，c′)≤Dmax意即人员中心位置距离的改变小于阈值，c与c′视为同一个人员，更新人员c′的中心位置；对于/>c与LC任何人员的距离都大于阈值，c为新出现人员，给该人员生成ID，LC加入该人员；对于c′与C任何人员的距离都大于阈值，c′视为离开人员，LC移除该人员。
本发明的实施例五为：
本发明另一实施方式提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例一至四中任一实施例的多人三维动作捕捉方法。
请参照图13，本发明的实施例六为：
一种电子设备1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一至四中任一实施例的多人三维动作捕捉方法。
综上所述，本发明提供的多人三维动作捕捉方法、存储介质及电子设备，通过OpenPose姿态检测，采用深度卷积网络进行体态检测，不借助于任何的穿戴设备，就可以进行人体姿态检测；而采集多个相机对场景内的不同视角进行采集识别，并通过不同相机对同一关节点的反投影射线之间应当重合的原理进行最短距离的计算和聚类，以对不同相机的多个关节点进行正确匹配对应，从而解决了密集场景下存在的遮挡、2D误识别而导致2D点集匹配问题，实现了对多人的动作捕捉。同时，通过按照关节点类型对多个关节点进行分类、设置预设距离阈值进行过滤、置信度过滤、端点聚类算法采用密度聚类算法以及遮挡的关节点删除等进一步限定，从而能提高处理速度、提高工作效率且能保证识别的准确性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种多人三维动作捕捉方法，其特征在于，包括步骤：
获取多个相机的同步视频帧，对每一个所述相机的每一张所述同步视频帧分别进行关节点识别及定位，得到每一个所述相机下每一个人员的2D关节点信息；
计算每一个2D关节点的反投影射线，根据所述反投影射线之间为最短距离时的两个端点坐标来进行聚类，以得到最佳的2D人员匹配方案，所述反投影射线为所述2D关节点所对应的相机指向所述2D关节点的射线；
根据最佳的所述2D人员匹配方案进行每一个人员的3D重建，生成每一个人员的3D信息，以进行三维动作捕捉；
所述根据最佳的所述2D人员匹配方案进行每一个人员的3D重建，生成每一个人员的3D信息具体包括以下步骤：
遍历所述2D人员匹配方案的每一个匹配项，获取每一个所述匹配项中每一个关节点所包括的2D关节点坐标信息和对应的相机参数信息；
依据多相机视觉三维测量技术将多个所述2D关节点坐标信息计算成3D三维空间坐标，得到3D关节点信息；
根据所述3D关节点信息，计算重投影误差，将所述重投影误差超过预设投影误差的所述3D关节点信息进行过滤；
直至遍历完每一个所述匹配项中的所有关节点，根据保留下来的所有所述3D关节点信息生成一个人员的3D信息；
直至遍历完所有所述匹配项后，则得到与所述匹配项数量对应的多个人员的3D信息。
2.根据权利要求1所述的多人三维动作捕捉方法，其特征在于，所述计算每一个2D关节点的反投影射线，根据所述反投影射线之间为最短距离时的两个端点坐标来进行聚类，以得到最佳的2D人员匹配方案具体包括以下步骤：
对所有所述2D关节点信息按照关节点类型进行划分，以得到每一个所述关节点类型所对应的所有所述2D关节点信息；
对每一个所述关节点类型的每一个所述2D关节点信息分别进行反投影射线的计算，根据所述反投影射线之间的最短距离来进行聚类，以得到每一个所述关节点类型的关节点匹配方案；
合并所有所述关节点类型的关节点匹配方案，以得到最佳的2D人员匹配方案。
3.根据权利要求1所述的多人三维动作捕捉方法，其特征在于，所述计算每一个2D关节点的反投影射线具体包括以下步骤：
对每一个所述2D关节点，根据坐标原点和对应的相机外参得到相机3D坐标，将所述相机3D坐标作为所述反投影射线的端点，根据对应的相机内参、相机外参和每一个所述2D关节点的2D关节点坐标信息获得所述反投影射线的方向向量，以得到每一个所述2D关节点的反投影射线。
4.根据权利要求2所述的多人三维动作捕捉方法，其特征在于，所述根据所述反投影射线之间的最短距离来进行聚类，以得到每一个所述关节点类型的关节点匹配方案包括以下步骤：
分别对每一个所述相机中的每一个所述2D关节点的反投影射线与同一所述关节点类型下其他所述相机中的每一个所述2D关节点的反投影射线进行两两最短线段的计算，并获得两条所述反投影射线之间为最短线段时的两个端点的端点坐标；
对每一个所述关节点类型内的所有所述端点进行聚类，以输出聚类结果，根据所述聚类结果组合生成每一个所述关节点类型的关节点匹配方案。
5.根据权利要求4所述的多人三维动作捕捉方法，其特征在于，所述获得两条反投影射线之间为最短线段时的两个端点的端点坐标具体包括以下步骤包括如下步骤：
所述反投影射线的起点坐标和方向向量分别为/>和/>，所述反投影射线/>的起点坐标和方向向量分别为/>和/>，则所述反投影射线/>的向量表达式为/>，所述反投影射线/>的向量表达式为/>；
所述反投影射线和所述反投影射线/>之间为最短线段时的两个端点的端点坐标分别为/>和/>，则两个所述端点坐标的向量表达式为/>和/>，记向量，则所述反投影射线/>和所述反投影射线/>之间的最短线段的向量表达式为第一公式：/>，所述/>和所述/>为标量；
将所述最短线段的向量表达式分别代入到和/>得到第二公式和第三公式，所述第二公式为/>，所述第三公式为/>，记/>，则得到所述标量sc=(be-cd)/(ac-b2)和所述标量tc=(ae-bd)/(ac-b2)；
判断所述ac-b2是否等于0，若是，则所述反投影射线和所述反投影射线/>为平行关系，则在任意一条所述反投影射线上指定一固定点作为其中一个端点，代入所述第二公式和所述第三公式即可得到两个所述端点坐标/>和/>，否则根据所述标量sc=(be-cd)/(ac-b2)和所述标量tc=(ae-bd)/(ac-b2)求得两个所述端点坐标/>和/>。
6.根据权利要求4所述的多人三维动作捕捉方法，其特征在于，所述对每一个所述关节点类型内的所有所述端点进行聚类，以输出聚类结果，根据所述聚类结果组合生成每一个所述关节点类型的关节点匹配方案具体包括以下步骤：
在得到任意两条所述反投影射线之间为最短线段时的两个端点坐标时，根据两个所述端点坐标和/>得到所述最短线段的最短距离dmin=|sj-tj|；
将每一个所述关节点类型内最短距离dmin超过预设距离阈值的所述最短线段进行过滤删除，将每一个所述关节点类型内保留下来的所述最短线段所对应的端点形成端点集合R，每一个所述端点对应于2D关节点、相机标识和人员标识；
通过k最邻近分类算法对每一个所述关节点类型内的所述端点集合R内的所有端点进行近邻匹配，以得到近邻端点所形成的簇团，按照每一个所述簇团内端点数量的多少，由高往低地对所述簇团进行排序，得到每一个所述关节点类型内排序后的簇团信息；
对每一个所述关节点类型分别进行匹配方案的生成：获取当前匹配项，遍历每一个簇团中每一个端点，若所遍历的端点未被所述当前匹配项使用且所述当前匹配项没有所遍历的端点的所述相机标识，则在所述当前匹配项中增加所述端点，直至所述簇团中的每一个端点均遍历完成，则得到每一个关节点类型的关节点匹配方案；
所述合并所有所述关节点类型的关节点匹配方案，以得到最佳的2D人员匹配方案具体包括以下步骤：
统计所有关节点类型的关节点匹配方案中每一个匹配项的出现次数，将出现次数最多的匹配项组合为最佳的2D人员匹配方案。
7.根据权利要求1所述的多人三维动作捕捉方法，其特征在于，还包括以下步骤：
获取当前同步视频帧和下一同步视频帧所分别得到的多个人员的3D信息，判断上下两个同步视频帧中每一个人员的人体重心位置的偏移距离是否小于预设最大运动距离阈值，若是，则根据所述下一同步视频帧的每一个人员的人体重心位置来更新历史人员位置集合中人员唯一ID所对应的位置信息；
若所述下一同步视频帧的某一人员与所述当前同步视频帧中所有的人员的人体重心位置的偏移距离均大于所述预设最大运动距离阈值，则将其认定为新出现人员，为所述新出现人员赋予一个新的人员唯一ID，并将所述新出现人员的位置信息增加至所述历史人员位置集合；
若所述当前同步视频帧的某一人员与所述下一同步视频帧中所有的人员的人体重心位置的偏移距离均大于所述预设最大运动距离阈值，则将其认定为离开人员，从所述历史人员位置集合中移除所述离开人员所对应的人员唯一ID的位置信息。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的多人三维动作捕捉方法。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述的多人三维动作捕捉方法。
CN202011260863.4A 2020-11-12 2020-11-12 多人三维动作捕捉方法、存储介质及电子设备 Active CN112379773B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011260863.4A CN112379773B (zh) 2020-11-12 2020-11-12 多人三维动作捕捉方法、存储介质及电子设备
JP2022546634A JP7480312B2 (ja) 2020-11-12 2021-07-09 複数人三次元モーションキャプチャ方法、記憶媒体及び電子機器
PCT/CN2021/105486 WO2022100119A1 (zh) 2020-11-12 2021-07-09 多人三维动作捕捉方法、存储介质及电子设备
US18/166,649 US20230186684A1 (en) 2020-11-12 2023-02-09 Method for capturing three dimensional actions of multiple persons, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011260863.4A CN112379773B (zh) 2020-11-12 2020-11-12 多人三维动作捕捉方法、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112379773A CN112379773A (zh) 2021-02-19
CN112379773B true CN112379773B (zh) 2024-05-24

Family

ID=74583279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011260863.4A Active CN112379773B (zh) 2020-11-12 2020-11-12 多人三维动作捕捉方法、存储介质及电子设备

Country Status (4)

Country Link
US (1) US20230186684A1 (zh)
JP (1) JP7480312B2 (zh)
CN (1) CN112379773B (zh)
WO (1) WO2022100119A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379773B (zh) * 2020-11-12 2024-05-24 深圳市洲明科技股份有限公司 多人三维动作捕捉方法、存储介质及电子设备
CN113031464B (zh) * 2021-03-22 2022-11-22 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
CN114898471B (zh) * 2022-07-12 2022-09-30 华中科技大学 一种基于人体骨架特征的行为检测方法及存储介质
CN115223023B (zh) * 2022-09-16 2022-12-20 杭州得闻天下数字文化科技有限公司 基于立体视觉和深度神经网络的人体轮廓估计方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020611A (zh) * 2019-03-17 2019-07-16 浙江大学 一种基于三维假设空间聚类的多人动作捕捉方法
CN111028271A (zh) * 2019-12-06 2020-04-17 浩云科技股份有限公司 基于人体骨架检测的多摄像机人员三维定位跟踪系统
CN111797714A (zh) * 2020-06-16 2020-10-20 浙江大学 基于关键点聚类的多视点人体运动捕捉方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8114172B2 (en) 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
US8384714B2 (en) 2008-05-13 2013-02-26 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for motion capture using video imaging
US8009081B2 (en) * 2008-10-21 2011-08-30 Lang Hong 3D video-Doppler-radar (VIDAR) imaging system
US9183631B2 (en) 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
WO2016116946A2 (en) * 2015-01-20 2016-07-28 Indian Institute Of Technology, Bombay A system and method for obtaining 3-dimensional images using conventional 2-dimensional x-ray images
US10198858B2 (en) * 2017-03-27 2019-02-05 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images
CN110544301A (zh) 2019-09-06 2019-12-06 广东工业大学 一种三维人体动作重建系统、方法和动作训练系统
CN112379773B (zh) * 2020-11-12 2024-05-24 深圳市洲明科技股份有限公司 多人三维动作捕捉方法、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020611A (zh) * 2019-03-17 2019-07-16 浙江大学 一种基于三维假设空间聚类的多人动作捕捉方法
CN111028271A (zh) * 2019-12-06 2020-04-17 浩云科技股份有限公司 基于人体骨架检测的多摄像机人员三维定位跟踪系统
CN111797714A (zh) * 2020-06-16 2020-10-20 浙江大学 基于关键点聚类的多视点人体运动捕捉方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度图像的实时多人体姿态估计;肖贤鹏 等;传感器与微系统(第06期);全文 *
肖贤鹏 等.基于深度图像的实时多人体姿态估计.传感器与微系统.2020,(第06期),全文. *

Also Published As

Publication number Publication date
JP2023512282A (ja) 2023-03-24
CN112379773A (zh) 2021-02-19
US20230186684A1 (en) 2023-06-15
WO2022100119A1 (zh) 2022-05-19
JP7480312B2 (ja) 2024-05-09

Similar Documents

Publication Publication Date Title
CN112379773B (zh) 多人三维动作捕捉方法、存储介质及电子设备
Rogez et al. Lcr-net++: Multi-person 2d and 3d pose detection in natural images
Aggarwal et al. Human motion analysis: A review
Dockstader et al. Multiple camera tracking of interacting and occluded human motion
Lee et al. Human pose tracking in monocular sequence using multilevel structured models
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
CN101794384B (zh) 基于人体轮廓图提取与分组运动图查询的投篮动作识别
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
CN110555408B (zh) 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法
Fieraru et al. Learning complex 3D human self-contact
CN112530019A (zh) 三维人体重建方法、装置、计算机设备和存储介质
Krejov et al. Guided optimisation through classification and regression for hand pose estimation
CN108846348A (zh) 一种基于三维骨骼特征的人体行为识别方法
Xu et al. 3D joints estimation of the human body in single-frame point cloud
Zhang et al. On the correlation among edge, pose and parsing
Chen et al. 3D reconstruction of unstructured objects using information from multiple sensors
Cohen et al. 3D body reconstruction for immersive interaction
Kim et al. Cross-view self-fusion for self-supervised 3D human pose estimation in the wild
Otberdout et al. Hand pose estimation based on deep learning depth map for hand gesture recognition
CN114548224B (zh) 一种用于强交互人体运动的2d人体位姿生成方法及装置
Ding et al. Combining adaptive hierarchical depth motion maps with skeletal joints for human action recognition
Zhang et al. Stereo vision information system using median theorem and attitude compensation with nonlinear differential equations
Yang et al. Visual-GPS: ego-downward and ambient video based person location association
Niżałowska et al. Indoor head detection and tracking on RGBD images
Krahnstoever Articulated models from video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant