[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111124107A - 手与物体复杂交互场景重建方法及装置 - Google Patents

手与物体复杂交互场景重建方法及装置 Download PDF

Info

Publication number
CN111124107A
CN111124107A CN201911113777.8A CN201911113777A CN111124107A CN 111124107 A CN111124107 A CN 111124107A CN 201911113777 A CN201911113777 A CN 201911113777A CN 111124107 A CN111124107 A CN 111124107A
Authority
CN
China
Prior art keywords
data
hand
segmentation
prediction
rgbd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911113777.8A
Other languages
English (en)
Inventor
徐枫
张�浩
薄子豪
杨东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911113777.8A priority Critical patent/CN111124107A/zh
Publication of CN111124107A publication Critical patent/CN111124107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手与物体复杂交互场景重建方法及装置，其中，方法包括：利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像；将RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据；将RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据；将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。该方法可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。

Description

手与物体复杂交互场景重建方法及装置
技术领域
本发明涉及三维重建技术领域，特别涉及一种手与物体复杂交互场景重建方法及装置。
背景技术
在人们的日常生活中，人使用手与环境中不同物体进行交互是最常见的行为。对人手与物体的交互过程进行重建对于AR/VR，人机交互以及智能机器人都具有非常重要的价值。
手与物体交互过程包含了丰富的信息。在很多应用中，如AR和智能机器人领域，需要对手与物体交互的过程进行重建，以获取交互过程的三维信息。现实中，手与物体交互的过程较为复杂。其复杂性体现在，交互过程中手的动作复杂，交互的物体复杂，手与物体间的相互遮挡导致的强模糊性。
使用单个RGBD相机进行重建具有系统简单的优点，但使用单个相机也使得观察的视角单一，限制了能获得的有效信息量，增加了重建的难度。综上所述，基于单个RGBD相机对交互过程进行重建是一件非常有意义同时非常具有挑战性的工作。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种手与物体复杂交互场景重建方法，该方法可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。
本发明的另一个目的在于提出一种手与物体复杂交互场景重建装置。
为达到上述目的，本发明一方面实施例提出了一种手与物体复杂交互场景重建方法，包括以下步骤：利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像；将所述RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据；将所述RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据；将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。
本发明实施例的手与物体复杂交互场景重建方法，基于单个RGBD相机进行重建，系统简单；既重建人手的运动，又重建物体的几何和运动，信息重建完整；且能处理包含双手和多物体的复杂交互情况；结合人手姿态估计，物体识别分割，统一能量优化以及多物体重建方法的复杂交互过程重建方案，最终获得交互过程的完整三维信息，从而可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。
另外，根据本发明上述实施例的手与物体复杂交互场景重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述采集所述RGBD序列，包括：对RGB信息和D信息进行对齐。
进一步地，在本发明的一个实施例中，所述RGBD图像送入手势预测神经网络中进行预测，包括：使用开源库OpenPose，或者在所述开源库的基础上进行训练，以得到所述左手的姿态预测数据与所述右手的姿态预测数据。
进一步地，在本发明的一个实施例中，所述将所述RGBD图像送入分割识别神经网络中，包括：使用Mask-RCNN，或者在此所述Mask-RCNN的基上进行训练，以得到所述左手数据、所述右手数据、所述不同物体的分割数据。
进一步地，在本发明的一个实施例中，所述将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，包括：根据左手的姿态预测数据、所述右手的姿态预测数据、所述左手数据、所述右手数据、所述不同物体的分割数据进行统一优化运动求解，得到所述最终物体表面重建结果。
为达到上述目的，本发明另一方面实施例提出了一种手与物体复杂交互场景重建装置，包括：采集模块，用于利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像；预测模块，用于将所述RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据；分割模块，用于将所述RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据；融合模块，用于将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。
本发明实施例的手与物体复杂交互场景重建装置，基于单个RGBD相机进行重建，系统简单；既重建人手的运动，又重建物体的几何和运动，信息重建完整；且能处理包含双手和多物体的复杂交互情况；结合人手姿态估计，物体识别分割，统一能量优化以及多物体重建方法的复杂交互过程重建方案，最终获得交互过程的完整三维信息，从而可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。
另外，根据本发明上述实施例的手与物体复杂交互场景重建装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述采集模块进一步用于对RGB信息和D信息进行对齐。
进一步地，在本发明的一个实施例中，所述预测模块进一步用于使用开源库OpenPose，或者在所述开源库的基础上进行训练，以得到所述左手的姿态预测数据与所述右手的姿态预测数据。
进一步地，在本发明的一个实施例中，所述分割模块进一步用于使用Mask-RCNN，或者在此所述Mask-RCNN的基上进行训练，以得到所述左手数据、所述右手数据、所述不同物体的分割数据。
进一步地，在本发明的一个实施例中，所述融合模块进一步用于根据左手的姿态预测数据、所述右手的姿态预测数据、所述左手数据、所述右手数据、所述不同物体的分割数据进行统一优化运动求解，得到所述最终物体表面重建结果。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的手与物体复杂交互场景重建方法的流程图；
图2为根据本发明一个实施例的手与物体复杂交互场景重建方法的流程图；
图3为根据本发明实施例的手与物体复杂交互场景重建装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的手与物体复杂交互场景重建方法及装置，首先将参照附图描述根据本发明实施例提出的手与物体复杂交互场景重建方法。
图1是本发明一个实施例的手与物体复杂交互场景重建方法的流程图。
如图1所示，该手与物体复杂交互场景重建方法包括以下步骤：
在步骤S101中，利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像。
其中，在本发明的一个实施例中，采集RGBD序列，包括：对RGB信息和D信息进行对齐。
可以理解的是，单RGBD相机可以为Realsense SR300相机，单RGBD相机还有很多种，为避免冗余，在此仅作为示例，不做具体限定。比如，如图2所示，本发明实施例可以利用Realsense SR300相机采集手与物体交互场景的RGBD序列。需要注意的是由于RGB信息和D信息来源于两个相机，故需要对RGB-D信息进行对齐。
需要说明的是，本发明实施例使用分辨率为640x480的RGBD图像，当然，也可以使用其他分辨率的图像，在此不做具体限定。
在步骤S102中，将RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据。
可以理解的是，如图2所示，本发明实施例将RGBD图像送入手势预测神经网络中进行预测，得到左右手的姿态预测数据。
进一步地，在本发明的一个实施例中，RGBD图像送入手势预测神经网络中进行预测，包括：使用开源库OpenPose，或者在开源库的基础上进行训练，以得到左手的姿态预测数据与右手的姿态预测数据。
可以理解的是，为了实现从输入的RGBD图像中估计手的姿态信息，可直接使用开源的库OpenPose，或者在开源库的基础上进行进一步的训练以适应本系统的输入，获得更加准确的手姿态的预测信息。
具体而言，本发明实施例利用深度神经网络的方法，训练能对交互过程中人手姿态进行预测的网络。已有的研究证明，深度神经网络在人体姿态估计和手的姿态估计中表现较好，可以获得较接近真值的可行解。利用深度神经网络获得交互中人手姿态的估计既可为单相机可见的人手部分提供了较好的初始解，又可以为不可见的人手部分提供合理的解。
在步骤S103中，将RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据。
可以理解的是，如图2所示，本发明实施例将RGBD图像送入分割识别神经网络中，得到左手的数据，右手的数据以及不同物体的分割数据。
进一步地，在本发明的一个实施例中，将RGBD图像送入分割识别神经网络中，包括：使用Mask-RCNN，或者在此Mask-RCNN的基上进行训练，以得到左手数据、右手数据、不同物体的分割数据。
可以理解的是，为了实现从输入的RGBD图像中获得实例的分割数据，可直接使用Mask-RCNN或者在此基础上进行进一步的训练，以获得更好的结果。该步的重点在于训练数据的获得。
具体而言，本发明实施例利用神经网络的方法，训练能对单RGBD相机采集的数据进行实例分割的网络。利用分割识别网络，可将采集的交互过程中的左右手数据以及多个物体数据进行分离，为统一能量优化求解人手和多物体的运动，以及多物体的表面重建提供指导。
在步骤S104中，将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。
其中，在本发明的一个实施例中，将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，包括：根据左手的姿态预测数据、右手的姿态预测数据、左手数据、右手数据、不同物体的分割数据进行统一优化运动求解，得到最终物体表面重建结果。
可以理解的是，如图2所示，本发明实施例将预测的左右手的姿态，分割所得的左右手深度数据、物体的深度和颜色数据送入统一能量优化框架中进行求解，得到手的准确姿态以及多个物体的运动。在获得准确的物体运动的基础上，将实例分割所得的不同物体的深度数据和颜色数据融合进物体模型中，最终得到完整的物体模型。
具体而言，在获得交互中手的姿态进行粗略姿态估计以及初步数据分割的基础上，利用统一能量优化获得准确的人手姿态和各物体的运动。然后利用求解所获得的运动信息将分割得到的各物体的数据进行融合。最终重建交互中人手的姿态运动以及多个物体的完整表面。
综上，本发明实施例提出的手与物体复杂交互场景重建方法，基于单个RGBD相机进行重建，系统简单；既重建人手的运动，又重建物体的几何和运动，信息重建完整；且能处理包含双手和多物体的复杂交互情况；结合人手姿态估计，物体识别分割，统一能量优化以及多物体重建方法的复杂交互过程重建方案，最终获得交互过程的完整三维信息，从而可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。
其次参照附图描述根据本发明实施例提出的手与物体复杂交互场景重建装置。
图3是本发明一个实施例的手与物体复杂交互场景重建装置的结构示意图。
如图3所示，该手与物体复杂交互场景重建装置10包括：采集模块100、预测模块200、分割模块300和融合模块400。
其中，采集模块100用于利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像。预测模块200用于将RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据。分割模块300用于将RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据。融合模块400用于将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。本发明实施例的装置10可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。
进一步地，在本发明的一个实施例中，采集模块100进一步用于对RGB信息和D信息进行对齐。
进一步地，在本发明的一个实施例中，预测模块200进一步用于使用开源库OpenPose，或者在开源库的基础上进行训练，以得到左手的姿态预测数据与右手的姿态预测数据。
进一步地，在本发明的一个实施例中，分割模块300进一步用于使用Mask-RCNN，或者在此Mask-RCNN的基上进行训练，以得到左手数据、右手数据、不同物体的分割数据。
进一步地，在本发明的一个实施例中，融合模块400进一步用于根据左手的姿态预测数据、右手的姿态预测数据、左手数据、右手数据、不同物体的分割数据进行统一优化运动求解，得到最终物体表面重建结果。
需要说明的是，前述对手与物体复杂交互场景重建方法实施例的解释说明也适用于该实施例的手与物体复杂交互场景重建装置，此处不再赘述。
根据本发明实施例提出的手与物体复杂交互场景重建装置，基于单个RGBD相机进行重建，系统简单；既重建人手的运动，又重建物体的几何和运动，信息重建完整；且能处理包含双手和多物体的复杂交互情况；结合人手姿态估计，物体识别分割，统一能量优化以及多物体重建方法的复杂交互过程重建方案，最终获得交互过程的完整三维信息，从而可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种手与物体复杂交互场景重建方法，其特征在于，包括以下步骤：
利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像；
将所述RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据；
将所述RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据；以及
将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。
2.根据权利要求1所述的方法，其特征在于，所述采集所述RGBD序列，包括：
对RGB信息和D信息进行对齐。
3.根据权利要求1所述的方法，其特征在于，所述RGBD图像送入手势预测神经网络中进行预测，包括：
使用开源库OpenPose，或者在所述开源库的基础上进行训练，以得到所述左手的姿态预测数据与所述右手的姿态预测数据。
4.根据权利要求1所述的方法，其特征在于，所述将所述RGBD图像送入分割识别神经网络中，包括：
使用Mask-RCNN，或者在此所述Mask-RCNN的基上进行训练，以得到所述左手数据、所述右手数据、所述不同物体的分割数据。
5.根据权利要求1所述的方法，其特征在于，所述将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，包括：
根据左手的姿态预测数据、所述右手的姿态预测数据、所述左手数据、所述右手数据、所述不同物体的分割数据进行统一优化运动求解，得到所述最终物体表面重建结果。
6.一种手与物体复杂交互场景重建装置，其特征在于，包括：
采集模块，用于利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像；
预测模块，用于将所述RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据；
分割模块，用于将所述RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据；以及
融合模块，用于将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。
7.根据权利要求6所述的装置，其特征在于，所述采集模块进一步用于对RGB信息和D信息进行对齐。
8.根据权利要求6所述的装置，其特征在于，所述预测模块进一步用于使用开源库OpenPose，或者在所述开源库的基础上进行训练，以得到所述左手的姿态预测数据与所述右手的姿态预测数据。
9.根据权利要求6所述的装置，其特征在于，所述分割模块进一步用于使用Mask-RCNN，或者在此所述Mask-RCNN的基上进行训练，以得到所述左手数据、所述右手数据、所述不同物体的分割数据。
10.根据权利要求6所述的装置，其特征在于，所述融合模块进一步用于根据左手的姿态预测数据、所述右手的姿态预测数据、所述左手数据、所述右手数据、所述不同物体的分割数据进行统一优化运动求解，得到所述最终物体表面重建结果。
CN201911113777.8A 2019-11-14 2019-11-14 手与物体复杂交互场景重建方法及装置 Pending CN111124107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911113777.8A CN111124107A (zh) 2019-11-14 2019-11-14 手与物体复杂交互场景重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911113777.8A CN111124107A (zh) 2019-11-14 2019-11-14 手与物体复杂交互场景重建方法及装置

Publications (1)

Publication Number Publication Date
CN111124107A true CN111124107A (zh) 2020-05-08

Family

ID=70495647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911113777.8A Pending CN111124107A (zh) 2019-11-14 2019-11-14 手与物体复杂交互场景重建方法及装置

Country Status (1)

Country Link
CN (1) CN111124107A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112720504A (zh) * 2021-01-20 2021-04-30 清华大学 从rgbd视频中学习手与物体交互运动控制方法和装置
US11335007B2 (en) * 2020-05-29 2022-05-17 Zebra Technologies Corporation Method to generate neural network training image annotations

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150009415A1 (en) * 2013-07-04 2015-01-08 Canon Kabushiki Kaisha Projected user interface system for multiple users
CN107688391A (zh) * 2017-09-01 2018-02-13 广州大学 一种基于单目视觉的手势识别方法和装置
CN109272513A (zh) * 2018-09-30 2019-01-25 清华大学 基于深度相机的手与物体交互分割方法及装置
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN109658412A (zh) * 2018-11-30 2019-04-19 湖南视比特机器人有限公司 一种面向拆垛分拣的包装箱快速识别分割方法
CN110007754A (zh) * 2019-03-06 2019-07-12 清华大学 手与物体交互过程的实时重建方法及装置
CN110197156A (zh) * 2019-05-30 2019-09-03 清华大学 基于深度学习的单图像的人手动作与形状重建方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150009415A1 (en) * 2013-07-04 2015-01-08 Canon Kabushiki Kaisha Projected user interface system for multiple users
CN107688391A (zh) * 2017-09-01 2018-02-13 广州大学 一种基于单目视觉的手势识别方法和装置
CN109272513A (zh) * 2018-09-30 2019-01-25 清华大学 基于深度相机的手与物体交互分割方法及装置
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN109658412A (zh) * 2018-11-30 2019-04-19 湖南视比特机器人有限公司 一种面向拆垛分拣的包装箱快速识别分割方法
CN110007754A (zh) * 2019-03-06 2019-07-12 清华大学 手与物体交互过程的实时重建方法及装置
CN110197156A (zh) * 2019-05-30 2019-09-03 清华大学 基于深度学习的单图像的人手动作与形状重建方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11335007B2 (en) * 2020-05-29 2022-05-17 Zebra Technologies Corporation Method to generate neural network training image annotations
CN112720504A (zh) * 2021-01-20 2021-04-30 清华大学 从rgbd视频中学习手与物体交互运动控制方法和装置

Similar Documents

Publication Publication Date Title
Kwon et al. H2o: Two hands manipulating objects for first person interaction recognition
Li et al. Connecting touch and vision via cross-modal prediction
Ye et al. What's in your hands? 3d reconstruction of generic objects in hands
US10852840B2 (en) Method and system for hand pose detection
Zheng et al. Gimo: Gaze-informed human motion prediction in context
Sengan et al. Cost-effective and efficient 3D human model creation and re-identification application for human digital twins
Nazir et al. SemAttNet: Toward attention-based semantic aware guided depth completion
Chen et al. Mvhm: A large-scale multi-view hand mesh benchmark for accurate 3d hand pose estimation
Wang et al. Dual transfer learning for event-based end-task prediction via pluggable event to image translation
Reimat et al. Cwipc-sxr: Point cloud dynamic human dataset for social xr
Zanfir et al. Hum3dil: Semi-supervised multi-modal 3d humanpose estimation for autonomous driving
Krejov et al. Combining discriminative and model based approaches for hand pose estimation
Li et al. MannequinChallenge: Learning the depths of moving people by watching frozen people
Luvizon et al. Scene‐Aware 3D Multi‐Human Motion Capture from a Single Camera
Jinka et al. Sharp: Shape-aware reconstruction of people in loose clothing
Zhang et al. Roam: Robust and object-aware motion generation using neural pose descriptors
Mustafa et al. Multi-person implicit reconstruction from a single image
CN110007754B (zh) 手与物体交互过程的实时重建方法及装置
Shimada et al. Decaf: Monocular deformation capture for face and hand interactions
CN111124107A (zh) 手与物体复杂交互场景重建方法及装置
Kini et al. 3dmodt: Attention-guided affinities for joint detection & tracking in 3d point clouds
Choi et al. Handnerf: Learning to reconstruct hand-object interaction scene from a single rgb image
Zhao et al. Reducing the device complexity for 3D human pose estimation:: A deep learning approach using monocular camera and IMUs
Han et al. Re $^ 3$ Sim: Generating High-Fidelity Simulation Data via 3D-Photorealistic Real-to-Sim for Robotic Manipulation
KR101225644B1 (ko) 로봇의 물체 인식 및 자세 추정 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508