[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112416134A - 一种快速生成手部关键点数据集的装置及方法 - Google Patents

一种快速生成手部关键点数据集的装置及方法 Download PDF

Info

Publication number
CN112416134A
CN112416134A CN202011462762.5A CN202011462762A CN112416134A CN 112416134 A CN112416134 A CN 112416134A CN 202011462762 A CN202011462762 A CN 202011462762A CN 112416134 A CN112416134 A CN 112416134A
Authority
CN
China
Prior art keywords
key point
image
hand
finger
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011462762.5A
Other languages
English (en)
Inventor
孙志刚
金栋
肖力
王卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011462762.5A priority Critical patent/CN112416134A/zh
Publication of CN112416134A publication Critical patent/CN112416134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种快速生成手部关键点数据集的装置及方法，属于计算机视觉领域，装置包括：运算单元、直线导轨、以及设置在直线导轨上的仿真手部模型和图像采集单元；仿真手部模型用于感知手部各关键点相对于基准点的三维坐标；图像采集单元用于采集基准点相对于图像采集单元的长度和高度；运算单元用于根据各关键点相对于基准点的三维坐标、长度和高度，计算各关键点相对于图像采集单元的空间三维坐标；并根据空间三维坐标与图像坐标之间的映射关系式，计算各关键点在图像坐标系下的二维图像坐标。快速精准地生成手部关键点数据集，从而实现自动标注，且能准确标注出被遮挡关键点，解决了人工标注速度慢和关键点位置存在主观臆断的缺点。

Description

一种快速生成手部关键点数据集的装置及方法
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种快速生成手部关键点数据集的装置及方法。
背景技术
随着技术的发展，增强现实(Augmented Reality，AR)和虚拟现实(VirtualReality，VR)等技术的应用逐渐普及，人们可以通过手指的动作与虚拟场景中的3D形象进行互动。这些功能的实现都基于对手指动作的灵敏捕捉，以准确地获取手指各个关节姿态信息。
为了捕获手指各个关节姿态信息，通常采用深度学习网络来训练算法模型。深度学习网络需要大量已标注关键点的手部数据集作为网络训练样本。目前，通常采用人工标注的方法标注手部关键点数据集。人工标注需要大量的人力和时间。此外，对于部分关键点被遮挡的情况，人工标注存在主观臆断的情况，使得关节点标注不准确，导致训练算法模型推断时出现误差，影响模型精度。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种快速生成手部关键点数据集的装置及方法，其目的在于快速精准地自动生成手部关键点数据集，从而实现自动标注，并且能准确标注出被遮挡关键点，解决了人工标注效率低、耗时长和标准不准确的问题。
为实现上述目的，按照本发明的一个方面，提供了一种快速生成手部关键点数据集的装置，包括：运算单元、直线导轨、以及设置在所述直线导轨上的仿真手部模型和图像采集单元；所述直线导轨用于调整所述仿真手部模型和图像采集单元之间的长度距离；所述仿真手部模型中设置有多个关键点和一基准点，用于感知各所述关键点相对于所述基准点的三维坐标；所述图像采集单元用于采集所述基准点相对于所述图像采集单元的长度和高度；所述运算单元用于根据各所述关键点相对于所述基准点的三维坐标、所述长度和高度，计算各所述关键点相对于所述图像采集单元的空间三维坐标；并根据所述空间三维坐标与图像坐标之间的映射关系式，计算各所述关键点在图像坐标系下的二维图像坐标。
更进一步地，所述图像采集单元还用于采集并生成所述仿真手部模型的图像；所述运算单元还用于根据各所述关键点在图像坐标系下的二维图像坐标在所述图像中标注出各所述关键点。
更进一步地，还包括存储单元，用于存储所述图像和各所述关键点在图像坐标系下的二维图像坐标。
更进一步地，各所述关键点相对于所述图像采集单元的空间三维坐标Pi为：
Figure BDA0002826969740000021
其中，xi、yi、zi为第i个关键点相对于所述基准点的三维坐标，d和h分别为所述基准点相对于所述图像采集单元的长度和高度。
更进一步地，所述映射关系式为：
Figure BDA0002826969740000022
其中，K为所述图像采集单元的内参矩阵，pxi、pyi为第i个关键点在图像坐标系下的二维图像坐标。
更进一步地，所述仿真手部模型包括：可感知姿态骨架，用于感知各所述关键点相对于所述基准点的三维坐标；仿真外壳，均匀包裹在所述可感知姿态骨架外部，用于模拟真实手部皮肤。
更进一步地，所述可感知姿态骨架中各手指骨架的活动关节处设置有角度传感器，用于获取各关节的旋转角度，以根据各关节的旋转角度以及尺寸计算各所述关键点相对于所述基准点的三维坐标。
更进一步地，所述各手指骨架中相邻活动关节之间通过轴承连接，用于减少相连关节之间的阻力；所述各手指骨架中各指段上套设有回正弹簧，用于回正所述各指段；所述各手指骨架中各指段上卡套有卡簧，用于在轴向方向上固定所述各指段和所述回正弹簧。
更进一步地，所述仿真外壳的材料为橡胶、塑料或金属。
按照本发明的另一个方面，提供了一种快速生成手部关键点数据集的方法，包括：获取手部各关键点相对于基准点的三维坐标，并采集与所述基准点之间的长度和高度；根据各所述关键点相对于所述基准点的三维坐标、所述长度和高度，计算各所述关键点对应的空间三维坐标；并根据所述空间三维坐标与图像坐标之间的映射关系式，计算各所述关键点在图像坐标系下的二维图像坐标。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：仿真手部模型可以感知各个手部关键点相对于基准点的三维坐标，通过移动直线导轨滑块获得基准点相对于图像采集单元的水平位置，测量基准点相对于图像采集单元摄像头光心的竖直位置，基于上述三维坐标、水平位置和竖直位置可以推算各个手部关键点的空间三维坐标，基于空间三维坐标与图像坐标之间的映射关系式计算各个手部关键点在图像坐标系下的二维图像坐标，并进一步进行相应标注，可以快速精准地自动生成手部关键点数据集，从而实现自动标注，并且能准确标注出被遮挡关键点，解决了人工标注效率低、耗时长和标准不准确的问题。
附图说明
图1为本发明实施例提出的快速生成手部关键点数据集的装置的结构示意图；
图2为仿真手部模型中各关键点的位置示意图；
图3A-3B为仿真手部模型中仿真外壳的结构示意图；
图4为仿真手部模型中可感知姿态骨架的结构示意图；
图5为可感知姿态骨架中大拇指骨架的结构示意图；
图6为可感知姿态骨架中大拇指骨架的爆炸图；
图7为可感知姿态骨架中食指骨架的结构示意图；
图8为可感知姿态骨架中食指骨架的爆炸图。
在所有附图中，相同的附图标记用来表示相同的元件或者结构，其中：
1为直线导轨，2为仿真手部模型，21为可感知姿态骨架，22为仿真外壳，3为图像采集单元，4为运算单元，5为存储单元，1101为大拇指第一指段，1102为第一卡簧，1103为第一电位计，1104为第一轴承，1105为第一回正弹簧，1106为第二卡簧，1107为大拇指第二指段，1108为第三卡簧，1109为第二电位计，1110为第二轴承，1111为第二回正弹簧，1112为第四卡簧，1119为大拇指扣件，1120为第三电位计，1121为第三轴承，1122为第四电位计，1123为大拇指第三指段，1201为食指第一指段，1202为第五卡簧，1203为第五电位计，1204为第四轴承，1205为第三回正弹簧，1206为第六卡簧，1207为食指第二指段，1208为第七卡簧，1209为第六电位计，1210为第五轴承，1211为第四回正弹簧，1212为第八卡簧，1213为食指第三指段，1214为第九卡簧，1215为第七电位计，1216为第六轴承，1217为第五回正弹簧，1218为第十卡簧，1219为食指扣件，1220为第八电位计，1221为第七轴承。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
图1为本发明实施例提出的快速生成手部关键点数据集的装置的结构示意图。参阅图1，结合图2-图8，对本实施例中快速生成手部关键点数据集的装置的结构进行详细说明。
快速生成手部关键点数据集的装置包括直线导轨1、仿真手部模型2、图像采集单元3和运算单元4。仿真手部模型2和图像采集单元3设置在直线导轨1上，直线导轨1用于调整仿真手部模型2和图像采集单元3之间的长度距离d。具体地，直线导轨1例如包括可移动滑块和固定滑轨两部分，仿真手部模型2固定连接在可移动滑块上，图像采集单元3固定连接在固定滑轨的一端。仿真手部模型2中设置有多个关键点和一个基准点，其内部设置有相应的感知模块，用来感知各关键点相对于基准点的三维坐标。图像采集单元3用于采集基准点相对于图像采集单元3的长度d和高度h。运算单元4用于根据各关键点相对于基准点的三维坐标、长度d和高度h计算各关键点相对于图像采集单元3的空间三维坐标；并根据空间三维坐标与图像坐标之间的映射关系式，计算各关键点在图像坐标系下的二维图像坐标。
参阅图2，以“OK”手势为例，说明仿真手部模型2中设置的多个关键点。0、1、2、……、20均为仿真手部模型2中的关键点，其中，0、5、13、17为手掌关键点；1、2、3、4为大拇指关键点；5、6、7、8为食指关键点；9、10、11、12为中指关键点；13、14、15、16为无名指关键点；17、18、19、20为小拇指关键点。
仿真手部模型2包括可感知姿态骨架21和仿真外壳22。可感知姿态骨架21用于感知各关键点相对于基准点的三维坐标，可感知姿态骨架21的结构如图4所示。仿真外壳22均匀包裹在可感知姿态骨架21外部，用于模拟真实手部皮肤，如图3A和3B所示。仿真外壳22的材料为橡胶、塑料或金属等。
可感知姿态骨架21中各手指骨架的活动关节处设置有角度传感器，用于获取各关节的旋转角度，以根据各关节的旋转角度以及尺寸计算各关键点相对于基准点的三维坐标。角度传感器例如为电位计。各手指骨架中相邻活动关节之间通过轴承连接，用于减少相连关节之间的阻力；各手指骨架中各指段上套设有回正弹簧，用于回正各指段；各手指骨架中各指段上卡套有卡簧，用于在轴向方向上固定各指段和回正弹簧。各手指骨架中的活动关节包括多个指段和一个扣件。
具体地，可感知姿态骨架21通过内部传感器获得各关键点相对于基准点的三维坐标。本实施例中，以可感知姿态骨架21中大拇指骨架和食指骨架的结构为例说明其结构及工作原理，其他手指骨架结构及工作原理类似，不再赘述。
参阅图5和图6，大拇指骨架包括大拇指第一指段1101、大拇指第二指段1107、大拇指第三指段1123、大拇指扣件1119、第一电位计1103、第二电位计1109、第三电位计1120、第四电位计1122、第一轴承1104、第二轴承1110、第三轴承1121、第一回正弹簧1105、第二回正弹簧1111、第一卡簧1102、第二卡簧1106、第三卡簧1108和第四卡簧1112。
第四电位计1122套设在大拇指第三指段1123上，用于获取大拇指第三指段1123相对于手掌的旋转角度。第三电位计1120套设在大拇指扣件1119上，用于获取大拇指扣件1119相对于大拇指第三指段1123的旋转角度。第二电位计1109套设在大拇指第二指段1107上，用于获取大拇指第二指段1107相对于大拇指扣件1119的旋转角度。第一电位计1103套设在大拇指第一指段1101上，用于获取大拇指第一指段1101相对于大拇指第二指段1107之间的旋转角度。
大拇指扣件1119通过第三轴承1121扣合在大拇指第三指段1123上。第二轴承1110套设在大拇指扣件1119上，大拇指第二指段1107套设在第二轴承1110上，从而减少大拇指扣件1119与大拇指第二指段1107之间的阻力。第一轴承1104套设在大拇指第二指段1107上，大拇指第一指段1101套设在第一轴承1104上，从而减少大拇指第二指段1107与大拇指第一指段1101之间的阻力。
第二回正弹簧1111套设在大拇指第二指段1107上，用于回正大拇指第二指段1107与大拇指扣件1119的位置。第一回正弹簧1105套设在大拇指第一指段1101上，用于回正大拇指第一指段1101与大拇指第二指段1107的位置。
第一卡簧1102卡缚在大拇指第一指段1101上，用于防止大拇第一指段1101与大拇指第二指段1107之间的轴向移动。第二卡簧1106卡缚在大拇指第一指段1101上，用于防止第一回正弹簧1105轴向移动。第三卡簧1108卡缚在第二指段1107上，用于防止大拇指第二指段1107与大拇指扣件1119之间的轴向移动。第四卡簧1112卡缚在第二指段1107上，用于防止第二回正弹簧1111轴向移动。
参阅图7和图8，食指骨架包括食指第一指段1201、食指第二指段1207、食指第三指段1213、食指扣件1219、第五电位计1203、第六电位计1209、第七电位计1215、第八电位计1220、第四轴承1204、第五轴承1210、第六轴承1216、第七轴承1221、第三回正弹簧1205、第四回正弹簧1211、第五回正弹簧1217、第五卡簧1202、第六卡簧1206、第七卡簧1208、第八卡簧1212、第九卡簧1214和第十卡簧1218。
第八电位计1220套设在食指扣件1219上，用于获取食指扣件1219相对于手掌的旋转角度。第七电位计1215套设在食指第三指段1213上，用于获取食指扣件1219相对于食指第三指段1213之间的旋转角度。第六电位计1209套设在食指第二指段1207上，用于获取食指第二指段1207相对于食指第三指段1213之间的旋转角度。第五电位计1203套设在食指第一指段1201上，用于获取食指第一指段1201相对于食指第二指段1207之间的旋转角度。
第七轴承1221套设在食指扣件1219上，第六轴承1216套设在食指扣件1219上，食指第三指段1213套设在第六轴承1216上，从而减少食指扣件1219与食指第三指段1213之间的阻力。第五轴承1210套设在食指第三指段1213上，食指第二指段1207套设在第五轴承1210上。用于减少食指第二指段1207与食指第三指段1213之间的阻力。第四轴承1204套设在食指第二指段1207上，食指第一指段1201套设在第四轴承1204上，用于减少食指第二指段1207与食指第一指段1201之间的阻力。
第五回正弹簧1217套设在食指第三指段1213上，用于回正食指第三指段1213与食指扣件1219的位置。第四回正弹簧1211套设在食指第二指段1213上，用于回正食指第三指段1213与食指第二指段1207的位置。第三回正弹簧1205套设在食指第一指段1201上，用于回正食指第一指段1201与食指第二指段1207的位置。
第十卡簧1218卡缚在食指第三指段1213上，用于防止第五回正弹簧1217轴向移动。第九卡簧1214卡缚在食指第三指段1213上，用于防止食指第三指段1213相对于食指卡扣1219轴向移动。第八卡簧1212卡缚在食指第二指段1207上，用于防止第四回正弹簧1211轴向移动。第七卡簧1208卡缚在食指第二指段1207上，用于防止食指第三指段1213相对于食指第二指段1207轴向移动。第六卡簧1206卡缚在食指第一指段1201上，用于防止第三回正弹簧1205轴向移动。第五卡簧1202卡缚在食指第一指段1201上，用于防止食指第一指段1201相对于食指第二指段1207轴向移动。
可感知姿态骨架21获取各关键点相对于基准点的三维坐标的过程为：利用手指各个活动关节上的电位计获取手指各个关节相对于上个关节的旋转角度，并根据获取得到的旋转角度和手指各个关节几何尺寸建立连杆DH坐标系以及DH参数；根据连杆DH参数计算出各关键点齐次变换矩阵H，第i个关键点齐次变换矩阵Hi中的平移矩阵Ti中包含第i个关键点相对于基准点的三维坐标，平移矩阵Ti为：
Figure BDA0002826969740000091
其中，xi、yi、zi为第i个关键点相对于基准点的三维坐标。进一步地，第i个关键点相对于图像采集单元3的空间三维坐标Pi为：
Figure BDA0002826969740000092
其中，d和h分别为基准点相对于图像采集单元3的长度和高度。进一步地，以图像采集单元3为相机为例，则d和h分别为基准点相对于摄像头光心的水平位置和竖直位置。
本发明实施例中，空间三维坐标与图像坐标之间的映射关系式为：
Figure BDA0002826969740000093
其中，K为图像采集单元3的内参矩阵，pxi、pyi为第i个关键点在图像坐标系下的二维图像坐标。由此，便可获得各关键点在图像坐标系下的坐标(pxi，pyi)。
本实施例中，根据相机标定原理获得图像采集单元3的内参矩阵K，内参矩阵K为：
Figure BDA0002826969740000101
其中，fx为相机焦距沿图像坐标系x轴方向的系数，fy为相机焦距沿图像坐标系y轴方向的系数，s为扭曲参数，x0、y0为主点偏移量。
进一步地，图像采集单元3还用于采集并生成仿真手部模型2的图像。例如实时采集当前视野图像并以彩色图像格式存储。运算单元4根据得到的各关键点在图像坐标系下的二维图像坐标在仿真手部模型2的图像中标注出各关键点，以自动完成手部关键点标注。
快速生成手部关键点数据集的装置还包括存储单元5，用于存储仿真手部模型2的图像和各关键点在图像坐标系下的二维图像坐标。进一步地，存储单元5还可用于对标注结果进行保存。可以调整仿真手部模型2的姿态，或者更换不同人种、不同年龄、不同性别的仿真外壳22，进行下一次手部关键点标注；将每次标注数据以一定形式存入存储单元5，生成手部关键点数据集，从而快速生成手部关键点数据集。
本发明另一实施例还提供了一种快速生成手部关键点数据集的方法，方法包括：获取手部各关键点相对于基准点的三维坐标，并采集与基准点之间的长度和高度；根据各关键点相对于基准点的三维坐标、上述长度和高度，计算各关键点对应的空间三维坐标；并根据空间三维坐标与图像坐标之间的映射关系式，计算各关键点在图像坐标系下的二维图像坐标。
本实施例中，该方法与图1-图8所示实施例中图像采集单元3和运算单元4的工作过程相同，此处不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种快速生成手部关键点数据集的装置，其特征在于，包括：运算单元(4)、直线导轨(1)、以及设置在所述直线导轨(1)上的仿真手部模型(2)和图像采集单元(3)；
所述直线导轨(1)用于调整所述仿真手部模型(2)和图像采集单元(3)之间的长度距离；
所述仿真手部模型(2)中设置有多个关键点和一基准点，用于感知各所述关键点相对于所述基准点的三维坐标；
所述图像采集单元(3)用于采集所述基准点相对于所述图像采集单元(3)的长度和高度；
所述运算单元(4)用于根据各所述关键点相对于所述基准点的三维坐标、所述长度和高度，计算各所述关键点相对于所述图像采集单元(3)的空间三维坐标；并根据所述空间三维坐标与图像坐标之间的映射关系式，计算各所述关键点在图像坐标系下的二维图像坐标。
2.如权利要求1所述的快速生成手部关键点数据集的装置，其特征在于，所述图像采集单元(3)还用于采集并生成所述仿真手部模型(2)的图像；
所述运算单元(4)还用于根据各所述关键点在图像坐标系下的二维图像坐标在所述图像中标注出各所述关键点。
3.如权利要求2所述的快速生成手部关键点数据集的装置，其特征在于，还包括存储单元(5)，用于存储所述图像和各所述关键点在图像坐标系下的二维图像坐标。
4.如权利要求1所述的快速生成手部关键点数据集的装置，其特征在于，各所述关键点相对于所述图像采集单元(3)的空间三维坐标Pi为：
Figure FDA0002826969730000021
其中，xi、yi、zi为第i个关键点相对于所述基准点的三维坐标，d和h分别为所述基准点相对于所述图像采集单元(3)的长度和高度。
5.如权利要求4所述的快速生成手部关键点数据集的装置，其特征在于，所述映射关系式为：
Figure FDA0002826969730000022
其中，K为所述图像采集单元(3)的内参矩阵，pxi、pyi为第i个关键点在图像坐标系下的二维图像坐标。
6.如权利要求1-5任一项所述的快速生成手部关键点数据集的装置，其特征在于，所述仿真手部模型(2)包括：
可感知姿态骨架(21)，用于感知各所述关键点相对于所述基准点的三维坐标；
仿真外壳(22)，均匀包裹在所述可感知姿态骨架(21)外部，用于模拟真实手部皮肤。
7.如权利要求6所述的快速生成手部关键点数据集的装置，其特征在于，所述可感知姿态骨架(21)中各手指骨架的活动关节处设置有角度传感器，用于获取各关节的旋转角度，以根据各关节的旋转角度以及尺寸计算各所述关键点相对于所述基准点的三维坐标。
8.如权利要求7所述的快速生成手部关键点数据集的装置，其特征在于，所述各手指骨架中相邻活动关节之间通过轴承连接，用于减少相连活动关节之间的阻力；所述各手指骨架中各指段上套设有回正弹簧，用于回正所述各指段；所述各手指骨架中各指段上卡套有卡簧，用于在轴向方向上固定所述各指段和所述回正弹簧。
9.如权利要求6所述的快速生成手部关键点数据集的装置，其特征在于，所述仿真外壳(22)的材料为橡胶、塑料或金属。
10.一种快速生成手部关键点数据集的方法，其特征在于，包括：
获取手部各关键点相对于基准点的三维坐标，并采集与所述基准点之间的长度和高度；
根据各所述关键点相对于所述基准点的三维坐标、所述长度和高度，计算各所述关键点对应的空间三维坐标；并根据所述空间三维坐标与图像坐标之间的映射关系式，计算各所述关键点在图像坐标系下的二维图像坐标。
CN202011462762.5A 2020-12-10 2020-12-10 一种快速生成手部关键点数据集的装置及方法 Pending CN112416134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011462762.5A CN112416134A (zh) 2020-12-10 2020-12-10 一种快速生成手部关键点数据集的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011462762.5A CN112416134A (zh) 2020-12-10 2020-12-10 一种快速生成手部关键点数据集的装置及方法

Publications (1)

Publication Number Publication Date
CN112416134A true CN112416134A (zh) 2021-02-26

Family

ID=74775749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011462762.5A Pending CN112416134A (zh) 2020-12-10 2020-12-10 一种快速生成手部关键点数据集的装置及方法

Country Status (1)

Country Link
CN (1) CN112416134A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550203A (zh) * 2022-01-11 2022-05-27 南昌虚拟现实研究院股份有限公司 关节关键点的三维坐标的确定方法及其相关设备
CN115527235A (zh) * 2022-09-27 2022-12-27 内蒙古工业大学 一种基于图像处理识别蒙医手部穴位的方法与装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318152A1 (en) * 2018-04-12 2019-10-17 Omron Corporation Image analysis apparatus, method, and program
CN110443154A (zh) * 2019-07-15 2019-11-12 北京达佳互联信息技术有限公司 关键点的三维坐标定位方法、装置、电子设备和存储介质
CN111523485A (zh) * 2020-04-24 2020-08-11 浙江商汤科技开发有限公司 位姿识别方法及装置、电子设备和存储介质
CN111860275A (zh) * 2020-05-12 2020-10-30 青岛小鸟看看科技有限公司 手势识别数据采集系统、方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318152A1 (en) * 2018-04-12 2019-10-17 Omron Corporation Image analysis apparatus, method, and program
CN110443154A (zh) * 2019-07-15 2019-11-12 北京达佳互联信息技术有限公司 关键点的三维坐标定位方法、装置、电子设备和存储介质
CN111523485A (zh) * 2020-04-24 2020-08-11 浙江商汤科技开发有限公司 位姿识别方法及装置、电子设备和存储介质
CN111860275A (zh) * 2020-05-12 2020-10-30 青岛小鸟看看科技有限公司 手势识别数据采集系统、方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
52CV.NET: "OpenCV深度学习手部关键点检测（手势识别）代码示例", 《我爱计算机视觉》 *
52CV.NET: "OpenCV深度学习手部关键点检测（手势识别）代码示例", 《我爱计算机视觉》, 10 October 2018 (2018-10-10), pages 0002 - 0063 *
张磊等: "《大学计算机基础》", 31 August 2016, 北京邮电大学出版社, pages: 175 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550203A (zh) * 2022-01-11 2022-05-27 南昌虚拟现实研究院股份有限公司 关节关键点的三维坐标的确定方法及其相关设备
CN114550203B (zh) * 2022-01-11 2024-10-01 南昌虚拟现实研究院股份有限公司 关节关键点的三维坐标的确定方法及其相关设备
CN115527235A (zh) * 2022-09-27 2022-12-27 内蒙古工业大学 一种基于图像处理识别蒙医手部穴位的方法与装置

Similar Documents

Publication Publication Date Title
CN108765498B (zh) 单目视觉跟踪方法、装置及存储介质
CN107160364B (zh) 一种基于机器视觉的工业机器人示教系统及方法
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
CN100585329C (zh) 基于指端标记的视频手指定位系统及其定位方法
CN113362452B (zh) 一种手部姿态三维重建方法、装置及存储介质
CN109910016A (zh) 基于多自由度机械臂的视觉采集标定方法、装置及系统
US7756364B2 (en) Digital pen and paper system
CN101799717A (zh) 基于手部行为捕捉的人机交互方法
KR20000017755A (ko) 몸 동작에 대한 데이터 획득 방법
CN112416134A (zh) 一种快速生成手部关键点数据集的装置及方法
Baak et al. Analyzing and evaluating markerless motion tracking using inertial sensors
Zhang et al. A real-time upper-body robot imitation system
Ohkawa et al. Efficient annotation and learning for 3d hand pose estimation: A survey
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
CN112927290A (zh) 基于传感器的裸手数据标注方法及系统
CN114840079B (zh) 一种基于手势识别的高铁模拟驾驶动作虚实交互方法
JP2014117409A (ja) 身体関節位置の計測方法および装置
CN112181135B (zh) 一种基于增强现实的6-dof视触觉交互方法
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
CN115601824A (zh) 一种二维图像中人眼凝视方向的标注装置、系统和方法
CN116206189A (zh) 一种曲面图形标识码及其识别方法
CN111860275B (zh) 手势识别数据采集系统、方法
US20220198747A1 (en) Method for annotating points on a hand image to create training dataset for machine learning
CN114926542A (zh) 基于光学定位系统的混合现实固定参考系校准方法
CN114220149A (zh) 一种头部姿势真值的获取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226