[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108830861A - 一种混合光学运动捕捉方法及系统 - Google Patents

一种混合光学运动捕捉方法及系统 Download PDF

Info

Publication number
CN108830861A
CN108830861A CN201810519253.8A CN201810519253A CN108830861A CN 108830861 A CN108830861 A CN 108830861A CN 201810519253 A CN201810519253 A CN 201810519253A CN 108830861 A CN108830861 A CN 108830861A
Authority
CN
China
Prior art keywords
module
infrared
dimensional data
color
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810519253.8A
Other languages
English (en)
Inventor
苗鹏
苏兆成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI UNIVERSITY
Original Assignee
SHANGHAI UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI UNIVERSITY filed Critical SHANGHAI UNIVERSITY
Priority to CN201810519253.8A priority Critical patent/CN108830861A/zh
Publication of CN108830861A publication Critical patent/CN108830861A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种混合光学运动捕捉方法及系统,所述方法首先对每台捕捉相机进行颜色校正;再每一台捕捉相机对纯红外图像中的标记点进行定位;再根据定位识别可见光图像中对应位置标记点的编号;然后对可能存在的遮挡或者丢失的标记点进行二维数据修补;然后将二维数据重建为三维数据;最后把所述重建三维数据发送至应用端。所述系统包括颜色校正模块、红外捕捉服,采集模块、定位模块、识别模块、修补模块、重建模块、传输模块、应用模块。本发明可以解决捕捉过程中的标记点遮挡,避免运动捕捉数据繁杂的后处理,同时也降低光学式运动捕捉使用成本。

Description

一种混合光学运动捕捉方法及系统
技术领域
本发明涉及一种混合光学运动捕捉方法及系统,属于人机交互领域,尤其涉及光学动作捕捉以及遮挡下的捕捉数据处理。
背景技术
近些年来随着机器视觉技术的持续发展与计算机硬件的不断升级,动作捕捉技术已经被广泛地运用到了影视制作、运动训练、互动游戏等领域中。按照工作原理的不同,运动捕捉基本可以分为以下几类:机械式、电磁式、声学式、惯性式、光学式等。在这之中光学式运动捕捉以其高精度、运动受限小、采样频率高等优点被广泛运用于电影制作等专业场合中。在进行光学动捕时,捕捉对象的主要关节点被贴上一些特制的红外标记点,红外相机根据标记点反射的红外光确定其在二维图像中的位置。根据立体视觉原理,如果一个标记点可同时为两部红外相机所见,即可根据相机间标定的位置参数计算出这个标记点在三维空间中的三维位置。
因为红外标记点一般为无差别的灰色反光球,在进行捕捉时系统无法直接区别标记点对应的空间坐标,各标记点被表现为一系列无序的三维坐标。所以光学式运动捕捉在开始时需要演员做出预设的姿势,一般是T-pose,来建立标记点与人体关节刚体的映射关系。这其中往往需要使用预制的模板,用预设的人体几何约束形状对各标记点进行匹配来获取标记点的特异性信息。而在另一方面,在运动过程中标记点容易出现遮挡情况,导致对应的关节检测失效,又或者是在复杂运动中各标记点之间的约束变形过大失效,导致标记点信息发生混淆等,同时影响后续数据的处理计算。这些情况的发生会导致光学式动捕的实时演示效果不佳,而在数据的后处理中则需要人工进行大量的数据清洗修复工作。解决这类问题的直接办法是增加红外捕捉相机的数量,尽可能地增强相机的覆盖能力,但这样又增加了系统的运行开销与使用成本。
发明内容
针对现有技术存在的缺陷,本发明的目的在于提供一种混合光学运动捕捉方法及系统,同时利用可见光图像与红外图像,用颜色编码直接检测红外标记点的编号避免散乱数据的匹配,以内部插值修补缺失的数据,以克服当前光学式运动捕捉易受遮挡影响,数据后处理繁杂,使用成本高的问题。
为达到上述目的,本发明采用如下技术方案:
一种混合光学运动捕捉方法,包括以下步骤:
101.对每台捕捉相机进行颜色校正;
102.每台捕捉相机对纯红外图像中的标记点进行定位;
103.根据所述定位识别可见光图像中对应位置标记点的编号;
104.对可能存在的遮挡或者丢失的标记点进行二维数据修补;
105.将所有捕捉相机获取的二维数据重建为三维数据;
106.把所述三维数据发送至应用端。
所述步骤101中对每台捕捉相机进行颜色校正,包括:
a.使用此相机采集标准色板的可见光彩色图像;
b.计算所述标准色板图像在此相机环境的下颜色特征;
c.计算所述颜色特征与标准色板在标准环境下的颜色特征的映射函数;
d.通过所述映射函数对此相机图像进行颜色校正。
所述步骤102中标记点定位是通过对红外图像进行灰度阈值分割与形态学处理,快速地找到所有标记点在红外图像中的二维位置。
所述步骤103中标记点识别是通过红外图像采集单元与可见光图像采集单元的位置标定关系,获取可见光图像中标记点的位置,此时可见光图像已经过颜色校正,进一步准确地根据颜色识别标记点的编号。
所述步骤104中数据修补是通过检测得知哪些编号的标记点缺失,利用标记点运动在时间上的连续性,使用局部插值方法计算缺失的二维数据。
所述步骤105中数据重建是利用立体视觉原理重构各标记点的三维信息,所使用的经过修补后的二维数据总是完整的。
一种混合光学运动捕捉系统,包括颜色校正模块,红外捕捉服,采集模块,定位模块,识别模块,修补模块,重建模块,传输模块,应用模块;其中,
颜色校正模块,用于各捕捉相机在不同环境下的颜色校正;
红外捕捉服,用于使用红外反光标记点标记人体各个部位;
采集模块,用于同时采集红外图像与可见光图像;
定位模块,用于定位红外图像中的标记点位置;
识别模块,用于识别在可见光图像中标记点的编号;
修补模块,用于对可能存在的缺失标记点进行二维数据修补;
重建模块,用于将红外相机的二维数据重建为三维数据;
传输模块,用于将所述重建三维数据传输至应用模块;
应用模块,用于将所述三维数据进行具体应用。
所述红外捕捉服使用不同颜色的红外反光标记点标记人体各部位,根据颜色的不同,每个标记点有唯一对应的编号。
所述采集模块包括红外图像采集单元和可见光图像采集单元,能同时采集红外图像与可见光图像,两种图像视野之间的位置关系通过相机标定获得。
本发明同现有技术相比具有以下优点及效果:
本发明方法无需对数据进行后处理匹配,无需使用预制姿势与模板来匹配标记点,可直接识别每一个红外标记点的具体编号,避免标记点混淆;对于标记点遮挡,可直接实时在二维数据上进行修补,保证数据的完整性;进而降低捕捉相机的数量要求,降低光学式动作捕捉的使用成本。
附图说明
图1为本发明实施例所述的一种混合光学式运动捕捉方法流程示意图。
图2为本发明实施例所述的红外标记点空间分布图。
图3为本发明实施例所述的人体关节点空间分布图。
图4为本发明实施例所述的一种混合光学式运动捕捉方法系统示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明优选实施例和附图,对本发明的技术方案进行清楚、完整地描述。
如图1所示,一种混合光学运动捕捉方法,包括以下步骤:
101.对每台捕捉相机进行颜色校正;
102.每台捕捉相机对纯红外图像中的标记点进行定位;
103.根据所述定位识别可见光图像中对应位置标记点的编号;
104.对可能存在的遮挡或者丢失的标记点进行二维数据修补;
105.将所有捕捉相机获取的二维数据重建为三维数据;
106.把所述三维数据发送至应用端。
所述步骤101中对每台捕捉相机进行颜色校正,包括:
a.使用此相机采集标准色板的可见光彩色图像;
b.计算所述标准色板图像在此相机环境的下颜色特征;
c.计算所述颜色特征与标准色板在标准环境下的颜色特征的映射函数;
d.通过所述映射函数对此相机图像进行颜色校正。
所述步骤101针对各个摄像机不同的图像环境,即不同的光照、设备色差等,对图像的颜色做出调整补偿来抵消其对颜色识别所造成的影响。要做出颜色校正,可以通过误差反向传播神经网络来训练校正映射函数,将标准色板在标准环境与非标准环境下的图像作为训练样本。输入层采用3个神经元节点,对应待校正的三通道RGB值;隐含层采用12个神经元节点,Sigmoid函数为激活函数;输出层采用3个神经元节点,对应校正的三通道RGB值;并且采用动量法和学习率进行自适应调整地来学习映射函数。
所述步骤102中标记点定位是通过对红外图像进行灰度阈值分割,再通过中值滤波与腐蚀操作去除图像噪声,获得干净的二值的图像,快速地找到所有标记点在红外图像中的二维位置。
所述步骤103中标记点识别是通过红外图像采集单元与可见光图像采集单元的位置标定关系,获取可见光图像中标记点的位置,然后根据此位置的RGB值,取与其欧氏距离最小的标准颜色编码作为这点的编号。
所述步骤104中数据修补可通过检测得知哪些编号的标记点缺失,利用标记点运动在时间上的连续性,使用三次样条插值法对红外图像中缺失的标记点进行插值,得到完整的标记点二维数据。
所述步骤105中数据重建是利用立体视觉原理重构各标记点的三维信息,所使用的经过修补后的二维数据总是完整的。
如图4所示,一种混合光学运动捕捉系统,包括颜色校正模块21,红外捕捉服22,采集模块23,定位模块24,识别模块25,修补模块26,重建模块27,传输模块28,应用模块29;其中,
颜色校正模块21,用于各捕捉相机在不同环境下的颜色校正;
红外捕捉服22,用于使用红外反光标记点标记人体各个部位;
采集模块23,用于同时采集红外图像与可见光图像;
定位模块24,用于定位红外图像中的标记点位置;
识别模块25,用于识别在可见光图像中标记点的编号;
修补模块26,用于对可能存在的缺失标记点进行二维数据修补;
重建模块27,用于将红外相机的二维数据重建为三维数据;
传输模块28,用于将所述重建三维数据传输至应用模块29;
应用模块29,用于将所述三维数据进行具体应用。
所述红外捕捉服22使用不同颜色的红外反光标记点标记人体各部位,根据颜色的不同,每个标记点有唯一对应的编号。本实施例中共有32个标记点,遍及头部、手臂、胸部、肩膀、腰部、腿部、脚部等,其空间分布如图2所示,其标准颜色编码RGB如下表所示:
所述采集模块23包括红外图像采集单元231和可见光图像采集单元232,可以是成组的红外相机与可见光相机,用固定的模式放置,能同时采集红外图像与可见光图像,两种图像视野之间的位置关系通过相机标定获得。
所述重建模块27利用立体视觉原理重构各标记点的三维信息,构成的关节点为16个,其空间分布如图3所示。

Claims (9)

1.一种混合光学运动捕捉方法,其特征在于,包括以下步骤:
101.对每台捕捉相机进行颜色校正;
102.每台捕捉相机对纯红外图像中的标记点进行定位;
103.根据所述定位识别可见光图像中对应位置标记点的编号;
104.对可能存在的遮挡或者丢失的标记点进行二维数据修补;
105.将所有捕捉相机获取的二维数据重建为三维数据;
106.把所述三维数据发送至应用端。
2.如权利要求1所述的混合光学运动捕捉方法,其特征在于,所述步骤101中对每台捕捉相机进行颜色校正,包括:
a.使用此相机采集标准色板的可见光彩色图像;
b.计算所述标准色板图像在此相机环境的下颜色特征;
c.计算所述颜色特征与标准色板在标准环境下的颜色特征的映射函数;
d.通过所述映射函数对此相机图像进行颜色校正。
3.如权利要求1所述的混合光学运动捕捉方法,其特征在于,所述步骤102中标记点定位是通过对红外图像进行灰度阈值分割与形态学处理,快速地找到所有标记点在红外图像中的二维位置。
4.如权利要求1所述的混合光学运动捕捉方法,其特征在于,所述步骤103中标记点识别是通过红外图像采集单元与可见光图像采集单元的位置标定关系,获取可见光图像中标记点的位置,此时可见光图像已经过颜色校正,进一步准确地根据颜色识别标记点的编号。
5.如权利要求1所述的混合光学运动捕捉方法,其特征在于,所述步骤104中数据修补是通过检测得知哪些编号的标记点缺失,利用标记点运动在时间上的连续性,使用局部插值方法计算缺失的二维数据。
6.如权利要求1所述的混合光学运动捕捉方法,其特征在于,所述步骤105中数据重建是利用立体视觉原理重构各标记点的三维信息,所使用的经过修补后的二维数据总是完整的。
7.一种混合光学运动捕捉系统,其特征在于,包括颜色校正模块(21),红外捕捉服(22),采集模块(23),定位模块(24),识别模块(25),修补模块(26),重建模块(27),传输模块(28),应用模块(29);其中,
颜色校正模块(21),用于各捕捉相机在不同环境下的颜色校正;
红外捕捉服(22),用于使用红外反光标记点标记人体各个部位;
采集模块(23),用于同时采集红外图像与可见光图像;
定位模块(24),用于定位红外图像中的标记点位置;
识别模块(25),用于识别在可见光图像中标记点的编号;
修补模块(26),用于对可能存在的缺失标记点进行二维数据修补;
重建模块(27),用于将红外相机的二维数据重建为三维数据;
传输模块(28),用于将所述重建三维数据传输至应用模块(29);
应用模块(29),用于将所述三维数据进行具体应用。
8.如权利要求7所述的混合光学运动捕捉系统,其特征在于,所述红外捕捉服(22)使用不同颜色的红外反光标记点标记人体各部位,根据颜色的不同,每个标记点有唯一对应的编号。
9.如权利要求7所述的混合光学运动捕捉系统,其特征在于,所述采集模块(23)包括红外图像采集单元(231)和可见光图像采集单元(232),能同时采集红外图像与可见光图像,两种图像视野之间的位置关系通过相机标定获得。
CN201810519253.8A 2018-05-28 2018-05-28 一种混合光学运动捕捉方法及系统 Pending CN108830861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810519253.8A CN108830861A (zh) 2018-05-28 2018-05-28 一种混合光学运动捕捉方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810519253.8A CN108830861A (zh) 2018-05-28 2018-05-28 一种混合光学运动捕捉方法及系统

Publications (1)

Publication Number Publication Date
CN108830861A true CN108830861A (zh) 2018-11-16

Family

ID=64145733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810519253.8A Pending CN108830861A (zh) 2018-05-28 2018-05-28 一种混合光学运动捕捉方法及系统

Country Status (1)

Country Link
CN (1) CN108830861A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442153A (zh) * 2019-07-10 2019-11-12 佛山科学技术学院 一种被动式光学动捕系统摄像机校正控制方法及系统
CN110796701A (zh) * 2019-10-21 2020-02-14 深圳市瑞立视多媒体科技有限公司 标记点的识别方法、装置、设备及存储介质
CN113012126A (zh) * 2021-03-17 2021-06-22 武汉联影智融医疗科技有限公司 标记点重建方法、装置、计算机设备和存储介质
CN113505637A (zh) * 2021-05-27 2021-10-15 成都威爱新经济技术研究院有限公司 一种用于直播流的实时虚拟主播动作捕捉方法及系统
CN113989937A (zh) * 2021-11-09 2022-01-28 武汉七月猫动漫设计有限公司 一种人体运动轨迹捕捉系统及实施方法
CN114969623A (zh) * 2022-07-28 2022-08-30 江西财经大学 用于鳞翅目昆虫运动捕捉的数据处理方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106175780A (zh) * 2016-07-13 2016-12-07 天远三维(天津)科技有限公司 面肌运动捕捉分析系统及其分析方法
CN106600627A (zh) * 2016-12-07 2017-04-26 成都通甲优博科技有限责任公司 一种基于标志点的刚体运动捕捉方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106175780A (zh) * 2016-07-13 2016-12-07 天远三维(天津)科技有限公司 面肌运动捕捉分析系统及其分析方法
CN106600627A (zh) * 2016-12-07 2017-04-26 成都通甲优博科技有限责任公司 一种基于标志点的刚体运动捕捉方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
佟颖: ""基于红外与可见光双波段图像的立体视觉关键技术研究"", 《中国博士学位论文全文数据库 信息科技辑》 *
李青: ""光学式人体运动捕捉数据处理研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442153A (zh) * 2019-07-10 2019-11-12 佛山科学技术学院 一种被动式光学动捕系统摄像机校正控制方法及系统
CN110442153B (zh) * 2019-07-10 2022-03-25 佛山科学技术学院 一种被动式光学动捕系统摄像机校正控制方法及系统
CN110796701A (zh) * 2019-10-21 2020-02-14 深圳市瑞立视多媒体科技有限公司 标记点的识别方法、装置、设备及存储介质
CN110796701B (zh) * 2019-10-21 2022-06-07 深圳市瑞立视多媒体科技有限公司 标记点的识别方法、装置、设备及存储介质
CN113012126A (zh) * 2021-03-17 2021-06-22 武汉联影智融医疗科技有限公司 标记点重建方法、装置、计算机设备和存储介质
CN113012126B (zh) * 2021-03-17 2024-03-22 武汉联影智融医疗科技有限公司 标记点重建方法、装置、计算机设备和存储介质
CN113505637A (zh) * 2021-05-27 2021-10-15 成都威爱新经济技术研究院有限公司 一种用于直播流的实时虚拟主播动作捕捉方法及系统
CN113989937A (zh) * 2021-11-09 2022-01-28 武汉七月猫动漫设计有限公司 一种人体运动轨迹捕捉系统及实施方法
CN113989937B (zh) * 2021-11-09 2024-07-26 武汉七月猫动漫设计有限公司 一种人体运动轨迹捕捉系统及实施方法
CN114969623A (zh) * 2022-07-28 2022-08-30 江西财经大学 用于鳞翅目昆虫运动捕捉的数据处理方法与系统
CN114969623B (zh) * 2022-07-28 2022-10-25 江西财经大学 用于鳞翅目昆虫运动捕捉的数据处理方法与系统

Similar Documents

Publication Publication Date Title
CN108830861A (zh) 一种混合光学运动捕捉方法及系统
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
US9047507B2 (en) Upper-body skeleton extraction from depth maps
EP2707834B1 (en) Silhouette-based pose estimation
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
US10706556B2 (en) Skeleton-based supplementation for foreground image segmentation
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
Fan et al. A shape-based stereo matching algorithm for binocular vision
KR20100062320A (ko) 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
CN115035546B (zh) 三维人体姿态检测方法、装置及电子设备
CN112365578A (zh) 基于双摄像机的三维人体模型重构系统及方法
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
Wang et al. 3D modeling from wide baseline range scans using contour coherence
JP7498404B2 (ja) 被写体の3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム
EP3776338A1 (en) Pose estimation using radio frequency signals
CN113487726A (zh) 动作捕捉系统和方法
CN113421286B (zh) 一种动作捕捉系统及方法
Biasi et al. Garment-based motion capture (GaMoCap): high-density capture of human shape in motion
Desai et al. Combining skeletal poses for 3D human model generation using multiple Kinects
US8948461B1 (en) Method and system for estimating the three dimensional position of an object in a three dimensional physical space
CN111860275B (zh) 手势识别数据采集系统、方法
Hui et al. Surface measurement based on instantaneous random illumination
JP3860287B2 (ja) 動き抽出処理方法,動き抽出処理装置およびプログラム記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116

RJ01 Rejection of invention patent application after publication