CN110378855A - 一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法 - Google Patents
一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法 Download PDFInfo
- Publication number
- CN110378855A CN110378855A CN201910648258.5A CN201910648258A CN110378855A CN 110378855 A CN110378855 A CN 110378855A CN 201910648258 A CN201910648258 A CN 201910648258A CN 110378855 A CN110378855 A CN 110378855A
- Authority
- CN
- China
- Prior art keywords
- data set
- personage
- model
- file
- topological structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013179 statistical model Methods 0.000 title claims abstract description 18
- 230000008921 facial expression Effects 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 239000000203 mixture Substances 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000009499 grossing Methods 0.000 claims abstract description 4
- 230000010354 integration Effects 0.000 claims abstract description 4
- 238000010801 machine learning Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法，包括如下步骤：S1：通过基于开源的人物模型数据集获取相应数据；S2：利用mano模型通过icp算法拟合开源的数据集得到包含smpl拓扑结构的身体新数据集；S3：利用flame模型通过icp算法拟合开源数据的头部得到含有flame拓扑结构的新数据集；S4：整合拟合好的身体数据和头部数据得到新的含有相同拓扑结构的新数据集；S5：通过机器学习的pca算法得到新数据集的身形的blend shape；S6：通过对比新数据集生成对应的pkl文件；S7：通过编写fbx sdk代码，将pkl文件转换为maya能使用的fbx文件用于3D引擎的校验；S8：通过Delta Mush算法将头部和身体的skinning weights平滑处理。
Description
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法。
背景技术
人物姿态捕捉与三维重建一直是计算机视觉和计算机图形学领域中的一个热门应用。基础的人物统计模型SMPL一直在计算机图形和深度学习领域得到了广泛的应用。近期的头部统计模型flame也在语音方面得到应用，手部模型mano在手势检测方面也得到很多应用。但是三者都是独立的。此后total-capture和其后续工作都是分别对身体，头部，手部独立从视频建模运算成本较高。最新的cvpr2019中的smpl-expression将头部、手部、身体整合成了一个统一的统计模型，我们的统计模型也是这样，但是我们的模型相比于smpl-expression最大的优势是其训练成本不高而且基本上和smpl-expression有相似的效果。为此，我们提出了一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法。
发明内容
本发明提出了一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法，以解决上述背景技术中提出的问题。
本发明提出了一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法，包括如下步骤：
S1：通过基于开源的人物模型数据集获取相应数据；
S2：利用mano模型通过icp算法拟合开源的数据集得到包含smpl拓扑结构的身体新数据集；
S3：利用flame模型通过icp算法拟合开源数据的头部得到含有flame拓扑结构的新数据集；
S4：整合拟合好的身体数据和头部数据得到新的含有相同拓扑结构的新数据集；
S5：通过机器学习的pca算法得到新数据集的身形的blend shape；
S6：通过对比新数据集与mano和flame的拓扑结构迁移其对应点的blend shape、skinning weights和joint regressor参数从而生成初始状态的统计人物统计模型，并生成对应的pkl文件；
S7：通过编写fbx sdk代码，将pkl文件转换为maya能使用的fbx文件用于3D引擎的校验；
S8：通过Delta Mush算法将头部和身体的skinning weights平滑处理，通过撰写maya脚本将平滑后的skinning weights导出为maya文件；
S9：将导出的maya文件替换初始模型的skinning weights得到最终模型。
本发明提出的一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法，有益效果在于：本发明利用icp算法以及pca算法的共同作用，从而能够构建包含人物身形、面部表情、手势、姿态动作的人物统计模型，且能够显著区分虚拟人物角色，效率高、易分辨。本发明构建三维虚拟人物的技术可应用于3D游戏中，将传统游戏中的完全虚拟人物换成与用户人脸相似的虚拟人物，能够增加真实感和趣味性、提升用户体验，符合现在发展的需要。
具体实施方式
下面结合具体实施例来对本发明做进一步说明。
本发明提出了一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法，包括如下步骤：
S1：通过基于开源的人物模型数据集获取相应数据；
S2：利用mano模型通过icp算法拟合开源的数据集得到包含smpl拓扑结构的身体新数据集；
S3：利用flame模型通过icp算法拟合开源数据的头部得到含有flame拓扑结构的新数据集；
S4：整合拟合好的身体数据和头部数据得到新的含有相同拓扑结构的新数据集；
S5：通过机器学习的pca算法得到新数据集的身形的blend shape；
S6：通过对比新数据集与mano和flame的拓扑结构迁移其对应点的blend shape、skinning weights和joint regressor参数从而生成初始状态的统计人物统计模型，并生成对应的pkl文件；
S7：通过编写fbx sdk代码，将pkl文件转换为maya能使用的fbx文件用于3D引擎的校验；
S8：通过Delta Mush算法将头部和身体的skinning weights平滑处理，通过撰写maya脚本将平滑后的skinning weights导出为maya文件；
S9：将导出的maya文件替换初始模型的skinning weights得到最终模型。
传统的linear blend skinning模型变形公式为：
其中是静态的模型，J是模型骨架关键点的空间坐标，是各个节点的旋转信息，W是骨骼蒙皮的权重，N为模型点的个数，K为骨骼点的个数。
本发明的模型为：
其中对应传统linear blend skinning为不同的是它含有包含人物身形补偿：人物姿态补偿：
和人物的面部表情补偿：其余变量与传统方法一一对应。
中S为我们从新数据集中学到的人物的pca身形空间，为其维度我们只需给定一个长度为其维度大小的向量就可以通过上面的公式得到身形的补偿。同理也是一样的只不过E为表情空间。而在中P为通过大量的数据通过线性回归得到的姿态与插补值之间的映射关系。
综上可知，本发明利用icp算法以及pca算法的共同作用，从而能够构建包含人物身形、面部表情、手势、姿态动作的人物统计模型，且能够显著区分虚拟人物角色，效率高、易分辨。本发明构建三维虚拟人物的技术可应用于3D游戏中，将传统游戏中的完全虚拟人物换成与用户人脸相似的虚拟人物，能够增加真实感和趣味性、提升用户体验，符合现在发展的需要。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (1)
1.一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法，其特征在于，包括以下步骤：
S1：通过基于开源的人物模型数据集获取相应数据；
S2：利用mano模型通过icp算法拟合开源的数据集得到包含smpl拓扑结构的身体新数据集；
S3：利用flame模型通过icp算法拟合开源数据的头部得到含有flame拓扑结构的新数据集；
S4：整合拟合好的身体数据和头部数据得到新的含有相同拓扑结构的新数据集；
S5：通过机器学习的pca算法得到新数据集的身形的blend shape；
S6：通过对比新数据集与mano和flame的拓扑结构迁移其对应点的blend shape、skinning weights和joint regressor参数从而生成初始状态的统计人物统计模型，并生成对应的pkl文件；
S7：通过编写fbx sdk代码，将pkl文件转换为maya能使用的fbx文件用于3D引擎的校验；
S8：通过Delta Mush算法将头部和身体的skinning weights平滑处理，通过撰写maya脚本将平滑后的skinning weights导出为maya文件；
S9：将导出的maya文件替换初始模型的skinning weights得到最终模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910648258.5A CN110378855B (zh) | 2019-07-18 | 2019-07-18 | 一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910648258.5A CN110378855B (zh) | 2019-07-18 | 2019-07-18 | 一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110378855A true CN110378855A (zh) | 2019-10-25 |
| CN110378855B CN110378855B (zh) | 2023-04-25 |
Family
ID=68253718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910648258.5A Active CN110378855B (zh) | 2019-07-18 | 2019-07-18 | 一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378855B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408433A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种智能监控的手势识别方法、装置、设备和存储介质 |
| CN113408434A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种智能监控的表情识别方法、装置、设备和存储介质 |
| CN113408435A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种安全监控方法、装置、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005141305A (ja) * | 2003-11-04 | 2005-06-02 | Advanced Telecommunication Research Institute International | 顔表情推定装置、顔表情推定方法および顔表情推定プログラム |
| US20110292055A1 (en) * | 2010-05-25 | 2011-12-01 | Disney Enterprises, Inc. | Systems and methods for animating non-humanoid characters with human motion data |
| CN106778628A (zh) * | 2016-12-21 | 2017-05-31 | 张维忠 | 一种基于tof深度相机的面部表情捕捉方法 |
-
2019
- 2019-07-18 CN CN201910648258.5A patent/CN110378855B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005141305A (ja) * | 2003-11-04 | 2005-06-02 | Advanced Telecommunication Research Institute International | 顔表情推定装置、顔表情推定方法および顔表情推定プログラム |
| US20110292055A1 (en) * | 2010-05-25 | 2011-12-01 | Disney Enterprises, Inc. | Systems and methods for animating non-humanoid characters with human motion data |
| CN106778628A (zh) * | 2016-12-21 | 2017-05-31 | 张维忠 | 一种基于tof深度相机的面部表情捕捉方法 |
Non-Patent Citations (1)
| Title |
|---|
| 裴玉茹等: "真实感人脸的形状与表情空间", 《计算机辅助设计与图形学学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408433A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种智能监控的手势识别方法、装置、设备和存储介质 |
| CN113408434A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种智能监控的表情识别方法、装置、设备和存储介质 |
| CN113408435A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种安全监控方法、装置、设备和存储介质 |
| CN113408434B (zh) * | 2021-06-22 | 2023-12-05 | 华侨大学 | 一种智能监控的表情识别方法、装置、设备和存储介质 |
| CN113408435B (zh) * | 2021-06-22 | 2023-12-05 | 华侨大学 | 一种安全监控方法、装置、设备和存储介质 |
| CN113408433B (zh) * | 2021-06-22 | 2023-12-05 | 华侨大学 | 一种智能监控的手势识别方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110378855B (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Learning a shared shape space for multimodal garment design | |
| US10134181B2 (en) | System and method for simulating realistic clothing | |
| Cheng et al. | Parametric modeling of 3D human body shape—A survey | |
| CN104123753B (zh) | 基于服装图片的三维虚拟试衣方法 | |
| Li et al. | Fitting 3D garment models onto individual human models | |
| CN110378855A (zh) | 一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法 | |
| Hu et al. | Learning to estimate the body shape under clothing from a single 3-D scan | |
| CN111950430B (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| Ly et al. | Inverse elastic shell design with contact and friction | |
| Jiang et al. | Transferring and fitting fixed-sized garments onto bodies of various dimensions and postures | |
| Qiu et al. | Fusion mode and style based on artificial intelligence and clothing design | |
| CN113160033A (zh) | 服装风格迁移系统与方法 | |
| CN108513089A (zh) | 群组视频会话的方法及装置 | |
| CN110503681A (zh) | 人体模型自动创建方法及三维试衣系统 | |
| CN111833236A (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
| CN108564619A (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
| CN103455919A (zh) | 试衣模型生成方法及系统 | |
| Li et al. | Computer-aided 3D human modeling for portrait-based product development using point-and curve-based deformation | |
| CN109191559A (zh) | 基于深度传感器的人体模型建立方法 | |
| KR20140125507A (ko) | 디지털 서로게이트를 이용한 가상 피팅 장치 및 방법 | |
| Liu et al. | Modeling realistic clothing from a single image under normal guide | |
| Wang et al. | A 3D head model fitting method using Chinese head anthropometric data | |
| CN114581288A (zh) | 一种图像生成方法、装置、电子设备以及存储介质 | |
| KR20210130420A (ko) | 스마트 삼차원 의류 피팅 시스템 및 이를 이용한 의류 피팅 서비스 제공 방법 | |
| Fang et al. | Automatic head and facial feature extraction based on geometry variations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 518000 Times Financial Center 28A7, No. 4001 Shennan Avenue, Shatou Street, Futian District, Shenzhen, Guangdong Province Patentee after: Guangdong Yuwantang Traditional Chinese Medicine Co.,Ltd. Address before: 518000 Times Financial Center 28A7, No. 4001 Shennan Avenue, Shatou Street, Futian District, Shenzhen, Guangdong Province Patentee before: Guangdong Guoshi Wine Industry Co.,Ltd. Address after: 518000 Times Financial Center 28A7, No. 4001 Shennan Avenue, Shatou Street, Futian District, Shenzhen, Guangdong Province Patentee after: Guangdong Guoshi Wine Industry Co.,Ltd. Address before: 518000 Times Financial Center 28A7, No. 4001 Shennan Avenue, Shatou Street, Futian District, Shenzhen, Guangdong Province Patentee before: Bowa whale (Shenzhen) Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240114 Address after: Unit 701-15, 7th Floor, Building 4, North District, A5 Future Science and Technology City, No. 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000 Patentee after: BOWA (WUHAN) TECHNOLOGY Co.,Ltd. Address before: 518000 Times Financial Center 28A7, No. 4001 Shennan Avenue, Shatou Street, Futian District, Shenzhen, Guangdong Province Patentee before: Guangdong Yuwantang Traditional Chinese Medicine Co.,Ltd. |