[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104574432B - 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 - Google Patents

一种自动多视角人脸自拍图像的三维人脸重建方法及系统 Download PDF

Info

Publication number
CN104574432B
CN104574432B CN201510080860.5A CN201510080860A CN104574432B CN 104574432 B CN104574432 B CN 104574432B CN 201510080860 A CN201510080860 A CN 201510080860A CN 104574432 B CN104574432 B CN 104574432B
Authority
CN
China
Prior art keywords
face
dimensional
model
image
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510080860.5A
Other languages
English (en)
Other versions
CN104574432A (zh
Inventor
李靓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chuanda Zhisheng Software Co Ltd
Original Assignee
Sichuan Chuanda Zhisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Chuanda Zhisheng Software Co Ltd filed Critical Sichuan Chuanda Zhisheng Software Co Ltd
Priority to CN201510080860.5A priority Critical patent/CN104574432B/zh
Publication of CN104574432A publication Critical patent/CN104574432A/zh
Application granted granted Critical
Publication of CN104574432B publication Critical patent/CN104574432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自动多视角人脸自拍图像的三维人脸重建方法，包括：对同一个人的多个视角的人脸图像自动定位标记点；根据定位出的标记点与参考人脸模型上对应的标记点建立目标函数求解摄像机参数；设计重建目标函数，将三维人脸重建问题转换为马尔科夫随机场下的多标签图像分割问题，并使用多标签图像分割算法求解。本发明方法可重建出稠密精细的三维人脸模型，同时该方法不依赖于外部数据库，可实现全自动人脸重建，不要求用户进行人工交互。

Description

一种自动多视角人脸自拍图像的三维人脸重建方法及系统
技术领域
本发明涉及计算机视觉领域，特别涉及一种自动多视角人脸自拍图像的三维人脸重建方法及系统。
背景技术
人脸重建是三维重建的重要研究方向之一，在影视、游戏、三维人脸识别等领域有着广泛的应用前景，受到计算机图形学、计算机视觉、机器视觉、计算机辅助设计等领域研究者的重视。从数据采集的角度出发，三维人脸重建主要分为主动测距设备和被动成像设备。主动测距设备如激光扫描仪，能够扫描得到静态物体精确的三维信息，然而其价格昂贵、扫描时间长、扫描范围有限，很难用于实时性要求较高的应用；相对的，深度摄像机能够实时采集动态物体，然而其对应生成的深度图分辨率低、精度低、噪声大。被动成像设备使用最普遍的是摄像机，由于设备简单价格低廉，且目前已存在大量二维人脸图像，因此从多视角二维人脸图像中恢复三维人脸结构的方法得到广泛关注。由于人脸图像纹理稀疏，因此需要解决特征点匹配过程中存在的二义性问题。
文献【Y.Lin,G.Medioni,and J.Choi.Accurate 3d face reconstruction fromweakly calibrated wide baseline images with profile contours.In ComputerVision and Pattern Recognition(CVPR),2010IEEE Conference on,pages 1490–1497.IEEE,2010.】提出一种弱标定条件下，基于宽基线的多视角人脸重建方法。该方法输入五个不同姿态(0度正脸、正负45度、正负90度侧脸)下的人脸图像，。通过寻找任意三个相邻视角下稳定的匹配点估计摄像机相对位置关系，再结合多视角颜色一致性、平滑性以及侧面人脸轮廓信息分别在圆柱坐标系下水平、垂直方向建立基于体素的目标函数并求解。但是，实际应用中，自动获取的侧面轮廓往往无法满足重建精度的要求；另一方面，从实验结果看到，该方法重建的人脸模型在某些视角下存在较大形变。由于人脸图像纹理特征稀疏，该类基于特征点匹配的方法在找不到对应点时便会失效。
文献【H.Han and A.K.Jain.3d face texture modeling from uncalibratedfrontal and profile images.In Biometrics:Theory,Applications and Systems(BTAS),2012 IEEE Fifth International Conference on,pages 223–230.IEEE,2012.】提出了一种基于两幅图像(如0度正脸和90度侧脸)的三维人脸重建方法。该算法主要基于三维形变模型(3DMM)，并结合人脸标记点：首先利用正面人脸标记点估算形变和纹理参数；再进一步利用侧面标记点进行模型修正。该算法同样依赖于手动标记的侧面人脸标记点；同时，重建出来的人脸模型在某些视角(如45度)下存在一定程度的形变。另外，该类基于3DMM的人脸重建方法需要结合一个对齐好的三维人脸数据库，重建结果由人脸数据库线性叠加得到，因此该类方法依赖于对齐好的先验数据库，且缺乏描述三维人脸细节的能力。
现有的基于多视角图像的人脸重建方法的不足主要为：1)由于人脸图像纹理特征稀疏的特殊性，基于传统特征点匹配的方法在实际应用中不适用，很难用传统的基于特征点匹配的方法来获得稠密的三维数据；2)需要繁琐的人工交互；3)依赖于外部三维人脸数据库，且重建结果的精确度依赖于数据库的丰富程度。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种自动多视角人脸自拍图像的三维人脸重建方法及系统，其可重建出稠密、精细的三维人脸模型，同时该重建方法不依赖于外部数据库，可实现全自动人脸重建，不要求用户进行人工交互。
为了实现上述发明目的，本发明采用的技术方案是：一种自动多视角人脸自拍图像的三维人脸重建方法，包括如下步骤：
步骤一、对同一个人的多个视角的人脸图像自动定位标记点；
步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数Pi；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换矩阵，n为标记点个数；
步骤三，建立重建目标函数并优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型。
优选的，优化后的目标函数为E＝Edata+Ecolor+Esmooth；其中，数据项为D表示参考模型转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，Xi表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；多视角颜色一致项为其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点；深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj分别表示像素i，j对应的深度。
优选的，所述步骤一中采用基于回归的方法或基于局部优化的方法对多个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。
优选的，优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人脸模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。
优选的，所述参考人脸模型上的标记点提前进行标记。
本发明还提供一种自动多视角人脸自拍图像的三维人脸重建系统，包括：
标记点定位模块，用于对同一个人的多个视角的人脸图像自动定位标记点；
摄像机参数估计模块，用于根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数P；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换矩阵，n为标记点个数；
优化求解模块，用于对重建目标函数优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型。
优选的，所述重建目标函数为E＝Edata+Ecolor+Esmooth；其中，数据项为D表示参考模型转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，Xi表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；多视角颜色一致项为其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点；深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj分别表示像素i，j对应的深度。
优选的，所述标记点定位模块采用基于回归的方法或基于局部优化的方法对多个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。
优选的，所述优化求解模块优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人脸模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。
优选的，所述参考人脸模型上的标记点提前进行标记。
与现有技术相比，本发明的有益效果：
本发明方法通过引入单个标准参考人脸模型估计不同视角人脸图像之间的相对位置关系和待重建人脸解空间，并将三维人脸重建问题转化为马尔科夫随机场(MRF)框架中的多标签图像分割问题，通过该方法可以重建出准确的三维人脸模型，可进一步用于基于三维的人脸识别系统。通过引入参考人脸模型，可以有效消除特征点匹配过程中存在的二义性，同时缩小解空间、增加算法的计算性能，高效快速得到稳定的重建结果，可重建出稠密精细的三维人脸模型。再者，该方法不依赖于对齐的外部数据库，任意一个参考人脸模型都可以用于运算，人脸细节的恢复通过像素级的优化算法得到。另外，该方法可实现全自动人脸重建，不要求用户进行人工交互，重建的三维人脸模型可以旋转到其他任意视角。
附图说明：
图1是本发明实施例1中的方法流程图。
图2是本发明实施例2中的系统框图。
具体实施方式
下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
多视角人脸图像三维重建问题很难用传统的基于特征点匹配的方法来获得稠密的三维数据，这是由二维人脸图像本质的纹理稀疏性决定的。本发明要解决的问题是如何从多幅未标定人脸图像得到稠密的全脸三维人脸模型。发明人研究发现不同视角的人脸图像(来自同一个人)之间相对位置关系是确定的，而不同表现在局部几何上的细微差异。因此，任意人脸都可以从某个参考人脸变换得到。本发明通过引入一个标准参考人脸模型估计不同视角人脸图像之间的相对位置关系和待重建人脸解空间，并将三维人脸重建问题转化为马尔科夫随机场(MRF)框架中的多标签图像分割问题，对应的函数包括数据项、多视角颜色一致项以及深度平滑项。本发明方法可以重建出准确的三维人脸模型，可进一步用于基于三维的人脸识别系统。下面结合附图具体说明。
如图1所示的自动多视角人脸自拍图像的三维人脸重建方法流程图，包括如下步骤：
步骤一、对同一个人的多个视角的人脸图像自动定位标记点。
具体的，采用基于回归的方法(如高斯牛顿形变模型法Gauss-Newton DeformablePart Model等)或基于局部优化的方法(如限制性局部模型Constrained Local Model等)对多个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等，也可以是其他常用标记点。
步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数P；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换矩阵，n为标记点个数。
针对第i个输入的人脸图像Ii定位的标记点mi＝{x1,x2,…,xn}，其中n为标记点个数。假设定位的标记点mi＝{x1,x2,…,xn}与参考人脸(来自同一人)模型上的标记点Mi＝{X1,X2,…,Xn}一一对应，通过下面的能量函数求解估计对应摄像机参数P：
待估计的参数P＝{Pi}表示三维点到对应图像的投影变换，可通过基于最小二乘的Levenberg-Marquardt算法优化得到。所述参考人脸模型上的标记点提前进行标记。估计参数P即是进行摄像机标定，其是三维重建的重要步骤，早期三维重建技术中多采用基于标定物的摄像机标定方法进行欧式重建，随着研究的深入，包括本发明在内的现代三维重建技术多通过计算摄像机的内参数进行自标定，这些均为现有成熟技术，不再详述。如果不完成摄像机的自标定无法进行三维重建，后面能量函数(即优化后的函数E)中会用到估计的摄像机参数。求解函数E＝Edata+Ecolor+Esmooth从而恢复三维人脸模型。
步骤三，对重建目标函数优化，将三维人脸重建问题转换为马尔科夫随机场下的多标签图像分割问题，使用多标签图像分割算法求解该目标函数得到三维人脸模型。多标签图像分割算法发展成熟，包括alpha-expansion，alpha-swap，BP算法等。需要说明的是，本发明中采用的上述各个具体算法均为现有成熟技术。
优化后的目标函数为E＝Edata+Ecolor+Esmooth；数据项为D表示参考模型转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，Xi表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；
多视角颜色一致项为其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，对应参数Pi，表示像素i对应的三维空间中的三维点；
深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj表示像素i，j对应的深度。
本发明中优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。
具体的，由于不同人脸图像之间相对位置关系是确定的，而不同之处表现在局部几何上的差异。从任意人脸都可以变换得到需要的人脸模型。本发明将不同人脸之间的变换过程转换为马尔科夫随机场下的多标签图像分割问题。基于此，对应优化函数E应满足以下条件：1.输出三维人脸模型与参考人脸模型近似；2.输出三维人脸模型与多视角的人脸图像之间满足颜色一致性；3.输出三维人脸模型局部邻域内满足深度变化平滑性。最后使用多标签图像分割算法求解该目标函数重建得到三维人脸模型。
由于参考人脸模型存在于三维空间，首先需要将其转化到二维图像空间，以方便使用对应多标签图像分割算法求解。参考人脸模型的空间转化可通过两种方式实现：1.将三维人脸模型投影到柱面坐标系，投影值用深度表示，再将圆柱表面展开便得到二维空间下的深度图；2.将三维模型投影到一个定义好的坐标系，其中二维深度图竖直方向与空间坐标系y轴相同；水平方向定义为当前三维点与z轴的夹角；对应值即当前三维点的深度值。
假设S为转化到二维图像上的三维解空间，对应x-y轴即对应转换之后的图像空间，z轴对应深度方向。也就是说，解空间是在以参考人脸模型为中心的一个邻域范围内。另一方面，S可看成一个长方体状的空间包围盒，其中正面人脸所在平面为x-y方向平面，正面人脸朝向z方向。根据建模精度的不同，将空间包围盒用平行于x-y方向的平面切割为N等份，N越大表示建模精度越高。因此，每个像素点对应N个可能的深度取值，通过建立目标函数E为每个像素求解出最优的深度值，再将其转换到三维空间，便得到最终的三维人脸模型。
所述目标函数定义为：E＝Edata+Ecolor+Esmooth；其中，表示数据项，D表示转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，于是Xi表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度。这一项表示待优化三维人脸模型应该尽量与参考人脸模型近似。
多视角颜色一致项定义为其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点。这一项要求同一个三维点在不同视角图像上的投影颜色应该保持一致。
第三项是深度平滑项，定义为其中，N(i)是像素i所在的邻域集。这一项要求图像空间上相邻两个像素对应的深度应保持平缓变化。
本发明通过引入一个标准参考人脸模型估计不同视角人脸图像之间的相对位置关系和待重建人脸解空间，并将三维人脸重建问题转化为马尔科夫随机场(MRF)框架中的多标签图像分割问题，对应的函数包括数据项、多视角颜色一致项以及深度平滑项。本发明方法可以重建出准确的三维人脸模型，可进一步用于基于三维的人脸识别系统。本发明通过引入参考人脸模型，可以有效消除特征点匹配过程中存在的二义性，同时缩小解空间、增加算法的计算性能，高效快速得到稳定的重建结果，可重建出稠密精细的三维人脸模型。再者，该方法不依赖于外部数据库，任意一个参考人脸模型都可以用于运算，人脸细节的恢复通过像素级的优化算法得到。另外，该方法可实现全自动人脸重建，不要求用户进行人工交互，重建的三维人脸模型可以旋转到其他任意视角。
基于同一发明构思，结合图2，本发明实施例还提供一种自动多视角人脸自拍图像的三维人脸重建系统，包括标记点定位模块、摄像机参数估计模块和优化求解模块。
所述标记点定位模块用于对同一个人的多个视角的人脸图像自动定位标记点。所述摄像机参数估计模块用于根据所述标记点定位模块定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数Pi；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换，n为标记点个数；
所述优化求解模块用于对重建目标函数优化，将三维人脸重建问题转换为马尔科夫随机场下的多标签图像分割问题，使用多标签图像分割算法求解该目标函数得到三维人脸模型。
本发明通过引入一个标准参考人脸模型估计不同视角人脸图像之间的相对位置关系和待重建人脸解空间，并将三维人脸重建问题转化为马尔科夫随机场(MRF)框架中的多标签图像分割问题，对应的函数包括数据项、多视角颜色一致项以及深度平滑项。本发明方法可以重建出准确的三维人脸模型，可进一步用于基于三维的人脸识别系统。本发明通过引入参考人脸模型，可以有效消除特征点匹配过程中存在的二义性，同时缩小解空间、增加算法的计算性能，高效快速得到稳定的重建结果，可重建出稠密精细的三维人脸模型。再者，该方法不依赖于外部数据库，任意一个参考人脸模型都可以用于运算，人脸细节的恢复通过像素级的优化算法得到。另外，该方法可实现全自动人脸重建，不要求用户进行人工交互，重建的三维人脸模型可以旋转到其他任意视角。
具体的，所述参考人脸模型上的标记点提前进行标记。优化后的目标函数为E＝Edata+Ecolor+Esmooth；其中，数据项为D表示参考人脸模型转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，Xi表示待估计模型上像素i对应的深度，Di表示参考人脸模型上像素i对应的深度；多视角颜色一致项为其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点；深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj表示像素i，j对应的深度。
所述标记点定位模块采用基于回归的方法或基于局部优化的方法对多个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。
所述优化求解模块优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。该实施例与图1所示方法实施例基于同一构思，相同之处请参考前述方法实施例中的相应描述，此处不再详述。
本发明针对目前多视角人脸图像重建方法的不足，提出一种基于单个参考人脸模型的人脸重建方法。该方法输入的对象为多视角人脸图像和参考人脸模型(其中标记点已知)，输出为输入的人脸图像对应的三维人脸模型。本发明方法通过引入参考人脸模型，可以有效消除特征点匹配过程中存在的二义性，同时缩小解空间、增加算法的计算性能，高效快速得到稳定的重建结果；再者，该方法不依赖于外部数据库，任意一个参考人脸都可以用于运算，人脸细节的恢复通过像素级的优化算法得到；另外，该方法可实现全自动人脸重建，不要求用户进行人工交互。本发明方法可重建出稠密、精细的三维人脸模型；重建的三维模型可以旋转到其他任意视角，可用于人脸识别系统。
上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作出各种修改或改型。

Claims (8)

1.一种自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，包括如下步骤：
步骤一、对同一个人的多个视角的人脸图像进行自动标记点定位；
步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数P；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到图像Ii的投影变换矩阵，n为标记点个数；
步骤三，建立重建目标函数E＝Edata+Ecolor+Esmooth，对重建目标函数优化，使用多标签图像分割算法求解该重建目标函数得到三维人脸模型；
重建目标函数定义为E＝Edata+Ecolor+Esmooth；
其中，数据项为i是二维图像空间上的每个像素，表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；
多视角颜色一致项为
其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示待估计模型上像素i对应的三维空间中的三维点；
深度平滑项为其中，N(i)是待估计模型上像素i所在的邻域集，分别表示待估计模型上像素i，j对应的深度。
2.根据权利要求1所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，所述步骤一中采用基于回归的方法或基于局部优化的方法对每个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓。
3.根据权利要求2所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人脸模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。
4.根据权利要求2所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，所述参考人脸模型上的标记点提前进行标记。
5.一种自动多视角人脸自拍图像的三维人脸重建系统，其特征在于，包括：
标记点定位模块，用于对同一个人的多个视角的人脸图像自动定位标记点；
摄像机参数估计模块，用于根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数P；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到图像Ii的投影变换矩阵，n为标记点个数；
优化求解模块，用于对重建目标函数E＝Edata+Ecolor+Esmooth优化，使用多标签图像分割算法求解该重建目标函数得到三维人脸模型；
重建目标函数为E＝Edata+Ecolor+Esmooth；
其中，数据项为i是二维图像空间上的每个像素，表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；
多视角颜色一致项为
其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示待估计模型上像素i对应的三维空间中的三维点；
深度平滑项为其中，N(i)是待估计模型上像素i所在的邻域集，分别表示待估计模型上像素i，j对应的深度。
6.根据权利要求5所述的自动多视角人脸自拍图像的三维人脸重建系统，其特征在于，所述标记点定位模块采用基于回归的方法或基于局部优化的方法对每个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓。
7.根据权利要求6所述的自动多视角人脸自拍图像的三维人脸重建系统，其特征在于，所述优化求解模块优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人脸模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。
8.根据权利要求6所述的自动多视角人脸自拍图像的三维人脸重建系统，其特征在于，所述参考人脸模型上的标记点提前进行标记。
CN201510080860.5A 2015-02-15 2015-02-15 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 Active CN104574432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510080860.5A CN104574432B (zh) 2015-02-15 2015-02-15 一种自动多视角人脸自拍图像的三维人脸重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510080860.5A CN104574432B (zh) 2015-02-15 2015-02-15 一种自动多视角人脸自拍图像的三维人脸重建方法及系统

Publications (2)

Publication Number Publication Date
CN104574432A CN104574432A (zh) 2015-04-29
CN104574432B true CN104574432B (zh) 2017-05-24

Family

ID=53090404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510080860.5A Active CN104574432B (zh) 2015-02-15 2015-02-15 一种自动多视角人脸自拍图像的三维人脸重建方法及系统

Country Status (1)

Country Link
CN (1) CN104574432B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761243A (zh) * 2016-01-28 2016-07-13 四川川大智胜软件股份有限公司 基于结构光投影的三维全脸照相系统及其照相方法
CN105809734B (zh) * 2016-03-10 2018-12-25 杭州师范大学 一种基于多视角交互式的机械模型三维建模方法
CN107194964B (zh) * 2017-05-24 2020-10-09 电子科技大学 一种基于实时人体三维重建的vr社交系统及其方法
CN107730519A (zh) * 2017-09-11 2018-02-23 广东技术师范学院 一种人脸二维图像到人脸三维重建的方法及系统
CN109961477A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 一种空间定位方法、装置及设备
CN108596965B (zh) * 2018-03-16 2021-06-04 天津大学 一种光场图像深度估计方法
CN108510583B (zh) * 2018-04-03 2019-10-11 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN110378994B (zh) * 2018-04-12 2021-05-28 Oppo广东移动通信有限公司 人脸建模方法及相关产品
CN109523633B (zh) * 2018-09-30 2023-06-02 先临三维科技股份有限公司 模型扫描方法、装置、设备、存储介质和处理器
CN109887076B (zh) * 2019-02-25 2021-02-12 清华大学 根据视角变化的人脸三维模型建立方法及装置
CN109978989B (zh) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN117974867B (zh) * 2024-04-01 2024-06-21 哈尔滨工业大学（威海） 一种基于高斯点渲染的单目人脸化身生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法
CN102609977A (zh) * 2012-01-12 2012-07-25 浙江大学 基于深度融合和曲面演变的多视点三维重建方法
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN103198523A (zh) * 2013-04-26 2013-07-10 清华大学 一种基于多深度图的非刚体三维重建方法及系统
CN103914874A (zh) * 2014-04-08 2014-07-09 中山大学 一种无特征提取的紧致sfm三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184071B2 (en) * 2002-08-23 2007-02-27 University Of Maryland Method of three-dimensional object reconstruction from a video sequence using a generic model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法
CN102609977A (zh) * 2012-01-12 2012-07-25 浙江大学 基于深度融合和曲面演变的多视点三维重建方法
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN103198523A (zh) * 2013-04-26 2013-07-10 清华大学 一种基于多深度图的非刚体三维重建方法及系统
CN103914874A (zh) * 2014-04-08 2014-07-09 中山大学 一种无特征提取的紧致sfm三维重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dense Variational Reconstruction of Non-Rigid Surfaces from Monocular Video;Ravi Garg et al;《2013 IEEE Conference on Computer Vision and pattern Recognition》;20130630;第1272-1279页 *
从多张非标定图像重建三维人脸;丁滨等;《计算机辅助设计与图形学学报》;20100228;第22卷(第2期);第211页左栏第15-17行，右栏第9-14行 *
改进的三维人脸稠密对齐方法;陆涛等;《电子科技》;20120731;第25卷(第7期);第15-17页 *

Also Published As

Publication number Publication date
CN104574432A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN110189399B (zh) 一种室内三维布局重建的方法及系统
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN108053437B (zh) 基于体态的三维模型获取方法及装置
CN114666564B (zh) 一种基于隐式神经场景表示进行虚拟视点图像合成的方法
US20170330375A1 (en) Data Processing Method and Apparatus
CN109658444B (zh) 一种基于多模态特征的规则三维彩色点云配准方法
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
KR20050059247A (ko) 3차원 안면 인식
CN103345736A (zh) 一种虚拟视点绘制方法
CN112132876B (zh) 2d-3d图像配准中的初始位姿估计方法
CN106934824B (zh) 可变形物体的全局非刚性配准与重建方法
CN107990846B (zh) 基于单帧结构光的主被动结合深度信息获取方法
Lin et al. Vision system for fast 3-D model reconstruction
CN116958434A (zh) 多视图三维重建方法、测量方法及系统
CN109345570B (zh) 一种基于几何形状的多通道三维彩色点云配准方法
CN111197976A (zh) 一种顾及弱纹理区域多阶段匹配传播的三维重建方法
CN110490973B (zh) 一种模型驱动的多视图鞋模型三维重建方法
Shen et al. A 3D modeling method of indoor objects using Kinect sensor
Zhang et al. Dense 3D facial reconstruction from a single depth image in unconstrained environment
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant