CN109712228A - 建立三维重建模型的方法、装置、电子设备及存储介质 - Google Patents
建立三维重建模型的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109712228A CN109712228A CN201811378091.7A CN201811378091A CN109712228A CN 109712228 A CN109712228 A CN 109712228A CN 201811378091 A CN201811378091 A CN 201811378091A CN 109712228 A CN109712228 A CN 109712228A
- Authority
- CN
- China
- Prior art keywords
- image sequence
- sample video
- loss function
- right image
- coding network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000006870 function Effects 0.000 claims description 80
- 238000012549 training Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 210000004185 liver Anatomy 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000002251 Dissecting Aneurysm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种建立三维重建模型的方法、装置、电子设备及存储介质，方法包括：获取预先采集的样本视频，将样本视频划分为左图像序列与右图像序列，利用左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到样本视频对应的三维重建模型。相较于现有技术而言，本发明实施例通过将样本视频转换为左图像序列与右图像序列，然后利用左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到的三维重建模型，能够有效的克服传统相机在处理手术场景的遮挡关系的局限性，可以满足手术的实际需求。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种建立三维重建模型的方法、装置、电子设备及存储介质。
背景技术
随着现代医学技术的进步和现代影像学技术的发展，肝脏手术的成功率也越来越高，但由于肝内血管解剖的复杂性和多变性，使得肝脏手术仍具有一定危险性，而准确判断肝脏内各组织之间的三维(3D)关系，能够有效的避免肝脏手术发生偏差。
为了更好地进行肝脏手术的引导，在手术中往往需要对手术场景进行三维重建，现阶段，在进行三维重建时，往往都是利用深度相机采集的视频进行，但是由于深度相机体积较大，难以插入腹中，因此也就无法利用深度相机进行手术场景的三维重建，而如果利用传统相机采集的视频进行三维重建，则在处理手术场景的遮挡关系上，具有一定的局限性，难以满足手术的实际需求。
发明内容
本发明在于提供一种建立三维重建模型的方法、装置、电子设备及存储介质，旨在解决现有技术中利用传统相机采集的视频进行三维重建时，在处理手术场景的遮挡关系上具有一定的局限性，难以满足手术实际需求的技术问题。
为实现上述目的，本发明第一方面提供一种建立三维重建模型的方法，该方法包括：
获取预先采集的样本视频；
将所述样本视频划分为左图像序列与右图像序列，其中，当所述样本视频由单目相机拍摄时，按照所述样本视频的拍摄时间顺序，将所述样本视频中的奇数帧图像确定为所述左图像序列，偶数帧图像确定为所述右图像序列，当所述样本视频由双目相机拍摄时，将所述双目相机的左摄像头拍摄的图像确定为所述左图像序列，将所述双目相机的右摄像头拍摄的图像确定为所述右图像序列；
利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型。
可选地，所述获取预先采集的样本视频的步骤之前还包括：
建立自编码网络模型，所述自编码网络模型包括编码网络与解码网络，所述编码网络包括卷积层和池化层，所述解码网络包括若干层反卷积层。
可选地，所述利用所述左图像序列与所述右图像序列，对预先建立的自编
码网络模型进行训练，得到所述样本视频对应的三维重建模型的步骤包括：
将所述左图像序列与所述右图像序列输入所述自编码网络模型中，并输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图；
调用预置的随机梯度下降算法，基于所述左图像序列，计算所述左图像序列对应的左视差图的第一损失函数值，以及基于所述右图像序列，计算所述右图像序列对应的右视差图的第二损失函数值；
当所述第一损失函数值未处于预置的取值区间内时，基于所述第一损失函数值对所述自编码网络模型进行修正，当所述第二损失函数值未处于所述取值区间内时，基于所述第二损失函数值对所述自编码网络模型进行修正；以及将所述左图像序列与所述右图像序列输入修正后的自编码网络模型，并返回执行所述输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图的步骤；
当所述第一损失函数值与所述第二损失函数值均处于所述取值区间内时，将最近一次训练得到的自编码网络模型作为所述样本视频对应的三维重建模型。
可选地，所述调用预置的随机梯度下降算法，基于所述左图像序列，计算所述左图像序列对应的左视差图的第一损失函数值，以及基于所述右图像序列，计算所述右图像序列对应的右视差图的第二损失函数值的步骤包括：
计算所述左视差图与所述右视差图的左右一致性损失值；
计算所述左图像序列、所述右图像序列与所述左图像序列、所述右图像序列对应的重构图像序列的重构损失值以及相似性损失值；
基于所述左右一致性损失值、所述重构损失值以及所述相似性损失值,计算出所述第一损失函数值与所述第二损失函数值。
为实现上述目的，本发明第二方面提供一种建立三维重建模型的装置，该装置包括：
获取模块，用于获取预先采集的样本视频；
划分模块，用于将所述样本视频划分为左图像序列与右图像序列，其中，当所述样本视频由单目相机拍摄时，按照所述样本视频的拍摄时间顺序，将所述样本视频中的奇数帧图像确定为所述左图像序列，偶数帧图像确定为所述右图像序列，当所述样本视频由双目相机拍摄时，将所述双目相机的左摄像头拍摄的图像确定为所述左图像序列，将所述双目相机的右摄像头拍摄的图像确定为所述右图像序列；
训练模块，用于利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型。
可选地，所述装置还包括：
建立模块，用于建立自编码网络模型，所述自编码网络模型包括编码网络与解码网络，所述编码网络包括卷积层和池化层，所述解码网络包括若干层反卷积层。
可选地，所述训练模块包括：
输入-输出模块，用于将所述左图像序列与所述右图像序列输入所述自编码网络模型中，并输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图；
计算模块，用于调用预置的随机梯度下降算法，基于所述左图像序列，计算所述左图像序列对应的左视差图的第一损失函数值，以及基于所述右图像序列，计算所述右图像序列对应的右视差图的第二损失函数值；
修正模块，用于当所述第一损失函数值未处于预置的取值区间内时，基于所述第一损失函数值对所述自编码网络模型进行修正，当所述第二损失函数值未处于所述取值区间内时，基于所述第二损失函数值对所述自编码网络模型进行修正；以及将所述左图像序列与所述右图像序列输入修正后的自编码网络模型，并返回执行所述输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图的步骤；
确定模块，用于当所述第一损失函数值与所述第二损失函数值均处于所述取值区间内时，将最近一次训练得到的自编码网络模型作为所述样本视频对应的三维重建模型。
可选地，所述计算模块具体包括：
第一计算模块，用于计算所述左视差图与所述右视差图的左右一致性损失值；
第二计算模块，用于计算所述左图像序列、所述右图像序列与所述左图像序列、所述右图像序列对应的重构图像序列的重构损失值以及相似性损失值；
第三计算模块，用于基于所述左右一致性损失值、所述重构损失值以及所述相似性损失值,计算出所述第一损失函数值与所述第二损失函数值。
为实现上述目的，本发明第三方面提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面提供的建立三维重建模型的方法中的各个步骤。
为实现上述目的，本发明第四方面提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面提供的建立三维重建模型的方法中的各个步骤。
本发明所提供的建立三维重建模型的方法，包括获取预先采集的样本视频，将样本视频划分为左图像序列与右图像序列，利用左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到样本视频对应的三维重建模型。相较于现有技术而言，本发明实施例通过将样本视频转换为左图像序列与右图像序列，然后利用左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到的三维重建模型，由于上述左图像序列与右图像序列能够以不同的角度来反映被拍摄物体的立体结构，能够有效的处理遮挡问题，因此本发明实施例经过训练所得到的三维重建模型能够有效的克服传统相机在处理手术场景的遮挡关系的局限性，可以满足手术的实际需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中三维重建模型的方法的步骤流程示意图；
图2为本发明实施例中三维重建模型的方法的另一步骤流程示意图；
图3为本发明实施例中三维重建模型的装置的程序模块示意图；
图4为本发明实施例中三维重建模型的装置的另一程序模块示意图；
图5为本发明实施例中训练模块303的细化程序模块示意图；
图6为本发明实施例中提供的电子设备的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例中三维重建模型的方法的步骤流程示意图，本发明实施例中，上述方法包括：
步骤101、获取预先采集的样本视频。
本发明实施例中，先利用单目相机或者双目相机进行样本视频数据的采集。
其中，可以理解的是，双目相机是模拟人类视觉原理，使用计算机被动感知距离的方法，从两个或者多个摄像机观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息，具有较佳的遮挡处理效果。
步骤102、将所述样本视频划分为左图像序列与右图像序列，其中，当所述样本视频由单目相机拍摄时，按照所述样本视频的拍摄时间顺序，将所述样本视频中的奇数帧图像确定为所述左图像序列，偶数帧图像确定为所述右图像序列，当所述样本视频由双目相机拍摄时，将所述双目相机的左摄像头拍摄的图像确定为所述左图像序列，将所述双目相机的右摄像头拍摄的图像确定为所述右图像序列。
步骤103、利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型。
本发明实施例中，在得到上述左图像序列与右图像序列之后，即可利用上述左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到待处理视频对应的三维重建模型。
其中，把上述左图像序列与右图像序列输入上述自编码网络模型，对上述自编码网络模型中，单目相机或双目相机对遮挡处理的约束条件进行训练，得到适合单目相机或双目相机对遮挡处理的约束条件，从而得到上述待处理视频对应的三维重建模型。
本发明所提供的建立三维重建模型的方法，包括获取预先采集的样本视频，将样本视频划分为左图像序列与右图像序列，利用左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到样本视频对应的三维重建模型。相较于现有技术而言，本发明实施例通过将样本视频转换为左图像序列与右图像序列，然后利用左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到的三维重建模型，由于上述左图像序列与右图像序列能够以不同的角度来反映被拍摄物体的立体结构，能够有效的处理遮挡问题，因此本发明实施例经过训练所得到的三维重建模型能够有效的克服传统相机在处理手术场景的遮挡关系的局限性，可以满足手术的实际需求。
进一步的，基于上述实施例，参照图2，图2为本发明实施例中三维重建模型的方法的另一步骤流程示意图，本发明实施例中，上述方法包括：
步骤201、建立自编码网络模型，所述自编码网络模型包括编码网络与解码网络，所述编码网络包括卷积层和池化层，所述解码网络包括若干层反卷积层。
其中，上述自编码网络模型属于并行的无监督的卷积神经网络自编码模型，包括编码网络与解码网络，编码网络包括若干层编码层，且各编码层均采用残差块网络结构，残差块网络结构包括池化层与若干个卷积层；各层解码网络包括若干层解码层。
具体的，为了更好的理解本发明，本发明实施例提供一种可行的自编码网络模型，该自编码网络模型共10层，包括编码网络中的5层编码层，与解码网络中的5层解码层。其中5层编码层的每一层编码网络均采用残差块网络结构，每个残差块网络结构包括3层顺序卷积层和1个池化层：第一层卷积层的卷积核大小为1、步长为1；第二层卷积层的卷积核大小为3，步长为2；第三层卷积层的卷积核大小为1、步长为1；第四层为池化层，步长为2。
5层解码层的结构为：第一层解码层为上采样层；第二层解码层由第四层卷积层和第一层解码层上采样级联组成，第三层解码层由第二层解码层和第三层卷积层级联组成，第四层解码层由第三层解码层和第二层卷积层级联组成，第五层解码层由第四层解码层和第一层卷积层级联组成，且5层解码层的每一层的上采样的步长为2。
另外，除深度图像获取层外，在编码网络和解码网络的每一个卷积层和反卷积层中，激活函数均为线性激活函数；深度图像获取层采用sigmoid激活函数，并保证前后两层卷积层或反卷积层的通道、尺寸的一致。自编码网络模型输出的左视差图DL与右视差图DR是后四层不同尺度下的视差图的融合，以获取更多的特征。
步骤202、获取预先采集的样本视频。
步骤203、将所述样本视频划分为左图像序列与右图像序列，其中，当所述样本视频由单目相机拍摄时，按照所述样本视频的拍摄时间顺序，将所述样本视频中的奇数帧图像确定为所述左图像序列，偶数帧图像确定为所述右图像序列，当所述样本视频由双目相机拍摄时，将所述双目相机的左摄像头拍摄的图像确定为所述左图像序列，将所述双目相机的右摄像头拍摄的图像确定为所述右图像序列。
步骤204、利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型。
其中，上述步骤202至步骤204描述的内容与上述步骤101至步骤103描述的内容一致，具体可参照上述步骤101至步骤103，在此不再赘述。
本发明所提供的建立三维重建模型的方法，相较于现有技术而言，本发明实施例通过预先建立自编码网络模型，然后利用单目相机或者双目相机拍摄的样本视频对已建立的自编码网络模型进行训练，即可得到待处理视频对应的三维重建模型，能够有效的克服传统相机在处理手术场景的遮挡关系的局限性，可以满足手术的实际需求。
进一步地，基于上述实施例，本发明实施例中，上述步骤103中利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型，具体包括以下步骤：
步骤1、将所述左图像序列与所述右图像序列输入所述自编码网络模型中，并输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图。
步骤2、调用预置的随机梯度下降算法，基于所述左图像序列，计算所述左图像序列对应的左视差图的第一损失函数值，以及基于所述右图像序列，计算所述右图像序列对应的右视差图的第二损失函数值。
具体的，上述步骤2包括：
步骤2.1、计算所述左视差图与所述右视差图的左右一致性损失值。
具体的，利用以下公式计算所述左视差图与所述右视差图的左右一致性损失CLR，
其中，N表示所述左视差图与所述右视差图中像素的个数，DL(i，j)表示左视差图中像素点(i，j)的视差值，DR(i，j)表示右视差图中像素点(i，j)的视差值。
步骤2.2、计算所述左图像序列、所述右图像序列与所述左图像序列、所述右图像序列对应的重构图像序列的重构损失值以及相似性损失值。
具体的，利用以下公式计算所述左图像序列、所述右图像序列与所述左图像序列、所述右图像序列对应的重构图像序列的重构损失CREC，
其中，IL表示所述左图像序列，IR表示所述右图像序列，IL*表示所述左图像序列IL对应的重构图像序列，IR*表示所述右图像序列IR对应的重构图像序列，N表示所述左图像序列IL及所述右图像序列IR的任意一帧图像中像素的个数，(i，j)表示所述左图像序列IL及所述右图像序列IR的任意一帧图像中的像素坐标。
利用以下公式计算所述左图像序列、所述右图像序列与所述重构图像序列的相似性损失CSAME：
CSAME＝αSSCSSIM+αSDCDICE
其中，表示所述左图像序列IL与所述左图像序列IL对应的重构图像序列IL*的结构相似性损失，表示所述右图像序列IR与所述右图像序列IR对应的重构图像序列IR*的结构相似性损失，表示左图像序列IL与重构图像序列IL*的结构相似性损失，表示所述右图像序列IR与重构图像序列IR*的结构相似性损失，αSS、αSD为预置的权值参数。
步骤2.3、基于所述左右一致性损失值、所述重构损失值以及所述相似性损失值,计算出所述第一损失函数值与所述第二损失函数值。
具体的，利用以下公式计算所述第一损失函数值，所述第二损失函数值
C＝αLRCLR+αRECCREC+αSAMECSAME
其中，αLR、αREC、αSAME为预置的权值参数。
步骤3、当所述第一损失函数值未处于预置的取值区间内时，基于所述第一损失函数值对所述自编码网络模型进行修正，当所述第二损失函数值未处于所述取值区间内时，基于所述第二损失函数值对所述自编码网络模型进行修正；以及将所述左图像序列与所述右图像序列输入修正后的自编码网络模型，并返回执行步骤2中输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图的步骤。
步骤4、当所述第一损失函数值与所述第二损失函数值均处于所述取值区间内时，将最近一次训练得到的自编码网络模型作为所述样本视频对应的三维重建模型。
其中，在训练自编码网络模型时，损失函数用来表征模型的预测值与真实的输出值之间的损失，而模型的训练就是要通过样本将损失函数的值最小化，损失函数的函数值越小，说明模型预测与真实值越接近。
本发明所提供的建立三维重建模型的方法，相较于现有技术而言，可以将单目相机或者双目相机拍摄的样本视频划分为左图像序列与右图像序列，然后利用左图像序列与右图像序列对已建立的自编码网络模型进行训练，得到样本视频对应的三维重建模型；在训练过程中，可以根据预设的损失函数计算上述左图像序列或右图像序列对应的损失函数值，当该损失函数值处于预置的取值区间内时，即可将训练得到的自编码网络模型作为待处理视频对应的三维重建模型，从而可以保证自编码网络模型的预测值与真实值之间的损失处于合理的范围之内。
本发明实施例还提供一种建立三维重建模型的装置，参照图3，图3为本发明实施例中三维重建模型的装置的程序模块示意图，本发明实施例中，上述装置包括：
获取模块301，用于获取预先采集的样本视频。
划分模块302，用于将所述样本视频划分为左图像序列与右图像序列，其中，当所述样本视频由单目相机拍摄时，按照所述样本视频的拍摄时间顺序，将所述样本视频中的奇数帧图像确定为所述左图像序列，偶数帧图像确定为所述右图像序列，当所述样本视频由双目相机拍摄时，将所述双目相机的左摄像头拍摄的图像确定为所述左图像序列，将所述双目相机的右摄像头拍摄的图像确定为所述右图像序列。
训练模块303，用于利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型。
本发明所提供的建立三维重建模型的装置，可以实现：获取预先采集的样本视频，将样本视频划分为左图像序列与右图像序列，利用左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到样本视频对应的三维重建模型。相较于现有技术而言，本发明实施例通过将样本视频转换为左图像序列与右图像序列，然后利用左图像序列与右图像序列，对预先建立的自编码网络模型进行训练，得到的三维重建模型，由于上述左图像序列与右图像序列能够以不同的角度来反映被拍摄物体的立体结构，能够有效的处理遮挡问题，因此本发明实施例经过训练所得到的三维重建模型能够有效的克服传统相机在处理手术场景的遮挡关系的局限性，可以满足手术的实际需求。
进一步的，基于上述实施例，参照图4，图4为本发明实施例中三维重建模型的装置的另一程序模块示意图，本发明实施例中，上述装置包括：
建立模块401，用于建立自编码网络模型，所述自编码网络模型包括编码网络与解码网络，所述编码网络包括卷积层和池化层，所述解码网络包括若干层反卷积层。
获取模块301，用于获取预先采集的样本视频。
划分模块302，用于将所述样本视频划分为左图像序列与右图像序列，其中，当所述样本视频由单目相机拍摄时，按照所述样本视频的拍摄时间顺序，将所述样本视频中的奇数帧图像确定为所述左图像序列，偶数帧图像确定为所述右图像序列，当所述样本视频由双目相机拍摄时，将所述双目相机的左摄像头拍摄的图像确定为所述左图像序列，将所述双目相机的右摄像头拍摄的图像确定为所述右图像序列。
训练模块303，用于利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型。
本发明所提供的建立三维重建模型的装置，通过预先建立自编码网络模型，然后利用单目相机或者双目相机拍摄的样本视频对已建立的自编码网络模型进行训练，即可得到待处理视频对应的三维重建模型，能够有效的克服传统相机在处理手术场景的遮挡关系的局限性，可以满足手术的实际需求。
进一步地，基于上述实施例，参照图5，图5为本发明实施例中训练模块303的细化程序模块示意图，本发明实施例中，上述训练模块303包括：
输入-输出模块501，用于将所述左图像序列与所述右图像序列输入所述自编码网络模型中，并输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图。
计算模块502，用于调用预置的随机梯度下降算法，基于所述左图像序列，计算所述左图像序列对应的左视差图的第一损失函数值，以及基于所述右图像序列，计算所述右图像序列对应的右视差图的第二损失函数值。
具体的，计算模块502包括：
第一计算模块，用于计算所述左视差图与所述右视差图的左右一致性损失值；
第二计算模块，用于计算所述左图像序列、所述右图像序列与所述左图像序列、所述右图像序列对应的重构图像序列的重构损失值以及相似性损失值；
第三计算模块，用于基于所述左右一致性损失值、所述重构损失值以及所述相似性损失值,计算出所述第一损失函数值与所述第二损失函数值。
修正模块503，用于当所述第一损失函数值未处于预置的取值区间内时，基于所述第一损失函数值对所述自编码网络模型进行修正，当所述第二损失函数值未处于所述取值区间内时，基于所述第二损失函数值对所述自编码网络模型进行修正；以及将所述左图像序列与所述右图像序列输入修正后的自编码网络模型，并返回执行所述输入-输出模块。
确定模块504，用于当所述第一损失函数值与所述第二损失函数值均处于所述取值区间内时，将最近一次训练得到的自编码网络模型作为所述样本视频对应的三维重建模型。
本发明所提供的建立三维重建模型的装置，可以将单目相机或者双目相机拍摄的样本视频划分为左图像序列与右图像序列，然后利用左图像序列与右图像序列对已建立的自编码网络模型进行训练，得到样本视频对应的三维重建模型；在训练过程中，可以根据预设的损失函数计算上述左图像序列或右图像序列对应的损失函数值，当该损失函数值处于预置的取值区间内时，即可将训练得到的自编码网络模型作为待处理视频对应的三维重建模型，从而可以保证自编码网络模型的预测值与真实值之间的损失处于合理的范围之内。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本发明建立三维重建模型的方法对应各个实施例中的各个步骤。
本发明实施例还提供一种存储介质，该存储介质为计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现本发明建立三维重建模型的方法对应各个实施例中的各个步骤。
为了更好的理解本发明，参照图6，图6为本发明实施例中提供的电子设备的结构示意图。如图6所示，该实施例的电子设备06主要包括：处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62，例如建立三维重建模型的程序。处理器60执行计算机程序62时实现上述建立三维重建模型的方法各实施例中的步骤，例如图1至图2任一示例所示的步骤。或者，处理器60执行计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图3所示各模块的功能或者图4示例的装置的功能。
电子设备06可包括但不仅限于处理器60、存储器61。本领域技术人员可以理解，图6仅仅是电子设备06的示例，并不构成对电子设备06的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器61可以是电子设备06的内部存储单元，例如电子设备06的硬盘或内存。存储器61也可以是电子设备06的外部存储设备，例如电子设备06上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器61还可以既包括电子设备06的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及电子设备所需的其他程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种建立三维重建模型的方法、装置、电子设备及存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种建立三维重建模型的方法，其特征在于，所述方法包括：
获取预先采集的样本视频；
将所述样本视频划分为左图像序列与右图像序列，其中，当所述样本视频由单目相机拍摄时，按照所述样本视频的拍摄时间顺序，将所述样本视频中的奇数帧图像确定为所述左图像序列，偶数帧图像确定为所述右图像序列，当所述样本视频由双目相机拍摄时，将所述双目相机的左摄像头拍摄的图像确定为所述左图像序列，将所述双目相机的右摄像头拍摄的图像确定为所述右图像序列；
利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型。
2.如权利要求1所述的方法，其特征在于，所述获取预先采集的样本视频的步骤之前还包括：
建立自编码网络模型，所述自编码网络模型包括编码网络与解码网络，所述编码网络包括卷积层和池化层，所述解码网络包括若干层反卷积层。
3.如权利要求1或2所述的方法，其特征在于，所述利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型的步骤包括：
将所述左图像序列与所述右图像序列输入所述自编码网络模型中，并输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图；
调用预置的随机梯度下降算法，基于所述左图像序列，计算所述左图像序列对应的左视差图的第一损失函数值，以及基于所述右图像序列，计算所述右图像序列对应的右视差图的第二损失函数值；
当所述第一损失函数值未处于预置的取值区间内时，基于所述第一损失函数值对所述自编码网络模型进行修正，当所述第二损失函数值未处于所述取值区间内时，基于所述第二损失函数值对所述自编码网络模型进行修正；以及将所述左图像序列与所述右图像序列输入修正后的自编码网络模型，并返回执行所述输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图的步骤；
当所述第一损失函数值与所述第二损失函数值均处于所述取值区间内时，将最近一次训练得到的自编码网络模型作为所述样本视频对应的三维重建模型。
4.如权利要求3所述的方法，其特征在于，所述调用预置的随机梯度下降算法，基于所述左图像序列，计算所述左图像序列对应的左视差图的第一损失函数值，以及基于所述右图像序列，计算所述右图像序列对应的右视差图的第二损失函数值的步骤包括：
计算所述左视差图与所述右视差图的左右一致性损失值；
计算所述左图像序列、所述右图像序列与所述左图像序列、所述右图像序列对应的重构图像序列的重构损失值以及相似性损失值；
基于所述左右一致性损失值、所述重构损失值以及所述相似性损失值,计算出所述第一损失函数值与所述第二损失函数值。
5.一种建立三维重建模型的装置，其特征在于，所述装置包括：
获取模块，用于获取预先采集的样本视频；
划分模块，用于将所述样本视频划分为左图像序列与右图像序列，其中，当所述样本视频由单目相机拍摄时，按照所述样本视频的拍摄时间顺序，将所述样本视频中的奇数帧图像确定为所述左图像序列，偶数帧图像确定为所述右图像序列，当所述样本视频由双目相机拍摄时，将所述双目相机的左摄像头拍摄的图像确定为所述左图像序列，将所述双目相机的右摄像头拍摄的图像确定为所述右图像序列；
训练模块，用于利用所述左图像序列与所述右图像序列，对预先建立的自编码网络模型进行训练，得到所述样本视频对应的三维重建模型。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
建立模块，用于建立自编码网络模型，所述自编码网络模型包括编码网络与解码网络，所述编码网络包括卷积层和池化层，所述解码网络包括若干层反卷积层。
7.如权利要求5或6所述的装置，其特征在于，所述训练模块包括：
输入-输出模块，用于将所述左图像序列与所述右图像序列输入所述自编码网络模型中，并输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图；
计算模块，用于调用预置的随机梯度下降算法，基于所述左图像序列，计算所述左图像序列对应的左视差图的第一损失函数值，以及基于所述右图像序列，计算所述右图像序列对应的右视差图的第二损失函数值；
修正模块，用于当所述第一损失函数值未处于预置的取值区间内时，基于所述第一损失函数值对所述自编码网络模型进行修正，当所述第二损失函数值未处于所述取值区间内时，基于所述第二损失函数值对所述自编码网络模型进行修正；以及将所述左图像序列与所述右图像序列输入修正后的自编码网络模型，并返回执行所述输出所述左图像序列对应的左视差图与所述右图像序列对应的右视差图的步骤；
确定模块，用于当所述第一损失函数值与所述第二损失函数值均处于所述取值区间内时，将最近一次训练得到的自编码网络模型作为所述样本视频对应的三维重建模型。
8.如权利要求7所述的装置，其特征在于，所述计算模块具体包括：
第一计算模块，用于计算所述左视差图与所述右视差图的左右一致性损失值；
第二计算模块，用于计算所述左图像序列、所述右图像序列与所述左图像序列、所述右图像序列对应的重构图像序列的重构损失值以及相似性损失值；
第三计算模块，用于基于所述左右一致性损失值、所述重构损失值以及所述相似性损失值,计算出所述第一损失函数值与所述第二损失函数值。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述的建立三维重建模型的方法中的各个步骤。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述的建立三维重建模型的方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811378091.7A CN109712228B (zh) | 2018-11-19 | 2018-11-19 | 建立三维重建模型的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811378091.7A CN109712228B (zh) | 2018-11-19 | 2018-11-19 | 建立三维重建模型的方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109712228A true CN109712228A (zh) | 2019-05-03 |
| CN109712228B CN109712228B (zh) | 2023-02-24 |
Family
ID=66254175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811378091.7A Active CN109712228B (zh) | 2018-11-19 | 2018-11-19 | 建立三维重建模型的方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109712228B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335344A (zh) * | 2019-06-20 | 2019-10-15 | 中国科学院自动化研究所 | 基于2d-3d注意机制神经网络模型的三维重建方法 |
| CN110443843A (zh) * | 2019-07-29 | 2019-11-12 | 东北大学 | 一种基于生成对抗网络的无监督单目深度估计方法 |
| CN111178501A (zh) * | 2019-12-12 | 2020-05-19 | 中国科学院深圳先进技术研究院 | 双循环对抗网络架构的优化方法、系统、电子设备及装置 |
| CN112767468A (zh) * | 2021-02-05 | 2021-05-07 | 中国科学院深圳先进技术研究院 | 基于协同分割与数据增强的自监督三维重建方法及系统 |
| CN114596599A (zh) * | 2020-11-20 | 2022-06-07 | 中移动信息技术有限公司 | 一种人脸识别活体检测方法、装置、设备及计算机存储介质 |
| CN115439610A (zh) * | 2022-09-14 | 2022-12-06 | 中国电信股份有限公司 | 模型的训练方法、训练装置、电子设备和可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215239A1 (en) * | 2012-02-21 | 2013-08-22 | Sen Wang | 3d scene model from video |
| CN106164979A (zh) * | 2015-07-13 | 2016-11-23 | 深圳大学 | 一种三维人脸重建方法及系统 |
| US20170148222A1 (en) * | 2014-10-31 | 2017-05-25 | Fyusion, Inc. | Real-time mobile device capture and generation of art-styled ar/vr content |
| CN107204010A (zh) * | 2017-04-28 | 2017-09-26 | 中国科学院计算技术研究所 | 一种单目图像深度估计方法与系统 |
| CN107292950A (zh) * | 2017-06-08 | 2017-10-24 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络的端到端三维人脸重建方法 |
| WO2018046964A1 (en) * | 2016-09-12 | 2018-03-15 | Ucl Business Plc | Predicting depth from image data using a statistical model |
| CN108171176A (zh) * | 2017-12-29 | 2018-06-15 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
| WO2018119808A1 (zh) * | 2016-12-29 | 2018-07-05 | 浙江工商大学 | 一种基于3d卷积神经网络的立体视频生成方法 |
| CN108304755A (zh) * | 2017-03-08 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 用于图像处理的神经网络模型的训练方法和装置 |
| CN108765481A (zh) * | 2018-05-25 | 2018-11-06 | 亮风台（上海）信息科技有限公司 | 一种单目视频的深度估计方法、装置、终端和存储介质 |
-
2018
- 2018-11-19 CN CN201811378091.7A patent/CN109712228B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215239A1 (en) * | 2012-02-21 | 2013-08-22 | Sen Wang | 3d scene model from video |
| US20170148222A1 (en) * | 2014-10-31 | 2017-05-25 | Fyusion, Inc. | Real-time mobile device capture and generation of art-styled ar/vr content |
| CN106164979A (zh) * | 2015-07-13 | 2016-11-23 | 深圳大学 | 一种三维人脸重建方法及系统 |
| WO2018046964A1 (en) * | 2016-09-12 | 2018-03-15 | Ucl Business Plc | Predicting depth from image data using a statistical model |
| WO2018119808A1 (zh) * | 2016-12-29 | 2018-07-05 | 浙江工商大学 | 一种基于3d卷积神经网络的立体视频生成方法 |
| CN108304755A (zh) * | 2017-03-08 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 用于图像处理的神经网络模型的训练方法和装置 |
| CN107204010A (zh) * | 2017-04-28 | 2017-09-26 | 中国科学院计算技术研究所 | 一种单目图像深度估计方法与系统 |
| CN107292950A (zh) * | 2017-06-08 | 2017-10-24 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络的端到端三维人脸重建方法 |
| CN108171176A (zh) * | 2017-12-29 | 2018-06-15 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
| CN108765481A (zh) * | 2018-05-25 | 2018-11-06 | 亮风台（上海）信息科技有限公司 | 一种单目视频的深度估计方法、装置、终端和存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335344A (zh) * | 2019-06-20 | 2019-10-15 | 中国科学院自动化研究所 | 基于2d-3d注意机制神经网络模型的三维重建方法 |
| CN110443843A (zh) * | 2019-07-29 | 2019-11-12 | 东北大学 | 一种基于生成对抗网络的无监督单目深度估计方法 |
| CN111178501A (zh) * | 2019-12-12 | 2020-05-19 | 中国科学院深圳先进技术研究院 | 双循环对抗网络架构的优化方法、系统、电子设备及装置 |
| CN111178501B (zh) * | 2019-12-12 | 2023-08-18 | 中国科学院深圳先进技术研究院 | 双循环对抗网络架构的优化方法、系统、电子设备及装置 |
| CN114596599A (zh) * | 2020-11-20 | 2022-06-07 | 中移动信息技术有限公司 | 一种人脸识别活体检测方法、装置、设备及计算机存储介质 |
| CN112767468A (zh) * | 2021-02-05 | 2021-05-07 | 中国科学院深圳先进技术研究院 | 基于协同分割与数据增强的自监督三维重建方法及系统 |
| WO2022166412A1 (zh) * | 2021-02-05 | 2022-08-11 | 中国科学院深圳先进技术研究院 | 基于协同分割与数据增强的自监督三维重建方法及系统 |
| CN112767468B (zh) * | 2021-02-05 | 2023-11-03 | 中国科学院深圳先进技术研究院 | 基于协同分割与数据增强的自监督三维重建方法及系统 |
| CN115439610A (zh) * | 2022-09-14 | 2022-12-06 | 中国电信股份有限公司 | 模型的训练方法、训练装置、电子设备和可读存储介质 |
| CN115439610B (zh) * | 2022-09-14 | 2024-04-26 | 中国电信股份有限公司 | 模型的训练方法、训练装置、电子设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109712228B (zh) | 2023-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109712228B (zh) | 建立三维重建模型的方法、装置、电子设备及存储介质 | |
| CN110163953B (zh) | 三维人脸重建方法、装置、存储介质和电子装置 | |
| CN110276411B (zh) | 图像分类方法、装置、设备、存储介质和医疗电子设备 | |
| CN107767339B (zh) | 一种双目立体图像拼接方法 | |
| CN107798704B (zh) | 一种用于增强现实的实时图像叠加方法及装置 | |
| US11360180B2 (en) | Methods, systems, and computer readable media for using a trained adversarial network for performing retrospective magnetic resonance imaging (MRI) artifact correction | |
| CN111652921B (zh) | 一种单目深度预测模型的生成方法及单目深度预测方法 | |
| CN113723317B (zh) | 3d人脸的重建方法、装置、电子设备和存储介质 | |
| CN108230384A (zh) | 图像深度计算方法、装置、存储介质和电子设备 | |
| CN112819777B (zh) | 一种双目内窥镜辅助显示方法、系统、装置和存储介质 | |
| CN112261399B (zh) | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 | |
| KR20230078777A (ko) | 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기 | |
| Hayat et al. | E-SEVSR-Edge Guided Stereo Endoscopic Video Super-Resolution | |
| Jang et al. | Deep color transfer for color-plus-mono dual cameras | |
| KR102084138B1 (ko) | 영상 처리 장치 및 방법 | |
| CN114972634A (zh) | 基于特征体素融合的多视角三维可变形人脸重建方法 | |
| CN114463408A (zh) | 自由视点图生成方法、装置、设备及存储介质 | |
| JP2014150855A (ja) | 乳房診断支援システム、および乳房データ処理方法 | |
| CN117456098A (zh) | 一种目标对象的三维模型重建方法及装置 | |
| CN111178501B (zh) | 双循环对抗网络架构的优化方法、系统、电子设备及装置 | |
| CN110969651B (zh) | 3d景深估计方法、装置及终端设备 | |
| CN112884817B (zh) | 稠密光流计算方法、装置、电子设备以及存储介质 | |
| CN114617527A (zh) | 一种腹腔镜立体成像方法及系统 | |
| CN114299152A (zh) | 一种获取姿态数据的方法及神经网络构建方法 | |
| CN112802079A (zh) | 一种视差图获取方法、装置、终端和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |