CN109771052B - 基于多目成像和多偏振态成像的三维图像建立方法及系统 - Google Patents

Abstract

本申请提供了一种基于多目成像和多偏振态成像的三维图像建立方法及系统，所述方法包括：广谱光源产生宽波段的广谱光线，光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像，处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。

Description

基于多目成像和多偏振态成像的三维图像建立方法及系统

技术领域

本申请涉及电子领域，尤其涉及一种基于多目成像和多偏振态成像的三维图像建立方法及系统。

背景技术

随着公众对健康的重视度越来越高及医疗水平的不断提升，外科手术也越来越常见。在外科手术中，手术的成功率以及效果与手术的精确度紧密相关，传统手术都是依靠医生的经验，对手术工具以及病变位置进行目视判断，精确度不高，而且对医生的要求也很高。

但是，如何提高外科手术的精度，是至今尚未解决的一个难题。

发明内容

本申请提供了基于多目成像和多偏振态成像的三维图像建立方法及系统，能够有效地提高外科手术的精度。

第一方面，提供了一种基于多目成像和多偏振态成像的三维图像建立方法，所述方法包括以下步骤：

广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；

光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；

多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；

处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。

可选地，所述方法还包括：所述处理系统根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括器官种类分析、蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；

确定所述分析结果中的蛋白质含量或者结晶含量是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；

在所述分析结果中的蛋白质含量或者结晶含量大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。

可选地，获得所述手术区域的三维重建图像后，所述方法还包括：

将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。

可选地，将所述三维重建图像进行目标区域的渲染强化包括：

在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡目标区域的部位，渲染出未被遮挡的目标区域；或者，

在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。

可选地，所述目标区域是处理系统根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；或者，

所述目标区域是处理系统根据接收的用户请求确定的区域。

第二方面，提供了一种基于多目成像和多偏振态成像的三维图像建立系统，所述系统包括：

广谱光源，广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；

光谱成像设备，用于多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；

多偏振态成像设备，用于采集所述广谱光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；

处理系统，处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。

可选地，所述处理系统还用于根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括器官种类分析、蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；

所述处理系统还用于确定所述分析结果是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；

所述处理系统还用于在所述分析结果大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。

可选地，所述处理系统还用于获得所述手术区域的三维重建图像后，将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。

可选地，所述处理系统具体用于在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡目标区域的部位，渲染出未被遮挡的目标区域；或者，

所述处理系统具体用于在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。

可选地，所述目标区域是处理系统根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；或者，

所述目标区域是处理系统根据接收的用户请求确定的区域。

本申请提供的基于多目成像和多偏振态成像的三维图像建立方法及系统，通过广谱光源产生宽波段的广谱光线，光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像，使得处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。通过根据多个窄波段光谱图像和多个窄波段偏振图像获得更丰富的有效信息，从而重建出精确度更高的三维图像，并且，还可以通过虚拟增强技术对重建后的三维图像根据医生需求进行渲染强化，从而引导或辅助医生正确进行手术，提高了手术的精度。

附图说明

图1是本申请提供的一种基于多目成像和多偏振态成像的三维图像建立方法的流程示意图；

图2是本申请提供的一种基于多目成像和多偏振态成像的三维图像建立方法中光谱光源排列示意图；

图3是本申请提供的一种通过增强现实的方式进行提示信息的示意图；

图4a是本申请提供的一种增强现实前的手术区域重建图像；

图4b是本申请提供的一种增强现实后的手术区域重建图像；

图5a是本申请提供的另一种增强现实前的手术区域重建图像；

图5b是本申请提供的另一种增强现实后的手术区域重建图像；

图6是本申请提供的一种基于多目成像和多偏振态成像的三维图像建立系统的结构示意图。

具体实施例

参阅图1，图1是本申请实施例提供的一种基于多目成像和多偏振态成像的三维图像建立方法的流程示意图。本实施例的基于多目成像和多偏振态成像的三维图像建立方法，包括如下步骤：

S101：广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域。

在本申请具体的实施方式中，广谱光源用于产生宽波段的广谱光线。广谱光源产生的波长的范围可以从红外延伸至紫外，从红外延伸至可见光，或者，从可见光延伸至紫外等等。在实际应用中，广谱光源的数量可以是一个或者多个。在一具体的实施例中，多个广谱光源产生的广谱光线的波段的范围都是相同的，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至850纳米，第二广谱光源产生的广谱光线的波长范围也为350纳米至850纳米等等。在另一具体的实施例中，多个广谱光源产生的广谱光线的波段的范围都是不相同的，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至550纳米，第二广谱光源产生的广谱光线的波长范围为550纳米至850纳米等等。

在上述例子中，皆以广谱光源产生的广谱光线为连续的宽波段为例进行说明，在实际应用中，广谱光源产生的广谱光线也可以是不连续的宽波段，例如，第一广谱光源产生的广谱光线包括两个波段，一段广谱光线的波长范围为350纳米至450纳米，另一段广谱光线的波长范围为650纳米至850纳米等等，此处不作具体限定。

在本申请具体的实施方式中，偏振光线是将广谱光线通过起偏器获得的，也就是说，在一部分广谱光源下方放置起偏器用于获得偏振光线，在另一部分广谱光源下方不放置起偏器用于获得自然光线，可以理解的是，偏振光线用于多偏振态成像设备采集偏振图像，自然光线用于光谱成像设备采集光谱图像。

在本申请具体的实施方式中，广谱光源的排列方式可以是水平排列，也可以是垂直排列，还可以是倾角排列，还可以是多种排列方式的组合，例如，图2是本申请实施例提供的广谱光源的排列方式，其中，A组光源下方放有起偏器用于获得偏振光，B组光源下方没有起偏器，A1、B1光源为垂直照射光源阵列，A2、B2、A3、B3为倾角光源，分别设置在A1、B1光源的两侧，并与水平方向呈θ夹角，可以理解的是，由于不同角度的光束下采集到的生物组织特征信息不同，因此图2所示的光源排列方式有利于充分挖掘生物特征信息，应理解，图2所示的广谱光源排列方式仅用于举例说明，并不能构成具体限定，本申请中的广谱光源可以拥有更多的垂直光源阵列以及倾角光源阵列。

在本申请具体的实施方式中，所述手术区域是患者被进行手术的身体区域，而不是整个手术台，手术区域可以包括：患者进行手术的手术部位、手术部位放置的手术工具和手术标记。其中，手术部位可以病人身上需要被做手术的部位，以及需要被做手术的部位的附近部位。手术工具可以是手术刀、手术剪刀、手术拉钩以及撑开器等等。手术标记可以是便于进行定位的手术标记物，此处不作具体限定。

S102：光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上。

在本申请具体的实施方式中，光谱成像设备可以形成多个窄波段光谱图像。其中，光谱成像设备可以是多个并且是多角度排列的多目光谱成像设备，也可以是高光谱成像设备与深度摄像头的结合，光谱成像设备还可以是高光谱成像设备或者超光谱成像设备等等，本申请不作具体限定。其中，高光谱成像设备以数百至数千个连续且细分的光谱波段对手术区域同时成像，超光谱成像设备以数千至数万个连续且细分的光谱波段对手术区域同时成像。当然，光谱成像设备还可以以更多的连续且细分的光谱波段对手术区域同时成像，例如数万个至数十万个连续且细分的光谱波段对手术区域同时成像等等，此处不作具体限定。

在本申请具体的实施方式中，光谱成像设备可以利用物体表面成分的光谱差异，对目标进行识别和分类，也就是说，不同的窄波段光谱图像具有不同的成像窄波段，将不同角度拍摄得到的窄波段光谱图像进行综合，可以获得更广阔的视野，因而可以获得更丰富的信息，再利用多目立体视觉算法，可以实现三维重建。举例来说，人体的皮肤能够较好地反射a成像窄波段，人体的肌肉能够较好地反射b成像窄波段，人体的血管能够较好地反射c成像窄波段，人体的骨骼能够较好地反射d成像窄波段。因此，可以根据a成像窄波段获得反应人体皮肤情况的A窄波段光谱图像，可以根据b成像窄波段获得反应人体肌肉情况的B窄波段光谱图像，可以根据c成像窄波段获得反应人体血管情况的C窄波段光谱图像，可以根据d成像窄波段获得反应人体骨骼情况的D窄波段光谱图像。可以理解，当光谱波段细分的程度越高，则光谱成像设备的视野越广阔，光谱生成设备获得的信息也自然越丰富，获得的人体信息也更准确，进而实现更准确的三位重建模型。

优选地，光谱成像设备可以使用双目立体视觉匹配(Sum of AbsoluteDifferences,SAD)算法进行手术区域的三维重建，也就是说，利用双目高光谱成像设备获得的不同角度的窄波段光谱图像，将每个图像中的像素对应的数值之差取绝对值求和，以此评估不同角度的窄波段光谱图像的相似程度，从而得到视差图。在获得视差信息后，根据投影模型即可得到原始图像的深度信息和三维信息。当然，光谱成像设备还可以使用块匹配(Block Matching,BM)算法、半全局块匹配(Semi-Global Block Matching,SGM)算法等其他多目立体视觉算法进行手术区域初步的三维重建，本申请不作具体限定。

S103：多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像。

在本申请具体的实施方式中，多偏振态成像设备可以形成多个窄波段偏振图像。其中，多偏振态成像设备可以是一个或者多个，多偏振态成像设备可以是正交多偏振态成像设备或者干涉多偏振态成像设备等等。其中，正交多偏振态成像设备以数百至数千个连续且细分的光谱波段对手术区域同时成像，干涉多偏振态成像设备以数千至数万个连续且细分的光谱波段对手术区域同时成像。当然，多偏振态成像设备还可以以更多的连续且细分的偏振光波段对手术区域同时成像，例如数万个至数十万个连续且细分的偏振光波段对手术区域同时成像等等，此处不作具体限定。

在本申请具体的实施方式中，窄波段偏振图像对应的成像窄波段与窄波段光谱图像对应的成像窄波段可以是相同的，例如：人体的血管能够较好地反射c成像窄波段，因此可以根据c成像窄波段获得反应人体血管情况的C窄波段光谱图像以及C窄波段偏振图像。窄波段偏振图像对应的成像窄波段与窄波段光谱图像对应的成像窄波段还可以是不相同的，例如：人体的血管能够较好地反射c1成像窄波段，较好的反射c2偏振成像窄波段，因此可以根据C1成像窄波段获得反应人体血管情况的C1窄波段光谱图像，根据C2偏振成像窄波段获得反应人体血管情况的C2窄波段偏振图像。应理解，以上举例仅用于说明，并不能构成具体限定。

在本申请具体的实施方式中，多偏振态成像设备可以根据多个窄波段偏振图像中光束的偏振角、偏振度以及椭率角获得手术区域的偏振特征参数，提供手术区域的器官表面粗糙度、纹理走向、表面取向、含水量等体征，相比光谱成像设备，多偏振态成像设备可以对器官轮廓和表面取向识别提供更精确的信息，可以突出手术区域中的器官在图片中与背景的对比度，进而提高接下来用器官分类模型、体液分类模型识别的准确率。因此，本申请结合光谱成像设备和多偏振态成像设备进行手术区域的三维重建，可以为医生提供更完整、更可靠且人眼无法提取到的信息。也就是说，光谱成像设备可以是对手术区域整体进行特征提取，使用多目立体视觉算法实现手术区域的初级三维重建，多偏振态成像设备可以是对光谱成像设备无法显示的器官表面粗糙度、肌肉纹理走向、器官表面覆盖的液体种类等轮廓和表面进行特征提取，获得手术区域中清晰描述了的人体器官的表面粗糙程度或者体液覆盖情况的图像。

S104：处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。

在本申请的实施方式中，处理系统根据所述多个窄波段光谱图像和多个窄波段偏振图像构建所述手术区域的三维图像。也就是说，处理系统综合了窄波段光谱图像和窄波段偏振图像分别提取的信息，建立了一个详细、丰富的手术区域立体信息图。例如：处理系统可以根据不同角度的A窄波段光谱图像重建皮肤的三维图像A，根据不同角度的B窄波段光谱图像重建肌肉的三维图像B，根据不同角度的C窄波段光谱图像重建血管的三维图像C，根据不同角度的D窄波段光谱图像重建骨骼的三维图像D，根据不同角度的E窄波段偏振图像重建微血管的三维图像E，根据不同角度的F窄波段偏振图像重建各个器官表面覆盖液体的三维图像F，将三维图像A、三维图像B、三维图像C、三维图像D、三维图像E以及三维图像F进行融合后，就可以获得能够同时反映皮肤、肌肉、血管、骨骼、微血管、器官表面粗糙程度的详细、真实的手术区域三维图像。

在本申请具体的实施方式中，所述方法还包括：所述处理系统根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；确定所述分析结果中的蛋白质含量或者结晶含量是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；在所述分析结果中的蛋白质含量或者结晶含量大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。其中，体液分类模型和器官分类模型可以是预先使用大量标注有预测结果的体液图片样本以及器官样本，对卷积神经网络进行训练获得的训练好的分类模型，所述体液分类模型可以根据多偏振态成像系统获得的包含器官表面含水量特征的窄波段偏振图像，获得体液分类结果，所述器官分类模型可以根据多偏振态成像系统获得的包含器官表面轮廓特征的窄波段偏振图像，获得器官分类结果，并输出在医生佩戴的现实增强或混合现实设备中，在手术过程中为医生提供更多的信息，以便进一步判断病情和进行手术。其中，提示信息可以是声音、光线或者文字中的一种。例如，如图3所示，可以通过增强现实或者混合现实的方法在三维图像上增加文字以提醒医生手术过程中患者血液中血红蛋白含量异常。并且，多偏振态成像设备还可以根据偏振光信息，结合神经网络模型进行器官分类的判定，也可以将判定结果通过增强现实或者混合现实的方法在三维图像上增加文字以提醒医生，本申请不作赘述。

在本申请具体的实施方式中，处理系统根据所述多个窄波段光谱图像和多个窄波段偏振图像构建所述手术区域的三维图像具体可以是：处理系统将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果，从而根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置，然后，再根据所述手术部位、所述手术工具和所述手术标记之间的相对位置重构三维图像。可以理解，通过多个窄波段光谱图像和多个窄波段偏振图像可以获得更加丰富的信息，因而，可以更加准确地对所述手术部位、所述手术工具和所述手术标记进行定位和分割。

在本申请具体的实施方式中，处理系统将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果具体可以是：在获得多个窄波段光谱图像和多个窄波段偏振图像之后，处理系统可以用特征提取算法(例如，卷积神经网络)提取多个窄波段光谱图像和多个窄波段偏振图像的纹理特征。然后，再结合图像识别算法(例如，卷积神经网络)和动作追踪算法对手术前做的标记、手术工具与手术相关区域进行准确定位或分割，从而得到定位分割结果。

在本申请具体的实施方式中，获得所述手术区域的三维重建图像后，所述方法还包括：将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。将所述三维重建图像进行目标区域的渲染强化包括：在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡所述目标区域的部位，渲染出未被遮挡的目标区域；或者，在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。

优选地，渲染出的未被遮挡的目标区域可以是通过使用训练好的遮挡补充模型获得的，所述遮挡补充模型是使用大量双目图像以及双目图像中的遮挡物的图像作为样本，对对称结构的卷积神经网络(SymmNet)进行训练后得到的，所述遮挡补充模型学习了大量双目图像中的遮挡特征，可以通过左右对称结构来预测多目光谱成像设备图像的遮挡问题的网络模型。使用遮挡补充模型渲染强化后的结果可以为医生的手术带来更多手术信息，例如，某手术区域如图4a所示，当目标区域为手术区域中被遮挡的区域的情况下，医生使用现实增强(Augmented Reality,AR)眼镜可以看到如图4b所示的渲染强化后的三维重建图像，并根据强化后的三维重建图像进行手术。可以理解的是，在没有进行目标区域的渲染强化之前，医生只能根据经验进行手术，在进行了目标区域的渲染强化之后，医生可以使用AR眼镜根据渲染出的未被遮挡的目标区域图像，辅助或引导手术的进行。应理解，上述举例仅用于说明，遮挡区域的渲染还可以使用其他算法获得，例如使用左右交叉检查(Left-right-cross-checking,LRC)算法通过预先计算的视差结果来推断遮挡的位置，本申请不作具体限定。

优选地，渲染出亮度提升后的目标区域可以是使用训练好的亮度补充模型获得的，所述亮度补充模型是使用亮度提升前后的手术区域样本图片对卷积神经网络进行训练得到的模型，使用亮度补充模型渲染强化后的结果可以为医生的手术带来更多手术信息，例如，如图5a所示，当目标区域为手术区域中的特定区域的情况下，例如，某些病变区域或者阴影区域这些医生无法通过目视看清楚的区域，医生使用AR眼镜之后可以看到如图5b所示的渲染强化后的三维重建图像，并根据强化后的三维重建图像进行手术。可以理解的是，在没有进行目标区域的渲染强化之前，医生只能根据经验进行手术，在进行了目标区域亮度提升之后，医生可以使用AR眼镜根据渲染出的亮度提升后的目标区域图像，辅助或引导手术的进行。

在本申请具体的实施方式中，所述目标区域是处理系统根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的。例如：当医生手术刀放置在某一病变区域时，医生的AR眼镜会自动显示出该病变区域提亮后的三维重建图像。应理解，以上举例仅用于说明，并不能构成具体限定。

在本申请具体的实施方式中，所述目标区域还可以是处理系统根据接收的用户请求确定的区域。例如：医生在手术过程中需要查看某一被遮挡的目标区域，此时医生可以通过使用AR设备，或者医生助手通过使用与处理系统相连的其他终端设备框选出需要查看的被遮挡的目标区域，处理系统根据接收到的目标区域信息确定目标区域，将目渲染出的未被遮挡的目标区域图像输入医生的AR眼镜中。应理解，以上举例仅用于说明，并不能构成具体限定。

在本申请具体的实施方式中，输出强化后的三维重建图像可以是输出到医生佩戴的头戴式显示设备显示屏，例如AR眼镜、混合现实(Mediated Reality,MR)眼镜等等；也可以是输出到终端设备显示屏，例如计算机显示屏、平板显示屏等等；还可以是输出到机械手术系统中，为机械臂进行手术提供手术引导或辅助。

上述方案中，广谱光源产生宽波段的广谱光线，光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像，使得处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。通过上述方法，可以根据多个窄波段光谱图像和多个窄波段偏振图像获得更丰富的有效信息，从而重建出精确度更高的三维图像，并且，还可以通过虚拟增强技术对重建后的三维图像根据医生需求进行渲染强化，从而引导或辅助医生正确进行手术，提高了手术的精度。

参见图6，图6是本申请提供的一种基于多目成像和多偏振态成像的三维图像建立系统的结构示意图。在本申请实施例中，基于多目成像和多偏振态成像的三维图像建立系统包括：广谱光源110，光谱成像设备120、多偏振态成像设备130以及处理系统140。

广谱光源110用于产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；

光谱成像设备120用于多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；

多偏振态成像设备130用于采集所述广谱光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；

处理系统140用于根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。。

在本申请具体的实施方式中，广谱光源110用于产生宽波段的广谱光线。广谱光源产生的波长的范围可以从红外延伸至紫外，从红外延伸至可见光，或者，从可见光延伸至紫外等等。在实际应用中，广谱光源110的数量可以是一个或者多个。在一具体的实施例中，多个广谱光源110产生的广谱光线的波段的范围都是相同的，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至850纳米，第二广谱光源产生的广谱光线的波长范围也为350纳米至850纳米等等。在另一具体的实施例中，多个广谱光源产生的广谱光线的波段的范围都是不相同的，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至550纳米，第二广谱光源产生的广谱光线的波长范围为550纳米至850纳米等等。

在上述例子中，皆以广谱光源110产生的广谱光线为连续的宽波段为例进行说明，在实际应用中，广谱光源110产生的广谱光线也可以是不连续的宽波段，例如，第一广谱光源产生的广谱光线包括两个波段，一段广谱光线的波长范围为350纳米至450纳米，另一段广谱光线的波长范围为650纳米至850纳米等等，此处不作具体限定。

在本申请具体的实施方式中，偏振光线是将广谱光线通过起偏器获得的，也就是说，在一部分广谱光源110下方放置起偏器用于获得偏振光线，在另一部分广谱光源110下方不放置起偏器用于获得自然光线，可以理解的是，偏振光线用于多偏振态成像设备采集偏振图像，自然光线用于光谱成像设备采集光谱图像。

在本申请具体的实施方式中，广谱光源110的排列方式可以是水平排列，也可以是垂直排列，还可以是倾角排列，还可以是多种排列方式的组合，例如，图2是本申请实施例提供的广谱光源的排列方式，其中，A组光源下方放有起偏器用于获得偏振光，B组光源下方没有起偏器，A1、B1光源为垂直照射光源阵列，A2、B2、A3、B3为倾角光源，分别设置在A1、B1光源的两侧，并与水平方向呈θ夹角，可以理解的是，由于不同角度的光束下采集到的生物组织特征信息不同，因此图2所示的光源排列方式有利于充分挖掘生物特征信息，应理解，图2所示的广谱光源排列方式仅用于举例说明，并不能构成具体限定，本申请中的广谱光源可以拥有更多的垂直光源阵列以及倾角光源阵列。

在本申请具体的实施方式中，所述手术区域是患者被进行手术的身体区域，而不是整个手术台，手术区域可以包括：患者进行手术的手术部位、手术部位放置的手术工具和手术标记。其中，手术部位可以病人身上需要被做手术的部位，以及需要被做手术的部位的附近部位。手术工具可以是手术刀、手术剪刀、手术拉钩以及撑开器等等。手术标记可以是便于进行定位的手术标记物，此处不作具体限定。

在本申请具体的实施方式中，光谱成像设备120可以形成多个窄波段光谱图像。其中，光谱成像设备120可以是多个并且是多角度排列的多目光谱成像设备，也可以是高光谱成像设备与深度摄像头的结合，光谱成像设备120还可以是高光谱成像设备或者超光谱成像设备等等，本申请不作具体限定。其中，高光谱成像设备以数百至数千个连续且细分的光谱波段对手术区域同时成像，超光谱成像设备以数千至数万个连续且细分的光谱波段对手术区域同时成像。当然，光谱成像设备还可以以更多的连续且细分的光谱波段对手术区域同时成像，例如数万个至数十万个连续且细分的光谱波段对手术区域同时成像等等，此处不作具体限定。

在本申请具体的实施方式中，光谱成像设备可以利用物体表面成分的光谱差异，对目标进行识别和分类，也就是说，不同的窄波段光谱图像具有不同的成像窄波段，将不同角度拍摄得到的窄波段光谱图像进行综合，可以获得更广阔的视野，因而可以获得更丰富的信息，再利用多目立体视觉算法，可以实现三维重建。举例来说，人体的皮肤能够较好地反射a成像窄波段，人体的肌肉能够较好地反射b成像窄波段，人体的血管能够较好地反射c成像窄波段，人体的骨骼能够较好地反射d成像窄波段。因此，可以根据a成像窄波段获得反应人体皮肤情况的A窄波段光谱图像，可以根据b成像窄波段获得反应人体肌肉情况的B窄波段光谱图像，可以根据c成像窄波段获得反应人体血管情况的C窄波段光谱图像，可以根据d成像窄波段获得反应人体骨骼情况的D窄波段光谱图像。可以理解，当光谱波段细分的程度越高，则光谱成像设备120的视野越广阔，光谱生成设备120获得的信息也自然越丰富，获得的人体信息也更准确，进而实现更准确的三位重建模型。

优选地，光谱成像设备可以使用双目立体视觉匹配(Sum of AbsoluteDifferences,SAD)算法进行手术区域的三维重建，也就是说，利用双目高光谱成像设备获得的不同角度的窄波段光谱图像，将每个图像中的像素对应的数值之差取绝对值求和，以此评估不同角度的窄波段光谱图像的相似程度，从而得到视差图。在获得视差信息后，根据投影模型即可得到原始图像的深度信息和三维信息。当然，光谱成像设备还可以使用块匹配(Block Matching,BM)算法、半全局块匹配(Semi-Global Block Matching,SGM)算法等其他多目立体视觉算法进行手术区域初步的三维重建，本申请不作具体限定。

在本申请具体的实施方式中，多偏振态成像设备130可以形成多个窄波段偏振图像。其中，多偏振态成像设备130可以是一个或者多个，多偏振态成像设备130可以是正交多偏振态成像设备或者干涉多偏振态成像设备等等。其中，正交多偏振态成像设备以数百至数千个连续且细分的光谱波段对手术区域同时成像，干涉多偏振态成像设备以数千至数万个连续且细分的光谱波段对手术区域同时成像。当然，多偏振态成像设备还可以以更多的连续且细分的偏振光波段对手术区域同时成像，例如数万个至数十万个连续且细分的偏振光波段对手术区域同时成像等等，此处不作具体限定。

在本申请具体的实施方式中，窄波段偏振图像对应的成像窄波段与窄波段光谱图像对应的成像窄波段可以是相同的，例如：人体的血管能够较好地反射c成像窄波段，因此可以根据c成像窄波段获得反应人体血管情况的C窄波段光谱图像以及C窄波段偏振图像。窄波段偏振图像对应的成像窄波段与窄波段光谱图像对应的成像窄波段还可以是不相同的，例如：人体的血管能够较好地反射c1成像窄波段，较好的反射c2偏振成像窄波段，因此可以根据C1成像窄波段获得反应人体血管情况的C1窄波段光谱图像，根据C2偏振成像窄波段获得反应人体血管情况的C2窄波段偏振图像。应理解，以上举例仅用于说明，并不能构成具体限定。

在本申请具体的实施方式中，多偏振态成像设备130可以根据多个窄波段偏振图像中光束的偏振角、偏振度以及椭率角获得手术区域的偏振特征参数，例如提供手术区域的器官表面粗糙度、纹理走向、表面取向、含水量等体征，相比光谱成像设备120，多偏振态成像设备130可以对器官轮廓和表面取向识别提供更精确的信息，突出手术区域中的器官在图片中与背景的对比度，进而提高接下来用器官分类模型、体液分类模型识别的准确率。因此，本申请结合光谱成像设备120和多偏振态成像设备130进行手术区域的三维重建，可以为医生提供更完整、更可靠且人眼无法提取到的信息。也就是说，光谱成像设备120可以是对手术区域整体进行特征提取，使用多目立体视觉算法实现手术区域的初级三维重建，多偏振态成像设备130可以是对光谱成像设备无法显示的器官表面粗糙度、肌肉纹理走向、器官表面覆盖的液体种类等轮廓和表面取向进行特征提取获得手术区域中清晰描述了的人体器官的表面粗糙程度或者体液覆盖情况的图像。

在本申请的实施方式中，处理系统140根据所述多个窄波段光谱图像和多个窄波段偏振图像构建所述手术区域的三维图像。也就是说，处理系统综合了窄波段光谱图像和窄波段偏振图像分别提取的信息，建立了一个详细、丰富的手术区域立体信息图。例如：处理系统可以根据不同角度的A窄波段光谱图像重建皮肤的三维图像A，根据不同角度的B窄波段光谱图像重建肌肉的三维图像B，根据不同角度的C窄波段光谱图像重建血管的三维图像C，根据不同角度的D窄波段光谱图像重建骨骼的三维图像D，根据不同角度的E窄波段偏振图像重建微血管的三维图像E，根据不同角度的F窄波段偏振图像重建各个器官表面覆盖液体的三维图像F，将三维图像A、三维图像B、三维图像C、三维图像D、三维图像E以及三维图像F进行融合后，就可以获得能够同时反映皮肤、肌肉、血管、骨骼、微血管、器官表面粗糙程度的详细、真实的手术区域三维图像。

在本申请具体的实施方式中，所述处理系统140还用于根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括器官种类分析、蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；所述处理系统还用于确定所述分析结果是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；所述处理系统还用于在所述分析结果大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。其中，体液分类模型和器官分类模型可以是预先使用大量标注有预测结果的体液图片样本以及器官样本，对卷积神经网络进行训练获得的训练好的分类模型，所述体液分类模型可以根据多偏振态成像系统获得的包含器官表面含水量特征的窄波段偏振图像，获得体液分类结果，所述器官分类模型可以根据多偏振态成像系统获得的包含器官表面轮廓特征的窄波段偏振图像，获得器官分类结果，并输出在医生佩戴的现实增强或混合现实设备中，在手术过程中为医生提供更多的信息，以便进一步判断病情和进行手术。其中，提示信息可以是声音、光线或者文字中的一种。例如，如图3所示，可以通过增强现实的方法在三维图像上增加文字以提醒医生手术过程中患者血液中血红蛋白含量异常。并且，多偏振态成像设备还可以根据偏振光信息，结合神经网络模型进行器官分类的判定，也可以通过增强现实或者混合现实的方法在三维图像上增加文字以提醒医生，本申请不作赘述。

在本申请具体的实施方式中，处理系统140根据所述多个窄波段光谱图像和多个窄波段偏振图像构建所述手术区域的三维图像具体可以是：处理系统将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果，从而根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置，然后，再根据所述手术部位、所述手术工具和所述手术标记之间的相对位置重构三维图像。可以理解，通过多个窄波段光谱图像和多个窄波段偏振图像可以获得更加丰富的信息，因而，可以更加准确地对所述手术部位、所述手术工具和所述手术标记进行定位和分割。

在本申请具体的实施方式中，处理系统140将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果具体可以是：在获得多个窄波段光谱图像和多个窄波段偏振图像之后，处理系统可以用特征提取算法(例如，卷积神经网络)提取多个窄波段光谱图像和多个窄波段偏振图像的纹理特征。然后，再结合图像识别算法(例如，卷积神经网络)和动作追踪算法对手术前做的标记、手术工具与手术相关区域进行准确定位或分割，从而得到定位分割结果。

在本申请具体的实施方式中，可选地，所述处理系统还用于获得所述手术区域的三维重建图像后，将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。所述处理系统具体用于在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡目标区域的部位，渲染出未被遮挡的目标区域；或者，所述处理系统具体用于在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。

优选地，渲染出的未被遮挡的目标区域可以是通过使用训练好的遮挡补充模型获得的，所述遮挡补充模型是使用大量双目图像以及双目图像中的遮挡物的图像作为样本，对对称结构的卷积神经网络(SymmNet)进行训练后得到的，所述遮挡补充模型学习了大量双目图像中的遮挡特征，可以通过左右对称结构来预测多目光谱成像设备图像的遮挡问题的网络模型。使用遮挡补充模型渲染强化后的结果可以为医生的手术带来更多手术信息，例如，某手术区域如图4a所示，当目标区域为手术区域中被遮挡的区域的情况下，医生使用现实增强(AR)眼镜可以看到如图4b所示的渲染强化后的三维重建图像，并根据强化后的三维重建图像进行手术。可以理解的是，在没有进行目标区域的渲染强化之前，医生只能根据经验进行手术，在进行了目标区域的渲染强化之后，医生可以使用AR眼镜根据渲染出的未被遮挡的目标区域图像，辅助或引导手术的进行。应理解，上述举例仅用于说明，遮挡区域的渲染还可以使用其他算法获得的，例如使用左右交叉检查(Left-right-cross-checking,LRC)算法通过预先计算的视差结果来推断遮挡的位置，本申请不作具体限定。

优选地，渲染出亮度提升后的目标区域可以是使用训练好的亮度补充模型获得的，所述亮度补充模型是使用亮度提升前后的手术区域样本图片对卷积神经网络进行训练得到的模型，使用亮度补充模型渲染强化后的结果可以为医生的手术带来更多手术信息，例如，如图5a所示，当目标区域为手术区域中的特定区域的情况下，例如，某些病变区域或者阴影区域这些医生无法通过目视看清楚的区域，医生使用AR眼镜之后可以看到如图5b所示的渲染强化后的三维重建图像，并根据强化后的三维重建图像进行手术。可以理解的是，在没有进行目标区域的渲染强化之前，医生只能根据经验进行手术，在进行了目标区域亮度提升之后，医生可以使用AR眼镜根据渲染出的亮度提升后的目标区域图像，辅助或引导手术的进行。

在本申请具体的实施方式中，所述目标区域是处理系统140根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的。例如：当医生手术刀放置在某一病变区域时，医生的AR眼镜会自动显示出该病变区域提亮后的三维重建图像。应理解，以上举例仅用于说明，并不能构成具体限定。

在本申请具体的实施方式中，所述目标区域还可以是处理系统140根据接收的用户请求确定的区域。例如：医生在手术过程中需要查看某一被遮挡的目标区域，此时医生可以通过使用AR设备，或者医生助手通过使用与处理系统相连的其他终端设备框选出需要查看的被遮挡的目标区域，处理系统根据接收到的目标区域信息确定目标区域，将目渲染出的未被遮挡的目标区域图像输入医生的AR眼镜中。应理解，以上举例仅用于说明，并不能构成具体限定。

在本申请具体的实施方式中，处理系统140输出强化后的三维重建图像可以是输出到医生佩戴的头戴式显示设备显示屏(例如AR眼镜、MR眼镜等等)，也可以是输出到终端设备显示屏(例如计算机显示屏、平板显示屏等等)，还可以是输出到机械手术系统中，为机械臂进行手术提供手术引导或辅助。

上述系统中，广谱光源产生宽波段的广谱光线，光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像，使得处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。通过上述系统，可以根据多个窄波段光谱图像和多个窄波段偏振图像获得更丰富的有效信息，从而重建出精确度更高的三维图像，并且，通过虚拟增强技术对重建后的三维图像根据医生需求进行渲染强化，从而引导或辅助医生正确进行手术，提高了手术的精度。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多目成像和多偏振态成像的三维图像建立方法，其特征在于，所述方法包括：

广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；

光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；

多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；

处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述处理系统根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括器官种类分析、蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；

确定所述分析结果中的蛋白质含量或者结晶含量是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；

在所述分析结果中的蛋白质含量或者结晶含量大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。

3.根据权利要求1所述的方法，其特征在于，获得所述手术区域的三维重建图像后，所述方法还包括：

将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。

4.根据权利要求3所述的方法，其特征在于，将所述三维重建图像进行目标区域的渲染强化包括：

在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡所述目标区域的部位，渲染出未被遮挡的目标区域；或者，

在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。

5.根据权利要求4所述的方法，其特征在于，

所述目标区域是处理系统根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；或者，

所述目标区域是处理系统根据接收的用户请求确定的区域。

6.一种基于多目成像和多偏振态成像的三维图像建立系统，其特征在于，包括：

广谱光源，广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；

光谱成像设备，用于多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；

多偏振态成像设备，用于采集所述广谱光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；

处理系统，处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。

7.根据权利要求6所述的系统，其特征在于，

所述处理系统还用于根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括器官种类分析、蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；

所述处理系统还用于确定所述分析结果中的蛋白质含量或者结晶含量是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；

所述处理系统还用于在所述分析结果中的蛋白质含量或者结晶含量大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。

8.根据权利要求6所述的系统，其特征在于，处理系统还用于获得所述手术区域的三维重建图像后，将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。

9.根据权利要求8所述的系统，其特征在于，

所述处理系统具体用于在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡目标区域的部位，渲染出未被遮挡的目标区域；或者，

所述处理系统具体用于在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。

10.根据权利要求9所述的系统，其特征在于，

所述目标区域是处理系统根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；或者，

所述目标区域是处理系统根据接收的用户请求确定的区域。

Images