CN115623163A

CN115623163A - 二维三维图像的采集与融合显示系统及方法

Info

Publication number: CN115623163A
Application number: CN202211177417.6A
Authority: CN
Inventors: 廖洪恩; 任冠霖; 黄天琪; 张辉; 张欣然
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2022-09-26
Filing date: 2022-09-26
Publication date: 2023-01-17

Abstract

本申请涉及内窥镜技术领域，特别涉及一种二维三维图像的采集与融合显示系统及方法，包括：采集组件，采集待显示目标的超广角图像和双目图像；处理组件，基于预设校准策略，分别校正超广角图像和双目图像，并对校正后的超广角图像和双目图像分别进行像素重采样处理以及图层遮盖处理，从而分别得到基元图像和二维图像；融合显示组件，包括三维显示区域和二维显示区域，用于接收处理组件发出的基元图像和二维图像，并在三维显示区域显示待显示目标的基元图像的同时，在二维显示区域显示待显示目标的二维图像。由此，解决相关技术的内窥镜技术存在视野迷失、场景空间感较低、三维显示利用率较低，从而增加医生术中的认知负荷及手术风险的问题。

Description

二维三维图像的采集与融合显示系统及方法

技术领域

本申请涉及内窥镜技术领域，特别涉及一种二维三维图像的采集与融合显示系统及方法。

背景技术

医用内窥镜通常需要从病人某微小创口处伸入腔内以观察场景，受限于有限的观察角度和前端镜头尺寸，导致在手术时内窥镜视野不理想且存在视野受限以及分辨率低等问题。一方面，为了解决视野受限问题，医用内窥镜相关研究考虑采用广角镜头，并已经广泛投入生产使用；另一方面，医生进行手术时往往需要借助深度信息判断治疗方案，三维图像可以提供自然的深度线索，这一方案在医疗中十分重要，由此，相关技术研究人员设计双目内窥镜以提供含有双目视差的术中图像，以便医生在术中观察时保持立体感知，从而提高手术精准度。因此，内窥镜视野的广度和深度是领域研究的基本方向。

近年来，柔性机器人的相关研究被广泛关注，由于其具有灵活性且适应人体腔道的特点，因此，具有广阔的应用前景。然而，柔性内窥镜的视野迷失相比传统钢性内窥镜更为严重，由于其空间取向多变，从而导致医生难以根据插入位点直接判断柔性内窥镜的观察方向，进而产生认知疲劳，长期的认知负荷使得医生的空间感知退化并弱化了深度感知能力，最终难以找回视野。在柔性内窥镜的研究中，以“视野迷失”为典型的内窥镜视野广度和深度感知问题是研究的重中之中。

医用成像设备通常需要配备显示屏，为了适应手术空间需求，显示屏的尺寸不宜过大，往往会造成医生在受限的显示屏里观察手术场景，存在手术空间感丢失等问题。此外，医用三维显示屏还未大规模普及，在术中大多以二维屏为主，三维影像显示在二维屏幕中，通过拖拽变换视角，医生才能了解三维结构信息，并需要借助经验判断和思考来理解器械与组织之间的空间关系。从而会导致不直观的深度信息增加了医生的认知负荷，且在术中长期的视觉及认知疲劳下可能会增加手术风险。

相关技术中，用于内窥镜手术的三维医用显示屏尺寸通常在32寸左右，其显示术中区域的同时也需要显示周围组织信息，因而对于医生感兴趣区域的显示区域较小。

因此，需要一种通过将二维显示和三维显示融合的方式拓展显示视野，但由于二维信息视差的缺失导致二维显示和三维显示融合时，二维图像与三维图像的视差无法良好匹配，从而限制了二维三维的融合效果，亟需改善。

发明内容

本申请提供一种二维三维图像的采集与融合显示系统及方法，以解决相关技术的内窥镜技术存在视野迷失、场景空间感较低、三维显示利用率较低，并且二维图像缺少视差难以与三维图像较好融合，从而增加医生术中的认知负荷及手术风险的问题。

本申请第一方面实施例提供一种二维三维图像的采集与融合显示系统，包括：

采集组件，所述采集组件用于采集待显示目标的超广角图像和双目图像；

处理组件，用于基于预设校准策略，分别校正所述超广角图像和所述双目图像，并对校正后的所述超广角图像进行像素重采样处理得到基元图像，且对校正后的所述双目图像进行图层遮盖处理得到二维图像；

融合显示组件，所述融合显示组件包括三维显示区域和二维显示区域，用于接收所述处理组件发出的所述基元图像和所述二维图像，并在所述三维显示区域显示所述待显示目标的所述基元图像的同时，在所述二维显示区域显示所述待显示目标的所述二维图像。

可选地，所述采集组件为三目内窥镜，所述三目内窥镜包括：

超广角采集单元，所述超广角采集单元用于采集所述待显示目标的超广角图像；

双目采集单元，所述双目采集单元用于采集所述待显示目标的双目图像，其中，所述双目图像为视差图像。

可选地，所述双目采集单元包括第一采集件和第二采集件，其中，

所述第一采集件和第二采集件按照第一预设距离并排设置，所述超广角采集单元设置于所述第一采集件和第二采集件中垂线上方，且高度为第二预设距离；或者

所述超广角采集单元、所述第一采集件和第二采集件并排设置，所述第一采集件和第二采集件之间为第三预设距离。

可选地，所述融合显示组件由投影设备和三维显示屏构成。

可选地，所述融合显示组件由所述三维显示屏和与所述三维显示屏相邻的多个二维显示屏构成。

可选地，所述融合显示组件、所述采集组件和所述待显示目标之间的空间位置关系为：

其中，L₁为三维显示屏距离投影幕布上边缘距离，L₂为三维显示屏距离投影幕布下边缘距离，L₃为三维显示屏距离投影幕布左右边缘距离，h为广角镜头与基线长度的垂直距离，X为实际记录场景的物距，P_x为投影仪到投影幕布之间的距离，P_y为投影仪到P_x之间的垂直距离，L_x为投影幕布的长度，L_y为投影幕布的宽度。

根据本申请实施例的二维三维图像的采集与融合显示系统，通过采集待显示目标的超广角图像和双目图像的采集组件；基于预设校准策略，分别校正超广角图像和双目图像，并对校正后的超广角图像和双目图像分别进行像素重采样处理以及图层遮盖处理，从而分别得到基元图像和二维图像的处理组件以及用于接收处理组件发出的基元图像和二维图像，并在三维显示区域显示待显示目标的基元图像的同时，在二维显示区域显示待显示目标的二维图像的融合显示组件。由此，解决了相关技术的内窥镜技术存在视野迷失、场景空间感较低、三维显示利用率较低，从而增加医生术中的认知负荷及手术风险的问题，基于视点追踪和二维三维融合的三维显示方法，增强了内窥镜的场景空间感，提升了三维显示的利用率，从而使医生降低疲劳损耗，减少手术的风险。

本申请第二方面实施例提供一种二维三维图像的采集与融合显示方法，采用如第一方面实施例所述的二维三维图像的采集与融合显示系统，其中，所述方法包括以下步骤：

采集所述待显示目标的超广角图像和双目图像；

基于所述预设校准策略，分别校正所述超广角图像和所述双目图像，并对校正后的所述超广角图像进行像素重采样处理得到基元图像，且对校正后的所述双目图像进行图层遮盖处理得到二维图像；

在所述三维显示区域显示所述待显示目标的所述基元图像的同时，在所述二维显示区域显示所述待显示目标的所述二维图像，以通过所述基元图像补偿所述二维图像的视差信息。

可选地，在采集所述待显示目标的所述超广角图像和所述双目图像之后，还包括：

基于预设匹配算法匹配第一采集件和第二采集件，并计算匹配后的所述第一采集件和所述第二采集件之间的真实视差图；

检测所述真实视差图的空洞区域，并基于预设的可信视差值填充所述真实空洞区域，得到填充后的真实视差图，并基于预设的视差-深度关系，将所述填充后的真实视差图转化为真实深度图；

基于所述真实视差图和所述真实深度图，根据观察者当前时刻位置和所述观察者上一时刻位置的变化值确定虚拟视点的虚拟视差图，并检测所述虚拟视差图的空洞区域，并基于所述预设的可信视差值填充所述虚拟视差图，得到填充后的虚拟视差图；

基于预设的双线性插值方法，将所述填充后的虚拟视差图的整数坐标平移到预设参考视点，并计算平移后所述预设参考视点的最终像素值，并将所述最终像素值经过反向映射后生成最终的虚拟视点图，且将所述最终的虚拟视点图在所述融合显示单元进行显示。

可选地，在采集所述待显示目标的所述超广角图像和所述双目图像之前，还包括：

获取观察者当前时刻位置和上一时刻位置；

根据所述当前时刻位置和所述上一时刻位置确定三目内窥镜的最佳转动角度；

根据所述最佳转动角度控制所述三目内窥镜进行转动。

可选地，所述根据所述当前时刻位置和所述上一时刻位置确定所述三目内窥镜的最佳转动角度，包括：

根据所述当前时刻位置和所述上一时刻位置得到所述观察者的观察变化角度；

基于预设的空间位置的向量变化关系和角度变换计算公式，根据所述观察变化角度确定所述三目内窥镜的最佳转动角度。

根据本申请实施例的二维三维图像的采集与融合显示方法，通过采集待显示目标的超广角图像和双目图像的采集组件；基于预设校准策略，分别校正超广角图像和双目图像，并对校正后的超广角图像和双目图像分别进行像素重采样处理以及图层遮盖处理，从而分别得到基元图像和二维图像的处理组件以及用于接收处理组件发出的基元图像和二维图像，并在三维显示区域显示待显示目标的基元图像的同时，在二维显示区域显示待显示目标的二维图像的融合显示组件。由此，解决了相关技术的内窥镜技术存在视野迷失、场景空间感较低、三维显示利用率较低，从而增加医生术中的认知负荷及手术风险的问题，基于视点追踪和二维三维融合的三维显示方法，增强了内窥镜的场景空间感，提升了三维显示的利用率，从而使医生降低疲劳损耗，减少手术的风险。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例的二维三维图像的采集与融合显示系统的方框示意图；

图2为根据本申请一个实施例的使用二维三维图像的采集与融合显示系统的软体内窥镜场景示例的示意图；

图3为根据本申请一个实施例的二维三维融合显示组件结构示意图；

图4为根据本申请一个实施例的三目内窥镜结构示意图；

图5为根据本申请一个实施例的多种功能镜头场景下的成像关系示意图；

图6为根据本申请一个实施例的成像单元和显示单元的空间位置关系示意图；

图7为根据本申请一个实施例的图像融合处理框架示意图；

图8为根据本申请一个实施例的投影仪的空间位置示意图；

图9为根据本申请一个实施例的引入视点追踪的三目内窥镜渲染虚拟视点示意图；

图10为根据本申请一个实施例的引入视点追踪的虚拟渲染与二维三维融合显示示意图；

图11为根据本申请一个实施例的引入视点追踪的三目内窥镜转动成像与二维三维融合显示示意图；

图12为根据本申请一个实施例的视点追踪及镜头变化过程示意图；

图13为根据本申请一个实施例的基于视点追踪的渲染与融合显示流程图；

图14为根据本申请实施例的二维三维图像的采集与融合显示方法的流程图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参照附图描述根据本申请实施例提出的二维三维图像的采集与融合显示系统及方法，针对上述背景技术中提到的相关技术的内窥镜技术存在视野迷失、场景空间感较低、三维显示利用率较低，并且二维图像缺少视差难以与三维图像较好融合，从而增加医生术中的认知负荷及手术风险的问题，本申请提供了一种二维三维图像的采集与融合显示系统，通过采集待显示目标的超广角图像和双目图像的采集组件；基于预设校准策略，分别校正超广角图像和双目图像，并对校正后的超广角图像和双目图像分别进行像素重采样处理以及图层遮盖处理，从而分别得到基元图像和二维图像的处理组件以及用于接收处理组件发出的基元图像和二维图像，并在三维显示区域显示待显示目标的基元图像的同时，在二维显示区域显示待显示目标的二维图像的融合显示组件。由此，解决了相关技术的内窥镜技术存在视野迷失、场景空间感较低、三维显示利用率较低，从而增加医生术中的认知负荷及手术风险的问题，基于视点追踪和二维三维融合的三维显示方法，增强了内窥镜的场景空间感，提升了三维显示的利用率，从而使医生降低疲劳损耗，减少手术的风险。

在介绍本申请实施例之前，首先介绍一下相关技术中的多位图像显示系统的实现方案，分别为多视角内窥镜成像技术、多视角腔内三维成像技术以及基于360°的内窥镜三维成像技术，下面将根据其技术方案分别说明。

其一，通过在主内窥镜两旁增加内窥镜，从多个角度更清晰的展示术中场景，使得医生能够观察到更广阔的医用场景角度，医生在观察场景时可以分别从三个屏幕观察到不同视角下的场景。一方面，可以规避遮挡，提高了手术可操作性；另一方面，通过多角度视图提升了医生的空间感知，以便于判断手术的深度信息。但是，该方法也存在一定局限性，其局限性主要表现为：

(1)不适用复杂的手术，医生在使用时其注意力需要在多幅图像之间切换，认知负荷大，长期使用疲惫感强。

(2)该技术的本质仍然显示二维图像，空间立体感不强。

其二，基于多视角的腔内三维成像系统，该设备将照明原件与传感器置于腔内，腔内结构较大，位于腔体内的成像传感器阵列和照明设备成像传感器阵列，包含了多个成像传感器用于在照明设备提供的光照下采集目标对象的二维图像，其采集的多视图二维图像信息通过结构光投影重建。其控制单元将三维图像传输给显示装置，显示装置为普通三维显示器，通常采用柱透镜屏进行三维显示。

采用该三维成像方法可以消除腹腔镜普遍存在的视野狭小及旋转视角的问题，并获得一个具有恰当视角、无遮蔽的大视场手术场景。但是，该方法也存在一定局限性，其局限性主要表现为：

(1)为了扩充视角，在腔内引入过多成像单元，占用手术空间，加大实际操作难度。

(2)采用结构光的三维表面重建方法，会使分辨率低，部分器官因为反光而导致三维重建精度进一步下降。

(3)采用结构光的三维成像对运算依赖严重，运算负荷大，实时成像效果差。

其三，基于360°的内窥镜三维成像系统，其成像端采用鱼眼镜头。该设备显示范围广，通过内窥镜介入切口的巧妙选取，相较于普通内窥镜往往可以减少使用数量，从而减少切口，实现单镜手术。通过该系统的图像增益调节，可以放大位于中央环内的图像细节，进一步突出术中医生感兴趣区域的成像比重。但是，该方法也存在一定局限性，其局限性主要表现为：

(1)缺少适用于自身的显示设备，显示信息不直观，增加了医生的认知负荷，医生理解术中场景较为困难。

(2)在大视场大畸变的情况下，深度信息被进一步破坏，医生难以做出准确的术中深度判断。

基于上述的各种多位图像显示的局限性，本申请实施例将采用二维三维图像的采集与融合显示系统以增强内窥镜的场景空间感，提升了三维显示的利用率，从而使医生降低疲劳损耗，减少手术的风险，下面将根据具体实施例进行详细说明。

具体而言，图1是本申请一个实施例的二维三维图像的采集与融合显示系统的方框示意图。

如图1所示，该二维三维图像的采集与融合显示系统10，包括：采集组件100、处理组件200和融合显示组件300。

其中，采集组件100用于采集待显示目标的超广角图像和双目图像；处理组件200用于基于预设校准策略，分别校正超广角图像和双目图像，并对校正后的超广角图像进行像素重采样处理得到基元图像，且对校正后的双目图像进行图层遮盖处理得到二维图像；融合显示组件300包括三维显示区域和二维显示区域，用于接收处理组件发出的基元图像和二维图像，并在三维显示区域显示待显示目标的基元图像的同时，在二维显示区域显示待显示目标的二维图像。

具体而言，如图2所示，作为一种可实现的方式，本申请实施例采用增强内窥镜视觉的二维三维融合显示方法，并且基于该方法提出了基于软体控制的三目内窥镜成像的二维三维融合显示系统，其中，该系统主要包括三个部分，分别为二维三维融合显示单元即融合显示组件300，三目内窥镜成像单元以及主机控制单元。其中，二维三维融合显示单元包含传统二维图像显示方法和裸眼三维显示方法，本单元将二者显示内容巧妙融合并显示；三目内窥镜成像单元可以实时捕获场景，其含有功能不同的内窥镜头，分别记录了含有视差的左右图像以及大视场的场景图；主机控制单元对三目内窥镜成像单元获取的图片进行处理，并输出给显示单元。

进一步地，在一些实施例中，融合显示组件300由三维显示屏和与三维显示屏相邻的多个二维显示屏构成。

进一步地，如图3所示，本申请实施例的二维三维融合显示单元可以由投影设备和三维显示屏组成，也可以由8个相同大小的二维显示器以及一个三维显示器组成。如图3的(a)所示，在投影幕布的中央位置设置恰好等同于三维显示屏的空缺，使三维显示屏幕恰好填充至幕布中央位置，整体融为一体；同样的，如图3的(b)所示，在该结构中，二维显示器环绕三维显示器，使得三维显示的内容与二维屏幕内容融合，该二维三维融合显示单元的设计恰好适应于三目内窥镜成像。

进一步地，在一些实施例中，采集组件100为三目内窥镜，三目内窥镜包括：超广角采集单元，超广角采集单元用于采集待显示目标的超广角图像；双目采集单元，双目采集单元用于采集待显示目标的双目图像，其中，双目图像为视差图像。

具体地，本申请实施例的三目内窥镜包括超广角采集单元和双目采集单元，其中，超广角采集单元用于采集待显示目标的超广角图像，其广角镜头成像范围广，用于记录环境信息，两个普通内窥镜头成两个具有水平视差的像，通过渲染处理可以还原三维图像；双目采集单元用于采集待显示目标的双目图像，即视差图像，视差图像在二维三维融合显示单元中使用三维显示器显示，如可以使用柱透镜显示屏、微透镜阵列显示器、指向背光显示器等显示设备进行三维图像显示；大视角的场景信息则用投影仪，也可以通过二维显示器拼接显示。经过校准后，场景信息和三维图像信息在显示器边缘处刚好能够拼接，使观察者观察三维内容时，能够感觉到将三维信息延拓到周围的投影信息视觉效果，实际上，观察者的视觉具有特性，当观察者观察某一视角下的信息，高级视觉(如感知等)都会处理该视角下中央视场的信息，而边缘视场(余光)只会引起察觉，而不会感知。

因此，利用上述的视觉特性，当观察者们观察三维内容时，边缘视场缺少深度感知，而认为三维内容与周围场景融为一体，从而会增广观察者的三维感知。同样地，在图3的(b)的排列方式中，二维显示器与中央三维显示器显示的内容融合为一个整体，且在边缘处保持纹理的连贯性，可同样保持观察者的上述视觉特性。本申请实施例在医用场景下，一方面，二维三维融合显示内容利于手术医生迅速判断空间方位，使视野丢失时更容易找回；另一方面，二维三维融合感知更有利于医生对周围结构直观判断，大大提高了手术的安全性。

进一步地，在一些实施例中，双目采集单元包括第一采集件和第二采集件，其中，第一采集件和第二采集件按照第一预设距离并排设置，超广角采集单元设置于第一采集件和第二采集件中垂线上方，且高度为第二预设距离；或者超广角采集单元、第一采集件和第二采集件并排设置，第一采集件和第二采集件之间为第三预设距离。

具体而言，如图4所示，本申请实施例的双目采集单元包括两个普通内窥镜镜头，即第一采集件(如左边的普通内窥镜镜头)和第二采集件(如右边的普通内窥镜镜头)。其中，双目采集单元有两种排列方式，其一为按照第一预设距离并排设置，超广角采集单元设置于第一采集件和第二采集件中垂线上方，也就是说，广角镜头放置在中间靠上位置，两个普通内窥镜镜头放在分别放在两边靠下的位置；其二为超广角采集单元、第一采集件和第二采集件并排设置，也就是说广角镜头和两个普通内窥镜镜头并排设置。需要说明的是，三目内窥镜结构的排列方式不限于上述的排列方式，在此不做具体限定。

举例而言，以第一种排列方式为例，两个普通内窥镜镜头之间的距离(基线长度)为L，广角镜头放置在基线中间上方H处，若广角镜头和两个普通内窥镜镜头并排设置，则H取0。

进一步地，三目内窥镜的基本参数(如基线、高度)及实际记录场景的物距X等具有重要意义，决定了CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)的视差和图像大小，其成像过程如图5和图6所示，图5和图6分别展示了不同功能的镜头记录了不同大小的场景的成像关系，以及成像单元与显示单元之间的空间位置关系，其中，融合显示组件300、采集组件100和待显示目标之间的空间位置关系为：

其中，L₁为三维显示屏距离投影幕布上边缘距离，L₂为三维显示屏距离投影幕布下边缘距离，L₃为三维显示屏距离投影幕布左右边缘距离，h为广角镜头与基线长度的垂直距离，X为实际记录场景的物距。

进一步地，本申请实施例在采集场景后，融合图像之前，通常情况下，不同视场角的融合图像的最终效果可能会因失真而受损，尤其是广角镜头。因此，本申请实施例采用张氏标定法分别对三个镜头进行标定，一方面获取了更精准的镜头间参数，另一方面校准了图像的畸变，使得融合后图像更加精确，具体图像拼接框架如图7所示。

举例而言，一方面，本申请实施例的两个普通内窥镜捕获了含有视差的双目图像，经过畸变校准后，获得校准后图像，然后经过像素重采样生成适用于三维显示屏的基元图像；另一方面，由于广角镜头拍摄的大视场图像经过畸变校准后进行图层遮掩，可以在二维图像中去除三维图像的显示部分，防止串扰。

可选地，如图8所示，根据上述实施例的论述，观察者的有效视场为30°，即观察能立刻看清物体的存在及运动且不需要转头的视场，在不转头的情况下，全视场约100°(包含了边缘视场)，通过合理的投影仪位置固定，可以使得观察者的有效视场被三维显示内容覆盖而边缘视场仅接受投影信息。根据投影仪参数和投影幕布大小，可以确定投影仪的位置，其表达式如下：

其中，P_x为投影仪到投影幕布之间的距离，P_y为投影仪到P_x之间的垂直距离，L_x为投影幕布的长度，L_y为投影幕布的宽度。

进一步地，如图9所示，作为另一种可实现的方式，由于投影仪的信息由单个广角镜头提供，因此无法提供视差信息，当观察者变换位置时，可以感受到三维图像的视差效果，而二维投影却不变化，从而会引发观察者不适，破坏了融合效果。为了更好地提供二维与三维融合效果，本申请实施例引入了视点追踪方法，并基于该方法采用了两种实施例示例。与上述示例不同的是，主机控制单元不仅对成像单元获取的图片进行处理输出给显示单元，还需要反向从显示单元获取指令控制成像单元改变位姿；二维三维融合显示单元额外设有视点追踪相机，可以实时捕获观察者的位置，并指导控制单元改变成像单元。

具体地，如图9所示，当检测到观察者位于不同位置时，融合显示内容会随之变化，从而使融合显示内容带有视角信息，因此，本申请实施例将通过实例二进行详细论述。

具体而言，本申请实施例在引入视点追踪的三目内窥镜渲染虚拟视点中，可以将其分为四个步骤，分别为：计算视差图、填充空洞、计算深度图以及生成虚拟视点，下面将根据每一步骤进行论述。

步骤一，计算视差图：如上述论述的从两个普通内窥镜获取校准后的两幅图像后，需要计算获取两幅图像的视差图，经过张氏标定后的两幅图像的对应点的寻找限制在图像的同一行(x方向上)，在该对应关系下，采用NCC(Normalized Cross Correlation，归一化互相关匹配法)算法对两幅图像I₁和I₂在同一行中查找最优匹配，根据互相关原理，采集到的NCC值最大为最优匹配，其表达式如下：

其中，μ_l为和μ_r分别为左右图像的计算均值。

本申请实施例在完成匹配后，需计算两幅图的视差，例如以左视图为基准，则需计算待测像素水平方向x_l与匹配像素水平方向x_r之间的差值，其表达式如下：

disdepth＝x_l-x_r；

步骤二，填充空洞：经计算后的视差图在部分区域空洞，通常需要进行空洞填充，即检测到视差空洞区域再利用附近可信视差值进行填充。首先，计算该视差图的积分图，并保存对应积分图中每个积分值处所有累加的像素点个数n，再采用多层次均值滤波，首次以一个较大初始窗口做均值滤波并预先将大区域的空洞赋值；其次，第二次滤波时，可以将窗口尺寸缩小为原来的一半，利用原来的积分图再次滤波并给该尺度下的空洞重赋值，迭代直至窗口大小变为3x3，此时停止滤波，得到最终结果。

步骤三，计算深度图：本申请实施例需要将填充后的视差图转化为深度图，需要注意的是，视差的单位往往是像素数，而深度的单位是毫米，因而二者存在如下转换关系，

其中，depth为深度，L为基线长度，f为标定后内参矩阵求得的焦距，disdepth为视差。

步骤四，生成虚拟视点：根据单视点下的视差图生成虚拟视点的视差图，而虚拟视点的位置与观察者的变化有关。

进一步地，本申请实施例在视点追踪相机坐标系{C}下的观察者变化，表现为向量

相应的该变化等同于在内窥镜镜头坐标系{T}下的视点变化

即视点经过变换到虚拟视点的位置。此时，虚拟视点的位置相对于原参考视点(例如取左视点)存在如下视差对应关系：

disp_v(x,y)＝disp_l(x_l,y_l)；

其中，x_l为待测像素水平方向数值，y_l为待测像素竖直方向数值。

需要说明的是，通过上述的对应方法计算得出的视差图仍需要进行空洞填充，空洞填充方法与上述步骤二相同，在此不做详细赘述。

应当注意的是，经过空洞填充后，填充后的虚拟视差图中的整数坐标平移到参考视点(例如左视点)位置下的坐标时可能不是整数，而是浮点数坐标。此时，需要采用双线性插值方法取在参考系下浮点坐标(x,y)的周围四个像素点A(x₀,y₀)、B(x₁,y₀)、C(x₀,y₁)、D(x₁,y₁)加权平均进行双线性插值，以确定该点的最终像素值P：

P(x,y)＝(y₁-y)(x₁-x)P_A+(y₁-y)(x-x₀)P_B+(y-y₀)(x₁-x)P_C+(y-y₀)(x-x0PD；

进一步地，如图10所示，本申请实施例经过反向映射后生成最终的虚拟视点图，并分别传至投影仪与裸眼三维显示器以实现二维三维融合显示，然而，通过渲染虚拟视点生成的视点图在观察者有较大视角变化时，渲染效果往往不理想，因此，本申请实施例将通过示例三进行进一步改进。

具体地，如图11所示，本申请实施例通过利用视点追踪获取观察者视角变化信息，以控制三目内窥镜前端镜头转动，从而为二维投影内容补偿了视差信息，此时观察者在观看时融合效果会更好。

其中，三目镜头的转动形式既包括镜头前端整体的位移(表现为机械控制端坐标系下的坐标变化)，又包括镜头相对于拍摄场景的转动(表现为镜头中轴线在移动前后形成空间交角β)。

具体地，如图12所示，为本申请实施例的视点追踪及镜头变化过程示意图，该流程显示的内容带有视角信息。主要涉及三个坐标系之前的变化，分别记为以视点追踪相机为原点的坐标系{C}、以机械控制端为原点的坐标系{M}以及以三目内窥镜为原点的坐标系{T}。

进一步地，观察者从位置1变换至位置2时，视点追踪相机记录了观察者的相对于观察屏的观察方向变化α，在坐标系{C}下可以表述为：

进一步地，视点追踪相机的角度变化，从相机坐标系{C}到终端坐标系{M}，其空间位置的向量变化为：

其中，

是预设好的两个坐标系下空间位置变换的对应关系，可以理解为成像单元的控制端和显示单元的视点追踪相机，在具体部署时位置固定且预先已调试测算好，

为在视点追踪相机坐标系{C}下的观察者变化，

为在内窥镜镜头坐标系{T}下的视点变化。

经过上述空间变换关系，观察者的空间位置变化传导至控制端坐标系{M}下的向量变化，控制坐标系解算并最终控制在三目内窥镜坐标系{T}发生坐标变化，移动了一个欧拉角β，其表达式如下：

其中，x_T、y_T和z_T分别为{T}坐标系下的x轴、y轴和z轴。

具体地，如图13所示，为本申请实施例的基于视点追踪的渲染与融合显示流程图，主要解决了镜头或虚拟镜头相对于拍摄场景和观察者相对于三维显示屏的视线方向的一致性问题，并为二维投影内容补偿了视差信息，使观察者在观看时融合效果会更好。

综上，通过上述对二维三维图像的采集与融合显示系统不同实现方法的论述中，本申请实施例所带来的有益效果如下：

(1)显示范围广，可供多名观察者距屏幕数米距离观察显示内容，并保持三维效果，增强三维感知范围。

(2)本成像范围广，既可以还原术中区域的三维信息，也可以显示周围的环境信息，若视野脱离了三维成像区，可在二维信息的引导下，重新找回视野，大大节约了手术时间。

(3)显示内容不需要借助头戴等助视设备，便于医生集中注意力，降低疲劳损耗。

其次参照附图描述根据本申请实施例提出的二维三维图像的采集与融合显示方法。

图14是本申请实施例的二维三维图像的采集与融合显示方法的流程图。

如图14所示，该二维三维图像的采集与融合显示方法的流程图采用如上述的二维三维图像的采集与融合显示系统，其中，方法包括以下步骤：

在步骤S1401中，采集待显示目标的超广角图像和双目图像；

在步骤S1402中，基于预设校准策略，分别校正超广角图像和双目图像，并对校正后的超广角图像进行像素重采样处理得到基元图像，且对校正后的双目图像进行图层遮盖处理得到二维图像；

在步骤S1403中，在三维显示区域显示待显示目标的基元图像的同时，在二维显示区域显示待显示目标的二维图像，以通过基元图像补偿二维图像的视差信息。

进一步地，在一些实施例中，在采集待显示目标的超广角图像和双目图像之后，还包括：

基于预设匹配算法匹配第一采集件和第二采集件，并计算匹配后的第一采集件和第二采集件之间的真实视差图；

检测真实视差图的空洞区域，并基于预设的可信视差值填充真实空洞区域，得到填充后的真实视差图，并基于预设的视差-深度关系，将填充后的真实视差图转化为真实深度图；

基于真实视差图和真实深度图，根据观察者当前时刻位置和观察者上一时刻位置的变化值确定虚拟视点的虚拟视差图，并检测虚拟视差图的空洞区域，并基于预设的可信视差值填充虚拟视差图，得到填充后的虚拟视差图；

基于预设的双线性插值方法，将填充后的虚拟视差图的整数坐标平移到预设参考视点，并计算平移后预设参考视点的最终像素值，并将最终像素值经过反向映射后生成最终的虚拟视点图，且将最终的虚拟视点图在融合显示单元进行显示。

进一步地，在一些实施例中，在采集待显示目标的超广角图像和双目图像之前，还包括：

获取观察者当前时刻位置和上一时刻位置；

根据当前时刻位置和上一时刻位置确定三目内窥镜的最佳转动角度；

根据最佳转动角度控制三目内窥镜进行转动。

进一步地，在一些实施例中，根据当前时刻位置和上一时刻位置确定三目内窥镜的最佳转动角度，包括：

根据当前时刻位置和上一时刻位置得到观察者的观察变化角度；

基于预设的空间位置的向量变化关系和角度变换计算公式，根据观察变化角度确定三目内窥镜的最佳转动角度。

进一步地，在一些实施例中，预设的空间位置的向量变化关系为：

角度变换计算公式为：

其中，

为在视点追踪相机坐标系{C}下的观察者变化，

为在内窥镜镜头坐标系{T}下的视点变化，

是预设好的两个坐标系下空间位置变换的对应关系，β为欧拉角，x_T、y_T和z_T分别为{T}坐标系下的x轴、y轴和z轴。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。