CN103430078B - 用于显示视频内窥镜的视频内窥镜图像数据的方法和系统 - Google Patents

Abstract

本发明涉及一种用于显示具有至少一个侧视向的视频内窥镜的视频内窥镜图像数据的方法，其中在视频内窥镜的轴(1)的远端处设有至少一个物镜(2,3)，所述物镜能绕所述轴的纵向轴线相对于图像传感器运动并且具有至少一个侧视向，其中所述视向基于视向切换指令从第一视向被切换至第二视向。本发明还涉及一种视频内窥镜系统，其包括视频内窥镜、图像处理单元(7)和图像再现装置(9)，其中所述视频内窥镜具有图像传感器和至少一个物镜(2,3)，所述物镜设于内窥镜轴(1)的远端处并且能绕所述轴的纵向轴线相对于所述图像传感器运动并且具有至少一个侧视向，其中所述视向基于视向切换指令能从第一视向被切换至第二视向。本发明还涉及一种包括程序代码装置的软件程序产品。根据本发明的方法的特征在于，测量所述视向的方位并且将至少一个方位标记(13,14)插入由所述图像传感器记录的图像数据的图像再现中，所述方位标记根据所测量的方位已被转动或被转动。

Description

用于显示视频内窥镜的视频内窥镜图像数据的方法和系统

技术领域

本发明涉及用于显示具有至少一个侧视向的视频内窥镜的视频内窥镜图像数据的方法，其中在视频内窥镜轴的远端处设置有至少一个物镜，所述物镜能绕所述轴的纵向轴线相对于图像传感器运动并且具有至少一个侧视向，其中所述视向基于视向切换指令而从第一视向被切换至第二视向。

本发明还涉及视频内窥镜系统，该系统包括视频内窥镜、图像处理单元和图像再现装置，其中该视频内窥镜具有图像传感器和至少一个物镜，所述物镜设置在内窥镜轴的远端上且能绕该轴的纵向轴线相对于图像传感器运动并且具有至少一个侧视向，其中该视向基于视向切换指令而可从第一视向被切换至第二视向。最后，本发明涉及具有程序代码装置的软件程序产品。

在本发明的范围内，视频内窥镜是指与至少一个图像传感器相连的内窥镜，其设计用于记录录像，而与图像传感器是否远设于内窥镜轴中、近设于手柄中或外设于摄像头中无关，该摄像头能安装在内窥镜的近端区域内的目镜上，就是说在操作者一侧。

术语“视向”，也称为“观测方向”(DOV)，涉及偏离内窥镜的纵向轴线的侧向视线或向后视线，并且其以偏振角的形式被示出，其中0度视角意味着沿内窥镜轴的纵向方向直视，而例如90度表示这样的视向，即，以直角偏离直视。本发明涉及这样的内窥镜，其中，视向的方位角，即视向绕内窥镜的纵向轴线的转动角是可变的。

除了在远端具有单个侧视物镜的内窥镜外，还已知了具有多个物镜的内窥镜，它们对准互不相关的视向并被构造成可在多个视向之间切换。在具有可切换的视向的内窥镜中，通常的视向组合，就偏振角而言，例如为0度和30度、0度和45度、12度和70度或者30度和80度。因此，组合中的至少一个视向是侧视向。具有两个独立视向的这样的物镜允许操作者利用配备有该物镜的内窥镜，以便能够根据需要沿不同的视向观察。在本发明的范围内，这增加了视向方位角的可变性。

背景技术

本申请人的专利申请DE102009020262A1公开了具有两个视向的内窥镜。所附属的物镜设置在内窥镜轴的远端区域中并且收集来自其各自视野的光，以便将光进一步传导至图像传感器或目镜。可以在两个视向之间进行切换。在两个光路的交点处设有棱镜。

视向之间的切换通过在第一光路和棱镜之间的间隙中移除或插入反射镜来完成。若没有反射镜被插入该间隙中，则第一光路中的光无阻碍地入射到棱镜中并经过棱镜到达目镜或图像传感器。第二光路的光在棱镜的第一界面处被反射，但在第二界面处由于不存在全反射，第二光路的光沿不能传送至目镜或图像传感器的方向从棱镜射出。如果反射镜被插入该间隙中，则第一光路中的光被阻挡，而第二光路的光现在被第二次反射并由此被进一步传导至目镜或图像传感器。

在EP0363118B1和EP0347140B1中公开了具有两个视向的附加的物镜。根据文献EP0363118B1，针对每个视向设置一远端物镜件，该远端物镜件分别将出射光路对准两个平行出射轴线中的一者。近端物镜件连同由此经由内窥镜继续延伸的映像导体一起枢转，使得它在两个枢转位置上对准两个出射轴线中的一个或另一个。

根据文献EP0347140B1，内窥镜物镜具有用于两个不同视向的两个远端物镜件以及一个公共近端物镜件。在两个远端物镜件中设有具有不同的固定的偏振器的偏振滤光镜，在近端物镜件中设有具有可调节的偏振器的偏振滤光镜。因此，可以在两个视向之间进行切换。当结构简单时，与其它实施方式相比减小了图像亮度。

文献EP2147631A1涉及一种具有物镜和摆动棱镜的内窥镜，借此改变侧视向。

此外，从US2006/0293565A1已知一种包括物镜的内窥镜，该物镜设置在内窥镜远侧末端中的能够沿一个方向或不同方向倾斜的平台上并且通过平台的倾斜在不同的视向上运动。

对于在检查和手术过程中非常重要的内窥镜的在操作区域内的方位，操作者依靠其空间感判断。在具有唯一的侧视向的内窥镜中，可能出现操作者在内窥镜检查或内窥镜手术的过程中，在一系列转动或运动后失去其方位，尤其当内窥镜的对方位重要的一部分由助手保持时。

在具有可切换的视向的上述内窥镜中出现了在多个不连续的步骤中切换所述视向，使得所显示的目标突然改变其位置。因此对操作者提出了挑战，即，瞬时得到另外两个截然不同的所示出的图像，这两个图形显示实际操作区的不同部分。因此，该切换可以引起错误导向。因为图像通常在固定的显示屏上被显示，因此所显示的图像还不一定与内窥镜在空间和操作区内的方位相符。

发明内容

因此，本发明基于以下目的，提供一种用于显示具有可切换的侧视向和可变的方位角的视频内窥镜的视频内窥镜图像数据的方法和系统，该方法和系统实现了操作者在操作区内的方位的持久保持。

该目的通过一种用于显示具有至少一个侧视向的视频内窥镜的视频内窥镜图像数据的方法来完成，其中在该视频内窥镜的轴的远端上设有至少一个物镜，所述物镜能绕该轴的纵向轴线相对于图像传感器运动并且具有至少一个侧视向，所述视向基于视向切换指令从第一视向被切换至第二视向，其被进一步改进成测量所述视向的方位并且将至少一个方位标记插入由图像传感器记录的图像数据的图像再现中，该方位标记根据所测量的方位已被转动或被转动。

在本发明范围内，在视频内窥镜轴的远端上设有至少一个可绕轴的纵向轴线相对于图像传感器运动的且包括至少一个侧视向的物镜的特征不仅是指这样的情况，即，物镜包括转向件，如用于侧视的摆动棱镜，而且是指这样的情况，即，在0度方向上在零位置中观看的物镜可倾斜成侧视，以及是指这样的情况，即，多个物镜设有固定偏振角，其中的至少一个物镜具有侧视向。在本发明的范围内，通过使物镜绕纵向轴线转动，或是例如根据US2006/0293565A1通过使例如设置在能沿不同的方向倾斜的平台上的物镜倾斜来获得物镜绕轴的纵向轴线的运动。这也导致视向绕内窥镜轴的纵向轴线的转动。

通过测量视向的空间方位或相对于测量传感器方位的方位并且在再现图像中显示方位标记，使操作者在操作区域中的定位变得容易。同样，在内窥镜通常遇到的存在方向变换和围绕轴的纵向轴线的转动的复杂的检查或手术中，此时总是在图像再现装置(如监视器)上观看采集到的图像的图像再现的操作者随时具有方位指示。这方便了操作者的手眼协作。

根据本发明的方法不仅可用在具有内置的图像传感器的视频内窥镜中，也可用在具有附装的摄像头即外部图像传感器的内窥镜中。在本发明范围内，术语“视频内窥镜”涵盖这两种情况。也涵盖立体视频内窥镜，其包括两个图像传感器及合适的物镜并且可能有的光导系统。

当优选地形成至少一个方位标记，使得显示出与物镜的瞬时测量的视向和图像传感器的方位之间的方位角差相对应的方向时，选择特别容易让操作者理解的显示。在这样的情况下，操作者通常一只手保持内窥镜的包括图像传感器的一部分并且另一只手保持随着远端的转动，例如物镜头或轴内的物镜的转动而运动的内窥镜的部分。因此，该方位标记可直接用于操作者左右两手的协作。在视向的方位角调节连同内窥镜的保持可单手实现的情况下，相同的情况适用于用以控制视向的方位角调节的手指与剩余手部的协作。

这种显示也在以下情况是特别有利的，此时存在可在不同方向上倾斜的物镜，因为在此情况下使操作者具有更多的倾斜运动自由度，因而空间方位通过显示瞬间占据的视向是特别有帮助的。

如果在轴的远端设置多个对准不同视向的物镜，其中视向基于视向切换指令从第一视向切换至第二视向，或者如果为此目的例如设有摆动棱镜，则不管视向偏振角的变化，但如此保证操作者的方位取向，即，优选作为上述方位标记的替代或补充，以有利的方式布置成，如此形成并显示所述至少一个方位标记或至少一个第二方位标记，使得它与尤其在物镜或可占据的视向之间的可能有的视向变换的一个或多个方向相对应。

利用这样的方位标记，当操作者例如在30度和80度之间或从0度至45度切换视向，即，视向的偏振角时，该操作者被直接告知图像在哪个方向改变。因为具有不同视向的至少两个物镜通常关于方位角位于一个平面内，这也适用于使用摆动棱镜或摆动反射镜的情况，因此显示可能有的视向切换的方向的方位标记也对应于物镜的瞬时测量的视向和图像传感器方位之间的方位角差。

如果在有利的进一步的改进中，对应于可能的视向切换的方向的方位标记只有当由该方位标记所显示的方向偏离也被插入的、显示物镜和图像传感器之间的方位角的方位标记时才被插入，或者显示物镜和图像传感器之间的方位角的方位标记只有当由该方位标记所显示的方向偏离也被插入的、对应于可能的视向切换的方向的方位标记时才被插入，则获得冗余度小的方法控制，因为不是显示指向同一方向的两个方位标记。这概览地保持了图像再现装置上的视野。这样做时，可以选择默认显示可能的视向变化或视向的总体方位角的方位。

对于操作者的空间方位定向进一步有利的是，如此产生并显示另一方位标记，使得其对应于平行于或反平行于重力方向的空间竖向。这样的方位标记直接与操作者的方位敏感度相关联并且使他能够在正确方向上执行内窥镜的直接运动并且掌握相应的图像变化并关联起来。

有利地，至少一个方位标记永久插入或根据需要插入预定的或可预定的持续时间或根据需要插入直到断开指令为止。借助永久显示，该方位标记被持久显示；这在任何时刻均便于操作者的定位。如果不需要持久显示，则也可以在预定时间里要求一个或多个方位标记，这让操作者很舒适，在该预定时间后又隐去该标记，或是直至操作者的断开指令为止。也可以规定永久地显示例如第一方位标记，根据需要在特定持续时间内显示另一方位标记，并且根据需要直到断开指令为止显示第三方位标记。这些程序可以在本发明的范围内合理地组合。

指定类型的方位标记能单独地或者以不同组合被同时或交替地显示。

本发明的目的也由一种视频内窥镜系统来实现，该系统包括视频内窥镜、图像处理单元和图像再现装置，其中该视频内窥镜具有图像传感器以及至少一个物镜，所述物镜设置于内窥镜轴的远端上并且能绕该轴的纵向轴线相对于图像传感器运动且具有至少一个侧视向，其中该视向基于视向切换指令能从第一视向被切换至第二视向，该系统被进一步改进，该视频内窥镜具有用于测量物镜的方位的至少一个测量装置，并且图像处理单元被设计成形成至少一个方位标记并且将根据所测量的方位已被转动的或被转动的方位标记插入由图像传感器记录的图像数据中。该视频内窥镜系统具有所有的装置组成部件，这些部件如上所述是必需的且设计成用于测量视频内窥镜的一个或多个图像传感器部件的方位并且在图像数据处理中形成并插入合适的方位标记。

在有利的另一改进中，附加地提供用于测定图像传感器的方位的至少一个测量装置。由此可以产生在轴的远端处的至少一个物镜的视向和图像传感器之间的方位偏差的测量值。

优选地，该图像处理单元被设计成执行根据本发明的上述方法。

测量装置或多个测量装置优选地被实施为陀螺传感器、倾斜传感器、加速度传感器、重力传感器、回转式编码器和/或转动式电位计。

视向围绕视频内窥镜的轴的纵向轴线的转动利用类似于超高真空技术中的操纵器的机械手段或者磁力手段(例如磁穿透)来实现。

最后，由本发明解决的目的通过包括程序代码装置的软件程序产品来实现，该软件程序产品当在数据处理装置，特别是图像处理单元上运行时，执行上述的根据本发明的方法的步骤。

最后，由本发明所解决的目的也将通过包括程序代码装置的软件程序产品来实现，当该软件程序产品在作为上述的根据本发明的视频内窥镜系统的特别部分的数据处理装置，特别是图像处理单元上运行时，执行上述的根据本发明的方法的步骤。该软件程序产品可以包括软件并且特别地还可以包括具有程序代码装置的数据媒体。

与本发明的方法结合在前描述的特征、特性和优点不受限制地也适用于本发明的另外的主题，即，根据本发明的视频内窥镜系统和具有程序代码装置的根据本发明的软件程序产品，它们具有相同的特征、特性和优点。

附图说明

以下将基于参照附图的示例性实施例来描述本发明，但不限制本发明的一般目的，由此我们明白地关于根据本发明的所有细节的公开内容参看附图，所有这些细节在文本中未更详细地解释，附图中：

图1是根据本发明的视频内窥镜系统的示意图，

图2是具有根据本发明的方位标记的图像的示意图，

图3是具有根据本发明的方位标记的图像的另外的示意图。

在以下的附图中，相同或相似类型的元件或相应部分均设有相同的附图标记，因此可以省略相应的再介绍。

具体实施方式

图1示意性地示出了根据本发明的视频内窥镜。视频内窥镜具有纵向延伸的内窥镜轴1，在该轴的远侧末端设有第一物镜2和第二物镜3。第二物镜3的视角大约在0度方向，而第一物镜2具有大约50度的视向(DOV)。第一物镜2和第二物镜3的未示出的视野可重叠。内窥镜轴1还具有方位传感器1a，借助该方位传感器来测量内窥镜轴1和/或物镜2、3的方位。该传感器可以是陀螺传感器、倾斜传感器、加速度传感器或重力传感器。在本发明范围内也可采用以回转式编码器和/或转动式电位计形式的构造的用于测量物镜2、3相对于内窥镜轴1的转动或轴1相对于手柄4的转动的仪器。

在视频内窥镜的近端上具有包括切换按钮5的手柄4，当启动切换按钮时产生切换信号，据此在第一物镜2的视向和第二物镜3的视向之间进行切换。手柄4具有方位传感器4a，其例如同样实施为陀螺传感器、倾斜传感器、加速度传感器或重力传感器。

利用连接线缆6，该视频内窥镜与图像处理单元7相连并且进一步经由连接线缆与用于在其上显示图像的图像再现装置9相连，所述图像由视频内窥镜通过第一物镜2或第二物镜3记录并且随后由图像处理单元7进行处理。

图2示出了在两个视向之间进行切换之前和之后，即，在两个物镜2、3之间进行视向偏振角的切换之前和之后的第一图像10和第二图像11。因为视向的方位角相对于图像传感器的方位转动大约60度，因此这两个图像10、11也以相应的角度彼此相对错开布置。

在当前的每个右上角均插入一标记区12，在该标记域区显示一方位标记13，其显示视向的相对方位，即，视向相对于图像传感器的方位的方位角，其在所示的图像10、11中均对应于图像方位。因为从第一图像10至第二图像11的视向变化虽然伴随有视向偏振角的变化，但未伴随有视向方位角的变化，这是因为这两个物镜2、3设置在关于视频内窥镜轴的纵向轴线1的同一径向平面内，故呈箭头状的方位标记13在切换之前和之后指向同一方向。另选地，根据本发明，也可代替地显示一方位标记14，其显示可能的视向变换。在此情况下，该箭头相对于图像11中所示的箭头转动180度。

图3又示出了第一图像10和第二图像11，在所述图像中，如在图2中一样，同样在右上角示出了标记区12，并且显示了以黑色示出的所述方位标记13。除此之外，在图像12中，在视向切换后显示了另一个方位标记14，其显示了随后的切换方向。

在此情况下，这意味着，在进一步切换时图像11将改变到的方向，即，朝着图像10的方向，与总体方位标记13的方向就偏离轴1的纵向轴线而言是彼此相反的。为了指示这一点，还插入方位标记14。因为在图像10中切换时的方向变化与由方位标记13表示的总体方位一致，因此在图像10中不必示出针对方向变化的另一个方位标记14。另选地，在此情况下也可以在图像10中在标记区12中或在标记区12上设置一个用于切换方向的方位标记14，其叠加在或附加在方位标记13上。该方位标记14也可以平行于方位标记13设置或以适当的其它方式设置。

另外，在图像10和11中，分别在左上角显示标记区15，其具有以风向图的形式形成的针对内窥镜的视向的空间方向或者说空间方位的方位标记16。方位标记16便于操作者的工作，因为它向操作者显示了在图像所示的哪个方向上作用有对其产生影响的重力。风向图可以如此取向，使得它在重力方向上或者与重力方向相反地竖直指向上，或者重力方向直接指向下。

为了测量重力方向，特别采用倾斜传感器或者重力传感器，其中使用附加传感器，这些附加传感器例如测量物镜的视向和图像传感器之间的方位角，以用于校正测量值和用于将这些方位标记插入到所显示的图像中。

所有上述的特征，包括从附图中单独得到的特征以及与其它特征组合被公开的一些独立特征，以单独或组合的形式被视为是本发明所不可缺少的。根据本发明的实施方式可以通过独立特征或多个特征的组合来完成。

附图标记列表

1 内窥镜轴

1a 方位传感器

2 第一物镜

3 第二物镜

4 手柄

4a 方位传感器

5 切换按钮

6 连接线缆

7 图像处理单元

8 连接线缆

9 图像再现装置

10 第一图像

11 第二图像

12 标记域

13 方位标记

14 用于切换方向的方位标记

15 标记域

16 用于空间方向的方位标记

Claims (7)

1.一种用于显示具有至少一个侧视向的视频内窥镜的视频内窥镜图像数据的方法，其中在所述视频内窥镜的轴(1)的远端处设置有至少一个物镜(2,3)，所述物镜能绕所述轴的纵向轴线相对于图像传感器运动并且具有至少一个侧视向，其中视向基于视向切换指令从第一视向被切换至第二视向，所述方法的特征在于，测量视向的方位并且将至少一个第一方位标记(13)插入由所述图像传感器记录的图像数据的图像再现中，所述第一方位标记根据所测量的方位已被转动或被转动，其中在所述图像再现中包括第一方位标记(13)和第二方位标记(14)，形成至少一个所述第一方位标记(13)，使得显示出对应于所述物镜的瞬时测量的视向和所述图像传感器的方位之间的方位角差的方向，形成并显示至少一个所述第二方位标记(14)，使得所述第二方位标记对应于可能的视向切换的至少一个方向。

2.根据权利要求1所述的方法，其特征在于，对应于可能的视向切换的方向的第二方位标记(14)只有当由该第二方位标记(14)所显示的方向偏离也被插入的、显示所述物镜和所述图像传感器之间的方位角的第一方位标记(13)时才被插入，或者显示所述物镜和所述图像传感器之间的方位角的第一方位标记(13)只有当由该第一方位标记(13)所显示的方向偏离也被插入的、对应于可能的视向切换的方向的第二方位标记(14)时才被插入。

3.根据权利要求1所述的方法，其特征在于，所述至少一个第一方位标记(13)或至少一个第二方位标记(14)永久地插入、或者根据需要插入预定的或可预定的持续时间、或者根据需要插入直到断开指令为止。

4.一种视频内窥镜系统，所述视频内窥镜系统包括视频内窥镜、图像处理单元(7)和图像再现装置(9)，其中所述视频内窥镜具有图像传感器以及至少一个物镜(2,3)，所述物镜设置于内窥镜轴(1)的远端处，能绕所述轴的纵向轴线相对于所述图像传感器运动并且具有至少一个侧视向，其中视向基于视向切换指令能从第一视向被切换至第二视向，所述视频内窥镜系统的特征在于，所述视频内窥镜具有用于测量所述物镜(2,3)的方位的至少一个测量装置(1a)，并且所述图像处理单元(7)被设计成产生至少一个第一方位标记(13)和至少一个第二方位标记(14)以及至少一个空间方位的方位标记(16)，所述第一方位标记根据所测量的方位已被转动或被转动，并且将所述第一方位标记插入由所述图像传感器记录的图像数据中，在图像再现中包括第一方位标记(13)和第二方位标记(14)，形成至少一个所述第一方位标记(13)，使得显示出对应于所述物镜的瞬时测量的视向和所述图像传感器的方位之间的方位角差的方向，并且形成并显示至少一个所述第二方位标记(14)，使得所述第二方位标记对应于可能的视向切换的至少一个方向。

5.根据权利要求4所述的视频内窥镜系统，其特征在于，附加地设有用于测量所述图像传感器的方位的至少一个测量装置(4a)。

6.根据权利要求4所述的视频内窥镜系统，其特征在于，所述图像处理单元(7)被设计成执行根据权利要求1至3中任一项所述的方法。

7.根据权利要求4所述的视频内窥镜系统，其特征在于，所述测量装置(1a,4a)被实施为陀螺传感器、倾斜传感器、加速度传感器、重力传感器、回转式编码器或者转动式电位计。