CN113509265A - 一种动态位置识别提示系统及其方法 - Google Patents

Abstract

本发明公开了一种动态位置识别提示方法以及系统，包括：识别模块、判断模块、以及提示模块；其中，所述识别模块，用于通过图像获取装置获取当前场景图像，并且识别所述场景图像中的特定物体的当前位置；所述判断模块，用于判断所述特定物体的当前位置是否处于预设识别范围；所述提示模块，用于若所述特定物体的当前位置未处于所述图像获取装置的所述预设识别范围内，本发明能够对特定物体进行导航，帮助用户找到特定物体处于预设识别范围，使得图像与导航更加精确和精准。

Description

一种动态位置识别提示系统及其方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种动态位置识别提示系统及其方法。

背景技术

在图像获取装置识别物体位置时，由于算法的限制，当识别物与图像获取装置的距离不同，定位精度也会产生动态变化。比如当识别物距离图像获取装置较远，可供分辨的特征点数量会显著下降，从而影响定位精度。又如识别物距离图像获取装置非常近，则可能因不同位置的镜头畸变造成图像扭曲，从而造成定位精度下降。这种现象就造成了图像获取装置前方有一特定区域是用于识别定位手术器械的最佳范围。如何让操作者直观便捷的将可识别器械保持在范围内，保证定位精度持续符合设计预期，是增强现实导航技术实现的难点之一。

例如基于增强现实的穿刺手术导航技术，因为用于获取识别物位置信息的光学图像获取装置佩戴于操作者头部，同时操作者需手持可被图像获取装置识别的穿刺器械并操作器械执行不同的手术动作，这种操作方式造成了图像获取装置与识别物之间的距离会随时动态变化，进而影响手术过程的操作。

发明内容

针对上述缺陷或不足，本发明的目的在于提供一种动态位置识别提示系统及其方法。

为达到以上目的，本发明的技术方案为：

一种动态位置识别提示系统，包括：识别模块、判断模块、以及提示模块；其中，

所述识别模块，用于通过图像获取装置获取当前场景图像，并且识别所述当前场景图像中的特定物体的当前位置；

所述判断模块，用于判断所述特定物体的当前位置是否处于预设识别范围内；

所述提示模块，用于若所述特定物体的当前位置未处于所述预设识别范围内，以增强现实方式显示提示信息以提示用户将所述特定物体调整至所述预设识别范围内。

所述预设识别范围为预设的识别距离范围和/或识别角度范围；所述判断模块具体用于判断所述特定物体是否处于所述识别距离范围内；和/或判断所述特定物体是否处于所述识别角度范围内。

所述预设识别范围设定为沿所述图像获取装置的拍摄方向呈放射增大的空间形状范围。

所述判断模块包括最佳识别范围判断子模块，用于判断所述特定物体的当前位置是否处于所述图像获取装置的最佳识别范围内；所述最佳识别范围位于所述预设识别范围内，所述预设识别范围大于所述最佳识别范围。

所述判断模块还包括识别范围设定模块，用于设定所述预设识别范围和/或最佳识别范围。

所述最佳识别范围包括：根据用户指令预设的最佳识别范围，和/或根据数据统计获取的历史最佳识别范围。

所述提示模块还用于以增强现实方式显示提示信息，所述提示信息至少包括特定物体与预设识别范围的位置关系，以提示用户调整特定物体或图像获取装置的位置。

所述提示信息为以增强现实方式叠加显示在当前场景上的文字、颜色、图案、动画的一种或多种的组合。

所述提示模块还包括移动提示子模块，用于显示位置移动信息，提示用户移动所述特定物体或所述图像获取装置的位置，以使得特定物体的当前位置处于所述预设识别范围内；所述位置移动信息包括以增强现实方式叠加显示在当前场景上的文字、辅助线、或动画之中的一种或多种信息的组合。

所述特定物体为带有可识别特征的特定物体。

一种动态位置识别提示方法，包括：

获取当前场景图像；

识别所述当前场景图像中的特定物体的当前位置；

判断所述特定物体的当前位置是否处于预设识别范围内；

若所述特定物体的当前位置未处于所述预设识别范围内，以增强现实方式显示提示信息以提示用户将所述特定物体调整至所述预设的识别范围内。

所述预设识别范围为预设的识别距离范围和/或识别角度范围；

所述判断所述特定物体的当前位置是否处于预设识别范围内包括：

判断所述特定物体是否处于所述识别距离范围内；和/或判断所述特定物体是否处于所述识别角度范围内。

所述预设识别范围设定为沿所述图像获取装置的拍摄方向呈放射增大的空间形状范围。

进一步地，还包括判断所述特定物体的当前位置是否处于所述图像获取装置的最佳识别范围内；所述最佳识别范围位于所述预设识别范围内，所述预设识别范围大于所述最佳识别范围。

所述最佳识别范围可根据操作需求进行动态调整，当所述特定物体处于精细操作需求时，则最佳识别范围收缩；当所述特定物体处于大范围操作需求时，则最佳识别范围扩展。

所述最佳识别范围包括：根据用户指令预设的最佳识别范围和/或根据数据统计获取的历史最佳识别范围。

所述提示信息至少包括特定物体与预设识别范围的位置关系，以提示用户调整特定物体或图像获取装置的位置。

所述提示信息为以增强现实方式叠加显示在当前场景上的文字、颜色、图案、动画的一种或多种的组合。

所述以增强现实方式显示提示信息以提示用户将所述特定物体调整至所述预设识别范围内包括：显示位置移动信息，提示用户移动所述特定物体或所述图像获取装置的位置，以使得特定物体处于所述预设识别范围内；所述位置移动信息包括以增强现实方式叠加显示在当前场景上的文字、辅助线、或动画之中的一种或多种信息任意组合。

所述特定物体为带有可识别特征的特定物体。

与现有技术比较，本发明的有益效果为：

本发明提供了一种动态位置识别提示系统及其方法，通过对获取的场景中的特定物体的位置，进行实时的判断，判断特定物体的当前位置与预设识别范围关系，进而对特定物体进行增强现实方式显示位置关系调整信息，提示用户移动所述特定物体或图像获取装置的位置，从而达到特定物体与图像获取装置的位置关系处于预设识别范围的目的，本发明能够对特定物体进行导航，帮助用户找到特定物体处于预设识别范围，例如，在增强现实的穿刺手术导航技术中，能够保证用户能够快速准确定位，掌握此项技能。

另外，本发明还能够根据预期的定位精度，定义其相对图像获取装置的三维最佳识别范围，以及三维最佳识别角度。通过实时计算特定物体当前位置与最佳识别区域的相对关系，通过颜色，图形，动画等方式提示操作者目前是否应该调整识别位置，将特定物体调整至合适位置，进而继续后续手术步骤。

附图说明

图1是本发明动态位置识别提示系统结构图；

图2是本发明动态位置识别提示方法流程图；

图3是本发明动态位置识别提示方法中特定物体的具体结构图；

图4是本发明动态位置识别提示方法中预设识别范围图；

图5是本发明动态位置识别提示方法中最佳识别距离范围图；

图6是本发明动态位置识别提示方法中预设识别范围中角度提示图。

具体实施方式

下面将结合附图对本发明做详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

在进行一些临床手术中，尤其是在进行精准的操作场景中，需要图像获取装置获取手术场景图像，然后对场景中的手术器械进行定位和识别，用户能够通过显示的增强现实的图像，对整个手术过程进行手术导航，进而对患者进行手术操作，达到对患者进行治疗的目的；对整个导航和定位过程中，手术器械需要一直处于一个预设识别范围，在手术过程中，需要持续确认被导航器械是否持续处于最佳识别区域。而如果仅靠培训，是无法保证操作人员能够快速准确掌握此项技能。因此，一种持续的交互式最佳识别范围提示方法就成为必须。预设识别范围的设定通常需要以图像获取装置的位置为基准，在一些实施例中，在手术场景中的固定位置设置图像获取装置实时拍摄场景图像来识别手术器械的位置，则预设识别范围相对于手术场景是固定的位置；在另一些实施例中，图像获取装置是不固定的，例如利用操作者穿戴的头戴式设备上的图像获取装置实时拍摄场景图像来识别手术器械的位置，则预设识别范围相对于图像获取装置的位置是固定的，但相对于手术场景是不固定的。

以手术实施场景为例，本发明为用户提供针对手持机器的定位。其中，用户是整个导航过程的观察者，其也是将手持机器探入对象体内的操作者。对象可以是用户需要对其进行操作的人或其他动物。本发明中特定物体为手持机器，例如带有识别特征的医疗器械，该医疗器械可以是任意可探入对象体内的工具，例如为：穿刺针、活检针、射频或微波消融针、超声探头、硬质内窥镜、内窥镜手术下卵圆钳、电刀或吻合器等。

如图1所示，本发明还提供了一种动态位置识别提示系统，包括：识别模块1、判断模块2、以及提示模块3；其中，

所述识别模块1，用于通过图像获取装置获取当前场景图像，并且识别所述当前场景图像中的特定物体的当前位置；

所述判断模块2，用于判断所述特定物体的当前位置是否处于预设识别范围内；

所述提示模块3，用于若所述特定物体的当前位置未处于所述预设识别范围内，以增强现实方式显示提示信息以提示用户将所述特定物体调整至所述预设识别范围内。

本发明中，所述预设识别范围为预设的识别距离范围和/或识别角度范围；所述判断模块2具体用于判断所述特定物体是否处于所述识别距离范围内；和/或判断所述特定物体是否处于所述识别角度范围内。

其中，所述预设识别范围设定为沿所述图像获取装置的拍摄方向呈放射增大的空间形状范围，包括：以所述图像获取装置为近端，沿图像获取方向远端呈放射增大的空间形状。示例性的，所述空间形状为椎体结构。

所述判断模块2还包括最佳识别范围判断子模块21，用于判断所述特定物体的当前位置是否处于所述图像获取装置的最佳识别范围内；所述最佳识别范围位于所述预设识别范围内，所述预设识别范围大于所述最佳识别范围。

所述判断模块还包括识别范围设定模块22，用于设定所述预设识别范围和/或最佳识别范围。优选地，所述最佳识别范围包括：根据用户指令预设的最佳识别范围和/或根据数据统计获取的历史最佳识别范围。

其中，所述提示模块还用于以增强现实方式显示提示信息，所述提示信息至少包括特定物体与预设识别范围的位置关系，以提示用户调整特定物体或图像获取装置的位置。所述提示信息为以增强现实方式叠加显示在当前场景上的文字、颜色、图案、动画的一种或多种的组合。

所述提示模块还包括移动提示子模块，用于显示位置移动信息，提示用户移动所述特定物体或所述图像获取装置的位置，以使得特定物体的当前位置处于所述预设识别范围内；所述位置移动信息包括：以增强现实方式叠加显示在当前场景上的文字、辅助线或动画之中的一种或多种信息任意组合。

需要说明的是，本发明中所述特定物体为带有可识别特征的特定物体，例如所述特定物体为带有识别特征的手术器械。本发明中，通过对识别特征的能够对手术器械识别、定位。

另外，如图2所示，本发明还提供了一种动态位置识别提示方法，包括：

S1、获取当前场景图像；

在进行具体的手术场时，需要使用手术器械进行操作，所述特定物体为上述的可移动的医疗器械，该医疗器械上设置有能够进行识别的识别特征。所述识别特征至少包括物体本体形态特性和/或物体标记识别特征。所述物体本体形态特性至少包括物体本体的结构、形态、或颜色，所述物体标记识别特征至少包括第二物体上设置的图案、图形或二维码。例如，二维码是在平面上分布的黑白相间的平面图形，其上面的点非常易于识别，通过识别其中的至少3个点，可以实现该二维码的定位。因为二维码固定于对象或器械，所以，可以实现固定有该二维码的对象或器械的定位。可选地，所述物体标记识别特征还可以是诸如棋盘格的其他平面图形。利用二维码或棋盘格作为标识，使得定位对象或器械更准确且快速。从而，可以对快速移动器械进行更精准地导航。但是具体实施过程中，不局限于此，也可以是物体的其他的能够被识别的特性。

可选地，在医疗器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。

S2、识别所述当前场景图像中的特定物体的当前位置；

示例性的，本发明中特定物体为带有识别特征的手术器械。在一种实施例中，如图3所示，是一种穿刺手术过程使用的穿刺针，穿刺针的端部设置有易于识别的碗状结构，并在碗状结构表面印刷有二维码。当进行手术过程中，用户手持穿刺针对实施对象进行手术，需要通过图像获取装置获取当前场景图像，由系统根据当前场景图像识别二维码上的多个特征点的位置得到场景中的手术器械的当前位置；但是在整个过程中，手术器械是要进行不断移动的，所以在手术过程中，手术器械不是一直处于一个静态位置，在移动过程中，对手术器械不是每时每刻处于理想位置区域范围，影响整个手术过程的效果，尤其是对于不是很熟练的用户，造成操作困难。所以本发明中通过识别特征能够对手术中手术器械进行识别，实时获取手术器械的位置。

S3、判断所述特定物体的当前位置是否处于预设识别范围内；

由于操作整个过程中，特定物体不是实时都处于易于被拍摄并识别的位置区域范围，并且操作中不能实时发现该问题，所以，本发明中需要通过技术手段，对用户的操作过程进行实时监控和识别。

具体地，所述预设识别范围为预设的识别距离范围和/或识别角度范围；所述判断模块具体用于判断所述特定物体是否处于所述识别距离范围内；和/或判断所述特定物体是否处于所述识别角度范围内。

本实施例中，所述图像获取装置为能够获取图像的装置。在一些实施例中，图像获取装置可以是用户佩戴的头戴式设备上的图像获取装置，其拍摄角度与用户的观察方向保持一致。可选地，图像获取装置是头戴式光学图像获取装置。该装置不仅保证了拍摄的角度是用户所观看的角度，保证了精准度，而且避免了使用时对用户的各种操作的干扰，从而显著提高了用户体验。

在手术过程中，需要实时获取特定物体的位置，例如手术过程中，通过图像获取装置获取手术器械的图像，并且实时判断手术器械当前位置是否处于预设识别范围内，如果手术器械位置或者操作角度偏移，对用户进行提示，辅助用户进行手术操作。

需要说明的是，所述预设识别范围设定为沿所述图像获取装置的拍摄方向呈放射增大的空间形状范围，可以为锥形结构组成的空间范围。例如以所述图像获取装置为近端，沿图像获取方向远端呈放射增大的空间形状。如图4所示，图像获取装置端为近端，近端结构设置为矩形结构，远离图像获取装置端设置为远端，远端结构为面积大于近端面积的矩形结构。远端结构与近端结构相连则构成了一个封闭的空间立体空间，形成一个预设识别区域，图4中预设识别区域为虚线构成的范围，最佳识别范围为实线构成的范围，当手术器械未进入预设识别区域区域，则对用户及时进行提示，使得用户能够对手术器械移动，达到预设识别区域区域，进一步地，可以提示进入最终达到最佳识别范围。

在一个实施例中，基于划定图像获取装置前的拍摄识别范围可以包括：

不可识别范围：完全超出算法支持的图像获取装置成像区域；

过渡区域：图案可被算法识别并追踪，但不在最佳范围内；

最佳区域：算法认可的可保持识别精度的区域；

过渡角度：图案可被算法识别并追踪，但不再最佳角度内；

最佳角度：算法认可的可保持识别精度的区域；

根据不同的区域，则可以进行不同的提示。

进一步优选地，预设识别范围是该场景中的一个可操作的实施范围，但是，在一些特殊的要求下，需要进行更加精准的定位和识别，所以，本发明设置了最佳识别范围，最佳识别范围位于所述预设识别范围内，一般情况下位于预设识别范围中的中心位置，所述预设识别范围大于所述最佳识别范围。所述最佳识别范围包括：根据用户指令预设的最佳识别范围和/或根据数据统计获取的历史最佳识别范围。

如图5所示，对根据图像对特定物体的特征识别准确性进行统计分析：横坐标为特定物体与图像获取装置的距离，纵坐标为可识别的特征点数。选出的区域为选择的最佳识别距离，基于全部可识别图案在最佳识别区域中最佳识别角度形成的投影外轮廓，形成视野中最佳识别范围的区域提示。

如图6所示，设定预设识别范围时，也可以是通过角度进行设置。以图3中的手术器械为例，从手柄端正视该手术器械，对手柄碗状边缘进行投影，当手术器械处于任何可识别角度，且在图像获取装置可识别范围内，手柄碗状边缘投影图案的全部位置的集合，形成了预设识别范围。在手术过程中，以增强现实的方式将预设识别范围显示在真实场景的相应位置，手术器械在用户的操纵下，只要手柄碗状边缘处于预设识别范围内，即代表其位于可识别范围，方便操作者快速调整位置。

可以理解，当手术器械的朝向与图像获取装置的拍摄方向一致时，手柄碗状边缘投影形成一标准的圆环，如图6中的第一圆环，此时手术器械沿着拍摄方向移动会导致投影圆环的大小改变，而只要手术器械的碗状边缘仍处于以增强现实方式显示的预设识别范围内，手术器械就可以被识别。若手术器械偏转一定角度，其边缘轮廓变成一椭圆，如图6中的第二圆环，只要偏转角度在可接受范围内，即手术器械的碗状边缘仍处于以增强现实方式显示的预设识别范围内，手术器械仍可以被识别。

本实施例中，所示最佳识别范围可根据精度需求或者操作需求进行动态调整；当所述特定物体处于精细操作需求时，则最佳识别范围收缩；当所述特定物体处于大范围操作需求时，则最佳识别范围扩展。比如当穿刺针处于患者体外时，可以用较严格的识别范围去获得更准确的空间定位，而当穿刺针刺入人体后，可适当放宽可识别范围，帮助医生更快速的完成手术步骤，减小手术风险。结合以上第2点，当穿刺针处于患者体外时，只有处于最佳区域、最佳角度，才能认为穿刺针与图像获取装置的当前位置关系处于预设位置关系区间；而当穿刺针进入人体后，处于过度区域、过度角度也可以认为处于预设识别位置关系。最佳识别范围也可根据操作者的手持稳定性而动态调整。在一个实施例中，增强现实导航设备会记录不同用户(医生)账号使用者的历史操作信息，根据数据统计，对历史记录良好的用户，最佳识别区间范围较大，因为这部分用户对导航精确度的依赖较低；对历史记录显示稳定性较差的用户，最佳识别区间较小。

另外，也可以根据需求和手术的级别，将预设识别范围可以划分为多个提示级别，当特定物体处于不同的位置时，进行不同级别的提醒和提示，帮助用户进行手术操作。

S4、若所述特定物体的当前位置未处于所述预设识别范围内，以增强现实方式显示提示信息以提示用户将所述特定物体调整至所述预设识别范围内。

其中，以增强现实方式显示提示信息以提示用户将所述特定物体调整至所述预设的识别范围内包括：所述提示信息至少包括特定物体与预设识别范围的位置关系，以提示用户调整特定物体或图像获取装置的位置。其中，所述提示信息为以增强现实方式叠加显示在当前场景上的文字、颜色、图案、动画的一种或多种的组合。由于在手术中需要安静的环境，所以为了用户方便考虑，本发明中未使用语音方式，但是，在不同的场景中，也可以使用语音方式进行提示。在增强现实中，通过文字、颜色、或图案对用户进行展示，使得用户能够看到后，得到提示信息，进而对手术过程中的手术器械件移动，或对显示装置进行移动。

另外，在进行提示后，还能够辅助用户移动所述特定物体或所述图像获取装置的位置，以使得特定物体的当前位置处于所述预设识别范围内；所述位置移动信息包括：以增强现实方式叠加显示在当前场景上的文字、辅助线、或动画之中的一种或多种信息的组合。用户能够根据、辅助线、动画的提示进行辅助移动，进而能够快速、准确的到达最佳位置。动态调整最佳识别范围的机制：根据不同手术阶段，本特定物体已有的稳定性记录，本操作者已有的手术记录。也可以应用语音进行移动位置的提示。

通过本发明的动态位置识别提示方法，对可特定物体的实验室测量，根据预期的定位精度，定义其相对图像获取装置的三维最佳识别范围，以及三维最佳识别角度。通过实时计算特定物体当前位置与最佳识别区域的相对关系，通过颜色，图形，动画等方式提示操作者目前是否应该调整识别位置，能够使得特定物体调整至合适位置，进而继续后续手术步骤。

对于本领域技术人员而言，显然能了解到上述具体事实例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。

Claims (13)

1.一种动态位置识别提示系统，其特征在于，包括：识别模块、判断模块、以及提示模块；其中，

所述识别模块，用于通过图像获取装置获取当前场景图像，并且识别所述当前场景图像中的特定物体的当前位置；

所述判断模块，用于判断所述特定物体的当前位置是否处于预设识别范围内；

所述提示模块，用于若所述特定物体的当前位置未处于所述预设识别范围内，以增强现实方式显示提示信息以提示用户将所述特定物体调整至所述预设识别范围内。

2.根据权利要求1所述的动态位置识别提示系统，其特征在于，所述预设识别范围为预设的识别距离范围和/或识别角度范围；所述判断模块具体用于判断所述特定物体是否处于所述识别距离范围内和/或判断所述特定物体是否处于所述识别角度范围内。

3.根据权利要求1或2项所述的动态位置识别提示系统，其特征在于，所述预设识别范围设定为沿所述图像获取装置的拍摄方向呈放射增大的空间形状范围。

4.根据权利要求3所述的动态位置识别提示系统，其特征在于，所述判断模块包括最佳识别范围判断子模块，用于判断所述特定物体的当前位置是否处于所述图像获取装置的最佳识别范围内；所述最佳识别范围位于所述预设识别范围内，所述预设识别范围大于所述最佳识别范围。

5.根据权利要求4所述的动态位置识别提示系统，其特征在于，所述最佳识别范围根据操作需求调整，当所述特定物体处于精细操作需求时，则所述最佳识别范围收缩；当所述特定物体处于大范围操作需求时，则所述最佳识别范围扩展。

6.根据权利要求4所述的动态位置识别提示系统，其特征在于，所述判断模块还包括识别范围设定模块，用于设定所述预设识别范围和/或最佳识别范围。

7.根据权利要求6所述的动态位置识别提示系统，其特征在于，所述最佳识别范围包括：根据用户指令预设的最佳识别范围和/或根据数据统计获取的历史最佳识别范围。

8.根据权利要求1所述的动态位置识别提示系统，其特征在于，所述提示信息至少包括特定物体与预设识别范围的位置关系，以提示用户调整特定物体或图像获取装置的位置。

9.根据权利要求1所述的动态位置识别提示系统，其特征在于，所述提示信息为以增强现实方式叠加显示在当前场景上的文字、颜色、图案、动画的一种或多种的组合。

10.根据权利要求1所述的动态位置识别提示系统，其特征在于，所述提示模块还包括移动提示子模块，用于显示位置移动信息，提示用户移动所述特定物体或所述图像获取装置的位置，以使得特定物体处于所述预设识别范围内；所述位置移动信息包括以增强现实方式叠加显示在当前场景上的文字、辅助线、或动画之中的一种或多种信息的组合。

11.根据权利要求1-10所述的任意一项动态位置识别提示系统，其特征在于，所述特定物体为带有可识别特征的特定物体。

12.一种动态位置识别提示方法，其特征在于，包括：

获取当前场景图像；

识别所述当前场景图像中的特定物体的当前位置；

判断所述特定物体的当前位置是否处于预设识别范围内；

若所述特定物体的当前位置未处于所述预设识别范围内，以增强现实方式显示提示信息以提示用户将所述特定物体调整至所述预设的识别范围内。

13.根据权利要求12所述的动态位置识别提示方法，其特征在于，所述预设识别范围为预设的识别距离范围和/或识别角度范围。

Images