CN107106245B - 用户界面与主控制器之间的交互作用 - Google Patents

Abstract

一种控制远程操作的外科系统的用户界面与远程操作的外科系统的输入装置之间的交互作用的系统，该系统包括通信地耦接到远程操作的外科系统的第一主控制器、通信地耦接到第一主控制器的反馈控件，以及通信地耦接到远程操作的外科系统并被配置成显示用户界面的显示装置。反馈控件被配置成基于从先前状态改变的用户界面的状态限制第一主控制器的移动。

Description

用户界面与主控制器之间的交互作用

相关申请

本专利申请要求2014年11月13日提交的题为“INTERACTION BETWEEN USER-INTERFACE AND MASTER CONTROLLER(用户界面与主控制器之间的交互作用)”的美国临时专利申请62/079,402的申请日的优先权和权益，该专利申请全文通过引用方式并入本文。

技术领域

本文描述的实施例大体涉及训练，并且具体地涉及用于控制用户界面的系统和方法。

背景技术

微创医学技术旨在减少在诊断或手术过程期间损伤的组织的量，从而减少患者恢复时间、不适性和有害的副作用。使用机器人技术的远程操作的外科系统(所谓的外科机器人系统)可用于克服手动腹腔镜和开放手术的局限性。远程呈现系统的进步提供了外科医生在患者身体内观察，外科器械的运动程度的增加数量，以及长距离外科协作的能力。

附图说明

在未必按比例绘制的附图中，相同的数字可描述不同的视图中相似的部件。具有不同字母后缀的类似的数字可表示类似部件的不同实例。在附图的图中，通过示例而非限制的方式示出了一些实施例，其中：

图1是示出根据实施例的远程操作的外科系统的示意图；

图2A是示出根据实施例的主组件的图；

图2B是示出根据实施例的主组件的主控制器的图；

图2C是示出根据实施例的主组件的扶手的图；

图3示出根据实施例的虚拟手术部位；

图4A-4D示出根据实施例的用户界面；

图5是示出根据实施例的观察平面和触觉平面的图；

图6是示出根据实施例的控制远程操作的外科系统的用户界面的系统的框图；

图7是示出根据实施例的控制用户界面的方法的流程图；

图8是示出根据实施例的控制远程操作的外科系统的用户界面与远程操作的外科系统的主控制器804之间的交互作用的系统的框图；

图9是示出根据实施例的控制远程操作的外科系统的用户界面与远程操作的外科系统的输入装置之间的交互作用的方法的流程图；以及

图10是示出根据示例实施例的本文所讨论的技术(例如，方法)中的任何一个或更多个可在其上执行的示例机器的框图。

具体实施方式

呈现以下描述以使得本领域技术人员能够创建和使用医疗装置模拟器的系统和方法。对实施例的各种修改对于本领域技术人员来说将是显而易见的，并且在不偏离本发明主题的精神和范围的情况下，本文定义的通用原理可应用于其他实施例和应用。此外，在下面的描述中，为了解释的目的阐述了许多细节。然而，本领域普通技术人员将意识到，可在不使用这些具体细节的情况下实践本发明的主题。在其他实例中，公知的机器部件、过程和数据结构以框图形式示出，以便不用不必要的细节模糊本公开。下面参考的图中的流程图用于表示过程。计算机系统可被配置成执行这些过程中的一些。表示计算机实现的过程的流程图内的模块表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的动作。因此，本发明的主题并不旨在限于所示的实施例，而是符合与本文公开的原理和特征一致的最广范围。

远程操作的外科系统

图1是示出根据实施例的远程操作的外科系统100的示意图。远程操作的外科系统100包括外科操纵器组件102，用于在对患者106执行各种过程时控制外科器械104的操作。组件102被安装到手术台108或位于手术台108附近。主组件110允许外科医生112观察手术部位并控制操纵器组件102。

在替代实施例中，远程操作的外科系统100可包括多于一个的操纵器组件102。操纵器组件的精确数量将取决于手术过程和手术室内的空间限制，以及其他因素。

主组件110可位于与手术台108相同的房间中。然而，应当理解，外科医生112可位于与患者106不同的房间或完全不同的建筑物内。主组件110通常包括用于控制操纵器组件102的一个或更多个控制装置114。(一个或多个)控制装置114可包括任何数量的各种输入装置，诸如重力平衡臂、操纵杆、轨迹球、手套、触发把手、手动操作的控制器、手运动传感器、语音识别装置、眼运动传感器或类似物。在一些实施例中，(一个或多个)控制装置114可设置有与相关联的外科器械104相同的自由度，以向外科医生112提供远程呈现，或者(一个或多个)控制装置114与器械104一体的感知，使得外科医生112具有直接控制器械104的强烈感觉。在一些实施例中，控制装置114是以六个自由度或更多个自由度移动的手动输入装置，并且该手动输入装置还可包括用于致动器械(例如，用于闭合抓持钳，向电极施加电势，递送药物治疗等)的可致动柄部或其他控制特征(例如，一个或更多个按钮、开关等)。

当外科医生112操作一个或更多个器械时，可视化系统116向外科医生112提供手术部位的并行二维或三维视频图像。可视化系统116可包括观察范围组件(viewing scopeassembly)，使得视觉图像可被定位在手术部位内的内窥镜捕获。可视化系统116可被实现为硬件、固件、软件或其组合，其与可包括控制系统118的处理器的一个或更多个计算机处理器交互作用，或以其他方式通过所述一个或更多个计算机处理器执行。

显示系统120可显示由可视化系统116捕获的手术部位和外科器械104的视觉图像。显示系统120和控制装置114可被取向成使得范围组件中的视觉成像装置和外科器械104的相对位置类似于外科医生的眼睛和手的相对位置，因此操作者(例如，外科医生112)可用控制装置114操纵外科器械104，这好像在基本上真实存在的情况下观察与器械104相邻的工作体积。通过“真实存在”，这意味着图像的呈现是模拟物理地操纵外科器械104的操作者的视点的真实透视图。

控制系统118包括至少一个处理器(未示出)，并且通常包括多个处理器，用于实现外科操纵器组件102、主组件110和显示系统116之间的控制。控制系统118还包括实现本文描述的方法中的一些或全部的软件编程指令。尽管在图1的简化示意图中将控制系统118示出为单个块，但是控制系统118可包括若干数据处理电路(例如，在外科操纵器组件102上和/或主组件110上)。可采用各种各样的集中或分布式数据处理架构中的任何一种。类似地，编程代码可被实现为若干单独的程序或子程序，或者可被集成到本文描述的远程操作的外科系统的若干其他方面。在各种实施例中，控制系统118可支持诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测的无线通信协议。

在一些实施例中，控制系统118可包括伺服控制器，以将力和扭矩反馈从外科器械104提供到控制装置114。可使用任何合适的常规的或专用的伺服控制器。伺服控制器可与操纵器组件102分离或与操纵器组件102成一体。在一些实施例中，伺服控制器和操纵器组件102被设置为与患者106相邻定位的机器人臂手推车的一部分。伺服控制器传送指示操纵器组件102移动器械104的信号，器械104通过体内的开口延伸到患者体内的内部手术部位。

为了本文件的目的，控制装置114可被称为“主控制器”，并且外科器械104可以被称为“从设备”。

每个操纵器组件102支撑至少一个外科器械104(例如，“从设备”)，并且可包括一系列非远程操作的可手动铰接的连杆机构以及远程操作的机器人操纵器。连杆机构可被称为设定结构(set-up structure)，该设定结构包括一个或更多个连杆，所述一个或更多个连杆与接头耦接，这样允许设定结构被定位并保持在空间中的一定位置和取向处。操纵器组件102可由一系列致动器(例如，马达)驱动。响应于来自控制系统118的命令，这些马达主动地移动远程操作的机器人操纵器。马达进一步耦接到外科器械104，以便将外科器械104推进到天然的或手术创建的解剖孔中，并且使得外科器械104和操纵器组件102以多个自由度移动，所述自由度可包括三个线性运动(例如x线性运动、y线性运动和z线性运动)自由度和三个旋转运动(例如，滚转、俯仰、偏转)自由度。另外，马达可用于致动外科器械104的执行器，诸如用于在活组织检查装置的钳口中抓持组织的可铰接的执行器，或用于获得组织样本或用于分配药物的执行器，或用于提供例如如下文更全面地描述的其他治疗的另一执行器。美国专利No.6,671,581(Niemeyer等人)包含关于微创外科装置中的相机参考控制的进一步信息，该美国专利通过引用方式并入。

在一个实施例中，为了训练目的，显示系统120可显示模拟患者体内手术部位的虚拟环境。除了外科器械104之外，虚拟环境还可包括各种生物结构。外科医生112在虚拟环境内操作虚拟器械以训练，获得认证，或实验各种技能或过程，而不具有伤害真实患者的可能性。

在现场手术或模拟的手术过程中，显示系统120可用于向用户(例如，外科医生112)呈现用户界面。在一个实施例中，显示系统120是三维界面，诸如立体显示器。在另一个实施例中，显示系统120用于投影诸如来自高分辨率内窥镜相机的三维图像。用户界面可诸如通过使用半透明界面被显示为覆盖层(overlay)，或者可代替手术区的视图被显示。

图2A是示出根据实施例的主组件110的图。用户可坐在主组件110处，并且可访问显示系统202、主控制器204和脚踏开关面板206。脚踏开关面板206使得用户能够执行各种任务，诸如在各种外科器械之间进行交换，或者控制视频或相机特征。当坐在主组件110处时，用户可将其手臂搁置在扶手208上。当在现场手术中操作时，显示系统202显示如从通过小开口插入到手术部位的相机捕获的手术区，其有时被称为门静脉或插管。为了训练目的，可在显示系统202上显示模拟的环境，其中模拟的环境可以是手术部位和虚拟从属外科器械的立体显示。当用户移动主控制器204时，虚拟外科器械可在立体显示器中以对应的方式移动。

图2B是示出根据实施例的主组件110的主控制器204的图。主控制器204包括手持部件或万向节。主控制器204具有铰接的臂部分，其包括通过枢转连接部或接头连接在一起的多个构件或连杆。用户通过将他或她的拇指和食指定位在夹钳结构(pincherformation)212上方来握持指环210。用户的拇指和食指通常通过穿过狭缝的带保持在夹钳结构上，以产生指环210。当夹钳结构212被挤压在拇指和食指之间时，手指或外科器械104的其他元件同步移动。主控制器204的接头可操作地连接到诸如电动马达等的致动器，以提供例如力反馈、重力补偿等。此外，将适当定位的传感器，例如编码器或电位器等定位在主控制器204的每个接头上，以便使主控制器204的接头位置能够由主组件110或远程操作的外科系统100中的其他控制系统确定。

在一个实施例中，存在两个主控制器204，每个具有两个指环210，用户可针对该指环插入相应手的食指和拇指。两个主控制器204可各自控制虚拟的外科器械。用户可被提供软件或硬件机制，以在用于一个或两个主控制器204的多个器械之间交换。例如，用户可被提供三个器械，诸如两个钳子和一个牵开器。钳子中的一个或两个可以是能够烧灼组织的能量器械。用户可首先在每个主控制器204处使用钳子，然后切换右主控制器204以控制牵开器来暴露手术区的一部分，且然后将右主控制器204切换回钳子以继续切割、探测或解剖组织。

在使用主控制器204时，除了用食指和拇指(或插入环210中的任何两个手指)的夹持运动之外，用户被提供有完整的三维运动范围(x轴线、y轴线和z轴线)以及旋转运动(滚转、俯仰、偏转)。因此，通过移动适当的主控制器204，用户能够通过全范围的运动来操纵对应的外科器械。

图2C是示出根据实施例的主组件110的扶手208的图。扶手208可包括一个以上的触摸控件，诸如触摸屏、软按钮、机械按钮等。在图2C所示的示例中，示出了单个触摸屏214，用户可通过触摸屏214配置各种视频、音频或其他系统设置。

用户界面控件的概述

在操作期间，可在不同时间向用户呈现用户界面。例如，可呈现用户界面以允许用户从训练模块的选择中进行选择。作为另一个示例，可呈现用户界面以允许用户配置主组件110的操作的各个方面。当用户使用一只手或双手操作主控制器204时，对于必须释放主控制器204且然后操作诸如集成到主组件110的扶手208中的触摸屏界面的另一输入机构可能是不方便的。

图3示出根据实施例的虚拟手术部位。虚拟手术部位300可被显示在显示系统202上，并且包括两个虚拟的从属外科器械302。当在该模式中操作时，主控制器204能够在自由空间中(在虚拟手术部位300的边界内)以三维移动。在第二模式中，主控制器204被限制为在平面中或表面上移动。当向用户呈现“平坦的”用户界面时，使用第二种模式。第二模式对于提供与可视界面大致匹配的用于主控制器204的操作空间是有用的。在另一个实施例中，用户界面可呈现在具有轮廓的用户界面中。具有轮廓的用户界面是表面，其可包括非平面表面(例如，弯曲表面)。

图4A示出根据实施例的用户界面400。用户界面400任选地被显示为手术部位视图的覆盖层或独立的界面。指针402被显示在用户界面400内，并且用于激活一个或更多个用户界面控件，诸如按钮、滑块、选项列表等。指针402可由主控制器204控制。使用主控制器204中的伺服控件，用户可被提供有触觉反馈以提供触摸用户界面控件的感觉。例如，当用户按压用户界面按钮时，滑动控件，或者移动用户界面中的拨盘时，主控制器204可振动、摇动或以其他方式对用户界面控件的致动做出反应，以向用户提供感官反馈。其中图4A示出了登录屏幕，图4B示出了主菜单屏幕，图4C示出了运动选择屏幕，并且图4D示出了设置屏幕。应当理解，在用户界面400中可使用更多或更少的屏幕。用户界面400被呈现为平坦的界面(例如，二维的而不是三维的)。因此，当用户正在控制用户界面中的指针时，与控制虚拟外科器械相反，用户可被约束到2D平面。这可更好地模拟向用户显示的用户界面的平面尺寸。如果提供3D用户界面，则可去除或修改对输入装置(例如，主控制器204)的移动的约束。因此，当在手术模拟(例如，第一模式)中时，用户可具有完全或几乎完全的运动自由度，并且在借助所显示的用户界面进入配置模式(例如，第二模式)之后，然后可将用户约束到平面。约束的平面可在空间中进行取向，使得用户的手和主控制器204处于与显示系统202中显示的角度近似相同的角度。这种相关性可帮助用户将他们的手相对于所显示的用户界面在3D空间中进行取向。图5中示出示例，其示出了观察平面502和触觉平面504。观察平面502表示用户在显示系统202中感知的用户界面图像。触觉平面504是主控制器204被约束在其内的平面。当用户试图相对于触觉平面504的z轴线“向上”或“向下”移动主控制器204时，用户可遇到来自这种移动的阻力。如果用户改变观察平面502的取向，诸如利用显示配置设置，则触觉平面504可调整以保持相对于观察平面502近似平行的取向。在各种实施例中，触觉平面可相对于观察平面以固定的或动态的角度偏移进行取向。替代地，触觉平面可相对于地面以固定的或动态的角度偏移进行取向。用户也可改变约束，例如触觉平面的位置或取向。

能够实现对输入装置(例如，主控制器204)的移动的其他限制或约束，以在与用户界面交互作用时辅助用户。例如，主组件110可在与用户界面交互作用时辅助用户。作为一个示例，远程操作的外科系统100的主组件110或其他部分可检测何时用户即将点击用户界面中的按钮或控件。在检测到用户即将点击之后，远程操作的外科系统100减慢光标移动以提高精度。这可减少或消除假点击。替代地，在点击致动之前检测用户点击的意图，并且主控制器204被部分或完全锁定，以改进点击或选择用户界面元素的准确度和精确度。因此，光标移动和/或主控制器204移动可被限制或减慢。根据输入的各种变化，诸如夹钳结构212的位置或移动来推断点击的意图。当用户开始在夹钳结构212中闭合他们的手指以在用户界面中实现点击时，系统能够限制主组件110中的运动，或者减少或限制指针移动，这增加了指针准确度并增强了用户界面交互作用。用户界面中的指针移动可根据夹钳结构212闭合的速度或位置而减少。例如，夹钳结构212可从完全打开的位置到完全闭合的位置移动总共3cm。以线性、指数或对数方式，指针移动的速度可根据夹钳结构212已经闭合的量而减小。因此，例如，当夹钳结构212达到1.5cm的打开位置时，指针移动的速度在使用线性函数时可降低50％。

在另一个示例中，用户可通过按压脚踏开关面板206中的脚踏板来“点击”。类似于与主控制器204一起使用的机构，踏板位置可用于减慢或停止用户界面中的指针或光标的移动。

在另一个示例中，用户可通过将主机按压到2D平面中来“点击”用户界面元素。诸如按钮的用户界面元素可经由主控制器204向用户提供阻力以模拟物理按钮按压(例如，抵抗某一点，然后释放)。

在另一个示例中，用户的主控制器204可在一事件期间被移动到用户界面中的默认位置。例如，当用户被提供接受或拒绝动作的对话框时，指针可被移动到默认选择(例如，接受)，并且主控制器204可被移动到其操作空间中的对应位置。作为另一个示例，代替将指针直接移动到用户界面元素，通过在默认用户界面元素的方向上推动指针(和主控制器204)用户可被提供建议。类似地，能够控制主控制器204以抵抗远离默认用户界面元素的移动。因此，当用户试图以使指针移动远离用户界面控件的方式移动主控制器204时，主控制器204向用户提供用户界面具有建议或推荐的默认用户界面控件的诸如振动或中等阻力的触觉反馈、指示。

在另一个示例中，用户可使用两个主控制器204以模拟多点触摸或手势输入机构。主控制器204可用于滚动、缩放、平移、旋转或以其他方式操纵用户界面的视图。例如，用户可通过在每个主控制器204上将手指控件夹持在一起来致动两个主控制器204，且然后使主控制器204彼此远离地移动以缩小。类似的运动可用于放大，诸如通过致动主控制器204并移动它们更靠近在一起。通过致动两个控制器204以及向左或向右滑动，或者通过使他们围绕彼此顺时针或逆时针移动，可实现平移和旋转。通过在向上或向下方向上滑动可实现滚动，以将用户界面中的视图向上或向下移动(这可以基于用户偏好被反转，使得通过向上滑动，视图向下移动，且反之亦然)。一种滚动模式模拟“抓取”滚动条中内的滑块(thumb)，以在视图中向上或向下操纵可视内容，而另一种滚动模式模拟“抓取”视图，并且将其向上移动以查看用户界面上较低的内容(且反之亦然)。各种内容可被平移、滚动或以其他方式定位，诸如窗口、菜单、对话框或其他用户界面元素。

使用主控制器204，用户可操纵用户界面覆盖层的位置。例如，用户可通过抓取标题栏、使用特定手势或激活特定用户界面控件(例如，按钮)来改变对话框、菜单系统、模态对话框或其他用户界面元素的位置。

在另一个示例中，通过在主控制器204上旋转夹钳结构212可实现滚动。缩放、平移和其他用户界面控件也可使用夹钳结构212的旋转运动来实现。

当与用户界面控件进行交互作用时，主控制器204能够向用户提供触觉反馈，以便模拟触觉用户界面控件。例如，滑块用户界面控件可包括凹口，使得当滑块拇指被移动到凹口中时，轻微的振动被施加到主控制器204以提供触觉反馈。作为另一个示例，当按压按钮用户界面控件时，主控制器204提供对用户的动作的阻力，直到存在释放并且按钮被按压的断点。这种触觉反馈用于更好地模拟用户界面控件的物理特性。

图6是示出根据实施例的控制远程操作的外科系统602的用户界面的系统600的框图。系统600包括通信地耦接到远程操作的外科系统602的第一主控制器604。

系统600还包括通信地耦接到远程操作的外科系统并且被配置成显示图形用户界面的显示装置606。在一个实施例中，第一主控制器604被配置成将第一输入信号传输到界面控制器608，第一输入信号由第一主控制器604的手动操纵引起，界面控制器608使用第一输入信号来更新由显示装置606呈现的图形用户界面。

在一个实施例中，界面控制器608被配置成向对应于图形用户界面的更新的第一主控制器604提供反馈。在进一步的实施例中，为了提供反馈，界面控制器608使得第一主控制器604振动。在进一步的实施例中，界面控制器608被配置成将第一主控制器604约束到操作空间，并且当第一主控制器604遇到操作空间的边界时，使得第一主控制器604振动。例如，操作空间可以是在显示装置606上呈现的用户界面的边界。作为另一示例，操作空间可以是所显示的环境中的可见区域的边界。

在一个实施例中，图形用户界面包括用户界面元素，并且结合与用户界面元素的交互作用来执行振动第一主控制器604。在一个实施例中，用户界面元素包括按钮，并且当压下按钮时执行振动第一主控制器604。在一个实施例中，用户界面元素包括滑块，并且当滑块被移动时执行振动第一主控制器604。

在一个实施例中，图形用户界面包括用户界面元素，其中用户界面元素包括按钮，并且反馈包括使用力反馈，从而在压下按钮时向第一主控制器604提供阻力。

在一个实施例中，图形用户界面包括多个用户界面元素，其中多个用户界面元素中的一个包括默认用户界面元素，并且反馈包括使用力反馈以将第一主控制器604朝向对应于默认用户界面元素的位置轻推。

在一个实施例中，系统600包括通信地耦接到远程操作的外科系统602以将第二输入信号传输到界面控制器608的第二主控制器，第二输入信号由第二主控制器的手动操纵引起，第二输入信号由界面控制器608结合第一输入信号使用以控制图形用户界面。

在一个实施例中，第一输入信号由第一主控制器604的旋转运动引起，并且更新图形用户界面包括旋转图形用户界面的一部分。

在一个实施例中，为了从第一主控制器604接收第一输入信号，界面控制器608接收旋转信号，其指示第一主控制器604的一部分被手动旋转一旋转量。在此类实施例中，更新图形用户界面包括基于该旋转量滚动图形用户界面的一部分。

在一个实施例中，第一输入信号由第一主控制器604的一部分，诸如夹钳的旋转运动引起。在此类实施例中，更新图形用户界面包括旋转图形用户界面的一部分。在进一步的实施例中，根据旋转运动执行旋转图形用户界面的该部分。

在一个实施例中，第一输入信号由第一主控制器604的一部分的手动夹持运动引起，并且更新图形用户界面包括缩放图形用户界面的一部分。在进一步的实施例中，根据夹持运动执行缩放。

图7是示出根据实施例的控制用户界面的方法700的流程图。在框702处，来自通信地耦接到远程操作的外科系统的第一主控制器的第一输入信号在远程操作的外科系统处被接收，该第一输入信号控制由远程操作的外科系统呈现的图形用户界面的一个方面。

在框704处，基于第一输入信号，更新图形用户界面。

在进一步的实施例中，方法700包括向对应于图形用户界面的第一主控制器提供反馈。在一个实施例中，提供反馈包括振动第一主控制器。

在一个实施例中，当第一主控制器遇到操作空间的边界时，第一主控制器被约束到操作空间，并且执行振动第一主控制器。

在一个实施例中，图形用户界面包括用户界面元素，并且结合与用户界面元素的交互作用来执行振动第一主控制器。

在一个实施例中，用户界面元素包括按钮，并且当按钮被压下时，执行振动第一主控制器。在一个实施例中，用户界面元素包括滑块，其中当滑块被移动时执行振动第一主控制器。

在一个实施例中，图形用户界面包括用户界面元素，其中用户界面元素包括按钮，并且提供反馈包括当压下按钮时使用力反馈来提供对第一主控制器的阻力。

在一个实施例中，图形用户界面包括多个用户界面元素，其中多个用户界面元素中的一个包括默认用户界面元素，并且提供反馈包括使用力反馈以将主控制器朝向对应于默认用户界面元素的位置轻推。

在一个实施例中，方法700包括在远程操作的外科系统处接收来自通信地耦接到远程操作的外科系统的第二主控制器的第二输入信号，第二输入信号与第一输入信号一起工作以控制图形用户界面的方面。

在一个实施例中，第一输入信号由第一主控制器的旋转运动引起，并且更新图形用户界面包括旋转图形用户界面的一部分。

在一个实施例中，从第一主控制器接收第一输入信号包括接收旋转信号，其指示第一主控制器的一部分被旋转一旋转量，并且更新图形用户界面包括基于该旋转量滚动图形用户界面的一部分。

在一个实施例中，第一输入信号由第一主控制器的一部分的旋转运动引起，并且更新图形用户界面包括旋转图形用户界面的一部分。

在一个实施例中，根据旋转运动执行旋转图形用户界面的该部分。

在一个实施例中，第一输入信号由第一主控制器的一部分的夹持运动引起；并且更新图形用户界面包括缩放图形用户界面的一部分。在进一步的实施例中，根据夹持运动执行缩放。

图8是示出根据实施例的系统800的框图，该系统800用于控制远程操作的外科系统802的用户界面与远程操作的外科系统802的主控制器804之间的交互作用。系统800包括通信地耦接到远程操作的外科系统802的第一主控制器804。系统800还包括通信地耦接到第一主控制器804的反馈控件806，以及通信地耦接到远程操作的外科系统802并且被配置成显示用户界面的显示装置808。

在一个实施例中，反馈控件806被配置成当用户界面的状态改变时(即，当由用户界面提供的界面改变时，例如从手术部位的3D视图或解剖模型改变到配置屏幕或数据输入表格)，约束或限制第一主控制器804的移动。在一些实施例中，反馈控件806能够检测用户界面的状态的变化，并且作为响应，限制第一主控制器804的移动。在各种其他实施例中，第一主控制器804的运动的限制能够由导致用户界面的状态改变的相同动作和/或指令来启动(例如，用户提供输入以改变用户界面状态，还启动对第一主控制器804的运动限制)。

在一个实施例中，用户界面的状态是在已经从三维用户界面的先前状态转换之后的二维用户界面，二维用户界面提供观察平面。在此类实施例中，为了限制第一主控制器804的移动，反馈控件806被配置成将第一主控制器804限制为平面移动，从而在触觉平面内执行移动。在一些实施例中，触觉平面能够在空间中进行取向以近似观察平面。

在一个实施例中，二维用户界面包括具有轮廓的用户界面，并且其中为了限制第一主控制器804的移动，反馈控件806被配置成将第一主控制器804限制为对应于具有轮廓的用户界面的触觉形状。例如，如果用户界面被呈现为凹面的碗，则主控制器804可遵循操作空间中碗形状的轮廓。

在一个实施例中，反馈控件806被配置成检测用户界面内并由第一主控制器804的移动控制的指针接近用户界面的边缘，并且响应于指针接近用户界面的边缘，向第一主控制器804提供触觉反馈。在进一步的实施例中，触觉平面被界定为近似观察平面的观察区域。

在一个实施例中，用户界面的状态包括用户界面中的指针悬停在用户界面的可点击元素上方，并且为了限制第一主控制器的移动，反馈控件806被配置成限制第一主控制器804的移动，以减少指针在可点击元素上方时的移动。在进一步的实施例中，减少移动包括在可点击元素上方时暂时停指针。

在一个实施例中，反馈控件806被配置成当指针在可点击元素上方时，确定第一主控制器即将被致动以产生点击。

在一个实施例中，第一主控制器804包括夹钳结构，并且确定第一主控制器即将被致动以产生点击包括检测夹钳结构的位置的变化。在进一步的实施例中，指针移动根据夹钳结构的位置的变化而减少。

在一个实施例中，第一主控制器804在一个模式中以三维操作，并且用户界面的状态是在已经从三维用户界面的先前状态转换之后的二维用户界面，二维用户界面提供观察平面。在此类实施例中，为了限制第一主控制器804的移动，反馈控件806被配置成将第一主控制器804限制为提供触觉平面的平面移动，该触觉平面在空间中取向以近似观察平面。

在一个实施例中，为了确定第一主控制器804即将被致动以产生点击，反馈控件806被配置成检测正交于触觉平面的第一主控制器804的位置的变化。在进一步的实施例中，指针移动根据第一主控制器804的位置相对于触觉平面的变化而减少。

在一个实施例中，用户界面的状态包括在用户界面中呈现默认用户界面控件选项，并且为了限制第一主控制器804的移动，反馈控件806被配置成限制第一主控制器804的在除了默认用户界面控制选项的方向之外的移动。

在一个实施例中，为了限制第一主控制器804的在除了默认用户界面控制选项的方向之外的移动，反馈控件806被配置成向第一主控制器804提供触觉反馈，以将第一主控制器轻推到空间中对应于默认用户界面控制选项的位置。

在一个实施例中，为了限制第一主控制器804的在除了默认用户界面控制选项的方向之外的移动，反馈控件806被配置成提供触觉反馈以阻止第一主控制器的移动，从而将第一主控制器移动远离默认用户界面控制选项的位置。

在一个实施例中，第一主控制器804在一个模式中以三维操作，并且用户界面的状态是在已经从三维用户界面的先前状态转换之后的二维用户界面，二维用户界面提供观察平面。在此类实施例中，为了限制第一主控制器804的移动，反馈控件806被配置成将第一主控制器804限制为提供触觉平面的平面移动，该触觉平面在空间中取向以近似观察平面。

图9是示出根据实施例的控制远程操作的外科系统的用户界面与远程操作的外科系统的输入装置之间的交互作用的方法900的流程图。在框902处，远程操作的外科系统的用户界面的状态改变。

在框904处，基于用户界面的新状态，输入装置的移动被限制(或变得较少受限制)。在一个实施例中，输入装置包括主控制器。

在一个实施例中，用户界面的状态是在已经从三维用户界面的先前状态转换之后的二维用户界面，二维用户界面提供观察平面；并且限制输入装置的移动包括将输入装置限制为提供触觉平面的平面移动，该触觉平面在空间中取向以近似观察平面。

在一个实施例中，二维用户界面包括具有轮廓的用户界面，并且其中限制输入装置的移动包括将输入装置限制为对应于具有轮廓的用户界面的触觉形状。

在一个实施例中，方法900包括检测用户界面内并由输入装置的移动控制的指针接近用户界面的边缘；并且响应于指针接近用户界面的边缘，向输入装置提供触觉反馈。在一个实施例中，触觉平面被界定为近似观察平面的观察区域。

在一个实施例中，用户界面的状态包括用户界面中的指针悬停在用户界面的可点击元素上方；并且限制输入装置的移动包括限制输入装置的移动，以减少指针在可点击元素上方时的移动。在进一步的实施例中，减少移动包括在可点击元素上方时暂时停指针。

在进一步的实施例中，当指针在可点击元素上方时，确定输入装置即将被致动以产生点击。在一个实施例中，输入装置包括夹钳结构；并且确定输入装置即将被致动以产生点击包括检测夹钳结构的位置的变化。在一个实施例中，指针移动根据夹钳结构的位置的变化而减少。

在一个实施例中，输入装置在一个模式中以三维操作；并且用户界面的状态是在已经从三维用户界面的先前状态转换之后的二维用户界面，二维用户界面提供观察平面；并且限制输入装置的移动包括将输入装置限制为提供触觉平面的平面移动，该触觉平面在空间中取向以近似观察平面。

在一个实施例中，确定输入装置即将被致动以产生点击包括检测正交于触觉平面的输入装置的位置的变化。在进一步的实施例中，指针移动根据输入装置的位置相对于触觉平面的变化而减少。

在一个实施例中，用户界面的状态包括在用户界面中呈现默认用户界面控制选项；并且限制输入装置的移动包括限制输入装置的在除了默认用户界面控制选项的方向之外的移动。在进一步的实施例中，限制输入装置的在除了默认用户界面控制选项的方向之外的移动包括：向输入装置提供触觉反馈以将输入装置轻推到空间中对应于默认用户界面控制选项的位置。

在一个实施例中，在限制输入装置的除了默认用户界面控制选项的方向之外的移动包括：提供触觉反馈以阻止输入装置的移动，从而将输入装置移动远离默认用户界面控制选项的位置。

在一个实施例中，输入装置在一个模式中以三维操作；并且用户界面的状态是在已经从三维用户界面的先前状态转换之后的二维用户界面，二维用户界面提供观察平面；并且其中限制输入装置的移动包括将输入装置限制为提供触觉平面的平面移动，该触觉平面在空间中取向以近似观察平面。

计算机硬件和存储设备

图10是示出根据示例实施例的本文所讨论的技术(例如，方法)中的任何一个或更多个可在其上执行的示例机器的框图。图10示出更具体的计算机系统1000的例示性图解示意图。计算机系统1000能够被配置成实现例如计算机化的训练模块。在替代实施例中，计算机系统1000作为独立设备操作或者可连接(例如，联网)到其他机器。在联网部署中，计算机系统1000可在服务器-客户端网络环境中的服务器或客户端机器的容量中操作，或者作为对等式(或分布式)网络环境中的对等机器操作。计算机系统1000可以是服务器计算机、客户端计算机、个人计算机(PC)、平板电脑、个人数字助理(PDA)、蜂窝电话或能够执行指定该机器要采取的动作的一组指令(顺序的或以其他方式)的任何机器。此外，虽然仅示出了单个机器(即，计算机系统1000)，但术语“机器”还应被视为包括单独或共同执行一组(或多组)指令以执行本文讨论的方法中的任何一个或更多个的机器的任何集合。

示例计算机系统1000包括通过总线1008与彼此通信的处理器1002(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器1004和静态存储器1006。计算机系统1000还可包括能够用于显示例如外科器械104和柔性器械120的位置的视频显示单元1010(例如，液晶显示器(LCD)、有机发光二极管(OLED)显示器、触摸屏或阴极射线管(CRT))。计算机系统1000还包括字母数字输入装置1012(例如，键盘、物理键盘、使用软件的虚拟键盘)、光标控制设备或输入传感器1014(例如，鼠标、触控板、轨迹球、传感器或读取器、机器可读信息读取器、条形码读取器)、磁盘驱动器单元1016、信号生成设备1018(例如，扬声器)和网络接口设备或收发器1020。

磁盘驱动器单元1016包括非瞬时机器可读存储设备介质1022，在该非瞬时机器可读存储设备介质1022上存储体现本文所述的方法或功能中的任何一种或更多种的一组或多组指令1024(例如，软件)。在由计算机系统1000执行期间，指令1024还可完全地或至少部分地驻留在主存储器1004、静态存储器1006和/或处理器1002内，主存储器1004和处理器1002也构成非瞬时机器可读存储设备介质。非瞬时机器可读存储设备介质1022还能够存储集成电路设计和波形结构。还可经由网络接口设备或收发器1020通过网络1026发送或接收指令1024。

虽然机器可读存储设备介质1022在示例实施例中被示为单个介质，但是术语“机器可读介质”、“计算机可读介质”等应被视为包括存储一组或更多组指令1024的单个介质或多个介质(例如，集中的或分布的数据库，和/或相关联的高速缓存和服务器)。术语“机器可读介质”还应被视为包括任何介质，其能够存储、编码或携带由机器执行的一组指令，并且使得机器执行本公开的方法中的任何一种或更多种。因此，术语“机器可读介质”应被认为包括但不限于固态存储器、光学和磁性介质以及载波信号。

应当理解，出于清楚的目的，上述描述可参考不同的功能单元或处理器来描述一些实施例。然而，显而易见的是，在不背离本发明的情况下，可使用不同的功能单元、处理器或域之间的任何合适的功能分布。例如，所示出的由单独的处理器或控制器执行的功能可由相同的处理器或控制器执行。因此，对特定功能单元的引用仅被看作是对用于提供所描述的功能的合适的装置引用，而不是指示严格的逻辑或物理结构或组织。

虽然已经结合一些实施例描述了本公开，但是其并不旨在限于本文所阐述的具体形式。本领域技术人员将认识到，根据本公开可组合所描述的实施例的各种特征。此外，应当理解，在不偏离本公开的精神和范围的情况下，本领域技术人员可进行各种修改和改变。

另外，在前面的详细描述中，能够看出，为了使本公开更流畅的目的，在单个实施例中将各种特征部分组在一起。这种公开的方法不被解释为反映所要求保护的实施例要求比每个权利要求中明确叙述的更多特征的意图。相反，如以下权利要求所反映的那样，本发明的主题在于少于单个所公开的实施例的所有特征。因此，以下权利要求在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例。

根据本发明的实施例的前述描述和附图仅仅说明本发明主题的原理。因此，应当理解，在不偏离在所附权利要求中限定的发明主题的精神和范围的情况下，本领域技术人员能够对实施例进行各种修改。

因此，虽然已经在附图中描述和示出本发明的某些示例性实施例，但是应当理解，此类实施例仅仅是对广泛的发明主题的说明而不是限制性的，并且本发明的实施例不限于所示出和描述的具体构造和布置，因为本领域普通技术人员可想到各种其他修改。

Claims (28)

1.一种用于控制远程操作的外科系统的用户界面与所述远程操作的外科系统的输入装置之间的交互作用的方法，所述方法包括：

启动用户界面从三维用户界面状态到二维用户界面状态的转换，所述二维用户界面状态包括在二维观察平面中的用户界面并且包括在所述观察平面内可二维移动的指针和在所述观察平面内由显示器显示的一个或多个用户界面控件，所述指针在所述观察平面内的二维移动由所述输入装置控制，以激活所述一个或多个用户界面控件；

响应于启动所述二维用户界面状态，将所述输入装置的移动限制成触觉平面；

启动所述用户界面从所述二维用户界面状态到所述三维用户界面状态的转换，所述三维用户界面状态包括由所述显示器显示的手术部位的图像，手术器械在所述手术部位中的移动由所述输入装置控制；

响应于启动所述三维用户界面状态，允许所述输入装置三维移动。

2.根据权利要求1所述的方法，

其中所述触觉平面被界定为近似所述观察平面的观察区域；

其中限制所述输入装置的所述移动包括限制所述输入装置在所述触觉平面内移动。

3.根据权利要求1所述的方法，其包括：

响应于由所述输入装置控制的所述用户界面内的指针接近所述用户界面的边缘，向所述输入装置提供触觉反馈。

4.根据权利要求1所述的方法，其中处于所述二维用户界面状态的所述用户界面包括在所述用户界面中的所述指针悬停在所述用户界面的所述触觉平面中的可点击元素上方；并且

其中限制所述输入装置的所述移动包括限制所述输入装置的移动以减少所述指针在所述可点击元素上方时的移动。

5.根据权利要求4所述的方法，其中减少移动包括在所述可点击元素上方的同时暂时停止所述指针。

6.根据权利要求4所述的方法，其还包括：

在所述指针在所述可点击元素上方的同时，确定所述输入装置即将被致动以产生点击。

7.根据权利要求6所述的方法，其中所述输入装置包括夹钳结构；并且

其中确定所述输入装置即将被致动以产生所述点击包括检测所述夹钳结构的位置的变化。

8.根据权利要求2所述的方法，包括：

响应于如下事件，根据所述输入装置的夹钳结构的位置的变化，在所述指针处于可点击元素上方的同时减少指针移动：

通过检测所述夹钳结构的位置的变化来确定所述输入装置即将被致动以产生所述点击，或者通过检测正交于所述触觉平面的所述输入装置的位置的变化来确定所述输入装置即将被致动以产生所述点击。

9.根据权利要求4所述的方法，其中确定所述输入装置即将被致动以产生所述点击包括检测正交于所述触觉平面的所述输入装置的位置的变化。

10.根据权利要求9所述的方法，其中所述指针移动根据所述输入装置的位置相对于所述触觉平面的所述变化而减少。

11.根据权利要求1所述的方法，其中所述用户界面的所述状态包括在所述用户界面中呈现默认用户界面控制选项；并且

其中限制所述输入装置的所述移动包括限制所述输入装置的除了在所述默认用户界面控制选项的方向之外的移动。

12.根据权利要求11所述的方法，其中限制所述输入装置的除了在所述默认用户界面控制选项的所述方向之外的移动包括：

向所述输入装置提供触觉反馈以将所述输入装置轻推到空间中对应于所述默认用户界面控制选项的位置。

13.根据权利要求11所述的方法，其中限制所述输入装置的除了在所述默认用户界面控制选项的所述方向之外的移动包括：

提供触觉反馈以阻止所述输入装置的使得所述输入装置移动远离所述默认用户界面控制选项的位置的移动。

14.根据权利要求1所述的方法，其中所述输入装置包括主控制器。

15.一种控制远程操作的外科系统的用户界面与所述远程操作的外科系统的第一主控制器之间的交互作用的系统，所述系统包括：

所述第一主控制器，其通信地耦接到所述远程操作的外科系统；

反馈控件，其通信地耦接到所述第一主控制器；以及

显示装置，其通信地耦接到所述远程操作的外科系统并且被配置成显示所述用户界面；

其中显示系统被配置为以二维用户界面状态显示包括二维观察平面并且包括在所述观察平面内可二维移动的指针和在所述观察平面内显示的一个或多个用户界面控件的用户界面，所述指针在所述观察平面内的二维移动由所述第一主控制器控制以激活所述一个或多个用户界面控件；

其中所述显示系统被配置为以三维用户界面状态在所述显示系统上显示三维手术部位和所述三维手术部位内的手术器械；

其中所述反馈控件被配置成：

当所述用户界面处于所述二维用户界面状态时，基于所述用户界面的状态，将所述第一主控制器的移动限制成触觉平面；

其中所述第一主控制器被配置成：

当所述用户界面处于所述三维用户界面状态时基于所述用户界面的所述状态使能所述第一主控制器的移动，以便以三维移动，从而在所述三维手术部位内操纵所述手术器械；以及

其中所述显示装置被配置为在三维用户界面状态和所述二维用户界面状态之间转换所述用户界面。

16.根据权利要求15所述的系统，其中所述二维用户界面包括具有轮廓的用户界面，并且其中为了限制所述第一主控制器的所述移动，所述反馈控件被配置成将所述第一主控制器限制为对应于所述具有轮廓的用户界面的所述触觉平面。

17.根据权利要求15所述的系统，其中所述反馈控件被配置成：

响应于由所述第一主控制器控制的所述用户界面内的指针接近所述用户界面的边缘，向所述第一主控制器提供触觉反馈。

18.根据权利要求15所述的系统，其中所述用户界面的所述状态包括在所述用户界面中的所述指针悬停在所述用户界面的可点击元素上方；并且

其中为了限制所述第一主控制器的所述移动，所述反馈控件被配置成限制所述第一主控制器的移动，以减少所述指针在所述可点击元素上方时的移动。

19.根据权利要求18所述的系统，其中减少移动包括在所述可点击元素上方的同时暂时停止所述指针。

20.根据权利要求18所述的系统，其中所述反馈控件被配置成：

在所述指针在所述可点击元素上方的同时，确定所述第一主控制器即将被致动以产生点击。

21.根据权利要求20所述的系统，其中所述第一主控制器包括夹钳结构；并且

其中确定所述第一主控制器即将被致动以产生所述点击包括检测所述夹钳结构的位置的变化。

22.根据权利要求21所述的系统，其中所述指针移动根据所述夹钳结构的位置的所述变化而减少。

23.根据权利要求20所述的系统，

其中所述触觉平面被界定为近似所述观察平面的观察区域；

其中为了确定所述第一主控制器即将被致动以产生所述点击，所述反馈控件被配置成检测正交于所述触觉平面的所述第一主控制器的位置的变化。

24.根据权利要求23所述的系统，其中所述指针移动根据所述第一主控制器的位置相对于所述触觉平面的所述变化而减少。

25.根据权利要求15所述的系统，其中所述用户界面的所述状态包括在所述二维用户界面中呈现默认用户界面控制选项；并且

其中为了限制所述第一主控制器的所述移动，所述反馈控件被配置成限制所述第一主控制器的除了在所述默认用户界面控制选项的方向之外的移动。

26.根据权利要求25所述的系统，其中为了限制所述第一主控制器的除了在所述默认用户界面控制选项的所述方向之外的移动，所述反馈控件被配置成向所述第一主控制器提供触觉反馈以将所述第一主控制器轻推到空间中对应于所述默认用户界面控制选项的位置。

27.根据权利要求25所述的系统，其中为了限制所述第一主控制器的除了在所述默认用户界面控制选项的所述方向之外的移动，所述反馈控件被配置成提供触觉反馈以阻止所述第一主控制器的使得所述第一主控制器移动远离所述默认用户界面控制选项的位置的移动。

28.一种计算机可读介质，其包括用于控制远程操作的外科系统的用户界面与所述远程操作的外科系统的输入装置之间的交互作用的指令，当被计算机执行时，所述指令使所述计算机执行包括如下的操作：

启动用户界面从三维用户界面状态到二维用户界面状态的转换，所述二维用户界面状态包括在二维观察平面中的用户界面并且包括在所述观察平面内可二维移动的指针和在所述观察平面内由显示器显示的一个或多个用户界面控件，所述指针在所述观察平面内的二维移动由所述输入装置控制，以激活所述一个或多个用户界面控件；

响应于启动所述二维用户界面状态，将所述输入装置的移动限制成触觉平面；

启动所述用户界面从所述二维用户界面状态到所述三维用户界面状态的转换，所述三维用户界面状态包括由所述显示器显示的手术部位的图像，手术器械在所述手术部位中的移动由所述输入装置控制；

响应于启动所述三维用户界面状态，允许所述输入装置三维移动。