CN116056655A

CN116056655A - 通过外科机器人控制内窥镜

Info

Publication number: CN116056655A
Application number: CN202080103502.0A
Authority: CN
Inventors: 周仁斌; S·云; 于浩然; E·克林贝尔; A·施瑞瓦斯塔瓦
Original assignee: Verb Surgical Inc
Current assignee: Verb Surgical Inc
Priority date: 2020-08-27
Filing date: 2020-08-27
Publication date: 2023-05-02
Also published as: JP2023539864A; EP4203830A1; KR20230058115A; WO2022046053A1; US20220061936A1; JP7532649B2; EP4203830A4

Abstract

内窥镜由外科机器人系统控制。具有六个自由度的用户输入映射到通过具有较少数目的自由度的机器人臂控制内窥镜。例如，非系留式用户接口设备通过从用户命令到内窥镜运动再到机器人臂的接合部运动的一系列投影来控制内窥镜的运动。从用户命令投影到内窥镜运动可以从用户接口设备的三个角运动中投影单个角运动。该投影可以考虑远程运动中心和/或内窥镜视图相对于内窥镜轴的角取向。

Description

通过外科机器人控制内窥镜

背景技术

本实施方案涉及用于微创外科手术(MIS)的机器人系统。可利用机器人系统执行MIS，该机器人系统包括一个或多个机器人操纵器，该机器人操纵器用于根据来自远程操作者的命令操纵外科手术工具。例如，机器人操纵器可以在其远侧端部支撑各种外科器械和设备，包括内窥镜。使用该机器人系统，外科医生在MIS期间控制机器人操纵器与内窥镜进行远程操作。

机器人MIS中的内窥镜提供手术部位视图和全局参考。在远程操作期间，外科医生的手部和/或腕部运动由主控制设备捕获。内窥镜运动跟随所捕获的运动。然而，机械人臂的移动可能是有限的，尤其是与主控制设备的较大自由度相比。这导致主控制设备的运动与内窥镜的运动之间出现模糊。

发明内容

作为引言，下文描述的优选实施方案包括通过外科机器人系统控制内窥镜的方法、系统、指令和计算机可读介质。具有六个自由度的用户输入映射到通过具有较少数目的自由度的机器人臂控制内窥镜。例如，非系留式用户接口设备通过从用户命令到内窥镜运动再到机器人臂的接合部运动的一系列投影来控制内窥镜的运动。从用户命令投影到内窥镜运动可以从用户接口设备的三个角运动中投影单个角运动。该投影可以考虑远程运动中心和/或内窥镜视图相对于内窥镜轴的角取向。

在第一方面，提供了一种用于通过外科机器人系统控制内窥镜的方法。检测具有六个自由度的手持式用户输入设备的移动。手持式用户输入设备的移动被映射到与外科机器人系统的机器人操纵器联接的内窥镜的移动。计算机器人操纵的一个或多个接合部的移动以便于内窥镜的移动。根据所计算的移动来驱动一个或多个接合部。

在第二方面，提供了一种用于通过外科机器人系统控制内窥镜的方法。感测关于三条轴线的输入平移和旋转。围绕这三条轴线的输入旋转被投影到围绕安装到机器人臂的内窥镜的单条轴线的旋转。控制机器人臂以基于感测到的输入平移和围绕单条轴线的受保护的旋转来移动内窥镜。

在第三方面，提供了一种外科机器人系统。内窥镜联接到机器人操纵器。控制器被配置为将一个或多个用户接口设备的位移转换为内窥镜的缩放位移。该平移将用户接口设备的第一旋转自由度(DoF)减少到内窥镜的较少的第二旋转DoF。

本发明由以下权利要求书限定，并且本章节中的内容不应视为对那些权利要求的限制。针对一类权利要求(例如，方法)的任何教导可适用于另一类权利要求(例如，计算机可读存储介质或系统)。下文结合优选的实施方案论述本发明的其他方面和优点，并且可以随后独立地或组合地要求保护。

附图说明

部件和图示未必按比例绘制，而是重点举例说明本发明的原理。此外，在附图中，贯穿不同附图，相似参考标号指示对应的部分。

图1为根据一个实施方案的配置有外科机器人系统的手术室环境的一个实施方案的图示；

图2示出了示例性外科机器人臂和外科工具；

图3是用于通过外科机器人系统控制内窥镜的方法的一个实施方案的流程图；

图4展示了在远程操作期间，用户接口的六个运动自由度与机器人操纵器实现的内窥镜的四个运动自由度之间的示例性关系；

图5展示了用于将用户输入运动映射到机器人操纵器的接合部运动的示例性投影序列；

图6展示了具有成角度的视场的示例性内窥镜；

图7展示了具有缩放平移运动的示例性内窥镜；并且

图8是外科机器人系统的一个实施方案的框图。

具体实施方式

在机器人MIS中提供内窥镜控制。一个或多个UID具有六个自由度，并且机器人臂在MIS期间具有较少(例如，四个)接合部和对应的自由度。一个或多个用户接口设备(UID)的运动空间与机器人臂的臂运动空间不相容，因此用户设备运动被投影到内窥镜运动空间。从UID运动生成用户运动命令(UMC)。UMC被映射到内窥镜运动命令(EMC)。该投影通过投影角运动命令，但是在没有任何投影的情况下通过传递线性运动命令来实现，从而得到投影的UMC。EMC被映射到臂接合部运动命令(JMC)。

在另外的实施方案中，在MIS期间，内窥镜运动受到机器人臂的机械或虚拟远程运动中心(RCM)的约束。UMC进一步被投影到RCM运动空间中，导致EMC受到RCM的约束。EMC通过逆向运动学映射到臂JMC。此外，为了避免当内窥镜端部靠近RCM时臂的快速运动，使用动态缩放技术。

图1和图2示出了示例性外科机器人系统。下文参考该示例性系统论述了用于内窥镜控制的方法。其他外科机器人系统和外科机器人或非外科机器人系统和机器人也可使用该方法。

图3至图7涉及内窥镜控制，包括UID的自由度相对于机器人臂的自由度减小。图8涉及对自由度有限的内窥镜或类似工具实施机器人控制的系统。

图1是展示配置有外科机器人系统100的示例性手术室环境的示意图，该系统将来自用户的命令用投影转变为外科机器人操纵器122的运动，以减少自由度的数量、对RCM的考虑和/或缩放比例。外科机器人系统100包括用户控制台110、控制塔130和外科机器人120，该外科机器人具有安装在外科平台124(例如，台或床等)上的一个或多个外科机器人操纵器(臂)122，其中具有端部执行器的外科工具附接到机器人操纵器122的远侧端部用于执行外科规程。还可提供额外的、不同的或更少的组件，诸如将控制塔130与控制台110或外科机器人120组合起来。机器人操纵器122示出为台式安装，但在其他构型中，机器人操纵器122可安装在推车、天花板、侧壁或其他合适的支承表面中。

一般来讲，用户(诸如外科医生或其他操作员)可坐在用户控制台110处以远程操纵机器人操纵器122和/或外科器械(例如，进行远程操作)。用户控制台110可位于与机器人系统100相同的手术室中，如图1所示。在其他环境中，用户控制台110可位于相邻或附近的房间中，或者从不同建筑物、城市或国家的远程位置进行远程操作。用户控制台110可包括座椅112、踏板114、一个或多个手持用户接口设备(UID)116和开放式显示器118，该开放式显示器被配置为显示例如患者体内手术部位的视图和图形用户接口。如示例性用户控制台110所示，坐在座椅112上并查看开放式显示器118的外科医生可以操纵踏板114和/或手持式UID 116，以远程并直接控制机器人臂122和/或安装到臂122的远侧端部的外科器械。用户输入使外科手术操纵器122和/或端部执行器移动的命令。这一用户控制会确定位置、移动速率和机器人操纵器122移动速率的变化。速率和速率变化会带来预期中的由机器人操纵器122提供的动态扭矩力。坐在座椅112上的外科医生可以查看显示器118并与该显示器互动，以便在外科手术中输入使机器人操纵器122和/或外科器械(例如，内窥镜)在远程操作下进行移动的命令。

在一些变型中，用户还能够以“床上”(OTB)模式操作外科机器人系统100，其中用户位于患者一侧并同时操纵附接到患者身上的机器人驱动工具/端部执行器(例如，用一只手握持手持式UID 116)和手动腹腔镜工具。例如，用户的左手可以操纵手持式UID 116以控制外科机器人部件，而用户的右手可以操纵手动腹腔镜工具。因此，在这些不同情况中，用户既可对患者执行机器人辅助的MIS，也可手动进行腹腔镜外科手术。

在示例性规程或外科手术期间，以无菌方式对患者进行准备并覆盖以实现麻醉。可利用处于收起构型或缩回构型的机器人系统100手动地执行对手术部位的初始接近，以有助于接近手术部位。一旦完成接近，就可进行机器人系统的初始定位和/或准备。在该规程期间，用户控制台110处的外科医生可以利用踏板114和/或UID 116来操纵各种端部执行器和/或成像系统，以使用远程操作来进行外科手术。上述移动由于与特定的外科医生、患者和/或情形有关，因此存在变化。还可以由身着无菌工作服的人员在手术台处提供手动辅助，该人员可执行的任务包括但不限于牵开组织，或执行涉及一个或多个机器人操纵器122的手动重新定位或工具更换。诸如缩回、缝合或其他对组织所作操纵的一些手术任务可替代地由一个或多个机器人操纵器122(例如，第三臂或第四臂)来执行。非无菌人员也可以在场，以在用户控制台110处辅助外科医生。当完成该规程或外科手术时，机器人系统100和/或用户控制台110可被配置或设置为处于便于进行一个或多个术后流程的状态，包括但不限于机器人系统100的清洁和/或消毒，和/或诸如经由用户控制台110进行的医疗记录输入或打印输出，无论是电子副本还是纸质副本。

在一些方面，外科机器人120和用户控制台110之间的通信可通过控制塔130进行，该控制塔可将来自用户控制台110的用户输入转换成机器人控制命令，并将该控制命令传输到外科机器人120。控制塔130和/或用户控制台110执行投影和/或逆向运动学。控制塔130还可将状态和反馈从机器人120传输回用户控制台110。外科机器人120、用户控制台110和控制塔130之间的连接可为有线连接和/或无线连接，并且可以是专有的和/或使用多种数据通信协议中的任一种数据通信协议来执行。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。外科机器人系统100可向一个或多个显示器提供视频输出，该一个或多个显示器包括手术室内的显示器和经由互联网或其他网络访问的远程显示器。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。

在利用外科机器人系统开始外科手术之前，外科手术团队可进行术前设置。在术前设置期间，将外科机器人系统的主要部件(例如，台124和机器人臂122、控制塔130和用户控制台110)定位在手术室中，已经连接并通电。台124和机器人臂122的构型可为完全收起，其中臂122处于台124下方，以便储存和/或运输。外科手术团队可将臂122从其收起位置延伸以便进行无菌盖布。在盖布之后，臂122可部分地回缩，直到需要再用。可能需要执行多个常规的腹腔镜步骤，包括插管放置和注气。例如，每个套筒可借助于填塞器插入到小切口中并穿过体壁。套筒和插塞允许光线进入，以在插入期间使组织层可视，从而使放置时的损伤风险最小化。通常，首先放置内窥镜，以提供手持式相机可视画面，从而便于放置其他插管。在注气之后，如果需要，可将手动器械插入穿过套筒，以用手执行任何腹腔镜步骤。

接下来，外科手术团队可将机器人臂122定位在患者上方并将每个臂122附接到其对应的套筒(例如，插管)。外科机器人系统100能够在附接时唯一地识别每个工具(内窥镜和外科器械)并在用户控制台110处的开放式或沉浸式显示器118上以及在控制塔130上的触摸屏显示器上显示工具类型和臂的位置。启用对应的工具功能并且可使用主UID 116和脚踏开关114使其激活。患者侧助手可在整个规程中根据需要附接和拆卸工具。坐在用户控制台110处的外科医生可以使用由一个或多个(例如，两个)主UID 116和一个或多个脚踏开关114控制的工具，开始以远程操作的形式进行外科手术。该系统通过主UID 116将外科医生的手部运动、腕部运动和指部运动精确转换为外科工具的实时运动。因此，在直接的远程操作中，该系统持续监测外科医生的每次外科手术操作，如果系统无法精确反映外科医生的手部运动，则暂停器械移动。在外科手术期间，内窥镜从一个臂移动到另一个臂的情况下，该系统可调节主UID 116，以进行器械校准并继续控制器械，使其运动。脚踏开关114可以用于激活各种系统模式，诸如内窥镜控制和各种器械功能，包括单极烧灼和双极烧灼，而外科医生的手无需移开主UID 116。

图2是展示根据本主题技术的多个方面的机器人操纵器122、工具驱动器210以及装载有外科机器人工具(例如，内窥镜220)的连接器的一种示例性设计的示意图。如图2所示，示例性外科机器人操纵器122可以包括多个连接件(例如，连接件202)，以及用于相对于彼此致动多个连接件的多个致动的接合部模块(例如，接合部204，也可参见接合部J1至J8)。接合部模块可包括各种接合部类型，诸如俯仰接合部或滚动接合部，其可基本上约束相邻连接件围绕某些轴线相对于其他轴线的移动。图2的示例性设计中还示出了附接到机器人臂122远侧端部的工具驱动器210。工具驱动器210可以包括联接到其端部以接收和引导外科器械(例如，内窥镜220)或端部执行器222的插管214。外科器械(或“工具”)是内窥镜220，并且可以包括位于该工具远侧端部的端部执行器222。可以致动机器人操纵器122的多个接合部模块，以定位和定向工具驱动器210，该工具驱动器致动或移动端部执行器222以进行机器人外科手术。端部执行器222位于工具轴末端，诸如是轴上的内窥镜的透镜。

在图2的示例中，接合部J0为台式枢轴接合部并且位于外科手术台顶部下方。在外科手术期间，接合部J0通常保持固定不动。接合部J1至接合部J5形成结构或笛卡尔型机器人臂，并且在手术期间通常保持固定不动，因此，其在外科手术远程操作期间对运动没有帮助。接合部J6和接合部J7形成可在外科手术或远程操作期间主动进行移动的球形臂。接合部J8将工具220(诸如端部执行器222)转换为工具驱动器的一部分。接合部J8可以在外科手术期间主动地移动，从而将端部执行器沿着轴的轴线平移。在外科手术期间，接合部J6至接合部J8主动地定位工具轴末端(即，端部执行器222)，同时将患者手术的入口点维持在固定或稳定不变的位置(即，RCM)以避免使患者皮肤承受应力。在设置期间，接合部J0至接合部J8的任一个接合部都可以移动。在外科手术期间，接合部J6至接合部J8可根据硬件或位置、速度、加速度和/或扭矩力方面的安全限制进行移动。作为内窥镜220的外科工具可以围绕纵向轴或其他轴线旋转，该旋转可以是内窥镜的唯一自由度。可以提供任何数量的自由度，诸如来自接合部J6至J8的三个自由度和来自内窥镜220的一个自由度(即，四个自由度，其中三个来自接合部J6至J8，一个来自内窥镜的旋转)。

图3是用于通过外科机器人系统100控制内窥镜220的方法的一个实施方案的流程图。UID 116的移动被映射到较少数量的角运动，作为将外科医生运动投影到接合部运动的一部分。

图3所示方法由控制处理器诸如控制塔130、计算机、工作站、服务器或另一处理器来实现。外科机器人系统100中的任何计算机均可使用。用户接口提供来自于用户的在动作300中接收的移动命令。在动作310中，控制处理器(例如，控制器)将UID移动映射到机器人操纵器移动。在动作320中，使用来自控制处理器的指令或控制对机器人臂122和/或内窥镜220进行移动。其他设备可执行和/或用于上述任意动作。

以所示的顺序或其他顺序执行上述动作。例如，动作300在上述任意其他动作之后执行。又如，动作320在上述任何动作之前或之后执行，诸如在正在进行的远程操作中。

还可采用额外的、不同的或更少的动作。例如，投影或缩放动作311至315中的任一者被单独执行，或者与少于所有动作的动作组合执行。在另一个示例中，可以提供最初将内窥镜220定位在患者体内的动作、规划外科手术的动作，以及/或者从患者体内移除内窥镜220的动作。

在动作300中，传感器检测一个或多个UID 116的输入移动。执行磁性方位感测、光学感测、电场感测或其他感测来无线地检测UID 116的移动，诸如用户的移动。UID 116之上或之中的陀螺仪、加速度计和/或其他传感器可以检测UID 116的输入移动(例如，感测UID116的取向和/或平移)。

UID 116是手持式的，诸如是具有或不具有按钮、旋钮和/或操纵杆的任何形状的物体。UID 116是非系留式的，诸如没有物理连接到其他设备(即，没有机械联动装置并且没有电缆)。在其他实施方案中，提供电缆用于通信。当用户平移和/或旋转UID 116时，这种位置和/或取向的运动或变化(即，姿态或方位的变化)由传感器检测，从而提供基础参考系(即，UID 116相对于远程定位的传感器)。

由于UID 116是手持式的，因此UID 116各自具有六个自由度。分别是沿正交空间轴线(x,y,z)的三个平移自由度和围绕这三条空间轴线的三个旋转自由度，这三个旋转自由度提供滚动、俯仰和偏航。感测关于这三条轴线的平移和/或旋转，从而提供姿态或方位。一个或两个UID在由操作者手持时以及在物理上不连接到其他设备时被感测。

感测方位或方位的变化(例如，线性和旋转运动)。感测以任何频率采样，诸如每0.1秒采样。对一个或两个UID 116的方位或方位的变化进行采样。

在动作310中，控制器计算机器人操纵器的一个或多个接合部的移动以便于内窥镜220的移动。控制器将手持式用户输入设备(例如，UID 116)的移动映射到由外科机器人系统100的机器人操纵器122保持的内窥镜220的移动。该映射将一个或多个UID 116的移动与接合部运动相关联，以使内窥镜220移动。

图3示出了映射计算中涉及的五个动作311至315。还可采用额外的、不同的或更少的动作。例如，不提供动作314。又如，动作312是映射的一个方面，其可以与另一个动作(诸如投影动作311)结合或者成为另一个动作的一部分。可以将任何给定的投影细分成多个动作，诸如投影动作313，包括将用户命令转换为臂运动、将臂运动转换为RCM参考系，然后将RCM参考系转换为内窥镜220的运动。可以使用将感测到的UID运动转换为接合部运动的其他映射。

图5表示动作311至315的序列。该表示是用于从感测动作300映射到机器人臂122的接合部(例如，J6至J8)的移动的流程图和/或软件模块。

在动作311中，控制器将感测结果投影到内窥镜的用户运动命令。UID 116的运动或方位被转换为用户命令。用户通过UID 116作出的输入变化从感测到的运动和/或方位解释。

可以使用一个UID 116来控制内窥镜的运动或方位。替代性地，使用两个UID 116的组合来控制内窥镜的运动或方位。例如，两个UID 116的协调移动对运动进行控制，诸如使用相对运动来以六个自由度导出用户输入运动。检测两个手持式用户接口对象的方位和/或取向的变化，其中这两个手持式用户接口对象之间的虚拟中心点处的移动被用作所输入的用于控制内窥镜的移动。用户将UID 116握在每只手中(左手和右手)(参见图1)，在这种情况下，感测两个UID 116的运动以确定外科医生正在输入的协调运动。检测用户关于这三条轴线的平移和旋转，该平移和旋转与UID 116之间的中心点处的六个自由度相对应。

在为远程操作做准备时，用户落座于外科医生控制台110处。在为远程操作定位好机器人操纵器122后，将一个或多个接合部在患者皮肤或切口入口处与RCM进行锁定就位。例如，接合部J0至接合部J5(参见图2)被锁定。该锁定是通过制动器和/或避免发动接合部的马达来进行。这些接合部在远程操作期间保持锁定。接合部J0至接合部J5中的任一个接合部可解锁并移动以调整RCM。

在远程操作期间，用户输入命令以移动机器人操纵器122和/或内窥镜220。该命令用于实现运动。可为不同的移动提供不同的命令。该命令可用于端部执行器222的移动。这些命令可能不适用于特定接合部的移动。该控制处理器将移动命令转换为对机器人操纵器122和/或外科手术工具220的特定接合部的控制。

控制处理器接收用户命令，以在对患者进行远程操作之前或期间移动机器人操纵器122或机器人操纵器122的内窥镜220。控制处理器经由无线或有线接口从用户控制台110(诸如UID 116)接收用户输入。在其他实施方案中，通过从存储器加载或在计算机网络上的发射来接收该用户命令。

在一个实施方案中，基于参考系或坐标系生成用户命令。一旦进入远程操作，就使用两个UID 116的位置(x,y,z)来创建参考系。确定这两个UID 116之间的中心点。该中心点被表示为：

其中，

-参考系的原点向量，

-左侧UID的方位向量，并且

右侧UID的方位向量。

该中心点用作原点，基础参考系的轴线围绕该中心点分配。

围绕该中心点的参考系可以静态或动态地建立。为了静态地创建该参考系，将这两个UID方位之间的中心点用作原点，并且该参考系的轴线(x，y，z)与UID 116的基础参考系相同。使用UID 116的传感器的x、y、z轴。

为了动态地创建该参考系，将该中心点用作原点，但是y轴被定义为从右侧UID位置到左侧UID位置(或反过来)的轴线。y轴由UID 116的相对位置给出。x轴垂直于y轴并指向基础参考系(即，从中心点到传感器或基础参考系的原点)。z轴与x轴和y轴一起形成右手坐标系。这种允许用户对原点和方向进行某种控制的动态创建可以表示为：

其中，

O_l＝[x_l0，y_l0，x_l0]-左侧UID的方位向量，

O_r＝[x_r0，y_r0，z_r0]-右侧UID的方向向量。

在参考坐标系的静态和动态生成过程中，可以使用多位置采样平均值来减少UID位置的随机噪声。参考系在第一次进入远程操作时被创建一次，然后保持不变，直到用户退出远程操作为止。

为了检测运动，传感器在不同的采样时间检测UID的方位(线性和角度姿态)。两个连续的UID相对于参考系或在参考系中的中心点方位被用作用户运动命令(UMC)。检测相对于参考轴线的方位变化(例如，关于三条参考轴线的平移和/或旋转)。这种具有六个自由度的方位或运动向量的变化表示为：

其中，

-用户运动命令向量

-两个UID在当前时间(t)的中心方位向量

-两个UID在前一步长时间(t-1)的中心方位向量

R_u＝R_t*(R_t-1)^T (4)

其中，

R_u-用户命令的旋转矩阵(3×3)

R_t-UID在当前时间(t)的旋转矩阵(3×3)

R_t-1-在前一步长时间(t-1)的旋转矩阵(3×3)

检测沿着三条或更少的空间轴线的中心点平移和围绕这三条空间轴线的旋转，从而提供平移和旋转形式的用户运动命令向量。例如，用户向前移动双手进行平移，同时向下弯曲手腕以便在旋转内窥镜的同时移动内窥镜。可以检测中心点关于所有三条轴线的平移和/或旋转。

在动作312中，控制器将围绕这三条轴线的输入旋转投影到围绕安装到机器人臂的内窥镜的单条轴线的旋转。UID 116的自由度(例如，包括三个线性平移自由度和三个旋转自由度在内的六个自由度)减少，以匹配机器人操纵器122的自由度。在图4的示例中，六个自由度减少到由接合部J6至J8和内窥镜220的旋转提供的臂的四个自由度。在其他示例中，从六个减少到五个，或者从六个减少到三个。

该实施方案中的投影提供了旋转自由度的减少，诸如从三个自由度减少到一个自由度。在其他实施方案中，减少的部分或全部自由度是平移自由度。

图3和图5示出了作为投影到用户命令的一部分或在投影到用户命令之后以及/或者在从用户命令投影到内窥镜命令之前的拒绝。这种减少发生在用户命令空间中。在其他实施方案中，这种减少发生在映射的其他空间或部分中，诸如在动作311检测空间、内窥镜命令空间(例如，在动作313之后)中，在缩放空间(例如，在动作314之后)中，或者在接合部命令空间(例如，在动作315之后)中。

在图5的示例中，投影用户命令的滚动、俯仰和偏航以提供一个旋转(例如，滚动)，而不提供其他旋转(例如，偏航和俯仰)。该取向投影放弃、移除或不使用感测到的偏航和俯仰。替代性地，三个自由度的旋转变成了围绕一条轴线的单旋转。可以使用将旋转向量与较少(例如，单数)旋转次数相关联的任何函数。取向上的投影提供了旋转R或旋转向量

在图4的示例中，旋转R用于内窥镜围绕轴或在臂空间中的旋转。

线性平移不被投影，或者在投影后不发生改变。在动作313中，传递线性平移xyz以生成内窥镜命令。在动作313中，传递诸如滚动或旋转R之类的投影取向以生成内窥镜命令。

在一个实施方案中，用户运动命令的取向仅被投影到参考系中的滚动空间中。偏航和俯仰被设置为零。该投影使用在动作311中的用户命令感测和生成中建立的参考系中的滚动，而不使用该参考系中的偏航和俯仰。动作312的取向投影可以表示为：

其中，

R_u-用户命令的3×3旋转矩阵

r-围绕

的滚动角

p-围绕

的俯仰角

y-围绕

的偏航角

关系式5示出了通过放弃俯仰和偏航而向单个欧拉角R_u转换，以及返回参考系的逆转换。对于偏航和俯仰，逆转换的滚动为零。在要保持参考系并且使用围绕参考系的一条轴线的单旋转的情况下，投影可以仅移除俯仰和偏航。

内窥镜220可以具有以内窥镜220的纵向轴线或轴为中心的观察方向。在其他实施方案中，观察方向以非零角度从轴偏离。图6示出了以30度角偏离的示例，但是可以使用更小或更大的偏离角度。基于内窥镜220的观察者的非零角度，在动作312的取向投影中维持的滚动或旋转是围绕从机器人操纵器的远程运动中心到控制点的轴线发生的。该旋转(滚动)轴线由穿过RCM和内窥镜观察轴线上的用户定义点(例如，图像中心)的线定义。该点用作控制点，使得当用户旋转内窥镜时，图像中心点保持静止。用户相对于屏幕上的视图输入命令，因此旋转是针对该视图的旋转。基于内窥镜220的观察者的非零角度，角运动围绕从机器人操纵器122的远程运动中心到控制点的轴线映射。

在动作313中，控制器将用户运动命令投影到内窥镜命令。用户运动命令用于控制内窥镜220。该投影指示内窥镜220的端部执行器ee或顶端的运动。

由于机器人操纵器122移动内窥镜220并且受到远程运动中心的约束，因此投影到内窥镜命令空间考虑了远程运动中心。内窥镜220的端部执行器以受到远程运动中心约束的方式移动。投影到内窥镜命令空间用于内窥镜220的运动，其中沿内窥镜220的轴的方位将保持固定。

投影到内窥镜命令空间将针对内窥镜220的用户运动命令转变或转换到机器人操纵器122的远程运动中心参考系。在一种方法中，该投影定义了机器人操纵器122的参考系中的运动。该运动被转换到远程运动中心参考系。该转换导致具有少于三个自由度的旋转(例如，从动作312的取向投影围绕单条轴线的旋转)是围绕三条轴线的旋转。由于远程运动中心是固定的，因此用户命令下内窥镜220的线性平移和旋转可以使得端部执行器在六个自由度上平移和旋转。投影到受到远程运动中心约束的内窥镜命令空间提供了围绕三条轴线的旋转。然后，利用来自远程运动中心参考系的增加的旋转，远程运动中心参考系中的运动从远程运动中心参考系转换回到臂参考系。

包括偏航分量和俯仰分量。在一个实施方案中，将偏航和俯仰从用户命令空间移除。偏航和俯仰在内窥镜命令空间中加回，然而是相对于远程运动中心而不是在动作311的用户命令投影中建立的参考系的偏航和俯仰。

这些投影用于将手持式用户输入设备(例如，UID 116)产生的移动投影到机器人操纵器122的远程运动中心参考系。上文论述的动作311至313和/或动作313的投影序列或者不同的投影或投影序列可以用于将检测到的UID 116的移动转换为受到远程运动中心约束的内窥镜运动。

在一个实施方案中，用户运动命令被投射到机器人操纵器122的远程运动中心参考系，从而创建内窥镜命令。基于内窥镜220的端部执行器的运动将用户运动命令转换到机器人臂空间中，如由下式表示的：

其中，

-臂基础参考系中在当前时间(t)的内窥镜端部方位向量(1×3)

-臂参考系中在前一时间(t-1)的内窥镜端部方位向量(1×3)

-臂参考系中的内窥镜端部参考系方位矩阵(3×3)

-臂参考系中的内窥镜RCM参考系方位矩阵(3×3)

R_u-来自用户命令的旋转矩阵(3×3)

三维空间中的位置根据最后方位和来自用户命令的线性平移的变化来确定。端部执行器的旋转由来自用户命令的旋转与受到远程运动中心参考系约束的端部执行器的旋转卷积或相乘而提供。

臂空间中的平移和旋转受到远程运动中心的约束。投影到远程运动中心参考系中表示为：

其中，

-RCM参考系中在当前时间(t)的内窥镜端部方位向量(1×3)

-RCM参考系中在前一时间(t-1)的内窥镜端部方位向量(1×3)

-从臂参考系到RCM参考系的变换矩阵(4×4)

R-旋转矩阵(3×3)，并且

对于内窥镜220的端部执行器，平移在三维空间中给出。为了在四维矩阵的上下文中定义这种平移，添加1.0项。提供了围绕受到远程运动中心约束的三个维度的旋转。

一旦如关系式7中所示添加了由远程运动中心参考系提供的约束，则所得到的平移和旋转就被转换回到内窥镜220的运动的臂参考系作为内窥镜命令。在一个实施方案中，计算4×4矩阵作为投影的输出。该转换可以表示为：

其中，

-RCM参考系中的内窥镜端部方位向量(1×3)

-臂基础参考系中的内窥镜端部方位向量(1×3)

-RCM参考系中的内窥镜端部参考系旋转矩阵(3×3)

-臂基础参考系中的内窥镜端部参考系旋转矩阵(3×3)

-作为最终方位和取向命令的姿态矩阵(4×4)

端部执行器的姿态(线性平移和旋转方位)被表示为具有机器人操纵器220上的端部执行器的旋转和平移的矩阵。

在可选的动作314中，控制器对内窥镜220的移动的线性平移分量进行缩放。为了在患者体内移动内窥镜220的端部执行器或顶端，机器人臂122移动。除了端部执行器的运动或平移的量之外，端部执行器与远程运动中心的接近度确定了机器人臂122在患者体外的运动的幅度和/或速度。当内窥镜顶端靠近远程运动中心时，臂的相对端的运动(即，工具驱动器210的运动)由于围绕远程运动中心的大杠杆而被放大，该大杠杆在远程操作期间保持静止。该大杠杆导致该相对端的过度运动。这种过度运动可能导致机器人臂122振动。

为了减小振动，对内窥镜220的移动的线性分量进行缩放。减小该线性分量，诸如降低移动速度。在替代性或附加的实施方案中，对旋转分量进行缩放。

该缩放可以针对所有平移进行。对平移的所有分量的缩放是相同的，但是对于不同的方向可以使用不同的缩放。一种用例是仅缩放x和y运动，而不缩放z运动(沿着观察轴线的放大/缩小或移动)，使得当内窥镜220靠近远程运动中心时，放大/缩小运动不受影响。一种替代性方法是用相同的缩放比例对所有运动进行缩放。

替代性地，当端部执行器在远程运动中心的阈值距离内时，针对平移进行缩放。当内窥镜端部靠近远程运动中心时，线性运动O(x,y,z)被缩放，使得臂122和/或工具驱动器210的过度运动受到抑制。因此，振动也受到抑制。在一个实施方案中，缩放的量基于内窥镜距机器人操纵器的远程运动中心的距离。不同的距离提供不同的缩放量。提供端部执行器距远程运动中心的一系列两个或更多个阈值距离，以随着端部执行器接近远程运动中心而逐步增加缩放量。替代性地，提供随距离的连续缩放。

在该动态缩放的一个示例中，O＝O*r，其中r是缩放系数。如下计算缩放系数r：当distance_to_rcm>distance_to_rcm_threashold时，r＝1.0；而当distance_to_rcm<＝distance_to_rcm_threashold时，r＝(distance_to_rcm/distance_to_rcm_threshold)²。可以使用其他函数来基于到远程运动中心的距离动态地或连续地缩放。O[x,y,z]向量的分量如上所示被共同缩放，或者由r单独缩放。

在动作315中，控制器在缩放或不缩放的情况下将由内窥镜命令提供的内窥镜220的移动映射到机器人操纵器122的一个或多个接合部的移动。在图2的示例性机器人操纵器122中，确定四个或更少的接合部的运动(例如，接合部J6至J8，以及内窥镜的旋转)。机器人操纵器220的接合部在远程操作期间提供少于六个自由度。

控制器从机器人臂的远程运动中心参考系投影到针对机器人臂122的接合部方位命令。可以使用任何投影，诸如执行逆向运动学。在一个实施方案中，使用奇异值分解通过逆向运动学(IK)来生成或计算接合部运动。由于来自作为主设备的用户输入设备(例如，UID 116)的六自由度运动已经被投影到臂工作空间中，所以IK应当总是收敛。

在一个实施方案中，接合部方位命令按θ＝pinv(J)*Twist计算，其中J是时间t处的6×4雅可比矩阵，Twist是表示与时间t-1处的姿态和时间t处的姿态的姿态差的6×1向量，θ是接合部方位命令的4×1向量。

接合部方位(姿态)或接合部方位(姿态)的变化的解可能受到约束。例如，对端部执行器(例如，内窥镜220的顶端)到远程运动中心的最小距离作出强制要求。从内窥镜端部到远程运动中心的最小距离用于防止内窥镜220在远程操作期间被拉出插管214。该最小距离被视为工具平移接合部J8上的接合部限值。

在动作320中，控制器对机器人操纵器122进行控制。机器人臂受到驱动，从而使该臂移动。控制处理器将机器人操纵器122驱动到所选择的方位或构型，诸如基于感测到的输入平移和围绕单条轴线的投影旋转进行控制。该控制处理器促使机器人操纵器122和/或外科手术工具220发生移动。在远程操作期间针对活动接合部的输出移动命令使这些接合部改变方位。机器人操纵器122发生移动以实现所选择的构型。

执行接合部命令，使得内窥镜220按照用户的意图或命令进行移动。内窥镜220通过一个或多个接合部的运动而移动。在各种投影和缩放(包括对围绕单条轴线的旋转的保护)之后，在远程操作期间移动接合部，以使内窥镜220移动。在图2和图4的示例性机器人臂122中，可以操作球形滚动接合部、球形俯仰接合部、工具平移接合部和工具旋转接合部中的一者或多者，以提供期望的移动。

在观察方向从轴的轴线偏离的示例中(例如，参见图6，从轴线偏离30度)，接合部运动相对于控制点移动内窥镜。提供控制点，使得当用户旋转内窥镜220时，图像中心点保持静止。

图7为用于医疗远程操作的外科机器人系统的一个实施方案的框图。该系统执行图3、图5的方法，或另一种方法。可以实施基于使用具有六个自由度的非系留式用户接口设备感测到的任何一个或多个(例如，所有)投影，用于控制受限于不同数量的自由度和/或受到远程运动中心参考系约束的运动。

该外科机器人系统包括具有对应的外科器械的一个或多个机器人操纵器122，控制器802和存储器804。用户控制台110被表示或被包括为外科手术机器人系统的一部分。可以提供额外的、不同的或更少的分量。

机器人操纵器122各自包括一个或多个连接件和接合部。该接合部可以为俯仰接合部或滚动接合部。用于接收和引导外科工具的工具驱动器210和插管214可以设置在机器人操纵器122中的每一者上。内窥镜220设置在其中一个机器人操纵器122上。连接件和接合部的不同组合可限定或形成机器人操纵器122的不同部分，诸如具有不同程度或类型的移动(例如，平移和/或旋转)的不同部分。可使用任意目前已知的或稍后开发的具有马达、传感器、连接件、接合部、控制器、外科器械和/或其他结构的机器人操纵器122。

提供一个或多个机器人操纵器122。例如，提供三个或四个机器人操纵器122。机器人操纵器122安装到台诸如手术台的基座。或者，可使用推车、地板、天花板或其他基架。机器人操纵器122包括用于与控制器802或中间件(例如，控制塔130)进行通信的电缆或无线收发器。

机器人外科器械是一个或多个抓钳、牵开器、解剖刀、内窥镜、缝合器、剪刀或另一种外科装置。一种外科器械是内窥镜220。不同或相同类型的器械可以安装到不同的机器人操纵器122。例如，两个机器人操纵器122可以持有抓钳，第三机器人操纵器122可以持有解剖刀，而第四机器人操纵器122可以持有内窥镜220。

机器人外科器械连接或联接到机器人操纵器122的远侧端部，但也可以在其他位置连接。该连接提供驱动力，以操作工具，诸如闭合抓钳或剪刀。

内窥镜220具有细长轴和透镜。透镜的观察方向沿着细长轴的纵向轴线。观察方向可以以非零角度远离纵向轴线，诸如以30度(参见图6)。

用户控制台110为用于外科医生与外科手术机器人系统进行交互的图形用户接口，诸如该控制台包括用于控制机器人操纵器122的处理器。该用户接口包括一个或多个UID 116和显示器118。UID 116和/或显示器118设置在用户控制台110和/或控制塔130处，但也可以处于其他位置处。

UID 116是手持式设备。提供了一种尺寸和形状被设定成握在用户的一只或两只手中，同时不与其他设备物理连接的物体。可以使用两个手持式对象(例如，UID 116)，每只手一个。这两个对象彼此之间以及与所有其他设备之间没有物理连接。替代性地，提供了由双手同时握持的单个设备。在另外的其他实施方案中，提供了通过电缆、机械联动装置和/或接合部进行物理连接的一个或多个设备。

可以提供其他用户输入，诸如按钮、键盘、摇臂、操纵杆、轨迹球、语音识别电路、鼠标、触摸板、触摸屏、滑块、开关、脚踏开关114、它们的组合，或者用于对外科机器人进行输入的任何其他输入设备。显示器118为监视器、液晶显示器(LCD)、投影仪、等离子体显示器、CRT、打印机或其他目前已知的或稍后开发的用于输出视觉信息的设备。在替代性的实施方案中，显示器118为头戴式显示器。用户输入可以是用于检测眼睛移动和/或眨眼的一个或多个传感器。在另外的其他实施方案中，用户输入是基于语音进行输入的麦克风。可提供用于音频信息输出的扬声器，以代替显示器118或搭配显示器118使用。

基础传感器感测UID 116的姿态。例如，提供了磁性方位传感器或电场传感器。基础传感器定位在用户控制台110上或附近，诸如安装在显示器118附近。在一个实施方案中，可选的相机806是基础传感器。数字相机对用户运动进行光学跟踪，诸如在使用UID 116控制机器人操纵器122期间进行跟踪。在一些实施方案中，相机806可以是立体相机和/或深度相机。

控制器802是驱动机器人操纵器122和/或外科器械220以及/或者为机器人操纵器122和/或外科器械220建模的控制器。控制器802是通用处理器、中央处理单元、控制处理器、图形处理器、图形处理单元、数字信号处理器、特定于应用的集成电路、现场可编程门阵列、数字电路、模拟电路、人工智能处理器、它们的组合，或者用于控制机器人操纵器122和/或内窥镜220的移动的另一种现在已知或以后开发的设备。控制器802是单个设备，或者串联、并联或单独操作的多个设备。控制器802可以是计算机的主处理器，该计算机诸如膝上型计算机、服务器、工作站或台式计算机，或者可以是用于处理较大系统中的一些任务的处理器。基于硬件、软件、固件或它们的组合，控制器802被配置为实现指令或执行动作。

控制器802被配置为将一个或多个用户接口设备的位移转换为内窥镜220的缩放位移。该转换将用户接口设备的第一旋转自由度(DoF)减少到内窥镜220的较少的第二旋转DoF，诸如在从三个旋转自由度减少到一个旋转自由度时放弃偏航和俯仰。在一个实施方案中，该转换包括从来自一个或多个UID 116的用户运动命令投影到内窥镜运动命令，以及从内窥镜运动命令投影到机器人操纵器122的臂接合部运动命令。这种减少是对用户运动命令执行的。在另一个实施方案中，从用户运动命令投影到内窥镜运动命令包括转换到远程运动中心参考系，其中较少的第二旋转自由度被转变为围绕远程运动中心的三个旋转自由度。

存储器804或另一个存储器是非暂态计算机可读存储介质，其存储表示能够由编程的控制器802执行的指令的数据。用于实现本文讨论的过程、方法和/或技术的指令可在计算机可读存储介质或存储器诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质上予以提供。计算机可读存储介质包括各种类型的易失和非易失存储介质。附图中所示或本文所描述的功能、动作或任务响应于存储在计算机可读存储介质中或上的一组或多组指令而予以执行。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以通过单独或组合操作的软件、硬件、集成电路、固件、微代码等执行。同样，处理策略可以包括多进程、多任务、并行处理等。

在一个实施方案中，该指令存储在可移动介质设备上以用于由本地或远程系统进行读取。在其他实施方案中，该指令存储在远程位置中以用于通过计算机网络或通过电话线进行传输。在另外的其他实施方案中，该指令存储在给定计算机、CPU、GPU或系统内。

虽然本发明已参考各种实施方案进行了描述，应当理解，在不脱离本发明范围的情况下，可作出多种变化和修改。因此，应将上文中的详细描述视为说明性的而非限制性的，并应当理解，旨在限定本发明的精神和范围的是以下的权利要求，其包括所有等效物。

Claims

1.一种用于通过外科机器人系统控制内窥镜的方法，所述方法包括：

检测具有六个自由度的手持式用户输入设备的移动；

将所述手持式用户输入设备的所述移动映射到与所述外科机器人系统的机器人操纵器联接的所述内窥镜的移动；

计算所述机器人操纵器的一个或多个接合部的移动，以便于所述内窥镜的所述移动；以及

根据所计算的移动来驱动所述一个或多个接合部。

2.根据权利要求1所述的方法，其中，所述六个自由度对应于沿着三个空间维度的平移和围绕所述三个空间维度的旋转，所述一个或多个接合部包括四个或更少的接合部，所述接合部为所述机器人操纵器提供少于六个自由度，并且其中，将所述手持式用户输入设备的所述移动映射到所述内窥镜的所述移动包括仅在滚动空间中投影，而没有偏航和俯仰。

3.根据权利要求1所述的方法，其中，检测包括基于两个手持式用户接口对象的方位和/或取向的变化来检测所述移动，所述移动位于所述两个手持式用户接口对象之间的中心处。

4.根据权利要求1所述的方法，其中，检测包括通过基础传感器检测所述移动，其中，所述手持式用户输入设备包括一个或多个非系留式对象。

5.根据权利要求1所述的方法，其中，将所述手持式用户输入设备的所述移动映射到所述内窥镜的所述移动包括传递线性平移和投影角运动作为所述内窥镜的轴旋转。

6.根据权利要求1所述的方法，其中，将所述手持式用户输入设备的所述移动映射到所述内窥镜的所述移动包括基于所述内窥镜的观察者的非零角度，将围绕轴线的角运动从所述机器人操纵器的远程运动中心映射到控制点。

7.根据权利要求1所述的方法，其中，将所述手持式用户输入设备的所述移动映射到所述内窥镜的所述移动包括通过所述机器人操纵器的远程运动中心来约束所述内窥镜的所述移动。

8.根据权利要求7所述的方法，其中，将所述手持式用户输入设备的所述移动映射到所述内窥镜的所述移动包括将所述手持式用户输入设备的所述移动投影到所述机器人操纵器的远程运动中心参考系。

9.根据权利要求8所述的方法，其中，投影包括从所述手持式用户输入设备的所述移动中移除偏航和俯仰，然后加上所述内窥镜的偏航和俯仰，以维持所述远程运动中心。

10.根据权利要求1所述的方法，还包括缩放所述内窥镜的所述移动的线性分量，其中，所述缩放的量基于所述内窥镜距所述机器人操纵器的远程运动中心的距离。

11.根据权利要求1所述的方法，其中，计算所述一个或多个接合部的所述移动包括执行逆向运动学。

12.一种用于通过外科机器人系统控制内窥镜的方法，所述方法包括：

感测关于空间中的三条轴线的输入平移和旋转；

将围绕所述三条轴线的所述输入旋转投影到围绕安装到机器人臂的所述内窥镜的单条轴线的旋转；以及

控制所述机器人臂以基于所感测到的输入平移和围绕单条轴线的受保护的旋转来移动所述内窥镜。

13.根据权利要求12所述的方法，其中，感测包括感测用户左手中的第一物理上未连接的手持式对象，以及感测所述用户右手中的第二物理上未连接的手持式对象，关于所述三条轴线的所述输入平移和旋转对应于在所述第一物理上未连接的手持式对象与所述第二物理上未连接的手持式对象之间的中心点处的六个自由度。

14.根据权利要求12所述的方法，其中，投影包括从所述感测投影到针对所述内窥镜的输入运动命令。

15.根据权利要求14所述的方法，还包括从针对所述内窥镜的所述输入运动命令投影到所述机器人臂的远程运动中心参考系，以及从所述机器人臂的所述远程运动中心参考系投影到针对所述机器人臂的接合部方位命令。

16.根据权利要求14所述的方法，其中，从针对所述内窥镜的所述输入运动命令投影到所述远程运动中心参考系包括从针对所述内窥镜的臂参考系转换到所述远程运动中心参考系，以及利用来自所述远程运动中心参考系的增加的旋转，从所述远程运动中心参考系转换回到所述臂参考系。

17.一种外科机器人系统，包括：

机器人操纵器；

内窥镜，所述内窥镜联接到所述机器人操纵器；

一个或多个用户接口设备；以及

控制器，所述控制器被配置为将所述一个或多个用户接口设备的位移转换为所述内窥镜的缩放位移，所述转换将所述用户接口设备的第一旋转自由度(DoF)减少到所述内窥镜的较少的第二旋转DoF。

18.根据权利要求17所述的外科机器人系统，其中，所述控制器被配置为将所述内窥镜从三个旋转DoF减少到一个旋转DoF，并且其中，所述转换包括从来自所述一个或多个用户接口设备的输入运动命令投影到内窥镜运动命令，以及从所述内窥镜运动命令投影到所述机器人操纵器的臂接合部运动命令，其中，所述减少是对所述用户运动命令执行的。

19.根据权利要求18所述的外科机器人系统，其中，所述内窥镜包括细长轴和以非零角度远离沿着所述细长轴的轴线的观察方向，并且其中，从所述用户运动命令投影到所述内窥镜运动命令包括转换到远程运动中心参考系，其中，所述较少的第二旋转DoF被转变为围绕所述远程运动中心的三个旋转DoF。

20.根据权利要求17所述的外科机器人系统，其中，所述一个或多个用户接口设备包括两个手持式对象，所述手持式对象中的每一者与其他设备之间以及彼此之间没有物理连接。