CN103533909B - 用于控制工具运动的标架的位置和定向的估计 - Google Patents

Abstract

机器人系统包括具有图像标架的照相机，相对于固定标架所述图像标架的位置和定向通过一个或多个图像标架变换是可确定的；工具，其被配置在照相机的视野内和具有工具标架，相对于所述固定标架的所述工具标架的位置和定向通过一个或多个工具标架变换是可确定的；和至少一个处理器，其被编程以从照相机捕获的一个或多个图像识别所述工具的姿态指示点，利用所述识别的姿态指示点以及所述图像和工具标架变换中的已知变换来确定所述图像和工具标架变换中未知一个的估计的变换，通过利用所述图像和工具标架变换中所述估计和已知的变换来更新主控‑至‑工具变换，和通过利用所述更新的主控‑至‑工具变换，响应所述主控制装置的运动而命令所述工具的运动。

Description

用于控制工具运动的标架的位置和定向的估计

发明领域

本发明总体上涉及机器人系统并特别地，涉及用于控制操作员命令的工具运动的标架(frame)的位置和定向的估计。

发明背景

医学机器人系统如用于进行微创外科操作的那些医学机器人系统较传统的开放的外科技术提供许多益处，包括较小的疼痛、较短的住院期、较快的恢复到正常活动、微小的疤痕、减少的恢复时间和对组织的较小损伤。因此，利用这样的医学机器人系统的微创手术的需求强烈和正在增长。

医学机器人系统的实例包括来自加利福尼亚桑尼维尔的Intuitive Surgical，Inc.的手术系统、手术系统和Si HD^TM手术系统。这些系统中的每个都包括外科医生的工作台、患者侧推车、高效三维(“3-D”)视觉系统和的Intuitive Surgical专有的接合仪器，将这些依人腕部塑造以便当加入到握住外科器械的从动操纵器的运动中时，它们允许至少全部六个自由度的运动，这比得上或甚至大于开放手术的天然运动。

外科医生的工作台具有高分辨率立体视频显示器。该系统比极化、快门眼镜或其它3-D显示技术提供较高的保真度。每只眼通过物镜和一系列镜看到呈现左眼或右眼透视图的单独的显示。外科医生在手术自始至终舒适地坐着和观察该显示器，使其成为外科医生显示和操作3-D手术中的意像的理想场所。

患者侧推车通常包括三个或多个用于握住和操纵医疗器材如外科器械的从动操纵器和用于执行和观察在患者内手术部位的医学操作的图像获取装置。为了操纵这些医疗器材，外科医生的工作台还包括主控制装置，其可以选择性地与医疗器材(和握住医疗器材的从动操纵器)连接以操纵它们。

在这样的医学机器人系统以及其它的机器人系统中，一般而言，响应主控制装置操作员操作的外科器械的控制可具有许多可定义的参考标架和相应的标架变换以将在一个标架中的点与在另一个标架中对应点进行绘图。然而，当标架之一的位置和定向未知时，外科器械的精确控制可难于获得，以至于在那时正由医学机器人系统治疗的患者的安全以及正对患者进行的操作的成功完成可受到危害。

发明目的和概要

相应地，本发明的方面的一个目的是机器人系统和在机器人系统中执行的估计用于控制操作员命令的工具运动的标架的位置和定向的方法，该工具的图像在那时正被捕获和显示给操作员。

这个和另外的目的通过本发明的各个方面来实现，其中简单的说明，一方面是机器人系统，其包括：具有主标架的主控制装置；具有图像标架的图像获取系统，图像标架的位置和定向相对于固定标架通过一个或多个图像标架变换是可确定的；工具，其被配置在图像获取系统的视野内和具有工具标架，该标架的位置和定向相对于固定标架通过一个或多个工具标架变换是可确定的；和至少一个处理器，其被编程以从图像获取系统捕获的一个或多个图像中的信息识别工具的姿态指示点，通过利用识别的姿态指示点以及图像和工具标架变换中的已知变换来确定针对图像和工具标架变换中的未知变换的估计的变换，通过利用图像和工具标架变换中估计和已知的变换来更新主控-至-工具变换，和通过利用更新的主控-至-工具变换，响应主控制装置的运动而命令工具的运动。

另一个方面是在机器人系统中执行的方法，该机器人系统包括具有主标架的主控制装置；具有图像标架的图像获取系统，该标架的位置和定向相对于固定标架通过一个或多个图像标架变换是可确定的；工具，其被配置在图像获取系统的视野内和具有工具标架，该标架的位置和定向相对于固定标架通过一个或多个工具标架变换是可确定的，该方法包括：从图像获取系统捕获的一个或多个图像中的信息识别工具的姿态指示点；通过利用识别的姿态指示点以及图像和工具标架变换中的已知变换来确定针对图像和工具标架变换中的未知变换的估计的变换；通过利用图像和工具标架变换中估计和已知的变换来更新主控-至-工具变换；和通过利用更新的主控-至-工具变换，响应主控制装置的运动而命令工具的运动。

根据以下优选实施方式的描述，本发明的各个方面的另外的目的、特征和优势将变得明显，以下描述应与附图结合起来。

附图简述

图1显示使用利用本发明的方面的医学机器人系统的手术室的俯视图。

图2显示指示相对于内窥镜观察末端的末端执行器位置和相对于操作员眼睛的主控制装置的对应位置的示意三维图。

图3显示指示相对于图像获取系统的图像标架的末端执行器的位置和定向的示意三维图。

图4显示指示相对于与医学机器人系统操作员的眼连接的眼参考系统的主控制装置的夹锭钳结构(pincher formation)的位置和定向的示意三维图。

图5显示外科站的部分的示意性侧视图，指示控制系统利用的以确定相对于与图像获取系统连接的图像标架，工具的末端执行器的位置和定向的标架位置。

图6显示外科医生的工作台200的部分的示意性侧视图，指示控制系统利用的以确定相对于与外科医生的眼连接的眼标架，主控制装置的夹锭钳结构的位置和定向的标架位置。

图7-9示意地显示外科医生的手上、主控制装置上和工具的末端执行器上相应的绘制位置和用于它们的选择的方法。

图10显示主／从动机器人系统的高水平控制结构模型的框图。

图11显示左侧和右侧工具的示意性侧视图，该工具沿着内窥镜通过弯曲的插管插入，以便工具和内窥镜绕着位于通常的进入口的通常的枢轴点旋转。

图12显示拴在工作部位以观察工具的内窥镜的示意性侧视图。

图13显示用于分别在工作部位定位机器人控制的工具和图像获取系统的可动结构的示意性侧视图。

图14显示用于将图像标架中的点转换成固定标架的图像标架变换和用于将图像标架中的点转换成固定标架的工具标架变换的示意图。

图15显示估计用于响应主控制装置运动而命令工具运动的未知标架变换的方法的流程图。

详细描述

虽然以下实施例描述本发明应用于医学机器人系统，但是应当理解本发明不被这样限制。特别地，本发明总体上适用于机器人系统和应根据所附权利要求赋予与其全部范围。

图1显示，作为实例，利用医学机器人系统100的手术室的俯视图。该情况中的医学机器人系统是包括工作台200的微创机器人外科系统，该工作台200由外科医生(“S”)利用同时在仰卧在手术台115上的患者(“P”)上由一个或多个助手(“A”)辅助进行医学操作，如诊断或手术操作。

工作台200包括用于将手术或工作部位的3-D图像显示给外科医生的3-D显示器202、左侧和右侧主控制装置700、700、脚踏板105和处理器102。控制装置700、700可包括许多种输入装置如操纵杆、手套、触发器枪、手操作的控制器或类似装置等中的任何一个或多个。在本实施例中，将它们作为夹锭钳实施，其可被打开和关闭和以多个自由度运动以对应它们分别连接的手术工具的期望的运动。处理器102可以是专用计算机，其被集成进工作台200或靠着或接近工作台200定位，或可将处理器102分解成许多处理或控制器组件，该组件以分布的处理方式遍及系统100分布。

外科医生如下进行医学操作：操纵主控制装置700、700(也称作“主操纵器”)以便处理器102引起它们分别连接的机器人臂组合件128、129的从动操纵器以操纵它们的分别可移动的连接的工具14、14(也称作“外科器械”)，当由图像获取装置——其在本实施例中是具有一对为立体视觉捕获相应图像的照相机的立体内窥镜304——捕获，外科医生观察工作台200显示器202上3-D中的手术部位。

在该实施例中，将工具14、14中的每个以及内窥镜304通过相应的微创切口如切口166通过工具导向器常规地插入患者以向下延伸到手术部位。在同时使用的手术工具的数目和因此，正用于系统100的机器人臂的数目将通常取决于正在进行的医学操作和手术室内的空间约束等因素。如果操作期间必需改变正在使用的工具，那么助手可从其机器人臂组合件中除去不再使用的工具，和用手术室中来自托盘116的另一个工具14替换它。

为了工具14、14可以在手术部位操作，它们每个具有肘节机构，其包括用于控制肘节机构定向的接头(或其它可驱动的机械元件如齿轮、卷轴等)和控制最后紧握的另外的接头(或其它可驱动的机械元件)或工具的其它末端执行器接头。对于这样的工具肘节和末端执行器机构(和机械元件和驱动它们的其它连接)上的另外的细节，参见，例如，美国专利号7,780,651(2007年11月27日提交；名称为“具有提高的灵巧和灵敏度的用于进行微创手术的咬合的外科器械”)、美国专利号6,936,902(2002年4月16日提交；名称为“用于微创遥控外科应用的手术工具”)和美国专利号7,736,356(2004年11月1日提交；名称为“具有可主动定位的腱推动的多盘肘节接头的手术工具”)，其通过引用被并入本文。

机器人臂组合件122、128、129中的每个包括从动臂(也称作“从动操纵器”)和设置臂(setup arm)。从动操纵器利用电动机控制的接头(本文也称作“活动接头”)被自动地移动以操纵和／或移动它们分别握住的医疗器材。设置臂通过释放正常制动的接头(本文也称作“设置接头”)可以手动操作以水平地和垂直地安置机器人臂组合件122、128、129，以便它们各自的医疗装置可以插入它们各自的工具导向器。可选地，利用电动机控制的接头，设置臂可被主动地控制。

将显示器202安置在外科医生的手附近以便它将显示定向的投影的图像以便外科医生感觉他或她实际上正直接向下看到手术部位上。为此，工具14、14的图像似乎基本上位于外科医生的手位于的地方以给外科医生遥现的感觉(例如，主控制装置与手术工具集成的感觉)。

处理器102在系统100中进行多种功能。它进行的一个重要功能是将控制装置700、700的机械运动通过总线110上的控制信号转换和转移给机器人臂组合件128、129的它们各自从动操纵器，以便外科医生可有效地操纵它们各自的工具14、14。另一个重要功能是执行如本文所描述的各种控制系统过程和方法。

虽然被描述为处理器，但是应当理解，处理器102可以在实践中通过硬件、软件和固件的任何组合而实施。同样，如本文所描述的处理器功能可以由一个单元执行或分解给不同的组件执行，该组件中的每一个可以反过来由硬件、软件和固件的任何组合来执行。

对于关于医学机器人系统——如本文描述的——的构建和操作的另外的细节，参见，例如，美国专利号6,493,608(1999年4月7日提交；名称为“微创手术设备的控制系统的方面”)和美国专利号6,424,885(1999年8月13日提交；名称为“微创手术设备中照相机参考的控制”)，其通过引用被并入本文。

在使用中，和如附图的图2中所示意地指出的，外科医生通过显示器202观察手术部位。使每个工具14上带有的末端执行器58响应其连接的主控制装置上运动和动作输入而进行定位和定向运动。主控制装置被示意地指示在700、700。将理解，手术操作期间末端执行器58的图像连同手术部位由内窥镜304捕获和显示在显示器202上，以便当他或她通过主控制装置700、700控制这样的运动和动作时外科医生看见末端执行器58的响应的运动和动作。排列控制系统(如参考下面的图10所描述的)以引起如在显示器202的图像中所观察到的末端执行器定向和定位的运动，该图像将被绘制到主控制装置的夹锭钳结构的定向和定位的运动上，下面将更详细地描述。

现在将更详细地描述微创机器人手术系统的控制系统的操作。在下面的描述中，控制系统将参考单个主控制装置700和其连接的机器人臂和外科器械14来描述。主控制装置700将被简称为“主控”，其连接的机器人臂和外科器械14将被简称为“从动装置”。

在主控运动和相应的从动运动之间的控制通过微创外科系统100的控制系统实现的方法现在将参考附图的图2-4以概述的方式来描述。然后该方法将参考附图的图5-15被更详细地描述。

主控和从动运动之间的控制通过比较眼笛卡尔坐标参考系统(本文也称作“眼标架”)中的主控位置和定向与照相机笛卡尔坐标参考系统(本文也称作“照相机标架”或更通常地，“图像标架”)中的从动位置和定向来获得。为了词语的容易理解和节约，术语“笛卡尔坐标参考系统”在说明书包括所附的权利要求的其余部分将被简称为“标架”。因此，当主控静止时，将照相机标架内的从动位置和定向与眼标架中主控位置和定向进行比较，如果照相机标架中从动的位置和／或定向与眼标架中主控的位置和／或定向不一致，那么使从动运动到照相机标架中的位置和／或定向——在该处，照相机标架中其位置和／或定向与眼标架中主控的位置和／或定向不一致。在图3中，照相机标架通常由指代数字610指示，在图4中眼标架通常由指代数字612指示。相似地，在主控对准模式中，从动静止，使主控运动到眼标架中的位置和／或定向——其对应于照相机标架中从动位置和定向。

当将主控运动到眼标架612中的新位置和／或定向时，新主控位置和／或定向与照相机标架610中先前相应的从动位置和／或定向不一致。控制系统然后引起从动运动到照相机标架610中的新位置和／或定向，在该新位置和／或定向，照相机标架610中的其位置和定向与眼标架612中主控的新位置和／或定向不一致。

将理解，控制系统包括至少一个，通常多个处理器，其在由控制系统的处理循环速度确定的连续的基础上计算响应主运动输入命令的从动新的相应的位置和定向。讨论的控制系统的通常的处理循环速度是约1300Hz。因此，当将主控从一个位置移动到下一个位置时，在约1300Hz计算期望从动响应的相应的运动。自然地，取决于用于控制系统的处理器或多个处理器，控制系统可具有任何适当的处理循环速度。在一个实施中，所有的实时伺服循环处理在DSP(数字信号处理器)芯片上进行。由于DSP恒定的计算预测性和再现性，将其用于该情况。来自马萨诸塞的Analog Devices，Inc的DSP是执行本文描述的功能的这样的处理器的可接受的实例。

安置照相机标架610以便将其起点614安置在内窥镜304的观察端306。方便地，照相机标架610的z轴线沿着内窥镜304的观察轴线616轴向延伸。虽然在图3中，显示观察轴线616与内窥镜304的轴线同轴对齐，但是应当理解，观察轴线616可以相对于其成角。因此，内窥镜可以是成角的范围的形式。自然地，将x和y轴线定位在与z轴线垂直的平面。内窥镜通常绕其轴线是成角地可位移的。将x、y和z轴线相对于内窥镜304的观察轴线固定，以绕其轴线成角地位移，与内窥镜304绕其轴线的角位移协调。

为了使控制系统能够确定从动位置和定向，将标架限定在末端执行器58上或与末端执行器58连接。在本说明书的其余部分中将该标架称作末端执行器标架或从动顶端标架或简称为工具标架，并通常由指代数字618指示。末端执行器标架618在枢轴连接60具有其起点。方便地，将标架618的轴线之一例如z轴线限定为沿着对称的轴线延伸，或同样地，末端执行器58。自然地，x和y轴线然后垂直于z轴线延伸。将理解，从动的定向然后相对于照相机标架610由在枢轴连接60具有其起点的标架618的定向来限定。相似地，从动的位置然后相对于照相机标架610由在60的标架的起点的位置来限定。

现在参考附图的图4，选择眼标架612以便其起点符合位置201——当他或她正在观察在显示器202的手术部位时将外科医生的眼正常地定位于此。当通过显示器202观察手术部位时，z轴线沿着外科医生的视线延伸，由轴线620指示。自然地，x和y轴线在起点201从z轴线垂直地延伸。方便地，选择y轴线相对于显示器202总体上垂直地延伸，选择x轴线相对于显示器202总体上水平地延伸。

为了使控制系统能够确定显示器标架612内主控位置和定向，选择主控上的点，其限定主控或主控顶端标架的起点，由指代数字622指示。在由指代数字3A指示的交点选择该点，主控旋转的轴线在那里相交。方便地，主控上主标架622的z轴线沿着夹锭钳结构706的对称轴线延伸，该对称轴线沿着旋转轴线1同轴地延伸。x和y轴线然后在起点3A从对称轴线1垂直地延伸。相应地，眼标架612内主控的定向相对于眼标架612由主标架622的定向来限定。眼标架612中主控的位置相对于眼标架612由起点3A的位置限定。

现在将参考附图的图5来描述照相机标架610内从动的位置和定向如何由控制系统确定。图5显示安装在患者侧推车300上的机器人臂和外科器械14组合件之一的示意图。然而，在开始图5的描述之前，描述某些先前提到的患者侧推车300的方面是适当的，该方面影响相对于照相机标架610从动的定向和位置的确定。

在使用中，当期望通过微创手术系统进行手术操作时，将患者侧推车300移动到靠近需要手术操作的患者。通常将患者支撑于表面如手术台等之上。为了允许各种高度的支撑表面和为了允许相对于将进行手术操作的手术部位患者侧推车300的不同位置，将患者侧推车300设有具有不同的最初的设置结构的能力。相应地，将工具从动臂10、12和内窥镜从动臂302安装在相对于车300的基底99在高度上可调节的托架97上，如箭头K所指示的。而且，将工具从动臂10、12和内窥镜从动臂302通过它们各自的设置臂95安装在托架97上。因此，从动臂10、12、302的侧面位置和定向可以通过移动设置臂95来选择。因此，在手术操作的开始，将车300移动到靠近患者的位置，托架97的适当高度通过将其移动到相对于基底99的适当高度来选择并将外科器械14相对于托架97移动以引入器械14和内窥镜304的轴通过进入口和进入这样的位置，在此将末端执行器58和内窥镜304的观察端306适当地位于手术部位，并将支点(即，枢轴点)与进入口重合。一旦选择了高度和位置，就将托架97在其适当的高度锁住和将设置臂95在它们的位置和定向锁住。正常地，在手术操作自始至终，将托架97保持在选择的高度，相似地将设置臂95保持在它们选择的位置。然而，如果期望，手术操作期间可引入内窥镜或一个或两个器械通过其它进入口。

现在将描述控制系统对照相机标架610内从动的位置和定向的确定。将理解，这通过一个或多个具有特定的处理循环速度的处理器来完成。因此，适当的地方，在本说明书中无论何时提到位置和定向，应当牢记在心，相应的速度也容易确定。控制系统通过确定相对于车标架624从动的位置和定向和通过确定相对于同一车标架624内窥镜304的定向和位置来确定照相机标架610内从动的位置和定向。车标架624具有图5中由指代数字626指示的起点。

为了确定相对于车标架624从动的位置和定向，在支点49具有其起点的支点标架630的位置在车标架624内确定，如虚线中箭头628所指示的。将理解，在手术操作自始至终，支点49的位置通常保持在相同的位置，与到手术部位的进入口重合。然后确定相对于支点标架630从动上末端执行器标架618的位置——在枢轴连接60具有其起点(如图3所示)，并也确定相对于支点标架630从动上末端执行器标架618的定向。然后通过利用三角学关系的常规计算确定相对于车标架624末端执行器标架618的位置和定向。

将理解，迫使内窥镜304的从动臂302以与工具从动臂10相似的方式运动。因此，当以其观察端306指向手术部位定位时，内窥镜304也限定与其连接的进入手术部位的进入口重合的支点。手术操作期间，可以驱动内窥镜从动臂302以引起内窥镜304运动到不同位置，使外科医生在进行手术操作过程中能够从不同位置观察手术部位。将理解，内窥镜304的观察端306的运动通过改变相对于其枢轴中心或支点内窥镜304的定向来进行。这样的运动的操作员控制可以通过将与主控制装置700、700中的一个或两个的联合从工具14、14转换到内窥镜304而进行。一旦将内窥镜304移动到期望的位置和定向，就可以将从动臂304在合适的位置锁住，并可将主控制装置700、700的联合转换回它们各自的工具。可选地，脚踏板105或其它常规装置可用于定位内窥镜304。车标架624内照相机标架610的位置和定向以与车标架624内从动的位置和定向相似的方式来确定。当相对于车标架624照相机标架610的位置和定向，和相对于车标架624从动的位置和定向已以该方式确定，相对于照相机标架610从动的位置和定向通过利用三角学关系的常规计算是容易确定的。

现在将参考附图的图6描述显示器标架612内主控的位置和定向如何由控制系统确定。图6显示在操作员工作台200的主控制装置700之一的示意图。

工作台200任选地还包括设置臂，如在632所指示的，以使主控700、700的通常位置能够改变以适合外科医生。因此，主控700、700的通常位置可被选择性地改变以将主控700、700带入将它们对于外科医生舒服地定位的通常位置。当将主控700、700因此舒服地定位时，将设置臂632在合适的位置锁住和在手术操作自始至终通常保持在该位置。

为了确定眼标架612内主控700的位置和定向，如图6所示，确定相对于外科医生台标架634眼标架612的位置和定向，和相对于外科医生台标架634主控700的位置和定向。外科医生台标架634在手术操作期间通常静止的位置具有其起点，并指示在636。

为了确定相对于台标架634主控700的位置和定向，确定相对于台标架636在主控700安装其上的设置臂632末端的主控设置标架640的位置，如虚线中箭头638所指示的。然后相对于主控设置标架640确定在3A具有其起点的主控700上主标架622的位置和定向。以该方式，相对于台标架634主标架622的位置和定向可以通过利用三角学关系的常规计算来确定。相对于台标架634眼标架612的位置和定向以相似的方式确定。将理解，相对于外科医生工作台200的其余部分，显示器202的位置可以选择性地改变以适合外科医生。然后可通过利用三角学关系的常规计算，从相对于外科医生台标架634的主标架622和眼标架612的位置和定向，来确定相对于眼标架612主标架622的位置和定向。

以上面描述的方式，微创外科设备的控制系统通过照相机标架610中末端执行器标架618来确定末端执行器58的位置和定向，并且同样通过相对于眼标架612的主标架622来确定主控的夹锭钳的位置和定向。

如所提到的，外科医生通过将他的或她的拇指和食指定位在夹锭钳结构706之上来紧握主控(参见图4)。当外科医生的拇指和食指定位在夹锭钳结构上时，将交点3A定位在拇指和食指尖内部。将在3A具有其起点的主标架有效地绘制到末端执行器标架618上，在末端执行器58的枢轴连接60具有其起点，如外科医生在显示器202中所观察到的。因此，当进行手术操作时，外科医生操纵夹锭钳结构706的位置和定向以引起末端执行器58的位置和定向跟随，显现给外科医生的是他的或她的拇指和食指被绘制到末端执行器58的指上，和末端执行器58的枢轴连接60从拇指和食指尖向内与外科医生的拇指和食指的实际枢轴点相符。将理解，取决于夹锭钳结构的实际构型，特别地相对于夹锭钳结构706的位置的旋转轴线的交点，主控700上的标架622可以从交叉点3A偏置以达到相对于外科医生的手的点，在该点枢轴连接60大约对应。

相应地，当手术操作正在进行，末端执行器的指的位置和定向以天然直觉的或重叠的方式跟踪外科医生的拇指和食指的位置和定向变化。而且，末端执行器58的致动，即引起末端执行器指选择性地打开和关闭，直觉地对应外科医生的拇指和食指的打开和关闭。因此，如显示器202中所看到的末端执行器58的致动由外科医生以天然的直觉的方式进行，因为末端执行器58的枢轴点60被适当地绘制到外科医生的拇指和食指之间的实际的枢轴点上。

将理解，适当时，末端执行器标架618可相对于枢轴连接60偏置。因此，例如，如果末端执行器(如显示器中所示)具有相对长的长度的指，那么末端执行器标架的起点可以以向着末端执行器指尖的方向偏置。还应当理解，通过利用主标架622和交叉点3A之间以及末端执行器标架618和枢轴连接60之间的定位和／或定向的偏置，在末端执行器58上绘制夹锭钳结构706可被转换，例如将夹锭钳结构顶端绘制到末端执行器的顶端。这些可选的绘图显示在图7中。

通常，第一夹锭钳元件706A将基本上连接第一末端执行器元件58.1，而第二夹锭钳元件706B基本上连接第二末端执行器元件58.2。任选地，点3A(将其理想地接近主控700、706A和706B的万向接头结构的旋转中心)，邻近夹锭钳元件之间的枢轴连接，可以基本上与从动上的枢轴连接60连接。这还在外科医生的手H上的枢轴点和枢轴连接60之间有效地提供结实的连接，因为外科医生将常常用沿着夹锭钳的枢轴点配置的手的枢轴点(在外科医生的手指和拇指的基底)紧握主控。可选地，在夹锭钳元件的顶端之间配置的中点MP1可以是基本上连接在末端执行器元件的顶端之间配置的中点MP2。本文描述的较高水平的连接中的每一种可任选地通过该绘图来提供。

图8和9更清楚地显示主控制器的手柄和从动的末端执行器之间相应的绘图点，而图9示意地显示选择这些相应的绘图点的方法步骤。一般而言，具有不同末端执行器元件长度的可互换的末端执行器可以通过改变手柄或末端执行器的绘图点来接纳。当显示在显示器的图像的放大率显著变化时，也可利用绘图点的这种改变。例如，当末端执行器以在第一放大率显示时，末端执行器的枢轴连接60和手柄的交叉点3A的基本连接可以是适当的，但是当末端执行器的放大率显著增加时或当具有较长末端执行器元件的可选的末端执行器与从动连接时，可以是不适当的。在任何一种情况中，改变主控／从动相互作用以基本上将主控的中点MP2与末端执行器的中点MP1′连接可以是适当的，如图8所示。

作为初步事项，在机器人手术系统中提供具有邻近外科医生紧握的手柄的万向接头点GP的主控制器是有益的。这避免当外科医生迅速旋转手柄时大的主控惯性，这在手术操作期间常常发生。通过具有这样的主控，其具有在万向接头点GP交叉的多自由度(理想地具有在万向接头点交叉的三个定向的自由度)，和通过具有与手柄重合的万向接头点，在主控的快速旋转运动的惯性可以非常低。

如上所述，协调从动的运动以便从动的枢轴连接60的图像显现基本上连接到夹锭钳或紧握元件706A、706B之间的夹锭钳结构枢轴点3A常常是有益的。然而，当末端执行器元件58.1、58.2超过枢轴连接60延伸相当大的距离(如邻近主控制器的显示器所示)时，外科医生可觉得来自远的枢轴连接的这些长的末端执行器元件的操作变得笨拙。相似地，当操纵单个末端执行器元件如较主控手柄长得多的解剖刀(如在主控制台所显示的)时，外科医生可以产生用长手柄的刀而不是容易控制的解剖刀切割的意念。如上所述，克服紧握／末端执行器长度的难办的差异的一个可选方法是一起绘制手术工作空间和主控制器工作空间，以便末端执行器爪末端和手柄紧握部件末端之间的中点MP1、MP2基本上连接。通过绘制手术和主控工作空间以便这些中点基本上连接，外科医生可利用末端执行器协调运动，不管末端执行器元件和紧握元件之间的显著长度差异。

绘图点不需要受限于任何特定的点。在示例性实施方式中，紧握部件MAG的中轴线通常限定在夹锭钳元件706A、706B之间的中间位置，而末端执行器MAE的相似的中轴线限定在末端执行器元件58.1、58.2之间的中间位置。主控的绘图点(或基本连接的点)将沿着紧握的中轴线MAG配置，理想地在交叉点3A至中点MP2的范围。相似地，末端执行器的绘制或基本连接点将沿着中轴线MAE配置，理想地在枢轴连接60至中点MP1的范围。

图9示意地显示确定沿着手柄和末端执行器基本上连接的绘图点的位置的方法。首先，检查外科医生的手沿着主手柄的位置以确定相对于万向接头点GP外科医生手指的位置。在一个实施方式中，外科医生指尖的位置和万向接头点GP之间的偏置距离限定偏置距离。利用比例因数，通常利用紧握部件的长度和末端执行器元件的长度之间的比、显示器的放大率等按比例绘制该偏置距离。例如，利用示例性机器人手术系统特有的数，通过将偏置距离乘以1／3而按比例绘制偏置距离，因为紧握部件通常具有末端执行器元件长度约三倍的长度。该比例因数可随着工具改变(当使用具有较长或较短末端执行器元件的末端执行器时)等而改变。从动上绘图点的位置然后可通过按比例绘制的偏置距离被计算，例如，在沿着末端执行器中轴线MAE从中点MP1向着枢轴连接60偏置的位置。然后可将末端执行器的该绘图点基本上连接主控的万向接头点GP。

将理解，车标架624可以在任何方便的位置选择，在该位置其起点与相对于其基底99不改变的车300上的位置相符。外科医生台标架634可同样在任何方便的位置选择，以至于将其起点定位在相对于其基底642不改变的位置。而且，为了确定相对于车标架624照相机标架610的位置和定向，应用可由多个不同的中间标架路径制成。为了确定相对于车标架624末端执行器标架618的位置和定向，应用也可由多个不同中间标架路径制成。

然而，已发现，如果适当地选择中间标架路径，那么然后排列控制系统以容易适应接纳具有与正被替换的模块部分特性不同的特性的模块部分的模块替换。将理解，选择中间标架也使在确定主控和从动位置和定向中涉及的计算过程容易。

再次参考图5，在624选择车标架，如已经提到的。将理解，确定相对于车标架624支点标架630的位置通过适当定位的传感器，如电位器、编码器或类似物等而实现。方便地，相对于车标架624的支点标架位置630通过两个中间标架来确定。标架之一是托架导向标架644，其在导向器——托架97沿着其被引导——上的便利位置具有其起点。将其它标架、在646指示的臂平台标架定位在从动臂10安装其上的设置接头臂95的末端。因此，当相对于车标架624确定从动位置和定向时，相对于车标架624确定托架导向标架644位置，然后相对于托架导向标架644确定平台标架646位置，然后相对于平台标架646确定支点标架630，和然后相对于支点标架630确定从动定向和位置，由此相对于车标架624确定从动位置和定向。将理解，对于每个臂10以该方式确定相对于车标架624的从动位置和定向，和对于照相机标架610，相对于车标架624，通过其臂302，以相似的方式确定。

参考图6，主控制的位置和定向通过以下来确定：相对于外科医生台标架634确定基底标架648的位置，然后相对于基底标架648确定平台标架640的位置，和然后相对于平台标架640确定主控位置和定向。然后通过利用三角学关系的常规计算容易确定相对于外科医生台标架634的主标架622的位置和定向。将理解，以相似的方式确定相对于外科医生工作台200标架634的其它主标架的位置和定向。

参考图5，通过选择所描述的标架，设置接头95可以由另一个设置接头替换而使用同一机器人臂。然后可将控制系统用信息，例如，臂长度和／或类似信息等——只与新的设置接头相关——进行编程。相似地，从动臂10可以用另一个臂替换，然后控制系统需要用信息，例如，支点位置和／或类似信息等——只与新的从动臂相关——进行编程。将理解，以该方式，内窥镜从动臂302和其连接的设置接头也可被独立地替换，然后控制系统需要仅与正被替换的部分相关的信息的编程。而且，参考图6，设置接头和主控制也可被独立地替换，控制系统需要用仅与新部分的特性相关的信息进行编程。

图10示意地显示主控／从动机器人系统1000的高水平控制体系结构。在操作员输入开始，外科医生1002通过对输入装置施加手动力或人力f_h而移动主操纵器1004的输入装置。主操纵器1004的编码器产生主编码器信号e_m，其由主控输入／输出处理器1006解释以确定主控接头位置θ_m。主控接头位置用于利用主控运动学模型1008产生相对于眼标架的主控x_m的输入装置的笛卡尔位置。

现在开始从手术环境1018的输入，手术工作空间中的组织结构将对手术末端执行器(和可能地对工具和／或操纵器的其它元件)施加力f_e。来自手术环境1018的环境力f_e改变从动操纵器1016的位置，由此改变传送给从动输入／输出处理器1014的从动编码器值e_s。从动输入／输出处理器1014解释从动编码器值以确定接头位置θ_s，接头位置θ_s然后用于根据从动运动学处理块1012产生相对于照相机标架的笛卡尔从动位置信号x_s。

将主控和从动笛卡尔位置x_m、x_s输入双向控制器1010，双向控制器1010利用这些输入来产生将由从动施加的期望的笛卡尔力f_s以便外科医生可期望地操纵从动装置以进行手术操作。另外，双向控制器1010利用笛卡尔主控和从动位置x_m、x_s来产生将由主控施加的期望的笛卡尔力f_m以提供给外科医生力反馈。

一般而言，双向控制器1010根据考虑期望的标度因子和偏置的主控-工具变换，通过用手术工作空间中末端执行器的笛卡尔位置绘制主控制器工作空间中主控的笛卡尔位置，将产生从动和主控力f_s、f_m。标度因子详细说明主控制输入运动和各自的从动输出运动之间的期望的标度改变。考虑偏置以便将相对于照相机标架610的末端执行器标架618的位置和定向与相对于眼标架612的主标架622的位置和定向对齐。

控制系统1000将响应由成像系统提供的状态变量信号获得主控-工具变换，以便显示器中末端执行器的图像显现基本上与输入装置连接。这些状态变量将总体上指示来自图像获取装置的视野的笛卡尔位置，如支撑图像获取装置的从动操纵器所供给的。因此，图像获取操纵器和从动末端执行器操纵器的连接对获得该变换是有益的。清楚地，双向控制器1010可用于控制一个以上的从动臂，和／或可以设有另外的输入。

通常基于绘制的工作空间中主控和从动之间的位置差异，双向控制器1010产生笛卡尔从动力f_s以促使从动跟从主控的位置。从动运动学1012用于解释笛卡尔从动力f_s以产生从动的接头转矩τ_s，其将在末端执行器将产生期望的力。从动输入／输出处理器1014利用这些接头转矩来计算从动电动机电流i_s，其重新定位手术工作部位内的从动x_e。

来自双向控制器的期望的反馈力基于主控运动学1008由主控上的笛卡尔力f_m被相似地解释以产生主接头转矩τ_s。主控接头转矩由主控输入／输出控制器1006解释以将主电动机电流i_m提供给主操纵器1004，这改变外科医生的手中手持输入装置x_h的位置。

将认识到，图10中显示的控制系统1000是简化的。例如，外科医生不但给主控制装置施加力，而且在主控工作空间内移动手柄。相似地，如果外科医生保持主控制器的位置，那么供给主控操纵器的电动机的电动机电流可不产生运动。但是，基于手术环境施加给从动的力，电动机电流确实对外科医生产生触觉的力反馈。另外，虽然利用笛卡尔坐标绘图，但是球状、圆柱状或其它标架的使用可提供本发明的优势中的至少一些优势。

在前述中，假定系统中所有的相关维度和角对于确定主控-工具变换是已知的以便它可用于控制响应其连接的主控制装置700运动，工具14的末端执行器58的运动。然而，在一些情况中，一个或多个运动学结构的静态长度或角可不是已知的或容易确定的。

作为一个实例，其中一个或多个这样的长度和／或角不是已知的，图11显示连同内窥镜112通过通常的进入口428插入患者的工具406a、406b的示意性侧视图。将工具406a、406b插入通过和延伸出相对地弯曲的插管(或更通常，工具导向器)416a、416b以便将它们的末端执行器408a、408b定位以在如所示的工作部位424进行操作。另一方面，将内窥镜112插入通过和延伸出直的插管252以便末端执行器408a、408b和工作部位424处于其视野430中。将插管416a、416b、252中的每一个插入在进入口428的孔部件432和由在进入口428的孔部件432支撑。

将工具406a、406b和内窥镜112与它们各自的操纵器204a、204b和242(仅部分显示)——其相对于它们各自的支点(在这种情况中也称作远程运动中心)426致动它们的运动——连接，将其每一个定位以大约位于如所显示的进入口428。工具406a、406b中的每一个具有易曲的轴以便它可弯曲以接纳其硬的单个弯曲的插管。为了进行不同操作和／或为了接纳不同工具，可利用具有不同曲率和长度的不同插管。这样的弯曲的插管和利用它们的系统的另外的细节可在以下找到，例如，美国申请号12／618,583(2009年11月13日提交；名称为“弯曲的插管手术系统”)，其通过引用被并入本文。然而，将理解，当末端执行器延伸出这样的弯曲的插管的远端时，具有不同曲率和长度的插管导致工具的末端执行器标架的不同位置和定向。

虽然操作员可手动提供给系统那时正被使用的弯曲的插管的识别以便系统可使用插管的已知三维信息以确定工具末端执行器标架的位置和定向，有时操作员可不知道哪根插管正在使用。因此，在这样的情况中，末端执行器标架的未知位置和定向必须由系统以一些方式来确定，以适当地控制响应其连接的主控制装置运动的工具的运动。

作为另一个实例，其中一个或多个这样的长度和／或角是未知的，图12显示拴系的照相机1220的示意性侧视图，当末端执行器正用于在工作部位进行操作时，该照相机1220捕获工具1230的末端执行器的图像。通过常规的方法将绳索1202在一端1204连接到照相机1220，另一端1203连接到患者结构1201。照相机顶端的位置和／或定向可以通过拉动照相机的拴绳1205的机械元件1206来改变。机械元件1206的运动由从动操纵器致动。在这种情况中，虽然机械元件1206的标架1210的位置和定向可以由沿着其运动链的传感器确定，但是拴绳1205和绳索1202的长度及由拉动拴绳1205产生的照相机1220的位置和定向的变化可不为外科医生或系统所知。因此，在这样的情况中，照相机标架1221的未知的位置和定向必须由系统以一些方式来确定，以适当地控制响应其连接的主控制装置的运动，相对于照相机标架1221的工具的运动。来自照相机1220的信号可以通过配置在拴绳1205内或旁的光缆来传输，或可选地，可以将它们无线传输。

作为另一个实例，其中一个或多个这样的长度和／或角是未知的，图13显示用于在工作部位分别定位机器人控制的工具1314和图像获取系统1304的可动结构1312、1302的示意性侧视图。在这种情况中，系统能通过利用接头位置传感器和机器人臂1303的已知的维度来确定相对于与可动结构1302连接的标架1301，图像获取系统1304的图像参考标架的位置和定向。它还能通过利用接头位置传感器和机器人臂1313的已知维度来确定相对于与可动结构1312连接的标架1311，工具标架的位置和定向。然而，可动结构1312、1302之间的距离和／或相对的定向可以不是已知的。因此，在这样的情况中，可动结构1312、1302之间或可选地它们各自的标架1311、1301之间未知的距离和／或相对的定向必须由系统以一些方式来确定以适当地控制响应工具1314连接的主控制装置的运动，相对于照相机标架的工具1314的运动。

在本发明中，不是估计用于确定主控-工具变换的未知长度和／或角，而是通过估计从其它标架的已知位置和定向变换到未知位置和定向来估计对应于未知长度和／或角的标架的未知位置和定向。例如，参考图11，末端执行器标架的未知位置和定向由处理器102确定，处理器102估计将末端执行器标架中的点变换成从动操纵器标架中的对应点的变换参考图12，照相机标架的未知位置和定向由处理器102确定，处理器102估计将图像标架1221中的点变换成机械元件标架1210中对应点的变换和参考图13，可动结构1302、1312之间的未知距离和／或相对定向由处理器102确定，处理器102估计将可动结构标架1301中的点变换成可动结构标架1311中对应点的变换将可动结构标架1301在这种情况中假定为固定标架。对于关于这样的变换的计算、操作和命名法的细节，参见，例如，JohnJ.Craig，Introduction to Robotics Mechanics and Control，2^nd Edition，Addison-WesleyPublishing Company，Inc.，1989。

用于描述本发明的标架显示在图14中，其显示图像标架变换(例如，)和工具变换(例如，)的概括的示意图。在这种情况中图像标架变换用于变换或绘制图像标架610、中间标架(例如，1412、1413)和固定标架1401之间的点。同样，工具标架变换用于变换或绘制工具标架618、中间标架(例如，1402、1403)和固定标架1401之间的点。

图15显示，作为实例，用于估计和周期地更新主控-工具标架变换的方法的流程图，该标架变换用于控制工具的运动，该运动响应机器人系统中连接的主控制装置的运动。在1501中，执行该方法的处理器确定设置变换，如与用于车300的设置臂95相关的那些变换，如参考图5所描述的，在将工具14适当地定位在进入口以在工作部位进行操作之后，将其在合适的位置锁住。由于在正由工具进行的操作期间在该实例中这些变换不改变，所以不必将它们连续地更新作为处理环路的部分。

在1502中，处理器接收已由图像获取系统如内窥镜304获取的图像信息的使用权。作为实例，可以将图像信息储存在标架缓存器中，将信息从标架缓存器显示在显示器204上。在1503中，作出决定，是否将进行视觉测量。将理解，虽然将标架缓存器周期地更新以刷新正显示在显示器204上的图像，但是视觉测量不需每次更新标架缓存器时都进行。因此，可在标架缓存器刷新许多次之后周期地进行视觉测量。

如果1503中的决定是“否”，那么处理器返回1502。其它方面，如果决定是“是”，那么处理器前进到1504，在那里处理器通过利用检测到的接头和／或连接位置和从动臂10的已知维度而确定从动操纵器变换，如与同车300连接的从动臂10相关的那些变换，如参考图5所描述的。虽然每次进行视觉测量时1504被显示为正在进行，但是将理解，如果相应的从动操纵器自从其从动操纵器变换已被确定的最后一次已被(平移地或定向地)移动时，那么仅需要确定从动操纵器变换。例如，如果当工具14正用于在工作部位进行操作时将图像获取装置304的位置和定向保持不动，那么然后在将它正保持在固定的位置和定向期间不必确定其从动操纵器变换超过一次。

在1505中，处理器识别获取的图像中末端执行器和／或其它运动学结构的姿态指示点。为了做这个，从图像作出与末端执行器和／或其它运动学结构的位置和定向(即，姿态)相关的特征的测量。测量可以以不同形式，取决于正在用于获取图像的照相机(例如，单眼的或立体的)的类型和在获取的图像中正被识别的图像特征或基准标记的类型。

如果正使用立体照相机，给定两个照相机的固有的参数和它们的相对姿态，那么点的深度可以由立体三角测量的方法确定。需要区别特征将它们与工具的另一个部分、机器人臂和背景产生的其它图像特征分开。使用基准标记以产生区别特征。基准标记在光谱性质(例如，颜色)、形状、几何构型或它们的组合方面可以是有区别的。这样的标记和它们的应用的实例在美国专利申请公开号US2010／0168562A1(2009年4月23日提交；名称为“用于在图像中定位外科器械的基准标记设计和检测”)和美国专利申请公开号US2010／0168763A1(2009年4月23日提交；名称为“用于器械跟踪的构型标记设计和检测”)，二者均通过引用被并入本文。

如果使用单眼照相机，那么测量固有地在二维(2D)图像域中。然而，具有工具和／或工具上基准标记(或多个)的某些知识仍然可能进行三维(3D)测量。给定照相机的固有参数，已知几何形状的物体的3D姿态可以通过称作姿态估计的方法用2D至3D点对应来恢复，参见，例如，David A.Forsyth and Jean Ponce，Computer Vision：A Modern Approach，Prentice Hall，2003。特定的几何形状(例如圆、球体、圆柱体和圆锥体)的姿态或部分姿态可以从它们的轮廓计算，参见，例如，Yiu C.Shiuand Hanqi Zhuang，“Pose Determination of Cylinders，Cones，and Spheres fromPerspective Projections，”Applications of Artificial intelligence X：Machine Vision andRobotics，Proceedings SPIE，Vol.1708，第771-782页，March1992。这样的几何形状在外科器械或工具中常见。

如果利用以上技术图像域中的2D测量不能直接转换成3D，那么可以估计3D姿态。在这种情况中，3D点_cp_i=[_cx_i，_cy_i，_cz_i]^T的图像投影u_i=[u_i，v_i]^t可以通过以下来计算：

$\left\{\begin{array}{c}{u}_i=f_x\frac{\mathrm{cxi}}{\mathrm{xzi}}+u_0\\ v_i=f_y\frac{\mathrm{cyi}}{\mathrm{czi}}+v_0\end{array}\right.---\left(1\right)$

其中f_x和f_y分别是成像器的水平和垂直方向的焦距，u₀和v₀是主点。

在1506中，处理器利用1504和1505中确定变换及的其它信息来估计未知变换。在这样做的过程中，它使用以下变换方程：

$T_c^e=T_w^e\·T_c^w---\left(2\right)$

其中是图像(或照相机“c”)标架至工具(或末端执行器“e”)标架变换(在识别1505中图像标架中末端执行器的姿态指示点之后，其可被算术地确定)，是图像标架至固定的(或世界“w”)标架变换，是工具标架至固定标架变换的反转。

变换和均可包括变换链。作为实例，参考图14，如果标架1401是固定标架(即，静止的标架)，那么从工具标架至固定标架的变换链(在本文称作“工具标架变换”)包括在其起点的标架618至标架1403变换和在其终点的标架1402至标架1401变换。同样，从图像标架至固定标架的变换链(在本文称作“图像标架变换”)包括在其起点的标架610至标架1413变换和在其终点的标架1412至标架1401。然后工具标架变换的反转将从标架1401至标架1402变换开始和以标架1403至标架618变换结束。

因此，如果未知变换是标架1403至标架618变换那么它可以利用如下变换方程(2)确定：

$T_c^e=T_w^e\·T=T_n^e\·T_w^n_c^w\·T_c^w---\left(3\right)$

$T_n^e=T_c^e\·T\·T_n^w_w^c---\left(4\right)$

这样的解决方案可用于估计末端执行器的位置和定向，如参考图11针对不同曲率和长度的插管所需要的。

另一方面，如果未知变换是标架1413至标架610变换那么它可以利用如下变换方程(2)来确定：

$T_c^e=T_w^e\·T=T_w^e\·T_k^w_c^w\·T_c^k---\left(5\right)$

$T_k^c=T_e^c\·T\·T_k^w_w^e---\left(6\right)$

这样的解决方案可用于估计照相机的位置和定向，如参考图12针对栓系的照相机所需要的。

另外，如果未知变换是标架1402至固定标架变换那么它可以利用如下方程(2)来确定：

$T_c^e=T_w^e\·T=T_{1402}^e\·T_w^{1402}_c^w\·T_c^k---\left(7\right)$

$T_{1402}^w=T_c^w\·T\·T_{1402}^e_e^c---\left(8\right)$

这样的解决方案可用于估计相对于另一个可动结构，一个可动结构的位置和／或相对定向，如参考图13针对两个可动结构1302、1311所需要的，其中选择可动结构之一的标架作为固定标架。虽然假定结构1302、1311都是可动的，但是解决方案在以下也是可适用的，其中结构1302、1311之一在合适的位置是固定的(如具有顶板安装的机器人臂)以限定固定的参考标架，而结构1302、1311中的另一个是可移动的(如在患者侧推车上)。

以上实例假定首先由处理器确定以便它可在方程(3)至(8)中进行计算。作为可选的方法，可通过以下转换将工具标架中的点^ep与图像中的点^cp相关

$T=\left[\begin{array}{cc}R& T\\ \mathrm{0,0,0}& 1\end{array}\right]_c^e---\left(9\right)$

其中R是3×3旋转矩阵，T是3D平移向量，以便：

$p=T_c^e_e\·p_c---\left(10\right)$

因此，通过用方程(2)的右侧替换方程(10)中的可以将图像标架中的点直接绘制到工具标架中的点中而无需首先确定作为将该可选的方法应用于实现框1506的实例，可以将方程(10)以通常的形式如下重写：

现在，作为实例，如果变换是未知变换并且其值不是时间变化的，那么可将方程(11)如下重写：

以这种形式，未知变换(并因此，其反转的变换)可以由一组点偶解，其中i=1...m。点偶可来自单个时间瞬间或来自许多时间瞬间。作为解方程(12)的方法的实例，参见，例如，A.Lorusso，D.W.Eggert，and R.B.Fisher“A Comparison of Four Algorithms for Estimating3-D Rigid Transformations，”Proceedings BMVC，1995。

如果已知变换的一些知识(例如，变换中独立参数的数目小于6)，那么可将变换重写为：

其中Θ={θ₁，…θ_a}是自由参数。在这种情况中，以最通常的形式的Θ可以通过利用标准的非线性最优化程序(例如，高斯-牛顿法)最小化下面的成本函数而被解：

注意，方程(14)适用于3D点。对于可用于方程(1)的2D点，未知变换的参数可以通过优化成本函数而解：

${\mathrm{\Θ}}^{*}=\arg {\min }_{\mathrm{\Θ}}{\mathrm{\Σ}}_{i=1}^m{\left|\right|u_i-{u^{\′}}_i\left|\right|}^2---\left(15\right)$

其中是点的图像坐标，是3D点 $p_i^c={\left[x_v^{c}y_v^{c}z_i^c\right]}^T$ 的图像投影。

如果照相机参数未知，那么可以估计参数和将被解的未知变换。如果透镜不完美和具有失真(例如，放射状的、切线的)，那么透镜的失真参数也可以以与照相机固有参数(这里未显示)相似的方式来估计。例如，可将方程(15)如下修改：

${\{\mathrm{\Θ},f_x,f_y,u_0,v_0\}}^{*}a{\mathrm{rg}\min }_{\{\mathrm{\Θ},f_x,f_y,u_0,v_0\}}{\mathrm{\Σ}}_{i=1}^m{\left|\right|u_i-{u^{\′}}_i\left|\right|}^2---\left(16\right)$

如可以从以上实例理解的，当所有其它变换已知时，确定图像和工具标架变换之中的一个未知变换是简单的。当需要估计来自超过一个变换的未知参数时，参数可以通过与方程(14)、(15)和(16)相似的优化来估计。

除了通过一组点对应来解未知变换，过滤可以用于拟合变换或优化。可使用来自卡尔曼滤波器家族的滤波器。特别地，扩展的卡尔曼滤波器和无迹卡尔曼滤波器可以用于非线性系统。可用于这样的应用的迭代扩展的信息在下面描述，例如，美国专利申请号12／495,304(2009年6月30日提交；名称为“用于机器人外科器械和其它应用的有效视觉和运动学数据融合”)，其通过该引用被并入本文。使用滤波器的好处包括瞬时的平滑和计算效率。

即使不使用滤波器，随着时间的估计参数上的瞬时平滑可避免陡变。在1507中，处理器任选地可进行估计的未知变换的瞬时平滑，而不是立即将它用于更新主控-工具标架变换。这样的平滑通过其连接的主控制装置将避免工具控制中陡变。完成这样的平滑的一个方法是当处理器通过进行1502-1508的方法连续地成环时保持对未知变换的估计值的连续平均数。

在1508中，处理器利用估计的未知变换的过滤的版本来更新主控-工具标架变换，和利用更新的主控-工具变换响应主控制装置运动的工具的命令运动。例如，利用估计的未知变换的过滤版本可确定修改的工具标架至照相机标架变换。然后可以修改主标架至眼标架变换以便将相对于照相机标架610的工具标架618的位置和定向与相对于眼标架612的主标架622的位置和定向对齐。完成1508之后，处理器然后跳回1502以处理下一个视觉测量循环。

虽然本发明的各个方面已经依据实施方式被描述，但是将理解，本发明在所附权利要求的全部范围内被给予完全保护。

Claims (32)

1.机器人系统，包括：

具有主标架的主控制装置；

具有图像标架的图像获取系统，相对于固定标架所述图像标架的位置和定向通过一个或多个图像标架变换是可确定的；

工具，其被配置在所述图像获取系统的视野内和具有工具标架，相对于所述固定标架所述工具标架的位置和定向通过一个或多个工具标架变换是可确定的；和

至少一个处理器，其被编程以执行以下操作：

从所述图像获取系统捕获的一个或多个图像中的信息识别所述工具的姿态指示点；

通过利用所述识别的姿态指示点以及所述图像和工具标架变换中的已知变换来确定针对所述图像和工具标架变换中未知变换的自第一标架到第二标架的估计的变换，所述估计的变换根据所述第一标架和所述第二标架之间的标记关系链确定，其中每个已知的图像和工具标架变换将其相应的标架彼此相关并且识别出的所述姿态指示点将所述工具标架与所述图像标架相关；

通过利用所述图像和工具标架变换中所述估计和已知的变换来更新主控-至-工具变换；和

通过利用所述更新的主控-至-工具变换，响应所述主控制装置的运动而命令所述工具的运动。

2.权利要求1所述的机器人系统，进一步包括：

操作员可观察的显示器，其中将眼标架限定在所述操作员的眼；和

视觉系统，其被配置以显示所述显示器中所述图像获取系统获取的图像的信息；

其中所述至少一个处理器通过调节将眼-主控变换与图像-工具变换对齐的偏置来更新所述主控-至-工具变换，其中所述眼-主控变换将所述主标架中的点变换成所述眼标架中的对应点，和其中所述图像-工具变换将所述工具标架中的点变换成所述图像标架中的对应点。

3.权利要求1所述的机器人系统，其中所述图像和工具标架变换中的所述未知的变换是所述一个或多个工具标架变换之一。

4.权利要求3所述的机器人系统，其中所述工具相对于具有枢轴点标架的枢轴点而运动，所述工具具有末端执行器，所述末端执行器具有末端执行器标架，和所述未知工具标架变换将所述枢轴点标架中的点变换成所述末端执行器标架中的对应点。

5.权利要求4所述的机器人系统，其中所述未知工具标架变换识别工具导向器，所述工具通过所述工具导向器延伸，以便所述末端执行器延伸出所述工具导向器的远端，和其中所述识别的工具导向器是许多具有不同枢轴点至末端执行器变换的候选工具导向器之一。

6.权利要求1所述的机器人系统，其中所述图像和工具标架变换中的所述未知变换是所述一个或多个图像标架变换之一。

7.权利要求6所述的机器人系统，其中将所述图像获取系统栓系到具有机械元件标架的机械元件，和其中所述未知的图像标架变换将所述机械元件标架中的点变换成所述图像标架中的对应点。

8.权利要求1所述的机器人系统，进一步包括：

第一结构，具有与所述图像获取系统连接的第一机器人臂，所述第一结构具有第一结构标架；和

第二结构，具有与所述工具连接的第二机器人臂，所述第二结构具有第二结构标架；

其中所述第一和第二结构标架之一是所述固定标架，所述图像和工具标架变换中的所述未知变换是这样的变换，其将所述第一和第二结构标架中另一个中的点变换成所述固定标架中的对应点。

9.权利要求8所述的机器人系统，其中对应于所述第一和第二结构标架中另一个的所述第一或第二结构是可动结构。

10.权利要求8所述的机器人系统，其中对应于所述固定标架的所述第一或第二结构是可动结构。

11.权利要求1所述的机器人系统，其中所述图像标架变换中所述已知变换中的一个或多个利用沿着延伸到所述图像获取系统的运动链放置的一个或多个传感器来确定。

12.权利要求1所述的机器人系统，其中所述图像标架变换中所述已知变换中的一个或多个通过将三角学用于与所述图像获取系统机械连接的一个或多个结构的已知维度来确定。

13.权利要求1所述的机器人系统，其中所述工具标架变换中所述已知变换中的一个或多个利用沿着延伸到所述工具的运动链放置的一个或多个传感器来确定。

14.权利要求1所述的机器人系统，其中所述工具标架变换中所述已知变换中的一个或多个通过将三角学用于与所述工具机械连接的一个或多个结构的已知维度来确定。

15.权利要求1所述的机器人系统，其中所述至少一个处理器使所述图像和工具标架变换中所述未知变换的所述估计的变换平滑，和利用所述平滑的估计的变换更新所述主控-至-工具变换。

16.权利要求15所述的机器人系统，其中所述至少一个处理器被编程以通过周期地更新相对于所述图像标架的所述工具标架的位置和定向的先前估计而估计相对于所述图像标架的所述工具标架的位置和定向，通过更新对于所述图像和工具标架变换中所述未知变换的所述估计的变换的先前确定来确定所述图像和工具标架变换中所述未知变换的所述估计的变换，和通过使所述图像和工具标架变换中所述未知变换的当前和先前估计的变换平均化而使所述图像和工具标架变换中所述未知变换的所述估计的变换平滑。

17.在机器人系统中执行的方法，所述机器人系统包括具有主标架的主控制装置；具有图像标架的图像获取系统，所述标架的位置和定向相对于固定标架通过一个或多个图像标架变换是可确定的；工具，其被配置在所述图像获取系统的视野内和具有工具标架，所述工具标架的位置和定向相对于所述固定标架通过一个或多个工具标架变换是可确定的，所述方法包括：

从所述图像获取系统捕获的一个或多个图像中的信息来识别工具的姿态指示点；

通过利用所述识别的姿态指示点以及所述图像和工具标架变换中的已知变换来确定所述图像和工具标架变换中的未知变换的自第一标架到第二标架的估计的变换，所述估计的变换根据所述第一标架和所述第二标架之间的标记关系链确定，其中每个已知的图像和工具标架变换将其相应的标架彼此相关并且识别出的所述姿态指示点将所述工具标架与所述图像标架相关；

通过利用所述图像和工具标架变换中所述估计和已知的变换来更新主控-至-工具变换；和

通过利用所述更新的主控-至-工具变换，响应所述主控制装置的运动而命令所述工具的运动。

18.权利要求17所述的方法，其中所述机器人系统进一步包括操作员可观察的显示器，其中将眼标架限定在所述操作员的眼，和视觉系统，其被配置以显示所述显示器中所述图像获取系统获取的图像的信息，并且其中所述主控-至-工具变换的所述更新包括：

调节将眼-主控变换与图像-工具变换对齐的偏置，其中所述眼-主控变换将所述主标架中的点变换成所述眼标架中的对应点，并且其中所述图像-工具变换将所述工具标架中的点变换成所述图像标架中的对应点。

19.权利要求17所述的方法，其中所述图像和工具标架变换中所述未知的变换是所述一个或多个工具标架变换之一。

20.权利要求19所述的方法，其中所述工具相对于具有枢轴点标架的枢轴点运动，所述工具具有末端执行器，所述末端执行器具有末端执行器标架，并且所述未知工具标架变换将所述枢轴点标架中的点变换成所述末端执行器标架中的对应点。

21.权利要求20所述的方法，其中所述未知工具标架变换识别工具导向器，所述工具通过所述工具导向器延伸，以便所述末端执行器延伸出所述工具导向器的远端，和其中所述识别的工具导向器是具有不同枢轴点至末端执行器变换的许多候选工具导向器之一。

22.权利要求17所述的方法，其中所述图像和工具标架变换中所述未知的变换是所述一个或多个图像标架变换之一。

23.权利要求22所述的方法，其中将所述图像获取系统栓系到具有机械元件标架的机械元件，和其中所述未知的图像标架变换将所述机械元件标架中的点变换成所述图像标架中的对应点。

24.权利要求17所述的方法，其中所述机器人系统进一步包括第一结构，具有与所述图像获取系统连接的第一机器人臂，所述第一结构具有第一结构标架；和第二结构，具有与所述工具连接的第二机器人臂，所述第二结构具有第二结构标架；并且其中所述第一和第二结构标架之一是所述固定标架，所述图像和工具标架变换中的所述未知的变换是这样的变换，其将所述第一和第二结构标架中另一个中的点变换成所述固定标架中的对应点。

25.权利要求24所述的方法，其中对应于所述第一和第二结构标架中另一个的所述第一或第二结构是可动结构。

26.权利要求24所述的方法，其中对应于所述固定标架的所述第一或第二结构是可动结构。

27.权利要求17所述的方法，进一步包括：

利用沿着延伸到所述图像获取系统的运动链放置的一个或多个传感器来确定所述图像标架变换中所述已知变换中的一个或多个。

28.权利要求17所述的方法，进一步包括：

通过将三角学用于与所述图像获取系统机械连接的一个或多个结构的已知维度来确定所述图像标架变换中所述已知变换中的一个或多个。

29.权利要求17所述的方法，进一步包括：

利用沿着延伸到所述工具的运动链放置的一个或多个传感器来确定所述工具标架变换中所述已知变换中的一个或多个。

30.权利要求17所述的方法，进一步包括：

通过将三角学用于与所述工具机械连接的一个或多个结构的已知维度来确定所述工具标架变换中所述已知变换中的一个或多个。

31.权利要求17所述的方法，进一步包括：

使所述图像和工具标架变换中所述未知变换的所述估计的变换平滑；和

其中所述主控-至-工具变换的所述更新利用所述平滑的估计的变换。

32.权利要求31所述的方法，其中

所述估计相对于所述图像标架的所述工具标架的所述位置和定向包括周期地更新相对于所述图像标架的所述工具标架的所述位置和定向的先前估计；

所述确定所述图像和工具标架变换中所述未知变换的所述估计的变换包括更新所述图像和工具标架变换中所述未知变换的所述估计的变换的先前的确定；和

所述使所述图像和工具标架变换中所述未知变换的所述估计的变换平滑包括使所述图像和工具标架变换中所述未知变换的当前和先前估计的变换平均化。