CN117279576A - 用于对外科机器人系统的相机组件进行自动聚焦的系统和方法 - Google Patents

Abstract

一种外科机器人系统包括传感器单元、控制器以及机器人子系统。该机器人子系统与该传感器单元和该控制器通信。此外，该机器人子系统包括多个机械臂，每个机械臂在其远侧端部处具有端部执行器。该机器人子系统还包括相机组件，该相机组件具有至少两个相机和自动聚焦单元，该自动聚焦单元自动聚焦该相机中的每个相机的镜头。

Description

用于对外科机器人系统的相机组件进行自动聚焦的系统和 方法

相关申请的交叉引用

本公开要求2021年2月24日提交的美国临时专利申请63/153,128和2021年4月19日提交的美国临时专利申请63/176,634的优先权，该专利申请的全部内容通过引用并入本文。

背景技术

本公开涉及微创外科装置和相关方法，更具体地说，涉及可插入患者体内以在其中执行选定手术的机器人外科系统。

自20世纪90年代初问世以来，微创手术领域发展迅速。虽然微创外科手术极大地改善了患者预后，但这种改善是以外科医生精确和轻松操作的能力为代价的。在腹腔镜检查期间，外科医生必须通过患者腹壁中的小切口插入腹腔镜器械。由于腹腔镜器械不能在不损伤腹壁的情况下左右移动，因此工具插入穿过腹壁这一性质限制了腹腔镜器械的运动。标准腹腔镜器械限于四个运动轴线。这四个运动轴线是器械进出套管针的移动(轴线1)、器械在套管针内的旋转(轴线2)以及套管针在两个平面内的角移动，同时维持套管针进入腹腔的枢轴点(轴线3和4)。二十多年来，大多数微创外科手术都是在只有这四个运动自由度的情况下执行的。

现有的机器人外科装置试图解决这些问题中的许多问题。一些现有的机器人外科装置复制了在器械的端部处具有附加的自由度的非机器人腹腔镜外科手术。然而，即使对外科手术进行了许多昂贵的改变，现有的机器人外科装置在使用它们的大多数手术中也未能提供改善的患者预后。另外，现有的机器人装置在外科医生和外科端部执行器之间产生增加的间隔。由于外科医生对由机器人装置施加的运动和力的误解，这种增加的间隔造成伤害。因为人类操作者不熟悉许多现有机器人装置的自由度，所以外科医生在对患者进行手术之前必须在机器人模拟器上进行大量训练，以使造成意外伤害的可能性最小化。

典型的机器人系统可以包括一个或多个机械臂和一个或多个相关联的相机。为了控制现有的机器人系统，外科医生坐在控制台前，用他或她的手和脚控制操纵器，从而控制相机和机械臂。此外，相机可以保持在半固定位置，并通过外科医生的脚和手的组合运动来移动。这些视场有限的半固定相机导致术野难以可视化。

在常规的外科机器人系统中，有多种方式将相机聚焦在预期的外科部位。典型地和常规地，外科医生需要使用手动拨盘或者基于系统的自动聚焦特征仅基于从相机中的图像传感器接收到的图像数据来调整焦点。医学领域中的典型自动聚焦机制也可以采用相位检测自动聚焦、飞行时间(光反射)或某一基于光的估计方法。

这些常规类型的系统的缺点是，它们需要外科医生暂停外科规程并手动改变相机的焦距。这使得外科医生在外科规程期间分心。在采用自动聚焦技术的系统中，相机的焦点或视场经常不能对准或覆盖外科部位的需要由外科医生观察的实际部分，并且需要较大的景深。采用较大景深的常规相机需要更多的光线，并且因此总分辨率较低。

发明内容

在本公开的机器人外科系统中，该系统采用相机组件的相机的位置和机械臂的抓钳或端部执行器的位置来确定相机的视场和焦距或焦点。通过使用端部执行器相对于相机的位置信息，本公开的系统可以确定相机的焦距和焦点，同时允许外科医生观察外科部位的重要的或外科医生希望观察的部分，而不必仅仅依赖于来自相机的图像数据。因此，该系统具有更精确的聚焦和更少的假阳性，并且进一步具有持续保持期望视场聚焦的能力。

根据一个实施方案，本公开提供了一种外科机器人系统，所述外科机器人系统包括传感器单元、控制器以及机器人子系统。所述机器人子系统与所述传感器单元和所述控制器通信。此外，所述机器人子系统包括：多个机械臂，每个机械臂在其远侧端部处具有端部执行器；以及相机组件，所述相机组件具有至少两个相机和自动聚焦单元，所述自动聚焦单元被配置为自动聚焦所述至少两个相机中的每个相机的镜头。所述控制器可以被配置为基于从所述传感器单元接收到的所述相机和所述机械臂的状态信息来计算期望焦距。作为响应，所述自动聚焦单元可以被配置为基于所述期望焦距来自动聚焦所述至少两个相机中的每个相机的所述镜头。

所述状态信息可以包括从每个相机到所述机械臂的在外科医生的视场内的每个端部执行器的距离。此外，所述状态信息可以包括每个相机和每个端部执行器的位置信息和姿态信息。基于计算出的期望焦距，所述控制器可以被配置为根据特定焦深来确定聚焦命令，并且将所述聚焦命令传输到所述自动聚焦单元。作为响应，所述自动聚焦单元可以被配置为调整每个相机的物理焦距以聚焦所述相机中的每个相机的所述镜头。

此外，所述控制器可以被配置为对所述期望焦距进行滤波以减少聚焦数据的快速变化。用于所述滤波的滤波器的强度可以基于外科医生的头部运动的幅度而改变。还可以针对所述相机中的每个相机计算不同的期望焦距。可以使用加权算法来进一步计算所述期望焦距。在所述加权算法中，所述机械臂中的每个机械臂可以被不同地加权。每个机械臂的权重是基于系统参数的函数。

特别地，每个机械臂可以包括多个关节。这些关节可以包括肩关节、肘关节以及腕关节。因此，所述系统参数可以包括距每个相机的视场中的每个端部执行器中心的距离、每个端部执行器的状态以及所述肘关节的位置。在一个实施方案中，焦点调整速度可以随着每个端部执行器从目标位置向外移动而提高，并且可以随着每个端部执行器朝向所述目标位置移动而降低。

根据另一实施方案，本公开提供了一种机器人子系统，所述机器人子系统包括：多个机械臂，每个机械臂在其远侧端部处具有端部执行器；以及相机组件。所述相机组件可以包括至少两个相机、控制器以及自动聚焦单元，所述自动聚焦单元被配置为自动聚焦所述相机中的每个相机的镜头。所述控制器可以被配置为基于从传感器单元接收到的所述至少两个相机和所述多个机械臂的状态信息来计算期望焦距。作为响应，所述自动聚焦单元可以被配置为基于所述期望焦距来自动聚焦所述至少两个相机中的每个相机的所述镜头。

焦点调整速度随着所述机械臂从目标位置向外移动而提高，并且随着所述机械臂朝向所述目标位置向内移动而降低。此外，所述状态信息包括以下各项中的至少一项：从每个相机到所述多个机械臂的在外科医生的视场内的每个端部执行器的距离，以及所述至少两个相机和所述多个机械臂的每个端部执行器的位置信息和姿态信息。

附图说明

通过参考以下结合附图的详细描述，将更全面地理解本公开的这些和其他特征和优点，在附图中，相同的附图标记在不同的视图中指代相同的元件。附图图示了本公开的原理，并且尽管未按比例绘制，但示出了相对尺寸。

图1是本公开的外科机器人系统的示意图。

图2是根据本公开的教导的图1的外科机器人系统的相机组件的示意性视图。

图3是根据本公开的教导的图1的机器人子系统的示意性表示。

图4是图示了由本公开的系统采用的加权算法单元对系统状态数据的处理的示意性表示。

图5A至图5B是图示了根据本公开的第二实施方案的由外科机器人系统采用的加权算法单元对系统状态数据的处理的示意性表示。

图6A是图示了根据本公开的教导的由外科机器人系统采用的焦距计算器单元对系统状态数据的处理的示意性表示。

图6B是图示了根据本公开的教导的由外科机器人系统采用的焦距计算器单元的第二实施方案对系统状态数据的处理的示意性表示。

图6C是图示了根据本公开的教导的由外科机器人系统采用的焦距计算器单元的第三实施方案对系统状态数据的处理的示意性表示。

图7是根据本公开的教导的由外科机器人系统采用的相机组件单元的视场的示意性表示。

图8是由本公开的外科机器人系统采用的权重图的图形表示。

图9是由本公开的外科机器人系统采用的权重图的第二实施方案的图形表示。

图10A至图10C是根据本公开的教导的用于有限焦点调整的相机组件单元的视场的示意性表示。

图11是图示了根据本公开的教导的由外科机器人系统采用的焦距计算器单元的第四实施方案对系统状态数据的处理的示意性表示。

图12是图示了根据本公开的教导的对相机组件的相机进行自动聚焦的方法的示意性流程图。

图13和图14是图示了对系统状态数据(诸如电机和关节数据)的处理并且由本公开的外科机器人系统采用的正向运动学单元处理的示意性表示。

图15是可以被预先存储并由本公开的外科机器人系统的控制器使用的示例聚焦曲线。

图16是具有在不同距离处彼此重叠的多个目标的示例聚焦曲线。

具体实施方式

在以下描述中，阐述了关于本公开的系统和方法以及该系统和方法可以运行的环境的许多具体细节，以便提供对所公开主题的透彻理解。然而，对于本领域技术人员来说明显的是，所公开的主题可以在没有这些具体细节的情况下实践，并且为了避免复杂化并提高所公开主题的清晰度，没有详细描述本领域公知的某些特征。此外，将会理解，下面提供的任何示例仅仅是说明性的，而不是以限制性的方式来解释，并且本发明人考虑，可以采用其他系统、设备和/或方法来实现或补充本公开的教导，并且该其他系统、设备和/或方法被认为是在本公开的范围内。

尽管示例性实施方案被描述为使用多个单元来执行示例性过程，但是应当理解，示例性过程也可以由一个或多个模块来执行。此外，应当理解，术语控制器/控制单元指的是包括存储器和处理器的硬件装置，并且被专门编程以执行本文描述的过程。存储器被配置为对模块进行存储，并且处理器被特别配置为执行所述模块以执行一个或多个过程，这些过程将在下面进一步描述。

此外，本公开的控制逻辑可以体现为包含由处理器、控制器/控制单元等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质也可以分布在网络耦合的计算机系统中，使得计算机可读介质例如通过远程信息处理服务器或控制器局域网(CAN)以分布式方式存储和执行。

本文使用的术语仅仅是为了描述特定的实施方案，而不是为了限制本公开。如本文所用，单数形式“一(a)”、“一(an)”和“该”旨在也包括复数形式，除非上下文清楚地另外指出。还将理解，术语“包括(comprises)”和/或“包括(comprising)”在本说明书中使用时，指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的组合的存在或添加。如本文所用，术语“和/或”包括相关联所列项目中的一个或多个所列项目的任何和所有组合。

除非具体陈述或从上下文中显而易见，否则如本文所用，术语“约”被理解为在本领域的正常公差范围内，例如在平均值的2个标准偏差内。“约”可以理解为在规定值的10％、9％、8％、7％、6％、5％、4％、3％、2％、1％、0.5％、0.1％、0.05％或0.01％内。除非上下文另有说明，否则本文提供的所有数值都用术语“约”修饰。

虽然本公开的系统和方法可以被设计为与用作虚拟现实手术系统的一部分的一个或多个外科机器人系统一起使用，但是本公开的机器人系统可以与任何类型的外科系统一起使用，包括例如机器人外科系统、直杆型外科系统和腹腔镜系统。此外，本公开的系统可以用于其他非外科系统，其中用户在控制装置或设备时需要访问无数信息。

本文公开的系统和方法可以与例如美国专利10,285,765和PCT专利申请PCT/US2020/39203中公开的机器人外科装置和相关联系统结合和利用，和/或与美国专利申请公开2019/0076199中公开的相机系统结合和利用，其中所有前述专利、申请和公开的内容和教导通过引用并入本文。形成本公开的一部分的外科机器人系统包括外科系统，该外科系统具有用户工作站、机器人支持系统(RSS)、电机单元和可植入外科机器人子系统，该可植入外科机器人子系统包括一个或多个机械臂和一个或多个相机组件。可植入机械臂和相机组件可以形成单支撑轴机器人系统的一部分，或者可以形成分臂结构机器人系统的一部分。

机械臂可以具有关节部分或区域，该关节部分或区域可以与和用户的肩、肘、腕和手指相关联的移动相关联，例如如图3所示，以提供类似人类的运动。例如，机器人肘关节可以跟随人类肘部的位置和姿态，并且机器人腕关节可以跟随人类腕部的位置和姿态。机械臂还可以具有与其相关联的端部区域，该端部区域可以终止于端部执行器或抓钳，该端部执行器或抓钳跟随用户的手指中的一个或多个手指(例如当用户将食指和拇指捏在一起时的食指)的移动。当机器人的手臂跟随用户手臂的移动时，机器人肩部可以固定在适当的位置。在一个实施方案中，从用户手臂的位置和姿态中减去用户躯干的位置和姿态。这种减法允许用户在机械臂不移动的情况下移动他或她的躯干。

图1是根据本公开的教导的外科机器人系统10的示意性框图描述。系统10包括显示装置或单元12、虚拟现实(VR)计算单元14、感测和跟踪单元16、计算单元18和机器人子系统20。显示单元12可以是任何选定类型的显示器，用于显示由VR计算单元14、计算单元18和/或机器人子系统20生成的信息、图像或视频。显示单元12可以包括或形成例如头戴式显示器(HMD)、屏幕或显示器、三维(3D)屏幕等的一部分。显示单元还可以包括可选的传感器和跟踪单元16A，诸如可以在市售的头戴式显示器中找到的传感器和跟踪单元。感测和跟踪单元16和16A可以包括耦合到系统的用户(例如护士或外科医生)的一个或多个传感器或检测器。传感器可以耦合到用户的手臂，并且如果不使用头戴式显示器，则附加传感器也可以耦合到用户的头部和/或颈部区域。这种布置中的传感器由传感器和跟踪单元16表示。如果用户采用头戴式显示器，则眼睛、头部和/或颈部传感器以及相关联的跟踪技术可以内置或采用在该装置中，并因此形成可选的传感器和跟踪单元16A的一部分。

耦合到外科医生手臂的传感器和跟踪单元16的传感器可以优选地耦合到手臂的选定区域，例如肩部区域、肘部区域、腕部或手部区域，并且如果需要的话耦合到手指。传感器生成指示用户的选定部分的位置的位置数据。感测和跟踪单元16和/或16A可以用于控制相机组件44和机器人子系统20的机械臂42的移动。由传感器和跟踪单元16的传感器生成的位置数据34可以被传送到计算单元18，用于由处理器22处理。计算单元20可以被配置为根据位置数据来确定或计算外科医生手臂的每个部分的位置和/或姿态，并将此数据传送到机器人子系统20。

根据替代实施方案，感测和跟踪单元16可以采用耦合到外科医生的躯干或任何另一身体部位的传感器。此外，除了传感器之外，感测和跟踪单元16还可以采用惯性动量单元(IMU)，该IMU具有例如加速度计、陀螺仪、磁力计和运动处理器。添加磁力计是本领域的标准做法，因为磁航向允许减少传感器绕垂直轴的漂移。替代实施方案还包括放置在外科材料(诸如手套、外科洗涤剂或手术服)中的传感器。传感器可以是可重复使用的或一次性的。此外，传感器可以设置在用户外部，诸如在房间(诸如手术室)内的固定位置。外部传感器可以被配置为生成外部数据36，该外部数据可以由计算单元处理并因此由系统10采用。根据另一实施方案，当显示单元12是采用相关联的传感器和跟踪单元16A的头戴式装置时，该装置生成由VR计算单元14接收和处理的跟踪和位置数据34A。此外，如果需要，传感器和跟踪单元16可以包括手动控制器。

在显示器是HMD的实施方案中，显示单元12可以是虚拟现实头戴式显示器，例如Oculus Rift、Varjo VR-1或HTC Vive Pro Eye。HMD可以为用户提供耦合或安装到用户头部的显示器、允许显示器的聚焦视图的镜头，以及提供显示器的位置和姿态跟踪的传感器和/或跟踪系统16A。位置和姿态传感器系统可以包括例如加速度计、陀螺仪、磁力计、运动处理器、红外跟踪、眼动跟踪、计算机视觉、交变磁场的发射和感测，以及跟踪位置和姿态中的至少一者的任何另一方法，或者它们的任何组合。众所周知，HMD可以向外科医生的右眼和左眼提供来自相机组件44的图像数据。为了维持外科医生的虚拟现实体验，传感器系统可以跟踪外科医生头部的位置和姿态，并且然后将数据转送到VR计算单元14，并且如果需要，则转送到计算单元18。计算单元18可以进一步调整机器人的相机组件44的横摇和直摇，以跟随用户头部的移动。

如果传感器与HMD相关联，例如与显示单元12和/或跟踪单元16A相关联，则由该传感器生成的传感器或位置数据34A可以直接或经由VR计算单元14传送到计算单元18。同样，由系统中的其他传感器生成的跟踪和位置数据34，诸如来自可以与用户的手臂和手部相关联的感测和跟踪单元16的数据，可以被传送到计算单元18。跟踪和位置数据34、34A可以由处理器22处理，并且可以存储在例如存储单元24中。跟踪和位置数据34、34A也可以由控制单元26使用，作为响应，该控制单元可以生成用于控制机器人子系统20的一个或多个部分的移动的控制信号。机器人子系统20可以包括用户工作站、机器人支持系统(RSS)、电机单元40和可植入外科机器人，该可植入外科机器人包括一个或多个机械臂42和一个或多个相机组件44。可植入机械臂和相机组件可以形成单支撑轴机器人系统(诸如在美国专利10,285,765中公开和描述的单支撑轴机器人系统)的一部分，或者可以形成分臂结构机器人系统(诸如在PCT专利申请PCT/US20/39203中公开和描述的分臂结构机器人系统)的一部分。

由控制单元26生成的控制信号可以由机器人子系统20的电机单元40接收。电机单元40可以包括一系列伺服电机，这些伺服电机被配置用于单独地驱动机械臂42和相机组件44。机械臂42可以被控制来跟随由相关联传感器感测的外科医生手臂的按比例缩小的移动或运动。机械臂42可以具有与用户的肩关节、肘关节和腕关节以及手指相关联的移动相关联的部分或区域。例如，机器人肘关节可以跟随人类肘部的位置和姿态，并且机器人腕关节可以跟随人类腕部的位置和姿态。机械臂42还可以具有与其相关联的端部区域，该端部区域可以终止于端部执行器，该端部执行器跟随用户的手指中的一个或多个手指(例如当用户将食指和拇指捏在一起时的食指)的移动。当机器人的手臂跟随用户手臂的移动时，机器人肩部固定在适当的位置。在一个实施方案中，从用户手臂的位置和姿态中减去用户躯干的位置和姿态。这种减法允许用户在机械臂不移动的情况下移动他或她的躯干。

机器人相机组件44被配置为向外科医生提供图像数据48，例如手术或外科部位的实况视频馈送，以及使外科医生能够致动和控制形成相机组件44的一部分的相机。相机组件44优选地包括一对相机60A、60B，该对相机的光轴轴向间隔开选定的距离(称为相机间距离)，以提供外科部位的立体视图或图像。外科医生可以通过头戴式显示器的移动或者经由耦合到外科医生头部的传感器，或者通过使用手动控制器或跟踪用户头部或手臂运动的传感器来控制相机60A、60B的移动，从而使得外科医生能够以直观和自然的方式获得手术部位的期望视图。众所周知，相机可在多个方向上(包括例如在偏航、俯仰和翻滚方向上)移动。立体相机的部件可以被配置为提供感觉自然和舒适的用户体验。在一些实施方案中，可以修改相机之间的轴间距离，以调整由用户感知到的手术部位的深度。

根据一个实施方案，相机组件44可以通过外科医生头部的移动来致动。例如，在手术期间，如果外科医生希望观察位于当前视场(FOV)上方的物体，则外科医生朝上看，这使得立体相机从用户的视角绕俯仰轴向上旋转。由相机组件44生成的图像或视频数据48可以显示在显示单元12上。如果显示单元12是头戴式显示器，则显示器可以包括内置跟踪和传感器系统16A，该内置跟踪和传感器系统获得HMD的偏航、俯仰和翻滚方向的原始姿态数据以及HMD在笛卡尔(Cartesian)空间(x,y,z)中的位置数据。然而，替代的跟踪系统可用于提供显示器的补充位置和姿态跟踪数据，以代替或补充HMD的内置跟踪系统。适用于本公开的相机组件的示例包括在授予其受让人的美国专利10,285,765和美国公开2019/0076199中公开的相机组件，该专利和该公开的内容通过引用并入本文。

由相机组件44生成的图像数据48可以被传送到虚拟现实(VR)计算单元14，并且可以由VR或图像渲染单元30处理。图像数据48可以包括静态照片或图像数据以及视频数据。如本领域中已知的，VR渲染单元30可以包括用于处理图像数据的合适的硬件和软件，并且然后渲染图像数据以供显示单元12显示。此外，VR渲染单元30可以将从相机组件44接收到的图像数据与和相机组件中相机的位置和姿态相关联的信息以及和外科医生头部的位置和姿态相关联的信息相结合。利用此信息，VR渲染单元30可以生成输出视频或图像渲染信号，并将此信号传输到显示单元12。也就是说，VR渲染单元30渲染手动控制器的位置和姿态读数以及外科医生的头部位置以供在显示单元中显示，例如在由外科医生佩戴的HMD中显示。

VR计算单元14还可以包括虚拟现实(VR)相机单元38，用于生成一个或多个虚拟现实(VR)相机以在显示单元12中显示的VR世界中使用或安置。VR相机单元38可以在虚拟世界中生成一个或多个虚拟相机，并且该一个或多个虚拟相机可以被系统10用来为头戴式显示器渲染图像。这确保了VR相机总是渲染与佩戴头戴式显示器的用户看到的立方体贴图相同的视图。在一个实施方案中，可以使用单个VR相机，并且在另一实施方案中，可以使用单独的左眼和右眼VR相机来渲染到显示器中的单独的左眼和右眼立方体贴图上，以提供立体视图。VR相机的FOV设置可将其自身自配置为由相机组件44发布的FOV。除了为实况相机视图或图像数据提供上下文背景之外，立方体贴图还可以用于生成虚拟物体上的动态反射。这种效果允许虚拟物体上的反射表面从立方体贴图中拾取反射，使这些物体在用户看来好像它们实际上反映了真实世界的环境。

机械臂42可以由形成关节的多个机械连接的致动区段或部分构成，这些致动区段或部分可以被构造和组合用于旋转和/或铰接移动，以模仿人类手臂的不同部分，例如手臂的肩部区域、肘部区域和腕部区域。机械臂的致动器区段被构造成提供例如电缆驱动的旋转移动，但是在合理的旋转限制的范围内。致动器区段被配置为以最小的尺寸提供最大的扭矩和速度。

图2是本公开的机器人子系统20的相机组件44的进一步详细视图。所示相机组件44可以包括相机60A和60B，用于提供外科部位的立体视图。相机可以包括已知的元件，包括镜头和相关联的光学器件、图像传感器、控制器等。因此，相机组件可以包括例如自动聚焦单元62，用于对相机60A、60B的镜头进行自动聚焦。虽然示出为单独的单元，但是自动聚焦单元62可以包括在每个相机中。控制器64可以响应于从计算单元18和/或电机单元40接收到的控制信号，提供用于控制自动聚焦单元62以及相机62A、62B的控制信号。

所示相机组件44展示了两个附加性质，这两个性质使得自动聚焦单元62比市场上的其他装置更重要。首先，相机组件44在正常操作中有更多的移动，这使得需要更快速地聚焦在不同的位置上。第二，自动聚焦单元62可以采用一种镜头系统，该镜头系统利用了比其他情况下所需的更窄的景深。这样，自动聚焦单元62可以采用更便宜的镜头元件，同时在聚焦区域提供更好的清晰度。

图3是机器人子系统20的机械臂42和相机组件44的总体示意性表示。机械臂42可以包括例如单独的机械臂42A和42B。机械臂42A、42B中的每一者可以分别包括端部执行器或抓钳46A、46B。

控制器64可以使用或采用从电机单元40和从与系统相关联的任何传感器(例如从传感器和跟踪单元16、16A)接收到的位置信息，并且可以计算或确定期望焦距。在一个实施方案中，所利用的信息是从相机到当前在外科医生的视场中的机械臂42A、42B的每个端部执行器部分46A、46B的距离。控制器64还可以存储每个相机60A、60B的聚焦曲线，该聚焦曲线在工厂处在距离空间中被校准，并且每个相机的焦点可以由自动聚焦单元62调整为与外科医生使用机械臂42所观察的位置一致，作为预期视图中景深的最小位置。当系统10移动机械臂42或相机组件44时，相机60A、60B的焦点可以被相应地调整。

如图4所示，可以通过确定系统状态110(例如，手臂位置和相机位置)并且然后使用选定的加权算法112处理系统状态数据110来确定期望焦距。加权算法技术112可以被配置为以高度保真度匹配外科医生的感兴趣区域，并且然后在没有对场景的直接知识或来自外科医生的直接输入的情况下，用自动聚焦单元62将相机40A、40B聚焦在该区域上。加权算法可以确定期望焦距114。期望焦距114可以被传输到控制器64，该控制器然后可以利用各种方法(包括使用校准的聚焦曲线100)来为给定的期望焦深确定选定的聚焦命令116。聚焦命令116被发送到自动聚焦单元62，以改变相机的物理焦距。加权算法和相关联处理可以发生在计算单元18中。替代地，计算可以发生在相机控制器64中。

根据替代实施方案，外科机器人系统10可以采用滤波器来处理期望焦距114。如例如图5A所示，系统经由计算单元18可以采用加权算法技术112来生成期望焦距114。期望焦距114然后可以穿过可选的滤波器，诸如低通滤波器118，以减少聚焦数据的大的或快速的变化。低通滤波器118的强度可以通过头部运动的幅度来调整或改变(即，越多的头部运动使得滤波器越弱)。低通滤波器118的输出可以被传送到控制器64。替代地，滤波器可以定位在自动聚焦单元62的输出处，如图5B所示。值得注意的是，滤波器不限于低通滤波器，并且本公开考虑了其他已知的滤波器。

根据本公开的另一实践，期望焦距114可以在相机60A、60B之间改变。通过使相机60A、60B聚焦在距期望焦距114的位置处(例如，一个相机更近，并且另一相机更远)，当来自相机的图像被叠加时，可以创建具有更大景深的合成图像。

该系统可以通过获取机械臂的端部执行器部分与相机之间的距离并且通过采用与每个机械臂相关联的选定加权值来确定期望焦距。通过以选定的方式在数学上组合加权值，控制器64可以根据该加权值确定期望焦距114。相机组件44相对于每个端部执行器46A、46B的位置和姿态可以由相机组件的控制器64以及由控制单元26来确定。控制器64然后生成由自动聚焦单元62接收到的控制信号。作为响应，自动聚焦单元62根据已知技术生成用于改变、调整或控制相机60A的焦点或焦距的信号。当端部执行器与相机组件之间的距离改变时，自动聚焦单元62可以响应于该改变而自动调整相机的焦点或焦距。

根据一个实施方案，系统状态数据由加权算法单元处理，以调整输入对系统10的输出产生的相对影响。如例如图6A和图6B所示，由控制单元26生成定义机械臂和相机的位置(例如，姿势)的状态的系统状态数据110。系统状态数据110然后被引入到焦距计算器140，用于确定期望焦距114。焦距计算器140可以形成计算单元18的一部分，或者可以形成机器人子系统20的一部分。焦距计算器140可以包括数据提取器单元142，用于提取选定类型的数据并生成经处理的系统状态数据144。经处理的系统状态数据144被传送到加权算法单元146，用于将加权算法技术应用于系统状态数据144。加权算法单元146从系统状态数据生成期望焦距114。更具体地说，数据提取器单元142可以采用多个不同的距离计算单元来计算相机到每个机械臂的法线距离，包括例如左法线距离计算器单元142A和右法线距离计算器单元142B。例如，系统状态信息110可以包括引入到左法线距离计算器单元142A的左端部执行器位置和姿态信息以及左相机位置和姿态信息。

此外，系统状态信息110可以包括引入到右法向距离计算器单元142A的右端部执行器位置和姿态信息以及右相机位置和姿态信息。左法线距离计算器单元142A根据输入数据来计算左距离数据144A，该左距离数据指示左相机与左端部执行器之间的距离。类似地，右法线距离计算器单元142B根据对应的输入数据来计算右距离数据144B，该右距离数据指示右相机与右端部执行器之间的距离。距离数据144A、144B然后被引入加权算法单元146以供进一步处理。加权算法单元146可以包括焦距计算单元，该焦距计算单元使用下式来确定期望焦距114：

焦距＝(W₁*Z_L+W₂*Z_R)/(W₁+W₂)

其中W₁和W₂分别代表与左机械臂和右机械臂相关联的选定加权值，并且Z₁代表来自左法线距离计算单元142A的距离值144A，并且Z₂代表来自右法线距离计算单元142B的距离值144B。

这样，根据加权算法技术，每个机械臂被单独加权，并且然后通过除以这些值的权重之和使这些值归一化，使得计算出的期望焦距114在适当的范围内。根据加权算法技术的一个实施方案，权重W₁和W₂都是固定的并且等于一，使得加权算法有效地计算两个距离的平均值。根据加权算法技术的另一实施方案，两个机械臂的权重W₁和W₂可以改变，使得一个臂相对于另一臂在确定期望焦距114时变得更有影响力。在加权算法技术的又一实施方案中，两个机械臂的权重可以是基于其他系统参数的函数(即，不固定的)。系统参数可以包括例如端部执行器在相机的视场(FOV)中的居中程度、端部执行器状态(即，抓钳是打开的、闭合的或在其间的某处)、肘关节的位置，或系统可以测量并转送到焦距计算器单元140的任何另一参数。

可以由数据提取器单元142从系统状态数据110中提取系统参数。这种技术的示例例如在图6C中示出。在所示实施方案中，数据提取器单元142可以包括用于确定附加系统状态数据144的附加计算单元。附加系统状态数据144然后由加权算法单元146A处理。在利用端部执行器在相机视场中的居中程度时，数据提取器单元142使用端部执行器位置的X和Y分量以及该居中程度如何与相机的FOV相关的几何知识来计算给定端部执行器到FOV中心的距离。在此实施方案中，加权算法技术中给定端部执行器的权重是到FOV中心的距离的函数。例如，端部执行器越居中，该端部执行器的权重就越大。当物体在视野之外时，权重下降。这种依赖性可能是所希望的，因为用户更可能聚焦在FOV中心，并且因此更靠近中心的端部执行器可能与用户希望聚焦在那里相关。

相机组件的视场的示例例如在图7中示出。所示视场150具有中心152。机械臂42包括左机械臂42A和右机械臂42B，该左机械臂包括端部执行器或抓钳46A，该右机械臂具有右端部执行器或抓钳46B。该系统可以根据图像数据确定右机械臂和左机械臂居中距离数据R_Left和R_Right。

图8示出了可由本公开的控制单元采用的图表160。图表160示出了沿Y轴162的权重值和沿X轴164的距视场中心152的距离。可以看出，给予端部执行器的权重随着距FOV中心的距离增大而减小。在其他实施方案中，距FOV中心的距离与任何相关联权重之间的关系可以采用其他非线性形式，诸如多项式、对数、反指数或本领域已知的任何另一关系。

在又一实施方案中，每个机械臂42A、42B的权重可以取决于端部执行器处的抓钳的状态(例如，打开或闭合或在两者之间)。例如，如果用户正在闭合抓钳，则这可能指示用户正在执行他们希望在该端部执行器处观察的动作，并且因此希望该端部执行器对焦并因此被更重地加权。图9示出了可由本公开的控制单元采用的图表160。图表170示出了沿Y轴172的权重值和沿X轴174的抓钳状态。抓钳状态可以在闭合状态176与打开状态178之间改变。可以看出，给予端部执行器的权重随着抓钳从闭合状态转变到打开状态而减小。在其他实施方案中，抓钳状态与任何相关联权重之间的关系可以采用其他非线性形式，诸如多项式、对数、反指数或本领域已知的任何另一关系。

在其他实施方案中，较大的权重可应用于较远的端部执行器。这将输出偏置到距物体较远，以允许背景比前景更可见。这有效地产生了对端部执行器的深度的二阶(或更高)依赖性。

如图10A至图10C所示，在某些情况下，希望限制自动聚焦调整。例如，在缝合或其他操作过程中，当端部执行器朝向患者移动时，希望降低焦点调整的速度。当机械臂的端部执行器远离患者或目标位置移动(例如，向外移动)时，焦点调整应该是快速的，而当端部执行器朝向患者或目标位置移动时，焦点调整应该是较慢的。这种自动对焦速度的差异提供了更强的自动对焦性能以及更清晰的背景图像。较小的移动(诸如缝合)引起实际设置焦点位置的最小变化，而较大的移动引起骤然的变化。此行为可以使用对正移动的影响多于(强于)负移动的权重来生成。具有高权重I/D项的比例-积分-微分(PID)控制可能会以在较低的移动变化时不提供太大的变化的方式影响负移动。图10A示出了这种运动的示例，在该运动中，焦点稍微在组织的前面。

如图10B所示，组织正在被操纵，并且希望焦点保持靠近目标。也就是说，图10B示出了不协调的手部移动或缝合。例如，如果外科医生开始缝合，则不希望立即改变焦点，并且焦点应该保持比手臂中心位置更靠近组织。因此，在快速移动期间，可以将大的滤波器应用于自动聚焦计算。图10C示出了引起焦点位置朝向任务挪动的较长运动的示例。在此示例中，端部执行器(抓钳)合起来越近，焦点可以前进得越快。端部执行器的接近度是协调移动的指示。

此外，权重W₁和W₂是多个系统参数的函数，并且可以是多个参数的各个权重的简单乘性函数。乘性权重的示例如下：

W₁＝wLC*wLG*wLZ

其中W₁是左端部执行器的总权重，wLC是左臂到FOV中心的距离的权重，wLG是左抓钳的打开/闭合状态的权重，并且wLZ是左端部执行器的深度的权重。

在其他实施方案中，附加距离可以被结合到加权算法技术中，该附加距离例如肘部距离、背景距离和距自动聚焦算法的距离。合适的加权算法技术的示例例如在图11中示出。所示焦距计算器单元140可以包括所示数据提取器单元142和所示加权算法单元146。在当前所示示例中，机械臂的肘关节是被加权的附加感兴趣点。根据一种实践，肘关节可以具有与其相关联的权重值，该权重值小于与端部执行器相关联的权重值。这是合乎需要的，因为当单独观察肘关节时，在端部效应器位于FOV之外的情况下，加权算法技术的输出可能受肘关节离开相机的距离支配。

此外，当用户在肘关节位于视图内的情况下观看端部执行器部分时，与肘关节相关联的权重值可能远远小于与端部执行器相关联的权重值，并且因此输出可能受端部执行器的距离支配。在其他实施方案中，焦距计算器140可以从相机组件接收图像数据作为输入，并利用PDAF或另一自动聚焦算法来计算自动聚焦距离，以将图像聚焦。这在其他加权值降至零(或者在一些实施方案中降至一)的情况下可能特别有用。在又其他实施方案中，进入加权算法的输入可以包括根据相机的立体图像数据计算出的三维深度信息，以计算到图像背景的距离，并且然后在期望焦距114的计算中使用该信息作为另一输入。这可以将期望焦距114偏置为更接近背景，并且可以有助于通过聚焦得更远来扩展景深。

视场可以由相机中的光学元件来确定。每个相机也可以在工厂进行测试，以确保FOV在正常范围内(例如，在规定值的60601+-15％对角线内)。此外，随着焦点的改变，相机的FOV也会改变。可以基于镜头元件来计算相对于焦点的FOV变化的补偿曲线。

焦距计算器单元140因此获得每个感兴趣位置(例如，肘关节、抓钳、背景等)的权重，并且然后将该权重乘以感兴趣位置与相机指向矢量的点积。在其他实施方案中，系统可以计算来自相机的影响球，该影响球基于该球中的位置来提供权重值。视图中的区域可以被分配以具有与其相关联的较大的加权值，其中加权值可以在球的中心处达到峰值。由于相机不生成球形窗口，而是生成矩形，因此位置不是纯点积，并且因此需要基于轴位置进行加权。这样，由于X轴具有更大的视场，所以沿着相机的X轴的移动可能比沿着Y轴的移动具有更弱的梯度。

应当注意，在一些实施方案中，加权算法可以采取不同于上述归一化线性组合的形式。加权算法还可以采用任何选定类型的滤波器来将状态数据组合成期望焦距，例如卡尔曼(Kalman)滤波器或者甚至机器学习技术，以帮助基于系统状态数据确定期望焦距。

图12是图示了由外科机器人系统10用以基于一个或多个系统参数对相机组件44的相机进行自动聚焦的步骤或方法的示意性流程图。如图所示，外科机器人系统的选定部件的原始位置数据(例如传感器(例如，磁力计和IMU)和其他控制输入)被聚合并存储在存储单元24中(步骤70)。位置数据可以由控制单元26和/或控制器64用来确定机械臂42A、42B中的每一者和相机组件44在三维空间中的姿势或位置(步骤72)。

也就是说，控制器可以使用直接测量技术或间接测量技术来计算机械臂的位置。根据直接测量技术，机械臂42A、42B和相机60A、60B各自与位于最远侧关节的绝对传感器相关联。绝对传感器可以在六个自由度(例如，X、Y、Z、偏航、俯仰和翻滚)上测量机械臂的最远侧端部相对于空间中共同原点的位置和姿态。此传感器使控制器能够简单地确定机械臂和相机的相对位置和姿态。适用于本公开的绝对传感器的示例可以包括交变磁场跟踪(诸如结合在由Polhemus拥有的技术中的交变磁场跟踪)、光学跟踪方法和IMU，以及本领域中已知的其他绝对传感器。

根据间接测量技术，根据系统中已知的其他参数，例如通过臂中每个关节的各个角度，来估计机械臂和相机的姿势和位置。然后，将每个关节角度输入到机械臂的正向运动学模型中，以计算机器人的最远侧端部或相机在六个自由度中的位置和姿态。可以通过多种方式测量机械臂或相机的位置，但所有方式都依赖于对系统状态的了解。根据一种实践，如例如图13所示，在电缆驱动的外科机器人系统中，控制器确定电缆的状态，并且然后使用该信息来估计机械臂中每个关节的位置。众所周知，机械臂中采用的每根电缆都改变特定的关节位置，并且因此对机械臂和相机组件的位置具有可计算的影响。

例如，该系统可以采用定位在电机单元40的输出上的合适的位置传感器，诸如霍尔效应传感器或电位计，该位置传感器控制用于机械臂的给定关节或相机的驱动电缆。在此示例中，基于机械臂的关节中采用的任何电机滑轮和驱动滑轮的几何形状(例如，半径)，电机的运动与机器人关节的运动的比率是已知并且固定的。因此，系统可以确定当电机旋转X度时，机器人关节移动Y度，其中Y＝X*R，并且其中R是上述比率。这样，控制单元26可以确定机械臂中的每个机械臂的关节的电机位置120。控制单元26还通过使用选定的关节比率122来确定机械臂中所有关节的关节位置124，该关节比率可以定义为Rj/Rm，其中Rj是关节的半径并且Rm是电机的半径。然后，此计算出的关节位置124和关节的相关联运动可以被输入到正向运动学模型126中，以计算机械臂的最远侧部分的位置和姿态128。当假设电缆较硬并且作用在电缆上的摩擦力较低时，这种方法效果最好。

根据一个实施方案，如图14所示，机器人关节的角位置可以经由直接附接在关节处的传感器来测量。这可以包括霍尔效应传感器阵列、电位计或本领域已知的其他方法当电缆不是很硬或者作用在电缆上的摩擦力较高时，这种类型的接头测量可能有助于电缆驱动系统。在一个示例中，嵌入机械臂的关节中的霍尔效应传感器阵列测量嵌入关节的相对一侧中的磁体的旋转位置，从而能够直接测量该关节的角位置。这样，系统可以经由传感器确定机械臂的关节位置130。关节位置130可以被引入到正向运动学模型126，该正向运动学模型处理关节位置数据以计算或确定机械臂的最远侧部分的机器人位置和姿态128。

在所有间接测量方法和技术中，手臂机器人和相机组件的正向运动学模型126指的是共同原点和坐标系。这可以通过利用机械臂与相机组件之间的几何关系或几何量的知识来完成，并且可以用作正向运动学模型126中的附加参数。这在直接测量技术中不是必要的，因为该直接测量技术已经固有地测量回共同原点。

不管采用哪种技术来确定机器人位置和姿态，一旦计算出机械臂的端部执行器的位置和姿态以及相机的位置和姿态，就可以计算出相机与每个单独的端部执行器之间的距离。此外，可以将间接测量技术和直接测量技术混合。例如，可以直接测量相机组件，并且可以间接测量机械臂，反之亦然。在其他实施方案中，测量技术混合在一个系统中。例如，机器人可以将霍尔效应传感器用于一个关节，并将电机-电缆测量技术用于同一机器人上的另一关节。

在系统10确定了机械臂42A、42B中的每一者和相机组件44的姿势或位置的情况下，相机组件44与机械臂的端部执行器46A、46B两者的距离可以由控制单元26确定或计算(步骤74)。一旦计算出机械臂的端部执行器的位置和姿态以及相机的位置和姿态，就可以计算出相机与每个单独的端部执行器之间的距离。这可以以不同的方式计算，包括采用已知的数学关系，诸如毕达哥拉斯定理(三维)、四元数旋转和平移、向量和点积，以及本领域已知的许多其他方法。如果采用毕达哥拉斯定理，则该定理确定X、Y和Z坐标，并且然后以下列方式计算点到点的距离：

Darm_to_Camera＝sqrt[(XEE-XC)2+(YEE-YC)2+(ZEE-ZC)2],

其中XEE、YEE和ZEE是机械臂的远侧端部执行器的坐标，并且XC、YC和ZC是相机的坐标。矢量和点积方法利用来自相机视线(其可以直接从相机在给定状态下的取向和几何形状确定)的矢量与在相机处开始并在端部执行器处结束的矢量的点积。这产生端部效应器与相机之间的正交于相机视线的距离。此同一距离可以通过利用四元数旋转和平移将端部执行器的位置和姿态(X、Y、Z、偏航、俯仰、翻滚)与相机放置在同一坐标系中来计算。一旦执行了此操作，在此新的坐标系中，端部执行器的Z项(正交于相机的方向)就是端部执行器与相机之间的正交于相机视线的距离。

此外，视场(FOV)由相机组件中的光学元件决定。相机组件44中的每个相机60A、60B可以在工厂进行测试，以确保FOV在可接受的范围内。此外，由于FOV变化与焦点的变化直接相关，所以可以基于由相机采用的光学镜头组来计算相对于焦点的FOV变化的补偿曲线。

控制器64然后可以生成由自动聚焦单元62接收到的控制信号，并且自动聚焦单元可以自动调整相机42A、42B的焦点(步骤84)。此外，系统10还可允许外科医生或用户也手动调整相机的焦点(步骤80)。此外，相机组件的相机的聚焦曲线可以预存储在存储元件24中(步骤82)。聚焦曲线是聚焦控制器如何将期望焦距114转换成系统可用来实现该期望焦距的命令的示例。这样，期望焦距114可以经由聚焦元件相对于焦距的位置的查找表或合适函数来实现。众所周知，每个相机都需要校准镜头，以允许根据物体的距离来调整焦距。

图15是可以与外科机器人系统10的相机60A、60B相关联的一种类型的聚焦曲线90的示例。如聚焦曲线90所示，随着距离幅度校正(DAC)值改变，到聚焦的最佳距离也改变。如图所示，更靠近相机的目标需要更大的变化。这归因于所命令的电流与镜头移动成反比关系的音圈模块(VCM)的设计，并且距离越远，VCM所需的变化变得越小。

图16是图示相机组件44的相机的所限定聚焦区域的曲线。所示聚焦曲线100包括在不同距离处彼此重叠的多个目标。所示曲线100在所有距离上的峰值如上所示。请注意，仅仅因为距离越远，峰值越大，并不意味着图像越清晰。而是，曲线相对于该数字的距离的宽度才是重要的。

相机组件44的相机的聚焦曲线可以在工厂生成并预存储在距离空间中，并且可以被应用，并且相机的焦点被调整到外科医生使用机械臂所观察的位置，作为预期场景中的景深上的最小位置。如本文所用，术语距离空间旨在描述空间中的物理距离。

相机组件44的相机60A、60B可以在用于本公开的外科机器人系统10之前在工厂进行校准和设置。本公开的相机组件44被配置为聚焦于外科医生正在做的事情(例如，外科部位)，同时保持机械臂可能的最大运动范围。相机组件44的校准可以在工厂进行，并且可以包括选定的测试以确定相机60A、60B的分辨率。由于相机的放置以及需要将相机数据记录到选定的存储器中，所以相机的校准可能发生在最终组装之后。

在校准期间，每个相机的输出数据可以被累积并存储在查找表中。查找表可以与例如每个相机和相关联的镜头组件相关联。校准相机的过程如下。相机可以被附接到电机单元并锁定到选定的支撑固定装置中，该支撑固定装置控制相机和相关联传感器的姿态和位置。单轴载物台用于将目标与相机的距离从约5cm改变到约20cm，以在此范围内的所有距离处校准相机。可以使用并且可以调整相机组件中的相机之间的10mm的间隔距离。校准目标优选地具有尖锐的边缘，并且是经校准的分辨率目标。用各种VCM电流扫描每个位置，以获得由图像中心区域的拉普拉斯算子(Laplacian)的方差确定的最高分辨率分数。从中心50％到中心10％的感兴趣区域可以从约50mm与约200mm之间的距离以线性形式执行。校准的输出数据可以用来形成聚焦曲线90。

Claims (20)

1.一种外科机器人系统，所述外科机器人系统包括：

传感器单元；

控制器；以及

机器人子系统，所述机器人子系统与所述传感器单元和所述控制器通信，所述机器人子系统包括：

多个机械臂，每个机械臂在其远侧端部处具有端部执行器；

相机组件，所述相机组件具有至少两个相机和自动聚焦单元，所述自动聚焦单元被配置为自动聚焦所述至少两个相机中的每个相机的镜头。

2.如权利要求1所述的外科机器人系统，其中：

所述控制器被配置为基于从所述传感器单元接收到的所述至少两个相机和所述多个机械臂的状态信息来计算期望焦距；并且

所述自动聚焦单元被配置为基于所述期望焦距来自动聚焦所述至少两个相机中的每个相机的所述镜头。

3.如权利要求2所述的外科机器人系统，其中所述状态信息包括从每个相机到所述多个机械臂的在外科医生的视场内的每个端部执行器的距离。

4.如权利要求2所述的外科机器人系统，其中所述状态信息包括每个相机和每个机械臂的所述端部执行器的位置信息和姿态信息。

5.如权利要求2所述的外科机器人系统，其中基于计算出的期望焦距，所述控制器被配置为根据特定焦深来确定聚焦命令。

6.如权利要求5所述的外科机器人系统，其中所述控制器被配置为将所述聚焦命令传输到所述自动聚焦单元，并且作为响应，所述自动聚焦单元被配置为调整每个相机的物理焦距以聚焦每个相机的所述镜头。

7.如权利要求5所述的外科机器人系统，其中所述控制器被配置为对所述期望焦距进行滤波以减少聚焦数据的快速变化。

8.如权利要求7所述的外科机器人系统，其中用于对所述期望焦距进行滤波的滤波器的强度基于外科医生的头部运动的幅度而改变。

9.如权利要求2所述的外科机器人系统，其中针对所述至少两个相机中的每个相机计算不同的期望焦距。

10.如权利要求2所述的外科机器人系统，其中使用加权算法来进一步计算所述期望焦距。

11.如权利要求10所述的外科机器人系统，其中在所述加权算法中，每个机械臂被不同地加权。

12.如权利要求11所述的外科机器人系统，其中每个机械臂的权重是基于系统参数的函数。

13.如权利要求12所述的外科机器人系统，其中每个机械臂包括多个关节。

14.如权利要求13所述的外科机器人系统，其中所述多个关节包括肩关节、肘关节以及腕关节。

15.如权利要求14所述的外科机器人系统，其中所述系统参数包括距每个相机的视场中的每个端部执行器中心的距离、每个端部执行器的状态以及所述肘关节的位置。

16.如权利要求2所述的外科机器人系统，其中焦点调整速度随着每个端部执行器从目标位置向外移动而提高。

17.如权利要求2所述的外科机器人系统，其中焦点调整速度随着每个端部执行器朝向目标位置移动而降低。

18.一种机器人子系统，所述机器人子系统包括：

多个机械臂，每个机械臂在其远侧端部处具有端部执行器；

相机组件，所述相机组件包括：

至少两个相机；

控制器；以及

自动聚焦单元，所述自动聚焦单元被配置为自动聚焦所述至少两个相机中的每个相机的镜头，

其中所述控制器被配置为基于从传感器单元接收到的所述至少两个相机和所述多个机械臂的状态信息来计算期望焦距，并且

其中所述自动聚焦单元被配置为基于所述期望焦距来自动聚焦所述至少两个相机中的每个相机的所述镜头。

19.如权利要求18所述的机器人子系统，其中焦点调整速度随着所述机械臂从目标位置向外移动而提高，并且随着所述机械臂朝向所述目标位置向内移动而降低。

20.如权利要求18所述的机器人子系统，其中所述状态信息包括以下各项中的至少一项：从每个相机到所述多个机械臂的在外科医生的视场内的每个端部执行器的距离，以及所述至少两个相机和所述多个机械臂的每个端部执行器的位置信息和姿态信息。