[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117297773A - 手术器械控制方法、手术机器人和存储介质 - Google Patents

手术器械控制方法、手术机器人和存储介质 Download PDF

Info

Publication number
CN117297773A
CN117297773A CN202210715323.3A CN202210715323A CN117297773A CN 117297773 A CN117297773 A CN 117297773A CN 202210715323 A CN202210715323 A CN 202210715323A CN 117297773 A CN117297773 A CN 117297773A
Authority
CN
China
Prior art keywords
surgical instrument
instrument
tail end
real
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210715323.3A
Other languages
English (en)
Inventor
请求不公布姓名
王家寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202210715323.3A priority Critical patent/CN117297773A/zh
Publication of CN117297773A publication Critical patent/CN117297773A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种手术器械控制方法、手术机器人和存储介质，该方法包括在初始化阶段，控制器械末端运动至目标构型，并获取内窥镜采集的患者体内场景图像；根据患者体内场景图像，获取器械末端的实际位姿信息；根据器械末端的实际位姿信息以及目标位姿信息，获取器械末端的位姿偏差信息；判断器械末端的位姿偏差是否大于第一预设阈值；若是，则在控制阶段，基于内窥镜采集的实时患者体内场景图像获取器械末端的实时位姿信息。本发明可以实现对手术器械的精确控制。

Description

手术器械控制方法、手术机器人和存储介质
技术领域
本发明涉及手术机器人技术领域，特别涉及一种手术器械控制方法、手术机器人和存储介质。
背景技术
手术机器人其设计理念是采用微创伤方式，精准地实施复杂的外科手术。在传统手术面临种种局限的情况下，发展出了手术机器人来替代传统手术，手术机器人突破了人眼的局限，采用立体成像技术，将内部器官更加清晰的呈现给操作者。在原来手伸不进的区域，机器手能完成360度转动、挪动、俯仰、夹持，并避免抖动。手术机器人执行手术具有创口小、出血少、恢复快的优点，能够大大缩短患者术后住院时间，患者术后存活率和康复率也能明显提高。手术机器人作为一种高端医疗器械，受到广大医患的青睐，已广泛运用于各种临床手术中。
腹腔镜手术机器人包括医生控制台和患者台车，其中，医生控制台由外科医生操作以产生并传输必要的信号；患者台车接收来自医生控制台的信号，以对患者进行实际操作。进一步地，医生控制台上安装有操作主手，外科医生可以通过操纵操作主手来控制安装于患者台车上的机械臂以及挂载于机械臂的末端的手术器械和内窥镜进行相应运动。
现有技术中，用于驱动手术器械进行运动的驱动器的安装位置远离手术器械的各个关节的位置，驱动器和对应的关节之间通过丝传动实现力和位移的传输。由于手术器械的器械末端空间狭小，无法集成获取器械末端运动信息的传感器设备，因此，现有技术中大多通过丝传动模型，进行运动模型参数辨识，获取对应关节的位置。然而手术器械上的传动丝随着使用次数增加会存在蠕变现象，导致丝传动模型不准确，因此通过采用驱动器提供的数据来实现器械末端的位姿控制，会导致器械末端的实际位姿与指令位置之间产生偏差，最终影响手术器械的器械末端的控制精度。
需要说明的是，公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种手术器械控制方法、手术机器人和存储介质，可以解决现有技术中，通过采用驱动器提供的数据来实现手术器械末端的位姿控制，会影响手术器械末端的控制精度的问题。
为解决上述技术问题，本发明提供一种手术器械控制方法，应用于手术机器人，其中，所述手术机器人包括至少一条机械臂，其中至少一条所述机械臂的末端安装有手术器械和内窥镜，所述手术器械控制方法包括：
在初始化阶段，控制所述手术器械末端运动至目标构型，并获取所述内窥镜采集的患者体内场景图像；
根据所述患者体内场景图像，获取所述手术器械末端的实际位姿信息；
根据所述手术器械末端的实际位姿信息以及目标位姿信息，获取所述手术器械末端的位姿偏差信息；
判断所述手术器械末端的位姿偏差是否大于第一预设阈值；
若是，则在控制阶段，基于所述内窥镜采集的实时患者体内场景图像获取所述手术器械末端的实时位姿信息，以实现对所述手术器械的控制。
可选的，所述手术器械包括器械盒和器械末端，所述器械盒包括至少一个驱动轴，所述驱动轴与所述器械末端之间传动连接，所述控制方法还包括：
若所述手术器械末端的位姿偏差小于或等于所述第一预设阈值，则在所述控制阶段，基于各个所述驱动轴的实时位姿信息获取所述器械末端的实时位姿信息，以实现对所述手术器械的控制。
可选的，所述根据所述患者体内场景图像，获取所述手术器械末端的实际位姿信息，包括：
对所述患者体内场景图像进行特征点的识别，以识别出至少三个位于所述手术器械末端上的目标特征点；
根据所述目标特征点的实际位置信息，获取所述手术器械末端的实际位姿信息。
可选的，所述根据所述目标特征点的实际位置信息，获取所述手术器械末端的实际位姿信息，包括：
根据所述目标特征点在内窥镜坐标系下的实际位置信息以及所述内窥镜坐标系与基准坐标系之间的映射关系，获取所述目标特征点在所述基准坐标系下的实际位置信息；
根据所述目标特征点在所述基准坐标系下的实际位置信息以及预先获取的所述手术器械末端的几何参数信息，获取所述手术器械末端在所述基准坐标系下的实际位姿信息。
可选的，所述手术器械包括器械盒和器械末端，所述器械盒包括至少一个驱动轴，所述驱动轴与所述器械末端之间传动连接，所述器械末端包括至少一个关节，所述驱动轴与对应的所述关节之间传动连接；
所述根据所述患者体内场景图像，获取所述手术器械末端的实际位姿信息，包括：
对所述患者体内场景图像进行特征点的识别，以识别出所述器械末端的每个所述关节上的目标特征点；
根据所述器械末端的各个关节上的所述目标特征点的实际位置信息以及预先获取的所述器械末端的几何参数信息，获取所述器械末端的各个关节的实际位姿信息；
所述根据所述手术器械末端的实际位姿信息以及目标位姿信息，获取所述手术器械末端的位姿偏差信息，包括：
针对所述器械末端的每个关节，根据该关节的实际位姿信息以及目标位姿信息，获取该关节的位姿偏差信息。
可选的，所述判断所述手术器械末端的位姿偏差是否大于第一预设阈值，包括：
针对所述器械末端的每个关节，判断该关节的位姿偏差是否大于第一预设阈值；
所述若是，则在控制阶段，基于所述内窥镜采集的实时患者体内场景图像获取所述器械末端的实时位姿信息，包括：
若至少一个所述关节的位姿偏差大于所述第一预设阈值，则在控制阶段，基于所述内窥镜采集的实时患者体内场景图像获取所述器械末端的实时位姿信息。
可选的，所述关节上的目标特征点为所述关节的轴线方向上的端点。
可选的，所述基于所述内窥镜采集的实时患者体内场景图像获取所述器械末端的实时位姿信息，以实现对所述手术器械的控制，包括：
根据所述内窥镜采集的实时患者体内场景图像，获取所述器械末端的每个关节的实时位姿信息；
针对所述器械末端的每个关节，根据该关节的实时位姿信息以及指令位姿信息，获取该关节的实时位姿偏差信息，并根据该关节的实时位姿偏差信息，控制该关节进行相应运动。
可选的，所述手术器械控制方法还包括：
在控制所述器械末端运动至目标构型的过程中，获取所述内窥镜采集的实时患者体内场景图像；
针对每个所述驱动轴，根据所述实时患者体内场景图像，对该驱动轴与所述器械末端之间的传动模型参数进行迭代更新，直至满足预设迭代结束条件，以获取更新后的传动模型参数；
所述基于各个所述驱动轴的实时位姿信息获取所述器械末端的实时位姿信息，包括：
基于各个所述驱动轴所对应的更新后的传动模型参数以及各个驱动轴的实时位姿信息，获取所述器械末端的实时位姿信息。
可选的，所述预设迭代结束条件为当前迭代所得到的传动模型参数与上一次迭代所得到的传动模型参数之间的直线距离小于第二预设阈值。
可选的，所述手术器械控制方法还包括：
判断所述手术器械末端是否超出所述内窥镜的工作视野范围；
若是，则进入调整模式，直至所述器械末端处于所述内窥镜的工作视野范围内；和/或，则进入锁定模式，以使所述手术器械进入锁定状态，直至所述手术器械末端处于所述内窥镜的工作视野范围内。
可选的，所述手术器械控制方法还包括：
若所述器械末端被患者体内的组织遮挡，则对医生控制台上的主控制臂的姿态关节进行锁定，直至所述手术器械末端不再被所述患者体内的组织遮挡；或者
则基于所述手术器械上的各个所述驱动轴的实时位姿信息获取所述手术器械末端的实时位姿信息，以实现对所述手术器械的控制。
为解决上述技术问题，本发明还提供一种手术机器人，包括信连接的医生控制台、患者台车和控制器，所述医生控制台和所述患者台车具有主从控制关系，所述患者台车包括至少一条机械臂，其中至少一条所述机械臂的末端安装有手术器械和内窥镜，所述控制器被配置为用于实现上文所述的手术器械控制方法。
为解决上述技术问题，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的手术器械控制方法。
与现有技术相比，本发明提供的手术器械控制方法、手术机器人和存储介质具有以下优点：
本发明提供的手术器械控制方法通过在初始化阶段，先控制所述手术器械末端运动至目标构型，并获取所述内窥镜采集的患者体内场景图像；再根据所述患者体内场景图像，获取所述手术器械末端的实际位姿信息；然后根据所述手术器械末端的实际位姿信息以及目标位姿信息，获取所述手术器械末端的位姿偏差信息；最后判断所述手术器械末端的位姿偏差是否大于第一预设阈值；若判断结果为是，则在控制阶段，基于所述内窥镜采集的实时患者体内场景图像获取所述器械末端的实时位姿信息，以实现对所述手术器械的控制。当所述手术器械末端的位姿偏差大于第一预设阈值时，说明所述手术器械末端的实际位姿与目标位姿相差较大，也即用于驱动器械末端进行运动的驱动轴和器械末端之间的传动模型不是很准确，因此，在此种情况下，基于所述内窥镜采集的实时患者体内场景图像获取所述手术器械末端的实时位姿信息进行手术器械的控制，可以达到较高的控制精度。由此可见，本发明提供的手术器械控制方法能够有效解决现有技术中通过采用驱动器提供的数据来实现手术器械末端的位姿控制，会影响手术器械末端的控制精度的问题。
进一步地，所述手术器械包括器械盒和器械末端，所述器械盒包括至少一个驱动轴，所述驱动轴与所述器械末端之间传动连接，所述控制方法还包括：若所述手术器械末端的位姿偏差小于或等于所述第一预设阈值，则在所述控制阶段，基于各个所述驱动轴的实时位姿信息获取所述器械末端的实时位姿信息，以实现对所述手术器械的控制。由于当所述手术器械末端的位姿偏差小于或等于第一预设阈值时，说明所述手术器械末端的实际位姿与目标位姿较为接近，也即用于驱动器械末端进行运动的驱动轴和器械末端之间的传动模型较为准确，因此，在此种情况下，基于各个所述驱动轴的实时位姿信息获取所述器械末端的实时位姿信息进行手术器械的控制，可以达到较高的控制精度。
由于本发明提供的手术机器人和存储介质与本发明提供的手术器械控制方法属于同一发明构思，因此本发明提供的手术机器人和存储介质具有本发明提供的手术器械控制方法的所有优点，故不再对本发明提供的手术机器人和存储介质所具有的优点进行一一赘述。
附图说明
图1为本发明一实施方式提供的手术机器人的应用场景示意图；
图2为本发明一实施方式提供的患者台车的结构示意图；
图3为本发明一实施方式提供的单孔腔镜机器人的多器械配配合的示意图；
图4为本发明一实施方式提供的医生控制台的结构示意图；
图5为本发明一实施方式提供的手术器械的安装示意图；
图6为本发明一实施方式提供的器械末端的结构示意图；
图7为本发明一实施方式提供的丝传动组件的传动示意图；
图8为本发明一实施方式提供的内窥镜的结构示意图；
图9为本发明一实施方式提供的手术器械控制方法的流程示意图；
图10为本发明一实施方式提供的目标特征点的定位原理示意图；
图11为本发明一实施方式提供的获取所述器械末端的位姿偏差的原理示意图；
图12为本发明一实施方式提供的目标特征点的示意图；
图13为本发明一实施方式提供的目标特征点的识别结果的显示示意图；
图14为本发明一实施方式提供的手术器械控制方式的交互示意图；
图15为本发明一实施方式提供的采用图像控制模式进行手术器械控制的原理图；
图16为本发明一实施方式提供的更新传动模型参数的示意图；
图17为本发明一实施方式提供的采用解耦控制模式进行手术器械控制的原理图；
图18为本发明一实施方式提供的器械末端被遮挡时的示意图；
图19为本发明一实施方式提供的判断所述器械末端是否超出所述内窥镜的工作视野范围的流程示意图。
其中，附图标记如下：
医生控制台-100；主控制臂-110；第二显示单元-120；
患者台车-200；底座-210；机械臂-220；
图像台车-300；第一显示单元-310；
手术器械-400；器械盒-410；驱动轴-411；器械末端-420；末端基座-421；执行器基座-422；末端执行器-423；俯仰关节-424；偏摆关节-425；器械杆-430；丝传动组件-440；主动轮-441；传动丝-442；导向轮-443；从动轮-444；
内窥镜-500；连杆-510；镜头-520；成像光纤-530；冷光源-540；
工具台车-600；
辅助台车-700；
动力盒-800；
控制器-900。
具体实施方式
以下结合附图和具体实施方式对本发明提出的手术器械控制方法、手术机器人和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在与本发明所能产生的功效及所能达成的目的相同或近似的情况下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
此外，在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
本发明的核心思想在于提供一种手术器械控制方法、手术机器人和存储介质，以解决现有技术中，通过采用驱动器提供的数据来实现手术器械末端的位姿控制，会影响手术器械末端的控制精度的问题。
需要说明的是，本发明中所称的近端是指靠近操作者的一端，所称的远端是指远离操作者的一端，本文中所称的器械末端即为手术器械末端。此外，需要说明的的是，虽然本文是以所述手术器械控制方法应用于具有主从控制关系的手术机器人为例进行说明，但是如本领域技术人员所能理解的，本发明提供的手术器械控制方法还可以应用于不具有主从控制关系的手术机器人，本发明对此并不进行限定。
实施例一
为实现上述思想，本实施例提供一种手术器械控制方法，应用于手术机器人。请参考图1，其示意性地给出了本实施例一实施方式提供的手术机器人的应用场景示意图，如图1所示，所述手术机器人包括通信连接的医生控制台100、患者台车200和图像台车300。
请继续参考图2，其示意性地给出了本实施例一实施方式提供的患者台车的结构示意图。如图2所示，所述患者台车200包括底座210以及安装于所述底座210上的至少一条机械臂220，其中，至少一条所述机械臂220的末端安装有手术器械400，至少一条所述机械臂220的末端安装有内窥镜500。需要说明的是，如本领域技术人员所能理解的，当所述底座210上仅设有一条机械臂220时，所述手术器械400和所述内窥镜可以安装于同一条机械臂220上；当所述底座210上仅设有多条机械臂220时，所述手术器械400和所述内窥镜可以安装于不同的机械臂22上。请参考图3，其示意性地给出了本实施例一实施方式提供的单孔腔镜机器人的多器械配配合的示意图。如图3所示，所述单孔腔镜机器人包括一条机械臂，所述机械臂的末端安装有一柔性内窥镜500和至少一蛇形柔性手术器械400。
具体地，所述手术器械400和所述内窥镜500可以通过患者表面的戳卡孔伸入到患者体内。通过所述内窥镜500可以采集患者体内场景图像，具体包括获取人体组织器官、手术器械400、血管以及体液等手术场景图像信息，所采集的患者体内场景图像能够被传递至所述图像台车300的第一显示单元310(为了便于区分，将图像台车300上的显示部件以第一显示单元310表示，将医生控制台100上的显示部件以第二显示单元120表示)上进行显示。
请继续参考图4，其示意性地给出了本实施例一实施方式提供的医生控制台的结构示意图。如图4所示，所述医生控制台100包括至少一条主控制臂110。在手术过程中，坐在所述医生控制台100的操作者(即医生)通过操纵所述主控制臂110可以控制位于所述机械臂220上的手术器械400和内窥镜500进行运动，完成各种操作，从而达到为患者做手术的目的。在实际操作过程中，操作者通过所述医生控制台100上的第二显示单元120观察传回的患者体内场景图像，通过操纵所述主控制臂110控制位于所述机械臂220上的手术器械400和内窥镜500进行运动。
请继续参考图1，如图1所示，在一种示范性的实施方式中，所述手术机器人还包括用于存放手术器械400的工具台车600以及辅助台车700(包括呼吸机和麻醉机)，以供术中使用。需要说明的是，如本领域技术人员所能理解的，本领域技术人员可以根据现有技术对这些辅助台车700进行选择和配置，故在此不再展开进行描述。此外，需要说明的是，关于手术机器人的更多工作原理的相关内容可以参考现有技术，在此不再进行赘述。
请继续参考图5，其示意性地给出了本实施例一实施方式提供的手术器械的安装示意图。如图5所示，所述手术器械400包括器械盒410和器械末端420，所述器械盒410与所述器械末端420之间通过器械杆430相连。所述器械盒410包括至少一个驱动轴411，所述驱动轴411与所述器械末端420之间传动连接，由此，所述器械盒410可以为器械末端420提供驱动力以驱动器械末端420运动。具体地，所述器械末端420包括至少一个关节，所述器械盒410还包括基座(图中未示出)，所述驱动轴411可转动地设置于所述基座上，并与所述器械末端420的关节传动连接。
请继续参考图6，其示意性地给出了本实施例一实施方式提供的器械末端420的结构示意图。如图6所示，所述器械末端420包括末端基座421、执行器基座422、末端执行器423、俯仰关节424和两个偏摆关节425，其中，所述末端基座421可绕第一轴线L1进行自转；所述执行器基座422通过俯仰关节424设置于末端基座421上，并可绕第二轴线L2转动；所述末端执行器423的两个偏摆片分别通过一个偏摆关节425设置于所述执行器基座422上，并可绕第三轴线L3转动，优选地，所述第三轴线L3与所述第二轴线垂直且不相交。需要说明的是，如本领域技术人员所能理解的，虽然本实施例是以所述末端执行器423为具有夹持能力的结构为例进行说明，本实施例对于所述末端执行器423的具体类型并没有特别限制，其可以根据实际需要进行选择，例如所述末端执行器423还可以是电钩(此时可以只需要一个偏摆关节425)或者冲洗管(此时所述末端执行器423固定设置于所述执行器基座422上)。此外，需要说明的是，如本领域技术人员所能理解的，所述器械末端420的关节数量、关节的分布方式并不局限于以上描述，本领域技术人员可以根据实际需求设定，本实施例对此不作限制。
具体地，所述器械盒410内设有四个驱动轴411，其中两个驱动轴411分别用于驱动所述末端执行器423的两个偏摆片分别通过一个偏摆关节425绕所述第三轴线L3转动；一个驱动轴411用于驱动执行器基座422通过俯仰关节424绕第二轴线L2转动；一个驱动轴411用于驱动所述末端基座421绕第一轴线L1自转。需要说明的是，如本领域技术人员所能理解的，所述驱动盒内还设有射频芯片，所述射频芯片用于记录所述手术器械400的相关信息，包括所述手术器械400的唯一标识、器械类型和使用次数等。
进一步地，所述驱动轴411与所述器械末端420的关节之间通过丝传动组件440进行传动连接。请参考图7，其示意性地给出了本实施例一实施方式提供的丝传动组件440的传动示意图。如图7所示，所述丝传动组件440包括主动轮441、传动丝442、若干导向轮443和从动轮444，其中，所述主动轮441安装于所述驱动轴411上，所述主动轮441用于驱动传动丝442运动，所述从动轮444安装于所述器械末端420的关节上，所述从动轮444一侧的传动丝442处于张紧状态，所述传动轮的另一侧的传动丝442处于松弛状态，所述导向轮443设于所述主动轮441和所述从动轮444之间，以起到导向的作用。由此，所述主动轮441能够通过所述传动丝442带动所述从动轮444转动进而实现关节的运动。随着手术器械400使用时间的增加，传动丝442反复张紧和松弛，容易导致传动丝442发生蠕变，导致初始张紧力不足以克服柔性误差，主动轮441与从动轮444之间的运动映射关系(即传动模型参数)发生变化，最终导致器械控制指向误差增大。
进一步地，如图5所示，所述机械臂220的末端安装有动力盒800，所述动力盒800内设有至少一个与所述驱动轴411一一对应设置的驱动器(图中未示出)。具体地，所述器械盒410的近端设有传动接口(图中未示出)，所述动力盒800上也设有传动接口(图中未示出)，由此，所述驱动轴411与所述驱动器之间可通过传动接口传动连接。优选地，所述驱动器为带有减速装置的电机。
请继续参考图8，其示意性地给出了本实施例一实施方式提供的内窥镜500的结构示意图。如图8所示，所述内窥镜500的双目镜头520处于所述内窥镜500的连杆510的末端，所述内窥镜500的近端设有成像光纤530和冷光源540，其中所述成像光纤530用于将所述内窥镜500采集的患者体内场景图像传输至所述图像台车300、医生控制台100以及下文所述的控制器900处，所述冷光源540为所述内窥镜500在患者腹腔内的成像提供光源。需要说明的是，如本领域技术人员所能理解的，所述连杆510为中空结构，以供线缆和光源穿过。
请继续参考图9，其示意性地给出了本实施例一实施方式提供的手术器械控制方法的流程示意图。如图9所示，所述手术器械控制方法包括如下步骤：
步骤S100、在初始化阶段，控制所述器械末端420运动至目标构型，并获取所述内窥镜500采集的患者体内场景图像。
步骤S200、根据所述患者体内场景图像，获取所述器械末端420的实际位姿信息。
步骤S300、根据所述器械末端420的实际位姿信息以及目标位姿信息，获取所述器械末端420的位姿偏差信息。
步骤S400、判断所述器械末端420的位姿偏差是否大于第一预设阈值。
若判断结果为是，则执行步骤S500；进一步地，若判断结果为否，则执行步骤S600。
步骤S500、在控制阶段，基于所述内窥镜500采集的实时患者体内场景图像获取所述器械末端420的实时位姿信息，以实现对所述手术器械400的控制。
步骤S600、在所述控制阶段，基于各个所述驱动轴411的实时位姿信息获取所述器械末端420的实时位姿信息，以实现对所述手术器械400的控制。
由于当所述器械末端420的位姿偏差小于或等于第一预设阈值时，说明所述器械末端420的实际位姿与目标位姿较为接近，也即用于驱动器械末端420进行运动的驱动轴411和器械末端420之间的传动模型较为准确，因此，在此种情况下，基于各个所述驱动轴411的实时位姿信息获取所述器械末端420的实时位姿信息进行手术器械400的控制，可以达到较高的控制精度；当所述器械末端420的位姿偏差大于第一预设阈值时，说明所述器械末端420的实际位姿与目标位姿相差较大，也即用于驱动器械末端420进行运动的驱动轴411和器械末端420之间的传动模型不是很准确，因此，在此种情况下，基于所述内窥镜500采集的实时患者体内场景图像获取所述器械末端420的实时位姿信息进行手术器械400的控制，可以达到较高的控制精度。由此可见，本发明提供的手术器械控制方法能够有效解决现有技术中通过采用驱动器(电机)提供的数据来实现器械末端420的位姿控制，会影响手术器械400的器械末端420的控制精度的问题。
具体地，手术准备阶段安装器械(包括手术器械400和内窥镜500)后，在手术器械400的初始化过程(自检过程)中，通过下文中的控制器900发送目标构型指令至驱动器，例如偏摆30°(即每个偏摆片均绕第三轴线L3转动15°)且俯仰45°(即所述执行器基座422绕第二轴线L2转动45°)，在所述驱动器的作用下，可以使得所述器械末端420运动至该目标构型下，当所述器械末端420运动至目标构型后可以保持一段时间，通过所述内窥镜500可以采集目标构型下的患者体内场景图像。
在一种示范性的实施方式中，所述根据所述患者体内场景图像，获取所述器械末端420的实际位姿信息，包括：
对所述患者体内场景图像进行特征点的识别，以识别出至少三个位于所述器械末端420上的目标特征点；
根据所述目标特征点的实际位置信息，获取所述器械末端420的实际位姿信息。
由此，通过对所述患者体内场景图像进行特征点的识别，可以识别出至少三个位于所述器械末端420上的目标特征点，由此根据所述目标特征点的实际位置信息，即可以获取所述器械末端420的实际位姿信息。
在一种示范性的实施方式中，所述对所述患者体内场景图像进行特征点的识别，包括：
采用预先训练好的神经网络模型对所述患者体内场景图像进行特征点的识别。
由于，通过对神经网络模型进行不断的训练，可以使得神经网络模型具有较高的识别准确率，由此，本实施例通过采用预先训练好的神经网络模型对所述患者体内场景图像进行特征点的识别，可以快速、准确地识别出所述器械末端420上的特征点。需要说明的是，如本领域技术人员所能理解的，所述神经网络模型的网络结构包括但不限于TCNN(tweaked convolutional neural networks，调整卷积神经网络)、DAN(Deep AlignmentNetwork，深度对齐神经网络)等网络结构。
在一种示范性的实施方式中，所述根据所述目标特征点的实际位置信息，获取所述器械末端420的实际位姿信息，包括：
根据所述目标特征点在内窥镜500坐标系下的实际位置信息以及所述内窥镜500坐标系与基准坐标系之间的映射关系，获取所述目标特征点在所述基准坐标系下的实际位置信息；
根据所述目标特征点在所述基准坐标系下的实际位置信息以及预先获取的所述器械末端420的几何参数信息，获取所述器械末端420在所述基准坐标系下的实际位姿信息。
具体地，由于所述内窥镜500具有两个相同规格的镜头520，且这两个镜头520的分布有一定间隔，满足双目定位原理的条件，且由此通过所述内窥镜500的双目镜头520可以同时采集两张患者体内场景图像，通过分别对这两张患者体内场景图像进行识别，可以在这两张患者体内场景图像中分别识别出各个目标特征点，针对每一个目标特征点，基于双目定位的基本原理，即可以获取该目标特征点在内窥镜500坐标系下的实际位置信息。请参考图10，其示意性地给出了本实施例一实施方式提供的目标特征点的定位原理示意图。如图10所示，双目镜头520光轴中心的距离为L，双目镜头520到成像平面的距离为f，当双目镜头520同时观测到目标特征点P时，“左眼”观测到的水平坐标为xl，“右眼”观测到的水平坐标为xr，定义“视差”D＝xl-xr；又因为双目镜头520的成像平面为同一基线平面，因此观测到的纵向坐标相等，均为y，则根据三角形相似原理有如下关系：
其中(xl,y)表示所述目标特征点P在位于左边的镜头520所拍摄的患者体内场景图像中的位置坐标，(xr,y)表示所述目标特征点P在位于右边的镜头520所拍摄的患者体内场景图像中的位置坐标，(xc,yc,zc)表示所述目标特征点P在内窥镜500坐标系下的实际位置。
由此，针对每一目标特征点，均可以通过上述的公式(1)获取该目标特征点在所述内窥镜500坐标系下的实际位置信息。需要说明的是，如本领域技术人员所能理解的，可以根据安装有所述内窥镜500的机械臂220的各个关节的位姿得到所述内窥镜500在基座坐标系(即机器人坐标系)下的位姿信息，从而得到用于表征所述内窥镜500坐标系与基准坐标系之间的映射关系的旋转矩阵，由此针对每一目标特征点，根据该目标特征点在所述内窥镜500坐标系下的实际位姿信息以及所述内窥镜500坐标系与基准坐标系之间的映射关系，即可以获取所述目标特征点在所述基准坐标系下的实际位置信息，再根据各个所述目标特征点在所述基准坐标系下的实际位置信息以及预先获取的所述器械末端420的几何参数信息，即可以获取所述器械末端420在所述基准坐标系下的实际位姿信息。此外，需要说明的是，如本领域技术人员所能理解的，所述器械末端420的目标位姿信息可以通过所述目标构型以及安装有所述手术器械400的机械臂220的各个关节的位姿信息得到。
请参考图11，其示意性地给出了本实施例一实施方式提供的获取所述器械末端的位姿偏差的原理示意图。如图11所示，图中的表示所述器械末端420在所述基座坐标系下的实际位姿，/>表示所述器械末端420在所述基坐标系下的目标位姿，则所述器械末端420的位姿偏差e可以表示为：
在一种示范性的实施方式中，所述对所述患者体内场景图像进行特征点的识别，以识别出至少一个位于所述器械末端420上的目标特征点，包括：
对所述患者体内场景图像进行特征点的识别，以识别出所述器械末端420的每个所述关节上的目标特征点。
对应地，所述根据所述目标特征点的实际位置信息，获取所述器械末端420的实际位姿信息，包括：
根据所述器械末端420的各个关节上的所述目标特征点的实际位置信息，获取所述器械末端420的各个关节的实际位姿信息。
所述根据所述器械末端420的实际位姿信息以及目标位姿信息，获取所述器械末端420的位姿偏差信息，包括：
针对所述器械末端420的每个关节，根据该关节的实际位姿信息以及目标位姿信息，获取该关节的位姿偏差信息。
由此，通过识别出所述器械末端420的每个所述关节上的目标特征点，由此，根据各个关节上的目标特征点在所述基准坐标系下的实际位置信息以及所述器械末端420的几何参数信息，即可以获取各个关节在所述基准坐标系下的实际位姿信息。针对每一个关节，根据该关节在所述基准坐标系下的实际位姿信息和目标位姿信息，即可以获取该关节的位姿偏差信息。
在一种示范性的实施方式中，所述关节上的目标特征点为所述关节的轴线方向上的端点。
由此，针对所述器械末端420上的每一个关节，通过识别出该关节的轴线方向上的至少一个特征点作为目标特征点，可以更加便于根据各个所述目标特征点的实际位置信息(在基准坐标系下的实际位置信息)计算出所述器械末端420的各个关节的实际位姿信息(在基准坐标系下的实际位姿信息)，有效降低计算量。请参考图12，其示意性地给出了本实施例一实施方式提供的目标特征点的示意图。如图12所示，点A和点B表示俯仰关节424轴向两端的端点(即俯仰关节424上的目标特征点)，点C和点D表示两个偏摆关节425的轴线方向上的端点(即两个偏摆关节425上的目标特征点)，点E和点F表示末端执行器423的两个偏摆片的端点，由此，根据目标特征点A、目标特征点B、目标特征点C和目标特征点D的实际位置信息，并结合所述器械末端420的几何参数信息，可以计算出所述器械末端420的俯仰关节424的实际位姿信息；根据目标特征点C、目标特征点D和目标特征点E的实际位置信息，并结合所述器械末端420的几何参数信息，可以计算出其中一个偏摆关节425的目标特征点E和目标特征点F的实际位置信息；根据目标特征点C、目标特征点D和目标特征点F的实际位置信息，并结合所述器械末端420的几何参数信息，计算出另一个偏摆关节425的实际位姿信息。
优选地，为了便于在所获取的患者体内场景图像中识别出各个目标特征点，可以预先在所述器械末端420上以区分度较高的颜色或标记在所述器械末端420上标注出各个目标特征点，具体地，针对不同的关节，可以以不同的颜色和/或标记标注出各自的目标特征点。
在本发明其他实施例中，各个目标特征点也可以是设置在器械末端上的其他位置上的能够从内窥镜采集的包括器械末端的体内场景图像中被识别的标记。
请继续参考图13，其示意性地给出了本实施例一实施方式提供的目标特征点的识别结果的显示示意图。如图13所示，当手术器械400和内窥镜500被安装至患者台车200上的机械臂220的末端并深入患者体内后，内窥镜500可以采集包括器械末端420在内的患者体内场景图像，通过对所述患者体内场景图像进行识别，可以识别出所述器械末端420上的各个目标特征点，通过根据上文中的公式(1)可以计算出各个目标特征点的三维位置坐标，图像台车300上的第一显示单元310和医生控制台100上的第二显示单元120能够实时显示目标特征点的识别结果和三维位置计算结果。需要说明的是，如本领域技术人员所能理解的，随着所述器械末端420的位置的改变，所述目标特征点的三维位置是实时改变的。此外，需要说明的是，如本领域技术人员所能理解的，在初始化阶段，为了能够采集到尽可能多的目标特征点，可以指定器械末端420运动至特定构型。另外需要说明的是，如本领域技术人员所能理解的，在手术过程中(即控制阶段，例如主从控制阶段)器械末端420的特征点可能会被遮挡，但是针对每一个关节，始终可以采集到至少一个目标特征点，此时可以根据所述器械末端420的几何参数信息，进行插补，以计算出所述器械末端420的各个关节的位置。需要说明的是，如本领域技术人员所能理解的，图13中的点A、点D和点F的三维位置坐标仅是示意性说明，并不构成对本发明的限制。
在一种示范性的实施方式中，所述判断所述器械末端420的位姿偏差是否大于第一预设阈值，包括：
针对所述器械末端420的每个关节，判断该关节的位姿偏差是否大于第一预设阈值；
所述若是，则在控制阶段，基于所述内窥镜500采集的实时患者体内场景图像获取所述器械末端420的实时位姿信息，包括：
若至少一个所述关节的位姿偏差大于所述第一预设阈值，则在控制阶段，基于所述内窥镜500采集的实时患者体内场景图像获取所述器械末端420的实时位姿信息。
由此，通过在初始化阶段，针对所述器械末端420的每一个关节，先计算该关节的位姿偏差，再判断该关节的位姿偏差是否大于第一预设阈值，最后根据每一个关节的位姿偏差的判断结果，在其中任一个关节的位姿偏差大于所述第一预设阈值时，则基于所述内窥镜500采集的实时患者体内场景图像获取所述器械末端420的实时位姿信息，以实现对所述手术器械400的控制(即采用图像控制模式进行手术器械400的控制)；若所述器械末端420的所有关节的位姿偏差均小于或等于所述第一预设阈值，则在所述控制阶段，基于各个所述驱动轴411的实时位姿信息获取所述器械末端420的实时位姿信息，以实现对所述手术器械400的控制(即采用解耦控制模式进行手术器械400的控制)，从而可以进一步提高本实施例提供的手术器械控制方法的控制精度。
请参考图14，其示意性地给出了本实施例一实施方式提供的手术器械控制方式的交互示意图。如图14所示，当所述患者台车200的机械臂220上安装有多个手术器械400时。针对每个手术器械400，在初始化阶段，均控制该手术器械400运动至其对应的目标构型下，通过所述内窥镜500采集的患者体内场景图像获取该手术器械400的器械末端420的实际位姿信息，进而计算出该手术器械400的器械末端420的位姿偏差信息，并根据该手术器械400的器械末端420的位姿偏差与所述第一预设阈值之间的比较结果，确定该手术器械400的控制模式(当位姿偏差大于所述第一预设阈值时，推荐使用图像控制模式；当位姿偏差小于或等于所述第一预设阈值时，推荐使用解耦控制模式)。
在一种示范性的实施方式中，所述基于所述内窥镜500采集的实时患者体内场景图像获取所述器械末端420的实时位姿信息，以实现对所述手术器械400的控制，包括：
根据所述内窥镜500采集的实时患者体内场景图像，获取所述器械末端420的每个关节的实时位姿信息；
针对所述器械末端420的每个关节，根据该关节的实时位姿信息以及指令位姿信息，获取该关节的实时位姿偏差信息，并根据该关节的实时位姿偏差信息，控制该关节进行相应运动。
具体地，关于如何根据所述述内窥镜500采集的实时患者体内场景图像，获取所述器械末端420的每个关节的实时位姿信息，可以参考上文中的相关描述，在此不再进行赘述。请继续参考图15，其示意性地给出了本实施例一实施方式提供的采用图像控制模式进行手术器械控制的原理图。如图15所示，图像控制模式为双环路架构，其中内环为现有的关节控制模块的控制方法，包括但不限于PID(比例-积分-微分控制器)、LQR(线性二次型调节器)等控制方法；外环为基于图像的位置反馈控制方法，针对所述器械末端420的每一关节，将该关节的指令位置与根据内窥镜500采集的实时患者体内场景图像获取的该关节的实时位姿之间的位姿偏差作为该关节的关节控制模块的输入信号，以控制对应的所述关节运动至对应的指令位置处，从而实现对手术器械400的精确控制。需要说明的是，如本领域技术人员所能理解的，本实施例中的关节控制模块属于下文中的控制器900中的其中一个功能模块。
在一种示范性的实施方式中，所述手术器械控制方法还包括：
在控制所述器械末端420运动至目标构型的过程中，获取所述内窥镜500采集的实时患者体内场景图像；
针对每个所述驱动轴411，根据所述实时患者体内场景图像，对该驱动轴411与所述器械末端420之间的传动模型参数进行迭代更新，直至满足预设迭代结束条件，以获取更新后的传动模型参数。
对应地，所述基于各个所述驱动轴411的实时位姿信息获取所述器械末端420的实时位姿信息，包括：
基于各个所述驱动轴411所对应的更新后的传动模型参数以及各个驱动轴411的实时位姿信息，获取所述器械末端420的实时位姿信息。
具体地，所述基于各个所述驱动轴411所对应的更新后的传动模型参数以及各个驱动轴411的实时位姿信息，获取所述器械末端420的实时位姿信息，包括：
针对每一个所述驱动轴411，根据该驱动轴411所对应的更新后的传动模型参数以及该驱动轴411的实时位姿信息，获取所述器械末端420的对应的所述关节的实时位姿信息。
由此，通过在控制所述器械末端420运动至目标构型的过程中，获取所述内窥镜500采集的实时患者体内场景图像，以对所述驱动轴411与所述器械末端420之间的传动模型参数(即所述驱动轴411与对应的关节之间的传动模型参数，也即所述驱动器与对应的所述关节之间的传动模型参数)进行更新，可以获取能够真实反应所述驱动轴411与所述器械末端420之间的传动关系(即所述驱动轴411与对应的关节之间的传动关系，也即所述驱动器与对应的所述关节之间的传动关系)的传动模型参数，进而可以使得基于所述驱动轴411所对应的更新后的传动模型参数以及所述驱动轴411的实时位姿信息(即所述驱动器的实时位姿信息)所获取的对应的所述关节的实时位姿信息更加准确，从而可以有效提高控制阶段采用解耦控制的模式进行手术器械400控制的精度。
进一步地，所述预设迭代结束条件为当前迭代所得到的传动模型参数与上一次迭代所得到的传动模型参数之间的直线距离小于第二预设阈值。
具体地，请参考图16，其示意性地给出了本实施例一实施方式提供的更新传动模型参数的示意图。如图16所示，在初始化阶段，在确定好所述手术器械400的目标构型后，根据该目标构型进行所述器械末端420上的每一个关节的运动轨迹的规划，针对所述器械末端420上的每一个关节，对应的关节控制模块根据该关节的运动轨迹并结合所述驱动器与该关节之间的传动模型参数(即对应的驱动轴411与该关节之间的传动模型参数)，可以计算出所述驱动器在每一步的目标位姿，例如假设驱动器与该关节之间的传动模型参数为J，该关节在某一步的目标位姿为Y0，则所述驱动器在该步的目标位姿X0为：
X0＝J-1Y0 (2)
由此在所述关节控制模块的作用下，所述驱动器能够运动至对应的目标位姿处进而驱动所述器械末端420上的对应关节进行相应运动。在所述驱动器运动至目标位姿后，通过获取所述内窥镜500采集的实时患者体内场景图像，并通过对所述患者体内场景图像进行特征点的识别，可以识别出各个目标特征点，以估计出该关节的实际位姿，其中所述驱动器的实际位姿可以通过安装于该驱动器上的位置编码器采集得到，由此根据该关节的实际位姿Y以及该驱动器的实际位姿X，则可以按照如下公式对所述驱动器与所述关节之间的传动模型参数J进行更新：
J＝YX-1 (3)
再计算该时刻的更新后的传动模型参数与上一时刻的传动模型参数之间的直线距离，并判断该直线距离是否小于第二预设阈值，若是，则停止迭代更新，并将该时刻的更新后的传动模型参数作为该驱动轴411的最终的更新后的传动模型参数；若否，则将更新后的传动模型参数J带入上式(2)，可以计算出所述驱动器在下一步的目标位姿，并控制所述驱动器运动至该目标位姿处，通过再次获取所述内窥镜500采集的患者体内场景图像，并通过对所述患者体内场景图像进行特征点的识别，可以再次识别出各个目标特征点，以估计出在该时刻所述关节的实际位姿，再根据安装于所述驱动器上的位姿编码器采集到的在该时刻的所述驱动器的实际位姿，可以按照上述的公式(3)再次对所述驱动器与所述关节之间的传动模型参数J进行更新。接着再判断该时刻的更新后的传动模型参数与上一时刻的更新后的传动模型参数之间的直线距离是否小于所述第二预设阈值，若是，则停止迭代更新，并将该时刻的更新后的传动模型参数作为该驱动轴411的最终的更新后的传动模型参数；若否，则将更新后的传动模型参数J带入上式(2)，继续进行传动模型参数J的迭代更新，直至当前迭代所得到的传动模型参数与上一次迭代所得到的传动模型参数之间的直线距离小于第二预设阈值。
请继续参考图17，其示意性地给出了本实施例一实施方式提供的采用解耦控制模式进行手术器械控制的原理图。如图17所示，在初始化阶段，可以获取每一个驱动轴411(驱动器)与所述器械末端420的对应关节之间的更新后的传动模型参数J。在控制阶段(例如主从控制阶段)，针对所述器械末端420的每一个关节，该关节的关节控制模块根据该关节的指令位姿可以计算出该关节的关节力矩，进而根据该关节的关节力矩，通过对应的更新后的传动模型参数J的转置可以计算出所述驱动器的输出力矩，从而可以控制对应的所述驱动器输出对应的力矩并作用在所述器械末端420上；通过安装于所述驱动器上的编码器可以获取所述驱动器的实时位姿(即与所述驱动器相连的驱动轴411的实时位姿)，通过对应的更新后的传动模型参数J可以计算出该关节的实时位姿，进而可以根据该关节的指令位姿和实时位姿，计算出该关节的实时位姿偏差，以作为该关节的关节控制模块的反馈信号，以控制该关节运动至对应的指令位姿处，从而实现对手术器械400的精确控制。
在一种示范性的实施方式中，所述手术器械控制方法还包括：
在所述控制阶段，若所述器械末端420被患者体内的组织遮挡，则对所述医生控制台100上的主控制臂110的姿态关节进行锁定，直至所述器械末端420不再被所述患者体内的组织遮挡；或者
则基于各个所述驱动轴411的实时位姿信息获取所述器械末端420的实时位姿信息，以实现对所述手术器械400的控制。
请参考图18，其示意性地给出了本实施例一实施方式提供的器械末端被遮挡时的示意图。如图18所示，在手术过程中，会存在器械末端420被组织遮挡的情况。由于当器械末端420被遮挡时，会导致在所述内窥镜500所采集的患者体内场景图像中，所述器械末端420显示不全，导致某个或某几个关节上的目标特征点被遮挡而无法识别出来，进而导致无法基于所述内窥镜500所采集的实时患者体内场景图像，获取所述器械末端420的每个关节的实时位姿信息，从而影响手术器械400的控制。由此，本实施例提供的器械控制方法通过在所述器械末端420超出所述内窥镜500的工作视野范围时，向所述医生控制台100发送进入内窥镜500调整模式的提示信息，从而可以使得医生能够对所述内窥镜500的位置进行调整，以使得所述器械末端420不再被遮挡，以使得在控制阶段，能够顺利基于所述内窥镜500所采集的实时患者体内场景图像，获取所述器械末端420的每个关节的实时位姿信息，从而实现手术器械400的精确控制。或者在当器械末端420被遮挡时，直接采用解耦控制模式对所述手术器械400进行控制，从而可以直接根据各个所述驱动轴411的实时位姿信息获取所述器械末端420的实时位姿信息，进而实现所述手术器械400的精确控制。
进一步地，当存在器械末端420被组织遮挡的情况时，可以通过AR重建技术重建出所述器械末端420被组织遮挡的部分。
在一种示范性的实施方式中，所述手术器械控制方法还包括：
在所述控制阶段，判断所述器械末端420是否超出所述内窥镜500的工作视野范围；
若是，则进入调整模式，直至所述器械末端420处于所述内窥镜500的工作视野范围内。
由此，通过判断所述器械末端420是否超出所述内窥镜500的工作视野范围，并在所述器械末端420超出所述内窥镜500的工作视野范围时，进入调整模式，以提醒医生控制台100的医生对内窥镜500的位置进行调整，以使得所述器械末端420能够处于所述内窥镜500的工作视野范围内，从而可以保证所述器械末端420上的各个目标特征点能够在所述内窥镜500采集的患者体内场景图像中被显示出来，从而可以保证能够顺利基于所述内窥镜500采集的实时患者体内场景图像获取所述器械末端420的实时位姿信息。
在一种示范性的实施方式中，若所述器械末端420超出所述内窥镜500的工作视野范围，所述手术器械控制方法还包括：
则进入锁定模式，以使所述器械末端420进入锁定状态，直至所述器械末端420处于所述内窥镜500的工作视野范围内。
由此，当所述器械末端420超出所述内窥镜500的工作视野范围时，通过对所述医生控制台100上的主控制臂110的姿态关节进行锁定，以使得所述器械末端420进入锁定状态，可以有效防止在将所述内窥镜500调整至合适位置以使得所述器械末端420处于所述内窥镜500的工作视野范围内前医生误操作手术器械400。
请继续参考图19，其示意性地给出了本实施例一实施方式提供的判断所述器械末端是否超出所述内窥镜的工作视野范围的流程示意图。如图19所示，在控制阶段(例如主从控制阶段)，通过所述内窥镜500实时采集患者体内场景图像，并对所述患者体内场景图像进行特征点的识别，以识别出各个所述目标特征点，当任一所述目标特征点的二维坐标位置超出所述内窥镜500的工作视野范围时，则判定所述器械末端420超出所述内窥镜500的工作范围；此时则向所述医生控制台100发送进入内窥镜500调整模式的提示信息并通过反馈力锁定所述主控制臂110的姿态关节。在进入内窥镜500调整模式后，所述主控制臂110的位置关节被释放，所述主控制臂110的姿态关节被锁定，通过在所述主控制臂110的位置关节上施加反馈力，可以引导医生调整内窥镜500的工作视野，当所述器械末端420完全处于所述内窥镜500的视野范围内时，则释放所述主控制臂110的姿态关节，并进入主从操作模式。
实施例二
与上述的手术器械控制方法相对应，本实施例提供一种手术机器人，请参考图1。如图1所示，所述手术机器人除了包括上文所述的医生控制台100、患者台车200和图像台车300外，还包括控制器900，所述医生控制台100、患者台车200和图像台车300均与所述控制器900通信连接，所述控制器900被配置为用于实现上文所述的手术器械控制方法。由于本实施例提供的手术机器人中的控制器900能够实现上文所述的手术器械控制方法，由此，本实施例提供的手术机器人能够有效避免因手术器械400的丝传动系统的丝蠕变现象而造成的控制误差较大的问题，从而实现手术器械400的精确控制，尤其是当本实施例提供的手术机器人为单孔腔镜机器人时，可以实现多个器械(包括手术器械400和内窥镜500)在有限空间内既不互相影响，又能够准确配合。
需要说明的是，如本领域技术人员所能理解的，所述控制器900可与上文所述的手术机器人中的任意一个或多个装置结合设置，例如所述控制器900可以设置在所述医生控制台100处，或设置在所述患者台车200处，又或者设置在所述图像台车300处等，在又一些实施方式中，所述控制器900也可以单独设置。此外，需要说明的是，如本领域技术人员所能理解的，所述控制器900可以为具体的硬件或者软件单元，也可以为硬件与软件相结合的设置，本发明对于所述控制器900的具体设置不作限定。
实施例三
本实施例提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的手术器械控制方法。由于本实施例提供的可读存储介质与实施例一提供的手术器械控制方法属于同一发明构思，由此本实施例提供的可读存储介质具有实施例一提供的手术器械控制方法的所有优点，故不再对本实施例提供的可读存储介质所具有的优点进行一一赘述。
本实施例实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
综上所述，与现有技术相比，本发明提供的手术器械控制方法、手术机器人和存储介质具有以下优点：
本发明提供的手术器械控制方法通过在初始化阶段，先控制所述手术器械末端运动至目标构型，并获取所述内窥镜采集的患者体内场景图像；再根据所述患者体内场景图像，获取所述手术器械末端的实际位姿信息；然后根据所述手术器械末端的实际位姿信息以及目标位姿信息，获取所述手术器械末端的位姿偏差信息；最后判断所述手术器械末端的位姿偏差是否大于第一预设阈值；若判断结果为是，则在控制阶段，基于所述内窥镜采集的实时患者体内场景图像获取所述器械末端的实时位姿信息，以实现对所述手术器械的控制。当所述手术器械末端的位姿偏差大于第一预设阈值时，说明所述手术器械末端的实际位姿与目标位姿相差较大，也即用于驱动器械末端进行运动的驱动轴和器械末端之间的传动模型不是很准确，因此，在此种情况下，基于所述内窥镜采集的实时患者体内场景图像获取所述器械末端的实时位姿信息进行手术器械的控制，可以达到较高的控制精度。由此可见，本发明提供的手术器械控制方法能够有效解决现有技术中通过采用驱动器提供的数据来实现手术器械末端的位姿控制，会影响手术器械末端的控制精度的问题。
进一步地，所述手术器械包括器械盒和器械末端，所述器械盒包括至少一个驱动轴，所述驱动轴与所述器械末端之间传动连接，所述控制方法还包括：若所述手术器械末端的位姿偏差小于或等于所述第一预设阈值，则在所述控制阶段，基于各个所述驱动轴的实时位姿信息获取所述器械末端的实时位姿信息，以实现对所述手术器械的控制。由于当所述手术器械末端的位姿偏差小于或等于第一预设阈值时，说明所述手术器械末端的实际位姿与目标位姿较为接近，也即用于驱动器械末端进行运动的驱动轴和器械末端之间的传动模型较为准确，因此，在此种情况下，基于各个所述驱动轴的实时位姿信息获取所述器械末端的实时位姿信息进行手术器械的控制，可以达到较高的控制精度。
由于本发明提供的手术机器人和存储介质与本发明提供的手术器械控制方法属于同一发明构思，因此本发明提供的手术机器人和存储介质具有本发明提供的手术器械控制方法的所有优点，故不再对本发明提供的手术机器人和存储介质所具有的优点进行一一赘述。
需要说明的是，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (14)

1.一种手术器械控制方法，应用于手术机器人，其特征在于，所述手术机器人包括至少一条机械臂，其中至少一条所述机械臂的末端安装有手术器械和内窥镜，所述手术器械控制方法包括：
在初始化阶段，控制所述手术器械末端运动至目标构型，并获取所述内窥镜采集的患者体内场景图像；
根据所述患者体内场景图像，获取所述手术器械末端的实际位姿信息；
根据所述手术器械末端的实际位姿信息以及目标位姿信息，获取所述手术器械末端的位姿偏差信息；
判断所述手术器械末端的位姿偏差是否大于第一预设阈值；
若是，则在控制阶段，基于所述内窥镜采集的实时患者体内场景图像获取所述手术器械末端的实时位姿信息，以实现对所述手术器械的控制。
2.根据权利要求1所述的手术器械控制方法，其特征在于，所述手术器械包括器械盒和器械末端，所述器械盒包括至少一个驱动轴，所述驱动轴与所述器械末端之间传动连接，所述控制方法还包括：
若所述手术器械末端的位姿偏差小于或等于所述第一预设阈值，则在所述控制阶段，基于各个所述驱动轴的实时位姿信息获取所述器械末端的实时位姿信息，以实现对所述手术器械的控制。
3.根据权利要求1所述的手术器械控制方法，其特征在于，所述根据所述患者体内场景图像，获取所述手术器械末端的实际位姿信息，包括：
对所述患者体内场景图像进行特征点的识别，以识别出至少三个位于所述手术器械末端上的目标特征点；
根据所述目标特征点的实际位置信息，获取所述手术器械末端的实际位姿信息。
4.根据权利要求3所述的手术器械控制方法，其特征在于，所述根据所述目标特征点的实际位置信息，获取所述手术器械末端的实际位姿信息，包括：
根据所述目标特征点在内窥镜坐标系下的实际位置信息以及所述内窥镜坐标系与基准坐标系之间的映射关系，获取所述目标特征点在所述基准坐标系下的实际位置信息；
根据所述目标特征点在所述基准坐标系下的实际位置信息以及预先获取的所述手术器械末端的几何参数信息，获取所述手术器械末端在所述基准坐标系下的实际位姿信息。
5.根据权利要求1所述的手术器械控制方法，其特征在于，所述手术器械包括器械盒和器械末端，所述器械盒包括至少一个驱动轴，所述驱动轴与所述器械末端之间传动连接，所述器械末端包括至少一个关节，所述驱动轴与对应的所述关节之间传动连接；
所述根据所述患者体内场景图像，获取所述手术器械末端的实际位姿信息，包括：
对所述患者体内场景图像进行特征点的识别，以识别出所述器械末端的每个所述关节上的目标特征点；
根据所述器械末端的各个关节上的所述目标特征点的实际位置信息以及预先获取的所述器械末端的几何参数信息，获取所述器械末端的各个关节的实际位姿信息；
所述根据所述手术器械末端的实际位姿信息以及目标位姿信息，获取所述手术器械末端的位姿偏差信息，包括：
针对所述器械末端的每个关节，根据该关节的实际位姿信息以及目标位姿信息，获取该关节的位姿偏差信息。
6.根据权利要求5所述的手术器械控制方法，其特征在于，所述判断所述手术器械末端的位姿偏差是否大于第一预设阈值，包括：
针对所述器械末端的每个关节，判断该关节的位姿偏差是否大于第一预设阈值；
所述若是，则在控制阶段，基于所述内窥镜采集的实时患者体内场景图像获取所述手术器械末端的实时位姿信息，包括：
若至少一个所述关节的位姿偏差大于所述第一预设阈值，则在控制阶段，基于所述内窥镜采集的实时患者体内场景图像获取所述手术器械末端的实时位姿信息。
7.根据权利要求5所述的手术器械控制方法，其特征在于，所述关节上的目标特征点为所述关节的轴线方向上的端点。
8.根据权利要求5所述的手术器械控制方法，其特征在于，所述基于所述内窥镜采集的实时患者体内场景图像获取所述器械末端的实时位姿信息，以实现对所述手术器械的控制，包括：
根据所述内窥镜采集的实时患者体内场景图像，获取所述器械末端的每个关节的实时位姿信息；
针对所述器械末端的每个关节，根据该关节的实时位姿信息以及指令位姿信息，获取该关节的实时位姿偏差信息，并根据该关节的实时位姿偏差信息，控制该关节进行相应运动。
9.根据权利要求2所述的手术器械控制方法，其特征在于，所述手术器械控制方法还包括：
在控制所述器械末端运动至目标构型的过程中，获取所述内窥镜采集的实时患者体内场景图像；
针对每个所述驱动轴，根据所述实时患者体内场景图像，对该驱动轴与所述器械末端之间的传动模型参数进行迭代更新，直至满足预设迭代结束条件，以获取更新后的传动模型参数；
所述基于各个所述驱动轴的实时位姿信息获取所述器械末端的实时位姿信息，包括：
基于各个所述驱动轴所对应的更新后的传动模型参数以及各个驱动轴的实时位姿信息，获取所述器械末端的实时位姿信息。
10.根据权利要求9所述的手术器械控制方法，其特征在于，所述预设迭代结束条件为当前迭代所得到的传动模型参数与上一次迭代所得到的传动模型参数之间的直线距离小于第二预设阈值。
11.根据权利要求1所述的手术器械控制方法，其特征在于，所述手术器械控制方法还包括：
判断所述手术器械末端是否超出所述内窥镜的工作视野范围；
若是，则进入调整模式，直至所述手术器械末端处于所述内窥镜的工作视野范围内；和/或，则进入锁定模式，以使所述手术器械末端进入锁定状态，直至所述手术器械末端处于所述内窥镜的工作视野范围内。
12.根据权利要求1所述的手术器械控制方法，其特征在于，所述手术器械控制方法还包括：
若所述手术器械末端被患者体内的组织遮挡，则对医生控制台上的主控制臂的姿态关节进行锁定，直至所述手术器械末端不再被所述患者体内的组织遮挡；或者
基于所述手术器械上的各个驱动轴的实时位姿信息获取所述手术器械末端的实时位姿信息，以实现对所述手术器械的控制。
13.一种手术机器人，其特征在于，所述手术机器人包括通信连接的医生控制台、患者台车和控制器，所述医生控制台和所述患者台车具有主从控制关系，所述患者台车包括至少一条机械臂，其中至少一条所述机械臂的末端安装有手术器械和内窥镜，所述控制器被配置为用于实现权利要求1至12中任一项所述的手术器械控制方法。
14.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至12中任一项所述的手术器械控制方法。
CN202210715323.3A 2022-06-22 2022-06-22 手术器械控制方法、手术机器人和存储介质 Pending CN117297773A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210715323.3A CN117297773A (zh) 2022-06-22 2022-06-22 手术器械控制方法、手术机器人和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210715323.3A CN117297773A (zh) 2022-06-22 2022-06-22 手术器械控制方法、手术机器人和存储介质

Publications (1)

Publication Number Publication Date
CN117297773A true CN117297773A (zh) 2023-12-29

Family

ID=89283638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210715323.3A Pending CN117297773A (zh) 2022-06-22 2022-06-22 手术器械控制方法、手术机器人和存储介质

Country Status (1)

Country Link
CN (1) CN117297773A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117653007A (zh) * 2024-01-31 2024-03-08 浙江华诺康科技有限公司 一种内窥镜的视差调节方法、系统和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117653007A (zh) * 2024-01-31 2024-03-08 浙江华诺康科技有限公司 一种内窥镜的视差调节方法、系统和计算机设备
CN117653007B (zh) * 2024-01-31 2024-05-10 浙江华诺康科技有限公司 一种内窥镜的视差调节方法、系统和计算机设备

Similar Documents

Publication Publication Date Title
CN110944595B (zh) 用于将内窥镜图像数据集映射到三维体积上的系统
KR102720969B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
CN110215284B (zh) 一种可视化系统和方法
US8657781B2 (en) Automated alignment
KR102698268B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
US9283049B2 (en) Control system configured to compensate for non-ideal actuator-to-joint linkage characteristics in a medical robotic system
KR20210052475A (ko) 수동 및 로봇 제어가능 의료 기구
CN113613580A (zh) 用于使医疗器械上的输入部对准的系统和方法
US20090012533A1 (en) Robotic instrument control system
US20140343569A1 (en) Grip force normalization for surgical instrument
US20190151032A1 (en) Systems and methods for displaying an instrument navigator in a teleoperational system
WO2022188352A1 (zh) 基于增强现实的介入机器人无接触遥操系统及标定方法
US20090259099A1 (en) Image-based control systems
US20240139936A1 (en) Systems and methods for master/tool registration and control for intuitive motion
CN113180828A (zh) 基于旋量理论的手术机器人约束运动控制方法
CN117297773A (zh) 手术器械控制方法、手术机器人和存储介质
US12011236B2 (en) Systems and methods for rendering alerts in a display of a teleoperational system
CN116076984A (zh) 内窥镜视野调整方法、控制系统及可读存储介质
KR102225448B1 (ko) 능동 조향 카테터를 조작하기 위한 마스터 장치 및 능동 조향 카테터와 마스터 장치의 양방향 제어가 가능한 카테터 시스템
US20240341568A1 (en) Systems and methods for depth-based measurement in a three-dimensional view
US20240156549A1 (en) Cavity modeling system and cavity modeling method
Ahmad et al. Shared control of an automatically aligning endoscopic instrument based on convolutional neural networks
EP4384984A1 (en) Systems and methods for a differentiated interaction environment
WO2023233280A1 (en) Generating imaging pose recommendations
WO2024145414A1 (en) Systems and methods for guided tool change resiliency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination