CN107510506A - 利用增强现实技术的手术机器人系统及其控制方法 - Google Patents

Abstract

本发明公开了一种利用增强现实技术的手术机器人系统及其控制方法。一种主机器人，利用操作信号控制具有机器臂的从机器人，其特征在于，包括：存储单元；增强现实技术实现部，将用于利用三维建模图像进行虚拟手术的连续的使用者操作履历，作为手术动作履历信息存储在所述存储单元中；以及操作信号生成部，输入应用命令后，将利用所述手术动作履历信息生成的操作信号传送给所述从机器人。

Description

利用增强现实技术的手术机器人系统及其控制方法

本案是分案申请，其母案为优先权日为2009年3月24日的申请号为201510802654.0的题为“利用增强现实技术的手术机器人系统及其控制方法”的专利申请。

技术领域

本发明涉及一种手术，更具体地说，涉及一种利用增强现实技术或履历信息的手术机器人系统及其控制方法。

背景技术

手术机器人是指具有能够代替外科医生实施手术行为功能的机器人。这样的手术机器人与人相比能够进行准确而精密的动作，具有可进行远程手术的优点。

目前，世界上正在开发的手术机器人有骨外科手术机器人、腹腔镜(laparoscope)手术机器人、立体定向手术机器人等。在此，腹腔镜手术机器人是利用腹腔镜和小型手术器械实施微创手术的机器人。

腹腔镜手术是在肚脐部位穿设1cm左右的孔并将作为窥视腹腔内的内窥镜的腹腔镜插入后进行手术的尖端手术技术，是未来有望进一步发展的领域。

最近腹腔镜上安装有电脑芯片，所以能够获得比肉眼更加清晰且被放大的图像，而且，已发展到通过显示器看着画面且使用特别设计的腹腔镜用手术器械能够进行任何手术的程度。

此外，腹腔镜手术的其手术范围与剖腹手术大致相同，但与剖腹手术相比并发症少，并且手术后可以在较短时间内开始治疗，具有突出的保持手术患者体力或免疫功能的优势。因此，在美国或欧洲等地，腹腔镜手术在治疗大肠癌等方面逐渐被认定为标准手术。

手术机器人系统一般由主机器人和从机器人构成。当施术者操作安装在主机器人上的操纵器(例如手柄)时，与从机器人的机器臂结合或被机器臂把持的手术器械进行操作，从而执行手术。

主机器人和从机器人通过网络结合，并进行网络通信。此时，如果网络通信速度不够快的话，从主机器人传送的操作信号被从机器人接收或/及从从机器人上安装的腹腔镜摄像机传送的腹腔镜图像被主机器人接收所需时间较长。

已知一般相互间的网络通信速度在150ms以内时才能够进行利用主机器人及从机器人的手术。如果通信速度延迟其以上时，施术者手的动作与通过画面看到的从机器人的动作不一致，施术者会感到很不舒服。

此外，当主机器人和从机器人之间的网络信息速度慢时，施术者需要识别或提前预测画面上看到的从机器人的动作而进行手术。这是引起不自然动作的原因，严重时无法进行正常手术。

此外，以往的手术机器人系统具有如下局限性，施术者在对手术患者进行手术的时间内必须保持高度集中力的状态下操作主机器人所具备的操纵器。这样，给施术者带来严重的疲劳感，而由于集中力下降引起的不完整手术可能对手术患者造成严重的后遗症。

发明内容

技术课题

本发明目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，利用增强现实技术(augmented reality)将实际手术器械和虚拟手术器械一同显示，从而能够使施术者顺利进行手术。

此外，本发明目的在于提供一种利用增强现实技术的手术机器人系统及其控制方法，手术时增强现实技术能够输出多种有关患者的信息。

此外，本发明目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，根据主机器人和从机器人之间的网络通信速度，使手术画面显示方法多样化，从而能够使施术者顺利进行手术。

此外，本发明目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够对通过内窥镜等输入的图像进行自动化处理，从而将紧急状况即时通知给施术者。

此外，本发明目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够让施术者实时感知通过主机器人操作使虚拟手术器械移动等引起的脏器接触等，从而能够直观地认识虚拟手术器械与脏器之间的位置关系。

此外，本发明目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够实时提供有关手术部位的患者图像数据(例如，CT图像、MRI图像等)，从而可进行利用了多种信息的手术。

此外，本发明目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够使手术机器人系统在学习者(learner)和教学者(trainer)之间实现兼容及共享，从而能够使实时教育效果最大化。

此外，本发明目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够使用三维建模的虚拟脏器事先预测实际手术过程的经过及结果。

此外，本发明目的在于，提供一种利用履历信息的手术机器人系统及其控制方法，可利用使用虚拟脏器等进行的虚拟手术的履历信息，进行全部或部分自动手术，从而降低施术者的疲劳，以便在手术时间内保持可正常进行手术的集中力。

此外，本发明目的在于，提供一种利用履历信息的手术机器人系统及其控制方法，当在进行自动手术的过程中发生与虚拟手术进行过程不同或紧急状况时，能够通过施术者的手动手术迅速对应。

除了本发明提出之外的其它技术课题可以通过下面的说明容易理解。

课题解决方法

根据本发明的一实施例，提供一种利用增强现实技术的手术机器人系统、从机器人及主机器人。

根据本发明的一实施例，提供一种手术用机器人的主接口，该接口(interface)安装在用于对包括一个以上机器臂的从(slave)机器人进行控制的主(master)机器人上，该主接口包括：画面显示部，用于显示与由手术用内窥镜提供的图像信号相对应的内窥镜图像；一个以上的臂操作部，用于分别控制一个以上的机器臂；增强现实技术实现部，根据使用者利用臂操作部进行的操作而生成虚拟手术器械信息，并通过画面显示部显示虚拟手术器械。

手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。

手术用机器人的主接口还可以包括操作信号生成部，该操作信号生成部根据使用者的操作生成用于控制机器臂的操作信号并传送给从机器人。

手术用机器人的主接口还可以包括：驱动模式选择部，用于指定主机器人的驱动模式；控制部，控制成与由驱动模式选择部选择的驱动模式相对应地通过画面显示部显示内窥镜图像及虚拟手术器械中的一个以上。

控制部能够进行控制使与被选择的驱动模式相对应的模式标记通过画面显示部显示。模式标记可以预先指定为文本讯息、边框颜色、图标、背景颜色等中的一个以上。

从机器人还可以包括生体信息测定单元。由生体信息测定单元测定的生体信息可以通过画面显示部显示。

增强现实技术实现部可以包括：特性值运算部，利用内窥镜图像及与一个以上的机器臂结合的实际手术器械的位置坐标信息中的一个以上来运算特性值；虚拟手术器械生成部，根据使用者利用臂操作部进行的操作而生成虚拟手术器械信息。

通过特性值运算部运算的特性值可以包括手术用内窥镜的视角(FOV)、放大率、视点(viewpoint)、观看深度、和实际手术器械的种类、方向、深度、弯曲角度中的一个以上。

增强现实技术实现部还可以包括：测试信号处理部，将测试信号传送给从机器人，并从从机器人接收基于测试信号的应答信号；延迟时间计算部，利用测试信号的传送时刻及应答信号的接收时刻，计算主机器人和从机器人之间的网络通信速度及网络通信上的延迟时间中的一个以上的延迟值。

主接口还可以包括控制部，其进行控制使画面显示部显示内窥镜图像及虚拟手术器械中的一个以上。在此，当延迟值小于等于预设的延迟阈值时，控制部可以控制成在画面显示部仅显示内窥镜图像。

增强现实技术实现部还可以包括间距运算部，利用通过画面显示部显示的实际手术器械和虚拟手术器械的位置坐标，运算各手术器械之间的间距值。

当通过间距运算部运算的间距值小于等于预设的间距阈值时，虚拟手术器械生成部可以处理为不在画面显示部显示虚拟手术器械。

虚拟手术器械生成部可以与通过间距运算部运算的间距值成比例地进行虚拟手术器械的半透明度调节、颜色变更及轮廓线厚度变更中的一个以上处理。

增强现实技术实现部还可以包括图像解析部，对通过画面显示部显示的内窥镜图像进行图像处理从而提取特征信息。在此，特征信息可以是内窥镜图像的各像素色相值、实际手术器械的位置坐标及操作形状中的一个以上。

当内窥镜图像内色相值包含在预设的色相值范围内的像素的面积或数量超过阈值时，图像解析部可以输出警告请求。根据警告请求可以执行由画面显示部显示警告讯息、由扬声器部输出警告音及停止对虚拟手术器械进行显示中的一个以上。

主接口还可以包括网络验证部，其利用由特性值运算部运算的特性值中所包含的实际手术器械的位置坐标信息及由虚拟手术器械生成部生成的虚拟手术器械信息中所包含的虚拟手术器械的位置坐标信息，验证主机器人和从机器人之间的网络通信状态。

主接口还可以包括网络验证部，其利用由图像解析部提取的特征信息中所包含的实际手术器械及虚拟手术器械的各位置坐标信息，验证主机器人和从机器人之间的网络通信状态。

网络验证部为了验证网络通信状态，还可以利用各手术器械的移动轨迹及操作形式中的一个以上。

网络验证部可以通过判断虚拟手术器械的位置坐标信息与预先存储的实际手术器械的位置坐标信息在误差范围内是否一致，来验证网络通信状态。

当实际手术器械的位置坐标信息与虚拟手术器械的位置坐标信息在误差范围内不一致时，网络验证部可以输出警告请求。根据警告请求可以执行通过画面显示部显示警告讯息、通过扬声器部输出警告音及停止对虚拟手术器械进行显示中的一个以上。

增强现实技术实现部还可以包括：图像解析部，对通过画面显示部显示的内窥镜图像进行图像处理，而提取包括手术部位或通过内窥镜图像显示的脏器的区域坐标信息在内的特征信息；重叠处理部，利用虚拟手术器械信息及区域坐标信息，判断虚拟手术器械是否与区域坐标信息发生重叠而位于后侧，当发生重叠时，对虚拟手术器械的形状中发生重叠的区域进行隐蔽处理。

增强现实技术实现部还可以包括：图像解析部，对通过画面显示部显示的内窥镜图像进行图像处理，而提取包括手术部位或通过内窥镜图像显示的脏器的区域坐标信息在内的特征信息；接触识别部，利用虚拟手术器械信息及区域坐标信息，判断虚拟手术器械是否与区域坐标信息发生接触，当发生接触时，执行警告处理。

接触警告处理可以是力反馈(force feedback)处理、限制臂操作部的操作、通过画面显示部显示警告讯息及通过扬声器部输出警告音中的一个以上。

主接口还可以包括：存储部，用于存储X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像中的一个以上的参照图像；图像解析部，对通过画面显示部显示的内窥镜图像进行图像处理而识别手术部位或通过内窥镜图像显示的脏器。根据通过图像解析部识别的脏器名称，参照图像可以通过与显示内窥镜图像的显示画面不同的单独的显示画面来显示。

主接口还可以包括存储部，用于存储X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像中的一个以上的参照图像。根据通过特性值运算部运算的实际手术器械的位置坐标信息，参照图像可以在用于显示内窥镜图像的显示画面上一同显示，或通过与所述显示画面不同的单独的显示画面来显示。

参照图像可以以利用多平面重建(MPR：Multi Planner Reformat)技术的三维图像显示。

根据本发明的另一实施例，提供一种手术机器人系统，该手术机器人系统包括：两个以上的主(master)机器人，相互间通过通信网络结合；从(slave)机器人，包括一个以上的机器臂，该机器臂根据从任一主机器人接收的操作信号来控制。

每个主机器人可以包括：画面显示部，用于显示与手术用内窥镜提供的图像信号相对应的内窥镜图像；一个以上的臂操作部，用于分别控制一个以上的机器臂；增强现实技术实现部，根据使用者利用臂操作部进行的操作而生成虚拟手术器械信息，以便通过画面显示部显示虚拟手术器械。

两个以上主机器人中的一个，即第一主机器人的臂操作部操作是可以用于生成虚拟手术器械信息，而两个以上主机器人中的另一个，即第二主机器人的臂操作部操作是可以用于控制机器臂。

与根据第一主机器人的臂操作部操作而获取的虚拟手术器械信息相对应的虚拟手术器械，可以通过第二主机器人的画面显示部来显示。

根据本发明的另一实施方式，提供一种记录介质，该记录介质上记录有手术机器人系统的控制方法、手术机器人系统的动作方法及用于分别实现所述方法的程序。

根据本发明的一实施例，提供一种手术机器人系统的控制方法，该方法在用于对包括一个以上机器臂的从机器人进行控制的主机器人上执行，该方法包括如下步骤：显示与从手术用内窥镜输入的图像信号相对应的内窥镜图像的步骤；根据臂操作部的操作生成虚拟手术器械信息的步骤；将与虚拟手术器械信息相对应的虚拟手术器械和内窥镜图像一同显示的步骤。

手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜，心脏镜中的一个以上。

生成虚拟手术器械信息的步骤可以包括：接收基于臂操作部操作的操作信息的步骤；和根据操作信息生成虚拟手术器械信息及用于控制机器臂的操作信号的步骤。操作信号可以传送给从机器人，以便控制机器臂。

手术机器人系统的控制方法还可以包括如下步骤：为了指定主机器人的驱动模式而接收驱动模式选择命令的步骤；和根据驱动模式选择命令，通过画面显示部显示内窥镜图像及虚拟手术器械中的一个以上的控制步骤。此外，还可以包括，使与根据驱动模式选择命令而被指定的驱动模式相对应的模式标记通过画面显示部显示的步骤。

模式标记可以预先指定文本讯息、边框颜色、图标、背景颜色等中的一个以上。

手术机器人系统的控制方法还可以包括如下步骤：从从机器人接收所测定的生体信息的步骤；将生体信息显示在与显示内窥镜图像的显示区域不同的单独的显示区域的步骤。

手术机器人系统的控制方法还可以包括，利用内窥镜图像及与机器臂结合的实际手术器械的位置坐标信息中的一个以上来运算特性值的步骤。特性值可以包括手术用内窥镜的视角(FOV)、放大率、视点(viewpoint)、观看深度、实际手术器械的种类、方向、深度、弯曲角度中的一个以上。

手术机器人系统的控制方法还可以包括如下步骤：将测试信号传送给从机器人的步骤；从从机器人接收对应于测试信号的应答信号的步骤；利用测试信号的传送时刻及应答信号的接收时刻，计算主机器人和从机器人之间的网络通信速度及网络通信上的延迟时间中的一个以上的延迟值的步骤。

使虚拟手术器械与内窥镜图像一同显示的步骤还可以包括如下步骤：判断延迟值是否小于等于预设的延迟阈值的步骤；当超过延迟阈值时使虚拟手术器械与内窥镜图像一同显示的步骤；当小于等于延迟阈值时仅显示内窥镜图像的步骤。

手术机器人系统的控制方法还可以包括如下步骤：对显示中包括实际手术器械的内窥镜图像及所显示的虚拟手术器械的位置坐标进行运算的步骤；利用各手术器械的位置坐标来运算各手术器械之间的间距值的步骤。

使虚拟手术器械与内窥镜图像一同显示的步骤可以包括如下步骤：判断间距值是否小于等于预设的间距阈值的步骤；只有小于等于间距阈值时一同显示虚拟手术器械与内窥镜图像的步骤。

此外，使虚拟手术器械与内窥镜图像一同显示的步骤可以包括如下步骤：判断间距值是否超过预设的间距阈值的步骤；如果超过时，使经过了半透明度调节、颜色变更及轮廓线厚度变更中的一个以上处理的虚拟手术器械与内窥镜图像一同显示的步骤。

手术机器人系统的控制方法还可以包括如下步骤：判断各手术器械的位置坐标在预设的误差范围内是否一致的步骤；根据判断结果验证主机器人和从机器人之间的通信状态的步骤。

在进行判断的步骤中，可以判断虚拟手术器械的当前位置坐标与实际手术器械的先前位置坐标在误差范围内是否一致。

此外，在进行判断的步骤中，还可以判断各手术器械的移动轨迹及操作形式中的一个以上在误差范围内是否一致。

手术机器人系统的控制方法可以包括如下步骤：从显示的内窥镜图像中提取包括各像素色相值的特征信息的步骤；判断内窥镜图像内的色相值包含在预设的色相值范围内的像素的面积或数量是否超过阈值的步骤；当超过时输出警告信息的步骤。

根据警告请求可以执行警告讯息的显示、警告音的输出及停止对虚拟手术器械的显示中的一个以上。

使虚拟手术器械与内窥镜图像一同显示的步骤可以包括如下步骤；通过对内窥镜图像进行图像处理，从而提取手术部位或通过内窥镜图像显示的脏器的区域坐标信息的步骤；利用虚拟手术器械信息及区域坐标信息，判断虚拟手术器械是否与区域坐标信息发生重叠而位于后侧的步骤；以及当发生重叠时，对虚拟手术器械的形状中发生重叠的区域进行隐蔽处理的步骤。

手术机器人系统的控制方法还可以包括如下步骤：通过对内窥镜图像进行图像处理，从而提取手术部位或通过内窥镜图像显示的脏器的区域坐标信息的步骤；以及利用虚拟手术器械信息及区域坐标信息，判断虚拟手术器械是否与区域坐标信息发生接触的步骤；当发生接触时执行接触警告处理的步骤。

接触警告处理可以是力反馈(force feedback)处理、臂操作部的操作限制、显示警告信息及输出警告音中的一个以上。

手术机器人系统的控制方法可以包括如下步骤：对内窥镜图像进行图像处理从而识别手术部位或通过内窥镜图像显示的脏器的步骤；以及在预先存储的参照图像中提取与被识别的脏器名称相对应的位置的参照图像并进行显示的步骤。在此，参照图像可以是X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像中的一个以上。

手术机器人系统的控制方法可以包括如下步骤：在预先存储的参照图像中提取与实际手术器械的位置坐标相对应的参照图像的步骤；以及将被提取的参照图像进行显示的步骤。参照图像可以是X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像中的一个以上。

参照图像可以在显示内窥镜图像的显示画面上一同显示，或者可以通过与所述显示画面不同的独立的显示画面来显示。

参照图像可以以利用多平面重建(MPR：Multi Planner Reformat)技术的三维图像显示。

根据本发明的另一实施例，提供一种手术机器人系统的动作方法，该手术机器人系统包括：具有一个以上机器臂的从机器人及用于控制从机器人的主机器人，其特征在于，该手术机器人系统的动作方法包括如下步骤：第一主机器人生成用于显示与臂操作部操作相对应的虚拟手术器械的虚拟手术器械信息及用于控制机器臂的操作信号的步骤；第一主机器人将操作信号传送给从机器人，并且将操作信号或虚拟手术器械信息中的一个以上传送给第二主机器人的步骤；而且，第二主机器人通过画面显示部显示与操作信号或虚拟手术器械信息中的一个以上相对应的虚拟手术器械。

第一主机器人及第二主机器人分别通过画面显示部显示从从机器人接收的内窥镜图像，虚拟手术器械可以与内窥镜图像一同显示。

手术机器人系统的动作方法还可以包括如下步骤：第一主机器人判断是否从第二主机器人接收了手术权限收回命令的步骤；当接收到手术权限收回命令时，第一主机器人进行控制使臂操作部的操作仅用于生成虚拟手术器械信息的步骤。

根据本发明的另一实施例，提供一种手术仿真方法，该手术仿真方法在用于控制包括机器臂的从机器人的主机器人上执行，其特征在于，包括如下步骤：识别脏器选择信息的步骤；利用预先存储的脏器建模信息，显示与脏器选择信息相对应的三维脏器图像的步骤；其中，脏器建模信息具有包括对应的脏器内部及外部各点的形状、颜色及触感中的一个以上的特性信息。

为了识别脏器选择信息可以执行如下步骤：利用通过手术用内窥镜输入的图像信号解析在手术部位内所包含的脏器的颜色及外形中的一个以上信息的步骤；在预先存储的脏器建模信息中识别与解析的信息相匹配的脏器的步骤。

脏器选择信息可以是一个以上的脏器，通过施术者选择输入。

此外，还可以包括如下步骤：根据臂操作部操作接收有关三维脏器图像的手术操作命令的步骤；利用脏器建模信息输出基于手术操作命令的触感信息的步骤。

触感信息可以是用于对关于臂操作部操作的操作灵敏度及操作阻力中的一个以上进行控制的控制信息，或是用于进行力反馈处理的控制信息。

还可以包括如下步骤：根据臂操作部操作接收有关三维脏器图像的手术操作命令的步骤；利用脏器建模信息显示基于手术操作命令的切开面图像的步骤。

所述的手术操作命令可以是切割、缝合、拉紧、按压、脏器变形、电手术引起的脏器损伤、血管出血等中的一个以上。

此外，还可以包括如下步骤：根据脏器选择信息识别脏器的步骤；提取与在预先存储的参照图像中识别的脏器名称相对应的位置的参照图像，并进行显示的步骤。在此，参照图像可以是X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像等中的一个以上。

另外，根据本发明的另一实施方式，提供一种主机器人，该主(master)机器人利用操作信号控制包括机器臂的从(slave)机器人，其特征在于，该主机器人包括：存储单元；增强现实技术实现部，将用于利用三维建模图像进行虚拟手术的连续的使用者操作履历作为手术动作履历信息存储在存储单元；操作信号生成部，输入应用命令后，将利用手术动作履历信息生成的操作信号传送给从机器人。

存储单元进一步存储与三维建模图像相对应的脏器的特性信息，特性信息可以包括脏器的三维图像、内部形状、外部形状、大小、质地、切开时的触感中的一个以上。

还可以包括建模应用部，与利用参照图像识别的特征信息相符合地校正所述三维建模图像。

存储单元进一步存储X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像中的一个以上的参照图像，手术动作履历信息可以利用建模应用部的校正结果来进行更新。

参照图像可以利用多平面重建(MPR：Multi Planner Reformat)技术处理成三维图像。

增强现实技术实现部可以判断使用者操作履历中是否存在预先指定的特殊事项，如果存在时，更新手术动作履历信息，以便根据预先指定的规则处理特殊事项。

当手术动作履历信息构成为在自动手术进行中要求使用者操作时，直到输入被要求的使用者操作为止，可以停止生成操作信号。

手术动作履历信息可以是有关全部手术过程、部分手术过程及单位动作中的一个以上的使用者操作履历。

还可以包括画面显示部，由从机器人的生体信息测定单元测定并提供的生体信息可以通过画面显示部显示。

根据本发明的另一实施方式，提供一种主机器人，在包括主机器人和从机器人的手术机器人系统中，主机器人控制从机器人的动作并进行监控，该主机器人包括：增强现实技术实现部，将利用三维建模图像进行虚拟手术的连续的使用者操作履历作为手术动作履历信息存储在存储单元中，并在存储单元中进一步存储虚拟手术的过程信息；操作信号生成部，输入应用命令后，将利用手术动作履历信息生成的操作信号传送给从机器人；图像解析部，判断将由从机器人的手术用内窥镜提供的图像信号进行解析的解析信息和过程信息在预先指定的误差范围内是否一致。

过程信息及解析信息可以是切开面的长度、面积、形状、出血量中的一个以上。

当在预先指定的误差范围内不一致时，可以停止传送信号的传送。

当在预先指定的误差范围内不一致时，图像解析部输出警告请求，并根据警告请求可执行通过画面显示部显示警告讯息及通过扬声器部输出警告音中的一个以上。

手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜，心脏镜中的一个以上。

还可以包括画面显示部，由从机器人的生体信息测定单元测定并提供的生体信息可以通过画面显示部显示。

存储单元进一步存储与三维建模图像相对应的脏器的特性信息。在此，特性信息可以包括脏器的三维图像、内部形状、外部形状、大小、质地、切开时的触感中的一个以上。

还可以包括建模应用部，与利用参照图像识别的特征信息相符合地校正所述三维建模图像。

存储单元进一步存储X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像中的一个以上的参照图像，手术动作履历信息可以利用建模应用部的校正结果来进行更新。

参照图像可以利用多平面重建技术处理成三维图像。

当内窥镜图像内的色相值在预设的色相值范围内的像素的面积或数量超过阈值时，图像解析部可以输出警告请求。根据警告请求可执行通过画面显示部显示警告讯息及通过扬声器部输出警告音中的一个以上。

图像解析部为了生成解析信息可以对通过画面显示部显示的内窥镜图像进行图像处理，从而提取手术部位或通过内窥镜图像显示的脏器的区域坐标信息。

根据本发明的又一实施方式，提供一种从机器人的控制方法，主机器人利用操作信号控制具有机器臂的从机器人，该从机器人的控制方法包括如下步骤：生成用于利用三维建模图像进行虚拟手术的连续的使用者操作的手术动作履历信息的步骤；判断是否输入了应用命令的步骤；如果输入了应用命令，则利用手术动作履历信息生成操作信号并传送给从机器人的步骤。

还可以包括如下步骤：利用参照图像更新特征信息，使预先存储的三维建模图像与对应的脏器相关的特性信息相符合的步骤；校正手术动作履历信息以符合更新结果的步骤。

特性信息可以包括脏器的三维图像、内部形状、外部形状、大小、质地、切开时的触感中的一个以上。

参照图像可以包括X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像中的一个以上。

参照图像可以利用多平面重建(MPR：Multi Planner Reformat)技术处理成三维图像。

还可以包括如下步骤：判断在连续的使用者操作中是否存在预先指定的特殊事项的步骤；存在时更新手术动作履历信息以根据预先指定的规则处理特殊事项的步骤。

在生成操作信号并传送给从机器人的步骤中，当手术动作履历信息在自动手术进行中要求使用者操作时，直至被要求的使用者操作被输入为止，可以停止生成操作信息。

手术动作履历信息可以是有关全部手术过程、部分手术过程及单位动作中的一个以上的使用者操作履历。

在进行所述判断步骤之前，可以执行如下步骤：如果输入了虚拟仿真命令，则利用生成的手术动作履历信息执行虚拟仿真的步骤；判断是否输入了有关手术动作履历信息的修订信息的步骤；如果输入了修订信息，则利用输入的修订信息更新手术动作履历信息的步骤。

根据本发明的另一实施方式，提供一种监控从机器人动作的方法，在包括主机器人和从机器人的手术机器人系统中，主机器人监控从机器人的动作，该监控方法包括如下步骤：生成与利用三维建模图像进行虚拟手术的连续的使用者操作有关的手术动作履历信息，并且生成在虚拟手术中的过程信息的步骤；如果输入了应用命令，则利用手术动作履历信息生成操作信号并传送给从机器人的步骤；对由从机器人的手术用内窥镜提供的图像信号进行解析从而生成解析信息的步骤；判断解析信息与过程信息在预先指定的误差范围内是否一致的步骤。

过程信息及解析信息可以是切开面的长度、面积、形状、出血量中的一个以上。

当在预先指定的误差范围内不一致时，可以停止传送信号的传送。

当在预先指定的误差范围内不一致时，还可以包括输出警告请求的步骤。在此，根据警告请求可执行通过画面显示部显示警告讯息及通过扬声器部输出警告音中的一个以上。

手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜，心脏镜中的一个以上。

可以预先存储与三维建模图像相对应的脏器的特性信息，特性信息可以包括脏器的三维图像、内部形状、外部形状、大小、质地、切开时的触感中的一个以上。

与利用参照图像识别的特征信息相符合地校正所述三维建模图像。

参照图像可以包括X光(X-Ray)图像、电脑断层扫描(CT)图像及核磁共振成像(MRI)图像中的一个以上，手术动作履历信息可以利用三维建模图像的校正结果来进行更新。

参照图像可以利用多平面重建(MPR，Multi Planner Reformat)技术处理成三维图像。

还可以包括如下步骤：判断内窥镜图像内的色相值在预设的色相值范围内的像素的面积或数量是否超过阈值的步骤；超过时输出警告请求的步骤。在此，根据警告请求可执行通过画面显示部显示警告讯息及通过扬声器部输出警告音中的一个以上。

为了生成解析信息，可以对通过画面显示部显示的内窥镜图像进行图像处理来提取手术部位或通过内窥镜图像显示的脏器的区域坐标信息。

除上面所述之外的其它实施方式、特征、优点根据下面的附图、权利要求的范围及对发明的详细说明会更加明确。

发明效果

根据本发明的实施例，利用增强现实技术(augmented reality)一同显示实际手术器械和虚拟手术器械，从而能够使施术者顺利进行手术。

此外，手术时能够输出有关患者的多种信息提供给施术者。

此外，根据主机器人和从机器人之间的网络通信速度，手术画面显示方法多样化，以使施术者能够顺利进行手术。

此外，将对通过内窥镜等输入的图像进行自动处理，从而能够将紧急状况即时通知给施术者。

此外，施术者能够实时感知根据主机器人操作的虚拟手术器械的移动等引起的脏器接触，从而能够直接识别虚拟手术器械与脏器之间的位置关系。

此外，能够实时提供有关手术部位的患者的图像数据(例如，CT图像，MRI图像等)，从而能够进行利用多种信息的手术。

此外，能够使手术机器人系统在学习者(learner)和教学者(trainer)之间兼容及共享，从而能够极大地提高实时教育的效果。

此外，本发明使用三维建模的虚拟脏器可以事先预测实际手术过程的经过及结果。

此外，本发明可以利用使用虚拟脏器等实施的虚拟手术的履历信息，进行全部或部分的自动手术，从而降低施术者的疲劳，以便在手术时间内保持能够正常进行手术的集中力。

此外，本发明在进行自动手术的过程中发生与虚拟手术进行过程不同或紧急状况时，能够通过施术者的手动手术迅速对应。

附图说明

图1是示出本发明的一实施例涉及的手术用机器人的整体结构的俯视图。

图2是示出本发明的一实施例涉及的手术用机器人的主接口的概念图。

图3是概略示出本发明的一实施例涉及的主机器人和从机器人的结构的模块结构图。

图4是示出本发明的一实施例涉及的手术机器人系统的驱动模式的例示图。

图5是示出本发明的一实施例涉及的表示实施中的驱动模式的模式标记的例示图。

图6是对本发明的一实施例涉及的第一模式和第二模式的驱动模式选择过程的顺序图。

图7是示出在本发明的一实施例涉及的第二模式下通过显示器部输出的画面显示的例示图。

图8是示出本发明的一实施例涉及的增强现实技术实现部的详细构成的示意图。

图9是示出在本发明的一实施例涉及的第二模式下主机器人的驱动方法的顺序图。

图10是示出本发明的另一实施例涉及的增强现实技术实现部的详细构成的示意图。

图11及图12分别示出在本发明的另一实施例涉及的第二模式下主机器人的驱动方法的顺序图。

图13是概略示出本发明的又一实施例涉及的主机器人和从机器人的结构的模块结构图。

图14是示出本发明的另一实施例涉及的用于验证手术机器人系统的正常驱动的方法的顺序图。

图15是示出本发明的又一实施例涉及的增强现实技术实现部的详细结构的示意图。

图16及图17是分别示出本发明的又一实施例涉及的用于输出虚拟手术器械的主机器人的驱动方法的顺序图。

图18是示出本发明的又一实施例涉及的提供参照图像的方法的顺序图。

图19是示出本发明的又一实施例涉及的手术用机器人的整体结构的俯视图。

图20是示出在本发明的又一实施例涉及的教育模式下手术机器人系统的动作方法的示意图。

图21是示出在本发明的又一实施例涉及的教育模式下手术机器人系统的动作方法的示意图。

图22是示出本发明的另一实施例涉及的增强现实技术实现部的详细构成的示意图。

图23概略示出本发明的又一实施例涉及的主机器人和从机器人的结构的模块结构图。

图24是示出本发明的又一实施例涉及的增强现实技术实现部350的详细构成的示意图。

图25是示出利用了本发明的一实施例涉及的履历信息的自动手术方法的顺序图。

图26是示出本发明的另一实施例涉及的更新手术动作履历信息过程的顺序图。

图27是示出利用了本发明的另一实施例涉及的履历信息的自动手术方法的顺序图。

图28是示出本发明的又一实施例涉及的手术过程监控方法的顺序图。

具体实施方式

本发明可以进行多种变化，也可以具有多种实施例，在此例举特定实施例进行详细说明。但是，本发明并不限于特定实施例，应当理解为，包括于本发明的思想及技术范围内的所有变化、均等物至代替物均属于本发明。认为在对本发明的说明中有关已知技术的详细说明可能混淆本发明的旨意的情况下，省略了该详细说明。

可以使用诸如“第一”和“第二”的术语来描述各种构成要素，但是所述构成要素不受所述术语限制。所述术语仅用于将一个构成要素与另一构成要素区分开来。

在本申请中使用的术语仅用于说明具体的实施例，并不意在限制本发明。单数表示包括复数表示，只要可以清晰地区别理解。在本申请中，诸如“包括”或“具有”等术语意在表示存在于说明书的描述中采用的特征、序号、步骤、操作、构成要素、组件或其组合，并且因此，应该理解，不排除存在或增加一个或多个不同的特征、序号、步骤、操作、构成要素、组件或其组合的可能性。下面，参照附图详细说明本发明的实施例。

而且，说明本发明的多种实施例时，各实施例不应该单独分析或实施，应当理解为，在各实施例中说明的技术思想可以与其它实施例组合分析或实施。

而且，本发明的技术思想可以广泛使用在利用手术用内窥镜(例如，腹腔镜、胸腔镜、关节镜、鼻镜等)的手术中，但在说明本发明的实施例时为了方便说明，以腹腔镜为例进行说明。

图1是示出本发明的一实施例涉及的手术用机器人的整体结构的俯视图，图2是示出本发明的一实施例涉及的手术用机器人的主接口的概念图。

参照图1及图2，腹腔镜手术用机器人系统包括：从机器人2，用于对躺在手术台上的患者实施手术；主机器人1，用于施术者远程操作从机器人2。主机器人1和从机器人2并非必须分为物理上独立的不同装置，可以合并构成一体型，此时，主接口4例如可以对应于一体型机器人的接口部分。

主机器人1的主接口4包括显示器部6及主操纵器，从机器人2包括机器臂3及腹腔镜5。主接口4还可以包括模式转换控制按钮。模式转换控制按钮可以以离合器按钮14或踏板(未图示)等形式实现，但模式转换控制按钮的实现形式并不限定于此，例如可以由通过显示器部6显示的功能菜单或模式选择菜单等来实现。此外，踏板等的用途例如可以设定为执行手术过程中所需要的任一动作。

主接口4具备主操纵器，以便施术者分别抓在两手中进行操作。如图1及2所示，主操纵器可以具有两个操纵柄10或其以上数量的操纵柄10，根据施术者操作操纵柄10而生成的操作信号传送给从机器人2，从而控制机器臂3。通过施术者操作操纵柄10能够执行机器臂3的位置移动、旋转、切割作业等。

例如，操纵柄10可以包括主操纵柄(main handle)和副操纵柄(sub handle)构成。施术者可以仅用主操纵柄操作从机器臂3或腹腔镜5等，或者操作副操纵柄可以同时实时操作多个手术器械。主操纵柄及副操纵柄可以根据其操作方式具有多种机械结构，例如，可以使用操纵杆式、键盘、跟踪球、触摸屏等多种输入方式，以便操作从机器人2的机器臂3及/或其它手术器械。

主操纵器并不限定于操纵柄10形式，只要是通过网络能够控制机器臂3的动作的形式均不受限制地适用。

在主接口4的显示器部6上以画面图像的方式显示通过腹腔镜5输入的图像。此外，显示器部6上可以同时显示由施术者操作操纵柄10而控制的虚拟手术器械，或者也可以显示在单独的画面上。而且，显示在显示器部6上的信息可以根据被选择的驱动模式有多种。在下面参照相关附图详细说明有关虚拟手术器械的显示与否、控制方法、按驱动模式显示信息等。

显示器部6可以由一个以上的显示器构成，能够在各显示器上分别显示手术时所需的信息。在图1及图2中，例示出显示器部6包括三个显示器的情况，但显示器的数量可以根据所要显示的信息的类型或种类等进行不同决定。

显示器部6还可以输出有关患者的多种生体信息。此时，显示器部6可以通过一个以上的显示器输出表示患者状况的指标，例如体温、脉搏、呼吸及血压等生体信息的一个以上，各信息可以按领域区分而输出。为了将这种生体信息提供给主机器人1，从机器人2可以包括生体信息测定单元，该生体信息包括体温测定模块、脉搏测定模块、呼吸测定模块、血压测定模块、心电图测定模块等中的一个以上。通过各模块测定的生体信息可以以模拟信号或数字信号形式自从机器人2传送给主机器人1，主机器人1可以将接收到的生体信息通过显示器部6显示。

从机器人2和主机器人1通过有线通信网络或无线通信网络相互结合，并且可以向对方传送操作信号、通过腹腔镜输入的腹腔镜图像等。如果需要同时及/或在接近的时间传送主接口4上所具有的两个操纵柄10产生的两个操作信号及/或用于调节腹腔镜5位置的操作信号时，各操作信号可以相互独立地传送给从机器人2。在此，“相互独立地”传送各操作信号是指，操作信号之间互不干涉，某一操作信号不会影响另一信号的意思。为了使多个操作信号相互独立地传送，可以利用如下多种方式，在各操作信号的生成步骤中，在各操作信号附加标头信息进行传送，或者使各操作信号按照其生成顺序进行传送，或者对各操作信号的传送顺序预设优先顺序并根据该顺序进行传送等。此时，也可以具有单独的传送各操作信号的传送路径，从而根本上防止各操作信号之间的干涉。

从机器人的机器臂3可以具有多自由度地进行驱动。机器臂3例如可以包括：手术器械，用于插入在患者的手术部位；偏转驱动部，根据手术位置以使手术器械向偏转(yaw)方向旋转；俯仰驱动部，在与偏转驱动部的旋转驱动正交的俯仰(pitch)方向旋转手术器械；移动驱动部，使手术器械向纵向移动；旋转驱动部，使手术器械旋转；手术器械驱动部，设置在手术器械的末端，并用于切开或切割手术病变部位。但是，机器臂3的结构并不限定于此，应当理解为，这种例示并不限定本发明的权利要求范围。此外，由于施术者通过操作操纵柄10而使机器臂10向相对应方向旋转、移动等的实际控制过程跟本发明的宗旨有点距离，因此省略具体地说明。

用于对患者进行手术可以使用一个以上从机器人2，而将手术部位通过显示器部6以画面图像方式显示的腹腔镜5可以以单独的从机器人2来实现。此外，如上所述本发明的实施例除了利用腹腔镜的手术之外可以广泛地使用在利用多种手术用内窥镜(例如，胸腔镜、关节镜、鼻镜等)的手术上。

图3是概略示出本发明的一实施例涉及的主机器人和从机器人的结构的模块结构图，图4是示出本发明的一实施例涉及的手术机器人系统的驱动模式的例示图，图5是示出本发明的一实施例涉及的表示实施中的驱动模式的模式标记的例示图。

参照概略示出主机器人1和从机器人2结构的图3，主机器人1包括：图像输入部310；画面显示部320；臂操作部330；操作信号生成部340；增强现实技术实现部350以及控制部360。从机器人2包括机器臂3及腹腔镜5。虽然图3中未示出，从机器人2还可以包括用于测定并提供患者生体信息的生体信息测定单元。此外，主机器人1还可以包括扬声器部，当判断为紧急状况时，用于输出警告音、警告语音留言等警告信息。

图像输入部310通过有线或无线通信网络接收自从机器人2的腹腔镜5上所具有的摄像机输入的图像。

画面显示部320以视觉信息输出与通过图像输入部310接收的图像相对应的画面图像。此外，画面显示部320还可以以视觉信息输出基于臂操作部330操作的虚拟手术器械，当从从机器人2输入生体信息时，还可以输出与其相对应的信息。画面显示部320可以以显示器部6等形式实现，用于将接收的图像通过画面显示部320以画面图像输出的图像处理程序，可以通过控制部360、增强现实技术实现部350或图像处理部(未图示)来执行。

臂操作部330是能够使施术者操作从机器人2的机器臂3的位置及功能的单元。如图2所示，臂操作部330可以以操纵柄10的形式形成，但并不限定于该形式，可以变更为实现相同目的的多种形式。而且，例如也可以一部分为操纵柄形式、另一部分为离合器按钮等的不同形式形成，为了方便操作手术器械，还可以形成有插入施术者手指而固定的手指插入管或插入环。

如上所述，在臂操作部330上可以具有离合器按钮14，离合器按钮14可以作为模式转换控制按钮而利用。除此之外，模式转换控制按钮可以以踏板(未图示)等机械结构实现，或者通过显示器部6显示的功能菜单或模式选择菜单等实现。此外，如果用于接收图像的腹腔镜5不固定在特定位置上，其位置及/或图像输入角度能够根据施术者的调节而移动或变更时，则离合器按钮14等可以被设定成用于调节腹腔镜5的位置及/或图像输入角度。

当施术者为了机器臂3及/或腹腔镜5的位置移动或者手术而操作臂操作部330时，操作信号生成部340生成与其相对应的操作信号并传送给从机器人2。如上所述操作信号可以通过有线或无线通信网络传送。

当主机器人1在第二模式的比较模式等下驱动时，增强现实技术实现部350进行处理，除了通过腹腔镜5输入的手术部位图像之外，还将随着臂操作部330的操作而实时联动的虚拟手术器械输出到画面显示部320。在下面参照相关附图详细说明增强现实技术实现部350的具体功能、多种详细结构等。

控制部360控制各构成要素的动作以能够执行所述功能。控制部360可以执行将通过图像输入部310输入的图像转换成通过画面显示部320显示的画面图像的功能。此外，当根据臂操作部330操作而接收到操作信息时，控制部360控制增强现实技术实现部350使虚拟手术器械相对应地通过画面显示部320输出。此外，当执行教育模式的第四模式时，控制部360可以给学习者和教育者授予或收回手术权限。

如图4所示，主机器人1及/或从机器人2可以在多种驱动模式中根据施术者等选择的驱动模式动作。

例如，驱动模式可以包括：实际模式的第一模式；比较模式的第二模式；虚拟模式的第三模式；教育模式的第四模式以及仿真模式的第五模式等。

当主机器人1及/或从机器人2在实际模式的第一模式下动作时，通过主机器人1的显示器部6显示的图像可以包括例如图5所示的手术部位、实际手术器械等。即，可以不显示虚拟手术器械，这与利用以往的手术机器人系统的远程手术时的显示画面相同或类似。当然，在第一模式下动作时，当从机器人2接收到被测定的患者的生体信息时也可以显示与其相对应的信息，如上所述，其显示方法可以有多种。

当主机器人1及/或从机器人2在比较模式的第二模式下动作时，通过主机器人1的显示器部6显示的图像可以包括手术部位、实际手术器械、虚拟手术器械等。

作为参考，实际手术器械是通过腹腔镜5输入后传送给主机器人1的图像中所包括的手术器械，是对患者的身体直接实施手术行为的手术器械。与此相反，虚拟手术器械是根据施术者操作臂操作部330而被主机器人1所识别的操作信息(即，手术器械的移动、旋转等信息)控制并仅显示在画面上的虚拟手术器械。实际手术器械及虚拟手术器械的位置及操作形状由操作信息来决定。

操作信号生成部340利用施术者操作臂操作部330时的操作信息而生成操作信号，并将生成的操作信号传送给从机器人2，其结果使实际手术器械与操作信息相对应地进行操作。而且，施术者可以根据通过腹腔镜5输入的图像确认根据操作信号操作的实际手术器械的位置及操作形状。即，主机器人1和从机器人2之间的网络通信速度足够快的情况下，实际手术器械和虚拟手术器械以几乎一样的速度运动。相反，当网络通信速度有点慢时，虚拟手术器械先运动后，实际手术器械隔着些许的时间差进行与虚拟手术器械的操作形式相同的运动。但是，网络通信速度慢的状态下(例如，延迟时间超过150ms)，虚拟手术器械运动之后，实际手术器械隔着一定的时间差进行运动。

当主机器人1及/或从机器人2在虚拟模式的第三模式下动作时，使主机器人1不将对臂操作部330的学习者(即、实习生)或教育者(即、实习教师)的操作信号传送给从机器人2，从而使通过主机器人1的显示器部6显示的图像可以包括手术部位及虚拟手术器械等中的一个以上。教育者等可以选择第三模式预先进行对实际手术器械的测试动作。进入第三模式可以通过对离合器按钮14等进行选择来实现，在该按钮被按压的状态下(或者，选择第三模式的状态)操作操纵柄10时，可以使实际手术器械不运动而只有虚拟手术器械在运动。此外，也可以设定为，在进入第三模式的虚拟模式时，如果没有教育者等的另外的操作，只有虚拟手术器械在运动。在这种状态下结束该按钮的按压(或者选择第一模式或第二模式)或结束虚拟模式，则可以使实际手术器械与虚拟手术器械运动的操作信息相符地进行运动，或使操纵柄10恢复到(或者虚拟手术器械的位置及操作形式恢复)按住该按钮时的位置。

当主机器人1及/或从机器人2在教育模式的第四模式下动作时，可以将学习者(即、实习生)或教育者(即、实习教师)对臂操作部330的操作信号传送给被教育者或者学习者操作的主机器人1。为此，可以在一个从机器人2上连接两个以上的主机器人1，或者也可以在主机器人1上连接另外的主机器人1。此时，当教育者用主机器人1的臂操作部330被操作时，可以将相对应的操作信号传送给从机器人2，而在教育者用及学习者用主机器人1的各自显示器部6上可以显示用于确认手术过程的通过腹腔镜5输入的图像。于此相反，当学习者用主机器人1的臂操作部330被操作时，可以将相对应的操作信号只提供给教育者用主机器人1，而不必传送给从机器人2。即，可以使教育者的操作在第一模式下工作，而学习者的操作在第三模式下工作。在下面参照附图详细说明有关教育模式的第四模式下的动作。

在仿真模式的第五模式下动作时，主机器人1作为利用三维建模的三维形状的脏器的特性(例如，形状、质地、切除时的触感等)的手术仿真器而发挥作用。即，第五模式可以理解为与第三模式的虚拟模式近似或进一步发展的模式，可以将利用立体内窥镜等取得的三维形状上结合脏器特性进行手术仿真动作。

如果通过画面显示部320输出了肝，则利用立体内窥镜能够掌握肝的三维形状，并与数学建模的肝的特性信息(该信息可以预先存储在存储部(未图示))进行匹配，从而可以在手术途中在虚拟模式下进行仿真手术。例如，在实际切除肝之前，将肝的形状与肝的特征信息进行匹配的状态下，也可以预先进行仿真手术，即在哪个方向如何切除肝最适合。而且，基于数学建模信息及特征信息还可以预先感觉手术时的触感，即哪个部位硬哪个部位软。此时，将所获得的三维脏器的表面形状信息与参照CT(Computer toography)或/及MRI(Magnetic Resonance Imaging)图像等而重组的脏器表面三维形状进行整合，如果将由CT、MRI图像等进行重组的脏器内部的三维形状与数学建模信息进行整合，则能够进行更接近现实的仿真手术。

此外，所述的第三模式(虚拟模式)及/或第五模式(仿真模式)也可以使用在下面参照相关附图要说明的利用履历信息的手术方法。

以上说明了第一模式至第五模式的驱动模式，但除此之外可以增加根据多种目的的驱动模式。

此外，在各模式下使主机器人1驱动时，施术者可能混淆当前所处的驱动模式。为了更加明确地识别驱动模式，还可以通过画面显示部320显示模式标记。

图5是在显示手术部位和实际手术器械460的画面上进一步显示驱动标记的显示形式的例示图。模式标记是用于明确识别当前处于哪一种驱动模式下进行驱动，例如，可以有讯息450、边框颜色480等多种。此外，模式标记可以由图标、背景颜色等形成，可以显示一个模式标记，或者同时显示两个以上的模式标记。

图6是示出对本发明的一实施例涉及的第一模式和第二模式的驱动模式进行选择的过程的顺序图，图7是示出在本发明的一实施例涉及的第二模式下通过显示器部输出的画面显示的例示图。

在图6中假定了在第一模式或第二模式中选择其一的情况，但如图4所例示，如果驱动模式适用于第一模式至第五模式的情况，则在下面说明的步骤520中的模式选择输入可以是在第一模式至第五模式中的任一个，在步骤530及步骤540中可以执行根据被选择模式的画面显示。

参照图6，在步骤510中手术机器人系统开始驱动。当手术机器人系统开始驱动之后，通过腹腔镜5输入的图像输出至主机器人1的显示器部6。

在步骤520中主机器人1接收施术者的驱动模式的选择。驱动模式的选择例如可以利用具体的装置，即按压离合器按钮14或踏板(未图示)等，或者通过显示器部6显示的功能菜单或模式选择菜单等来实现。

如果在步骤520中选择了第一模式时，主机器人1以实际模式的驱动模式动作，并且将通过腹腔镜5输入的图像显示在显示器部6。

但是，如果在步骤520中选择了第二模式时，主机器人1以比较模式的驱动模式动作，并且不仅将通过腹腔镜5输入的图像显示在显示器部6，将根据臂操作部330操作时的操作信息被控制的虚拟手术器械一同显示在显示器部6。

在图7中例示出在第二模式中通过显示器部6输出的画面显示形式。

如图7所示，在比较模式下画面上同时显示出通过腹腔镜5输入并提供的图像(即，表示手术部位和实际手术器械460的图像)和根据臂操作部330操作时的操作信息被控制的虚拟手术器械610。

主机器人1和从机器人2之间的网络通信速度可能引起实际手术器械460和虚拟手术器械610之间的显示位置等的差异，经过规定时间后，实际手术器械460将移动到当前虚拟手术器械610的当前位置并被显示。

在图7中为了与实际手术器械460便于区分以箭头例示出虚拟手术器械610，但虚拟手术器械610的显示图像可以与实际手术器械的显示图像处理成相同或为了便于识别两者之间处理成半透明形状，或者表示为仅有外轮廓线的虚线图形等多种形状。在下面参照相关附图进一步说明有关虚拟手术器械610的显示与否及显示形状等。

此外，将通过腹腔镜5输入并提供的图像与虚拟手术器械610一同显示的方法可以有多种，例如在腹腔镜图像的上部重叠显示虚拟手术器械610的方法，将腹腔镜图像与虚拟手术器械610重组为一个图像而显示的方法等。

图8是示出本发明的一实施例涉及的增强现实技术实现部350的详细构成的示意图，图9是示出在本发明的一实施例涉及的第二模式中的主机器人1的驱动方法的顺序图。

参照图8，增强现实技术实现部350可以包括：特性值运算部710；虚拟手术器械生成部720；测试信号处理部730；以及延迟时间计算部740。增强现实技术实现部350的构成要素中可以省略部分构成要素(例如，测试信号处理部730、延迟时间计算部740等)，也可以还增加部分构成要素(例如，进行用于将从从机器人2接收的生体信息能够通过画面显示部320输出的处理的构成要素等)。增强现实技术实现部350所包括的一个以上的构成要素也可以由程序代码组合的软件程序形式实现。

特性值运算部710利用通过从机器人2的腹腔镜5输入并提供的图像及/或结合在机器臂3上的实际手术器械的位置的坐标信息等，来运算特性值。实际手术器械的位置可以参照从机器人2的机器臂3的位置值来进行识别，有关该位置的信息也可以由从机器人2提供给主机器人1。

特性值运算部710例如可以利用腹腔镜5的图像等来运算出腹腔镜5的视角(FOV：Field of View)、放大率、视点(例如，观看方向)、观看深度等，以及实际手术器械460的种类、方向、深度、弯曲程度等的特性值。当利用腹腔镜5的图像运算特性值时，也可以利用对该图像中的被摄物体进行外轮廓线提取、形状识别、倾斜角度等识别的图像识别技术。此外，实际手术器械460的种类等可以在机器臂3上结合该手术器械的过程等中预先输入。

虚拟手术器械生成部720参照施术者操作机器臂3时的操作信息而生成通过画面显示部320输出的虚拟手术器械610。虚拟手术器械610最初显示的位置例如可以以通过画面显示部320显示的实际手术器械460的显示位置为基准，并且通过臂操作部330的操作而被操作的虚拟手术器械610的位移例如可以参照与操作信号相对应地移动的实际手术器械460的实测值来预先设定。

虚拟手术器械生成部720也可以只生成用于通过画面显示部320输出虚拟手术器械610的虚拟手术器械信息(例如，用于表示虚拟手术器械的特性值)。虚拟手术器械生成部720在根据操作信息决定虚拟手术器械610的形状或位置时，也可以参照通过特性值运算部710运算的特性值或用于表示虚拟手术器械610而利用的之前的特性值等。这是为了虚拟手术器械710或实际手术器械460在保持与之前相同形状(例如，倾斜角度等)的状态下只进行平行移动操作时能够迅速生成该信息。

测试信号处理部730将测试信号传送给从机器人2，并且从从机器人2接收应答信号，以便判断主机器人1与从机器人2之间的网络通信速度。通过测试信号处理部730传送的测试信号例如可以是以时间戳(time stamp)的形式包括在主机器人1和从机器人2之间传输的控制信号中而使用的通常信号或用于测定网络通信速度而单独使用的信号。此外，也可以预先指定在传输测试信号的每个时间点中，只有在部分时间点上进行网络通信速度的测定。

延迟时间计算部740是利用测试信号的传送时间和应答信号的接收时间来计算网络通信上的延迟时间。如果从主机器人向从机器人2传送任一信号的区间和主机器人1从从机器人2接收任一信号的区间的网络通信速度相同时，延迟时间例如可以是测试信号的传送时刻和应答信号的接收时刻之差值的1/2。这是由于从机器人从主机器人1接收到操作信号会立即进行相应地处理。当然，延迟时间中还可以包括从机器人2根据操作信号执行机器臂3控制等处理的处理延迟时间。作为另一例，如果重视施术者的操作时刻和观察时刻之差时，网络通信上的延迟时间也可以通过传送时刻和应答信号的接收时刻(例如，通过显示部显示出施术者的操作结果的时间)之差值来计算。除此之外延迟时间的计算方式可以有多种。

如果延迟时间小于等于预先指定的阈值(例如，150ms)时，实际手术器械460和虚拟手术器械610之间的显示位置之差等不会太大。此时，虚拟手术器械生成部720可以不将虚拟手术器械610显示在画面显示部320。这是为了防止实际手术器械460和虚拟手术器械610一致显示，或在非常接近的位置双重显示时可能导致施术者混淆。

但是，如果延迟时间超过预先指定的阈值(例如，150ms)时，实际手术器械460和虚拟手术器械610之间的显示位置之差等可能较大。此时，虚拟手术器械生成部720可以将虚拟手术器械610显示在画面显示部320。这是为了消除施术者的臂操作部330操作情况与实际手术器械460的操作情况未能实时地一致而引起的施术者混淆，即便是施术者参照虚拟手术器械610进行手术，实际手术器械460也会随后以虚拟手术器械610的操作形式被操作。

在图9中例示出在第二模式下主机器人1的驱动方法的顺序图。在说明顺序图的各步骤时，为了便于说明及理解以主机器人1执行各步骤的形式进行说明。

参照图9，在步骤810中，主机器人1为了测定网络通信速度生成测试信号并通过有线或无线通信网络传送给从机器人2。

在步骤820中，主机器人1从从机器人2接收对测试信号的应答信号。

在步骤830中，主机器人1利用测试信号的传送时刻和应答信号的接收时刻来计算网络通信速度上的延迟时间。

随后，在步骤840中，主机器人1判断计算出的延迟时间是否小于等于预设的阈值。此时，阈值是施术者利用手术机器人系统顺利进行手术所要求的网络通信速度上的延迟时间，可以通过实验及/或统计的方法决定。

如果计算的延迟时间小于等于预设的阈值时，执行步骤850，主机器人1在画面显示部320上显示通过腹腔镜5输入的图像(即，包括手术部位和实际手术器械460的图像)。此时，可以不显示虚拟手术器械610。当然，此时也可以同时显示虚拟手术器械610和实际手术器械460。

但是，当计算的延迟时间超过预设的阈值时，执行步骤860，主机器人1可以在画面显示部320上将通过腹腔镜5输入的图像(即，包括手术部位和实际手术器械460的图像)和虚拟手术器械610同时显示。当然，此时也可以不显示虚拟手术器械610。

图10是示出本发明的另一实施例涉及的增强现实技术实现部350的详细构成的示意图，图11及图12分别示出在本发明的另一实施例涉及的第二模式下主机器人1的驱动方法的顺序图。

参照图10，增强现实技术实现部350包括：特性值运算部710；虚拟手术器械生成部720；间距运算部910；图像解析部920。增强现实技术实现部350的构成要素中可以省略部分构成要素，也可以还增加部分构成要素(例如，进行用于能够通过画面显示部320输出从从机器人2接收的生体信息的处理的构成要素等)。增强现实技术实现部350所包括的一个以上的构成要素也可以由程序代码组合的软件程序形式实现。

特性值运算部710利用通过从机器人2的腹腔镜5输入并提供的图像及/或结合在机器臂3上的实际手术器械的位置相关的坐标信息等来运算特性值。特性值可以包括例如腹腔镜5的视角(FOV：Field of View)、放大率、视点(例如，观看方向)、观看深度等，以及实际手术器械460的种类、方向、深度、弯曲程度等中的一个以上。

虚拟手术器械生成部720参照施术者操作机器臂3时的操作信息生成欲通过画面显示部320输出的虚拟手术器械610。

间距运算部910利用通过特性值运算部710运算的实际手术器械460的位置坐标和与臂操作部330的操作联动的虚拟手术器械610的位置坐标来运算各手术器械之间的间距。例如，如果虚拟手术器械610和实际手术器械460的位置坐标分别已确定时，可以由连接两点的线段长度来运算。在此，位置坐标可以是例如由x-y-z轴规定的三维空间上的一点的坐标值，该一点可以预先指定为在虚拟手术器械610及实际手术器械460上的特定位置的一点。除此之外，各手术器械之间的间距还可以利用根据操作方法而生成的路径或轨迹的长度等。例如当画圆(circle)时存在与画圆时间相当的时间差时，虽然各手术器械之间的线段长度非常小，但可能发生与根据操作方法而产生的圆的圆周长度相当的路径或轨迹上的差。

用于运算间距而利用的实际手术器械460的位置坐标可以使用绝对坐标值或基于特定点运算的相对坐标值，或者也可以将通过画面显示部320显示的实际手术器械460的位置进行坐标化而利用。同样地，虚拟手术器械610的位置坐标也可以以虚拟手术器械610的初期位置为基准，将通过臂操作部330操作而移动的虚拟位置进行绝对坐标化而利用，或使用以特定点为基准运算的相对坐标值，或者也可以将通过画面显示部320显示的虚拟手术器械610的位置进行坐标化而利用。在此，为了解析通过画面显示部320显示的各手术器械的位置，也可以利用如下说明的通过图像解析部920解析的特征信息。

当虚拟手术器械610和实际手术器械460之间的间距较窄或为0时，可以理解为网络通信速度良好，间距宽时，可以理解为网络通信速度不够快。

虚拟手术器械生成部720可以利用通过间距运算部910运算的间距信息来决定虚拟手术器械610的显示与否、虚拟手术器械610的显示颜色或显示形式等中的一个以上。例如，当虚拟手术器械610和实际手术器械460之间的间距小于等于预设的阈值时，可以禁止虚拟手术器械610输出到画面显示部320。此外，当虚拟手术器械610和实际手术器械460之间的间距超过预设的阈值时，进行与相互间间距成比例地调节半透明度或使颜色失真或变更虚拟手术器械610外轮廓线的厚度等处理，从而使施术者明确地确认网络通信速度。在此，阈值例如可以指定为5mm等的距离值。

图像解析部920利用通过腹腔镜5输入并提供的图像来提取预设的特征信息(例如，各像素的色相值、实际手术器械460的位置坐标、操作形状等中的一个以上)。例如，图像解析部920解析该图像的各像素的色相值之后，可以判断具有表示血液的色相值的像素是否大于基准值，或者判断由具有表示血液的色相值的像素形成的区域或面积是否大于一定规模，从而能够即时对应手术中可能发生的紧急状况(例如，大出血等)。此外，图像解析部920也可以捕捉通过腹腔镜5输入的图像及显示虚拟手术器械610的画面显示部320的显示画面来生成各手术器械的位置坐标。

图11是示出了在本发明的另一实施例涉及的第二模式下的主机器人1的驱动方法的顺序图。

参照图11，在步骤1010中，主机器人1从从机器人2接收腹腔镜图像(即，通过腹腔镜5输入并提供的图像)。

在步骤1020中，主机器人1运算实际手术器械460和虚拟手术器械610的坐标信息。在此，坐标信息可以利用例如由特性值运算部710运算的特性值及操作信息来运算，或者可以利用由图像解析部920提取的特征信息。

在步骤1030中，主机器人1利用在步骤1020中运算的各手术器械的坐标信息来运算相互间的间距。

在步骤1040中，主机器人1判断运算出的间距是否小于等于阈值。

如果运算出的间距小于等于阈值时，执行步骤1050，主机器人1通过画面显示部320输出腹腔镜图像，但不显示虚拟手术器械610。

但是，如果运算出的间距超过阈值时，执行步骤1060，主机器人1通过画面显示部将腹腔镜图像和虚拟手术器械610一同显示。此时，也可以进行与相互间的间距成比例地调节半透明度或使颜色失真或变更虚拟手术器械610外轮廓线的厚度等的处理。

此外，图12示出了在本发明的又一实施例涉及的第二模式下主机器人1的驱动方法的顺序图。

参照图12，在步骤1110中，主机器人1接收腹腔镜图像。接收的腹腔镜图像通过画面显示部320输出。

在步骤1120及步骤1130中，主机器人1解析被接收的腹腔镜图像，从而运算并分析该图像的各像素的色相值。各像素的色相值的运算可以通过如上所述的图像解析部920来执行，或也可以通过使用图像识别技术的特性值运算部710来执行。此外，通过各像素的色相值的分析可以运算出例如色相值频率、由具有作为分析对象的色相值的像素形成的区域或面积等中的一个以上。

在步骤1140中，主机器人1基于在步骤1130中分析的信息判断是否处于紧急状况。可以事先定义紧急状况的类型(例如，大出血等)或被分析的信息在什么情况下可以识别为紧急状况等。

如果判断为紧急状况时，执行步骤1150，主机器人1输出警告信息。警告信息可以是例如通过画面显示部320输出的警告讯息等或通过扬声器部(未图示)等输出的警告音等。虽然图3中未图示，主机器人1当然还可以包括用于输出警告信息或通知等的扬声器部。此外，当判断为紧急状况的时刻，通过画面显示部320同时显示虚拟手术器械610时，也可以不显示虚拟手术器械610，以便施术者能够准确地判断手术部位。

但是，如果判断为非紧急状况时，再次执行步骤1110。

图13是概略示出本发明的又一实施例涉及的主机器人和从机器人的结构的模块结构图，图14是示出本发明的又一实施例涉及的用于验证手术机器人系统的正常驱动的方法的顺序图。

参照概略示出主机器人1和从机器人2结构的图13，主机器人1包括：图像输入部310；画面显示部320；臂操作部330；操作信号生成部340；增强现实技术实现部350；控制部360及网络验证部1210。从机器人2包括机器臂3及腹腔镜5。

图像输入部310通过有线或无线通信网络接收由在从机器人2的腹腔镜5上所具有的摄像机输入的图像。

画面显示部320以视觉信息输出通过图像输入部310接收的图像及/或根据臂操作部330操作而获得的对应于虚拟手术器械610的画面图像。

臂操作部330是能够使施术者操作从机器人2的机器臂3的位置及功能的单元。

为了机器臂3及/或腹腔镜5的位置移动或手术而由施术者操作臂操作部330时，操作信号生成部340生成于此相对应的操作信号并传送给从机器人2。

网络验证部1210利用通过特性值运算部710运算的特性值及通过虚拟手术器械生成部720生成的虚拟手术器械信息，来验证主机器人1和从机器人之间的网络通信。为此，可以利用例如特性值中实际手术器械460的位置信息、方向、深度、弯曲程度等中的一个以上，或根据虚拟手术器械信息的虚拟手术器械610的位置信息、方向、深度、弯曲程度等中的一个以上，而且特性值及虚拟手术器械信息可以存储在存储部(未图示)。

根据本发明的实施例，通过施术者操作臂操作部330而生成操作信息时，虚拟手术器械610相对应地被进行控制，并且将与操作信息相对应的操作信号传送给从机器人2，利用于操作实际手术器械460。而且，由操作信号操作控制的实际手术器械460的位置移动等可以通过腹腔镜图像进行确认。此时，由于虚拟手术器械610的操作在主机器人1内进行，所以考虑网络通信速度等因素，一般比实际手术器械460的操作提前。

因此，网络验证部1210判断实际手术器械460虽然在时间上延迟但是否被操作为与虚拟手术器械610的移动轨迹或操作形式等相同或在预设的误差范围内相等，从而可以判断网络通信是否正常。为此，可以利用存储在存储部中的有关当前实际手术器械460位置等的特性值的虚拟手术器械信息。此外，误差范围例如可以由相互坐标信息之间的距离值或识别为一致时为止的时间值等来设定，该值可以例如通过随机、实验或/及统计指定。

此外，网络验证部1210也可以利用通过图像解析部920解析的特征信息来执行网络通信的验证。

控制部360控制各构成要素的动作以能够执行所述功能。除此之外，如在其它实施例例示说明，控制部360还可以执行附加的多种功能。

图14是通过验证网络通信来验证手术机器人系统是否正常驱动的方法的例示图。

参照图14，在步骤1310及1320中，主机器人1从施术者接收臂操作部330的操作，并解析根据臂操作部330的操作而获得的操作信息。该操作信息是例如根据臂操作部330的操作而使实际手术器械460移动位置、切开手术部位等的信息。

在步骤1330中，主机器人1利用被解析的操作信息生成虚拟手术器械信息，并且将根据生成的虚拟手术器械信息的虚拟手术器械610输出到画面显示部320。此时，生成的虚拟手术器械信息可以存储在存储部(未图示)中。

在步骤1340中，主机器人1运算实际手术器械460的特性值。特性值的运算可以通过例如特性值运算部710或图像解析部920来执行。

在步骤1350中，主机器人1判断是否存在各手术器械的坐标值的一致点。如果各手术器械的坐标信息一致或在误差范围内一致时，可以判断为存在坐标值的一致点。在此，误差范围例如可以预先设定为三维坐标上的距离值等。如上所述，由于施术者操作臂操作部的结果比实际手术器械460更早反映在虚拟手术器械610上，因此步骤1350以判断实际手术器械460的特性值是否与存储在存储部中的虚拟手术器械信息一致来执行。

如果不存在坐标值的一致点时，执行步骤1360，主机器人1输出警告信息。警告信息可以是例如通过画面显示部320输出的警告讯息等或通过扬声器部(未图示)等输出的警告音等。

但是，如果存在坐标值的一致点时，判断为网络通信正常，再次执行步骤1310。

上述步骤1310至步骤1360可以在施术者的手术过程中实时执行，或者可以在定期或预设的时间点执行。

图15是示出本发明的又一实施例涉及的增强现实技术实现部350的详细结构的示意图，图16及图17是分别示出本发明的又一实施例涉及的用于输出虚拟手术器械的主机器人1的驱动方法的顺序图。

参照图15，增强现实技术实现部350包括：特性值运算部710；虚拟手术器械生成部720；图像解析部920；重叠处理部1410；接触识别部1420。增强现实技术实现部350的构成要素中部分构成要素可以省略，部分构成要素(例如，进行用于可通过画面显示部320将从从机器人2接收的生体信息输出的处理的构成要素等)。增强现实技术实现部350所包括的一个以上的构成要素也可以由程序代码组合的软件程序形式实现。

特性值运算部710利用由从机器人2的腹腔镜5输入并提供的图像及/或结合在机器臂3上的实际手术器械的位置的坐标信息等来运算特性值。特性值可以包括例如腹腔镜5的视角(FOV：Field of View)、放大率、视点(例如，观看方向)、观看深度等、和实际手术器械460的种类、方向、深度、弯曲程度等中的一个以上。

虚拟手术器械生成部720参照施术者操作机器臂3而获得的操作信息，生成通过画面显示部320输出的虚拟手术器械610的虚拟手术器械信息。

图像解析部920利用通过腹腔镜5输入并提供的图像，提取预设的特征信息(例如，手术部位内的脏器形状、实际手术器械460的位置坐标、操作形状等中的一个以上)。例如，图像解析部920可以利用图像识别技术解析显示的脏器是什么脏器，该图像识别技术是用于提取在腹腔镜图像内显示的脏器的外轮廓线、或解析表示脏器的各像素的色相值等。为此，在存储部(未图示)中可以预先存储有关各脏器的形状、颜色、各脏器或/及手术部位在三维空间上所处的区域的坐标信息等信息。此外，图像解析部920通过图像解析也可以解析出该脏器所处区域的坐标信息(绝对坐标或相对坐标)。

重叠处理部1410利用通过虚拟手术器械生成部720生成的虚拟手术器械信息及通过图像解析部920识别的脏器及/或手术部位的区域坐标信息，来判断相互间是否发生重叠并进行相应处理。如果部分或全部虚拟手术器械位于脏器的下侧或侧面后方时，可以判断为相应部分发生了相互重叠(即，遮挡)，为了增强虚拟手术器械610在显示上的真实性，对相当于重叠部分的虚拟手术器械610的区域进行隐蔽(即，通过画面显示部320不显示)处理。对该重叠部分进行隐蔽处理的方法可以利用例如对虚拟手术器械610的形状中相当于重叠部分区域进行透明处理等的方法。

此外，当重叠处理部1410判断为脏器和虚拟手术器械610之间存在重叠时，可以将脏器的区域坐标信息提供给虚拟手术器械生成部720，或者也可以请求虚拟手术器械生成部720从存储部读出相关信息，从而使虚拟手术器械生成部720不生成重叠部分的虚拟手术器械信息。

接触识别部1420利用通过虚拟手术器械生成部720生成的虚拟手术器械信息及通过图像解析部920识别的脏器的区域坐标信息，来判断相互间是否发生接触并进行相应处理。如果脏器的区域坐标信息中表面坐标信息与虚拟手术器械的部分或全部坐标信息相一致时，可以判断为该部分发生了接触。当由接触识别部1420判断为发生了接触时，主机器人1可以进行如下处理，例如使臂操作部330不做任何操作，或通过臂操作部330产生力反馈(force feedback)，或输出警告信息(例如，警告讯息或/及警告音等)。主机器人1的构成要素可以包括用于进行力反馈处理或输出警告信息的构成要素。

在图16中例示出用于输出本发明的又一实施例涉及的虚拟手术器械的主机器人1的驱动方法。

参照图16，在步骤1510中，主机器人1从施术者接收臂操作部330的操作。

其次，在步骤1520及步骤1530中，主机器人1通过解析臂操作部330操作时的操作信息而生成虚拟手术器械信息。虚拟手术器械信息例如可以包括用于通过画面显示部320输出虚拟手术器械610的有关虚拟手术器械610外轮廓线或区域的坐标信息。

而且，在步骤1540及步骤1550中，主机器人1从从机器人2接收腹腔镜图像，并对接收的图像进行解析。对接收图像的解析例如可以通过图像解析部920来执行，图像解析部920可以识别在腹腔镜图像中所包括的脏器是什么脏器。

在步骤1560中，主机器人1从存储部读取通过腹腔镜图像识别的脏器的区域坐标信息。

主机器人1在步骤1570中利用虚拟手术器械610的坐标信息及脏器的区域坐标信息来判断相互间是否存在重叠部分。

如果存在重叠部分时，在步骤1580中主机器人1进行处理使重叠部分被隐蔽处理的虚拟手术器械610通过画面显示部320输出。

但是，如果不存在重叠部分时，主机器人1在步骤1590中将正常显示了所有部分的虚拟手术器械610输出到画面显示部320。

在图17中示出了虚拟手术器械610与患者脏器接触时将该接触告知施术者的实施例。图17的步骤1510至1560在前面参照图16已进行了说明，故省略说明。

参照图17，在步骤1610中，主机器人1判断虚拟手术器械610的部分或全部是否与脏器接触。脏器与虚拟手术器械610之间是否接触例如可以利用各自的区域的坐标信息进行判断。

如果虚拟手术器械610与脏器发生接触时，执行步骤1620，主机器人1为了将该接触告知施术者而执行力反馈处理。如上所述，也可以进行如下处理，例如使臂操作部330不做任何操作，或输出警告信息(例如警告讯息或/及警告音等)

但是，如果虚拟手术器械610未与脏器发生接触时，在步骤1610中待机。

通过上述过程，施术者可以事先预测实际手术器械460是否会与脏器发生接触，从而能够进行更安全精细的手术。

图18是示出本发明的另一实施例涉及的提供参照图像的方法的顺序图。

一般患者在手术之前拍摄X-ray、CT或/及MRI等多种参照图像。如果手术时这些参照图像能够与腹腔镜图像一同或通过显示器部6的任一显示器显示给施术者的话，施术者的手术会更加顺利。该参照图像例如可以预先存储在包括于主机器人1的存储部中，或存储在主机器人1能够通过通信网络连接的数据库中。

参照图18，在步骤1710中，主机器人1从从机器人2的腹腔镜5接收腹腔镜图像。

在步骤1720中，主机器人1利用腹腔镜图像提取预设的特征信息。在此，特征信息例如可以是手术部位内的脏器形状、实际手术器械460的位置坐标、操作形状等中的一个以上。特征信息的提取例如也可以通过图像解析部920来执行。

在步骤1730中，主机器人1利用在步骤1720中提取的特征信息及预先存储在存储部中的信息，来识别包括在腹腔镜图像中显示的脏器是什么脏器。

其次，在步骤1740中，主机器人1从存储部或可通过通信网络连接的数据库中读取包括相当于在步骤1730中识别的脏器的图像的参照图像之后，决定在该参照图像中哪些部位需要通过显示器部6来显示。需要通过显示器部6来显示的参照图像是拍摄该脏器形状的图像，例如可以是X-ray、CT或/及MRI图像。此外，参照图像的哪些部位(例如，该患者的全身图像中的哪些部位)作为参照而输出是可以根据例如被识别的脏器名称或实际手术器械460的坐标信息等来决定。为此，可以预先确定在参照图像的各部位的坐标信息或名称，或者序列帧的参照图像中第几帧是有关什么的图像。

通过显示器部6可以输出一个参照图像，也可以一并输出不同性质的两个以上的参照图像(例如，X-ray图像和CT图像)。

在步骤1750中主机器人1通过显示器部6分别输出腹腔镜图像和参照图像。此时，使参照图像以与腹腔镜图像的输入角度(例如，摄像机角度)近似的方向显示，从而能够增强施术者的直观性。例如参照图像为在特定方向上拍摄的平面图像时，也能够根据由特性值运算部710运算的摄像机角度等并利用实时多平面重建(MPR：Multi Planner Reformat)输出三维图像。MPR是从切开面图像中以一个或多个片单位仅选择图示(drawing)所需任一部位从而构成部分三维图像的技术，是将早期的分别画出每片感兴趣区域(ROI，region ofinterest)的技术进行进一步发展而成的技术。

目前为止，主要以主机器人1在实际模式的第一模式、比较模式的第二模式及/或虚拟模式的第三模式下工作的情况进行了说明。下面，主要以主机器人1在教育模式的第四模式或仿真模式的第五模式下工作的情况进行说明。但是，目前为止参照附图说明的有关显示虚拟手术器械610等的多种实施例的技术思想并不仅适用于特定驱动模式，只要是需要显示虚拟手术器械610的驱动模式，则无需单独说明也能够无限制地适用。

图19是示出本发明的又一实施例涉及的手术用机器人的整体结构的俯视图。

参照图19，腹腔镜手术用机器人系统包括两个以上的主机器人1和从机器人2。两个以上的主机器人1中第一主机器人1a可以是被学习者(例如，实习生)利用的学生主机器人，第二主机器人1b可以是被教育者(例如，实习教师)利用的教师主机器人。由于主机器人1及从机器人2的结构与如上所述相同，故对其进行简要说明。

之前，如参照图1的说明，主机器人1的主接口4包括显示器部6及主操纵器，从机器人2可以包括机器臂3及腹腔镜5。主接口4还可以包括模式转换控制按钮，用于在多个驱动模式中选择任一个。主操纵器例如可以以施术者分别握在两手上进行操作的形式(例如，操纵柄)实现。显示器部6不仅可以输出腹腔镜图像，还可以输出多个生体信息或参照图像。

在图19中例示的两个主机器人1可以通过通信网络结合，并分别通过通信网络与从机器人2结合。通过通信网络相结合的主机器人1可以根据需要具有不同数量。此外，第一主机器人1a及第二主机器人1b的用途、实习教师和实习生可以事先决定，但相互间的其角色根据要求或所需可以进行互换。

作为一例，学习者使用的第一主机器人1a通过通信网络只与实习教师使用的第二主机器人1b结合，第二主机器人1b通过通信网络也可以与第一主机器人1a及从机器人2结合。即，当实习生操作第一主机器人1a所具有的主操纵器时，只有虚拟手术器械610被操作，并通过画面显示部320输出。此时，操作信号从第一主机器人1a提供给第二主机器人1b，并且虚拟手术器械610的操作状态通过第二主机器人1b的显示器部6b输出，从而实习教师能够确认实习生是否以正常过程进行手术。

作为另一例，第一主机器人1a和第二主机器人1b通过通信网络结合，而且也可以分别通过通信网络与从机器人2结合。此时，当实习生操作在第一主机器人1a上所具有的主操纵器时，实际手术器械460被操作，而且与其相对应的操作信号也提供给第二主机器人1b，从而实习教师能够确认实习生是否以正常过程进行手术。

此时，实习教师也可以操作自己的主机器人以便控制实习生的主机器人在什么模式下工作。为此，也可以预先设定任一主机器人通过从其它主机器人接收的控制信号来决定驱动模式，从而能够操作实际手术器械460及/或虚拟手术器械610。

图20是示出在本发明的又一实施例涉及的教育模式下手术机器人系统的动作方法的示意图。

在图20中示出了手术机器人系统的动作方法，即第一主机器人1a中的臂操作部330的操作只用于操作虚拟手术器械610，而操作信号从第一主机器人1a提供给第二主机器人1b。这也可以作为如下用途使用，即将由实习生或实习教师中的一人来操作的第一主机器人1a的状况，利用由实习教师或实习生中的一人来操作的第二主机器人进行确认等。

参照图20，在步骤1905中，第一主机器人1a和第二主机器人1b之间进行通信连接设定。通信连接设定例如可以是在相互间传输操作信号、权限命令等中的一个以上为目的。通信连接设定可以根据第一主机器人1a和第二主机器人1b中一个以上的请求来实现，或者也可以在各主机器人接通电源(on)时立即实现。

在步骤1910中，第一主机器人1a接收使用者对臂操作部330的操作。在此，使用者可以是例如实习生或实习教师中的任一方。

在步骤1920及步骤1930中第一主机器人1a生成根据在步骤1910中使用者操作的操作信号，并且生成与所生成的操作信号相对应的虚拟手术器械信息。如上所述，也可以利用根据臂操作部330操作而获得的操作信息来生成虚拟手术器械信息。

在步骤1940中，第一主机器人1a根据生成的虚拟手术器械信息来判断是否存在与脏器重叠或接触的部分。由于判断虚拟手术器械与脏器之间是否存在重叠或接触部分的方法已在前面参照图16及/或图17进行了说明，故省略其说明。

如果存在重叠或接触部分时，执行步骤1950，并生成对重叠或接触的处理信息。之前，如在图16及/或图17中的例示说明，处理信息可以是对重叠部分的透明处理、接触引起的力反馈等。

在步骤1960中，第一主机器人1a向第二主机器人1b传送虚拟手术器械信息及/或处理信息。第一主机器人1a可以向第二主机器人1b传送操作信号，也可以利用第二主机器人1b接收的操作信号来生成虚拟手术器械之后判断是否存在重叠或接触。

在步骤1970及步骤1980中，第一主机器人1a及第二主机器人1b利用虚拟手术器械信息向画面显示部320输出虚拟手术器械610。此时，也可以同时处理属于处理信息的事项。

以上参照图20说明了第一主机器人1a仅控制虚拟手术器械610，而将基于该动作的操作信号等提供给第二主机器人1b的情况。但是，也可以使第一主机器人1a根据驱动模式选择来控制实际手术器械460，而将基于该动作的操作信号等提供给第二主机器人1b。

图21是示出在本发明的又一实施例涉及的教育模式下手术机器人系统的动作方法的示意图。

参照图21说明手术机器人系统的动作方法时，假设第二主机器人1b对第一主机器人1a具有控制权限。

参照图21，在步骤2010中，第一主机器人1a和第二主机器人1b之间进行通信连接设定。通信连接设定例如可以是在相互间传输操作信号、权限命令等中的一个以上为目的。通信连接设定可以根据第一主机器人1a和第二主机器人1b中的一个以上的请求来实现，或者也可以在各主机器人接通电源(on)时立即实现。

在步骤2020中，第二主机器人1b向第一主机器人1a传送手术权限授予命令。通过手术权限授予命令，第一主机器人1a具有能够实际控制从机器人2所具有的机器臂3的权限。手术权限授予命令例如可以通过第二主机器人1b生成，以便在主机器人之间以预先规定的信号形式及信息形式构成。

在步骤2030中，第一主机器人1a接收基于臂操作部330操作的使用者的操作。在此，使用者例如可以是实习生。

在步骤2040中，第一主机器人1a生成根据步骤1910的使用者操作的操作信号，并且通过通信网络传送给从机器人2。第一主机器人1a可以生成与生成的操作信号或根据臂操作部330操作而获得的操作信号相对应的虚拟手术器械信息，从而通过显示器部6显示虚拟手术器械6。

此外，第一主机器人1a将用于确认实际手术器械460的操作状况的操作信号或/及虚拟手术器械信息传送给第二主机器人1b。在步骤2050中，第二主机器人1b接收操作信号或/及虚拟手术器械信息。

在步骤2060及步骤2070中，第一主机器人1a及第二主机器人1b通过画面显示部320分别输出从从机器人2接收的腹腔镜图像及根据第一主机器人1a的臂操作部330操作的虚拟手术器械610。

如果第二主机器人1b未向画面显示部320输出根据第一主机器人1a的臂操作部330操作的虚拟手术器械610，而通过从从机器人2接收的腹腔镜图像确认实际手术器械460的操作状况时，步骤2050可以省略，而在步骤2070中只输出接收的腹腔镜图像。

在步骤2080中，第二主机器人1b判断是否输入了使用者授予第一主机器人1a的手术权限的收回请求。在此，使用者可以是例如实习生，如果通过使用者不能进行正常手术时，第一主机器人1a可以收回手术权限。

如果未输入手术权限收回请求的情况，可以再次执行步骤2050，以使使用者能够观察通过第一主机器人1a操作实际手术器械460的情况。

但是，如果已输入了手术权限收回请求的情况，在步骤2090中第二主机器人1b通过通信网络向第一主机器人1a传送手术权限终止命令。

通过传送手术权限终止命令，第一主机器人1a可以转换成能够观察第二主机器人1b对实际手术器械460的操作情况的教育模式(步骤2095)。

以上参照图21主要说明了第二主机器人1b对第一主机器人1a的具有控制权限的情况。但是，与此相反，也可以第一主机器人1a向第二主机器人1b传送手术权限终止请求。这是，为了转移权限为目的，以使第二主机器人1b的使用者能够实施对实际手术器械460的操作，可以在教育上所需的情况等中利用，例如该手术部位的手术非常难或该手术部位的手术非常容易时。

除此之外可以无限制地考虑及适用多种方案，在多个主机器人之间相互转移手术权限或控制权限，或者可以由一个主机器人主导授予/收回权限。

在上面参照相关附图说明了本发明的多种实施例。但本发明并不限定于上述实施例，可以提供其它多种实施例。

作为一实施例，当多个主机器人通过通信网络连接，且在教育模式的第四模式下动作时，也可以执行学习者对主机器人1的控制能力或手术能力的评价功能。

教育模式的评价功能在实习教师利用第一主机器人1a进行手术的期间，实习生操作第二主机器人1b的臂操作部330来控制虚拟手术器械610的过程中执行。第二主机器人1b从从机器人2接收腹腔镜图像并解析有关实际手术器械460的特性值或特征信息，而且解析实习生的根据臂操作部330操作而控制虚拟手术器械610的过程。之后，第二主机器人1b可以分析腹腔镜图像所包括的实际手术器械460的移动轨迹及操作形式与实习生的虚拟手术器械610的移动轨迹及操作形式的近似性来计算对实习生的评价分数。

作为另一实施例，在进一步改进虚拟模式而成的仿真模式即第五模式下，主机器人1可以在利用立体内窥镜获得的三维形状上结合脏器的特性而作为手术仿真器进行动作。

例如，当通过画面显示部320输出的腹腔镜图像或虚拟画面上包括肝时，主机器人1将提取存储在存储部中的肝的特征信息并与画面显示部320上输出的肝进行匹配，从而能够在手术途中或除手术之外的虚拟模式下执行仿真手术。判断腹腔镜图像中包括哪些脏器，例如可以利用通常的图像处理及识别技术来识别该脏器的颜色、形状等，并将识别的信息与预先存储的脏器的特性信息进行比较来解析。当然包括哪些脏器及/或对哪些脏器实施仿真手术可以由施术者来选择。

利用它，施术者可以在实际切除或切割肝之前，利用与特征信息匹配的肝的形状事先进行在哪个方向如何切除肝的仿真手术。在仿真手术过程中，主机器人1也可以将触感传递给施术者，即基于特征信息(例如，数学建模信息等)而将实施手术操作(例如，切除、切割、缝合、拉紧、按压等中的一个以上)的部分是否硬或软等。

传递该触感的方法例如有执行力反馈处理，或者调节臂操作部330的操作灵敏度或操作时的阻力(例如，将臂操作部330向前推时抵制它的阻力等)的方法等。

此外，使根据施术者操作而被虚拟切除或切割的脏器的切开面通过画面显示部320输出，从而能够使施术者预测实际切除或切割的结果。

此外，主机器人1作为手术仿真器而作用时，将利用立体内窥镜而获得的三维脏器的表面形状信息与由CT、MRI等参照图像进行再构成的脏器表面的三维形状通过画面显示部320进行整合，将由参照图像再构成的脏器内部的三维形状与特征信息(例如，数学建模信息)进行整合，从而能够使施术者进行更接近现实的仿真手术。所述特征信息可以是现定于该患者的特性信息，也可以是为了泛用而生成的特性信息。

图22是示出本发明的另一实施例涉及的增强现实技术实现部350的详细构成的示意图。

参照图22，增强现实技术实现部350包括：特性值运算部710；虚拟手术器械生成部720；间距运算部810；图像解析部820。增强现实技术实现部350的构成要素中可以省略部分构成要素，也可以增加部分构成要素(例如，进行用于能够将从从机器人2接收的生体信息输出至画面显示部320的处理的构成要素等)。增强现实技术实现部350所包括的一个以上的构成要素也可以由程序代码组合的软件程序形式实现。

特性值运算部710利用通过从机器人2的腹腔镜5输入并提供的图像及/或结合在机器臂3上的实际手术器械的位置相关坐标信息等来运算特性值。特性值可以包括例如腹腔镜5的视角(FOV：Field of View)、放大率、视点(例如，观看方向)、观看深度等，和实际手术器械460的种类、方向、深度、弯曲程度等中的一个以上。

虚拟手术器械生成部720参照施术者操作机器臂3而获得的操作信息生成可通过画面显示部320输出的虚拟手术器械610。

间距运算部810利用通过特性值运算部710运算的实际手术器械460的位置坐标和与臂操作部330的操作联动的虚拟手术器械610的位置坐标来运算各手术器械之间的间距。例如，如果虚拟手术器械610和实际手术器械460的位置坐标分别已确定时，可以由连接两点的线段长度来运算。在此，位置坐标可以是例如由x-y-z轴规定的三维空间上的一点的坐标值，该一点可以预先指定为在虚拟手术器械610及实际手术器械460上的特定位置的一点。除此之外，各手术器械之间的间距还可以利用根据操作方法而生成的路径或轨迹的长度等。例如当画圆(circle)时存在与画圆时间相当的时间差时，虽然各手术器械之间的线段长度非常小，但可能发生根据操作方法而生成的圆的圆周长度相当的路径或轨迹上的差。

用于运算间距而利用的实际手术器械460的位置坐标可以利用绝对坐标值或利用基于特定点运算的相对坐标值，或者也可以将通过画面显示部320显示的实际手术器械460的位置进行坐标化而利用。同样地，虚拟手术器械610位置坐标也可以以虚拟手术器械610的初期位置为基准，将通过臂操作部330操作而移动的虚拟位置进行绝对坐标化而利用，或利用以特定点为基准运算的相对坐标值，或者也可以将通过画面显示部320显示的虚拟手术器械610的位置进行坐标化而利用。在此，为了分析通过画面显示部320显示的各手术器械的位置，也可以利用如下说明的通过图像解析部820解析的特征信息。

当虚拟手术器械610和实际手术器械460之间的间距较窄或为0时，可以理解为网络通信速度良好，间距宽时，可以理解为网络通信速度不够快。

虚拟手术器械生成部720可以利用通过间距运算部810运算的间距信息来决定虚拟手术器械610的显示与否、虚拟手术器械610的显示颜色或显示形式等中的一个以上。例如，当虚拟手术器械610和实际手术器械460之间的间距小于等于预设的阈值(threshold)时，可以禁止虚拟手术器械610通过画面显示部320输出。此外，当虚拟手术器械610和实际手术器械460之间的间距超过预设的阈值(threshold)时，进行与相互间间距成比例地调节半透明度或使颜色失真或变更虚拟手术器械610外轮廓线的厚度等处理，从而使施术者明确地确认网络通信速度。在此，阈值可以指定为例如5mm等的距离值。

图像解析部820利用通过腹腔镜5输入并提供的图像提取预设的特征信息(例如，各像素的色相值、实际手术器械460的位置坐标、操作形状等中的一个以上)。例如，图像解析部820解析该图像的各像素的色相值之后，判断具有表示血液的色相值的像素是否大于基准值，或者判断由具有表示血液的色相值的像素形成的区域或面积是否大于一定规模，从而能够即时对应手术中可能发生的紧急状况(例如，大出血等)。此外，图像解析部820也可以捕捉通过腹腔镜5输入的图像及显示虚拟手术器械610的画面显示部320的显示画面来生成各手术器械的位置坐标。

下面，参照相关附图说明利用履历信息的手术机器人系统的控制方法。

主机器人1将在虚拟模式或仿真模式下利用立体内窥镜获得的三维形状上结合脏器的特性可以作为手术仿真器而工作。施术者可以利用作为手术仿真器的主机器人1进行对任一脏器或手术患者的虚拟手术，在虚拟进行的手术过程中施术者操作臂操作部10的履历(例如，为了切除肝的操作顺序)将作为手术动作履历信息存储在存储部910或/及操作信息存储部1020。以后，如果施术者输入利用手术动作履历信息的自动手术命令，则基于手术动作履历信息的操作信号依次被传送到从机器人2从而控制机器臂3。

例如，当通过画面显示部320输出的腹腔镜图像或虚拟画面上包括肝时，主机器人1读取存储在存储部310中的三维建模的三维形状的肝的特性信息(例如，形状、大小、质地、切除时的触感等)并与画面显示部320上输出的肝进行匹配，从而能够在虚拟模式或仿真模式下进行仿真手术。判断腹腔镜图像等中包括哪些脏器例如可以通过利用通常的图像处理及识别技术来识别该脏器的颜色、形状等，并且将识别的信息与预先存储的脏器的特征信息进行比较来解析。当然，包括哪些脏器及/或对哪些脏器实施仿真手术也可以根据施术者来选择。

利用它，施术者可以在实际切除或切割肝之前，利用与特性信息匹配的肝的形状，事先进行在哪个方向如何切除肝的仿真手术。在仿真手术过程中主机器人1也可以基于特性信息(例如，数学建模信息等)而将实施手术操作(例如，切除、切割、缝合、拉紧、按压等中的一个以上)部分的触感传递给施术者，即是否硬或软等。

传递该触感的方法例如有执行力反馈处理，或者调节臂操作部330的操作灵敏度或操作时的阻力(例如，将臂操作部330向前推时抵制它的阻力等)的方法等。

此外，将根据施术者的操作虚拟切除或切割的脏器的切开面通过画面显示部320输出，从而能够使施术者预测实际切除或切割的结果。

此外，主机器人1作为手术仿真器时，将利用立体内窥镜而获得的三维脏器的表面形状信息与由CT、MRI等参照图像进行再构成的脏器表面的三维形状通过画面显示部320进行整合，将由参照图像再构成的脏器内部的三维形状与特征信息(例如，数学建模信息)进行整合，从而能够使施术者进行更接近现实的仿真手术。所述特征信息可以是现定于该患者的特性信息，也可以是为了泛用而生成的特性信息。

图23概略示出本发明的又一实施例涉及的主机器人和从机器人的结构的模块结构图，图24是示出本发明的又一实施例涉及的增强现实技术实现部350的详细构成的示意图。

参照概略示出主机器人1和从机器人2的结构的图23，主机器人1包括：图像输入部310；画面显示部320；臂操作部330；操作信号生成部340；增强现实技术实现部350；控制部360以及操作信息存储部910。从机器人2包括机器臂3及腹腔镜5。

图像输入部310通过有线或无线通信网络接收自从机器人2的腹腔镜5上所具有的摄像机输入的图像。

画面显示部320以视觉信息输出通过图像输入部310接收的图像及/或根据臂操作部330操作的与虚拟手术器械610相对应的画面图像。

臂操作部330是能够使施术者操作从机器人2的机器臂3的位置及功能的单元。

当施术者为了机器臂3及/或腹腔镜5的位置移动或者手术而操作臂操作部330时，操作信号生成部340生成与其相对应的操作信号并传送给从机器人2。

此外，当控制部360指令对利用履历信息的手术机器人系统进行控制时，操作信号生成部340依次生成对应于存储在存储部910或操作信息存储部1020中的手术动作履历信息的操作信号并传送给从机器人2。依次生成并传送对应于手术动作履历信息的操作信号的一系列过程可以根据后述的施术者的终止命令而终止。此外，手术信号生成部340也可以不依次生成所述操作信号并传送，而对于手术动作履历信息中所包括的多个手术动作构成一个以上的操作信息，再传送给从机器人2。

当主机器人1在虚拟模式或仿真模式等下驱动时，增强现实技术实现部350不仅输出通过腹腔镜5输入的手术部位图像及/或虚拟脏器建模图像，还能够使随着臂操作部330的操作而实时联动的虚拟手术器械通过画面显示部320一同输出。

参照示出增强现实技术实现部350的实现例的图24，增强现实技术实现部350可以包括：虚拟手术器械生成部720；建模应用部1010；操作信息存储部1020以及图像解析部1030。

虚拟手术器械生成部720参照施术者操作机器臂3而生成的操作信息，生成可通过画面显示部320输出的虚拟手术器械610。虚拟手术器械610最初显示的位置例如可以以通过画面显示部320显示的实际手术器械460的显示位置为基准，并且通过臂操作部330的操作而被操作的虚拟手术器械610的移动位移，例如可以参照对应于操作信号而移动的实际手术器械460的实测值来预先设定。

虚拟手术器械生成部720也可以只生成用于通过画面显示部320输出虚拟手术器械610的虚拟手术器械信息(例如，用于表示虚拟手术器械的特性值)。虚拟手术器械生成部720决定根据操作信息的虚拟手术器械610的形状或位置时，也可以参照通过上述的特性值运算部710运算的特性值或用于表示虚拟手术器械610而利用的之前的特性值等。

建模应用部1010使存储在存储部910中的特性信息(即，作为身体内部的脏器等的三维建模图像的特性信息，例如内/外部形状、大小、质地、颜色、切除时每个部位的触感、顺着切除方向被切除的脏器的切开面及内部形状等中的一个以上)与手术患者的脏器相符合。有关手术患者脏器的信息可以利用手术之前拍摄的X-ray、CT或/及MRI等多种参照图像来进行识别，也可以进一步利用根据参照图像由任一医疗设备计算出的信息等。

如果存储在存储部中的特性信息是以平均身长的人体及脏器为基准而生成的特性信息，则建模应用部1010可以根据参照图像及/或相关信息缩放或变更该特性信息。此外，也可以根据该手术患者的疾病进展(例如，肝硬化晚期等)情况更改有关切除时的触感等设定值。

操作信息存储部1020存储利用三维建模进行虚拟手术过程中的臂操作部10的操作履历信息。操作履历信息可以根据控制部360或/及虚拟手术器械生成部720的动作而存储在操作信息存储部1020中。操作信息存储部1020作为临时存储空间而利用，当施术者修改或取消(例如，修改肝切除方向等)对三维建模图像的部分手术过程时，也可以同时存储该信息，或将该信息从存储的手术动作操作履历中删除。如果手术动作操作履历与修改/取消信息一同被存储时，向存储部910转存时也可以存储反映出修改/取消信息的手术动作操作履历。

图像解析部1030利用通过腹腔镜5输入并提供的图像提取预设的特征信息(例如，各像素的色相值、实际手术器械460的位置坐标、操作形状等中的一个以上)。

根据通过图像解析部1030提取的特征信息例如可以识别当前显示的脏器是什么脏器，从而能够对手术中发生的紧急状况(例如，失血过多等)即时采取措施。为此，可以在解析该图像的各像素的色相值之后，判断具有表示血液的色相值的像素是否大于基准值，或者由具有表示血液的色相值的像素形成的区域或面积是否大于一定规模。此外，图像解析部820也可以捕捉通过腹腔镜5输入的图像及显示虚拟手术器械610的画面显示部320的显示画面来生成各手术器械的位置坐标。

再次参照图23，存储部910用于存储身体内部脏器等的经过三维建模的三维形状的特性信息(例如，内/外部形状、大小、质地、颜色、切除时每个部位的触感等)。此外，存储部910用于存储施术者在虚拟模式或仿真模式下利用虚拟脏器进行虚拟手术时的手术动作履历信息。如上所述手术动作履历信息也可以存储在操作信息存储部1020中。此外，控制部360及/或虚拟手术器械生成部720还可以将实际手术过程中存在的处置要求事项或虚拟手术过程的过程信息(例如，切开面的长度、面积、出血量等)存储在操作信息存储部1020或存储部910中。

控制部360控制各构成要素的动作以能够执行上述功能。除此之外，如在其它实施例中例示说明，控制部360还可以执行其它多种功能。

图25是示出利用了本发明的一实施例涉及的履历信息的自动手术方法的顺序图。

参照图25，在步骤2110中，建模应用部1010利用参照图像及/或相关信息来更新存储在存储部910中的三维建模图像的特性信息。在此，通过画面显示部320显示哪些虚拟脏器是例如可以由施术者来选择。存储在存储部910中的特性信息可以更新成符合根据手术患者的参照图像等识别的手术患者的脏器的实际大小等。

在步骤2120及步骤2130中，在仿真模式(或者虚拟模式，以下相同)下实施由施术者的虚拟手术，被实施的虚拟手术的各过程作为手术动作履历信息存储在操作信息存储部1020或存储部910中。此时，施术者通过操作臂操作部10执行对虚拟脏器的虚拟手术(例如，切割、缝合等)。此外，还可以将实际手术过程中存在的处置要求事项或虚拟手术过程的过程信息(例如，切开面的长度、面积、出血量等)存储在操作信息存储部1020或存储部910。

在步骤2140中判断虚拟手术是否结束。虚拟手术的结束也可以通过例如施术者输入手术结束命令来识别。

如果虚拟手术未结束，则再次执行步骤2120，否则执行步骤2150。

在步骤2150中，判断是否输入了利用手术动作履历信息的用于控制手术系统的应用命令。在输入根据步骤2150的应用命令而进行自动手术之前，也可以由施术者进行存储的手术动作履历信息是否适合的确认仿真及补充作业。即，也可以命令在虚拟模式或仿真模式下进行根据手术动作履历信息的自动手术，而施术者在画面上确认自动手术过程之后，如果存在不足或需要改善的事项时进行补充(即，更新手术动作履历信息)后，输入步骤2150的应用命令。

如果应用命令还未输入，则在步骤2150中待机，否则执行步骤2160。

在步骤2160中，操作信号生成部340依次生成与存储在存储部910或操作信息存储部1020中的手术动作履历信息相对应的操作信号，并传送给从机器人2。从机器人2与操作信号相对应地依次对手术患者进行手术。

上述图25是施术者实施虚拟手术并将手术动作履历信息进行存储之后将它用于控制从机器人2而执行的情况。

步骤2110至步骤2140的过程可以是对手术患者开始手术至完全结束的全手术过程，或者也可以是部分手术步骤的部分过程。

部分过程的情况，例如有关缝合动作，如果抓着针在缝合部位附近按压预先指定的按钮，则只进行穿线贯穿针后自动打结的过程。此外，根据喜好可以只执行打结之前的贯穿针的部分过程，其后的打结过程由施术者直接处理。

此外，有关解剖(dissection)动作的例子，当使第一机器臂和第二机器臂抓住切口部位，施术者踩踏踏板时，能够使用剪刀切开其间或用单极电凝(monopolar)切割等处理作为部分过程自动处理。

在这种情况下，在根据手术动作履历信息进行自动手术的过程中，直到施术者进行指定行为(例如用脚踩踏板的动作)为止，自动手术可以保持停止状态(例如握住的状态)，指定行为结束后执行下一步骤的自动手术。

这样的，能够通过两手不断互换地抓住组织，并通过脚的操作切开皮肤等，从而能够进行更安全的手术，也可以用最少的施术人员同时进行多种处理。

也可以将各手术动作(例如缝合(suturing)、解剖(dissecting)等基本动作)进一步细分及统计分成单位动作，并制作各单位动作的动作连接图，以便在显示部的用户接口(UI)上排列可选择的单位动作。此时，施术者也可以用例如滚动、点击等简单的方法选择适合的单位动作而实施自动手术。当选择某一单位动作时，显示部上显示以后能够选择的单位动作，从而能够方便施术者选择下一动作，通过重复这些过程可实施所期望手术动作的自动手术。此时，施术者为了该动作可以选定适当的器械方向及位置后开始及执行自动手术。有关上述部分动作及/或单位动作的手术动作履历信息也可以预先存储在任一存储部中。

此外，步骤2110至步骤2140的过程也可以在手术进行过程中实现，但也可以在进行手术之前结束，并将对应的手术动作履历信息存储在存储部910中，施术者仅通过选择执行哪些部分动作或整个动作及输入应用命令即可执行该动作。

如上所述，本实施例通过将自动手术的执行步骤进行细分化，能够事先防止不测事件发生，从而具有能够克服不同手术对象的人体组织所具有的不同环境的优点。此外，进行简单的手术动作或典型的手术动作时，也可以根据施术者的判断将几种动作捆绑并选择执行，从而能够减少选择步骤。为此，例如在施术者的控制台手柄部位形成用于选择滚动键或按钮等的接口，也可以形成能够更容易选择的显示用户接口。

如上所述，本实施例涉及的利用手术动作履历信息的手术功能不仅能够作为利用增强现实技术的自动手术法的部分功能而使用，根据情况也可以作为不利用增强现实技术而执行自动手术的方法使用。

图26是示出本发明的另一实施例涉及的更新手术动作履历信息的顺序图。

参照图26，在步骤2210及步骤2220中，在仿真模式(或虚拟模式，以下相同)下实施由施术者的虚拟手术，被实施的虚拟手术的各过程作为手术动作履历信息存储在操作信息存储部1020或存储部910中。此外，还可以将实际手术过程中存在的处置要求事项或虚拟手术过程的过程信息(例如，切开面的长度、面积、出血量等)存储在操作信息存储部1020或存储部910中。

在步骤2230中，控制部360判断手术动作履历信息中是否存在特殊事项。例如，在施术者利用三维建模图像进行手术过程中，可能有部分过程被取消或修改，或由于施术者的手颤现象而导致虚拟手术器械晃动的现象，或在机器臂3的位置移动中存在不必要的路径移动。

如果存在特殊事项时，在步骤2240中执行对该特殊事项的处理之后，执行步骤2250，从而更新手术动作履历信息。例如，在手术过程中如果存在部分过程取消或修改时，可以从手术动作履历信息中删除，以避免从机器人2实际执行该过程。此外，如果存在由于施术者的手颤引起的虚拟手术器械晃动的现象时进行补正，以使虚拟手术器械能够无晃动地移动及操作，从而能够更精细地控制机器臂3。此外，机器臂3的位置移动中存在不必要的路径移动、即在A位置进行手术操作后无意义地移动至B、C后在D位置进行其它手术动作时，将手术动作履历信息更新为从A位置直接移动到D位置，或者也可以更新手术动作履历信息使从A至D位置的移动接近曲线。

上述步骤2220及步骤2250的手术动作履历信息也可以存储在相同的存储空间中。但是，步骤2220的手术动作履历信息可以存储在操作信息存储部1020中，而步骤2250的手术动作履历信息可以存储在存储部910中。

此外，上述步骤2230至步骤2250的特殊事项处理过程，可以在操作信息存储部1020或存储部910中存储手术动作履历信息时进行处理，或者也可以在通过操作信号生成部340生成及传送操作信号之前进行处理。

图27是示出利用了本发明的又一实施例涉及的履历信息的自动手术方法的顺序图。

参照图27，在步骤2310中，操作信号生成部340依次生成对应于存储在存储部910或操作信息存储部1020中的手术动作履历信息的操作信号，并传送给从机器人2。从机器人2与操作信号相对应地依次对手术患者的进行手术。

在步骤2320中，控制部360判断通过操作信号生成部340生成及传送的操作信号是否结束，或者是否由施术者输入了终止命令。例如，如果虚拟手术中的情况与通过从机器人2实际实施的手术情况不同，或发生紧急状况等的情况下，施术者可以输入终止命令。

如果还未输入传送结束或终止命令时，再次执行步骤2310，否则执行步骤2330。

在步骤2330中，主机器人1判断是否输入了利用臂操作部330等中一个以上的使用者操作。

当输入了使用者操作时，执行步骤2340，否则在步骤2330中待机。

在步骤2340中，主机器人1根据使用者操作生成操作信号并传送给从机器人2。

上述图27也可以在利用履历信息自动进行手术的整个过程或部分过程的途中，由施术者输入终止命令而执行手动操作之后再次实施自动手术。此时，施术者可以将存储在存储部910或操作信息存储部1020中的手术动作履历信息输出到画面显示部320上后，删除进行手动操作的部分或/及需要删除的部分，之后的过程从步骤2310开始再次执行。

图28是示出本发明的又一实施例涉及的手术过程监控方法的顺序图。

参照图28，在步骤2410中，操作信号生成部340依次生成根据手术动作履历信息的操作信号，并传送给从机器人2。

在步骤2420中，主机器人1从从机器人2接收腹腔镜图像。被接收的腹腔镜图像通过画面显示部320输出，在腹腔镜图像内包括手术部位以及实际手术器械460根据依次传送的操作信号被控制的图像。

在步骤2430中，主机器人1的图像解析部1030生成对接收的腹腔镜图像进行解析的解析信息。解析信息例如可以包括，脏器被切开时切开面的长度、面积或出血量等信息。切开面的长度或面积例如可以通过腹腔镜图像内部的被摄物体的外轮廓线提取等图像识别技术来解析，出血量等可以通过运算该图像各像素的色相值并分析作为分析对象的像素值的区域或面积等来解析。通过图像识别技术的图像解析例如也可以通过特性值运算部710来执行。

在步骤2440中，控制部360或图像解析部1030将虚拟手术过程中生成并存储在存储部910中的过程信息(例如，切开面的长度、面积、形状、出血量等)与通过步骤2430生成的解析信息进行比较。

在步骤2450中，判断过程信息和解析信息在误差值范围内是否一致。误差值例如可以预选指定为按各比较项目的一定比例或差值。

如果在误差值范围内一致时，执行步骤2410，并重复执行上述过程。当然，如上所述，可以根据施术者的终止命令等来终止自动手术过程。

但是，如果在误差值范围内不一致时，执行步骤2460，控制部360进行控制以停止根据手术动作履历信息的操作信号的产生及传送，而且通过画面显示部320及/或扬声器部输出警告信息。施术者根据输出的警告信息确认发生了紧急状况或与虚拟手术不同的状况，从而能够即时采取措施。

利用所述的增强现实技术及/或履历信息的手术机器人系统的控制方法也可以通过软件程序实现。构成程序的代码及代码段可以由该技术领域的计算机编成人员容易推理出来。此外，程序存储在计算机可读介质(computer readable media)上，通过计算机读取并执行，从而实现上述方法。计算机可读介质包括磁记录介质、光学记录介质及记录介质载体。

在上述参照本发明的优选实施例进行了说明，但对本技术领域的普通技术人员来说，应当理解为在不超出权利要求书所记载的本发明的思想及领域的范围内，本发明可以进行多种修改及变更。

Claims (13)

1.一种手术仿真方法，该手术仿真方法在用于控制具有机器臂的从机器人的主机器人上执行，其特征在于，包括如下步骤：

识别脏器选择信息的步骤；以及

利用预先存储的脏器建模信息，显示与所述脏器选择信息相对应的三维脏器图像的步骤；

所述脏器建模信息具有包括对应的脏器内部及外部各点的形状、颜色及触感中的一个以上的特性信息。

2.如权利要求1所述的手术仿真方法，其特征在于，为了识别脏器选择信息执行如下步骤：

利用通过手术用内窥镜输入的图像信号，解析在手术部位内所包含的脏器的颜色及外形中的一个以上信息的步骤；以及

在预先存储的脏器建模信息中，识别与所述解析的信息相匹配的脏器的步骤。

3.如权利要求1所述的手术仿真方法，其特征在于，

所述脏器选择信息是对一个以上的脏器，并通过施术者选择输入。

4.如权利要求1所述的手术仿真方法，其特征在于，还包括如下步骤：

根据臂操作部操作，接收有关所述三维脏器图像的手术操作命令的步骤；以及

利用所述脏器建模信息，输出基于所述手术操作命令的触感信息的步骤。

5.如权利要求4所述的手术仿真方法，其特征在于，

所述触感信息是用于对所述臂操作部操作时的操作灵敏度及操作阻力中的一个以上进行控制的控制信息，或是用于进行力反馈处理的控制信息。

6.如权利要求1所述的手术仿真方法，其特征在于，还包括如下步骤：

根据臂操作部操作接收基于所述三维脏器图像的手术操作命令的步骤；以及

利用所述脏器建模信息，显示基于所述手术操作命令的操作结果图像的步骤。

7.如权利要求4或6所述的手术仿真方法，其特征在于，

所述手术操作命令是切割、缝合、拉紧、按压、接触引起的脏器变形、电手术引起的脏器损伤、血管出血中的一个以上。

8.如权利要求1所述的手术仿真方法，其特征在于，还包括如下步骤：

根据所述脏器选择信息识别脏器的步骤；

提取与在预先存储的参照图像中识别的所述脏器的名称相对应的位置的参照图像，并进行显示的步骤；

所述参照图像是X光图像、电脑断层扫描图像及核磁共振成像图像中的一个以上。

9.一种记录介质，记录有程序，该程序用于执行权利要求1或8中任一项所述的手术仿真方法，有形地体现了可由数字处理装置执行的程序指令，并且能够通过数字处理装置读取。

10.一种手术机器人系统，其包括：

两个以上的主机器人，相互间通过通信网络结合；以及

从机器人，包括一个以上的机器臂，该机器臂根据从任一主机器人接收的操作信号来控制。

11.如权利要求10所述的手术机器人系统，其特征在于，所述主机器人各包括：

画面显示部，用于显示与手术用内窥镜提供的图像信号相对应的内窥镜图像；

一个以上的臂操作部，用于分别控制一个以上的机器臂；

增强现实技术实现部，根据使用者利用所述臂操作部进行的操作而生成虚拟手术器械信息，以通过所述画面显示部显示虚拟手术器械。

12.如权利要求10所述的手术机器人系统，其特征在于，

所述两个以上的主机器人中的一个、即第一主机器人的臂操作部操作是用于生成所述虚拟手术器械信息，而所述两个以上的主机器人中的另一个、即第二主机器人的臂操作部操作是用于控制所述机器臂。

13.如权利要求12所述的手术机器人系统，其特征在于，

与根据所述第一主机器人的臂操作部操作而获取的虚拟手术器械信息相对应的虚拟手术器械，显示在所述第二主机器人的画面显示部。