[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110638525B - 整合扩增实境的手术导航系统 - Google Patents

整合扩增实境的手术导航系统 Download PDF

Info

Publication number
CN110638525B
CN110638525B CN201811535103.2A CN201811535103A CN110638525B CN 110638525 B CN110638525 B CN 110638525B CN 201811535103 A CN201811535103 A CN 201811535103A CN 110638525 B CN110638525 B CN 110638525B
Authority
CN
China
Prior art keywords
relative coordinate
display device
dimensional image
mobile display
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811535103.2A
Other languages
English (en)
Other versions
CN110638525A (zh
Inventor
邱锡彦
刘浩澧
廖振渊
陈品元
魏国珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayu Pharmaceutical Co ltd
Original Assignee
Huayu Pharmaceutical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayu Pharmaceutical Co ltd filed Critical Huayu Pharmaceutical Co ltd
Publication of CN110638525A publication Critical patent/CN110638525A/zh
Application granted granted Critical
Publication of CN110638525B publication Critical patent/CN110638525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/067—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe using accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种整合扩增实境的手术导航系统，包括移动显示装置和光学定位系统，该移动显示装置从一数据来源端预先下载与一手术目标相关的多个三维影像图片信息，并由该光学定位系统实时取得该移动显示装置及该手术目标的一空间坐标信息，且该移动显示装置获得根据该空间坐标信息而产生的该移动显示装置相对于该手术目标的一第一相对坐标，并根据该第一相对坐标，从该多个三维影像图片信息中计算出所对应的一张三维影像图片，且根据该第一相对坐标，将该三维影像图片与该手术目标相叠合显示。本发明可以提高定位的精准度，从而有助于提高手术精准的程度。

Description

整合扩增实境的手术导航系统
技术领域
本发明涉及一种手术导航系统，特别是涉及一种整合扩增实境的手术导航系统。
背景技术
在面对精细的脑神经构造、狭小的手术空间及有限的解剖信息时，减少脑部手术对患者的伤害一直是脑神经外科医师的目标，为此，将手术导航系统应用在外科脑部手术中已行之有年。手术导航系统能让外科手术医师更精准和更安全地找到病灶的位置，提供外科手术医师人体结构相对方位的信息，且可作为测量结构距离的工具，帮助手术中的判断，因此在外科手术中扮演极重要的角色。
此外，在进行精细的脑部外科手术时，手术导航系统需要将术前影像数据，例如计算机断层扫描影像、核磁共振影像等与手术时病患头部进行准确的对位，以使影像与病患头部准确叠合，而此对位的准确度将会影响手术精准的程度。
发明内容
本发明的目的在于提供一种整合扩增实境的手术导航系统，其能使影像数据与相关的手术目标准确对位并叠合显示。
本发明一种整合扩增实境的手术导航系统，包括：一移动显示装置从一信息来源端预先下载与一手术目标相关的多个三维影像图片信息至；及一光学定位系统实时取得该移动显示装置及该手术目标的一空间坐标信息；其中该移动显示装置获得根据该些空间坐标信息而产生的该移动显示装置相对于该手术目标的一第一相对坐标；及该移动显示装置根据该第一相对坐标，从该些三维影像图片信息中计算出与该第一相对坐标对应的一张三维影像图片，且根据该第一相对坐标，将该三维影像图片与该手术目标相叠合显示。
在本发明的一些实施态样中，该光学定位系统直接或通过与其以有线方式连接的一服务器提供该些空间坐标信息给该移动显示装置，且该移动显示装置根据该些空间坐标信息实时计算该第一相对坐标。
在本发明的一些实施态样中，该光学定位系统提供该些空间坐标信息给与其以有线方式连接的一服务器，该服务器根据该些空间坐标信息实时计算该第一相对坐标，并将该第一相对坐标传送给该移动显示装置。
在本发明的一些实施态样中，该移动显示装置还从该信息来源端预先下载与该手术目标相关的多个二维影像图片信息至该移动显示装置；该光学定位系统还实时取得一手术器械的一空间坐标信息；该移动显示装置还获得根据该手术目标及该手术器械的该空间坐标信息而产生的该手术器械相对于该手术目标的一第二相对坐标；且该移动显示装置还根据该第二相对坐标，从该些二维影像图片信息中获得与该第二相对坐标对应的至少一张二维影像图片，且根据该第一相对坐标及该第二相对坐标，将该至少一张二维影像图片与该手术目标相叠合显示。且该光学定位系统直接或通过与其以有线方式连接的一服务器提供该手术器械的该空间坐标信息给该移动显示装置，且该移动显示装置根据该手术器械的该空间坐标信息实时计算该第二相对坐标；或者，该光学定位系统提供该手术器械的该空间坐标信息给与其以有线方式连接的一服务器，该服务器根据该手术器械的该空间坐标信息实时计算该第二相对坐标，并将该第二相对坐标传送给该移动显示装置。
在本发明的一些实施态样中，接续前段，该移动显示装置根据该些二维影像图片信息事先计算出所有可能显示的二维影像图片，再根据该第二相对坐标，从该些二维影像图片中取出与该第二相对坐标对应的该至少一张二维影像图片；或者，该移动显示装置根据该第二相对坐标及该些二维影像图片信息，实时计算出与该第二相对坐标对应的该至少一张二维影像图片。
在本发明的一些实施态样中，该移动显示装置还将与该第一相对坐标对应的该三维影像图片传送至另一电子装置以显示在另一显示器；或者该移动显示装置还将该手术目标与该三维影像图片相叠合的一叠合影像上传至该另一电子装置以显示在该另一显示器，其中该另一电子装置是外接该另一显示器的一服务器、外接该另一显示器的一计算机或者该另一显示器。
在本发明的一些实施态样中，该移动显示装置还将与该第一相对坐标对应的该三维影像图片及/或该至少一张二维影像图片传送至另一电子装置以显示在另一显示器，使该另一显示器显示该三维影像图片及/或该至少一张二维影像图片；或者该移动显示装置还将该手术目标与该三维影像图片及/或该至少一张二维影像图片相叠合的一叠合影像传送至该另一电子装置以显示在该另一显示器，其中该另一电子装置是外接该另一显示器的一服务器、外接该另一显示器的一计算机或者该另一显示器。
在本发明的一些实施态样中，该些三维影像图片信息及/或该些二维影像图片信息还包含与该手术目标相关的一开刀入点信息及一开刀计划方案信息；且与该手术目标相叠合的该三维影像图片及/或该至少一张二维影像图片还呈现该开刀入点信息及该开刀计划方案信息。
在本发明的一些实施态样中，该移动显示装置还设有一非光学定位系统，且当该移动显示装置在一预设时间内未获得根据该些空间坐标信息而产生的该第一相对坐标时，该移动显示装置令该非光学定位系统实时取得该手术目标的该空间坐标信息，该移动显示装置还根据该非光学定位系统取得的该手术目标的该空间坐标信息，实时计算出该移动显示装置相对于该手术目标的一第三相对坐标；该移动显示装置根据该第三相对坐标，从该些三维影像图片信息中计算出与该第三相对坐标对应的一张三维影像图片，且根据该第三相对坐标，将该三维影像图片与该手术目标相叠合显示。
在本发明的一些实施态样中，接续前段，该移动显示装置还从该信息来源端预先下载与该手术目标相关的多个二维影像图片信息至；该非光学定位系统还实时取得该手术器械的一空间坐标信息，该移动显示装置还根据该非光学定位系统取得的该手术目标及该手术器械的该些空间坐标信息，实时计算出该手术器械相对于该手术目标的一第四相对坐标，且该移动显示装置还根据该第四相对坐标，从该些二维影像图片信息中获得与该第四相对坐标对应的至少一张二维影像图片，且根据该第三相对坐标及该第四相对坐标，将该至少一张二维影像图片与该手术目标相叠合显示。
在本发明的一些实施态样中，该移动显示装置令该非光学定位系统中的一影像定位系统实时取得该手术目标的该空间坐标信息，该移动显示装置还根据该影像定位系统取得的该手术目标的该空间坐标信息，实时计算出该移动显示装置相对于该手术目标的一第一参考相对坐标；且该移动显示装置令该非光学定位系统中的一陀螺仪定位系统实时取得该手术目标的该空间坐标信息，该移动显示装置还根据该陀螺仪定位系统取得的该手术目标的该空间坐标信息，实时计算出该移动显示装置相对于该手术目标的一第二参考相对坐标；该移动显示装置判断该第一参考相对坐标与该第二参考相对坐标的一误差超过一第一临界值时，采用该第一参考相对坐标作为一第三相对坐标，否则采用该第二参考相对坐标作为该第三相对坐标。
在本发明的一些实施态样中，接续前段，该移动显示装置还从该信息来源端预先下载与该手术目标相关的多个二维影像图片信息至该移动显示装置；该影像定位系统还实时取得该手术器械的一空间坐标信息，该移动显示装置还根据该影像定位系统取得的该手术目标及该手术器械的该些空间坐标信息，实时计算出该手术器械相对于该手术目标的一第三参考相对坐标；该陀螺仪定位系统还实时取得该手术器械的该空间坐标信息，该移动显示装置还根据该陀螺仪定位系统取得的该手术目标及该手术器械的该些空间坐标信息，实时计算出该手术器械相对于该手术目标的一第四参考相对坐标；该移动显示装置判断该第三参考相对坐标与该第四参考相对坐标的一误差超过一第二临界值时，采用该第三参考相对坐标作为一第四相对坐标，否则采用该第四参考相对坐标作为该第四相对坐标；且该移动显示装置还根据该第四相对坐标，从该些二维影像图片信息中获得与该第四相对坐标对应的至少一张二维影像图片，且根据该第三相对坐标及该第四相对坐标，将该至少一张二维影像图片与该手术目标相叠合显示。
在本发明的一些实施态样中，该移动显示装置还设有一非光学定位系统，且该非光学定位系统中的一影像定位系统或一陀螺仪定位系统实时取得该手术目标的该空间坐标信息；该移动显示装置还根据该非光学定位系统取得的该手术目标的该空间坐标信息，实时计算出该移动显示装置相对于该手术目标的一第五参考相对坐标；该移动显示装置判断该第五参考相对坐标与该第一相对坐标的一误差超过一第三临界值时，采用该第一相对坐标，否则采用该第五参考相对坐标作为一第五相对坐标，并根据该第一相对坐标或该第五相对坐标，从该些三维影像图片信息中计算出该第一相对坐标或该第五相对坐标对应的一张三维影像图片，且根据该第一相对坐标或该第五相对坐标，将该三维影像图片与该手术目标相叠合显示。
在本发明的一些实施态样中，接续前段，该非光学定位系统中的该影像定位系统或该陀螺仪定位系统还实时取得该手术器械的一空间坐标信息，该移动显示装置还根据该非光学定位系统取得的该手术器械的该空间坐标信息，实时计算出该移动显示装置相对于该手术器械的一第六参考相对坐标；该移动显示装置判断该第六参考相对坐标与该第二相对坐标的一误差超过一第四临界值时，采用该第二相对坐标，否则采用该第六参考相对坐标作为一第六相对坐标，并根据该第二相对坐标或该第六相对坐标，从该些二维影像图片信息中获得与该第二相对坐标或该第六相对坐标对应的至少一张二维影像图片，且根据该第一相对坐标或该第五相对坐标与该第二相对坐标或该第六相对坐标，将该至少一张二维影像图片与该手术目标相叠合显示。
本发明的有益的效果在于：借由该光学定位系统取得该移动显示装置、该手术目标及该手术器械的该些空间坐标信息，可以提高定位的精准度，且该移动显示装置根据该光学定位系统提供的该些空间坐标信息获得的该第一相对坐标及第二相对坐标，从该些三维影像图片信息及该些二维影像图片信息中进一步获得对应的三维影像图片及二维影像图片并将其叠合在手术目标上显示，能将定位准确度保持或提升到医学用的光学定位等级，而有助于提高手术精准的程度；且当该光学定位系统不能提供空间坐标信息时，该移动显示装置可根据设于其上的非光学定位系统提供的关于该手术目标及该手术器械的该些空间坐标信息，获得对应的三维影像图片及二维影像图片并叠合在手术目标上显示，以使手术导航的影像信息不致中断。再者，该移动显示装置也可适时地切换应用该光学定位系统或该非光学定位系统提供的该些空间坐标信息，以改善显示影像抖动的问题。
附图说明
图1是本发明整合扩增实境的手术导航方法的第一实施例的主要流程图。
图2是本发明整合扩增实境的手术导航系统的第一实施例主要包含的电子装置示意图。
图3是本发明整合扩增实境的手术导航系统的第二实施例主要包含的电子装置示意图。
图4是本发明整合扩增实境的手术导航方法的第二实施例的主要流程图。
图5主要显示图4的步骤S42包含子步骤S421～S425。
图6是本发明整合扩增实境的手术导航方法的第三实施例的主要流程图。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
在本发明被详细描述之前，应当注意在以下的说明内容中，类似的元件以相同的编号来表示。
参阅图1，是本发明整合扩增实境的手术导航系统的第一实施例的主要流程图，且本实施例是由图2所示的一整合扩增实境的手术导航系统100(以下简称手术导航系统100)实现，该手术导航系统100应用在外科手术，例如脑部外科手术(但不以此为限)，且该手术导航系统100主要包括通过无线网络通信(或短距离无线通信，但并不排除也可以通过有线网络通信)的一服务器1、一供外科手术医师或相关人员配载的移动显示装置2以及一光学定位系统3。其中该移动显示装置2可以是扩增实境(AR)眼镜、扩增实境(AR)头戴装置(ARheadset)、智能手机或平板计算机等可随身携带或随身穿戴的电子装置，该光学定位系统3可采用NDI Polaris Vicra optical tracking systems、NDI Polaris Spectra opticaltracking systems,ART tracking systems,ClaroNav MicronTracker等等，但不以此为限。
首先，如图1的步骤S1所示，本实施例在进行手术前，该移动显示装置2会从一信息来源端，例如该服务器1或其他电子装置预先下载与一手术目标4，即病患的头部(或脑部)相关的多个三维影像图片信息至该移动显示装置2的一数据库(图未示)中。该些三维影像图片信息来自于DICOM(Digital Imaging and Communications in Medicine(医疗数位影像传输协定))数据，该DICOM数据是该手术目标4经由计算机断层扫描(CT)、磁振造影(MRI)、超音波影像(Ultrasound imaging)等取得的三维或二维切面重组三维的医学影像数据(其中亦可能包含肿瘤位置信息)，因此该DICOM数据可同时或分别包含血管、神经、骨头等信息。该信息来源端将该DICOM数据转换(例如借由Amira等软件)成obj、stl等三维立体格式影像数据，即上述的该些三维影像图片信息。
然后，如图1的步骤S2，在手术过程中，该光学定位系统3会实时取得该移动显示装置2及该手术目标4的一空间坐标信息，并如图1的步骤S3，使该移动显示装置2获得根据该些空间坐标信息而产生的该移动显示装置2相对于该手术目标4的一第一相对坐标；具体而言，该移动显示装置2获得该第一相对坐标的方式至少有两种，其中一种是该光学定位系统3直接或通过与其以有线方式连接的该服务器1提供该些空间坐标信息给该移动显示装置2，并由该移动显示装置2根据该些空间坐标信息实时计算该第一相对坐标RC1；其中另一种是该光学定位系统3提供该些空间坐标信息给与其以有线方式连接的该服务器1，由该服务器1根据该些空间坐标信息实时计算该第一相对坐标RC1，并将该第一相对坐标RC1传送给该移动显示装置2。
接着，如图1的步骤S4所示，该移动显示装置2根据该第一相对坐标RC1，从该些三维影像图片信息中计算取出与该第一相对坐标RC1对应的一张三维影像图片P1，且该三维影像图片P1的成像过程主要为根据该第一相对坐标RC1计算出以目前该移动显示装置2的视角应该看到的三维影像样貌，此成像方式目前可以由Unity软件来达成。然后，该移动显示装置2根据该第一相对坐标RC1，将该三维影像图片P1与该手术目标4相叠合显示。由于该叠合的方法已是虚拟实境领域的现有技术，故于此不予详述。值得一提的是，本实施例的光学导航系统提供的空间坐标信息精确度高(约为0.35毫米(mm))，而一般虚拟实境应用的导航系统由于不要求高精确，故其精确度大约只有0.5米(m)，所以本实施例中的该三维影像图片P1与该手术目标4能够被非常精确地叠合在一起。因此，外科手术医师或相关人员将可通过该移动显示装置2看到该三维影像图片P1与该手术目标4相叠合后的画面S1。
且在步骤S4中，该移动显示装置2还将与该第一相对坐标RC1对应的该三维影像图片P1传送至另一电子装置以显示在另一显示器6；或者该移动显示装置2还将该手术目标4与该三维影像图片P1相叠合的一叠合影像(即画面S1的影像)上传至该另一电子装置以显示在该另一显示器6。其中该另一电子装置可以是外接该另一显示器6的该服务器1、外接该另一显示器6的另一台计算机(图未示)，或者该另一电子装置即为该另一显示器6本身，此时该移动显示装置2可利用无线影像传输器，例如MiraScreen等技术将影像直接传送给该另一显示器6。
此外，在步骤S1中，本实施例还可从该信息来源端，例如该服务器1或其他电子装置预先下载与该手术目标4相关的多个二维影像图片信息(例如病患头部(或脑部)的多个剖面图)至该移动显示装置2，且该些二维影像图片信息是该信息来源端将上述的DICOM数据利用例如dcm2nii等NIfTI格式的转换器软件(DICOM to NIfTI converter)转换成二维图片格式数据(如jpg,nifti)。并且在步骤S2中，该光学定位系统3还实时取得外科手术医师或相关人员操作的一手术器械5的一空间坐标信息，且在步骤S3中，该移动显示装置2还获得根据该手术目标4及该手术器械5的该空间坐标信息而产生的该手术器械5相对于该手术目标4的一第二相对坐标RC2。
且如同上述，该移动显示装置2获得该第二相对坐标的方式至少有两种，其中一种是该光学定位系统3直接或通过该服务器1提供该手术目标4及该手术器械5的该空间坐标信息给该移动显示装置2，并由该移动显示装置2根据该手术目标4及该手术器械5的该空间坐标信息实时计算该第二相对坐标RC2；其中另一种是该光学定位系统3提供该手术目标4及该手术器械5的该空间坐标信息给该服务器1，由该服务器1根据该手术目标4及该手术器械5的该空间坐标信息实时计算该第二相对坐标RC2，并将该第二相对坐标RC2传送给该移动显示装置2。
然后，在步骤S4中，该移动显示装置2还根据该第二相对坐标RC2，从该些二维影像图片信息中获得与该第二相对坐标RC2对应的至少一张二维影像图片，且根据该第一相对坐标RC1及该第二相对坐标RC2将该至少一张二维影像图片与该手术目标4相叠合显示。其中，获得该至少一张二维影像图片的方法至少有两种，其中一种是该移动显示装置2事先根据该些二维影像图片信息计算出所有可能显示的二维影像图片，再根据该第二相对坐标RC2，从该些二维影像图片中取出与该第二相对坐标RC2对应的该至少一张二维影像图片；其中另一种是该移动显示装置2根据该第二相对坐标RC2及该些二维影像图片信息，实时计算出与该第二相对坐标RC2对应的该至少一张二维影像图片。此外，由于该叠合的方法已是虚拟实境领域的现有技术，故于此不予详述。
因此，外科手术医师或相关人员通过该移动显示装置2除了能看到该三维影像图片P1与该手术目标4相叠合后的画面S1，还可看到该手术器械5所到之处，例如该手术器械5伸入该手术目标4内部时的手术目标内部剖面图，亦即该移动显示装置2可以被选择显示该三维影像图片P1与该手术目标4相叠合后的画面S1、显示该至少一张二维影像图片与该手术目标4相叠合后的画面，或者显示该三维影像图片P1及该至少一张二维影像图片同时与该手术目标4相叠合后的画面而且借由该光学定位系统3提供精准的该移动显示装置2、该手术目标4及该手术器械5的空间坐标信息，使该移动显示装置2能获得准确的该第一相对坐标RC1及该第二相对坐标RC2，而据以使获得的二维影像及三维影像能与该手术目标4(即病患头部)准确叠合而提升对位的准确度，而有助于外科手术医师提高手术精准的程度。
值得一提的是，本实施例的该些三维影像图片信息及/或该些二维影像图片信息中还可包含与该手术目标4相关的一开刀入点信息及一开刀计划方案信息，例如开刀路径信息等；因此，在步骤S4中，与该手术目标4相叠合的该三维影像图片P1及/或该至少一张二维影像图片中还会呈现该开刀入点信息及该开刀计划方案信息。
而且，在步骤S4之后，如图1的步骤S5所示，该移动显示装置2在尚未收到一导航结束的指令之前，将回到步骤S2并重复步骤S2～S4，不断地根据该光学定位系统3提供的该些空间坐标信息实时获得该第一相对坐标RC1及第二相对坐标RC2，并根据最新的该第一相对坐标RC1及第二相对坐标RC2，从该些三维影像图片信息及该些二维影像图片信息中获得相对应的该三维影像图片及该至少一二维影像图片，并将其实时与该手术目标4相叠合而显示虚拟实境影像，借此，让移动显示装置2能随着外科手术医师或相关人员眼睛注视的位置例如该移动显示装置2移动的距离及角度实时调整所显示的虚拟影像(即三维影像图片与二维影像图片)进行手术导航，让外科手术医师或相关人员能通过该移动显示装置2实时看到当下与该手术目标4相叠合的虚拟实境影像，并实时地提供外科手术医师或相关人员有关于该手术目标4内部组识的信息，而有助于手术中的决策及判断。
另外，在步骤S4中，该移动显示装置2还可实时地将与该第一相对坐标RC1对应的该三维影像图片P1及/或与该第二相对坐标RC2对应的该至少一张二维影像图片传送至另一电子装置以显示在另一显示器6，使该另一显示器6显示该三维影像图片及/或该至少一张二维影像图片；或者该移动显示装置2还实时地将该手术目标4与该三维影像图片P1及/或该至少一张二维影像图片相叠合的一叠合影像(例如借由设置在该头戴式显示装置2上的一摄影镜头拍摄该手术目标4并将其与该三维影像图片P1及/或该至少一张二维影像图片相叠合)传送至该另一电子装置以显示在该另一显示器6。其中该另一电子装置可以是外接该另一显示器6的该服务器1、外接该另一显示器6的另一计算机，或者该另一电子装置就是该另一显示器6，且该移动显示装置2可利用如上所述的无线影像传输器将影像直接传送给该另一显示器6。借此，外科手术医师或相关人员以外的其他人即可以通过该另一显示器6看到手术过程中的虚拟实境影像。
再者，于实际应用上，该光学定位系统3有定位范围受限及突然坏掉或缺乏等问题，因此，如图3所示，当该移动显示装置2不在该光学定位系统3的定位范围30内，或者发生该光学定位系统3突然坏掉或缺乏的情况时，该光学定位系统3就无法取得该移动显示装置2的空间坐标信息。所以，为了解决上述问题，如图3所示，本发明的第二实施例是在手术导航系统100’的该移动显示装置2上还设置一非光学定位系统7，且如图4所示，该第二实施例在原步骤S2和原步骤S3之间新增一步骤S41，在该步骤S41中，该移动显示装置2判断在一预设时间内是否已获得根据该些空间坐标信息而产生的该第一相对坐标，若是，则接着执行原步骤S3、S4，否则，该移动显示装置2则执行步骤S42，令该非光学定位系统7实时取得该手术目标4的该空间坐标信息，该移动显示装置2还根据该非光学定位系统7取得的该手术目标4的该空间坐标信息，实时计算出该移动显示装置2相对于该手术目标4的一第三相对坐标RC3。其中该非光学定位系统7可以是一影像定位系统71或一陀螺仪定位系统72或是两者的组合。
接着，如图4的步骤S43，该移动显示装置2根据该第三相对坐标RC3，从该些三维影像图片信息中计算出与该第三相对坐标RC3对应的一张三维影像图片P1’，且根据该第三相对坐标RC3，将该三维影像图片P1’与该手术目标4相叠合显示。在步骤S43之后，如图4的步骤S44所示，该移动显示装置2在尚未收到一导航结束指令之前，将回到步骤S41，并判断在该预设时间内仍未获得根据该些空间坐标信息而产生的该第一相对坐标RC1时，重复上述步骤S42～S43。借此，当该移动显示装置2不在该光学定位系统2的定位范围内，或者发生该光学定位系统3突然坏掉或缺乏的情况时，外科手术医师或相关人员仍可通过该移动显示装置2看到该三维影像图片P1’与该手术目标4相叠合后的画面S2。
且在本实施例中，该移动显示装置2于步骤S42中实时计算该第三相对坐标RC3的一种方式是应用该非光学定位系统7包含的该影像定位系统71及该陀螺仪定位系统72，该影像定位系统71可以是例如应用Vuforia扩增实境平台所开发的影像定位系统，该陀螺仪定位系统72可以是例如应用该移动显示装置2内部的陀螺仪定位系统或外加的陀螺仪定位系统。且如图5所示，步骤S42中还包含子步骤S421～S425，在步骤S421中，该移动显示装置2令该非光学定位系统7的该影像定位系统71实时取得该手术目标4的该空间坐标信息，该移动显示装置2还根据该影像定位系统7取得的该手术目标4的该空间坐标信息，实时计算出该移动显示装置2相对于该手术目标4的一第一参考相对坐标RF1。
接着，该移动显示装置2执行图5的步骤S422，令该非光学定位系统7的该陀螺仪定位系统72实时取得该手术目标4的该空间坐标信息，该移动显示装置2还根据该陀螺仪定位系统72取得的该手术目标4的该空间坐标信息，实时计算出该移动显示装置2相对于该手术目标4的一第二参考相对坐标RF2；且由于该陀螺仪定位系统72取得空间坐标信息的速度比该影像定位系统71快，所以，除非第二参考相对坐标RF2与第一参考相对坐标RF1之间的误差太大，否则会优先采用第二参考相对坐标RF2。
因此，如图5的步骤S423，该移动显示装置2判断该第一参考相对坐标RF1与该第二参考相对坐标RF2的一误差是否超过一第一临界值，若是，如图5的步骤S424，采用该第一参考相对坐标RF1作为一第三相对坐标RC3，否则，如图5的步骤S425，采用该第二参考相对坐标RF2作为该第三相对坐标RC3。
此外，在本实施例的步骤S42中，该非光学定位系统7还可实时取得该手术器械5的一空间坐标信息，该移动显示装置2还根据该非光学定位系统7取得的该手术目标4及该手术器械5的该些空间坐标信息，实时计算出该手术器械5相对于该手术目标4的一第四相对坐标RC4，且在步骤S43中，该移动显示装置2还根据该第四相对坐标RC4，以如上所述获得该至少一张二维影像图片的方法，从该些二维影像图片信息中获得与该第四相对坐标RC4对应的至少一张二维影像图片，且根据该第三相对坐标RC3及该第四相对坐标RC4，将该至少一张二维影像图片与该手术目标4相叠合显示。
而且，在步骤S43之后，如图4的步骤S44所示，该移动显示装置2在尚未收到一导航结束指令之前，将回到步骤S41，并判断在该预设时间内仍未获得根据该些空间坐标信息而产生的该第一相对坐标时，重复步骤S42～S43，以不断地根据最新计算出来的该第三相对坐标RC3及第四相对坐标RC4，从该些三维影像图片信息及该些二维影像图片信息中获得相对应的该三维影像图片及该至少一二维影像图片，并将其实时与该手术目标4相叠合而显示虚拟实境影像。借此，让移动显示装置2能随着外科手术医师或相关人员眼睛注视的位置，例如该移动显示装置2移动的距离及角度实时调整所显示的虚拟影像(即三维影像图片与二维影像图片)进行手术导航，以实时地提供外科手术医师或相关人员有关于该手术目标4内部组识的信息，而有助于手术中的决策及判断。
且在本实施例中，该移动显示装置2于步骤S42中实时计算该第四相对坐标RC4的一种方式是应用该非光学定位系统7包含的该影像定位系统71及该陀螺仪定位系统72。亦即在图5的步骤S421中，该移动显示装置2还令该影像定位系统71实时取得该手术器械5的一空间坐标信息，且该移动显示装置2还根据该影像定位系统71取得的该手术目标4及该手术器械5的该空间坐标信息，实时计算出该手术器械5相对于该手术目标4的一第三参考相对坐标RF3；且在在图5的步骤S422中，该陀螺仪定位系统72还实时取得该手术器械5的该空间坐标信息，该移动显示装置2还根据该陀螺仪定位系统72取得的该手术目标4及该手术器械5的该些空间坐标信息，实时计算出该手术器械5相对于该手术目标4的一第四参考相对坐标RF4。然后，在图5的步骤S423中，该移动显示装置2会判断该第三参考相对坐标RF3与该第四参考相对坐标RF4的一误差是否超过一第二临界值，若是，在图5的步骤S424中，该移动显示装置2采用该第三参考相对坐标RF3作为一第四相对坐标RC4，否则在图5的步骤S425中，该移动显示装置2采用该第四参考相对坐标RF4作为该第四相对坐标RC4。
再者，由于该光学定位系统3取得空间坐标信息后，需经过有线传输方式将空间坐标信息送给该服务器1，再由该服务器1将空间坐标信息(或已计算出的相对坐标)经由有线或无线网络传输到该移动显示装置2，当传输时间延迟过久，可能导致该光学定位系统3在彼时(第一时间点)取得的该手术目标4的坐标已与此时(第二时间点)该手术目标4的坐标产生相当的差距，以致该移动显示装置2根据彼时坐标产生的三维影像图片及/或二维影像图片无法与该手术目标4完美叠合而产生影像抖动问题。而设置在该移动显示装置2上的该非光学定位系统7产生的空间坐标信息是立即传给该移动显示装置2，不会产生传输过程导致的时间延迟，因此不易产生影像抖动问题。
因此，如图6所示，是本发明整合扩增实境的手术导航方法的第三实施例的主要流程图，其主要借由适时切换使用该光学定位系统3或该非光学定位系统7来解决上述影像抖动问题。且如图6所示，其中步骤S1～S3及S5与第一实施例相同。在本实施例中，在该光学定位系统执行步骤S2以实时取得该移动显示装置2及该手术目标4的该空间坐标信息的同时，该非光学定位系统7亦执行步骤S51，由该非光学定位系统7中的该影像定位系统71或该陀螺仪定位系统72实时取得该手术目标4的该空间坐标信息。然后，与步骤S3同时，在步骤S52中，该移动显示装置2还根据该非光学定位系统7取得的该手术目标4的该空间坐标信息，实时计算出该移动显示装置2相对于该手术目标4的一第五参考相对坐标RF5。
接着，在步骤S53中，该移动显示装置2判断该第五参考相对坐标RF5与步骤S3中产生的该第一相对坐标RC1的一误差是否超过一第三临界值，若是，如图6的步骤S54，该移动显示装置2采用该第一相对坐标RC1，否则，如图6的步骤S55，该移动显示装置2采用该第五参考相对坐标RF5作为一第五相对坐标RC5。然后，在图6的步骤S56中，该移动显示装置2根据该第一相对坐标RC1或该第五相对坐标RC5，从该些三维影像图片信息中计算出与该第一相对坐标RC1或该第五相对坐标RC5对应的一张三维影像图片，且根据该第一相对坐标RC1或该第五相对坐标RC5，将该三维影像图片与该手术目标5相叠合显示。
此外，在上述步骤S51中，该非光学定位系统7中的该影像定位系统71或该陀螺仪定位系统72还实时取得该手术器械5的该空间坐标信息，且在上述步骤S52中，该移动显示装置2还根据该非光学定位系统7取得的该手术器械5的该空间坐标信息，实时计算出该移动显示装置2相对于该手术器械5的一第六参考相对坐标RF6。并且在上述步骤S53中，该移动显示装置2判断该第六参考相对坐标RF6与步骤S3中产生的该第二相对坐标RC2的一误差是否超过一第四临界值，若是，则在步骤S54中，采用该第二相对坐标RC2，否则，在步骤S55中，采用该第六参考相对坐标RF6作为一第六相对坐标RC6。然后，在上述步骤S56中，该移动显示装置2根据该第二相对坐标RC2或该第六相对坐标RC6，从该些二维影像图片信息中获得与该第二相对坐标RC2或该第六相对坐标RC6对应的至少一张二维影像图片，且根据该第一相对坐标RC1或该第五相对坐标RC5与该第二相对坐标RC2或该第六相对坐标RC6(即第一相对坐标RC1与该第二相对坐标RC2、第一相对坐标RC1与该第六相对坐标RC6、该第五相对坐标RC5与该第二相对坐标RC2、该第五相对坐标RC5与该第六相对坐标RC6这四种组合其中之一)，将该至少一张二维影像图片与该手术目标4相叠合显示。借此，使三维影像图片及/或二维影像图片能尽可能地与该手术目标4完美叠合而最大限度地改善影像抖动的问题。
综上所述，上述实施例借由该光学定位系统3取得该移动显示装置2、该手术目标4及该手术器械5的该些空间坐标信息，可以提高定位的精准度，且该移动显示装置2根据该光学定位系统3提供的该些空间坐标信息获得的该第一相对坐标RC1及第二相对坐标RC2，从该些三维影像图片信息及该些二维影像图片信息中进一步获得对应的三维影像图片及二维影像图片并将其叠合在该手术目标4上显示，能将定位准确度保持或提升到医学用的光学定位等级，而有助于提高手术精准的程度；此外，当该移动显示装置2不在该光学定位系统3的定位范围7内或该光学定位系统3突然坏掉或缺乏时，该移动显示装置2可根据设于其上的该非光学定位系统7提供的关于该手术目标4及该手术器械5的该些空间坐标信息，获得对应的三维影像图片及二维影像图片叠合在该手术目标4上显示，以使手术导航的影像信息不致中断。再者，该移动显示装置2也可适时地切换应用该光学定位系统3或该非光学定位系统7提供的该些空间坐标信息，以改善显示影像抖动的问题，确实达到本发明的功效与目的。

Claims (17)

1.一种整合扩增实境的手术导航系统，其特征在于，该系统包括：
移动显示装置，其从信息来源端预先下载与手术目标相关的多个三维影像图片信息；
光学定位系统，其实时取得该移动显示装置及该手术目标的空间坐标信息，
其中，该移动显示装置获得根据该空间坐标信息而产生的该移动显示装置相对于该手术目标的第一相对坐标；及
该移动显示装置根据该第一相对坐标，从该多个三维影像图片信息中计算出与该第一相对坐标对应的一张三维影像图片，且根据该第一相对坐标，将该三维影像图片与该手术目标相叠合显示。
2.根据权利要求1所述的整合扩增实境的手术导航系统，其特征在于，该光学定位系统直接或通过与该光学定位系统以有线方式连接的服务器提供该空间坐标信息给该移动显示装置，且该移动显示装置根据该空间坐标信息实时计算该第一相对坐标。
3.根据权利要求1所述的整合扩增实境的手术导航系统，其特征在于，该光学定位系统提供该空间坐标信息给与该光学定位系统以有线方式连接的服务器，该服务器根据该空间坐标信息实时计算该第一相对坐标，并将该第一相对坐标传送给该移动显示装置。
4.根据权利要求1所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置还从该信息来源端预先下载与该手术目标相关的多个二维影像图片信息，该光学定位系统还实时取得手术器械的空间坐标信息；该移动显示装置还获得根据该手术目标及该手术器械的该空间坐标信息而产生的该手术器械相对于该手术目标的第二相对坐标，该移动显示装置还根据该第二相对坐标，从该多个二维影像图片信息中获得与该第二相对坐标对应的至少一张二维影像图片，且根据该第一相对坐标及该第二相对坐标，将该至少一张二维影像图片与该手术目标相叠合显示。
5.根据权利要求4所述的整合扩增实境的手术导航系统，其特征在于，该光学定位系统直接或通过与该光学定位系统以有线方式连接的服务器提供该手术器械的该空间坐标信息给该移动显示装置，且该移动显示装置根据该手术器械的该空间坐标信息实时计算该第二相对坐标。
6.根据权利要求4所述的整合扩增实境的手术导航系统，其特征在于，该光学定位系统提供该手术器械的该空间坐标信息给与该光学定位系统以有线方式连接的服务器，该服务器根据该手术器械的该空间坐标信息实时计算该第二相对坐标，并将该第二相对坐标传送给该移动显示装置。
7.根据权利要求4所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置根据该多个二维影像图片信息事先计算出所有可能显示的二维影像图片，再根据该第二相对坐标，从该多个二维影像图片中取出与该第二相对坐标对应的该至少一张二维影像图片。
8.根据权利要求4所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置根据该第二相对坐标及该多个二维影像图片信息，实时计算出与该第二相对坐标对应的该至少一张二维影像图片。
9.根据权利要求1所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置还将与该第一相对坐标对应的该三维影像图片传送至另一电子装置以显示在另一显示器；或者该移动显示装置还将该手术目标与该三维影像图片相叠合的叠合影像上传至该另一电子装置以显示在该另一显示器，其中该另一电子装置是外接该另一显示器的服务器、外接该另一显示器的计算机或者该另一显示器。
10.根据权利要求4所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置还将与该第一相对坐标对应的该三维影像图片及/或该至少一张二维影像图片传送至另一电子装置以显示在另一显示器，使该另一显示器显示该三维影像图片及/或该至少一张二维影像图片；或者该移动显示装置还将该手术目标与该三维影像图片及/或该至少一张二维影像图片相叠合的叠合影像传送至该另一电子装置以显示在该另一显示器，其中该另一电子装置是外接该另一显示器的服务器、外接该另一显示器的计算机或者该另一显示器。
11.根据权利要求4所述的整合扩增实境的手术导航系统，其特征在于，该多个三维影像图片信息及/或该多个二维影像图片信息还包含与该手术目标相关的开刀入点信息及开刀计划方案信息；且与该手术目标相叠合的该三维影像图片及/或该至少一张二维影像图片还呈现该开刀入点信息及该开刀计划方案信息。
12.根据权利要求1所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置还设有非光学定位系统，且当该移动显示装置在预设时间内未获得根据该空间坐标信息而产生的该第一相对坐标时，该移动显示装置令该非光学定位系统实时取得该手术目标的该空间坐标信息，并根据该非光学定位系统取得的该手术目标的该空间坐标信息，实时计算出该移动显示装置相对于该手术目标的第三相对坐标；且该移动显示装置根据该第三相对坐标，从该多个三维影像图片信息中计算出与该第三相对坐标对应的一张三维影像图片，且根据该第三相对坐标，将该三维影像图片与该手术目标相叠合显示。
13.根据权利要求12所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置还从该信息来源端预先下载与该手术目标相关的多个二维影像图片信息；该非光学定位系统还实时取得手术器械的空间坐标信息，该移动显示装置还根据该非光学定位系统取得的该手术目标及该手术器械的该空间坐标信息，实时计算出该手术器械相对于该手术目标的第四相对坐标，且该移动显示装置还根据该第四相对坐标，从该多个二维影像图片信息中获得与该第四相对坐标对应的至少一张二维影像图片，且根据该第三相对坐标及该第四相对坐标，将该至少一张二维影像图片与该手术目标相叠合显示。
14.根据权利要求12所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置令该非光学定位系统中的影像定位系统实时取得该手术目标的该空间坐标信息，该移动显示装置还根据该影像定位系统取得的该手术目标的该空间坐标信息，实时计算出该移动显示装置相对于该手术目标的第一参考相对坐标；且该移动显示装置令该非光学定位系统中的陀螺仪定位系统实时取得该手术目标的该空间坐标信息，该移动显示装置还根据该陀螺仪定位系统取得的该手术目标的该空间坐标信息，实时计算出该移动显示装置相对于该手术目标的第二参考相对坐标；并且该移动显示装置判断该第一参考相对坐标与该第二参考相对坐标的误差超过第一临界值时，采用该第一参考相对坐标作为第三相对坐标，否则采用该第二参考相对坐标作为该第三相对坐标。
15.根据权利要求14所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置还从该信息来源端预先下载与该手术目标相关的多个二维影像图片信息；该影像定位系统还实时取得手术器械的空间坐标信息，该移动显示装置还根据该影像定位系统取得的该手术目标及该手术器械的该空间坐标信息，实时计算出该手术器械相对于该手术目标的第三参考相对坐标；该陀螺仪定位系统还实时取得该手术器械的该空间坐标信息，该移动显示装置还根据该陀螺仪定位系统取得的该手术目标及该手术器械的该空间坐标信息，实时计算出该手术器械相对于该手术目标的第四参考相对坐标；该移动显示装置判断该第三参考相对坐标与该第四参考相对坐标的误差超过第二临界值时，采用该第三参考相对坐标作为第四相对坐标，否则采用该第四参考相对坐标作为该第四相对坐标；且该移动显示装置还根据该第四相对坐标，从该多个二维影像图片信息中获得与该第四相对坐标对应的至少一张二维影像图片，且根据该第三相对坐标及该第四相对坐标，将该至少一张二维影像图片与该手术目标相叠合显示。
16.根据权利要求4所述的整合扩增实境的手术导航系统，其特征在于，该移动显示装置还设有非光学定位系统，且该非光学定位系统中的影像定位系统或陀螺仪定位系统实时取得该手术目标的该空间坐标信息；该移动显示装置还根据该非光学定位系统取得的该手术目标的该空间坐标信息，实时计算出该移动显示装置相对于该手术目标的第五参考相对坐标；且该移动显示装置判断该第五参考相对坐标与该第一相对坐标的误差超过第三临界值时，采用该第一相对坐标，否则采用该第五参考相对坐标作为第五相对坐标，并根据该第一相对坐标或该第五相对坐标，从该多个三维影像图片信息中计算出该第一相对坐标或该第五相对坐标对应的一张三维影像图片，且根据该第一相对坐标或该第五相对坐标，将该三维影像图片与该手术目标相叠合显示。
17.根据权利要求16所述的整合扩增实境的手术导航系统，其特征在于，该非光学定位系统中的该影像定位系统或该陀螺仪定位系统还实时取得该手术器械的空间坐标信息，该移动显示装置还根据该非光学定位系统取得的该手术器械的该空间坐标信息，实时计算出该移动显示装置相对于该手术器械的第六参考相对坐标；且该移动显示装置判断该第六参考相对坐标与该第二相对坐标的误差超过第四临界值时，采用该第二相对坐标，否则采用该第六参考相对坐标作为第六相对坐标，并根据该第二相对坐标或该第六相对坐标，从该多个二维影像图片信息中获得与该第二相对坐标或该第六相对坐标对应的至少一张二维影像图片，且根据该第一相对坐标或该第五相对坐标与该第二相对坐标或该第六相对坐标，将该至少一张二维影像图片与该手术目标相叠合显示。
CN201811535103.2A 2018-06-26 2018-12-14 整合扩增实境的手术导航系统 Active CN110638525B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107121828 2018-06-26
TW107121828A TWI741196B (zh) 2018-06-26 2018-06-26 整合擴增實境之手術導航方法及系統

Publications (2)

Publication Number Publication Date
CN110638525A CN110638525A (zh) 2020-01-03
CN110638525B true CN110638525B (zh) 2021-12-21

Family

ID=68980444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811535103.2A Active CN110638525B (zh) 2018-06-26 2018-12-14 整合扩增实境的手术导航系统

Country Status (3)

Country Link
US (1) US20190388177A1 (zh)
CN (1) CN110638525B (zh)
TW (1) TWI741196B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法
TWI790447B (zh) * 2020-06-10 2023-01-21 長庚大學 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
CN114882976A (zh) 2021-02-05 2022-08-09 中强光电股份有限公司 医疗用影像辅助系统及医疗用影像辅助方法
WO2023283573A1 (en) * 2021-07-06 2023-01-12 Health Data Works, Inc. Dialysis tracking system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060293557A1 (en) * 2005-03-11 2006-12-28 Bracco Imaging, S.P.A. Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray")
CN102266250A (zh) * 2011-07-19 2011-12-07 中国科学院深圳先进技术研究院 超声手术导航系统及超声手术导航方法
CN106296805A (zh) * 2016-06-06 2017-01-04 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
CN107088091A (zh) * 2017-06-08 2017-08-25 广州技特电子科技有限公司 一种辅助骨科手术的手术导航系统及导航方法
WO2017165301A1 (en) * 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN107510504A (zh) * 2017-06-23 2017-12-26 中南大学湘雅三医院 一种辅助骨科手术的非放射线透视视觉导航方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
JP7189939B2 (ja) * 2017-05-05 2022-12-14 ストライカー・ユーロピアン・オペレーションズ・リミテッド 手術ナビゲーションシステム
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060293557A1 (en) * 2005-03-11 2006-12-28 Bracco Imaging, S.P.A. Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray")
CN102266250A (zh) * 2011-07-19 2011-12-07 中国科学院深圳先进技术研究院 超声手术导航系统及超声手术导航方法
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
CN107613897A (zh) * 2015-10-14 2018-01-19 外科手术室公司 扩增实境的外科导航
WO2017165301A1 (en) * 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
CN106296805A (zh) * 2016-06-06 2017-01-04 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
CN107088091A (zh) * 2017-06-08 2017-08-25 广州技特电子科技有限公司 一种辅助骨科手术的手术导航系统及导航方法
CN107510504A (zh) * 2017-06-23 2017-12-26 中南大学湘雅三医院 一种辅助骨科手术的非放射线透视视觉导航方法及系统
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法

Also Published As

Publication number Publication date
TW202000143A (zh) 2020-01-01
CN110638525A (zh) 2020-01-03
TWI741196B (zh) 2021-10-01
US20190388177A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
CN109758230B (zh) 一种基于增强现实技术的神经外科手术导航方法和系统
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
CN110638525B (zh) 整合扩增实境的手术导航系统
AU2020275280B2 (en) Bone wall tracking and guidance for orthopedic implant placement
US11998401B2 (en) Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site
TW202135736A (zh) 基於混合實境的手術導航影像成像方法
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
JP2017164075A (ja) 画像位置合せ装置、方法およびプログラム
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
US20230146371A1 (en) Mixed-reality humeral-head sizing and placement
CN113768619A (zh) 路径定位方法、信息显示装置、存储介质及集成电路芯片
US20230363830A1 (en) Auto-navigating digital surgical microscope
US12042234B2 (en) Tracking surgical pin
TWM484404U (zh) 成像投影系統設備應用
JP2024525733A (ja) 手術前及び手術中のシーンの画像データを表示する方法及びシステム
AU2021246607B2 (en) Mixed reality guidance for bone-graft harvesting
Hu et al. Artificial Intelligence-driven Framework for Augmented Reality Markerless Navigation in Knee Surgery
CANGELOSI Image-Guided Surgery and Augmented Reality in Orthopaedic Surgery: a perspective on reducing Iatrogenic Nerve Damage in Elbow
WO2022261783A1 (en) Systems and methods for displaying predetermined information for clinical use

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210817

Address after: 8th floor, 43 Lane 115, Section 2, Zhongshan North Road, Zhongshan District, Taipei, Taiwan, China

Applicant after: Huayu Pharmaceutical Co.,Ltd.

Address before: 259 Wenhua 1st Road, Guishan District, Taoyuan City, Taiwan, China

Applicant before: CHANG GUNG University

Applicant before: Chang Gung Memorial Hospital, Linkou

GR01 Patent grant
GR01 Patent grant