[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112888395B - 用于实时更新穿行摄像机放置的方法 - Google Patents

用于实时更新穿行摄像机放置的方法 Download PDF

Info

Publication number
CN112888395B
CN112888395B CN201980069840.4A CN201980069840A CN112888395B CN 112888395 B CN112888395 B CN 112888395B CN 201980069840 A CN201980069840 A CN 201980069840A CN 112888395 B CN112888395 B CN 112888395B
Authority
CN
China
Prior art keywords
point
virtual camera
image
selection
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980069840.4A
Other languages
English (en)
Other versions
CN112888395A (zh
Inventor
J·帕鲁士
H·F·萨拉萨尔
J·R·特罗特
M·列维
I·布斯坦
Y·平斯基
N·拉切利
A·帕帕达基斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Acclarent Inc
Original Assignee
Biosense Webster Israel Ltd
Acclarent Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd, Acclarent Inc filed Critical Biosense Webster Israel Ltd
Publication of CN112888395A publication Critical patent/CN112888395A/zh
Application granted granted Critical
Publication of CN112888395B publication Critical patent/CN112888395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Dentistry (AREA)
  • Otolaryngology (AREA)
  • Pulmonology (AREA)
  • Processing Or Creating Images (AREA)
  • Endoscopes (AREA)

Abstract

虚拟内窥镜视图示出了外科手术区域和周围的解剖结构，并且还可示出在外科手术期间使用的外科器械的位置，从而允许外科医生在直接查看或实际内窥镜视图不完整、被阻挡或以其他方式不可用或不期望时虚拟地查看外科手术区域。为了渲染内窥镜视图，IGS导航系统可被配置为基于用户输入在3D空间内具有观察者点和观察者取向。用于限定这些点的用户界面允许用户在提供输入的同时实时查看虚拟内窥镜预览，从而改善所得的虚拟内窥镜视图是用户所期望的可能性；以及减少重新限定和重新配置虚拟内窥镜视图所花费的时间。虚拟内窥镜预览可提供静态图像和动态图像的组合以示出所提供的输入的空间关系。

Description

用于实时更新穿行摄像机放置的方法
优先权
本申请要求2018年10月22日提交的名称为“Method for Real Time Update ofFly-Through Camera Placement”的美国临时专利62/748,571的优先权，该美国临时专利的公开内容以引用方式并入本文。
背景技术
图像引导外科手术(IGS)为一种这样的技术：其中使用计算机来获得已经插入患者体内的器械的位置与手术前获得的图像集合(例如，CT或MRI扫描、3-D标测图等)的实时相关性，使得计算机系统可在手术前获得的图像上叠加器械的当前位置。可用于IGS手术中的电磁IGS导航系统的示例为由Biosense-Webster,Inc.(Irvine,California)提供的3系统。在一些IGS规程中，在外科手术之前获得手术区的数字断层扫描(例如，CT或MRI、3-D标测图等)。然后使用专门编程的计算机将数字断层扫描数据转化成数字地图。在外科手术过程中，具有传感器(例如，发出电磁场和/或响应于外部生成电磁场的电磁线圈)的特殊器械用于执行手术，同时传感器向指示每个外科器械的当前位置的计算机发送数据。该计算机将从传感器接收的数据与由手术前断层扫描生成的数字地图相关联。断层扫描图像连同指示器(例如，十字准线或照亮点等)一起示于视频监视器上，从而示出每个外科器械相对于扫描图像中所示解剖结构的实时位置。即使外科医生不能直接在体内器械当前位置处目视查看其本身，但外科医生能够通过查看视频监视器而了解每个配备传感器的器械的确切位置。
为了提供上述虚拟内窥镜视图，IGS导航系统可能需要虚拟“摄像机”的“放置”以限定由虚拟内窥镜视图呈现的视点。此类放置可能需要限定观察者点(即，沿着虚拟内窥镜视图的观察者所处的3-D空间中的x、y和z轴的点)和观察者取向(即，限定观察者所面向的3-D空间中的方向的欧拉角)的配置或输入。当使用常规2D界面和工具代替具有3-D能力的界面和工具时，在虚拟3-D空间中限定位置和取向可能是困难的。
作为例示潜在困难的示例，当使用3-D界面和工具时，诸如能够在房间规模移动并查看具有六个自由度的3-D虚拟环境的虚拟现实头戴式显示器，虚拟摄像机的放置可简单到围绕控制器行走或使用控制器在虚拟3-D空间内移动(即，沿着x轴、y轴和z轴移动)，然后在期望的方向上(即，旋转偏航、俯仰和翻滚)观看。
当使用2D界面诸如计算机显示器和鼠标时，导航和查看相同的3-D虚拟环境以便限定观察者点和取向可不太直观并且更容易出错。常规2D界面可能需要用户使用键盘和鼠标浏览数字地图的多个单独图像，然后手动选择第一图像上的点作为观察者位置或取向，然后选择第二图像上的点作为剩余点。第一图像和第二图像可能不落在Z轴(即，第三维度)上的同一点上，使得作为2D观察者难以判断它们彼此的关系。因此，在IGS导航期间配置虚拟内窥镜视图的过程可能是不准确的(例如，用户可以选择第一点和第二点，然后在渲染虚拟内窥镜视图之后决定其不是期望的)和低效的(例如，用户可能需要多次重新限定第一点和第二点以便实现期望的视角)。
此类不准确性和低效率可对外科手术的结果产生负面影响，包括降低通过内窥镜视图可用的视点的质量或可用性，以及增加完成手术所需的总时间。因此，可能有利的是提供具有用于限定虚拟内窥镜视图内的视点和视角的改进特征的IGS导航系统。
尽管已研制出若干系统和方法并用于外科手术，但是据信，本发明人之前尚未有人研制出或使用所附权利要求书中所描述的发明。
附图说明
虽然在说明书之后提供了特别指出和清楚地要求保护本发明的权利要求书，但是据信通过对下面某些示例的描述并结合附图可以更好地理解本发明，附图中类似的附图标记表示相同元件，并且其中：
图1示出了在坐在示例性医疗手术椅中的患者上使用的示例性手术导航系统的示意图；
图2示出了可由图1的外科手术导航系统执行或利用图1的外科手术导航系统执行以放置虚拟摄像机的一组示例性高级步骤；
图3示出了可由外科手术导航系统执行或利用外科手术导航系统执行以在放置虚拟摄像机期间提供实时虚拟内窥镜预览的一组示例性步骤；
图4示出了可由外科手术导航系统执行或利用外科手术导航系统执行以查看、修改和确认虚拟摄像机的放置的一组示例性步骤；
图5示出了示例性放置界面的模拟屏幕截图；
图6示出了提供第一预览的图5的放置界面的模拟屏幕截图；
图7示出了提供第二预览的图5的放置界面的模拟屏幕截图；
图8示出了提供第三预览的图5的放置界面的模拟屏幕截图；
图9示出了提供第四预览的图5的放置界面的模拟屏幕截图；
图10示出了提供第一预览的另选示例性放置界面的模拟屏幕截图；
图11示出了提供第二预览的图10的另选放置界面的模拟屏幕截图；
图12示出了提供第三预览的图10的另选放置界面的模拟屏幕截图；并且
图13示出了提供第四预览的图10的另选放置界面的模拟屏幕截图。
附图并非旨在以任何方式进行限制，并且可以设想本发明的各种实施方案可以多种其他方式来执行，包括那些未必在附图中示出的方式。并入本说明书中并构成其一部分的附图示出了本发明的若干方面，并与说明书一起用于解释本发明的原理；然而，应当理解，本发明并不限于所示出的明确布置方式。
具体实施方式
本发明的某些示例的以下说明不应用于限定本发明的范围。根据以举例的方式示出的以下说明，本发明的其他示例、特征、方面、实施方案和优点对于本领域的技术人员而言将是显而易见的，一种最佳方式被设想用于实施本发明。如将认识到，本发明能够具有其他不同且明显的方面，所有这些方面均不脱离本发明。因此，附图和说明应被视为实质上是例示性的而非限制性的。
应当理解，本文使用的术语“近侧”和“远侧”是相对于握持手持件组件的临床医生而言的。因此，端部执行器相对于较近的手持件组件而言处于远侧。还应当理解，为方便和清晰起见，本文关于临床医生握持手持件组件的情况也使用空间术语诸如“顶部”和“底部”。然而，外科器械在许多取向和位置中使用，并且这些术语并非旨在为限制性的和绝对的。
还应当理解，本文所述的教导内容、表达、型式、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、型式、示例等中的任何一者或多者相结合。因此下述教导内容、表达、型式、示例等不应被视为彼此分离。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。
I.示例性图像引导外科手术导航系统
图1示出了能够利用图像引导执行ENT规程的示例性IGS导航系统(100)。除了具有本文所述的部件和可操作性之外或者代替本文所述的部件和可操作性，IGS导航系统(100)可根据以下专利的教导内容中的至少一些来构造和操作：2010年5月18日公布的名称为“Methods and Devices for Performing Procedures within the Ear,Nose,Throat andParanasal Sinuses”的美国专利7,720,521，其公开内容以引用方式并入本文；以及2014年12月11日公布的名称为“Systems and Methods for Performing Image GuidedProcedures within the Ear,Nose,Throat and Paranasal Sinuses”的美国专利公布2014/0364725，其公开内容以引用方式并入本文。
本示例的IGS导航系统(100)包括场发生器组件(200)，该场发生器组件包括集成到马蹄形框架(204)内的磁场发生器(206)集合。场发生器(206)能够操作以生成围绕患者(P)的头部(H)的不同频率的交变磁场。导航导丝(130)可为独立装置或可定位在端部执行器或医疗器械(诸如外科切割器械或扩张器械)的其他位置上。在本示例中，将框架(204)安装到座椅(300)，其中患者(P)坐在座椅(300)中，使得框架(204)位于患者(P)的头部(H)附近。仅以举例的方式，座椅(300)和/或场发生器组件(200)可根据2018年3月23日提交的名称为“Apparatus to Secure Field Generating Device to Chair”的美国专利申请15/933,737的教导内容中的至少一些来构造和操作，其公开内容以引用方式并入本文。
本示例的IGS导航系统(100)还包括处理器(110)，该处理器控制场发生器(206)和IGS导航系统(100)的其他元件。例如，处理器(110)能够操作以驱动场发生器(206)生成交变电磁场；以及处理来自导航导丝(130)的信号，以确定传感器在患者(P)的头部(H)内的导航导丝(130)中的位置。处理器(110)包括与一个或多个存储器通信的处理单元。本示例的处理器(110)安装在控制台(116)中，该控制台包括操作控件(112)，该操作控件包括键盘和/或指向装置诸如鼠标或轨迹球。在执行外科手术时，医师使用操作控件(112)与处理器(110)进行交互。
导航导丝(130)包括响应于在场发生器(206)所生成的交变磁场内定位的传感器(未示出)。联接单元(132)固定到导航导丝(130)的近侧端部并且被构造成在控制台(116)和导航导丝(130)之间提供数据和其他信号的通信。在本示例中，导航导丝(130)的传感器包括位于导航导丝(130)的远侧端部处的至少一个线圈。当此类线圈定位在场发生器(206)所生成的交变电磁场内时，交变磁场可在线圈中生成电流，并且该电流可沿导航导丝(130)中的电导管传送，并且经由联接单元(132)进一步传送至处理器(110)。该现象可以使IGS导航系统(100)能够确定导航导丝(130)或其他医疗器械(例如扩张器械、外科切割器械等)的远侧端部在三维空间内(即，在患者(P)的头部(H)内)的位置。为了实现这一点，处理器(110)执行算法以根据导航导丝(130)中线圈的位置相关信号计算导航导丝(130)的远侧端部的位置坐标。
处理器(110)使用存储在处理器(110)的存储器中的软件来校准和操作IGS导航系统(100)。此类操作包括驱动场发生器(206)、处理来自导航导丝(130)的数据、处理来自操作控件(112)的数据、以及驱动显示屏(114)。在一些具体实施中，操作还可包括监视以及强制执行IGS导航系统(100)的一个或多个安全特征或功能。处理器(110)还能够操作以经由显示屏(114)实时提供视频，该显示屏示出导航导丝(130)的远侧端部相对于患者头部(H)的摄像机图像的位置、患者头部(H)的CT扫描图像、和/或患者鼻腔内及患者鼻腔附近解剖结构的计算机生成的三维模型。显示屏(114)可在外科规程期间同时地和/或彼此叠加地显示此类图像。此类显示图像还可包括插入患者头部(H)中的器械(诸如导航导丝(130))的图形表示，使得操作者可实时查看器械在其实际位置的虚拟绘制。仅以举例的方式，显示屏(114)可根据2016年1月14日公布的名称为“Guidewire Navigation for Sinuplasty”的美国公布2016/0008083的教导内容中的至少一些教导内容来提供图像，该公布的公开内容以引用方式并入本文。在操作者还使用内窥镜的情况下，也可在显示屏(114)上提供内窥镜图像。通过显示屏(114)提供的图像可帮助引导操作者在患者的头部内调转并以其他方式操纵器械。
II.用于实时摄像机放置的示例性界面和方法
可能有利的是，提供允许用户在放置虚拟摄像机时进行附加控制和视觉情景的改进的界面和方法。使用此类界面和方法的临床医生或其他用户能够在外科手术之前和期间更快速且准确地放置和修改虚拟摄像机的视图，这可减少对替换或调整的需要，减少总体手术时间，改善患者预后，并且提供其他益处。作为此类方法的示例，图2示出了可由外科手术导航系统(诸如IGS导航系统(100))或利用该外科手术导航系统执行以放置虚拟摄像机的一组示例性高级步骤(407)。
IGS导航系统(100)可从一个或多个源诸如医院信息系统或手术信息系统接收(框400)手术前图像数据，其中此类图像数据可在其被捕获之后被存储。如已经描述，手术前图像数据可以与IGS导航系统(100)一起使用以在外科手术期间提供IGS特征，包括被定位成经由装置诸如显示器(114)提供虚拟摄像机视图的虚拟摄像机。IGS导航系统(100)可经由显示器(114)提供(框402)放置界面，临床医生可使用该放置界面经由输入设备诸如操作控件(112)提供限定虚拟摄像机位置和取向的输入。当从临床医生接收放置输入(框404)时，IGS导航系统(100)将实时更新放置界面以提供(框406)虚拟内窥镜视图或预览，临床医生可使用该虚拟内窥镜视图或预览来在手术之前预览并提供附加的放置输入，以在外科手术的执行期间修改放置，或两者。
图3示出了一组示例性步骤(408)，其可由外科手术导航系统诸如IGS导航系统(100)执行或利用该外科手术导航系统执行，以在虚拟摄像机的放置(框404)期间提供(框406)实时虚拟内窥镜预览。该实时虚拟内窥镜预览可经由放置界面，诸如图5至图9所示的放置界面提供。这些附图示出了示例性放置界面(500)的模拟屏幕截图，该放置界面可由执行步骤(诸如图2至图4所示的那些)的系统提供。图5的放置界面(500)示出了导航控件集合(502)，该导航控件集合能够操作以在手术前图像集合中进行导航并调整虚拟摄像机视图(516)、若干手术前图像窗格，其包括正面图像(504)、正面渲染(514)、侧面图像(510)和自上而下图像(512)。放置界面(500)还包括用于每个手术前图像窗格的透视指示器(506)，该透视指示器示出从其查看手术前图像的视角；以及光标(508)，用户可经由操作控件(112)与光标进行交互以选择放置界面(500)或与该放置界面进行其他交互。不同的具体实施可以在手术前图像窗格集合内具有不同数量的手术前图像窗格(例如，该手术前图像窗格集合可以包括一个或多个手术前图像窗格)。
图3的步骤中的虚拟摄像机的放置通过从用户接收可用于限定该手术前图像集合内的第一点和第二点的一组两个输入来实现。由于IGS导航系统(100)可使用该手术前图像集合来渲染3-D虚拟空间，因此第一点和第二点也可被解释为作为离散点存在于3-D空间中。这样，第一点和第二点可用于限定虚拟摄像机位置(例如，其中一个点可用于限定沿着虚拟摄像机视图的查看者所位于的3-D空间中的x、y以及z轴的点)和虚拟摄像机取向(例如，其中另一点可用于在3-D空间中限定定位在第一点处的虚拟摄像机所面向的点)。应当理解，根据特定的具体实施，第一点可为虚拟摄像机的位置(例如，观察者正从其查看的点)或虚拟摄像机的取向(例如，观察者正在查看的点)。在第一点为虚拟摄像机的取向的具体实施中，第二点可为虚拟摄像机的位置，反之亦然。一些具体实施可支持多个选择模型，诸如用户可选择以期望顺序选择点的选择模型。
返回图3，为了提供上述功能，当用户与放置界面(500)交互时，IGS导航系统(100)可确定(框410)光标(508)的位置，并且如果尚未限定(框412)第一点，则可基于光标在手术前图像中的一个手术前图像上的位置来渲染(框414)虚拟摄像机视图(516)中的实时虚拟内窥镜预览。实时虚拟内窥镜预览可包括患者解剖结构的3-D模型的描绘(例如，其可由手术前成像构建和渲染)，可包括图像切片和其他类型的手术前成像(例如，CT图像切片、MRI图像切片、超声图像切片)，或两者。在图5中，可以看出，虚拟摄像机视图(516)是空白的。虚拟摄像机视图可为空白的或者可示出任意图像数据，其中第一点还未被限定(方框412)，并且其中光标(508)未被定位在手术前图像窗格中的一者内。如在图5中可见，光标(508)定位在手术前图像窗格和导航控件组(502)之间的任意位置处。因此，当IGS导航系统(100)尝试基于光标(508)位置渲染(框414)预览时，可能不存在要显示的预览图像或任意预览图像。
图6示出了在限定(框412)第一点之前在第一预览期间的放置界面(500)。这里可以看出，虚拟摄像机视图(516)示出了患者面部(518)的外部的虚拟渲染图像。这是因为光标(508)现在定位在正面图像(504)上方。当IGS导航系统(100)确定(框410)第一点尚未被限定(框412)并且光标(508)现在定位在正面图像上方时，其可基于光标(508)位置来渲染(框414)实时虚拟内窥镜预览。由于光标(508)定位在正面图像(504)上方，虚拟摄像机视图(516)示出(框414)具有与正面图像(504)的位置和取向相同的位置和取向的渲染图像(518)。因此，如果光标(508)定位在侧面图像(510)或自上而下图像(512)上的位置上方，则虚拟摄像机视图(516)将替代地分别从侧面或从上方显示患者的面部或头部的外部的渲染图像。这样，IGS导航系统(100)有效地将在手术前图像窗格上的光标(508)位置视为3-D空间中的第一点；以及将正面图像(504)的视角(即，如视角指示器(506)所指示的)视为3-D空间中的第二点，然后经由该视角的虚拟摄像机视图(516)向用户提供预览，用户将使用该第一点和第二点从虚拟摄像机获得该视角。
图7示出了在接收(框416)对光标(508)的位置的用户选择之后，在第二预览期间的放置界面(500)。当用户使用光标(508)选择(框416)(例如，通过点击鼠标、键盘或与光标(508)相关联的其他输入设备)位置时，该位置可被限定(框418)为第一点(例如，虚拟摄像机的取向或位置)。当第一点被限定(框412)时，IGS导航系统(100)然后可基于所限定的(框418)第一点和所确定的(框410)光标(508)位置来渲染(框420)虚拟摄像机视图(516)中的关系预览。在提供实时虚拟内窥镜预览时，IGS导航系统(100)可替代地使用所限定的(框418)第一点作为3-D空间中的第一点，并且使用所确定的(框410)光标位置作为3-D空间中的第二点，而不是如图6中那样渲染外部视图(518)或依赖于正面图像(504)的视角的另一视图。
作为这样的示例，在图7中，可以看出光标(508)已经从所限定的第一点(509)的位置移动。IGS导航系统可确定(框410)新光标位置，并且由于第一点(509)被限定(框412)，因此可基于第一点(509)并使用所确定的(框410)光标(508)位置作为第二点来渲染(框420)关系预览。因此，虚拟摄像机视图(516)示出了内部解剖结构视图(520)，当面向所确定的(框410)光标(508)位置作为第二点时，该内部解剖结构视图可从第一点(509)观察。如已经讨论的，在第一点(509)为取向的具体实施中，虚拟摄像机视图(516)示出内部解剖结构视图(520)，该内部解剖结构视图可从定位在所确定的(框410)光标位置处并且朝向第一点(509)取向的虚拟摄像机观察。虽然所述示例示出第一点(509)和第二点在同一平面上(即，两者均从正面图像中被选择或确定，该正面图像从固定视角示出了单个平面)，但应当理解，第一点和第二点可以从定位在手术前图像窗格中的任何一个或多个上的光标(508)选择或确定。例如，如果光标(508)将被放置在侧面图像(510)上方，但第一点(509)保持在正面图像(504)上，则虚拟摄像机视图(516)将预览患者的不同内部解剖结构。
如上所述，所渲染的(框420)关系预览示出了依赖于3-D空间中的第一点和第二点的关系的视图。该关系预览也可被动态地渲染，以提供第一点和第二点之间的关系的附加视觉和空间情景。在一些具体实施中，虚拟摄像机视图(516)可沿着在3-D空间中的第一点和第二点之间形成的线或路线行进或“穿行(fly-through)”该线或路线。该效果在图7至图9中的虚拟摄像机视图(516)中被模拟，如图可以看出，虚拟摄像机视图(516)顺序地渲染内部解剖结构视图(520)，之后是第一渐进式内部解剖结构视图(522)，之后是第二渐进式内部解剖结构(524)，等等。此类顺序渲染可以包括每个居间手术前图像或居间手术前图像子集，并且可以根据需要以各种速度和帧率来渲染。这种穿行效果允许虚拟摄像机视图(516)的查看者虚拟地行进通过并查看围绕第一点和第二点之间的线或路线的3-D空间和解剖结构。在图7至图9中，这被感知为在第一点(509)处开始，然后朝向第二点逐渐移动(即，就图7至图9而言，所确定的(框410)光标位置)，使内部解剖结构视图(520)中所示的解剖结构逐渐变得更靠近且更可见，并且在一些情况下，如果第二点位于另一侧，则甚至穿过内部解剖结构视图(520)中所示的那些结构。
虽然特征结构和放置界面(500)在上文中被描述为利用虚拟摄像机视图(516)(例如，内部解剖结构视图(520))显示患者解剖结构的3-D渲染模型，但应当理解，相同或类似的特征结构和界面可显示可与IGS导航系统(100)配准的其他类型的图像。这可包括例如CT图像切片、MRI图像切片和超声图像切片。图10至图13中示出一个示例，其示出了另选的放置界面(600)，该另选的放置界面被示出为显示除3-D渲染的解剖结构模型之外的图像。图10中的放置界面(600)包括图7中所示的放置界面(500)的许多特征，诸如导航控件(502)集合、正面图像(504)、视角指示器(506)、侧面图像(510)、自上而下图像(512)、正面渲染(514)和虚拟摄像机视图(516)，其具有与图7的上下文中所述类似的特征和功能。
如图10所示，在限定(框418)第一点之前，光标(602)定位在正面图像(504)上方。虚拟摄像机视图(516)显示图像切片(604)(例如，CT图像切片、MRI图像切片、超声图像切片或其他图像)，该图像切片可由系统的用户选择或者可基于其他因素(例如，所跟踪器械的位置、光标(602)的位置)自动选择。
在图11中，光标(602)已在第一点的限定(框418)之后移动到新位置，并且标记(606)被渲染在指示限定的(框418)第一点的正面图像(504)上。虚拟摄像机视图(516)现在显示图像切片的一部分(608)，该图像切片已基于所限定的(418)第一点和光标(602)的当前位置从多个图像切片中来确定和选择。在该示例中，由于标记(606)和光标(602)中的每一者存在于单个图像切片(例如，正面图像(504))上，因此从与正面图像(504)水平相交的图像切片中选择部分(608)，并且基于光标(602)与从其选择部分(608)的图像切片中描绘的骨、组织或其他特征之间的距离以各种比例绘出。
在图12中，光标(602)已沿着正面图像(504)的y轴移动到后续新位置(例如，光标(602)已竖直向上移动，同时保持相同的水平位置)。图11中显示的部分(608)仍然可见，但现在是基于光标(602)相对于标记(606)的新位置从图像切片中选择的新部分(610)的子分量。由于光标(602)已远离标记(606)竖直地移动，所以部分(608)现在以较小的比例绘出，而现在可在部分(610)中看到附加的骨和组织。
在图13中，光标(602)已沿着正面图像(504)的x轴移动到后续新位置(例如，水平地同时保持相同的竖直位置)。部分(608)仍然很大程度上可见，但作为基于光标(602)相对于标记(606)的新位置从图像切片选择的新部分(612)的子分量。部分(612)的标度未改变，因为光标(602)未沿着正面图像(504)竖直移动。如已经描述的，在限定(框418)第一点之后的光标(602)的移动期间的任何点处，系统可选择并限定第二点，以便完成虚拟内窥镜配置。可在配置期间提供穿行观察，以通过显示一个或多个图像切片的穿行观察来帮助放置虚拟内窥镜。这可包括显示单个图像切片的部分并基于光标(602)的移动来改变它们的比例，可包括在图像切片中依次步进以便提供可变的比例，或两者。
在一些具体实施中，虚拟摄像机视图516可被配置为允许用户在查看3-D建模的解剖结构和图像切片之间切换，或可同时显示两者。无论虚拟摄像机视图(516)是否显示3-D建模的解剖结构或图像切片，由围绕第一点和第二点之间的线的3-D空间的穿行观察提供的附加情景可向配置虚拟摄像机的临床医生提供有价值的视觉情景，由于可揭示虚拟摄像机的潜在位置和取向将导致非目标解剖结构阻挡手术部位的重要区域的可见性，因此重要区域实际上不位于由第一点和第二点形成的线之间或周围；或者例如可从不同的第一点更好地观察手术部位的重要区域。如果是这种情况，临床医生可以将光标(508)移动到手术前图像窗格中的单独位置，以便使IGS导航系统(100)确定(框410)新光标(508)位置并基于新位置实时渲染(框420)更新的关系预览。虽然图3的说明描述了在用户选择第一点之前渲染(框414)预览以及在用户选择第二点之前渲染(框420)关系预览，但应当理解，所述的界面和方法的各种具体实施可包括一个或两个预览。例如，一些具体实施在限定(框412)第一点之前可仅渲染(框420)关系预览，其中虚拟摄像机视图(框416)为空白的或示出任意或其他图像数据。
在临床医生基于内部解剖结构视图的穿行预览而对虚拟摄像机在第一点(509)处的当前放置以及虚拟摄像机朝向光标(508)的当前位置的取向感到满意的情况下，IGS导航系统(100)可接收(522)第二用户选择并基于其来限定(框424)第二点。利用所限定(框412)的第一点和所限定(框422)的第二点，虚拟摄像机视图(516)可继续显示最近渲染的(框420)关系预览或其他图像，以允许临床医生在最终确定和生成IGS导航系统(100)在外科手术期间可使用的虚拟摄像机定义之前查看(框426)并确认虚拟摄像机放置和取向。
图4示出了可由外科手术导航系统诸如IGS导航系统(100)执行或利用外科手术导航系统执行以查看、修改和确认虚拟摄像机的放置的一组示例性步骤(427)。在确认(框428)虚拟摄像机放置和取向之前，光标(508)或其他用户输入可用于与导航控件(502)集合或其他用户输入进行交互，以在临床医生希望例如控制各个点处的穿行速度或暂停穿行以帮助查看的情况下控制所渲染的(框420)关系预览。基于用户输入，可通过沿路线重新定位摄像机或通过改变摄像机沿路线的取向来导航(框436)围绕穿行的区域。例如，临床医生可能看到在穿行中关注的某些东西，并且可以暂停预览，将虚拟摄像机移动离开穿行路线并通过3-D空间到达沿着X、Y和Z轴中的一者或多者的单独点，然后向上旋转摄像机的取向以更详细地查看在穿行路线上方和侧面的某些东西。
在此类导航(框436)期间的用户选择可使得第一点或第二点中的一者或多者被重新限定到新位置。例如，虚拟摄像机视图(516)的位置的用户选择可使得第一点和第二点中的一者或多者被重新限定。又如，可以在此类导航(框436)期间实时更新手术前图像窗格中的一个或多个手术前图像窗格，以显示与3-D空间相关联的特定手术前图像，虚拟摄像机视图(516)当前定位在该3-D空间中或面向该3-D空间，使得对新的更新的手术前图像窗格的后续选择或光标(508)导航可以基于此重新限定第一点和第二点中的一者或多者。
在确认(框428)虚拟摄像机的放置和取向之前可供用户使用的其他特征可包括丢弃并重新限定(框432)第一点或第二点，以及交换(框434)第一点和第二点。在一些情况下，在查看关系穿行之后，临床医生可确定所选择的点中的任一个不提供手术部位的期望虚拟内窥镜视图。在这种情况下，可丢弃一个或两个限定的点，从而使临床医生返回到图3的适当放置界面(500)状态和步骤。
交换(框434)第一点和第二点(即，使用第二点作为虚拟摄像机的位置，并且使用第一点作为虚拟摄像机的取向)可由临床医生基于一个或多个用户输入来激活。可能有利的是，用单击提供此类功能，使得临床医生可查看初始渲染的关系预览，交换(框434)点并反向查看预览以确定其是否提供更期望的视图，若未提供更期望视图，则再次交换(框434)以返回到初始预览。
改善界面诸如放置界面(500)的可用性和简单性为使用者提供了许多优点。本发明所公开的界面和方法可减少虚拟摄像机在3-D手术图像空间中的放置，以进行少量鼠标点击、键盘按压或其他输入。例如，在一些场景中，临床医生或其他用户可能够利用少至两个选择输入(例如，第一选择(框416)或鼠标点击来限定(框418)第一点、第二选择(框422)或鼠标点击以限定(框424)第二点)和一个导航输入(例如，将光标定位在手术前图像上的位置上方)。自动实时穿行预览消除了对附加选择输入(例如，通过点击鼠标的导航控件(502)集合的按钮来沿类似路线手动导航以放置、查看和确认虚拟摄像机位置和取向)的需要。这可能是有利的，因为它减少了配置虚拟摄像机所需的时间，并且因为它减少了临床医生与界面和操作控件(112)具有的交互(例如，鼠标、键盘或其他输入选择)的数量和复杂性两者，这除了其他益处之外，还可有利于维持无菌环境。
在接收到虚拟摄像机的放置和取向的确认(框428)之后，IGS导航系统(100)可通过保存第一点和第二点以及在图2至图4的步骤期间产生的其他相关联的数据到虚拟摄像机定义或其他配置集来完成放置，使得虚拟摄像机可在将来自动重新定位，以便在相关联的外科手术期间提供(框430)期望的虚拟内窥镜视图。
根据本公开，存在上述系统、方法和界面的变型，并且对于本领域的普通技术人员而言将是显而易见的。例如，虽然上述讨论中的一些已将第一点描述为虚拟摄像机的位置，但应当理解，在一些具体实施中，第一点可为虚拟摄像机的取向。在以下情况中这可能是有利的：临床医生已经确定外科手术区域内的感兴趣的位置并且希望选择该位置作为取向点(即，第二点)，然后在进行选择之前使用实时虚拟内窥镜预览和关系穿行来预览多个摄像机位置(例如，第一点)。在临床医生可使用他们的经验来首先确定虚拟摄像机的最佳位置，然后可使用实时虚拟内窥镜预览和关系穿行来选择他们想要虚拟摄像机所聚焦的外科手术区域的点的情况下，选择虚拟摄像机的位置作为第一点可能是有利的。
III.示例性组合
以下实施例涉及本文的教导内容可被组合或应用的各种非穷尽性方式。应当理解，以下实施例并非旨在限制可在本专利申请或本专利申请的后续提交文件中的任何时间提供的任何权利要求的覆盖范围。不旨在进行免责声明。提供以下实施例仅仅是出于例示性目的。预期本文的各种教导内容可按多种其他方式进行布置和应用。还设想到，一些变型可省略在以下实施例中所提及的某些特征。因此，下文提及的方面或特征中的任一者均不应被视为决定性的，除非另外例如由发明人或关注发明人的继承者在稍后日期明确指明如此。如果本专利申请或与本专利申请相关的后续提交文件中提出的任何权利要求包括下文提及的那些特征之外的附加特征，则这些附加特征不应被假定为因与专利性相关的任何原因而被添加。
实施例1
一种系统，包括：(a)显示器；(b)用户输入；(c)手术前图像集合；和(d)处理器，该处理器被配置为经由显示器向用户提供虚拟摄像机放置界面并且经由用户输入来接收输入；虚拟摄像机放置界面包括手术前图像窗格集合和虚拟摄像机视图，其中手术前图像窗格集合中的每一个手术前图像窗格包括来自手术前图像集合的手术前图像，并且其中用户输入能够操作以将光标移动到手术前图像窗格集合上方并且从手术前图像窗格集合作出选择，其中处理器被进一步配置为：(i)基于经由用户输入接收的第一选择来限定第一点，其中第一选择包括手术前图像窗格集合中的一个手术前图像窗格上的点，(ii)基于光标在手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定第二点，以及(iii)基于第一点和第二点在虚拟摄像机视图中显示实时虚拟内窥镜预览。
实施例2
根据实施例1所述的系统，其中处理器被进一步配置为：(i)当光标移动并且光标位置改变时改变第二点的值，以及(ii)随着第二点改变，更新实时虚拟内窥镜预览。
实施例3
根据实施例1至2中任一项或多项所述的系统，其中处理器被进一步配置为：(i)在显示实时虚拟内窥镜预览之后，经由用户输入接收第二选择，其中第二选择包括基于第二点确定的选择的第二点，以及(ii)基于第一点和选择的第二点创建虚拟摄像机定义，其中虚拟摄像机定义被配置为能够由图像引导外科手术导航系统使用，以在外科手术期间产生虚拟内窥镜视图。
实施例4
根据实施例3所述的系统，其中系统包括图像引导外科手术导航系统，并且其中用户输入包括指向设备。
实施例5
根据实施例1至4中任一项或多项所述的系统，其中处理器被进一步配置为当显示实时虚拟内窥镜预览时：(i)确定第一点与第二点之间的空间关系，(ii)基于空间关系来创建通过手术前图像集合的路线，以及(iii)基于路线在虚拟摄像机视图中显示穿行图像序列。
实施例6
根据实施例5所述的系统，其中穿行图像序列包括从手术前图像集合中选择的多个顺序图像，并且多个顺序图像按照在遍历路线时其将被查看的顺序布置。
实施例7
根据实施例5至6中任一项或多项所述的系统，其中虚拟摄像机放置界面包括导航控件集合，并且其中处理器被进一步配置为响应于经由导航控件集合的输入，调整显示穿行图像序列所处的速度和顺序。
实施例8
根据实施例7所述的系统，其中处理器被进一步配置为响应于经由导航控件集合的输入：(i)暂停对穿行图像序列的显示，(ii)基于指示视图位置和取向中的一者或两者从由路线提供的初始视图位置和取向的改变的输入，在虚拟摄像机视图中显示来自手术前图像集合的新图像，以及(iii)基于新图像来改变第一点和第二点中的一者或两者的值。
实施例9
根据实施例8所述的系统，其中处理器被进一步配置为当显示新图像时，更新手术前图像窗格中的一个或多个手术前图像窗格以包括来自手术前图像集合的新手术前图像，其中针对每个手术前图像窗格的新手术前图像基于其与新图像的接近度和关系来确定。
实施例10
根据实施例5至9中任一项或多项所述的系统，其中第一点与虚拟摄像机的位置相关联，并且第二点与虚拟摄像机的取向相关联，并且其中路线包括基于第一点确定的起点和基于第二点确定的终点。
实施例11
根据实施例5至10中任一项或多项所述的系统，其中第二点与虚拟摄像机的位置相关联，并且第一点与虚拟摄像机的取向相关联，并且其中路线包括基于第二点确定的起点和基于第一点确定的终点。
实施例12
根据实施例1-11中任一项或多项所述的系统，其中处理器被进一步配置为：(i)在显示实时虚拟内窥镜预览之后，经由用户输入接收第二选择，其中第二选择包括基于第二点确定的选择的第二点，(ii)基于经由用户输入接收的交换选择，交换第一点和选择的第二点的值，以及(iii)基于第一点和选择的第二点的变化值在虚拟摄像机视图中显示实时虚拟内窥镜预览。
实施例13
根据实施例1至12中任一项或多项所述的系统，其中处理器被进一步配置为：(i)在显示实时虚拟内窥镜预览之后，经由用户输入接收第二选择，其中第二选择包括基于第二点确定的选择的第二点，(ii)基于经由用户输入接收的修改选择，丢弃第一点或选择的第二点中的一者的选择的值，(iii)基于光标位置来限定经修改的点，其中经修改的点是其值被丢弃的点，以及(iv)基于保留点和经修改的点在虚拟摄像机视图中显示实时虚拟内窥镜预览，其中保留点是其值未被丢弃的点。
实施例14
根据实施例1至14中任一项或多项所述的系统，其中处理器被进一步配置为在经由用户输入接收到第一选择之前：(i)基于手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定第一点，其中手术前图像窗格与手术前图像集合中的手术前图像相关联，并且其中手术前图像包括指示查看手术前图像的取向的视角，(ii)基于手术前图像的视角来限定第二点，以及(iii)基于第一点和第二点在虚拟摄像机视图中显示实时虚拟内窥镜预览。
实施例15
一种用于利用虚拟摄像机放置界面来配置3-D空间中的虚拟摄像机的方法，包括以下步骤：(a)经由虚拟摄像机放置界面显示手术前图像窗格集合，其中手术前图像窗格集合中的每一个手术前图像窗格包括来自与患者相关联的手术前图像集合的手术前图像；(b)基于经由虚拟摄像机放置界面从用户接收第一选择来限定第一点，其中第一选择包括手术前图像窗格集合中的一个手术前图像窗格上的点；(c)基于光标在手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定第二点；(d)基于第一点和第二点经由虚拟摄像机放置界面显示实时虚拟内窥镜预览；以及(e)当光标被用户移动并且光标位置改变时，改变第二点的值。
实施例16
根据实施例15所述的方法，还包括以下步骤：(a)在显示实时虚拟内窥镜预览之后，经由虚拟摄像机放置界面从用户接收第二选择，其中第二选择包括基于第二点的选择的第三点；以及(b)基于第一点和选择的第三点创建虚拟摄像机定义，其中虚拟摄像机定义被配置为能够由图像引导外科手术导航系统使用，以在外科手术期间产生虚拟内窥镜视图。
实施例17
根据实施例16所述的方法，其中第一选择是在显示实时虚拟内窥镜预览之前从用户接收的唯一选择输入；并且其中第二选择是在接收到第一选择之后并且在创建虚拟摄像机定义之前从用户接收的唯一选择输入。
实施例18
根据实施例15至17中任一项或多项所述的方法，还包括以下步骤：(a)确定第一点与第二点之间的空间关系；(b)基于空间关系来创建通过手术前图像集合的路线；以及(c)基于路线经由虚拟摄像机放置界面来显示穿行图像序列。
实施例19
根据实施例18所述的方法，其中穿行图像序列包括选自手术前图像集合的多个顺序图像，并且多个顺序图像按照在遍历路线时其将被查看的顺序布置。
实施例20
一种系统，包括：(a)显示器；(b)用户输入；(c)手术前图像集合；和(d)处理器，该处理器被配置为经由显示器向用户提供虚拟摄像机放置界面并且经由用户输入来接收输入；虚拟摄像机放置界面包括手术前图像窗格集合和虚拟摄像机视图，其中手术前图像窗格集合中的每一个手术前图像窗格包括来自手术前图像集合的手术前图像，并且其中用户输入能够操作以将光标移动到手术前图像窗格集合上方并且从手术前图像窗格集合作出选择，其中处理器被进一步配置为：(i)基于经由用户输入接收的第一选择来限定静态点，其中第一选择包括手术前图像窗格集合中的一个手术前图像窗格上的点，(ii)基于光标在手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定动态点，(iii)基于静态点和动态点在虚拟摄像机视图中显示实时虚拟内窥镜预览，(iv)在显示实时虚拟内窥镜预览之后，经由用户输入接收第二选择并且基于第二选择来限定第二静态点，其中第二选择包括动态点，以及(v)基于静态点和第二静态点创建虚拟摄像机定义，其中虚拟摄像机定义被配置为能够由图像引导外科手术导航系统使用，以在外科手术期间产生虚拟内窥镜视图。
IV.杂项
应当理解，本文所述的任何示例还可包括除上述那些之外或代替上述那些的各种其他特征。仅以举例的方式，本文所述的任何示例还可包括以引用方式并入本文的各种参考文献中任何一者中公开的各种特征中的一种或多种。
应当理解，本文所述的教导内容、表达、实施方案、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、实施方案、示例等中的任何一者或多者进行组合。因此，上述教导内容、表达、实施方案、示例等不应视为彼此孤立。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。
应当理解，据称以引用方式并入本文的任何专利、专利公布或其他公开材料，无论是全文或部分，仅在所并入的材料与本公开中所述的现有定义、陈述或者其他公开材料不冲突的范围内并入本文。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。
本文所公开的装置的型式可设计为使用一次后丢弃，也可设计为供多次使用。在任一种情况下或两种情况下，可对这些型式进行修复以在至少一次使用之后重复使用。修复可包括以下步骤的任意组合：拆卸装置，然后清洁或替换特定零件以及随后进行重新组装。具体地，可拆卸所述装置的型式，并且可选择性地以任何组合形式来更换或拆除所述装置的任意数量的特定部件或零件。在清洁和/或更换特定零件时，所述装置的型式可在修复设施中进行重新组装以供随后使用，或者在即将进行外科手术前由外科团队进行重新组装。本领域的技术人员将会了解，装置的修复可利用多种技术进行拆卸、清洁/更换、以及重新组装。此类技术的使用以及所得的修复装置均在本申请的范围内。
仅以举例的方式，本文所述的型式可在外科手术之前进行处理。首先，可以获取新的或用过的器械，并且根据需要进行清洁。然后，可对器械进行消毒。在一种消毒技术中，将所述器械放置在密闭且密封的容器(诸如，塑料或TYVEK袋)中。然后可将容器和器械置于可穿透所述容器的辐射场，诸如γ辐射、x射线或高能电子。辐射可杀死器械上和容器中的细菌。经消毒的器械随后可被储存在无菌容器中。密封的容器可使器械保持无菌，直到在外科设施中打开所述容器。还可使用本领域已知的任何其他技术对装置进行消毒，所述技术包括但不限于β辐射或γ辐射、环氧乙烷或蒸汽。
在已经示出并描述了本发明的各种型式的情况下，通过本领域技术人员在不脱离本发明范围的前提下进行适当修改来实现对本文所述方法和系统的进一步改进。已经提及了若干此类可能的修改，并且其他修改对于本领域的技术人员而言将显而易见。例如，上文所讨论的示例、型式、几何形状、材料、尺寸、比率、步骤等等均是示例性的而非必需的。因此，本发明的范围应根据以下权利要求书来考虑，并且应理解为不限于说明书和附图中示出和描述的结构和操作的细节。

Claims (20)

1.一种图像引导外科手术导航系统，包括：
(a)显示器；
(b)用户输入；
(c)与患者相关联的手术前图像集合；和
(d)处理器，所述处理器被配置为经由所述显示器向用户提供虚拟摄像机放置界面并且经由所述用户输入来接收输入；所述虚拟摄像机放置界面包括手术前图像窗格集合和虚拟摄像机视图，其中所述手术前图像窗格集合中的每一个手术前图像窗格包括来自所述手术前图像集合的手术前图像，并且其中所述用户输入能够操作以将光标移动到所述手术前图像窗格集合上方并且从所述手术前图像窗格集合作出选择，
其中所述处理器还被配置为：
(i)基于经由所述用户输入接收的第一选择来限定第一点，其中所述第一选择包括所述手术前图像窗格集合中的一个手术前图像窗格上的点，
(ii)基于所述光标在所述手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定第二点，以及
(iii)基于所述第一点和所述第二点在所述虚拟摄像机视图中显示实时虚拟内窥镜预览。
2.根据权利要求1所述的系统，其中所述处理器还被配置为：
(i)当所述光标移动并且所述光标位置改变时改变所述第二点的值，并且
(ii)随着所述第二点改变，更新所述实时虚拟内窥镜预览。
3.根据权利要求1所述的系统，其中所述处理器还被配置为：
(i)在显示所述实时虚拟内窥镜预览之后，经由所述用户输入接收第二选择，其中所述第二选择包括基于所述第二点确定的选择的第二点，以及
(ii)基于所述第一点和所述选择的第二点创建虚拟摄像机定义，其中所述虚拟摄像机定义被配置为能够由图像引导外科手术导航系统使用，以在外科手术期间产生虚拟内窥镜视图。
4.根据权利要求3所述的系统，其中所述系统包括所述图像引导外科手术导航系统，并且其中所述用户输入包括指向设备。
5.根据权利要求1所述的系统，其中所述处理器被进一步配置为当显示所述实时虚拟内窥镜预览时：
(i)确定所述第一点与所述第二点之间的空间关系，
(ii)基于所述空间关系来创建通过所述手术前图像集合的路线，以及
(iii)基于所述路线在所述虚拟摄像机视图中显示穿行图像序列。
6.根据权利要求5所述的系统，其中所述穿行图像序列包括从所述手术前图像集合中选择的多个顺序图像，并且所述多个顺序图像按照在遍历所述路线时其将被查看的顺序布置。
7.根据权利要求5所述的系统，其中所述虚拟摄像机放置界面包括导航控件集合，并且其中所述处理器被进一步配置为响应于经由所述导航控件集合的输入，调整显示所述穿行图像序列所处的速度和顺序。
8.根据权利要求7所述的系统，其中所述处理器被进一步配置为响应于经由所述导航控件集合的输入：
(i)暂停对所述穿行图像序列的显示，
(ii)基于指示所述视图位置和取向中的一者或两者从由所述路线提供的初始视图位置和取向的改变的输入，在所述虚拟摄像机视图中显示来自所述手术前图像集合的新图像，以及
(iii)基于所述新图像来改变所述第一点和所述第二点中的一者或两者的值。
9.根据权利要求8所述的系统，其中所述处理器被进一步配置为当显示所述新图像时，更新所述手术前图像窗格中的一个或多个手术前图像窗格以包括来自所述手术前图像集合的新手术前图像，其中针对每个手术前图像窗格的所述新手术前图像基于其与所述新图像的接近度和关系来确定。
10.根据权利要求5所述的系统，其中所述第一点与虚拟摄像机的位置相关联，并且所述第二点与所述虚拟摄像机的取向相关联，并且其中所述路线包括基于所述第一点确定的起点和基于所述第二点确定的终点。
11.根据权利要求5所述的系统，其中所述第二点与虚拟摄像机的位置相关联，并且所述第一点与所述虚拟摄像机的取向相关联，并且其中所述路线包括基于所述第二点确定的起点和基于所述第一点确定的终点。
12.根据权利要求1所述的系统，其中所述处理器还被配置为：
(i)在显示所述实时虚拟内窥镜预览之后，经由所述用户输入接收第二选择，其中所述第二选择包括基于所述第二点确定的选择的第二点，
(ii)基于经由所述用户输入接收的交换选择，交换所述第一点和所述选择的第二点的值，以及
(iii)基于所述第一点和所述选择的第二点的变化值在所述虚拟摄像机视图中显示所述实时虚拟内窥镜预览。
13.根据权利要求1所述的系统，其中所述处理器还被配置为：
(i)在显示所述实时虚拟内窥镜预览之后，经由所述用户输入接收第二选择，其中所述第二选择包括基于所述第二点确定的选择的第二点，
(ii)基于经由所述用户输入接收的修改选择，丢弃所述第一点或所述选择的第二点中的一者的选择的值，
(iii)基于所述光标位置来限定经修改的点，其中所述经修改的点是其值被丢弃的点，以及
(iv)基于保留点和所述经修改的点在所述虚拟摄像机视图中显示所述实时虚拟内窥镜预览，其中所述保留点是其值未被丢弃的点。
14.根据权利要求1所述的系统，其中所述处理器被进一步配置为在经由所述用户输入接收到所述第一选择之前：
(i)基于所述手术前图像窗格集合中的一个手术前图像窗格上的所述光标位置来限定所述第一点，其中所述手术前图像窗格与所述手术前图像集合中的手术前图像相关联，并且其中所述手术前图像包括指示查看所述手术前图像的取向的视角，
(ii)基于所述手术前图像的所述视角来限定所述第二点，以及
(iii)基于所述第一点和所述第二点在所述虚拟摄像机视图中显示所述实时虚拟内窥镜预览。
15.一种用于利用虚拟摄像机放置界面来配置3-D空间中的虚拟摄像机的方法，包括以下步骤：
(a)经由所述虚拟摄像机放置界面显示手术前图像窗格集合，其中所述手术前图像窗格集合中的每一个手术前图像窗格包括来自与患者相关联的手术前图像集合的手术前图像；
(b)基于经由所述虚拟摄像机放置界面从用户接收第一选择来限定第一点，其中所述第一选择包括所述手术前图像窗格集合中的一个手术前图像窗格上的点；
(c)基于光标在所述手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定第二点；
(d)基于所述第一点和所述第二点经由所述虚拟摄像机放置界面显示实时虚拟内窥镜预览；以及
(e)当所述光标被所述用户移动并且所述光标位置改变时，改变所述第二点的值。
16.根据权利要求15所述的方法，还包括以下步骤：
(a)在显示所述实时虚拟内窥镜预览之后，经由所述虚拟摄像机放置界面从所述用户接收第二选择，其中所述第二选择包括基于所述第二点的选择的第三点；并且
(b)基于所述第一点和所述选择的第三点创建虚拟摄像机定义，其中所述虚拟摄像机定义被配置为能够由图像引导外科手术导航系统使用，以在外科手术期间产生虚拟内窥镜视图。
17.根据权利要求16所述的方法，其中所述第一选择是在显示所述实时虚拟内窥镜预览之前从所述用户接收的唯一选择输入；并且
其中所述第二选择是在接收到所述第一选择之后并且在创建所述虚拟摄像机定义之前从所述用户接收的唯一选择输入。
18.根据权利要求15所述的方法，还包括以下步骤：
(a)确定所述第一点与所述第二点之间的空间关系；
(b)基于所述空间关系来创建通过所述手术前图像集合的路线；以及
(c)基于所述路线经由所述虚拟摄像机放置界面来显示穿行图像序列。
19.根据权利要求18所述的方法，其中所述穿行图像序列包括选自所述手术前图像集合的多个顺序图像，并且所述多个顺序图像按照在遍历所述路线时其将被查看的顺序布置。
20.一种图像引导外科手术导航系统，包括：
(a)显示器；
(b)用户输入；
(c)手术前图像集合；和
(d)处理器，所述处理器被配置为经由所述显示器向用户提供虚拟摄像机放置界面并且经由所述用户输入接收输入，所述虚拟摄像机放置界面包括手术前图像窗格集合和虚拟摄像机视图，其中所述手术前图像窗格集合中的每一个手术前图像窗格包括来自所述手术前图像集合的手术前图像，并且其中所述用户输入能够操作以将光标移动到所述手术前图像窗格集合上方并且从所述手术前图像窗格集合作出选择，
其中所述处理器还被配置为：
(i)基于经由所述用户输入接收的第一选择来限定静态点，其中所述第一选择包括所述手术前图像窗格集合中的一个手术前图像窗格上的点，
(ii)基于所述光标在所述手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定动态点，
(iii)基于所述静态点和所述动态点在所述虚拟摄像机视图中显示实时虚拟内窥镜预览，
(iv)在显示所述实时虚拟内窥镜预览之后，经由所述用户输入接收第二选择并且基于所述第二选择来限定第二静态点，其中所述第二选择包括所述动态点，以及
(v)基于所述静态点和所述第二静态点创建虚拟摄像机定义，其中所述虚拟摄像机定义被配置为能够由图像引导外科手术导航系统使用，以在外科手术期间产生虚拟内窥镜视图。
CN201980069840.4A 2018-10-22 2019-10-21 用于实时更新穿行摄像机放置的方法 Active CN112888395B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862748571P 2018-10-22 2018-10-22
US62/748,571 2018-10-22
US16/577,019 2019-09-20
US16/577,019 US11204677B2 (en) 2018-10-22 2019-09-20 Method for real time update of fly-through camera placement
PCT/IB2019/058938 WO2020084433A1 (en) 2018-10-22 2019-10-21 Method and system for real time update of fly-through camera placement

Publications (2)

Publication Number Publication Date
CN112888395A CN112888395A (zh) 2021-06-01
CN112888395B true CN112888395B (zh) 2024-09-03

Family

ID=70279545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980069840.4A Active CN112888395B (zh) 2018-10-22 2019-10-21 用于实时更新穿行摄像机放置的方法

Country Status (6)

Country Link
US (3) US11204677B2 (zh)
EP (1) EP3870093A1 (zh)
JP (1) JP7480160B2 (zh)
CN (1) CN112888395B (zh)
IL (1) IL282155B2 (zh)
WO (1) WO2020084433A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11204677B2 (en) 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US12075984B2 (en) 2021-07-14 2024-09-03 Cilag Gmbh International Stereoscopic endoscope with critical structure depth estimation
US20230013884A1 (en) 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with synthetic aperture multispectral camera array

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
CN103315696A (zh) * 2012-03-21 2013-09-25 柯惠Lp公司 使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
EP1467653A2 (en) * 2001-11-21 2004-10-20 Viatronix Incorporated System and method for visualization and navigation of threedimensional medical images
US7233820B2 (en) * 2002-04-17 2007-06-19 Superdimension Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
US7720521B2 (en) 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
WO2005119505A2 (en) * 2004-06-04 2005-12-15 Stereotaxis, Inc. User interface for remote control of medical devices
US8021300B2 (en) * 2004-06-16 2011-09-20 Siemens Medical Solutions Usa, Inc. Three-dimensional fly-through systems and methods using ultrasound data
WO2007011306A2 (en) 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20080071141A1 (en) 2006-09-18 2008-03-20 Abhisuek Gattani Method and apparatus for measuring attributes of an anatomical feature during a medical procedure
US10264947B2 (en) * 2010-08-20 2019-04-23 Veran Medical Technologies, Inc. Apparatus and method for airway registration and navigation
US20130281821A1 (en) * 2011-01-13 2013-10-24 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
JP6189854B2 (ja) * 2011-12-03 2017-08-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 半自動経路プランニングのための自動奥行きスクローリング及びオリエンテーション調整
EP3315072B1 (en) * 2012-02-13 2020-04-29 Hologic, Inc. System and method for navigating a tomosynthesis stack using synthesized image data
EP2821024A1 (en) * 2013-07-01 2015-01-07 Advanced Osteotomy Tools - AOT AG Computer assisted surgery apparatus and method of cutting tissue
US10463242B2 (en) 2014-07-09 2019-11-05 Acclarent, Inc. Guidewire navigation for sinuplasty
DE102014219477B4 (de) * 2014-09-25 2018-06-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Chirurgierobotersystem
EP3258876B1 (en) * 2015-02-20 2023-10-18 Covidien LP Operating room and surgical site awareness
WO2017015738A1 (en) * 2015-07-27 2017-02-02 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
CN108348300A (zh) * 2015-09-29 2018-07-31 皇家飞利浦有限公司 用于机器人辅助微创手术的仪器控制器
CA2997965C (en) * 2015-10-14 2021-04-27 Surgical Theater LLC Augmented reality surgical navigation
US10342633B2 (en) * 2016-06-20 2019-07-09 Toshiba Medical Systems Corporation Medical image data processing system and method
JP6539253B2 (ja) * 2016-12-06 2019-07-03 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
JP6678566B2 (ja) * 2016-12-26 2020-04-08 株式会社コーエーテクモゲームス ゲームプログラム、記録媒体、ゲーム処理方法
JP7086522B2 (ja) * 2017-02-28 2022-06-20 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US11571262B2 (en) * 2017-04-18 2023-02-07 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
US11026747B2 (en) 2017-04-25 2021-06-08 Biosense Webster (Israel) Ltd. Endoscopic view of invasive procedures in narrow passages
US10561370B2 (en) 2017-04-26 2020-02-18 Accalrent, Inc. Apparatus to secure field generating device to chair
JP7045218B2 (ja) * 2018-02-28 2022-03-31 キヤノン株式会社 情報処理装置および情報処理方法、プログラム
US12053273B2 (en) * 2018-09-07 2024-08-06 Intellijoint Surgical Inc. System and method to register anatomy without a probe
US11204677B2 (en) 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
CN103315696A (zh) * 2012-03-21 2013-09-25 柯惠Lp公司 使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法

Also Published As

Publication number Publication date
IL282155B2 (en) 2024-01-01
US20200125236A1 (en) 2020-04-23
CN112888395A (zh) 2021-06-01
WO2020084433A1 (en) 2020-04-30
US20220137788A1 (en) 2022-05-05
IL282155B1 (en) 2023-09-01
US11204677B2 (en) 2021-12-21
EP3870093A1 (en) 2021-09-01
JP2022508801A (ja) 2022-01-19
US11656735B2 (en) 2023-05-23
US20230259248A1 (en) 2023-08-17
JP7480160B2 (ja) 2024-05-09
US12079440B2 (en) 2024-09-03
IL282155A (en) 2021-05-31

Similar Documents

Publication Publication Date Title
CN113423358B (zh) 利用基于传感器的导航和内窥镜检查的组合的外科系统
US11800970B2 (en) Computerized tomography (CT) image correction using position and direction (P and D) tracking assisted optical visualization
AU2015287961B2 (en) Guidewire navigation for sinuplasty
EP3395282B1 (en) Endoscopic view of invasive procedures in narrow passages
CN112888395B (zh) 用于实时更新穿行摄像机放置的方法
CN113453606B (zh) 具有双图像传感器的内窥镜
US20210315636A1 (en) User interface for image guided surgery system
US20210121238A1 (en) Visualization system and method for ent procedures
CN118695821A (zh) 用于将术中图像数据与微创医疗技术集成的系统和方法
CN117813631A (zh) 用于三维视图中基于深度的测量的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant