[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101572487B1 - 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 - Google Patents

환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 Download PDF

Info

Publication number
KR101572487B1
KR101572487B1 KR1020130096016A KR20130096016A KR101572487B1 KR 101572487 B1 KR101572487 B1 KR 101572487B1 KR 1020130096016 A KR1020130096016 A KR 1020130096016A KR 20130096016 A KR20130096016 A KR 20130096016A KR 101572487 B1 KR101572487 B1 KR 101572487B1
Authority
KR
South Korea
Prior art keywords
blood vessel
image
dimensional
matching
camera
Prior art date
Application number
KR1020130096016A
Other languages
English (en)
Other versions
KR20150019311A (ko
Inventor
이득희
박세형
임성환
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020130096016A priority Critical patent/KR101572487B1/ko
Priority to US14/077,462 priority patent/US9554117B2/en
Publication of KR20150019311A publication Critical patent/KR20150019311A/ko
Application granted granted Critical
Publication of KR101572487B1 publication Critical patent/KR101572487B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명에 따르면, 시술시의 환자의 정합대상 부위에 대한 입체혈관영상(I2)을 추출하기 위한 근적외선 입체카메라(110); 상기 근적외선 입체카메라(110)의 위치를 추적하여 상기 입체혈관영상(I2)의 실세계 좌표계를 산출하는 카메라 위치추적기(120); 상기 정합대상 부위의 3차원의료영상(I1)으로부터 제1혈관패턴을 추출하고, 상기 입체혈관영상(I2)으로부터 제2혈관패턴을 추출하며, 추출된 제1혈관패턴과 제2혈관패턴을 이용하여 상기 3차원의료영상(I1)과 환자와의 위치정합을 수행하는 제어기(130); 및 상기 제어기(130)에 의해 산출된 정합결과를 표시하는 디스플레이(140);를 포함하는 환자와 3차원 의료영상의 비침습 정합 시스템이 개시된다.

Description

환자와 3차원 의료영상의 비침습 정합 시스템 및 방법{System and Method For Non-Invasive Patient-Image Registration}
본 발명은 환자와 환자의 3차원의료영상 사이의 위치 및 자세 정합을 위한 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법에 관한 것으로, 보다 상세하게는 인위적인 기준마커를 사용하지 않고 환자의 혈관이 연장형성된 혈관패턴에 따른 특징점을 이용하여 비침습적인 방식으로 환자의 3차원의료영상을 환자에 정렬하기 위한 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법에 관한 것이다.
일반적으로, 최소침습수술(Minimally Invasive Surgery)은 피부에 작은 구멍을 3-4 군데 뚫고 내시경과 가늘고 긴 수술도구를 넣어 수술하는 방법으로 피부 절개를 최소로 하는 수술법이다. 이러한 최소침습수술은 일반 수술법과 달리 환자의 고통이 적고 수술후 회복이 빠르며 흉터가 적기 때문에 매년 수술건수가 증가하는 추세이다.
그러나, 최소침습수술에 있어서 시술하는 의사는 직접 환부를 볼 수 없고 내시경으로부터 얻어지는 영상을 디스플레이 모니터를 통해 간접적으로 확인하게 된다. 이때 의사의 시선의 방향과 내시경의 방향이 일치하지 않고 내시경의 좁은 시야로 인해 목표 환부를 관찰하기가 용이하지 않으며 내시경 영상을 보면서 수술도구를 조작하여 환부를 치료하는 것이 직관적이지 못하여 힘든 작업이 되고 있다.
한편, 비침습수술(Non-Invasive Surgery)은 피부를 전혀 절개하지 않고 초음파, 방사선 및, 자기장 등을 이용하여 치료하는 수술법으로 의사는 환부를 직접 볼 수 없을 뿐만 아니라 내시경과 같은 실시간 비디오영상도 이용할 수가 없다. 따라서, 진단 및 수술 계획을 위해 수술 전에 촬영한 환자의 3차원의료영상(CT, MRI 등)을 이용하여 수술 중에 의사의 시술을 가이드하는 수술 내비게이션이 요구되었다.
이러한 수술 내비게이션을 위해서 우선적으로 환자의 3차원의료영상을 수술 중인 환자와 좌표상으로 정렬할 필요가 있다. 즉 3차원의료영상의 의료영상 좌표계와 환자 좌표계(실세계에 임의로 설정한 좌표계) 사이의 좌표변환관계를 알게 되면 의료영상의 특정 위치가 환자의 어느 위치에 대응되는지를 알 수 있게 된다. 이것을 환자-영상 정합 (Patient-Image Registration)이라고 한다.
환자-영상 정합을 위해 일반적으로 사용되는 방법으로 기준마커(Fiducial Marker)를 환자에 부착한 상태로 의료영상을 촬영하고, 촬영된 의료영상에서의 기준마커와 환자에게 부착된 기준마커를 정렬시켜 환자-영상 정합을 수행하는 방법이 있다.
상기 기준마커를 이용하는 경우, 기준마커를 환자의 뼈에 고정하는 침습적 방법과 환자의 피부 위에 붙이는 비침습적 방법으로 분류되며, 침습적 방법은 비교적 정확한 정합이 가능하나 뼈에 상처를 주어 환자에게 부담이 되고 비침습적 방법은 정합의 정밀도가 떨어져 미세수술에는 사용할 수 없는 문제점이 있었다.
따라서, 최근에는 기준마커를 사용하지 않는 환자-영상 정합방법(Markerless Patient-image Registration)으로 초음파나 X선을 이용한 환자의 2차원 단면영상을 이용하거나 환자 피부 표면의 3차원 스캔모델을 이용하여 3차원의료영상과 정합을 수행하는 방법이 연구되고 있다.
그러나, 2차원단면영상과 3차원의료영상 간의 정합은 계산시간이 오래 걸리고 인체내 연부조직의 변형에 취약한 단점이 있다. 또한, 환자 피부 표면의 3차원 스캔모델과 3차원의료영상에서 추출한 피부표면 모델을 정합하는 방법은 피부표면의 형상 변형으로 인해 정합 오차가 커질 수 있는 단점이 있었다.
결국 기준마커를 사용하지 않고 환자의 연부조직 및 피부 표면의 변형의 영향을 최소로 하는 환자-영상 정합방법이 요구되는 실정이다.
한국 공개특허공보 제2013-0045774호(2013.05.06), 수술영상의 정합 방법
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 인체피부 투과가 가능하고 혈관에서의 흡수율이 높은 파장인 근적외선광을 이용하여 획득된 환자의 정합대상 부위에 배치된 혈관의 입체혈관영상과, 상기 정합대상 부위를 촬영한 MRI(Magnetic Resonance Imaging) 및 CT(Computer Tomography) 등의 3차원의료영상 간의 위치정합을 수행하는 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법을 제공하는 것에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 환자와 3차원 의료영상의 비침습 정합 시스템은, 시술시의 환자의 정합대상 부위에 대한 입체혈관영상(I2)을 추출하기 위한 근적외선 입체카메라(110); 상기 근적외선 입체카메라(110)의 위치를 추적하여 상기 입체혈관영상(I2)의 실세계 좌표계를 산출하는 카메라 위치추적기(120); 상기 정합대상 부위의 3차원의료영상(I1)으로부터 제1혈관패턴을 추출하고, 상기 입체혈관영상(I2)으로부터 제2혈관패턴을 추출하며, 추출된 제1혈관패턴과 제2혈관패턴을 이용하여 상기 3차원의료영상(I1)과 환자와의 위치정합을 수행하는 제어기(130); 및 상기 제어기(130)에 의해 산출된 정합결과를 표시하는 디스플레이(140);를 포함한다.
여기서, 상기 제어기(130)는, 시술전 상기 정합대상 부위를 촬영한 3차원의료영상(I1)이 저장되는 3차원의료영상 DB(131)와, 상기 3차원의료영상(I1)으로부터 혈관이미지를 분리하여 혈관모델을 재구성하는 혈관모델 생성부(132)와, 상기 혈관모델의 뼈대라인(SL)을 검출하여 혈관이 분기되는 분기점을 추출하며, 추출된 각 분기점을 상기 제1혈관패턴의 특징점으로 선정하는 제1특징점 추출부(133)와, 상기 근적외선 입체카메라(110)에 의해 촬영된 근적외선 입체영상으로부터 혈관이미지를 분리하여 입체혈관영상(I2)을 추출하는 입체혈관 영상검출부(134)와, 추출된 입체혈관영상(I2)과, 상기 카메라 위치추적기(120)에서 측정된 상기 입체혈관영상(I2)의 실세계 좌표계를 이용하여 시술시의 환자의 혈관의 분기점을 추출하며, 추출된 각 분기점을 상기 제2혈관패턴의 특징점으로 선정하는 제2특징점 추출부(135) 및, 복수 개의 제1특징점이 그룹핑된 제1특징점군(P1)과, 복수 개의 제2특징점이 그룹핑된 제2특징점군(P2)을 최적 대응시켜 정합하는 정합부(136)를 포함할 수 있다.
또한, 상기 제1특징점 추출부(133)는, 의료영상 좌표계를 기준으로 선정된 제1혈관패턴의 특징점을 3차원 좌표로 저장하고, 상기 근적외선 입체카메라(110)는, 근적외선광에 의해 환자의 정합대상 부위에 투시된 혈관이미지를 촬영하되 일정간격 이격 배치되어 시차(Parallax)를 갖는 두 개의 입체혈관영상(I2)을 획득하며, 상기 제2특징점 추출부(135)는, 상기 근적외선 입체카메라(110)의 두 입체혈관영상(I2)에서 각각 산출된 분기점들의 대응되는 쌍의 시차를 이용하여 입체카메라 좌표계를 기준으로 3차원 좌표로 표현되는 제2특징점을 선정할 수 있다.
또한, 상기 카메라 위치추적기(120)는, 상기 근적외선 입체카메라(110)에 대한 3개의 회전위치와 3개의 병진위치를 포함하는 6자유도위치를 측정하되, 실시간으로 상기 근적외선 입체카메라(110)의 위치를 추적하여 상기 위치추적기 좌표계로부터 입체카메라 좌표계로의 좌표변환행렬(M)을 산출하되, 상기 제2특징점 추출부(135)는, 상기 입체카메라 좌표계를 기준으로 표현된 제2특징점을 상기 좌표변환행렬(M)에 의해 위치추적기 좌표계를 기준으로 변환하여 저장하며, 상기 정합부(136)는, 위치추적기 좌표계로 변환된 제2특징점군(P2)을 회전 및 병진하여 상기 제1특징점군(P1)에 최적 대응시킨 상태에서의 의료영상 좌표계에 대하여 위치추적기 좌표계의 위치관계(T)를 산출할 수 있다.
또한, 상기 카메라 위치추적기(120)는, 다관절링크부의 단부에 상기 근적외선 입체카메라(110)가 체결되며, 각 관절의 링크운동에 의한 물리적 변위를 감지하여 상기 근적외선 입체카메라(110)의 6자유도위치를 측정하는 기계식 위치추적장치(120a)일 수 있다.
또한, 상기 카메라 위치추적기(120)는, 상기 근적외선 입체카메라(110)에 장착된 기준마커(121)를 촬영하는 입체카메라를 이용하여 상기 기준마커(121)의 3차원 위치벡터와 3차원 방향벡터를 연산하여 상기 근적외선 입체카메라(110)의 6자유도위치를 측정하는 광학식 위치추적장치(120b)일 수 있다.
한편, 상기 제1특징점 추출부(133)는, 상기 혈관모델에서 혈관의 외곽선을 나타내는 경계라인(BL)을 추출하고, 추출된 경계라인(BL)으로부터 혈관을 따라 연장된 중심선을 뼈대라인(SL)으로 추출할 수 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 환자와 3차원 의료영상의 비침습 정합 방법은, 근적외선광에 의해 환자의 정합대상 부위에 투시된 혈관이미지를 근적외선 입체카메라(110)로 촬영하여 입체혈관영상(I2)을 추출하는 입체혈관영상 추출 단계(S210); 카메라 위치추적기(120)로 상기 근적외선 입체카메라(110)의 실시간 위치를 추적하여 상기 입체혈관영상(I2)의 실세계 좌표계를 산출하는 카메라 위치추적 단계(S220); 제어기(130)를 이용하여 상기 정합대상 부위의 3차원의료영상(I1)으로부터 제1혈관패턴을 추출하고, 상기 입체혈관영상(I2)으로부터 제2혈관패턴을 추출하는 혈관패턴 추출 단계(S230); 추출된 제1혈관패턴과 제2혈관패턴을 이용하여 상기 3차원의료영상(I1)과 환자와의 위치정합을 수행하는 영상정합 단계(S240); 및 상기 제어기(130)에 의해 산출된 정합결과를 화면상에 표시하는 정합결과 표시 단계(S250);를 포함한다.
본 발명에 따른 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법에 의하면,
첫째, 근적외선광을 이용하여 획득된 환자의 정합대상 부위에 배치된 혈관의 입체혈관영상과, 상기 정합대상 부위를 촬영한 3차원의료영상에 포함된 혈관모델의 위치정합을 통해 기준마커를 이용하지 않고서도 비침습적으로 환자와 상기 3차원의료영상 간의 정합을 수행할 수 있는 효과를 제공한다.
둘째, 근적외선광을 이용하여 획득된 입체혈관영상 및 3차원의료영상으로부터 재구성한 혈관모델의 각 혈관패턴을 분석하여 혈관의 분기점을 정합을 위한 특징점으로 산출하며 산출된 특징점을 기준으로 정합을 수행하므로, 환자의 피부 표면의 특징점을 이용하는 종래의 정합방식과 비교하여 피부의 변형에 영향이 최소화됨은 물론 위치정합시 발생할 수 있는 정합오차를 감소시킬 수 있다.
셋째, 인체에 전반적으로 분포된 혈관의 연장형성된 혈관패턴에 따른 특징점을 이용하여 위치정합을 수행하므로 다양한 시술부위에 적용할 수 있으며 다양한 의료영상을 상호 연계하여 의료정보로 이용할 수 있는 장점이 있다.
넷째, 입체혈관영상 및 3차원의료영상에서 혈관패턴에 따른 특징점을 추출함에 있어서, 각 영상에서 표시되는 혈관을 따라 연장된 중심선을 뼈대라인으로 추출하고, 각 뼈대라인의 분기점을 특징점으로 선정하므로 혈관의 경계라인에 대한 오차를 최소화하여 정합오차를 더욱 감소시킬 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 시스템의 기능적 구성을 나타낸 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 시스템의 구성을 나타낸 개략도,
도 3은 본 발명의 바람직한 실시예에 따른 3차원의료영상으로부터 제1특징점군을 추출하는 동작원리를 설명하기 위한 개략도,
도 4는 본 발명의 바람직한 실시예에 따른 입체혈관영상으로부터 제2특징점군을 추출하는 동작원리를 설명하기 위한 개략도,
도 5는 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법을 통해 환자와 3차원의료영상간의 정합이 이루어지는 동작원리를 설명하기 위한 개략도,
도 6은 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 시스템의 동작순서를 나타낸 플로우챠트,
도 7은 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 방법의 순서를 나타낸 순서도이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
최소침습수술에 있어서 진단 및 수술계획을 위해 환자의 3차원의료영상(CT, MRI 등)은 필수적으로 이용되며, 수술중인 환자와 상기 3차원의료영상과의 상호 위치관계를 파악하는 것은 수술 내비게이션 및 수술 가이드를 위해 필수적이다. 이에 본 실시예에서는 비침습적이면서도 높은 정밀도로 환자와 의료영상간의 정합을 수행하는 기술을 제공한다.
먼저, 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 시스템(이하에서는 '영상정합 시스템'이라 명칭함)은, 인위적인 기준마커를 사용하지 않고 환자의 혈관이 연장형성된 혈관패턴에 따른 특징점을 이용하여 비침습적인 방식으로 환자의 3차원의료영상을 환자에 정렬하기 위한 시스템으로서, 도 1 및 도 2에 도시된 바와 같이 근적외선 입체카메라(110), 카메라 위치추적기(120), 제어기(130) 및 디스플레이(140)를 포함하여 구비된다.
상기 근적외선 입체카메라(110)는, 시술시의 환자의 정합대상 부위에 대한 입체혈관영상(I2)을 추출하기 위한 촬영수단으로서, 도 2에 도시된 바와 같이 근적외선 광원(111), LP필터(112) 및, 단위카메라부(113)를 포함하여 구비된다.
여기서, 상기 정합대상 부위는 환자와 3차원의료영상(I1) 간의 위치정합을 위해 각 촬영수단에 의해 촬영되는 신체부위로서, 시술이 이루어지는 시술부위를 포함하여 근적외선광에 의해 혈관이 투시될 수 있는 환자의 신체 부위이면 어느 위치나 해당될 수 있다.
상기 근적외선 광원(111)은 상기 근적외선 입체카메라(110)와 일체형으로 구비되거나 독립적 모듈형태로 근접배치되어 상기 정합대상 부위에 근적외선광을 조사하는 발광수단으로서, 정맥 및 동맥 등의 혈관 내부를 유동하는 혈액에 다량으로 존재하는 디옥시헤모글로빈의 빛에 대한 흡수율이 신체의 대부분을 차지하는 물보다 높은 파장영역(예를 들면 700nm 내지 800nm)을 중심 파장으로 하여 근적외선을 발광한다.
따라서, 상기 근적외선 광원(111)이 정합대상 부위에 조사되면 환자의 피부상에 내부에 배치된 혈관이미지가 투시되어 상기 근적외선 입체카메라(110)에 의해 투시된 혈과이미지가 촬영될 수 있는 환경이 제공된다. 또한, 도시되지 않았으나 상기 근적외선 광원(111)의 전방 위치에는 광원으로부터 조사되는 근적외선광의 광도가 균일해지도록 상기 근적외선광을 확산시켜 투과시키는 확산판(Diffuse Filter)이 배치될 수 있다. 더불어, 상기 확산판의 전방 위치 및 LP필터(112)의 전방위치에는 각각 서로 직교하는 편광판(미도시)이 배치됨으로써 정합대상 부위에 조사된 근적외선광의 반사광이 근적외선 입체카메라(110)로 반사되어 입사되는 것을 방지할 수 있다.
상기 LP필터(112)는 근적외선 영역대의 광원 및 가시광선을 차단하는 기능을 한다. 또한, 상기 단위카메라부(113)는 CCD(Charge Coupled Device) 혹은 CMOS(Complementary Metal Oxide Semiconductor) 센서를 이용하여 상기 근적외선광에 의해 정합대상 부위에 투시된 혈관이미지를 감지하여 촬영하는 기능을 수행하며, 상기 입체적인 형상을 갖는 입체혈관영상(I2)를 추출할 수 있도록 두 대의 단위카메라(113)가 일정간격 이격되어 시차(Parallax)를 갖는 두 개의 근적외선 혈관영상을 생성할 수 있다.
상기 카메라 위치추적기(120)는, 근적외선 입체카메라(110)의 위치를 추적하여 상기 입체혈관영상(I2)의 실세계 좌표를 산출하기 위한 추척수단으로서, 실세계 좌표계(World Coordinate System)의 기준이 되며, 근적외선 입체카메라(110)의 위치를 실시간 추적하여 근적외선 입체카메라(110)로부터 획득된 영상의 실세계 좌표값을 추출할 수 있도록 한다.
여기서, 상기 카메라 위치추적기(120)는 근적외선 입체카메라(110)의 위치를 추적하는 방식에 따라 구분될 수 있는데, 도 2의 (a)에 도시된 바와 같이 다관절링크부의 단부에 상기 근적외선 입체카메라(110)가 체결되며, 각 관절의 링크운동에 의한 물리적 변위를 감지하여 상기 근적외선 입체카메라(110)의 6자유도위치를 측정하는 기계식 위치추적장치(120a)일 수 있다.
또한, 도 2의 (b)에 도시된 바와 같이 근적외선 입체카메라(110)에 장착된 기준마커(121)를 촬영하는 입체카메라를 이용하여 상기 기준마커(121)의 3차원 위치벡터와 3차원 방향벡터를 연산하여 상기 근적외선 입체카메라(110)의 6자유도위치를 측정하는 광학식 위치추적장치(120b)일 수 있다.
상기 카메라 위치추적기(120)에서 측정된 근적외선 입체카메라(110)의 6자유도위치 측정데이터는 제어기(130)로 전송되어 후술되는 제2특징점을 실세계 좌표값으로 표현하는데 필요한 기초데이터로 이용된다.
상기 제어기(130)는, 상기 정합대상 부위의 3차원의료영상(I1)으로부터 제1혈관패턴을 추출하고, 상기 입체혈관영상(I2)으로부터 제2혈관패턴를 추출하며, 추출된 제1혈관패턴과 제2혈관패턴을 이용하여 상기 3차원의료영상(I1)과 환자와의 위치정합을 수행하는 연산수단으로서, 도 1에 도시된 바와 같이 3차원의료영상 DB(131), 혈관모델 생성부(132), 제1특징점 추출부(133), 입체혈관 영상검출부(134), 제2특징점 추출부(135) 및 정합부(136)를 포함하여 구비된다.
상기 3차원의료영상 DB(131)는 시술전 정합대상 부위를 촬영한 3차원의료영상(I1)이 저장되는 데이터베이스이며, 상기 혈관모델 생성부(132)는 3차원의료영상 DB(131)에 저장된 3차원의료영상(I1)으로부터 혈관이미지를 분리(Segment)하여 혈관모델을 재구성한다.
또한, 상기 제1특징점 추출부(133)는 혈관모델 생성부(132)에 의해 생성된 혈관모델의 뼈대라인(SL, Skeleton Line)을 검출하여 혈관이 분기되는 분기점을 추출하며, 추출된 각 분기점을 상기 제1혈관패턴의 특징점(제1특징점)으로 선정한다.
상기 입체혈관 영상검출부(134)는 근적외선 입체카메라(110)에 의해 촬영된 근적외선 입체영상으로부터 혈관이미지를 분리하여 입체혈관영상(I2)을 추출하며, 상기 제2특징점 추출부(135)는 입체혈관 영상검출부(134)에 의해 추출된 입체혈관영상(I2)과, 상기 카메라 위치추적기(120)에서 측정된 입체혈관영상(I2)의 실세계 좌표계를 이용하여 시술시의 환자의 혈관의 분기점을 추출하며 추출된 각 분기점을 상기 제2혈관패턴의 특징점(제2특징점)으로 선정한다.
상기 정합부(136)는 복수 개의 제1특징점으로 이루어진 제1특징점군(P1)과, 복수 개의 제2특징점으로 이루어진 제2특징점군(P2)을 최적 대응시켜 정합하는 기능을 수행한다. 여기서, 상기 제1특징점 및 제2특징점이 각 특징점군(P1,P2)에 포함되는 개수는 각 특징점군(P1,P2)을 최적 대응시키는데 필요한 개수를 고려하여 정해진다. 즉, 각 특징점이 포함되는 개수가 부족할 경우 각 각 특징점군(P1,P2)을 최적 대응시키기가 제한되며 반면에 특징점이 포함되는 개수가 많아질 경우 각 특징점을 동시에 획득하기가 제한될 수 있으나 보다 바람직하게는 최소 3개 이상의 각 특징점이 하나의 특징점군(P1,P2)으로 이루어질 수 있다.
한편, 상기 제1특징점 추출부(133)는 의료영상 좌표계를 기준으로 선정된 제1혈관패턴의 제1특징점을 3차원 좌표로 저장하고, 상기 근적외선 입체카메라(110)는 근적외선광에 의해 환자의 정합대상 부위에 투시된 혈관이미지를 촬영하되 시차를 갖는 두 개의 입체혈관영상(I2)을 획득하며, 상기 제2특징점 추출부(135)는 근적외선 입체카메라(110)의 두 입체혈관영상(I2)에서 각각 산출된 분기점들의 대응되는 쌍의 시차를 이용하여 입체카메라 좌표계를 기준으로 3차원 좌표로 표현되는 제2특징점을 선정한다.
여기서, 도 3에 도시된 바와 같이 상기 제1특징점 추출부(133)는 상기 뼈대라인(SL)을 추출함에 있어서, 혈관모델에서 혈관의 외곽선을 나타내는 경계라인(BL)을 추출하고, 추출된 경계라인(BL)으로부터 혈관을 따라 연장된 중심선을 뼈대라인(SL)으로 추출한다.
또한, 상기 제2특징점 추출부(135)는 입체혈관영상(I2)으로부터 상기 제2특징점을 추출함에 있어서, 도 4에 도시된 바와 같이 상기 제1특징점 추출부(133)와 마찬가지로 입체혈관영상(I2)에 표시된 혈관이미지의 외곽선을 나타내는 경계라인을 추출하고, 추출된 경계라인으로부터 혈관을 따라 연장된 중심선을 뼈대라인으로 추출하고 각 뼈대라인이 분기되는 분기점을 제2특징점으로 선정한다.
이와 같이 입체혈관영상(I2) 및 3차원의료영상(I1)에서 혈관패턴에 따른 특징점을 추출함에 있어서, 각 영상에서 표시되는 혈관을 따라 연장된 중심선을 뼈대라인으로 추출하고, 각 뼈대라인의 분기점을 특징점으로 선정하므로 혈관의 경계라인에 대한 오차를 최소화하여 정합오차를 더욱 감소시킬 수 있다.
더불어, 상기 카메라 위치추적기(120)는 근적외선 입체카메라(110)에 대한 3개의 회전위치와 3개의 병진위치를 포함하는 6자유도위치를 측정하되, 실시간으로 근적외선 입체카메라(110)의 위치를 추적하여 위치추적기 좌표계로부터 입체카메라 좌표계로의 좌표변환행렬(M)을 산출하되, 상기 제2특징점 추출부(135)는 상기 입체카메라 좌표계를 기준으로 표현된 제2특징점을 상기 좌표변환행렬(M)에 의해 위치추적기 좌표계를 기준으로 변환하여 저장하며, 상기 정합부(136)는 위치추적기 좌표계로 변환된 제2특징점군(P2)을 회전(Rotation) 및 병진(Translation)하여 상기 제1특징점군(P1)에 최적 대응시킨 상태에서의 의료영상 좌표계에 대하여 위치추적기 좌표계의 위치관계(T)를 산출한다.
여기서, 상기 카메라 위치추적기(120)는 실세계에 고정되므로 위치추적기 좌표계를 실세계 좌표계로 선정할 수 있고 환자는 상기 실세계 좌표계를 기준좌표로 하기 때문에 상기 위치관계(T)는 의료영상에 대한 환자의 위치관계가 되며 환자-의료영상 정합의 결과가 되는 것이다.
한편, 상기 디스플레이(140)는 제어기(130)의 제어신호에 따라 제어기(130)에 의해 산출된 정합결과를 화면상에 표시하는 기능을 수행한다.
다음으로는, 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 시스템을 이용한 환자와 3차원 의료영상의 비침습 정합 방법을 설명하기로 한다.
도 7에 도시된 바와 같이 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 방법은, 입체혈관영상 추출 단계(S210), 카메라 위치추적 단계(S220), 혈관패턴 추출 단계(S230), 영상정합 단계(S240) 및 정합결과 표시 단계(S250)를 포함한다.
상기 입체혈관영상 추출 단계(S210)는, 근적외선광에 의해 환자의 정합대상 부위에 투시된 혈관이미지를 근적외선 입체카메라(110)로 촬영하여 입체혈관영상(I2)을 추출하는 단계로서, 근적외선 입체카메라(110)에 구비된 두 대의 단위카메라(113)의 상호 이격된 간격에 따라 시차를 갖는 두 개의 근적외선 혈관영상이 생성되며 생성된 혈관영상 이미지는 제어기(130)와 연결된 신호라인을 따라 제어기(130)로 전송된다.
상기 카메라 위치추적 단계(S220)는, 카메라 위치추적기(120)로 근적외선 입체카메라(110)의 실시간 위치를 추적하여 입체혈관영상(I2)의 실세계 좌표계를 산출하는 단계로서, 기계식 위치추적장치(120a) 및 광학식 위치추적장치(120b) 등의 위치추적 방식을 갖는 카메라 위치추적기(120)에 의해 근적외선 입체카메라(110)의 위치가 실시간 추적되어 근적외선 입체카메라(110)로부터 획득된 영상의 실세계 좌표값을 추출한다. 상기 카메라 위치추적기(120)에서 측정된 근적외선 입체카메라(110)의 6자유도위치 측정데이터는 제어기(130)로 전송되어 상기 제2특징점을 실세계 좌표계로 표현하는데 필요한 기초데이터로 이용된다.
상기 혈관패턴 추출 단계(S230)는, 제어기(130)를 이용하여 상기 정합대상 부위의 3차원의료영상(I1)으로부터 제1혈관패턴을 추출하고, 상기 입체혈관영상(I2)으로부터 제2혈관패턴을 추출하는 단계이며, 상기 영상정합 단계(S240)는, 상기 혈관패턴 추출 단계(S230)를 통해 추출된 제1혈관패턴와 제2혈관패턴을 이용하여 상기 3차원의료영상(I1)과 환자와의 위치정합을 수행하는 단계로서, 제어기(130)의 혈관모델 생성부(132)가 3차원의료영상 DB(131)에 저장된 3차원의료영상(I1)으로부터 혈관이미지를 분리하여 혈관모델을 재구성하면, 제1특징점 추출부(133)가 생성된 혈관모델의 뼈대라인(SL)을 검출하여 추출된 각 분기점을 제1혈관패턴의 제1특징점으로 선정한다.
또한, 제어기(130)의 입체혈관 영상검출부(134)는 근적외선 입체카메라(110)로부터 전송된 근적외선 입체영상으로부터 혈관이미지를 분리하여 입체혈관영상(I2)을 추출하며, 제2특징점 추출부(135)는 추출된 입체혈관영상(I2)과 카메라 위치추적기(120)에서 측정된 입체혈관영상(I2)의 실세계 좌표계를 이용하여 시술시의 환자의 혈관의 분기점을 추출하며 추출된 각 분기점을 상기 제2혈관패턴의 제2특징점으로 선정한다. 이때, 상기 제2특징점 추출부(135)는 상기 입체카메라 좌표계를 기준으로 표현된 제2특징점을 상기 좌표변환행렬(M)에 의해 위치추적기 좌표계를 기준으로 변환하여 저장한다.
이어서, 제어기(130)의 정합부(136)는 3 개 이상의 제1특징점으로 이루어진 제1특징점군(P1)과 3 개 이상의 제2특징점으로 이루어진 제2특징점군(P2)을 최적대응시켜 정합하되, 위치추적기 좌표계로 변환된 제2특징점군(P2)을 회전 및 병진하여 상기 제1특징점군(P1)에 최적대응시킨 상태에서의 의료영상 좌표계에 대하여 위치추적기 좌표계의 위치관계(T)를 산출한다. 상기 정합부(136)에 의해 산출된 위치관계(T) 데이터에 따라 산출된 정합결과는 디스플레이(140)의 화면상에 표시된다.
한편, 도 6에는 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법에 따른 위치정합을 수행하기 위한 순서도가 도시되어 있다. 도 6을 참고하면, 먼저, 3차원의료영상 DB(131)로부터 환자의 3차원의료영상(I1)을 획득하고 관심 환부 주변의 3차원 혈관모델을 재구성한 후, 그 혈관모델로부터 제1특징점을 추출하고 제1특징점군(P1) 집합에 추가하여 저장한다.
이어서, 수술 중에 환자를 의료영상에 등록하기 위해 환부 방향으로 근적외선 입체카메라(110)를 배치하고, 이때의 근적외선 입체카메라(110)의 위치를 추적한다. 또한, 근적외선 입체영상이 획득되면 입체혈관영상(I2)을 검출하고 입체혈관영상(I2)으로부터 제2특징점을 검출하여 제2특징점군(P2) 집합에 저장한다.
이때, 추출된 제2특징점의 개수가 충분하지 않으면 근적외선 입체카메라(110)의 배치를 조절하여 재배치하여 제2특징점을 다시 추출하여 제2특징점군(P2) 집합에 추가한다.
추가된 제2특징점의 개수가 충분하면 제1특징점군(P1)과 제2특징점군(P2)을 정합하고 그 결과를 디스플레이(140)에 표시한다.
상술한 바와 같은 본 발명의 바람직한 실시예에 따른 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법의 각 구성 및 기능에 의해, 근적외선광을 이용하여 획득된 환자의 정합대상 부위에 배치된 혈관의 입체혈관영상(I2)과, 상기 정합대상 부위를 촬영한 3차원의료영상(I1)에 포함된 혈관모델의 위치정합을 통해 기준마커를 이용하지 않고서도 비침습적으로 환자와 상기 3차원의료영상(I1) 간의 정합을 수행할 수 있는 효과를 제공한다.
또한, 근적외선광을 이용하여 획득된 입체혈관영상(I2) 및 3차원의료영상(I1)으로부터 재구성한 혈관이미지의 각 혈관패턴을 분석하여 혈관의 분기점을 정합을 위한 특징점으로 산출하며, 산출된 특징점을 기준으로 정합을 수행하므로, 환자 표면의 특징점을 이용하는 종래의 정합방식과 비교하여 피부의 변형에 영향을 최소화됨은 물론 위치정합시 발생할 수 있는 정합오차를 감소시킬 수 있다.
더불어, 인체에 전반적으로 분포된 혈관 연장형성된 혈관패턴에 따른 특징점을 기초로 하여 위치정합을 수행하므로 다양한 시술부위에 적용할 수 있으며 다양한 의료영상을 상호 연계하여 의료정보로 이용할 수 있는 장점이 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
110...근적외선 입체카메라 120...카메라 위치추적기
130...제어기 131...3차원의료영상 DB
132...혈관모델 생성부 133...제1특징점 추출부
134...입체혈관 영상검출부 135...제2특징점 추출부
136...정합부 140...디스플레이
S210...입체혈관영상 추출 단계 S220...카메라 위치추적 단계
S230...혈관패턴 추출 단계 S240...영상정합 단계
S250...정합결과 표시 단계

Claims (8)

  1. 시술시의 환자의 정합대상 부위에 대한 입체혈관영상(I2)을 추출하기 위한 근적외선 입체카메라(110);
    상기 근적외선 입체카메라(110)의 위치를 추적하여 상기 입체혈관영상(I2)의 실세계 좌표계를 산출하는 카메라 위치추적기(120);
    상기 정합대상 부위의 3차원의료영상(I1)으로부터 제1혈관패턴을 추출하고, 상기 입체혈관영상(I2)으로부터 제2혈관패턴을 추출하며, 추출된 제1혈관패턴과 제2혈관패턴을 이용하여 상기 3차원의료영상(I1)과 환자와의 위치정합을 수행하는 제어기(130); 및
    상기 제어기(130)에 의해 산출된 정합결과를 표시하는 디스플레이(140);를 포함하는 환자와 3차원 의료영상의 비침습 정합 시스템.
  2. 제 1항에 있어서,
    상기 제어기(130)는,
    시술전 상기 정합대상 부위를 촬영한 3차원의료영상(I1)이 저장되는 3차원의료영상 DB(131)와,
    상기 3차원의료영상(I1)으로부터 혈관이미지를 분리하여 혈관모델을 재구성하는 혈관모델 생성부(132)와,
    상기 혈관모델의 뼈대라인(SL)을 검출하여 혈관이 분기되는 분기점을 추출하며, 추출된 각 분기점을 상기 제1혈관패턴의 특징점으로 선정하는 제1특징점 추출부(133)와,
    상기 근적외선 입체카메라(110)에 의해 촬영된 근적외선 입체영상으로부터 혈관이미지를 분리하여 입체혈관영상(I2)을 추출하는 입체혈관 영상검출부(134)와, 추출된 입체혈관영상(I2)과, 상기 카메라 위치추적기(120)에서 측정된 상기 입체혈관영상(I2)의 실세계 좌표계를 이용하여 시술시의 환자의 혈관의 분기점을 추출하며, 추출된 각 분기점을 상기 제2혈관패턴의 특징점으로 선정하는 제2특징점 추출부(135) 및,
    복수 개의 제1특징점이 그룹핑된 제1특징점군(P1)과, 복수 개의 제2특징점이 그룹핑된 제2특징점군(P2)을 대응시켜 정합하는 정합부(136)를 포함하는 것을 특징으로 하는 환자와 3차원 의료영상의 비침습 정합 시스템.
  3. 제 2항에 있어서,
    상기 제1특징점 추출부(133)는, 의료영상 좌표계를 기준으로 선정된 제1혈관패턴의 특징점을 3차원 좌표로 저장하고,
    상기 근적외선 입체카메라(110)는, 근적외선광에 의해 환자의 정합대상 부위에 투시된 혈관이미지를 촬영하되 일정간격 이격 배치되어 시차(Parallax)를 갖는 두 개의 입체혈관영상(I2)을 획득하며,
    상기 제2특징점 추출부(135)는, 상기 근적외선 입체카메라(110)의 두 입체혈관영상(I2)에서 각각 산출된 분기점들의 대응되는 쌍의 시차를 이용하여 입체카메라 좌표계를 기준으로 3차원 좌표로 표현되는 제2특징점을 선정하는 것을 특징으로 하는 환자와 3차원 의료영상의 비침습 정합 시스템.
  4. 제 3항에 있어서,
    상기 카메라 위치추적기(120)는, 상기 근적외선 입체카메라(110)에 대한 3개의 회전위치와 3개의 병진위치를 포함하는 6자유도위치를 측정하되, 실시간으로 상기 근적외선 입체카메라(110)의 위치를 추적하여 상기 위치추적기 좌표계로부터 입체카메라 좌표계로의 좌표변환행렬(M)을 산출하되,
    상기 제2특징점 추출부(135)는, 상기 입체카메라 좌표계를 기준으로 표현된 제2특징점을 상기 좌표변환행렬(M)에 의해 위치추적기 좌표계를 기준으로 변환하여 저장하며,
    상기 정합부(136)는, 위치추적기 좌표계로 변환된 제2특징점군(P2)을 회전 및 병진하여 상기 제1특징점군(P1)에 대응시킨 상태에서의 의료영상 좌표계에 대하여 위치추적기 좌표계의 위치관계(T)를 산출하는 것을 특징으로 하는 환자와 3차원 의료영상의 비침습 정합 시스템.
  5. 제 4항에 있어서,
    상기 카메라 위치추적기(120)는,
    다관절링크부의 단부에 상기 근적외선 입체카메라(110)가 체결되며, 각 관절의 링크운동에 의한 물리적 변위를 감지하여 상기 근적외선 입체카메라(110)의 6자유도위치를 측정하는 기계식 위치추적장치(120a)인 것을 특징으로 하는 환자와 3차원 의료영상의 비침습 정합 시스템.
  6. 제 4항에 있어서,
    상기 카메라 위치추적기(120)는,
    상기 근적외선 입체카메라(110)에 장착된 기준마커(121)를 촬영하는 입체카메라를 이용하여 상기 기준마커(121)의 3차원 위치벡터와 3차원 방향벡터를 연산하여 상기 근적외선 입체카메라(110)의 6자유도위치를 측정하는 광학식 위치추적장치(120b)인 것을 특징으로 하는 환자와 3차원 의료영상의 비침습 정합 시스템.
  7. 제 2항에 있어서,
    상기 제1특징점 추출부(133)는,
    상기 혈관모델에서 혈관의 외곽선을 나타내는 경계라인(BL)을 추출하고, 추출된 경계라인(BL)으로부터 혈관을 따라 연장된 중심선을 뼈대라인(SL)으로 추출하는 것을 특징으로 하는 환자와 3차원 의료영상의 비침습 정합 시스템.
  8. 근적외선광에 의해 환자의 정합대상 부위에 투시된 혈관이미지를 근적외선 입체카메라(110)로 촬영하여 입체혈관영상(I2)을 추출하는 입체혈관영상 추출 단계(S210);
    카메라 위치추적기(120)로 상기 근적외선 입체카메라(110)의 실시간 위치를 추적하여 상기 입체혈관영상(I2)의 실세계 좌표계를 산출하는 카메라 위치추적 단계(S220);
    제어기(130)를 이용하여 상기 정합대상 부위의 3차원의료영상(I1)으로부터 제1혈관패턴을 추출하고, 상기 입체혈관영상(I2)으로부터 제2혈관패턴을 추출하는 혈관패턴 추출 단계(S230);
    추출된 제1혈관패턴과 제2혈관패턴을 이용하여 상기 3차원의료영상(I1)과 환자와의 위치정합을 수행하는 영상정합 단계(S240); 및
    상기 제어기(130)에 의해 산출된 정합결과를 화면상에 표시하는 정합결과 표시 단계(S250);를 포함하는 환자와 3차원 의료영상의 비침습 정합 방법.
KR1020130096016A 2013-08-13 2013-08-13 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 KR101572487B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130096016A KR101572487B1 (ko) 2013-08-13 2013-08-13 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
US14/077,462 US9554117B2 (en) 2013-08-13 2013-11-12 System and method for non-invasive patient-image registration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130096016A KR101572487B1 (ko) 2013-08-13 2013-08-13 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150019311A KR20150019311A (ko) 2015-02-25
KR101572487B1 true KR101572487B1 (ko) 2015-12-02

Family

ID=52466556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130096016A KR101572487B1 (ko) 2013-08-13 2013-08-13 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법

Country Status (2)

Country Link
US (1) US9554117B2 (ko)
KR (1) KR101572487B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098642A (ko) * 2016-02-22 2017-08-30 연세대학교 산학협력단 메쉬모핑을 이용한 동맥의 혈류역학 3차원 볼륨 격자 생성 방법
WO2018002863A1 (en) * 2016-06-29 2018-01-04 Niramai Health Analytix Pvt. Ltd. Blood vessel extraction in two-dimensional thermography
KR102013863B1 (ko) * 2018-02-20 2019-08-23 (주)휴톰 가상 신체 모델 구축 방법 및 프로그램
WO2019164271A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 가상신체모델 생성 방법 및 장치

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129417B2 (en) * 2012-02-21 2015-09-08 Siemens Aktiengesellschaft Method and system for coronary artery centerline extraction
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11399900B2 (en) * 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US12133699B2 (en) 2012-06-21 2024-11-05 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
JP6289142B2 (ja) * 2014-02-07 2018-03-07 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP6393106B2 (ja) * 2014-07-24 2018-09-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6641696B2 (ja) * 2015-02-05 2020-02-05 富士通株式会社 画像表示装置、画像表示プログラム及び画像表示方法
KR101699857B1 (ko) 2015-04-28 2017-01-25 부산대학교 산학협력단 근적외선 형광을 이용한 광학 영상 장치 및 시스템 그리고 그의 제어 방법
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
KR102469720B1 (ko) 2017-10-31 2022-11-23 삼성전자주식회사 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
KR101843992B1 (ko) * 2017-11-30 2018-05-14 재단법인 구미전자정보기술원 중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 시스템 및 그 방법
CN108294772B (zh) * 2017-12-31 2021-12-17 北京纳米维景科技有限公司 一种ct扫描视觉定位方法及ct系统
CN110575255B (zh) * 2018-06-07 2022-08-16 格罗伯斯医疗有限公司 使用自然基准提供共配准的机器人系统和相关方法
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
KR20210059279A (ko) 2019-11-15 2021-05-25 한국광기술원 암 수술 가이딩을 위한 근적외선 형광 영상 획득 및 영상 투사 시스템
WO2021213450A1 (en) * 2020-04-22 2021-10-28 Brain Navi Biotechnology Co., Ltd. Method and system to augment medical scan image information on extended reality image
CN112215876B (zh) * 2020-10-22 2022-10-04 烟台艾睿光电科技有限公司 一种双光谱图像配准融合方法、装置、设备及存储介质
KR102580750B1 (ko) * 2020-12-30 2023-09-19 서울대학교산학협력단 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치
CN115409689B (zh) * 2021-05-28 2023-09-29 南京博视医疗科技有限公司 一种多模态视网膜眼底图像的配准方法及装置
CN113870329B (zh) * 2021-09-30 2024-08-27 苏州寻是科技有限公司 一种用于手术导航的医学影像配准系统及方法
CN115869013B (zh) * 2022-12-08 2024-07-12 合肥合滨智能机器人有限公司 一种用于血管超声自主扫查的血管定位和导航方法
KR20240143426A (ko) * 2023-03-24 2024-10-02 주식회사 데카사이트 수술 내비게이션 시스템에서 해부학적 구조물을 이용한 기준 마커 사용 방법
CN118229930B (zh) * 2024-04-03 2024-09-10 艾瑞迈迪医疗科技（北京）有限公司 近红外光学跟踪方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690816B2 (en) * 2000-04-07 2004-02-10 The University Of North Carolina At Chapel Hill Systems and methods for tubular object processing
US7826889B2 (en) * 2000-08-21 2010-11-02 Spectrum Dynamics Llc Radioactive emission detector equipped with a position tracking system and utilization thereof with medical systems and in medical procedures
US6584339B2 (en) * 2001-06-27 2003-06-24 Vanderbilt University Method and apparatus for collecting and processing physical space data for use while performing image-guided surgery
WO2006111965A2 (en) * 2005-04-20 2006-10-26 Visionsense Ltd. System and method for producing an augmented image of an organ of a patient
JP4836122B2 (ja) * 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
JP5061645B2 (ja) * 2007-02-26 2012-10-31 ソニー株式会社 情報抽出方法、情報抽出装置、プログラム、登録装置及び照合装置
US8811692B2 (en) * 2007-04-17 2014-08-19 Francine J. Prokoski System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
US7889902B2 (en) * 2007-06-25 2011-02-15 Accuray Incorporated High quality volume rendering with graphics processing unit
US9427201B2 (en) * 2007-06-30 2016-08-30 Accuray Incorporated Non-invasive method for using 2D angiographic images for radiosurgical target definition
JP5279291B2 (ja) * 2008-02-19 2013-09-04 株式会社東芝 医用画像表示装置および画像表示方法
US10391277B2 (en) * 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
CN103402453B (zh) * 2011-03-03 2016-11-16 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
KR101307944B1 (ko) 2011-10-26 2013-09-12 주식회사 고영테크놀러지 수술영상의 정합 방법
US20140005527A1 (en) * 2012-06-29 2014-01-02 General Electric Company Method and system for dynamic referencing and registration used with surgical and interventional procedures
KR101932721B1 (ko) * 2012-09-07 2018-12-26 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
KR102001219B1 (ko) * 2012-11-26 2019-07-17 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
KR20150113074A (ko) * 2013-02-04 2015-10-07 노바다크 테크놀러지즈 인코포레이티드 신티그래피에 의한 결합식 무방사성 자동화 3차원 환자 체형 이미징

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098642A (ko) * 2016-02-22 2017-08-30 연세대학교 산학협력단 메쉬모핑을 이용한 동맥의 혈류역학 3차원 볼륨 격자 생성 방법
KR101978316B1 (ko) * 2016-02-22 2019-05-14 연세대학교 산학협력단 메쉬모핑을 이용한 동맥의 혈류역학 3차원 볼륨 격자 생성 방법
WO2018002863A1 (en) * 2016-06-29 2018-01-04 Niramai Health Analytix Pvt. Ltd. Blood vessel extraction in two-dimensional thermography
KR102013863B1 (ko) * 2018-02-20 2019-08-23 (주)휴톰 가상 신체 모델 구축 방법 및 프로그램
WO2019164271A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 가상신체모델 생성 방법 및 장치

Also Published As

Publication number Publication date
US9554117B2 (en) 2017-01-24
US20150049174A1 (en) 2015-02-19
KR20150019311A (ko) 2015-02-25

Similar Documents

Publication Publication Date Title
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
US11883118B2 (en) Using augmented reality in surgical navigation
US20220192611A1 (en) Medical device approaches
US11730562B2 (en) Systems and methods for imaging a patient
US10758209B2 (en) Photoacoustic tracking and registration in interventional ultrasound
US9111175B2 (en) Method and a system for registering a 3D pre-acquired image coordinate system with a medical positioning system coordinate system and with a 2D image coordinate system
US20110105895A1 (en) Guided surgery
KR20130108320A (ko) 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
KR102105974B1 (ko) 의료 영상 시스템
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP6806655B2 (ja) 放射線撮像装置、画像データ処理装置及び画像処理プログラム
JP2007136133A (ja) 拡張現実感呈示システム
CN112741689B (zh) 应用光扫描部件来实现导航的方法及系统
US20230248441A1 (en) Extended-reality visualization of endovascular navigation
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
KR101635731B1 (ko) 사람의 체내 구조물을 가시화하는 가시화 시스템 및 방법
JP6795744B2 (ja) 医療支援方法および医療支援装置
US11931111B2 (en) Systems and methods for providing surgical guidance
Trujillo-Hernández et al. Optical 3D Scanning System in Medical Applications
Mela et al. Novel Multimodal, Multiscale Imaging System with Augmented Reality. Diagnostics 2021, 11, 441
CANGELOSI Image-Guided Surgery and Augmented Reality in Orthopaedic Surgery: a perspective on reducing Iatrogenic Nerve Damage in Elbow
Kumar et al. Stereoscopic augmented reality for single camera endoscope using optical tracker: a study on phantom
Park et al. A visual guidance system for minimal invasive surgery using 3D ultrasonic and stereo endoscopic images
CN118369732A (zh) 解剖扫描、瞄准和可视化

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 5