KR101617773B1 - Method and apparatus for monitoring position of radiation treatment system - Google Patents
Method and apparatus for monitoring position of radiation treatment system Download PDFInfo
- Publication number
- KR101617773B1 KR101617773B1 KR1020140074737A KR20140074737A KR101617773B1 KR 101617773 B1 KR101617773 B1 KR 101617773B1 KR 1020140074737 A KR1020140074737 A KR 1020140074737A KR 20140074737 A KR20140074737 A KR 20140074737A KR 101617773 B1 KR101617773 B1 KR 101617773B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- patient
- camera
- correlation value
- axis
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1064—Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1064—Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
- A61N5/1065—Beam adjustment
- A61N5/1067—Beam adjustment in real time, i.e. during treatment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1064—Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
- A61N5/1069—Target adjustment, e.g. moving the patient support
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1064—Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
- A61N5/1069—Target adjustment, e.g. moving the patient support
- A61N5/107—Target adjustment, e.g. moving the patient support in real time, i.e. during treatment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
- A61N2005/1054—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using a portal imaging system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N2005/1074—Details of the control system, e.g. user interfaces
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiation-Therapy Devices (AREA)
Abstract
방사선 치료 장치의 위치 모니터링 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 방사선 치료 장치의 위치 모니터링 방법은 방사선 치료 중 제1 카메라를 이용하여 제1 축과 제2 축에 대한 환자의 제1 영상을 촬영하고, 제2 카메라를 이용하여 상기 제2 축과 제3 축에 대한 상기 환자의 제2 영상을 촬영하는 단계; 이전 방사선 치료 시 상기 제1 카메라를 이용하여 촬영된 상기 환자의 제3 영상과 상기 제2 카메라를 이용하여 촬영된 상기 환자의 제4 영상을 획득하는 단계; 상기 제1 영상과 상기 제3 영상을 비교하여 상기 제1 영상과 상기 제3 영상 간의 제1 상관 관계 값을 계산하고, 상기 제2 영상과 상기 제4 영상을 비교하여 상기 제2 영상과 상기 제4 영상 간의 제2 상관 관계 값을 계산하는 단계; 및 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 미리 결정된 문턱 값 범위 내에 존재하는지 판단하고, 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 상기 문턱 값 범위를 벗어나는 경우 상기 환자의 위치가 방사선 치료 위치에서 벗어난 것으로 결정하여 치료 빔의 조사가 중단되도록 제어하는 단계를 포함한다.A method and an apparatus for monitoring the position of a radiation therapy apparatus are disclosed. A method for monitoring a position of a radiation therapy apparatus according to an embodiment of the present invention includes: capturing a first image of a patient with respect to a first axis and a second axis using a first camera during radiation therapy; Capturing a second image of the patient with respect to the second axis and the third axis; Obtaining a third image of the patient photographed using the first camera and a fourth image of the patient photographed using the second camera in a previous radiotherapy; The first image and the third image are compared to calculate a first correlation value between the first image and the third image, and the second image and the fourth image are compared with each other, Calculating a second correlation value between the four images; And determining if the first correlation value and the second correlation value are within a predetermined threshold range and if the first correlation value and the second correlation value are outside the threshold range, Determining that the position is out of the radiation treatment position and controlling irradiation of the treatment beam to be interrupted.
Description
본 발명은 방사선 치료 장치의 환자 위치 모니터링에 대한 것으로, 상세하게는 방사선 치료 중 모니터링을 통해 환자의 움직임이 발생되더라도 치료 빔이 관심 영역(ROI; region of interest)에 조사되도록 환자의 위치를 제어할 수 있는 방사선 치료 장치의 위치 모니터링 방법 및 그 장치에 관한 것이다.The present invention relates to monitoring of a patient's position in a radiation therapy apparatus, and more particularly, to monitoring the position of a patient so that a treatment beam is irradiated to a region of interest (ROI) And more particularly, to a method and apparatus for monitoring the position of a radiation therapy apparatus.
본 발명은 산업통상자원부 및 한국산업기술평가관리원의 글로벌전문기술개발사업(World Class 300 R&D 사업)의 일환으로 수행한 연구로부터 도출된 것이다[과제번호: 10040362, 과제명: 방사선치료 관리 통합 솔루션의 개발].The present invention was derived from research carried out as part of the global expertise development project (World Class 300 R & D project) of the Ministry of Industry, Trade and Industry and the Korea Industrial Technology Evaluation and Management Service [Task Number: 10040362, Development].
일반적으로, 병원에서 방사선 치료를 위해서는 많은 시스템 또는 장치들이 사용되어야 한다. 이들 시스템 및 장치들의 종류로는 전자 의무 기록 시스템(EMR: Electronic Medical Record), 처방 전달 시스템(OCS: Order Communication System), 의료 영상 저장 전달 시스템(PACS: Picture Archiving and Communication System), 방사선 치료 계획 시스템(RTP: Radiation Treatment Planning), 방사선 치료기(예를 들면, 선형 가속기(LINAC: Linear Accelerator)) 등이 있다.In general, many systems or devices should be used for radiation therapy in hospitals. These systems and devices include Electronic Medical Record (EMR), Order Communication System (OCS), Picture Archiving and Communication System (PACS), Radiation Therapy Planning System Radiation Treatment Planning (RTP), and radiotherapy (e.g., Linear Accelerator (LINAC)).
처방 전달 시스템(OCS)은 각종 의학정보 및 환자들의 진찰자료를 보관한 데이터 베이스(DB)와 의사가 환자를 진단한 후 처방전을 통신망을 통해 각 해당 진료부서로 전달해주는 시스템이다.The prescription delivery system (OCS) is a database (DB) that stores various medical information and patient's medical examination data, and a system that a doctor diagnoses a patient and delivers a prescription to each corresponding medical department through a communication network.
전자 의무 기록 시스템(EMR)은 전자의무기록의 보관 및 검색을 위한 목적으로 구성된 시스템이다.An electronic medical record system (EMR) is a system configured for the purpose of archiving and retrieving electronic medical records.
의료 영상 저장 전달 시스템(PACS)은 CT(Computed Tomography) 장치, MRI(Magnetic Resonance Imaging) 장치, PET(Positron Emission Tomography) 장치, 컴퓨터 단층 촬영 모의 치료기(CT Simulator), 및 CR(Computed Radiography)를 포함하는 적어도 하나의 의료 영상 장치에 의해 촬영된 이미지를 컴퓨터 파일로 저장하고 전달할 수 있는 시스템으로 중간규모이상의 병원에 대부분 도입되어 있는 장비이다.The medical image storage and delivery system (PACS) includes a computed tomography (CT) device, a magnetic resonance imaging (MRI) device, a positron emission tomography (PET) device, a CT simulator, and a computed radiography Is a system that stores and transmits images captured by at least one medical imaging device to a computer file.
방사선 치료 계획 시스템(RTP)은 프로그램적으로 환자의 방사선치료계획을 수립(작성)하는 시스템으로, 방사선 치료 계획 수립, 즉 방사선 치료 계획 정보 작성과 방사선 선량계산 및 검토 등을 수행한다. 이러한 방사선 치료 계획 시스템을 이용하여 전산화 단층 촬영 장치(CT)나 자기공명 영상 진단 장치(MRI) 등에 의해 획득된 환자의 암 발병부위의 영상들 중에서 사용자가 최적의 영상을 선택하거나 환자의 의료사진을 보고 직접 디지타이징(digitizing)하여 이미지화한 후 기본 영상처리를 한 다음 획득한 영상의 기준 좌표를 설정하고 각 부위의 윤곽설정(contouring)을 실시한 후 암 발병의 크기에 따른 빔의 방향과 선량을 산출한다.The Radiation Therapy Planning System (RTP) is a system that establishes (builds) a patient's radiotherapy plan programmatically. It establishes a radiotherapy plan, that is, it creates radiotherapy plan information and calculates and reviews radiation dose. Among these images of cancer-causing areas acquired by CT or magnetic resonance imaging (MRI) using such a radiotherapy planning system, a user selects an optimal image or displays a medical image of a patient After digitizing and digitizing the image, it performs basic image processing, sets the reference coordinates of the acquired image, contouring each part, and calculates the direction and dose of the beam according to the size of the onset of cancer .
방사선 치료의 기본 원칙은 암 치료 효과를 높이면서 정상 조직에서 발생 가능한 급성 및 만성 방사선 반응 또는 합병증뿐 아니라 2차적 종양 발생의 극소화를 목표로 한다. 이를 위하여 적절한 방사선 치료 계획을 수립할 필요가 있다.The basic principles of radiation therapy aim at minimizing secondary tumor development as well as acute and chronic radiation reactions or complications that can occur in normal tissues while enhancing cancer treatment effectiveness. For this purpose, it is necessary to establish an appropriate radiotherapy plan.
방사선 치료기는 방사선 치료 계획 시스템(RTP)에 의해 작성된 방사선 치료 계획에 따라, 실제로 환자에 대한 방사선 치료를 수행하는 장치이다.A radiotherapy device is a device that actually performs radiation therapy on a patient, in accordance with a radiation treatment plan written by the Radiation Therapy Planning System (RTP).
방사선 종양학과의 종양치료방법이 새롭게 개발되고 다양화되고 있으며, 이에 따라 다양한 치료방법에 대한 치료기기들 및 어플리케이션들이 새로이 개발되고 있다.Tumor treatment methods for radiation oncology have been newly developed and diversified, and therapies and applications for various treatment methods have been newly developed.
방사선 종양학과에서 환자에 대한 방사선 치료를 행하는 과정은 다음과 같다. 우선 환자의 종양에 대한 정보를 얻기 위해 의료 영상 장치를 통해 환자의 의료이미지를 얻는다. 이후 상기 환자의 의료이미지를 통해 방사선 치료 계획 시스템(RTP)를 통해 방사선 치료 계획을 수립한다. 다음으로 상기 방사선 치료 계획 시스템(RTP)를 통해 수립된 방사선 치료 계획을 토대로 하여 상기 방사선 치료기를 이용하여 방사선 치료를 수행하게 된다.In the Radiation Oncology Department, the process of radiotherapy for the patient is as follows. First, a medical image of the patient is obtained through a medical imaging device to obtain information about the patient's tumor. The radiation therapy plan is then established via the Radiation Therapy Planning System (RTP) through the medical image of the patient. Next, based on the radiation treatment plan established through the above-described radiation treatment planning system (RTP), the radiation treatment is performed using the radiation therapy apparatus.
이때, 방사선 치료기는 선형가속기(LINAC), 근접치료기(Brachytherapy), 사이버나이프(Cyberknife), 토모테라피(Tomotherapy) 등이 개발되어 사용되고 있으며, 이들 방사선 치료기들은 환자의 종양의 상태, 치료부위에 따라 적절히 선택되어 사용되고 있다.At this time, a radiotherapeutic apparatus has been developed and used such as a linear accelerator (LINAC), a brachytherapy, a cyberknife, a tomotherapy, etc. These radiation therapy apparatuses are appropriately selected according to the condition of a patient, Has been used.
종래 방사선 치료 장치는 방사선 치료 중 환자의 움직임이 발생하면 치료 빔이 방사선 치료의 관심 영역(ROI)이 아닌 다른 위치 또는 영역에 조사되기 때문에 관심 영역의 종양 등이 치료가 되는 것이 아니라 정상적인 부위가 방사선에 노출되어 좋지 않은 영향을 받을 수 있다.Conventional radiotherapy apparatuses are designed so that when a patient's motion occurs during radiation therapy, the treatment beam is irradiated to a position or region other than the ROI of the radiation therapy, so that the tumor or the like in the region of interest is not treated, And may be adversely affected.
따라서, 환자의 움직임을 계속적으로 모니터링하면서 방사선 치료를 수행하는 것이 중요하다.Therefore, it is important to perform radiation therapy while continuously monitoring the patient's movement.
종래 방사선 치료 장치에서 환자의 위치 또는 움직임을 모니터링하는 선행기술인 한국공개특허 제2008-0039916호는 움직이는 관심 영역에 방사선 치료를 시행하는 시스템 및 방법에 대한 것으로, 방사선 치료를 수행하는 동안 환자를 모니터링하고, 모니터링 단계에서 판단한 호흡 패턴 등을 고려하여 치료 계획을 변경하는 기술이다.Prior art Korean Patent Publication No. 2008-0039916, which monitors the position or movement of a patient in a conventional radiotherapy apparatus, is directed to a system and method for performing radiotherapy on a moving area of interest, , A breathing pattern determined in the monitoring step, and the like.
하지만, 상기 선행기술은 환자의 호흡 패턴에 따른 치료 계획들을 모두 설정해야 하기 때문에 환자의 호흡 패턴이 설정된 호흡 패턴과 상이할 경우 치료 계획을 변경하기 어려울 뿐만 아니라 호흡 패턴만을 고려하기에 진단용 침상(couch)에서 동일한 호흡 패턴을 유지한 상태에서 환자의 움직임이 발생하게 되면 관심 영역에 치료 빔이 조사되지 않고 다른 부위에 조사될 가능성이 발생할 수 있으며, 결국 정상적인 부위가 치료 빔에 노출될 수 있는 문제점이 있다.However, since the prior art has to set all the treatment plans according to the patient's breathing pattern, it is difficult to change the treatment plan when the patient's breathing pattern is different from the set respiration pattern, ), It is possible that the patient may be irradiated to the other region without applying the therapeutic beam to the region of interest if the movement of the patient occurs while maintaining the same breathing pattern. As a result, the normal region may be exposed to the treatment beam have.
따라서, 환자의 위치를 모니터링하고 환자의 움직임이 발생하더라도 정상적인 부위가 치료 빔에 노출되는 것을 방지할 수 있도록 환자의 위치를 자동 제어할 수 있는 방법의 필요성이 대두된다.Accordingly, there is a need for a method of automatically controlling the position of a patient so as to monitor the position of the patient and prevent exposure of the normal part to the treatment beam even if the patient's motion occurs.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하고자 도출된 것으로서, 방사선 치료 중 환자의 움직임이 발생되더라도 치료 빔이 관심 영역에 조사되도록 환자의 위치를 제어할 수 있는 방사선 치료 장치의 위치 모니터링 방법 및 그 장치를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a position monitoring method for a radiation therapy apparatus capable of controlling a position of a patient such that a treatment beam is irradiated to a region of interest even if a patient's motion occurs during radiation therapy, And an object thereof is to provide such a device.
또한, 본 발명은 고정된 두 대의 카메라를 이용한 이전 방사선 치료와 현재 방사선 치료 시의 환자 위치에 대한 영상 비교를 통해 환자의 움직임을 모니터링하고 이를 통해 방사선 치료 빔의 조사 여부를 제어함으로써, 방사서 치료 빔이 원하지 않은 부위에 노출되는 것을 방지할 수 있는 방사선 치료 장치의 위치 모니터링 방법 및 그 장치를 제공하는 것을 목적으로 한다.In addition, the present invention monitors movement of a patient through previous radiotherapy using two fixed cameras and image comparison of a patient's position during a current radiotherapy, thereby controlling the irradiation of the radiation therapy beam, And an object thereof is to provide a position monitoring method and apparatus for a radiation therapy apparatus which can prevent a beam from being exposed to an undesired site.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 방사선 치료 장치의 위치 모니터링 방법은 방사선 치료 중 제1 카메라를 이용하여 제1 축과 제2 축에 대한 환자의 제1 영상을 촬영하고, 제2 카메라를 이용하여 상기 제2 축과 제3 축에 대한 상기 환자의 제2 영상을 촬영하는 단계; 이전 방사선 치료 시 상기 제1 카메라를 이용하여 촬영된 상기 환자의 제3 영상과 상기 제2 카메라를 이용하여 촬영된 상기 환자의 제4 영상을 획득하는 단계; 상기 제1 영상과 상기 제3 영상을 비교하여 상기 제1 영상과 상기 제3 영상 간의 제1 상관 관계 값을 계산하고, 상기 제2 영상과 상기 제4 영상을 비교하여 상기 제2 영상과 상기 제4 영상 간의 제2 상관 관계 값을 계산하는 단계; 및 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 미리 결정된 문턱 값 범위 내에 존재하는지 판단하고, 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 상기 문턱 값 범위를 벗어나는 경우 상기 환자의 위치가 방사선 치료 위치에서 벗어난 것으로 결정하여 치료 빔의 조사가 중단되도록 제어하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for monitoring a position of a radiotherapy apparatus, comprising the steps of: capturing a first image of a patient on a first axis and a second axis using a first camera during radiation therapy; And photographing a second image of the patient with respect to the second axis and the third axis using a second camera; Obtaining a third image of the patient photographed using the first camera and a fourth image of the patient photographed using the second camera in a previous radiotherapy; The first image and the third image are compared to calculate a first correlation value between the first image and the third image, and the second image and the fourth image are compared with each other, Calculating a second correlation value between the four images; And determining if the first correlation value and the second correlation value are within a predetermined threshold range and if the first correlation value and the second correlation value are outside the threshold range, Determining that the position is out of the radiation treatment position and controlling irradiation of the treatment beam to be interrupted.
본 발명에 따른 방법은 상기 환자의 위치를 상기 방사선 치료 위치에 놓이도록 상기 환자가 누워있는 진단용 침상(couch)을 제어하는 단계; 및 상기 환자의 위치가 상기 방사선 치료 위치에 위치하면 상기 치료 빔이 조사되도록 제어하는 단계를 더 포함할 수 있다.The method according to the present invention comprises the steps of: controlling a diagnostic couch in which the patient lies to place the patient's position in the radiation treatment position; And controlling the treatment beam to be irradiated when the position of the patient is located at the radiation treatment position.
상기 획득하는 단계는 상기 제3 영상과 상기 제4 영상이 정규화(normalization), 세그멘테이션(segmentation), 에지 검출(edge detection) 과정을 통해 변형된 제3 변형 영상(deformation image)과 제4 변형 영상을 획득하고, 상기 계산하는 단계는 상기 제1 영상과 상기 제2 영상이 정규화(normalization), 세그멘테이션(segmentation), 에지 검출(edge detection) 과정을 통해 변형된 제1 변형 영상과 제2 변형 영상을 획득한 후 상기 제1 변형 영상과 상기 제3 변형 영상을 비교하여 상기 제1 상관 관계 값을 계산하고, 상기 제2 변형 영상과 상기 제4 변형 영상을 비교하여 상기 제2 상관 관계 값을 계산할 수 있다.Wherein the acquiring includes acquiring a third deformation image and a fourth deformation image that are transformed through the normalization, segmentation, and edge detection processes of the third image and the fourth image, And the calculating step may include obtaining the first transformed image and the second transformed image that are transformed through the normalization, segmentation, and edge detection processes of the first image and the second image, The first deformation image and the third deformation image are compared to calculate the first correlation value, and the second deformation image and the fourth deformation image are compared to calculate the second correlation value .
나아가, 본 발명에 따른 방법은 상기 제1 영상, 상기 제2 영상 그리고 상기 제1 영상, 상기 제2 영상 각각에 대응하는 기준 영상을 비교하여 상기 제1 카메라와 상기 제2 카메라 중 적어도 하나의 각도와 위치에 대한 보정 여부를 판단하는 단계; 및 상기 판단 결과 보정이 필요한 경우 상기 제1 카메라와 상기 제2 카메라 중 적어도 하나의 각도와 위치에 대한 보정 값을 계산하는 단계를 더 포함하고, 상기 제2 상관 관계 값을 계산하는 단계는 상기 계산된 보정 값을 반영하여 상기 제1 상관 관계 값과 상기 제2 상관 관계 값을 계산할 수 있다.The method further includes comparing the first image, the second image, the reference image corresponding to the first image, and the reference image corresponding to the second image, so that the reference image corresponding to at least one of the first camera and the second camera And determining whether or not the position is corrected; And calculating a correction value for an angle and a position of at least one of the first camera and the second camera when correction is required as a result of the determination, The first correlation value and the second correlation value may be calculated by reflecting the correction value.
본 발명의 일 실시예에 따른 방사선 치료 장치의 위치 모니터링 장치는 진단용 침상(couch)에서 제1 축과 제2 축에 대한 환자의 영상을 촬영하는 제1 카메라; 상기 환자에 대한 상기 제2 축과 제3 축에 대한 상기 환자의 영상을 촬영하는 제2 카메라; 이전 방사선 치료 시 상기 제1 카메라와 상기 제2 카메라에 의해 미리 촬영되어 저장된 상기 진단용 침상과 상기 환자를 포함하는 제1 영상과 제2 영상을 획득하는 영상 획득부; 현재 방사선 치료 중 상기 제1 카메라와 상기 제2 카메라에 의해 촬영된 제3 영상과 제4 영상을 수신하고, 상기 제1 영상과 상기 제3 영상을 비교하여 상기 제1 영상과 상기 제3 영상 간의 제1 상관 관계 값을 계산하며, 상기 제2 영상과 상기 제4 영상을 비교하여 상기 제2 영상과 상기 제4 영상 간의 제2 상관 관계 값을 계산하는 상관 관계 값 계산부; 및 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 미리 결정된 문턱 값 범위 내에 존재하는지 판단하고, 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 상기 문턱 값 범위를 벗어나는 경우 상기 환자의 위치가 방사선 치료 위치에서 벗어난 것으로 결정하여 치료 빔의 조사가 중단되도록 제어하는 모니터링 제어부를 포함한다.The apparatus for monitoring a position of a radiotherapy apparatus according to an embodiment of the present invention includes a first camera for capturing an image of a patient on a first axis and a second axis in a diagnostic couch; A second camera for capturing an image of the patient with respect to the second axis and the third axis with respect to the patient; An image acquiring unit acquiring a first image and a second image including the diagnosis needle bed and the patient previously photographed and stored by the first camera and the second camera in previous radiation treatment; A method for receiving a third image and a fourth image photographed by the first camera and the second camera during a current radiation therapy, comparing the first image and the third image, and comparing the first image and the third image, A correlation value calculation unit for calculating a first correlation value and calculating a second correlation value between the second image and the fourth image by comparing the second image and the fourth image; And determining if the first correlation value and the second correlation value are within a predetermined threshold range and if the first correlation value and the second correlation value are outside the threshold range, And a monitoring control unit for determining that the position is deviated from the radiation treatment position and stopping the irradiation of the treatment beam.
본 발명에 따르면, 고정된 두 대의 카메라를 이용한 환자의 기준 위치에 대한 영상과 현재 방사선 치료 중 환자의 위치에 대한 영상 비교를 통해 치료 중 환자의 움직임이 발생하더라도, 환자 모니터링을 통해 방사선 치료 빔이 원하는 관심 영역으로 조사될 수 있도록 환자의 위치를 제어함으로써, 환자의 움직임이 발생하더라도 정상적인 부위가 치료 빔에 노출되는 것을 방지할 수 있다.According to the present invention, even if a motion of a patient occurs during treatment through image comparison of a reference position of a patient using two fixed cameras and the position of the patient during the current radiation treatment, By controlling the position of the patient so that it can be irradiated to the desired region of interest, it is possible to prevent the normal region from being exposed to the treatment beam even if the patient's motion occurs.
즉, 본 발명은 방사선 치료에 대한 환자의 기준 위치에 대한 영상과 방사선 치료 중 촬영된 환자의 영상에 대한 상관 관계 값을 통해 환자의 위치를 모니터링함으로써, 치료 빔이 종양 등의 관심 영역에 조사되도록 환자의 위치를 제어할 수 있다. That is, the present invention monitors the position of the patient through the correlation value between the image of the patient's reference position with respect to the radiation treatment and the image of the patient taken during the radiation treatment so that the treatment beam is irradiated onto the region of interest such as the tumor The position of the patient can be controlled.
또한, 본 발명은 카메라의 기준 촬영 위치에 대한 영상을 이용하여 카메라의 촬영 위치를 반영함으로써, 환자의 위치 모니터링에 대한 신뢰성을 향상시키고 이를 통해 방사선 치료에 대한 신뢰성 또한 향상시킬 수 있다.In addition, the present invention can improve the reliability of the position monitoring of the patient by reflecting the photographing position of the camera using the image of the reference position of the camera, thereby improving the reliability of the radiation treatment.
구체적으로, 본 발명은 방사선 치료 중 촬영된 영상 분석을 통해 카메라의 각도 또는 위치를 보정하고, 보정된 카메라의 각도 또는 위치를 반영하여 환자의 위치 모니터링을 수행함으로써, 환자의 위치 모니터링에 대한 신뢰성을 향상시킬 수 있다.Specifically, the present invention corrects the angle or position of the camera through image analysis during radiotherapy, and performs positional monitoring of the patient by reflecting the corrected angle or position of the camera, Can be improved.
본 발명에 따르면 비교적 간단한 구성을 가진 2개의 카메라를 이용하면서도, 진단용 침상의 기준 위치, 및 환자의 몸에 표시된 마커 또는 아이소 센터(ISO center)의 위치 등을 감지하여 카메라의 각도의 미세한 뒤틀림, 환자의 위치(position) 뿐만 아니라 자세(pose)의 미세한 변화를 모니터링할 수 있는 방사선 치료 장치의 모니터링 방법이 제공된다.According to the present invention, even when two cameras having a relatively simple configuration are used, the reference position of the diagnostic needle bed and the position of the marker or ISO center displayed on the body of the patient are detected, A monitoring method of a radiation therapy apparatus capable of monitoring a minute change of a pose as well as a position of a radiation therapy apparatus is provided.
도 1은 본 발명의 일 실시예에 따른 방사선 치료 장치의 위치 모니터링 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명에 따른 방법의 추가적인 동작 흐름도를 나타낸 것이다.
도 3은 도 1에 도시된 단계 S140에 대한 다른 일 실시예 동작 흐름도를 나타낸 것이다.
도 4는 본 발명을 설명하기 위한 방사선 치료 장치의 일 예시도를 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 방사선 치료 장치의 위치 모니터링 장치에 대한 구성을 나타낸 것이다.1 is a flowchart illustrating an operation of a method for monitoring a position of a radiation therapy apparatus according to an embodiment of the present invention.
Figure 2 shows a further operational flow diagram of the method according to the invention.
FIG. 3 illustrates another exemplary operational flow diagram for step S140 shown in FIG.
Fig. 4 shows an example of a radiation therapy apparatus for explaining the present invention.
FIG. 5 shows a configuration of a position monitoring apparatus for a radiation therapy apparatus according to an embodiment of the present invention.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.Other objects and features of the present invention will become apparent from the following description of embodiments with reference to the accompanying drawings.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
이하에서는, 본 발명의 일 실시 예에 따른 방사선 치료 장치의 위치 모니터링 방법 및 그 장치를 첨부된 도 1 내지 도 5를 참조하여 상세히 설명한다.Hereinafter, a method and an apparatus for monitoring the position of a radiation therapy apparatus according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 5.
본 발명은 방사선 치료 중 환자의 위치를 모니터링하고자 하는 것으로, 진단용 침상(couch)의 상부에 구비된 카메라와 측면에 구비된 카메라에 의해 촬영된 영상과 기준 영상의 비교를 통한 상관 관계 값을 이용하여 환자의 움직임을 자동 모니터링함으로써, 치료 빔이 정상적인 부위에 조사되는 것을 방지하고, 환자의 위치가 정상적인 위치로 놓이도록 자동 제어함으로써, 방사선 치료에 대한 신뢰성을 높이고자 하는 것이다. The present invention is to monitor the position of a patient during radiotherapy. The correlation value between a camera provided on a diagnostic couch and a camera mounted on a side of the diagnostic couch and a reference image is used By automatically monitoring the movement of the patient, it is intended to increase the reliability of the radiation therapy by preventing the treatment beam from being irradiated to the normal region and automatically controlling the position of the patient to be in a normal position.
도 1은 본 발명의 일 실시예에 따른 방사선 치료 장치의 위치 모니터링 방법에 대한 동작 흐름도를 나타낸 것이다. 도 1의 위치 모니터링 방법은 방사선 치료 장치에서 환자의 위치 또는 움직임을 모니터링할 수 있는 컴퓨팅 시스템의 프로세서(processor)를 통하여 실행될 수 있으며, 프로세서와 연결되는 메모리에 로드(load)되는 인스트럭션의 형태로 저장될 수 있다.1 is a flowchart illustrating an operation of a method for monitoring a position of a radiation therapy apparatus according to an embodiment of the present invention. The position monitoring method of FIG. 1 may be executed through a processor of a computing system capable of monitoring the position or movement of a patient in a radiation therapy apparatus, and may be stored in the form of an instruction loaded into a memory connected to the processor .
본 발명은 방사선 치료를 시작하기 전 진단용 침대(couch)에서의 환자 위치를 이전 방사선 치료 때의 환자 위치와 동일하게 위치시킨 상태에서 방사선 치료를 수행하는 과정에서의 모니터링에 대한 것이다. 즉, 본 발명은 방사선 치료를 위해 환자가 정확한 위치에 위치한 상태에서 실시간으로 환자의 움직임을 모니터링하는 것이다.The present invention is directed to monitoring during the course of performing radiation therapy with the patient's location in a diagnostic couch positioned prior to the start of radiation therapy in the same position as the patient at the previous radiation treatment. That is, the present invention monitors the movement of the patient in real time in a state where the patient is in the correct position for radiotherapy.
도 1을 참조하면, 본 발명에 따른 방법은 방사선 치료 중 방사선 치료 장치에 구비된 제1 카메라를 이용하여 진단용 침상의 제1 축과 제2 축에 대한 환자의 영상(이하 "제1 영상"이라 칭함)을 촬영하고, 제2 카메라를 이용하여 진단용 침상의 제2 축과 제3축에 대한 환자의 영상(이하 "제2 영상"이라 칭함)을 촬영한다(S110, S120).Referring to FIG. 1, a method according to the present invention includes a first camera provided in a radiotherapy apparatus during a radiotherapy, and a patient's first and second axes of a diagnostic needle bed (Hereinafter referred to as "second image") with respect to the second axis and the third axis of the diagnostic needle bed using the second camera (S110, S120).
이 때, 제1 카메라(410)는 도 4에 도시된 일 예와 같이, 진단용 침상(430)의 상부에서 환자를 촬영하는 카메라일 수 있고, 제2 카메라(420)는 진단용 침상(430)의 측면에서 환자를 촬영하는 카메라일 수 있으며, 제1 축, 제2 축, 제3 축은 x축, y축, z축일 수 있다. 그리고, 제1 카메라와 제2 카메라는 방사선 치료 장치의 갠트리(gantry)(440)에 고정되어 위치할 수도 있지만, 갠트리가 아닌 다른 특정 위치에 고정되어 위치할 수도 있다.4, the
본 발명에서의 카메라는 CCD(charge coupled device), CMOS 등을 이용한 촬영 기기를 의미한다.The camera in the present invention means a photographing device using a CCD (charge coupled device), a CMOS, or the like.
따라서, 제1 카메라에 의해 촬영되는 제1 영상은 x축과 y축의 환자의 위치 변화를 주로 검출하기 위한 영상일 수 있고, 제2 카메라에 의해 촬영되는 제2 영상은 y축과 z축의 환자의 위치 변화를 주로 검출하기 위한 영상일 수 있다.Accordingly, the first image captured by the first camera may be an image for mainly detecting a change in position of the patient in the x-axis and the y-axis, and the second image captured by the second camera may be an image detected in the y- It may be an image for mainly detecting a change in position.
본 발명에서의 제1 영상과 제2 영상은 현재 방사선 치료 중 환자의 움직임 또는 위치 변화를 모니터링하기 위한 상부 영상과 측면 영상일 수 있다.The first image and the second image in the present invention may be an upper image and a lateral image for monitoring the movement or position change of the patient during the current radiation therapy.
제1 영상과 제2 영상이 촬영되면, 이전 방사선 치료 시 제1 카메라와 제2 카메라에 의해 미리 촬영되어 저장된 환자의 기준 영상들을 획득한다(S130).When the first image and the second image are photographed, reference images of the patient previously captured and stored by the first camera and the second camera are obtained at the previous radiation treatment (S130).
이 때, 기준 영상들은 이전 방사선 치료 예컨대, 최초 방사선 치료 또는 바로 이전 방사선 치료 시에 제1 카메라와 제2 카메라에 의해 촬영된 환자를 포함한 의료 영상으로, 본 발명에서는 제3 영상과 제4 영상으로 칭하여 설명한다.At this time, the reference images are the medical images including the patients photographed by the first camera and the second camera in the previous radiation therapy, for example, the initial radiation therapy or the immediately preceding radiation therapy. In the present invention, .
즉, 제3 영상은 방사선 치료를 수행한 이전 방사선 치료 시 제1 카메라에 의해 촬영된 환자의 x축과 y축에 대한 영상을 의미하고, 제4 영상은 이전 방사선 치료 시 제2 카메라에 의해 촬영된 환자의 y축과 z축에 대한 영상을 의미하는 것으로, 제3 영상과 제4 영상은 방사선 치료 빔이 환자의 관심 영역으로 정확하게 조사되는 환자의 위치를 의미한다.That is, the third image means the x-axis and y-axis images of the patient taken by the first camera during the previous radiation treatment performed with the radiation therapy, and the fourth image is taken by the second camera during the previous radiation treatment And the third and fourth images indicate the position of the patient where the radiation beam is accurately irradiated to the region of interest of the patient.
제3 영상과 제4 영상은 방사선 치료 장치와 연결된 별도의 저장 장치 또는 시스템 예를 들어, 의료영상 저장 전송 시스템(PACS)으로부터 획득될 수 있는데, 환자의 정보를 이용하여 PACS 등으로부터 획득할 수 있다. 물론, 본 발명에 따른 방법은 방사선 치료를 수행하는 전문의에 의해 환자의 위치 모니터링을 위한 사용자 입력이 사용자 인터페이스를 통해 수신되면 수행될 수 있다.The third image and the fourth image may be acquired from a separate storage device or system connected to the radiotherapy apparatus, for example, a medical image storage transmission system (PACS), and may be acquired from PACS or the like using patient information . Of course, the method according to the present invention can be performed when a user input for monitoring the position of a patient is received through a user interface by a specialist performing radiotherapy.
단계 S130에 의해 이전 방사선 치료 시 환자의 위치에 대한 제3 영상과 제4 영상이 획득되면 제3 영상과 제3 영상에 대응하는 제1 영상을 이용하여 제1 영상과 제3 영상 간 상관 관계 값(이하, "제1 상관 관계 값"이라 칭함)을 계산하고, 제4 영상과 제4 영상에 대응하는 제2 영상을 이용하여 제2 영상과 제4 영상 간 상관 관계 값(이하, "제2 상관 관계 값"이라 칭함)을 계산한다(S140, S150).When the third and fourth images of the patient's position are acquired in the previous radiotherapy in step S130, a correlation value between the first image and the third image is calculated using the first image corresponding to the third image and the third image, (Hereinafter, referred to as "second correlation value "), and calculates a correlation value between the second image and the fourth image (hereinafter referred to as " second correlation value ") using the second image corresponding to the fourth image and the fourth image, Correlation value ") is calculated (S140, S150).
이 때, 단계 S140과 S150은 영상을 특정 과정을 통해 변형 영상(deformation image)을 생성한 후 생성된 변형 영상들을 이용하여 변형 영상들 간의 상관 관계 값을 계산할 수 있는데, 상관 관계 값을 계산하기 위한 변형 영상을 생성하는 과정에 대해 도 2를 참조하여 설명하면 다음과 같다.In this case, in steps S140 and S150, a correlation value between deformed images may be calculated using deformed images generated after a deformation image is generated through a specific process of an image. A process of generating a deformed image will be described with reference to FIG.
도 2는 본 발명에 따른 방법의 추가적인 동작 흐름도를 나타낸 것이다.Figure 2 shows a further operational flow diagram of the method according to the invention.
도 2에 도시된 바와 같이, 제1 영상과 제2 영상이 촬영되면, 촬영된 제1 영상과 제2 영상을 수신하여 제1 영상과 제2 영상에 대해 정규화(normalization)하고, 정규화된 영상을 세그멘테이션(segmentation)과 에지 검출(edge detection) 과정을 통해 변형된 제1 변형 영상과 제2 변형 영상을 생성한다(S210 내지 S240).As shown in FIG. 2, when the first image and the second image are captured, the first image and the second image are received and normalized with respect to the first image and the second image, and the normalized image The first deformed image and the second deformed image are generated through a segmentation process and an edge detection process (S210 to S240).
도 2에서의 정규화, 세그멘테이션, 에지 검출 과정에 대해서는, 본 발명의 기술 분야에 종사하는 당업자라면 충분히 알 수 있는 내용이기에, 이에 대한 상세한 설명은 생략한다.The normalization, segmentation, and edge detection processes in FIG. 2 are well known to those skilled in the art, so a detailed description thereof will be omitted.
물론, 도 2에 대한 과정은 이전 방사선 치료 시 촬영된 제3 영상과 제4 영상에 대해서도 동일하게 적용되어, 제3 영상과 제4 영상에 대한 정규화(normalization), 세그멘테이션(segmentation)과 에지 검출(edge detection) 과정을 통해 변형된 제3 변형 영상과 제4 변형 영상이 생성된 후 미리 저장되는 것이 바람직하다.Of course, the process of FIG. 2 is applied to the third image and the fourth image captured in the previous radiotherapy, and the normalization, segmentation and edge detection of the third and fourth images it is preferable that the deformed third deformed image and the fourth deformed image are generated and stored in advance after edge detection.
그리고 단계 S140과 S150에서 상관 관계 값을 생성하는 것은 도 2에서 생성된 제1 변형 영상, 제2 변형 영상, 제3 변형 영상, 및 제4 변형 영상을 이용하여 계산될 수 있다. 즉, 제1 상관 관계 값은 제1 변형 영상과 제3 변형 영상의 비교를 통한 상관 관계 값이고, 제2 상관 관계 값은 제2 변형 영상과 제4 변형 영상의 비교를 통한 상관 관계 값이다.The generating of the correlation value in steps S140 and S150 may be performed using the first deformed image, the second deformed image, the third deformed image, and the fourth deformed image generated in FIG. That is, the first correlation value is a correlation value through comparison between the first transformed image and the third transformed image, and the second correlation value is a correlation value obtained by comparing the second transformed image and the fourth transformed image.
이 때, 계산되는 상관 관계 값()은 아래 <수학식 1>, <수학식 2>와 같이 계산될 수 있다.At this time, the calculated correlation value ( Can be calculated as Equation (1) and Equation (2) below.
[수학식 1][Equation 1]
여기서, 는 template 영상(t)의 이동거리(u, v)에 대한 상호 상관 관계 팩터(cross-correlation factor)를 의미하고, (x, y)는 기본 영상(f)에 대한 좌표축을 의미하고, 는 기본 영상(f)의 평균값을 의미하고, 는 template 영상(t)의 평균값을 의미하는 것으로, 본 발명에서 f는 제1 변형 영상, 제2 변형 영상을 의미할 수 있고, t는 제3 변형 영상, 제4 변형 영상을 의미할 수 있고, 는 제1 변형 영상, 제2 변형 영상의 평균값을 의미할 수 있고, 는 제3 변형 영상, 제4 변형 영상의 평균값을 의미할 수 있다.here, (X, y) denotes a coordinate axis for the basic image f, and (x, y) denotes a cross-correlation factor for the movement distance (u, v) Means an average value of the basic image f, Refers to an average value of the template image (t). In the present invention, f may denote a first transformed image and a second transformed image, t may denote a third transformed image and a fourth transformed image, May mean an average value of the first transformed image and the second transformed image, May mean an average value of the third transformed image and the fourth transformed image.
상기 수학식 1은 상호 상관 관계 값()이 최대인 지점 (u, v) 지점을 찾는 수식이지만, 본 발명은 영상을 모니터링할 때, 전체 영상을 template 영상으로 지정하고, 전체 영상을 대상으로 모니터링하기 때문에 (u, v)는 (0, 0)이 된다.Equation (1) represents the cross-correlation value (U, v) is a formula for finding a point (u, v) at which the maximum value (u, v) is maximum. However, since the entire image is designated as a template image, , 0).
수학식 1에서 전체 영상에 대하여 normalization시키면, 아래 <수학식 2>와 같이 나타낼 수 있다.The normalization of the entire image in Equation (1) can be expressed as Equation (2) below.
[수학식 2]&Quot; (2) "
여기서, 는 t 영상(제3 변형 영상, 제4 변형 영상)에 대한 f 영상(제1 변형 영상, 제2 변형 영상)의 노말라이즈된 상호 상관 관계(normalized cross correlation) 값을 의미하고, n은 전체 픽셀수를 의미하고, f는 제1 변형 영상, 제2 변형 영상을 의미하고, t는 제3 변형 영상, 제4 변형 영상을 의미하고, 는 제1 변형 영상, 제2 변형 영상의 평균값을 의미하고, 는 제3 변형 영상, 제4 변형 영상의 평균값을 의미하고, 는 f 영상에 대한 표준편차를 의미하고, 는 t 영상에 대한 표준편차를 의미한다.here, Denotes a normalized cross correlation value of an f image (first deformation image, second deformation image) for a t image (a third deformation image or a fourth deformation image), and n denotes a normalized cross- F denotes a first transformed image and a second transformed image, t denotes a third transformed image and a fourth transformed image, Means an average value of the first transformed image and the second transformed image, Means an average value of the third transformed image and the fourth transformed image, Denotes the standard deviation of the f image, Is the standard deviation of t image.
다시 도 1을 참조하여, 단계 S140과 S150에 의해 제1 상관 관계 값과 제2 상관 관계 값이 계산되면 계산된 두 상관 관계 값(제1 상관 관계 값과 제2 상관 관계 값)이 미리 결정된 문턱 값(threshold) 범위 내에 존재하는지 판단한다(S160).Referring again to FIG. 1, when the first correlation value and the second correlation value are calculated by steps S140 and S150, two calculated correlation values (the first correlation value and the second correlation value) It is determined whether or not it is within a threshold range (S160).
즉, 단계 S160은 두 상관 관계 값 모두가 문턱 값 범위 내에 존재하는지 판단한다.That is, step S160 determines whether both correlation values are within a threshold range.
단계 S160 판단 결과, 두 상관 관계 값이 문턱 값 범위를 벗어난 것으로 판단되면, 방사선 치료에 영향을 줄 수 있을 정도로 환자의 움직임이 발생된 것으로 판단하고, 방사선 치료 빔의 조사가 중단되도록 조사 빔을 제어한다(S170).If it is determined that the two correlation values are out of the threshold range as a result of the determination in step S160, it is determined that the patient's motion has occurred to such an extent as to affect the radiation therapy, and the irradiation beam is controlled (S170).
그리고, 환자의 움직임에 의한 위치 변화를 계산하여 환자의 위치를 방사선 치료를 수행하기 위한 치료 위치에 놓이도록 진단용 침상을 이동 또는 회전시킴으로써, 환자의 위치를 제어한다(S180).Then, the position of the patient is controlled by moving or rotating the diagnostic needle so that the position of the patient is located at the treatment position for performing the radiotherapy (S180).
이 때, 환자의 위치 제어는 제1 영상과 제3 영상을 이용하여 제1 축과 제2 축에 대한 환자의 제1 위치 변화를 계산하고, 제2 영상과 제4 영상을 이용하여 제2 축과 제3 축에 대한 환자의 제2 위치 변화를 계산하며, 계산된 제1 위치 변화와 제2 위치 변화를 이용하여 환자의 위치를 치료 위치에 위치하도록 진단용 침상을 제어할 수 있는데, 진단용 침상(coach)의 미리 결정된 길이를 이용하여 해당 영상에서의 단위 길이당 픽셀수를 계산함으로써, 환자의 위치 변화를 계산할 수 있다.At this time, the position control of the patient calculates the first positional change of the patient with respect to the first axis and the second axis using the first image and the third image, and calculates the first position and the second axis using the second and fourth images, And the second positional change of the patient with respect to the third axis, and using the calculated first positional change and the second positional change, the diagnostic needle bed can be controlled to position the patient's position at the treatment position. coach may be used to calculate the number of pixels per unit length in the image to calculate the position change of the patient.
환자의 위치 변화는 x축 방향으로의 회전 각도, y축 방향으로의 회전 각도, z축 방향으로의 회전 각도의 변화를 포함할 수도 있으며, 상황에 따라 제1 위치 변화는 x축, y축으로의 위치 변화를 의미할 수도 있고, 제2 위치 변화는 z축으로의 위치 변화를 의미할 수도 있으며, 위치 변화는 해당 축 방향으로의 이동 뿐만 아니라 회전을 포함할 수 있다.The position change of the patient may include a change in the rotation angle in the x-axis direction, the rotation angle in the y-axis direction, and the rotation angle in the z-axis direction, The second position change may mean a position change in the z-axis, and the position change may include a rotation as well as a movement in the corresponding axial direction.
환자의 위치를 제어하기 위한 위치 변화는 환자의 몸에 표시된 마커 또는 아이소 센터(ISO center)와 미리 체크된 진단용 침상의 특정 기준 위치를 기준으로 계산되며, 본 발명에 따르면 환자가 진단용 침상(coach) 위에서 취하는 위치(position)의 변화와, 환자가 취하는 자세(pose)의 변화를 모두 계산할 수 있다.The position change for controlling the position of the patient is calculated based on the markers or the ISO center of the patient's body and the specific reference position of the pre-checked diagnostic bed, and according to the present invention, It is possible to calculate both the change in the position taken from above and the change in the pose taken by the patient.
물론, 단계 S180은 이전 방사선 치료 시 환자가 취했던 위치 및 자세와 현재 취하고 있는 위치 및 자세 간의 차이를 계산하여, 현재 상태에서 방사선 치료가 소기의 목적을 달성할 수 있도록 방사선 치료의 관심 영역(ROI)이 방사선의 경로에 올바르게 위치할 수 있도록 환자가 누워 있는 진단용 침상을 이동시킴으로써, 환자의 위치를 제어할 수 있다.Of course, the step S180 calculates the difference between the position and the posture taken by the patient in the previous radiation treatment and the position and posture currently taken, and calculates the ROI of the radiation therapy so that the radiation therapy can achieve the desired purpose in the current state. The position of the patient can be controlled by moving the patient's lying down needle bed so that it is correctly positioned in the path of the radiation.
환자는 방사선 치료 중 진단용 침상 상에서 x축, y축 방향으로 평행하게 이동하였을 수도 있고, 비스듬히 움직였을 수도 있다. 또는 환자가 취한 자세가 이전 방사선 치료 시의 자세와 비교할 때 약간 비틀어져 있을 수도 있다. 이런 환자의 위치 변화는 환자의 몸에 표시된 복수 개의 마커를 이용하여 제1 영상과 제3 영상 간의 비교를 통하여 환자의 위치의 x-y 평면 내에서의 변화, x-y 평면 상에서의 회전 여부를 추출할 수 있다. 또한 환자의 자세(pose)가 정면으로 누운 자세(supine pose), 엎드린 자세(prone pose), 옆으로 누운 자세(lateral pose) 인 경우에, 환자가 이전 치료 시와 비교하여 몸을 더 뒤틀어 누운 경우, 그 차이를 검출할 수도 있다.The patient may have moved parallel to the x- and y-axes on the diagnostic needle during radiotherapy, or may have moved obliquely. Or the patient's posture may be slightly distorted when compared to the posture at the previous radiation treatment. The change of the position of the patient can be detected by comparing the first and third images using a plurality of markers displayed on the body of the patient so that the change of the position of the patient in the xy plane and the rotation on the xy plane can be extracted . In addition, when the patient's pose is supine pose, prone pose, or lateral pose, the patient is more twisted compared to the previous treatment , The difference may be detected.
또한, 진단용 침상의 특정 기준 위치 간의 픽셀 변화를 분석하면, 진단용 침상의 위치는 동일한데 환자의 위치 또는 자세가 달라진 것인지, 진단용 침상 자체가 어느 방향으로 이동한 것인지도 확인할 수 있다.In addition, when the pixel change between specific reference positions of the diagnostic needle bed is analyzed, the position of the diagnostic needle bed is the same, and it can be confirmed whether the patient's position or posture has changed or in which direction the diagnostic needle itself has moved.
예를 들어, 단계 S180은 제3 영상에서 진단용 침상(couch)의 미리 결정된 길이 예를 들어, 진단용 침상의 폭 또는 길이에 대한 픽셀수와 환자의 위치에 대한 픽셀수를 계산하고 제1 영상에서 진단용 침상(couch)의 폭 또는 길이에 대한 픽셀수와 환자의 위치에 대한 픽셀수를 계산하며, 계산된 픽셀수를 이용하여 환자의 위치 변화를 계산하고, 계산된 위치 변화를 이용하여 환자가 누워있는 진단용 침상을 x축, y축, z축 방향으로 이동시키거나 회전시킴으로써, 환자의 위치가 이전 방사선 치료 시의 환자 위치와 동일한 위치에 놓이도록 제어한다.For example, in step S180, a predetermined length of the diagnostic couch in the third image is calculated, for example, the number of pixels for the width or length of the diagnostic needle bed and the number of pixels for the position of the patient, Calculating the number of pixels with respect to the width or length of the couch and the number of pixels with respect to the position of the patient, calculating the positional change of the patient using the calculated number of pixels, By moving or rotating the diagnostic needle in the x-, y-, and z-axis directions, the position of the patient is controlled to be in the same position as the patient position in the previous radiotherapy.
이 때, 진단용 침상에서의 환자의 x축과 y에 대한 위치는 진단용 침상의 끝을 기준으로 픽셀수를 계산할 수도 있고 진단용 침상에 미리 설정된 적어도 하나 이상의 기준 패턴 또는 기준 마크를 기준으로 픽셀수를 계산할 수도 있다. 물론, 진단용 침상에서의 환자의 위치는 진단용 침상에 미리 설정된 하나 이상의 기준 패턴과 환자 상에 미리 설정된 특징 점들 예를 들어, 눈, 코, 입 또는 환자의 특정 위치에 표시된 마크 간의 단위 길이당 픽셀수를 이용하여 진단용 침상에서 환자의 x축 위치와 y축 위치를 계산할 수도 있으며, 기준 패턴과 환자의 형상, 신체 길이, 신체 부위 간격 길이 간의 단위 길이당 픽셀수를 이용하여 진단용 침상에서 환자의 x축 위치와 y축 위치를 계산할 수도 있다.At this time, the position of the patient with respect to the x-axis and y in the diagnosis bed can be calculated based on the end of the diagnosis bed or the number of pixels based on at least one reference pattern or reference mark set in advance on the diagnosis bed It is possible. Of course, the position of the patient in the diagnostic bed may be determined by the number of pixels per unit length between the at least one reference pattern preset on the diagnostic bed and the characteristic points preset on the patient, for example, between the marks displayed on the eyes, nose, Axis position and the y-axis position in the diagnosis needle bed can be calculated using the number of pixels per unit length between the reference pattern and the shape of the patient, the body length, and the interval length of the body part, You can also calculate position and y-axis position.
물론, 진단용 침상에서의 환자 위치가 변경되는 경우라면 단위 길이당 픽셀수가 동일하겠지만, 진단용 침상에 움직임이 발생한 경우라면 단위 길이당 픽셀수가 달라질 수 있다. 따라서, 이와 같은 변화를 고려하여 환자의 위치를 제어하는 것이 바람직하며, 환자의 위치 변화 계산 시 다른 영상에서의 위치 변화 정보를 반영함으로써, 해당 영상에서의 위치 변화를 보정 또는 보완할 수 있다.Of course, if the position of the patient in the diagnostic needle bed is changed, the number of pixels per unit length will be the same, but the number of pixels per unit length may vary if movement occurs in the diagnostic needle bed. Therefore, it is preferable to control the position of the patient in consideration of the above change, and the position change in the image can be corrected or supplemented by reflecting the position change information in the other image when calculating the position change of the patient.
물론 단계 S160 판단 결과, 두 상관 관계 값이 문턱 값 범위를 벗어나는 경우 방사선 치료 빔의 조사를 중단한다는 사실은 전문의에게 알릴 수 있는 알람(alarm)을 작동시킬 수도 있다.Of course, as a result of the determination in step S160, the fact that the irradiation of the radiation treatment beam is stopped when the two correlation values are out of the threshold range may activate an alarm notifying the specialist.
또한, 본 발명은 고정된 두 대의 카메라를 이용하여 방사선 치료 중인 환자를 실시간 촬영함으로써, 촬영된 환자의 실시간 영상을 분석하여 환자의 호흡 주기 데이터를 생성할 수도 있으며, 이렇게 생성된 환자의 호흡 주기 데이터를 그래프 등으로 제공할 수도 있다.In addition, the present invention can generate breathing cycle data of the patient by analyzing the real-time image of the patient taken in real time by photographing the patient under radiation therapy using two fixed cameras, As a graph or the like.
이전 치료 시와 현재 방사서 치료 상태에서 환자는 몸을 구부정하게 하거나, 몸을 더 펴거나, 몸을 더 비틀 수도 있다. 환자의 몸에 표시된 복수 개의 마커는 제1 영상과 제3 영상 사이에서 평행/회전/확대/축소된 것처럼 보이는 것 외에 뒤틀린 것처럼 나타날 수도 있다. 이 때에는 복수 개의 마커의 중심을, ROI의 중심으로 보고 위치 제어의 기준으로 삼아 단계 S190을 수행할 수도 있다. 본 발명에서 제1 영상과 제2 영상을 촬영하는 제1 카메라와 제2 카메라는 특정 위치에 고정되는 것이 바람직하지만, 상황에 따라 제1 카메라 또는 제2 카메라의 영상 촬영 각도와 위치 등이 미세하게 틀어질(어긋날) 수도 있다.At the previous and current radiotherapy treatments, the patient may flex the body, stretch the body, or twist the body further. The plurality of markers displayed on the patient's body may appear to be distorted in addition to appearing to be parallel / rotated / zoomed / reduced between the first image and the third image. In this case, the center of the plurality of markers may be regarded as the center of the ROI and step S190 may be performed based on the position control reference. In the present invention, it is preferable that the first camera and the second camera for capturing the first image and the second image are fixed at specific positions. However, depending on the situation, the first camera or the second camera may have a small angle It can be turned off.
따라서, 환자의 위치를 촬영하는 제1 카메라와 제2 카메라의 촬영 각도 또는 위치가 달라지는 경우 환자의 위치를 정확하게 모니터링할 수 없기 때문에 제1 카메라와 제2 카메라의 촬영 각도 또는 위치가 이전 방사선 치료 시의 촬영 각도 또는 위치와 동일한지 판단하고, 이를 보정하여 환자의 위치를 모니터링하는 것이 바람직하다.Therefore, when the photographing angle or the position of the first camera and the second camera for photographing the position of the patient are different, it is not possible to accurately monitor the position of the patient, so that the photographing angles or positions of the first camera and the second camera It is preferable that the position of the patient is monitored by judging whether it is the same as the photographing angle or the position of the patient.
이에 대해 도 3을 참조하여 설명하면 다음과 같다.This will be described with reference to FIG.
도 3은 도 1에 도시된 단계 S140에 대한 다른 일 실시예 동작 흐름도를 나타낸 것이다.FIG. 3 illustrates another exemplary operational flow diagram for step S140 shown in FIG.
도 3을 참조하면, 제1 상관 관계 값을 계산하는 단계(S140)는 제1 카메라와 제2 카메라에 의해 촬영된 제1 영상과 제2 영상을 분석하고, 제1 영상과 제2 영상의 분석 결과 카메라의 위치와 각도를 보정해야 하는지 판단한다(S310, S320).Referring to FIG. 3, the first correlation value calculation step S140 may include analyzing first and second images captured by the first camera and the second camera, analyzing the first and second images, It is determined whether the position and angle of the camera should be corrected (S310, S320).
이 때, 카메라의 보정 여부는 제1 영상에 포함된 진단용 침상과 환자의 영상 처리를 통해 이루어질 수 있으며, 영상 처리를 통해 카메라의 앵글 방향과 위치를 확인할 수 있고, 따라서 미리 결정된 카메라의 앵글 방향과 위치를 비교함으로써, 카메라의 보정 여부를 판단할 수 있다.At this time, whether or not the camera is corrected can be achieved through image processing of the patient's bed with the diagnosis needle included in the first image, and the angle direction and position of the camera can be confirmed through the image processing. Therefore, By comparing the positions, it is possible to judge whether the camera is corrected or not.
즉, 단계 S320은 카메라가 외부 환경 또는 내부적인 문제로 인하여 앵글 방향과 위치에 변화가 발생하였는지 판단한다.That is, in step S320, the camera determines whether a change in angle direction and position has occurred due to an external environment or an internal problem.
단계 S320 판단 결과, 카메라 즉, 제1 카메라와 제2 카메라 중 적어도 하나를 보정해야 하는 경우 해당 카메라에 대해 보정해야 하는 각도와 위치를 계산한다(S330).If it is determined in step S320 that at least one of the first camera and the second camera needs to be corrected, an angle and a position to be corrected for the camera are calculated (S330).
여기서, 보정 각도와 보정 위치는 제1 영상과 제2 영상의 분석을 통해 카메라의 앵글 방향과 위치를 확인하고, 확인된 앵글 방향과 위치를 미리 결정된 기준 앵글 방향, 기준 위치와 비교함으로써, 계산될 수 있다.Here, the correction angle and the correction position are calculated by checking the angle and position of the camera through analysis of the first and second images, and comparing the determined angle direction and position with a predetermined reference angle direction and reference position .
단계 S330에 의해 보정 각도와 보정 위치가 계산되면 계산된 보정 각도와 보정 위치를 반영하여 제1 영상과 제3 영상에 대한 제1 상관 관계 값을 계산한다(S340).When the correction angle and the correction position are calculated in step S330, a first correlation value for the first image and the third image is calculated by reflecting the calculated correction angle and the correction position (S340).
이 때, 단계 S340은 계산된 카메라의 보정 각도와 보정 위치를 제1 영상에 반영한 후 제1 영상과 제3 영상의 상관 관계를 통해 제1 상관 관계 값을 생성할 수도 있고, 제1 상관 관계 값 계산 시 계산된 카메라의 보정 각도와 보정 위치를 반영함으로써, 제1 상관 관계 값을 생성할 수도 있다.At this time, the step S340 may generate the first correlation value through the correlation between the first image and the third image after reflecting the calculated correction angle and the corrected position of the camera on the first image, The first correlation value may be generated by reflecting the correction angle and the corrected position of the camera calculated in the calculation.
반면, 단계 S320 판단 결과, 카메라 위치 보정이 필요 없는 경우 상술한 바와 같이 촬영된 제1 영상과 제3 영상만을 이용하여 제1 영상과 제3 영상 간 제1 상관 관계 값을 계산한다(S350).On the other hand, if it is determined in step S320 that the camera position correction is not required, the first correlation value between the first and third images is calculated using only the first image and the third image, as described above (S350).
물론, 이런 카메라의 각도와 위치에 대한 보정과 위치 변화를 계산할 때의 반영은 제1 상관 관계 값 뿐만 아니라 제2 상관 관계 값에도 적용될 수 있다.Of course, the reflection when calculating the correction and the positional change for such angles and positions of the camera can be applied not only to the first correlation value but also to the second correlation value.
이러한 카메라의 각도를 조정하는 경우에도, 각 영상에서 복수 개의 마커 간의 픽셀 수의 변화와, 진단용 침상의 특정 기준 위치 간의 픽셀 수의 변화를 기초로 하여 이전 치료 시와 현재 상태에서 카메라(제1 카메라 또는 제2 카메라)의 각도 변화를 검출할 수 있다. 예를 들어, 제2 카메라에 의하여 촬영된 제2 영상과 제4 영상 사이에서, 진단용 침상의 특정 기준 위치 간의 픽셀 변화가 나타나 제2 카메라의 각도가 미세하게 틀어진 것이 판명되었다면, 제2 카메라에 의하여 도출된 z축 방향의 위치 이동은 제2 카메라의 각도 변화만큼 보정될 필요가 있다. 이 때, 제1 카메라에 의하여 촬영된 제1 영상과 제3 영상 간에 나타나는 특정 기준 위치 간의 픽셀 개수의 변화를 이용하여 x-y 평면 외에 z축 방향으로도 위치 변화가 있었는지, 위치 변화가 어느 쪽으로 일어났는지 등을 계산할 수 있으므로, 제1 카메라에 의하여 촬영된 영상으로부터 추출된 정보를 이용하여 제2 카메라의 z축 위치 이동 계산 결과를 검증하거나 보완할 수 있다.Even in the case of adjusting the angle of the camera, the number of pixels between a plurality of markers in each image and the number of pixels between specific reference positions of the diagnostic needle bed are changed, Or the second camera) can be detected. For example, if it is determined that the angle of the second camera is slightly changed due to a pixel change between a specific reference position of the diagnostic needle bed between the second image and the fourth image captured by the second camera, The derived movement of the position in the z-axis direction needs to be corrected by the angle change of the second camera. At this time, it is determined whether there is a position change in the z-axis direction besides the xy plane by using a change in the number of pixels between specific reference positions appearing between the first image and the third image taken by the first camera, It is possible to verify or supplement the calculation result of the z-axis position movement of the second camera using the information extracted from the image captured by the first camera.
상황에 따라, 카메라의 각도와 위치에 대한 보정 여부를 판단하기 위해, 환자의 최적 위치에 대한 기준 영상을 구비할 수도 있으며, 이런 기준 영상과 카메라에 의해 촬영된 영상의 비교를 통해 카메라의 각도와 위치에 대한 보정 여부를 판단할 수 있고, 보정 각도와 보정 위치 또한 계산될 수도 있다.In order to determine whether the angle and position of the camera are corrected according to the situation, a reference image for the optimal position of the patient may be provided. By comparing the reference image with the image captured by the camera, It is possible to determine whether or not the position is corrected, and the correction angle and the correction position may also be calculated.
이와 같이 본 발명에 따른 방법은 방사선 치료 중 진단용 침상의 상부에 구성된 카메라와 측면에 구성된 카메라를 이용하여 촬영된 영상과 이전 방사선 치료 시에 촬영된 영상(기준 영상) 간의 상관 관계 값을 계산하고, 계산된 상관 관계 값을 이용하여 환자의 움직임 여부를 모니터링함으로써, 치료 중 환자의 움직임이 발생하더라도, 방사선 치료 빔이 원하는 관심 영역으로 조사될 수 있도록 환자의 위치를 제어하고 따라서 환자의 움직임이 발생하더라도 정상적인 부위가 치료 빔에 노출되는 것을 방지할 수 있다.As described above, the method according to the present invention calculates the correlation value between the image captured using the camera configured on the upper part of the diagnostic needle and the camera configured on the side and the image (reference image) captured in the previous radiotherapy during the radiation treatment, By monitoring the movement of the patient using the calculated correlation value, it is possible to control the position of the patient so that the radiation beam can be irradiated to a desired region of interest even if motion of the patient occurs during treatment, It is possible to prevent the normal part from being exposed to the treatment beam.
또한, 본 발명에 따른 방법은 제1 카메라와 제2 카메라가 외부 환경 등에 의해 앵글 방향과 위치가 달라지더라도, 변화된 각도와 위치를 보정하여 상관 관계 값을 계산하는데 반영함으로써, 환자의 움직임을 정확하게 모니터링할 수 있고 이를 통해 방사선 치료에 대한 신뢰성 또한 향상시킬 수 있다.In addition, the method according to the present invention corrects the angles and positions of the first camera and the second camera by calculating the correlation values by correcting the changed angles and positions, Which can also improve the reliability of radiation therapy.
도 5는 본 발명의 일 실시예에 따른 방사선 치료 장치의 위치 모니터링 장치에 대한 구성을 나타낸 것이다. FIG. 5 shows a configuration of a position monitoring apparatus for a radiation therapy apparatus according to an embodiment of the present invention.
도 5를 참조하면, 본 발명에 따른 장치(500)는 제1 카메라(510), 제2 카메라(520), 변형 영상 생성부(530), 영상 획득부(540), 상관 관계 값 계산부(550) 및 모니터링 제어부(560)를 포함하며, 변형 영상 생성부(530), 영상 획득부(540), 상관 관계 값 계산부(550) 및 모니터링 제어부(560)는 환자의 위치 또는 움직임을 모니터링할 수 있는 컴퓨팅 시스템의 프로세서(processor)에 의해 구성될 수 있다.5, a
제1 카메라(510)는 방사선 치료 시 환자가 눕는 진단용 침상(couch)의 상부에서 환자를 촬영하는 카메라로, 제1 축과 제2 축 즉, x축과 y축에 대한 환자의 영상을 촬영한다.The
제2 카메라(520)는 방사선 치료 시 환자가 눕는 진단용 침상(couch)의 측면에서 환자를 촬영하는 카메라로, 제2 축과 제3 축 즉, y축과 z축 또는 x축과 z축에 대한 환자의 영상을 촬영한다.The
변형 영상 생성부(530)는 제1 카메라(510)와 제2 카메라(520)에 의해 촬영된 영상을 정규화(normalization), 세그멘테이션(segmentation), 에지 검출(edge detection) 과정을 통해 변형된 변형 영상(deformation image)으로 생성하다.The transformed
즉, 변형 영상 생성부(530)는 이전 방사선 치료 시 촬영된 제3 영상과 제4 영상에 대해 정규화, 세그멘테이션, 에지 검출 과정을 통해 제3 변형 영상과 제4 변형 영상을 생성하며, 현재 방사선 치료 중 촬영된 제1 영상과 제2 영상에 대해서도 정규화, 세그멘테이션, 에지 검출 과정을 통해 제1 변형 영상과 제2 변형 영상을 생성한다.That is, the deformed
영상 획득부(540)는 이전 방사선 치료 시 제1 카메라와 제2 카메라에 의해 촬영되어 저장된 영상 즉, 제3 영상과 제4 영상을 획득한다.The
이 때, 영상 획득부(540)는 제1 영상과 제2 영상이 변형된 제1 변형 영상과 제2 변형 영상을 획득할 수 있는데, 방사선 치료 장치와 연결된 별도의 저장 장치 또는 시스템 예를 들어, 의료영상 저장 전송 시스템(PACS)으로부터 이전 방사선 치료 시의 환자에 대한 영상들을 획득할 수 있다.In this case, the
상관 관계 값 계산부(550)는 현재 방사선 치료 중 제1 카메라와 제2 카메라에 의해 촬영된 제1 영상과 제2 영상을 수신하고, 제1 영상과 제3 영상을 비교하여 제1 영상과 제3 영상 간의 제1 상관 관계 값을 계산하며, 제2 영상과 제4 영상을 비교하여 제2 영상과 제4 영상 간의 제2 상관 관계 값을 계산한다.The correlation
이 때, 상관 관계 값 계산부(550)는 변형 영상 생성부(530)로부터 제1 변형 영상과 제2 변형 영상을 수신하고, 제1 변형 영상과 제3 변형 영상을 비교하여 제1 상관 관계 값을 계산하며, 제2 변형 영상과 제4 변형 영상을 비교하여 제2 상관 관계 값을 계산할 수 있다.At this time, the correlation
즉, 상관 관계 값 계산부(550)는 제1 영상, 제2 영상 그리고 제1 영상, 제2 영상 각각에 대응하는 기준 영상 예를 들어, 제3 영상과 제4 영상을 비교하여 제1 카메라와 제2 카메라 중 적어도 하나의 각도와 위치에 대한 보정 여부를 판단하고, 보정이 필요한 경우 제1 카메라와 제2 카메라 중 적어도 하나의 각도와 위치에 대한 보정 값을 계산하며, 계산된 보정 값을 반영하여 제1 상관 관계 값과 제2 상관 관계 값을 계산한다.That is, the correlation
나아가, 상관 관계 값 계산부(550)는 환자의 움직임을 판단하기 위한 상관 관계 값을 계산할 때, 제1 영상과 제2 영상의 분석을 통해 제1 카메라와 제2 카메라 중 적어도 하나의 앵글 방향과 위치의 보정 여부를 판단한 후 보정이 필요한 경우 카메라의 보정 각도와 보정 위치를 계산한 후 계산된 보정 각도와 보정 위치를 상관 관계 값을 계산하는데 반영함으로써, 제1 상관 관계 값과 제2 상관 관계 값을 정확하게 계산할 수 있다.Further, when calculating the correlation value for determining the motion of the patient, the correlation
모니터링 제어부(560)는 제1 상관 관계 값과 제2 상관 관계 값이 미리 결정된 문턱 값 범위 내에 존재하는지 판단하고, 제1 상관 관계 값과 제2 상관 관계 값이 문턱 값 범위를 벗어나는 경우 환자의 위치가 방사선 치료 위치에서 벗어난 것으로 결정하여 치료 빔의 조사가 중단되도록 제어한다.The
나아가, 모니터링 제어부(560)는 환자의 위치를 방사선 치료 위치에 놓이도록 환자가 누워있는 진단용 침상(couch)을 제어하고, 환자의 위치가 방사선 치료 위치에 위치하면 치료 빔이 조사되도록 제어한다.Further, the
이 때, 모니터링 제어부(560)는 제1 영상과 제3 영상을 이용하여 제1 축과 제2 축에 대한 환자의 제1 위치 변화를 계산하고, 제2 영상과 제4 영상을 이용하여 제2 축과 제3 축에 대한 환자의 제2 위치 변화를 계산하며, 계산된 제1 위치 변화와 제2 위치 변화를 이용하여 환자의 위치를 치료 위치에 위치하도록 진단용 침상을 제어할 수 있는데, 진단용 침상(coach)의 미리 결정된 길이를 이용하여 해당 영상에서의 단위 길이당 픽셀수를 계산함으로써, 환자의 위치 변화를 계산할 수 있다.At this time, the
따라서, 모니터링 제어부(560)는 환자의 x축, y축, z축으로의 이동 및 회전 정도를 포함하는 위치 변화를 계산하고, 계산된 위치 변화를 이용하여 진단용 침상을 x축, y축, z축 방향으로 이동시키거나 회전시킴으로써, 환자의 위치가 치료 위치에 위치하도록 제어한다.Accordingly, the
본 발명의 일 실시예에 따른 방사선 치료 장치의 위치 모니터링 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method for monitoring the position of a radiation therapy apparatus according to an embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
Claims (8)
이전 방사선 치료 시 상기 제1 카메라를 이용하여 촬영된 상기 환자의 제3 영상과 상기 제2 카메라를 이용하여 촬영된 상기 환자의 제4 영상을 획득하는 단계;
상기 제1 영상과 상기 제3 영상을 비교하여 상기 제1 영상과 상기 제3 영상 간에 나타나는 기준 위치 간의 픽셀 개수의 변화를 이용하여 상기 제3축 방향의 상기 환자의 위치의 변화 및 틀어짐에 관한 정보를 포함하는 상기 제1 영상과 상기 제3 영상 간의 제1 상관 관계 값을 계산하고, 상기 제2 영상과 상기 제4 영상을 비교하여 상기 제2 영상과 상기 제4 영상 간의 제2 상관 관계 값을 계산하는 단계; 및
상기 제1 상관 관계 값에 포함된 상기 제3축 방향의 상기 환자의 위치의 변화 및 틀어짐에 관한 정보를 이용하여 상기 제2 상관 관계 값을 검증하고, 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 미리 결정된 문턱 값 범위 내에 존재하는지 판단하고, 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 상기 문턱 값 범위를 벗어나는 경우 상기 환자의 위치가 방사선 치료 위치에서 벗어난 것으로 결정하여 치료 빔의 조사가 중단되도록 제어하는 단계
를 포함하는 방사선 치료 장치의 위치 모니터링 방법.A first image of a patient with respect to a first axis and a second axis is photographed using a first camera during radiation therapy and a second image of the patient with respect to the second axis and the third axis is photographed using a second camera Photographing;
Obtaining a third image of the patient photographed using the first camera and a fourth image of the patient photographed using the second camera in a previous radiotherapy;
Comparing the first image with the third image, and using the change in the number of pixels between the reference position indicated between the first image and the third image, information on a change and a change in the position of the patient in the third axis direction Calculating a first correlation value between the first image and the third image including the first image and the second image, comparing the second image and the fourth image, and calculating a second correlation value between the second image and the fourth image, Calculating; And
And verifying the second correlation value using information about a change and a shift of the position of the patient in the third axis direction included in the first correlation value, and comparing the first correlation value with the second correlation value Determining that the position of the patient is out of the radiation treatment position if the first correlation value and the second correlation value are out of the threshold range, determining whether the relationship value is within a predetermined threshold range, So as to stop the investigation of
Wherein the position of the radiation therapy apparatus is monitored.
상기 환자의 위치를 상기 방사선 치료 위치에 놓이도록 상기 환자가 누워있는 진단용 침상(couch)을 제어하는 단계; 및
상기 환자의 위치가 상기 방사선 치료 위치에 위치하면 상기 치료 빔이 조사되도록 제어하는 단계
를 더 포함하는 것을 특징으로 하는 방사선 치료 장치의 위치 모니터링 방법.The method according to claim 1,
Controlling a diagnostic couch in which the patient is lying to place the patient's position in the radiation treatment position; And
Controlling the treatment beam to be irradiated when the position of the patient is located at the radiation treatment position
Further comprising the steps of: detecting a position of the radiation therapy apparatus;
상기 획득하는 단계는
상기 제3 영상과 상기 제4 영상이 정규화(normalization), 세그멘테이션(segmentation), 에지 검출(edge detection) 과정을 통해 변형된 제3 변형 영상(deformation image)과 제4 변형 영상을 획득하고,
상기 계산하는 단계는
상기 제1 영상과 상기 제2 영상이 정규화(normalization), 세그멘테이션(segmentation), 에지 검출(edge detection) 과정을 통해 변형된 제1 변형 영상과 제2 변형 영상을 획득한 후 상기 제1 변형 영상과 상기 제3 변형 영상을 비교하여 상기 제1 상관 관계 값을 계산하고, 상기 제2 변형 영상과 상기 제4 변형 영상을 비교하여 상기 제2 상관 관계 값을 계산하는 것을 특징으로 하는 방사선 치료 장치의 위치 모니터링 방법.The method according to claim 1,
The obtaining step
A third deformation image and a fourth deformation image obtained through the normalization, segmentation and edge detection processes of the third image and the fourth image are acquired,
The step of calculating
The first transformed image and the second transformed image are obtained through the normalization, segmentation and edge detection processes of the first image and the second image, Calculating the first correlation value by comparing the third modified image and comparing the second modified image and the fourth modified image to calculate the second correlation value, How to monitor.
상기 제1 영상, 상기 제2 영상 그리고 상기 제1 영상, 상기 제2 영상 각각에 대응하는 기준 영상을 비교하여 상기 제1 카메라와 상기 제2 카메라 중 적어도 하나의 각도와 위치에 대한 보정 여부를 판단하는 단계; 및
상기 판단 결과 보정이 필요한 경우 상기 제1 카메라와 상기 제2 카메라 중 적어도 하나의 각도와 위치에 대한 보정 값을 계산하는 단계
를 더 포함하고,
상기 제2 상관 관계 값을 계산하는 단계는
상기 계산된 보정 값을 반영하여 상기 제1 상관 관계 값과 상기 제2 상관 관계 값을 계산하는 것을 특징으로 하는 방사선 치료 장치의 위치 모니터링 방법.The method according to claim 1,
A second image, and a reference image corresponding to each of the first image and the second image to determine whether or not the angle and position of at least one of the first camera and the second camera are corrected ; And
Calculating a correction value for an angle and a position of at least one of the first camera and the second camera when correction is required as a result of the determination;
Further comprising:
The step of calculating the second correlation value
And calculating the first correlation value and the second correlation value by reflecting the calculated correction value.
상기 환자에 대한 상기 제2 축과 제3 축에 대한 상기 환자의 영상을 촬영하는 제2 카메라;
이전 방사선 치료 시 상기 제1 카메라와 상기 제2 카메라에 의해 미리 촬영되어 저장된 상기 진단용 침상과 상기 환자를 포함하는 제1 영상과 제2 영상을 획득하는 영상 획득부;
현재 방사선 치료 중 상기 제1 카메라와 상기 제2 카메라에 의해 촬영된 제3 영상과 제4 영상을 수신하고, 상기 제1 영상과 상기 제3 영상을 비교하여 상기 제1 영상과 상기 제3 영상 간에 나타나는 기준 위치 간의 픽셀 개수의 변화를 이용하여 상기 제3축 방향의 상기 환자의 위치의 변화 및 틀어짐에 관한 정보를 포함하는 상기 제1 영상과 상기 제3 영상 간의 제1 상관 관계 값을 계산하며, 상기 제2 영상과 상기 제4 영상을 비교하여 상기 제2 영상과 상기 제4 영상 간의 제2 상관 관계 값을 계산하는 상관 관계 값 계산부; 및
상기 제1 상관 관계 값에 포함된 상기 제3축 방향의 상기 환자의 위치의 변화 및 틀어짐에 관한 정보를 이용하여 상기 제2 상관 관계 값을 검증하고, 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 미리 결정된 문턱 값 범위 내에 존재하는지 판단하고, 상기 제1 상관 관계 값과 상기 제2 상관 관계 값이 상기 문턱 값 범위를 벗어나는 경우 상기 환자의 위치가 방사선 치료 위치에서 벗어난 것으로 결정하여 치료 빔의 조사가 중단되도록 제어하는 모니터링 제어부
를 포함하는 방사선 치료 장치의 위치 모니터링 장치.A first camera for capturing an image of a patient with respect to the first axis and the second axis in a diagnostic couch;
A second camera for capturing an image of the patient with respect to the second axis and the third axis with respect to the patient;
An image acquiring unit acquiring a first image and a second image including the diagnosis needle bed and the patient previously photographed and stored by the first camera and the second camera in previous radiation treatment;
A method of receiving a third image and a fourth image photographed by the first camera and the second camera during a current radiation treatment, comparing the first image and the third image, and comparing the first image and the third image, Calculating a first correlation value between the first image and the third image including information about a change in the position of the patient in the third axis direction and a rotation of the third axis using a change in the number of pixels between the reference positions, A correlation value calculator for comparing the second image and the fourth image to calculate a second correlation value between the second image and the fourth image; And
And verifying the second correlation value using information about a change and a shift of the position of the patient in the third axis direction included in the first correlation value, and comparing the first correlation value with the second correlation value Determining that the position of the patient is out of the radiation treatment position if the first correlation value and the second correlation value are out of the threshold range, determining whether the relationship value is within a predetermined threshold range, A monitoring control unit
Wherein the position of the radiation therapy apparatus is monitored.
상기 모니터링 제어부는
상기 환자의 위치를 상기 방사선 치료 위치에 놓이도록 상기 환자가 누워있는 진단용 침상(couch)을 제어하고, 상기 환자의 위치가 상기 방사선 치료 위치에 위치하면 상기 치료 빔이 조사되도록 제어하는 것을 특징으로 하는 방사선 치료 장치의 위치 모니터링 장치.6. The method of claim 5,
The monitoring control unit
Wherein the control unit controls the diagnostic couch lying on the patient so that the position of the patient is located at the radiation treatment position and controls the treatment beam to be irradiated when the position of the patient is located at the radiation treatment position A device for monitoring the position of a radiotherapy device.
상기 제1 카메라와 상기 제2 카메라에 의해 촬영된 영상을 정규화(normalization), 세그멘테이션(segmentation), 에지 검출(edge detection) 과정을 통해 변형된 변형 영상(deformation image)으로 생성하는 변형 영상 생성부
를 더 포함하고
상기 영상 획득부는
상기 제1 영상과 상기 제2 영상이 변형된 제1 변형 영상과 제2 변형 영상을 획득하고,
상기 상관 관계 값 계산부는
상기 변형 영상 생성부로부터 상기 제3 영상과 상기 제4 영상에 대한 제3 변형 영상과 제4 변형 영상을 수신하고, 상기 제1 변형 영상과 상기 제3 변형 영상을 비교하여 상기 제1 상관 관계 값을 계산하며, 상기 제2 변형 영상과 상기 제4 변형 영상을 비교하여 상기 제2 상관 관계 값을 계산하는 것을 특징으로 하는 방사선 치료 장치의 위치 모니터링 장치.6. The method of claim 5,
A deformed image generating unit for generating a deformed image deformed through normalization, segmentation, and edge detection processes of an image photographed by the first camera and the second camera;
Lt; / RTI >
The image acquiring unit
Obtaining a first transformed image and a second transformed image in which the first image and the second image are transformed,
The correlation value calculation unit
A third transformed image and a fourth transformed image for the third image and the fourth image are received from the transformed image generation unit, and the first transformed image and the third transformed image are compared with each other, And compares the second deformed image with the fourth deformed image to calculate the second correlation value.
상기 상관 관계 값 계산부는
상기 제1 영상, 상기 제2 영상 그리고 상기 제1 영상, 상기 제2 영상 각각에 대응하는 기준 영상을 비교하여 상기 제1 카메라와 상기 제2 카메라 중 적어도 하나의 각도와 위치에 대한 보정 여부를 판단하고, 보정이 필요한 경우 상기 제1 카메라와 상기 제2 카메라 중 적어도 하나의 각도와 위치에 대한 보정 값을 계산하며, 상기 계산된 보정 값을 반영하여 상기 제1 상관 관계 값과 상기 제2 상관 관계 값을 계산하는 것을 특징으로 하는 방사선 치료 장치의 위치 모니터링 장치.6. The method of claim 5,
The correlation value calculation unit
A second image, and a reference image corresponding to each of the first image and the second image to determine whether or not the angle and position of at least one of the first camera and the second camera are corrected And calculates a correction value for an angle and a position of at least one of the first camera and the second camera when correction is required, and calculates a correction value for at least one of the first camera and the second camera by reflecting the calculated correction value, And calculating a value of the position of the radiation therapy apparatus.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140074737A KR101617773B1 (en) | 2014-06-19 | 2014-06-19 | Method and apparatus for monitoring position of radiation treatment system |
US14/333,291 US9492685B2 (en) | 2014-06-13 | 2014-07-16 | Method and apparatus for controlling and monitoring position of radiation treatment system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140074737A KR101617773B1 (en) | 2014-06-19 | 2014-06-19 | Method and apparatus for monitoring position of radiation treatment system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150145409A KR20150145409A (en) | 2015-12-30 |
KR101617773B1 true KR101617773B1 (en) | 2016-05-03 |
Family
ID=55087802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140074737A KR101617773B1 (en) | 2014-06-13 | 2014-06-19 | Method and apparatus for monitoring position of radiation treatment system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101617773B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210131778A (en) | 2020-04-24 | 2021-11-03 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
KR20210131903A (en) | 2020-04-24 | 2021-11-03 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
US20220148180A1 (en) * | 2019-10-10 | 2022-05-12 | Toshiba Energy Systems & Solutions Corporation | Medical image processing device, storage medium, medical device, and treatment system |
KR20220063620A (en) | 2020-11-10 | 2022-05-17 | 연세대학교 산학협력단 | Radiotherapy equipment quality assurance device, phantom for measurement of quality assurance and scintillator structure thereof |
KR20220069358A (en) | 2020-11-20 | 2022-05-27 | 연세대학교 산학협력단 | Radiation detector for measurement of quality assurance and scintillator structure thereof |
KR20220145522A (en) | 2021-04-22 | 2022-10-31 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
KR20230146500A (en) | 2020-04-24 | 2023-10-19 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014000128A (en) * | 2012-06-15 | 2014-01-09 | Accuthera Inc | Real-time three-dimensional radiotherapy apparatus |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE602006021803D1 (en) | 2005-07-22 | 2011-06-16 | Tomotherapy Inc | A system for delivering radiotherapy to a moving target area |
-
2014
- 2014-06-19 KR KR1020140074737A patent/KR101617773B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014000128A (en) * | 2012-06-15 | 2014-01-09 | Accuthera Inc | Real-time three-dimensional radiotherapy apparatus |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220148180A1 (en) * | 2019-10-10 | 2022-05-12 | Toshiba Energy Systems & Solutions Corporation | Medical image processing device, storage medium, medical device, and treatment system |
KR20210131778A (en) | 2020-04-24 | 2021-11-03 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
KR20210131903A (en) | 2020-04-24 | 2021-11-03 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
KR20220086544A (en) | 2020-04-24 | 2022-06-23 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
KR20230142693A (en) | 2020-04-24 | 2023-10-11 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
KR20230146500A (en) | 2020-04-24 | 2023-10-19 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
KR20220063620A (en) | 2020-11-10 | 2022-05-17 | 연세대학교 산학협력단 | Radiotherapy equipment quality assurance device, phantom for measurement of quality assurance and scintillator structure thereof |
KR20220069358A (en) | 2020-11-20 | 2022-05-27 | 연세대학교 산학협력단 | Radiation detector for measurement of quality assurance and scintillator structure thereof |
KR20220145522A (en) | 2021-04-22 | 2022-10-31 | 주식회사 라덱셀 | Magnetic field generating apparatus and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20150145409A (en) | 2015-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9492685B2 (en) | Method and apparatus for controlling and monitoring position of radiation treatment system | |
KR101617773B1 (en) | Method and apparatus for monitoring position of radiation treatment system | |
JP7120584B2 (en) | SUBJECT POSITIONING DEVICE, SUBJECT POSITIONING METHOD, SUBJECT POSITIONING PROGRAM, AND RADIATION THERAPY SYSTEM | |
JP7350422B2 (en) | Adaptive radiotherapy using composite imaging slices | |
JP6208535B2 (en) | Radiotherapy apparatus and system and method | |
KR102175394B1 (en) | Medical apparatus, and method for controlling medical apparatus | |
CN106039576B (en) | Portal dosimetry system, device and method | |
JP6004464B2 (en) | Radiotherapy control apparatus and radiotherapy control program | |
US10315049B2 (en) | System and method for monitoring structural movements throughout radiation therapy | |
US8849633B2 (en) | Method and apparatus for selecting a tracking method to use in image guided treatment | |
JP6964309B2 (en) | Radiation therapy tracking device | |
KR20210020958A (en) | Medical apparatus and method for controlling medical apparatus | |
US8170319B2 (en) | Motion detection by direct imaging during radiotherapy | |
US20160073979A1 (en) | Automated Positioning of a Patient Table Relative to a Medical Installation | |
US11964171B2 (en) | Virtual beam's-eye view imaging in radiation therapy for patient setup | |
CN111918697B (en) | Medical image processing device, treatment system, and storage medium | |
US9486643B2 (en) | Methods, systems and computer readable storage media storing instructions for image-guided treatment planning and assessment | |
JP2016059606A (en) | Positioning device and positioning method | |
US9471985B2 (en) | Template-less method for arbitrary radiopaque object tracking in dynamic imaging | |
KR101446872B1 (en) | Method and apparatus for verifying radiation dose | |
KR101497436B1 (en) | A radiation therapy method based on breathing pattern of patient and apparatus thereof | |
WO2017188345A1 (en) | Image processing device and image processing method | |
JP2018153277A (en) | Fluoroscopic apparatus | |
KR101621773B1 (en) | Method and apparatus for controlling position of radiation treatment system | |
Talbot et al. | A method for patient set-up guidance in radiotherapy using augmented reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190425 Year of fee payment: 4 |