KR20130109794A

KR20130109794A - Virtual arthroscope surgery simulation system

Info

Publication number: KR20130109794A
Application number: KR1020120031829A
Authority: KR
Inventors: 문영래; 신동선; 오순탁; 이용걸
Original assignee: 조선대학교산학협력단
Priority date: 2012-03-28
Filing date: 2012-03-28
Publication date: 2013-10-08
Anticipated expiration: 2032-03-28
Also published as: KR101339452B1

Abstract

수술 전 CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging)를 찍어 획득한 영상을 광학적 특성에 따라 재편집하여 실물에 근접한 가상의 관절(특히, 어깨관절 및 팔꿉관절)을 모니터상에서 만들어 관절수술을 연습할 수 있도록 한 가상 관절경 수술 시뮬레이션시스템이 개시된다.
개시된 가상 관절경 수술 시뮬레이션시스템은, 사용자의 사용상태에 따라 신호를 발생시키는 컨트롤러와; 관절경 영상의 특성을 반영하여 3차원 영상을 구현하고, 상기 컨트롤러에서 발생된 신호에 따라 상기 3차원 영상에 컨트롤러의 가상 동작상태를 반영하여 가상 관절경 수술을 수행하는 시뮬레이터를 포함하며, 상기 시뮬레이터는 관절의 2차원 영상을 기반으로 3차원 영상을 구현하고, 상기 3차원 영상으로부터 결손을 추출하여 결손을 보정 한 후, 결손 보정이 이루어진 3차원 영상에 텍스쳐 매핑을 적용하여 볼륨감과 현실감 및 입체감을 부가한 3차원 영상을 생성하는 것을 특징으로 한다.Reconstruct the image acquired by pre-computed CT (Magnetic Resonance Imaging) or MRI (Magnetic Resonance Imaging) according to the optical characteristics to create virtual joints (especially shoulder and elbow joints) close to the real thing on the monitor to practice joint surgery A virtual arthroscopic surgery simulation system is disclosed.
The disclosed virtual arthroscopic surgery system includes a controller for generating a signal according to a user's use state; And a simulator for implementing a 3D image by reflecting the characteristics of the arthroscopic image, and performing a virtual arthroscopy by reflecting the virtual operating state of the controller in the 3D image according to the signal generated by the controller. Implements a three-dimensional image based on the two-dimensional image of the joint, corrects the defect by extracting the defect from the three-dimensional image, and then applies texture mapping to the three-dimensional image in which the defect is corrected. An additional three-dimensional image is generated.

Description

VIRTUAL ARTHROSCOPE SURGERY SIMULATION SYSTEM}

본 발명은 가상 관절경 수술 시뮬레이션시스템에 관한 것으로, 더욱 상세하게는 수술 전 CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging)를 찍어 획득한 영상을 광학적 특성에 따라 재편집하여 실물에 근접한 가상의 관절(특히, 어깨관절 및 팔꿉관절)을 모니터상에서 만들어 관절수술을 연습할 수 있도록 한 가상 관절경 수술 시뮬레이션시스템에 관한 것이다.
The present invention relates to a virtual arthroscopic surgery simulation system, and more specifically, to a virtual joint close to the real by re-editing the image obtained by pre-computed CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) according to the optical characteristics The present invention relates to a virtual arthroscopic surgery simulation system in which shoulder joints and elbow joints are created on a monitor to practice arthroplasty.

관절수술분야에서 관절 내시경(이하, '관절경'이라 한다)을 이용한 검사 및 수술의 보급이 확대되고 있으며, 이는 무침투성의 장점을 갖는 관절경 검사 및 수술이 무엇보다도 환자의 위험부담을 줄이고, 시간과 비용을 절감하기 때문이다.In the field of arthroscopy, the use of arthroscopy (hereinafter referred to as 'arthroscopy') is expanding, and arthroscopy and surgery, which have the advantage of non-invasiveness, reduce the risk of patients. This saves time and money.

그러나 관절경을 이용한 시술은 관절경의 좁은 시각과 제약된 움직임으로 인해 시술에 많은 어려움이 따른다. 수련의들은 먼저 수차례에 걸쳐 관절경 조작방법을 학습한 후, 이미 기술을 완벽히 습득한 전문의의 감독하에 직접 환자를 대상으로 조작연습을 하면서 관절경의 전문기술을 익히게 된다.However, arthroscopy is difficult due to the narrow vision and limited movement of the arthroscopy. The practitioners first learn arthroscopy methods several times, and then learn the arthroscopy expertise by directly operating the patient under the supervision of a specialist who has already mastered the skills.

그러나 수련원들이 직접 환자를 대상으로 연습을 하는 경우, 환자의 위험부담이 크다는 문제점이 있다. 또한, 이미 관절경 기술을 습득한 전문의들이라 할지라도 숙련도에 따라 시술시간에 많은 차이가 나며 미숙한 경우 자칫 관절을 손상시킬 수 있다는 문제점이 있다. 따라서, 이러한 문제점을 해결하기 위해 실제 시술을 하기에 앞서 보다 안전하고 효과적으로 관절경 시술을 습득할 수 있는 시스템이 필요하다.However, if the practitioners to practice the patient directly, there is a problem that the risk of the patient is large. In addition, even if the specialists have already acquired arthroscopic techniques, there are many differences in the procedure time according to the proficiency, and there is a problem that the joints may be damaged if immature. Therefore, in order to solve these problems, there is a need for a system capable of acquiring arthroscopic procedures more safely and effectively before performing the actual procedure.

이러한 필요성에 의해 최근 들어 가상현실과 햅틱 장치(HAPTIC DEVICE)를 이용한 가상 수술 시스템이 개발되고 있으며, 이러한 시스템을 이용하여 수술 전 시뮬레이션 또는 수술 계획을 수립하게 된다.Recently, a virtual surgical system using a virtual reality and a haptic device (HAPTIC DEVICE) has been developed, and a preoperative simulation or a surgical plan is developed using such a system.

가상 수술 시스템을 구현하기 위해서는 영상 데이터를 구축해야되며, 수술 시뮬레이션을 위한 영상 데이터를 구축하는 종래의 기술이 대한민국특허청 등록특허공보 등록번호 10-0346363호(2002.07.15. 등록)(발명의 명칭: 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치 및 그를 이용한 영상유도 수술 장치)(이하, "종래기술"이라 약칭함)에 개시되어 있다.In order to implement a virtual surgery system, image data must be constructed, and the conventional technology of constructing image data for surgery simulation is registered in Korean Patent Office Publication No. 10-0346363 (registered on July 15, 2002). A method / device for constructing 3D image data through automatic medical image segmentation and an image guided surgical device using the same) (hereinafter, referred to as "prior art") is disclosed.

개시된 종래 기술은, 여러 사람으로부터 취득된 같은 부위의 의료영상으로부터 원하는 부분의 윤곽선 점들의 집합으로 표현된 모델을 각각 생성하여 PCA(Principal Component Analysis)를 사용하여 하나의 대표 모델을 생성하게 된다. 다음으로, 목적 함수를 정의하고 이러한 목적 함수를 최대화시키는 변환계수를 구하여, PCA를 통해 형성된 모델을 주어진 의료영상에 대응시킨 후 전체 모델을 확대/축소, 회전, 평행이동을 통해 주어진 의료영상에 맞도록 변환하게 된다. 이후 변환 범위를 특정 범위로 제한하여 변환함으로써, 2차원 의료영상을 자동 분할 알고리즘을 이용하여 각 부위를 분할하고, 분할된 영상을 3차원 데이터로 구축하여 디스플레이해주게 된다.
The disclosed prior art generates a representative model using PCA (Principal Component Analysis) by generating a model represented by a set of contour points of a desired portion from medical images of the same region acquired from several people. Next, we define the objective function and obtain the transformation coefficient that maximizes the objective function, map the model formed through PCA to the given medical image, and then fit the entire model to the given medical image through zoom, rotation, and translation. Will be converted to Thereafter, by limiting the conversion range to a specific range, the two-dimensional medical image is divided by using an automatic segmentation algorithm, and the divided image is constructed and displayed as three-dimensional data.

1. 대한민국특허청 등록특허공보 등록번호 10-0346363호(2002.07.15. 등록)(발명의 명칭: 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치 및 그를 이용한 영상유도 수술 장치)1. Patent Registration No. 10-0346363 (Registration of July 15, 2002) of the Korean Intellectual Property Office (name of invention: 3D image data construction method / device using automatic medical image segmentation and image guided surgical device using the same)

그러나 상기와 같은 종래기술에서 제안된 3차원 영상은 관절경에 의해 보이는 영상과 차이점이 있다. 즉, 관절경에 의한 영상은 렌즈 광각, 포커스, 조도에 따라 관절의 영상이 왜곡되어 보이는데, 종래 기술에서 구현되는 3차원 영상은 이러한 요소를 반영하지 못하므로 실제 관절경에 의한 영상과 다른 영상을 보여준다. 따라서 가상 수술 시스템에서 구현되는 영상과 실제 시술시 환자의 영상이 완전히 일치하지 않으며, 이로 인해 정확한 수술계획, 시술을 할 수 없는 문제점이 있었다. 즉, 실제 수술과 동일한 환경을 구현할 수 없으므로, 가상 수술 시스템의 학습효과가 저하되는 문제점이 있었다.
However, the 3D image proposed in the related art is different from the image seen by arthroscopy. That is, the image by the arthroscopy is distorted according to the lens wide angle, focus, and illuminance. Since the three-dimensional image implemented in the prior art does not reflect these factors, it is different from the image by the actual arthroscopy. Shows. Therefore, the image implemented in the virtual surgical system and the patient's image during the actual procedure is not completely matched, and there was a problem that can not be precise surgical plan, procedure. That is, since the same environment as the actual surgery cannot be implemented, there is a problem that the learning effect of the virtual surgery system is lowered.

이에 본 발명은 상기와 같은 종래 기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,Accordingly, the present invention has been made to solve the above-mentioned problems occurring in the prior art,

본 발명이 해결하고자 하는 과제는 수술 전 CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging)를 찍어 획득한 영상을 광학적 특성에 따라 재편집하여 실물에 근접한 가상의 관절(특히, 어깨관절 및 팔꿉관절)을 모니터상에서 만들어 관절수술을 연습할 수 있도록 한 가상 관절경 수술 시뮬레이션시스템을 제공하는 데 있다.The problem to be solved by the present invention is a virtual joint (particularly, shoulder joint and elbow joint) close to the real by re-editing the image obtained by pre-computed CT (Magnetic Resonance Imaging) or optical imaging by optical characteristics It is to provide a virtual arthroscopy simulation system that can be used on the monitor to practice arthroscopy.

본 발명이 해결하고자 하는 다른 과제는 관절경 영상의 특성을 반영하여 실제 관절경 영상과 동일한 3차원 영상을 구현해주도록 한 가상 관절경 수술 시뮬레이션시스템을 제공하는 데 있다.
Another problem to be solved by the present invention is to provide a virtual arthroscopic surgery simulation system to reflect the characteristics of the arthroscopy image to implement the same three-dimensional image as the actual arthroscopy image.

상기와 같은 과제들을 해결하기 위한 본 발명에 따른 가상 관절경 수술 시뮬레이션시스템은,Virtual arthroscopic surgery simulation system according to the present invention for solving the above problems,

사용자의 사용상태에 따라 신호를 발생시키는 컨트롤러와;A controller for generating a signal according to a user's use state;

관절경 영상의 특성을 반영하여 3차원 영상을 구현하여, 상기 컨트롤러에서 발생된 신호에 따라 상기 3차원 영상에 컨트롤러의 가상 동작상태를 반영하여 가상 관절경 수술을 수행하는 시뮬레이터를 포함하며,It implements a three-dimensional image by reflecting the characteristics of the arthroscopic image, and includes a simulator for performing a virtual arthroscopy by reflecting the virtual operating state of the controller in the three-dimensional image in accordance with the signal generated by the controller,

상기 시뮬레이터는 관절의 2차원 영상을 기반으로 3차원 영상을 구현하고, 상기 3차원 영상으로부터 결손을 추출하여 결손을 보정 한 후, 결손 보정이 이루어진 3차원 영상에 텍스쳐 매핑을 적용하여 볼륨감과 현실감 및 입체감을 부가한 3차원 영상을 생성하는 것을 특징으로 한다.
The simulator implements a three-dimensional image based on the two-dimensional image of the joint, corrects the defect by extracting the defect from the three-dimensional image, and then applies texture mapping to the three-dimensional image in which the defect correction is performed, It is characterized by generating a three-dimensional image added with a three-dimensional effect.

또한, 상기 시뮬레이터는 3차원 영상에서 컨트롤러의 가상 동작상태에 따라 신호를 발생시키고,In addition, the simulator generates a signal in accordance with the virtual operating state of the controller in the 3D image,

상기 컨트롤러는 상기 발생된 신호에 따라 동작하는 것을 특징으로 한다.
The controller is characterized in that the operation in accordance with the generated signal.

또한, 상기 컨트롤러는 사용자의 선택에 따라 가상 수술도구를 구현하며, 상기 가상 수술도구는 시뮬레이터에서 구현되는 것을 특징으로 한다.
The controller implements a virtual surgical tool according to a user's selection, and the virtual surgical tool is implemented in a simulator.

또한, 상기 관절의 2차원 영상은 컴퓨터단층촬영장치(CT) 및 자기공명영상촬영장치(MRI)에 의해 촬영된 영상을 사용하는 것을 특징으로 한다.
In addition, the two-dimensional image of the joint is characterized in that it uses an image taken by the CT and magnetic resonance imaging (MRI).

또한, 상기 시뮬레이터는,In addition, the simulator,

관절의 2차원 영상을 처리하여 3차원 영상으로 만드는 영상 처리부를 포함하고,An image processing unit for processing a two-dimensional image of the joint to make a three-dimensional image,

상기 영상 처리부는 2차원 영상을 3차원 입체영상으로 변환하는 렌더링부를 포함하는 것을 특징으로 한다.
The image processor may include a renderer that converts a 2D image into a 3D stereoscopic image.

또한, 상기 영상 처리부는,In addition, the image processing unit,

상기 3차원 입체영상으로부터 결손 부분을 추출하는 결손 추출부와;A defect extraction unit for extracting a defect portion from the 3D stereoscopic image;

상기 결손 추출부에서 추출한 결손 부분을 메쉬에디팅 기법을 적용하여 결손을 보정하는 결손 보정부를 더 포함하는 것을 특징으로 한다.
The method may further include a defect correction unit configured to correct the defect by applying a mesh editing technique to the defect portion extracted by the defect extractor.

또한, 상기 영상 처리부는,In addition, the image processing unit,

상기 결손 보정부에 의해 결손 보정된 3차원 영상에 텍스처로 매핑을 하여 3차원 영상에 볼륨감과 현실감 및 입체감을 부여해주는 텍스처 매핑부를 더 포함하는 것을 특징으로 한다.
The texture mapping unit may further include a texture mapping unit that provides a volume, reality, and stereoscopic feeling to the 3D image by mapping the 3D image that is corrected by the defect correction unit as a texture.

본 발명에 따르면 수술 전 CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging)를 찍어 획득한 영상을 광학적 특성에 따라 재편집하여 실물에 근접한 가상의 관절(특히, 어깨관절 및 팔꿉관절)을 구현해줄 수 있어, 실제 수술과 근접한 관절수술을 연습할 수 있도록 도모해주는 장점이 있다.According to the present invention, a virtual joint (particularly, a shoulder joint and an elbow joint) close to the real body may be realized by re-editing an image obtained by performing preoperative CT (Magnetic Resonance Imaging) or MRI (Magnetic Resonance Imaging) according to optical characteristics. There is an advantage that can help you practice joint surgery close to the actual surgery.

또한, 본 발명에 따르면 관절경 영상의 특성을 반영하여 실제 관절경 영상과 동일한 3차원 영상을 구현해줄 수 있어, 실제 수술과 동일한 환경 구현으로 가상 수술 시스템의 학습효과를 향상시킬 수 있는 장점이 있다.In addition, according to the present invention can reflect the characteristics of the arthroscopy image can implement the same 3D image as the actual arthroscopy image, there is an advantage that can improve the learning effect of the virtual surgical system by implementing the same environment as the actual surgery .

또한, 본 발명에 따르면 관절경 수술을 가상으로 수행함으로써, 의대생 또는 경험이 적은 의사들이 많은 경험을 쌓을 수 있고, 이로 인해 단시간에 전문기술을 습득할 수 있는 효과가 있으며, 실제와 동일한 환경에서 가상 수술을 수행함으로써, 실제 수술 시 위험부담을 줄일 수 있는 효과도 있다.
In addition, according to the present invention by virtually performing arthroscopy surgery, medical students or doctors with less experience can gain a lot of experience, thereby having the effect of learning expertise in a short time, virtual in the same environment as the actual By performing the surgery, there is also an effect that can reduce the risk during the actual operation.

도 1은 본 발명에 따른 가상 관절경 수술 시뮬레이션시스템의 실시 예를 보인 블록도.
도 2는 도 1의 영상 처리부의 실시 예 구성도.
도 3a는 본 발명에서 초기화된 렌더링 작품의 3차원 영상 예시도이고, 도 3b는 결손 보정을 한 후의 3차원 영상 예시도이다.
도 4는 본 발명에서 텍스처 매핑을 이용하여 생성한 3차원 영상의 예시도.1 is a block diagram showing an embodiment of a virtual arthroscopic surgery simulation system according to the present invention.
FIG. 2 is a block diagram showing an embodiment of the image processing unit of FIG. 1. FIG.
FIG. 3A is an exemplary view of a 3D image of a rendered artwork initialized in the present invention, and FIG. 3B is an exemplary view of a 3D image after defect correction is performed.
4 is an exemplary view of a 3D image generated using texture mapping in the present invention.

이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 1은 본 발명에 따른 가상 관절경 수술 시뮬레이션시스템의 실시 예를 도시한 구성도로, 크게 컨트롤러(10)와 시뮬레이터(20)로 구성된다. 1 is a configuration diagram showing an embodiment of a virtual arthroscopic surgery simulation system according to the present invention, and is largely composed of a controller 10 and a simulator 20.

상기 컨트롤러(10)는 사용자의 조작에 따라 신호를 발생시키고, 상기 시뮬레이터(20)는 관절경 영상의 특성이 반영된 3차원 영상을 구현하는 동시에, 상기 컨트롤러(10)에서 발생한 신호를 분석하여 상기 3차원 영상에 컨트롤러의 가상 동작상태를 반영하여 가상 수술을 시뮬레이션해주는 역할을 한다.The controller 10 generates a signal according to a user's operation, and the simulator 20 implements a 3D image reflecting the characteristics of the arthroscopic image, and analyzes the signal generated by the controller 10 to determine the 3D image. It simulates virtual surgery by reflecting the virtual operating state of the controller in the dimensional image.

또한, 시뮬레이터(20)는 3차원 영상에서 컨트롤러(10)의 가상 동작상태에 따라 신호를 발생시키고, 상기 신호를 컨트롤러(10)에 전송한다. 컨트롤러(10)는 시뮬레이터(20)에서 발생한 신호를 분석하고, 상기 신호에 따라 구동하여 사용자가 촉감 및 역감을 감지하도록 구동된다.In addition, the simulator 20 generates a signal according to the virtual operating state of the controller 10 in the 3D image, and transmits the signal to the controller 10. The controller 10 analyzes the signal generated by the simulator 20 and drives the user according to the signal to sense the tactile feeling and the adverse reaction.

또한, 컨트롤러(10)는 사용자의 선택에 따라 다양한 가상 수술도구를 구현하며, 상기 가상 수술 도구는 시뮬레이터(20)에서 구현된다. 이때, 각각의 가상 수술도구의 특성에 따라 다르게 동작한다. 아울러, 컨트롤러(10)는 적어도 하나 이상 구비되어 사용될 수 있다. 즉, 컨트롤러(10)는 각각의 가상 수술도구에 따라 구비되어, 실제 수술환경과 동일한 가상 수술환경을 구현할 수 있다.In addition, the controller 10 implements various virtual surgical instruments according to a user's selection, and the virtual surgical instruments are implemented in the simulator 20. At this time, it operates differently depending on the characteristics of each virtual surgical tool. In addition, at least one controller 10 may be provided and used. That is, the controller 10 may be provided according to each virtual surgical tool, and may implement the same virtual surgical environment as the actual surgical environment.

이하, 컨트롤러(10)의 구성과 기능에 대하여 상세히 설명한다.Hereinafter, the configuration and function of the controller 10 will be described in detail.

컨트롤러(10)는 컨트롤러 제어부(11), 위치 검출부(12), 구동부(13), 컨트롤러 신호부(14)로 구성된다.The controller 10 includes a controller controller 11, a position detector 12, a driver 13, and a controller signal unit 14.

위치 검출부(12)는 컨트롤러(10)의 내부에 구비되어, 상기 컨트롤러(10)의 동작에 따른 위치를 검출한다. 즉, 사용자가 조작하는 컨트롤러(10)의 실제 동작상태가 시뮬레이터(20) 상에 동일하게 구현되도록, 컨트롤러(10)의 실제 동작상태에 대한 위치정보를 검출하여 시뮬레이터(20)에 전송한다. 상기 시뮬레이터(20)는 상기 위치정보를 기반으로 시뮬레이터(20) 상에 컨트롤러(10)의 가상 동작상태를 구현한다.The position detector 12 is provided inside the controller 10 to detect a position according to the operation of the controller 10. That is, position information on the actual operating state of the controller 10 is detected and transmitted to the simulator 20 so that the actual operating state of the controller 10 manipulated by the user is equally implemented on the simulator 20. The simulator 20 implements a virtual operating state of the controller 10 on the simulator 20 based on the location information.

또한, 컨트롤러(10)의 위치정보는 실시간으로 시뮬레이터(20)에 전송되는 것이 바람직하다. 이로 인해, 사용자에 의한 컨트롤러(10)의 실제 동작상태와 시뮬레이터(20) 상에서 구현되는 컨트롤러(10)의 가상 동작상태가 동일하게 구현되므로 실제 수술환경과 동일한 환경을 구현하여 가상 관절경 수술을 수행할 수 있다.In addition, the location information of the controller 10 is preferably transmitted to the simulator 20 in real time. Because of this, since the actual operation state of the controller 10 by the user and the virtual operation state of the controller 10 implemented on the simulator 20 are implemented in the same manner, the virtual arthroscopic surgery is performed by implementing the same environment as the actual operating environment. can do.

구동부(13)는 컨트롤러(10)의 내부에 구비되어, 시뮬레이터(20)에서 전송되는 신호에 따라 컨트롤러(10)를 구동시킨다. 컨트롤러(10)를 사용하는 사용자가 촉감 및 역감을 감지하도록 구동되며, 컨트롤러 제어부(11)의 제어에 의해 구동된다.The driver 13 is provided inside the controller 10 to drive the controller 10 according to a signal transmitted from the simulator 20. The user who uses the controller 10 is driven to sense the sense of touch and the sense of force, and is driven by the control of the controller control unit 11.

즉, 실제 수술환경과 동일한 환경을 구현하기 위하여, 시뮬레이터(20)에 의해 구현되는 3차원 영상에서 컨트롤러(10)의 가상 동작 상태에 따른 저항을 사용자가 감지할 수 있도록 하는 것이다. 따라서, 3차원 영상에서 구현되는 가상 컨트롤러(10)가 3차원 영상에서 피부, 근육, 뼈, 신경 등에 접촉하는 경우, 각 구조물의 물성을 반영한 저항을 사용자가 감지할 수 있도록 컨트롤러(10)를 구동한다.That is, in order to realize the same environment as the actual surgical environment, the user can sense the resistance according to the virtual operation state of the controller 10 in the 3D image implemented by the simulator 20. Therefore, when the virtual controller 10 implemented in the 3D image contacts skin, muscles, bones, nerves, etc. in the 3D image, the controller 10 drives the controller 10 so that the user can sense resistance reflecting the physical properties of each structure. do.

상기 구동부(13)는 진동모터, 리니어 모터 등을 사용하여 사용자가 촉감 및 저항을 감지하도록 할 수 있다.The driving unit 13 may allow the user to sense the touch and resistance using a vibration motor, a linear motor, or the like.

컨트롤러 신호부(14)는 컨트롤러(10)의 내부에 구비되어, 컨트롤러(10)와 시뮬레이터(20) 상호 간에 신호를 송수신하도록 한다. 즉, 컨트롤러 신호부(14)는 컨트롤러(10)의 위치 검출부(12)에서 검출된 위치정보에 대한 신호를 시뮬레이터(20)로 전송하고, 시뮬레이터(20)로부터 발생한 신호를 전송받는다.The controller signal unit 14 is provided inside the controller 10 to transmit and receive signals between the controller 10 and the simulator 20. That is, the controller signal unit 14 transmits a signal for the position information detected by the position detector 12 of the controller 10 to the simulator 20, and receives a signal generated from the simulator 20.

상기 시뮬레이터(20)로부터 전송받는 신호는 상기 시뮬레이터(20) 상에서 컨트롤러(10)의 가상 동작상태에 따른 반력에 대한 신호이며, 컨트롤러 신호부(14)는 상기 신호를 수신받는다. 상기 신호는 컨트롤러 제어부(11)를 통하여 구동부(13)로 전송되어, 상기 구동부(13)가 구동되도록 하여 사용자가 촉감 및 역감을 감지하게 된다.The signal received from the simulator 20 is a signal for reaction force according to the virtual operating state of the controller 10 on the simulator 20, and the controller signal unit 14 receives the signal. The signal is transmitted to the driving unit 13 through the controller control unit 11, so that the driving unit 13 is driven, so that the user senses the tactile feeling and the feeling of inversion.

또한, 컨트롤러 신호부(14)는 컨트롤러 제어부(11)로부터 신호를 전송받아 시뮬레이터(20)에 전송하며, 상기 시뮬레이터(20)로부터 전송받은 신호는 컨트롤러 제어부(11)로 전송한다.In addition, the controller signal unit 14 receives a signal from the controller control unit 11 and transmits the signal to the simulator 20, and the signal received from the simulator 20 transmits the signal to the controller control unit 11.

컨트롤러 신호부(14)는 시뮬레이터 신호부(25)와 연동되어 신호를 송수신하며, 이때 유선으로 신호를 송/수신할 수 있고 무선통신을 통하여 신호를 송/수신할 수도 있다. 무선통신을 이용하는 경우 근거리 통신망, 적외선 통신, 블루투스 등을 이용할 수 있으나, 근거리 통신망을 사용하는 것이 바람직하다.The controller signal unit 14 interworks with the simulator signal unit 25 to transmit and receive signals, and at this time, the signal may be transmitted / received by wire or may be transmitted / received through wireless communication. In the case of using wireless communication, a local area network, infrared communication, Bluetooth, etc. may be used, but it is preferable to use a local area network.

컨트롤러 제어부(11)는 컨트롤러(10)의 내부에 구비되어, 위치 검출부(12), 구동부(13), 컨트롤러 신호부(14)를 제어한다. 즉, 컨트롤러 제어부(11)는 사용자가 컨트롤러(10)를 사용하는 경우 위치 검출부(12)를 제어하여 상기 컨트롤러(10)의 위치정보를 검출하도록 한다. The controller control unit 11 is provided inside the controller 10 to control the position detection unit 12, the driving unit 13, and the controller signal unit 14. That is, when the user uses the controller 10, the controller controller 11 controls the position detector 12 to detect the position information of the controller 10.

상기 위치 검출부(12)가 검출한 위치정보는 실시간으로 컨트롤러 제어부(11)로 전송되고, 상기 컨트롤러 제어부(11)는 전송된 위치정보를 위치신호로 변환하여 컨트롤러 신호부(14)를 통해 시뮬레이터(20)로 전송한다. 이때, 사용자가 컨트롤러(10)의 조작을 통해 선택한 가상 수술도구에 대한 정보도 시뮬레이터(20)에 전송한다.The position information detected by the position detection unit 12 is transmitted to the controller control unit 11 in real time, and the controller control unit 11 converts the transmitted position information into a position signal and uses the simulator signal unit 14 through a simulator ( 20). At this time, information about the virtual surgical tool selected by the user through the operation of the controller 10 is also transmitted to the simulator 20.

또한, 컨트롤러 제어부(11)는 구동부(13)를 제어하여 컨트롤러(10)가 구동되도록 한다. 즉, 컨트롤러 제어부(11)는 컨트롤러 제어부(14)를 통해 전송받은 신호를 분석하여 구동부(13)를 제어한다. 상기 전송받은 신호는 시뮬레이터(20) 상에서 컨트롤러(10)의 가상 동작상태에 따른 반력으로, 가상 수술도구가 3차원 영상의 피부, 근육, 뼈, 신경 등에 접촉됨으로써 발생한다.In addition, the controller controller 11 controls the driver 13 to drive the controller 10. That is, the controller controller 11 controls the driver 13 by analyzing a signal transmitted through the controller controller 14. The received signal is a reaction force according to the virtual operating state of the controller 10 on the simulator 20, and is generated when the virtual surgical tool contacts skin, muscle, bone, nerve, or the like of the 3D image.

따라서 컨트롤러 제어부(11)는 상기 신호를 분석하여, 상기 반력에 따라 사용자가 촉감 및 역감을 감지할 수 있도록 구동부(13)를 제어한다. 이로 인해, 실제 수술환경과 동일한 환경을 구현할 수 있다.Therefore, the controller controller 11 analyzes the signal and controls the driver 13 so that the user can sense the sense of touch and force in response to the reaction force. Because of this, it is possible to implement the same environment as the actual surgical environment.

또한, 컨트롤러 제어부(11)는 컨트롤러 신호부(14)를 제어하여 컨트롤러(10)와 시뮬레이터(20) 상호간 신호정보를 송/수신하도록 제어한다. 즉, 컨트롤러 제어부(11)는 위치 검출부(12)로부터 위치정보를 전송받아, 상기 위치정보에 따른 신호를 발생시켜 컨트롤러 제어부(14)를 통해 시뮬레이터(20)로 송신하도록 제어하는 기능을 한다.In addition, the controller control unit 11 controls the controller signal unit 14 to transmit / receive signal information between the controller 10 and the simulator 20. That is, the controller controller 11 receives the position information from the position detector 12, generates a signal according to the position information, and controls to transmit the signal to the simulator 20 through the controller controller 14.

아울러 시뮬레이터(20)로부터 발생한 신호를 전송받도록 컨트롤러 신호부(14)를 제어하고, 상기 전송받은 신호를 분석하여 구동부(13)의 구동을 제어한다. 상기 컨트롤러 제어부(11)는 컨트롤러(10)의 동작상태가 시뮬레이터(20) 상에 실시간으로 구현되도록 신호의 전송을 제어하고, 상기 시뮬레이터(20) 상에서 컨트롤러(10)의 동작상태에 따른 반력을 사용자가 실시간으로 감지할 수 있도록 전송된 신호를 처리한다.In addition, the controller signal unit 14 is controlled to receive the signal generated from the simulator 20, and the drive signal 13 is controlled by analyzing the received signal. The controller control unit 11 controls the transmission of a signal such that the operating state of the controller 10 is implemented in real time on the simulator 20, and the user applies a reaction force according to the operating state of the controller 10 on the simulator 20. The transmitted signal is processed so that it can be detected in real time.

상술한 바와 같이, 컨트롤러 제어부(11)는 위치검출부(12), 구동부(13), 컨트롤러 신호부(14)를 제어하여, 컨트롤러(10)의 전체 동작을 제어한다. 또한, 컨트롤러(10)와 시뮬레이터(20)를 실시간으로 연동하게 함으로써, 실제 수술환경과 동일한 환경을 구현할 수 있다.As described above, the controller control unit 11 controls the position detecting unit 12, the driving unit 13, and the controller signal unit 14 to control the overall operation of the controller 10. In addition, by allowing the controller 10 and the simulator 20 to work in real time, the same environment as the actual surgical environment may be realized.

이하, 시뮬레이터(20)의 구성과 기능에 대하여 상세히 설명한다. Hereinafter, the configuration and function of the simulator 20 will be described in detail.

상기 시뮬레이터(20)는 시뮬레이터 제어부(21), 데이터베이스(22), 영상처리부(23), 시뮬레이터 신호부(24), 영상 출력부(25)로 구성된다.The simulator 20 includes a simulator controller 21, a database 22, an image processor 23, a simulator signal unit 24, and an image output unit 25.

데이터베이스(22)는 시뮬레이터(20)의 내부에 구비되어, 가상 수술을 수행하고자 하는 관절에 대한 2차원 영상이 저장되고, 컨트롤러(10)에 의해 구현되는 3차원 가상 수술도구에 대한 영상이 저장된다.The database 22 is provided inside the simulator 20 to store a two-dimensional image of a joint to perform a virtual surgery and to store an image of a three-dimensional virtual surgical tool implemented by the controller 10. .

상기 관절에 대한 영상은 컴퓨터단층촬영장치(CT) 및 자기공명영상촬영장치(MRI)에 의해 촬영된 영상이 저장되고, 상기 영상은 영상 처리부(23)를 통해 3차원 영상으로 변환되고, 변환된 3차원 영상으로부터 결손을 추출하여 결손을 보정 한 후, 결손 보정이 이루어진 3차원 영상에 텍스처 매핑을 수행하여 볼륨감과 현실감 및 입체감을 부가한 영상을 생성하게 된다.The image of the joint is stored by the CT and magnetic resonance imaging (MRI) is stored, the image is converted into a three-dimensional image by the image processing unit 23, the converted After the defects are extracted from the three-dimensional image to correct the defects, the texture mapping is performed on the three-dimensional image in which the defects are corrected to generate an image having added volume, realism and three-dimensionality.

또한, 상기 데이터베이스(22)는 시뮬레이터 제어부(21)에 의해 제어되며, 가상 관절경 수술 시스템이 사용되는 경우, 먼저 데이터베이스(22)에 저장된 영상을 영상 처리부(23)로 전송하도록 제어한다. 아울러, 데이터베이스(22)에 저장된 가상 수술도구에 대한 3차원 영상은 시뮬레이터 제어부(21)로 전송되도록 제어한다.In addition, the database 22 is controlled by the simulator controller 21, and when the virtual arthroscopic surgery system is used, first the image stored in the database 22 is transmitted to the image processor 23. In addition, the 3D image of the virtual surgical tool stored in the database 22 is controlled to be transmitted to the simulator control unit 21.

아울러, 데이터베이스(22)는 컨트롤러(10)와 시뮬레이터(20)를 이용하여 가상 수술을 하는 영상이 저장될 수 있다. 상기 영상을 저장함으로써, 가상 수술을 마친후 상기 영상을 분석하고 상기 분석된 결과를 기반으로 수술과정에서의 문제점 및 수술의 성공 여부 등을 파악할 수 있다. 이로 인해, 가상 관절경 수술 시뮬레이션시스템을 사용하는 사용자의 학습효과를 향상시킬 수 있다.In addition, the database 22 may store an image of performing a virtual surgery using the controller 10 and the simulator 20. By storing the image, after the virtual surgery, the image can be analyzed and the problems in the surgical procedure and the success of the operation can be determined based on the analyzed result. As a result, the learning effect of the user who uses the virtual arthroscopic simulation system can be improved.

영상 처리부(23)는 시뮬레이터(20)의 내부에 구비되며, 2차원 영상을 3차원 영상으로 변환한다. 영상 처리부(23)는 도 2에 도시한 바와 같이, 렌더링부(23a), 결손 추출부(23b), 결손 보정부(23c) 및 텍스처 매핑부(23d)로 이루어진다.The image processor 23 is provided inside the simulator 20 and converts a 2D image into a 3D image. As illustrated in FIG. 2, the image processor 23 includes a renderer 23a, a defect extraction unit 23b, a defect correction unit 23c, and a texture mapping unit 23d.

렌더링부(23a)는 데이터베이스(22)로부터 변환하고자 하는 2차원 영상을 전송받는다. 상기 2차원 영상은 가상 수술을 수행하고자 하는 부분으로, 상기 부분에 대해 컴퓨터단층촬영장치(CT) 및 자기공명영상촬영장치(MRI)에 의해 촬영된 영상을 이용한다. 상기 촬영된 영상은 가상 수술을 수행하고자 하는 부분에 대해 1㎜ 간격으로 얻은 절단면에 대한 영상이다.The renderer 23a receives a 2D image to be converted from the database 22. The 2D image is a portion to be performed for the virtual surgery, and uses the image captured by the CT and MRI for the portion. The photographed image is an image of a cut plane obtained at intervals of 1 mm with respect to a part to be virtually operated.

렌더링부(23a)는 구역화 과정을 통해 2차원 영상을 3차원 영상으로 변환한다. 즉, 3차원 영상을 구현하기 위해 각 관심구역 영상의 강도(intensity)에 해당되는 문턱치(threshold value)를 각각 설정하고, 상기 문턱치(threshold value) 이상이 되는 값만을 필터링하여 구역화한다. 구체적으로, 2차원 영상에서 피부, 뼈, 근육, 동맥, 신경에 대한 문턱치를 각각 설정하고, 상기 문턱치 이상되는 구역을 피부, 뼈, 근육, 동맥, 신경으로 구역화한다. 상기 구역화된 영상을 이용하여 3차원 영상을 구현한다The renderer 23a converts the 2D image into a 3D image through a zoning process. That is, in order to implement a 3D image, threshold values corresponding to the intensity of each ROI image are respectively set, and only values that are equal to or greater than the threshold value are filtered and zoned. Specifically, thresholds for the skin, bones, muscles, arteries, and nerves are set in the two-dimensional image, and the areas above the thresholds are zoned into the skin, bones, muscles, arteries, and nerves. The 3D image is realized using the segmented image.

예를 들어, 상기 과정을 통해 팔을 구역화 하면, 피부 1개, 뼈 32개, 팔근육 49개, 동맥 6개, 신경 3개로 구역화 된다. 상기 구역화된 영상을 기반으로 보다 정확한 3차원 영상을 구현할 수 있다.For example, if the arm is zoned through the process, it is zoned into 1 skin, 32 bones, 49 arm muscles, 6 arteries, and 3 nerves. A more accurate 3D image may be realized based on the segmented image.

또한, 더욱 정확한 3차원 영상을 구현하기 위해 구역화 과정 이전에 보간 과정(interpolation)을 수행할 수 있다. 상기 보간 과정은 3차원 영상의 해상도를 향상시키기 위한 것으로 연속되는 2차원 영상 사이에 현재 시퀀스 영상의 이전과 이후의 차이를 구하여, 상기 차분 영상을 보간하는 것이다. 이러한 영상 보간 과정을 수행하면 더욱 정확한 3차원 영상을 구현할 수 있다.In addition, interpolation may be performed before the zoning process to realize a more accurate 3D image. The interpolation process is to improve the resolution of a 3D image and interpolate the difference image by obtaining a difference before and after the current sequence image between successive 2D images. By performing such an image interpolation process, a more accurate 3D image can be realized.

본 발명에서는 어깨관절과 팔꿉 관절에 대한 2차원 영상을 3차원 영상으로 변환하는 방법에 대하여 설명하였으나, 이에 한정되지 않고 상기 방법을 이용하여 신체 모든 부분의 2차원 영상을 3차원 영상으로 변환할 수 있다.In the present invention, a method of converting a 2D image of a shoulder joint and a elbow joint into a 3D image has been described. However, the present invention is not limited thereto, and the 2D image of all parts of the body can be converted into a 3D image using the above method. have.

다음으로, 결손 추출부(23b)는 상기 렌더링부(23a)에 의해 변환된 3차원 영상에서 결손 부분을 추출하게 된다. 여기서 결손 부분의 추출은 3차원 영상에서 윤곽선을 추출하여 배경과 영상을 구분하고, 구분한 영상에서 저주파 성분을 제거하는 필터링을 통해 직류(DC) 성분을 제거한다. 통상, 영상에서의 픽셀 값이 급격하게 변하는 부분을 고주파(high frequency) 성분이 강하다고 하고, 픽셀 값이 일정하거나 완만하게 변하는 부분을 저주파(low frequency) 성분이 강하다고 한다. 영상에서 저주파 성분을 제거하게 되면, 즉 DC성분을 제거하게 되면 픽셀변화가 급격한 부분을 강조하여 표현할 수 있으며, 이렇게 픽셀 변화가 급격한 부분을 결손이라고 판단하게 된다. 여기서 DC성분을 제거하는 방법은 integral image를 생성하여 활용하도록 한다. 이는 일정 크기의 필터가 영상 내에서 이동하여 처리하는 연산의 복잡성을 최대한 줄일 수 있는 장점이 있다. integral image를 생성하여 연산하는 방법은 영상 처리 기법에서 잘 알려진 공지의 기술이므로 구체적인 설명은 생략하기로 한다.Next, the defect extraction unit 23b extracts the defect portion from the 3D image converted by the rendering unit 23a. Here, the extraction of the defective part removes the DC component through filtering to extract the contour from the 3D image and to separate the background and the image, and to remove the low frequency component from the separated image. In general, a high frequency component is said to be strong in a portion where a pixel value changes abruptly in an image, and a low frequency component is called a portion in which a pixel value is constant or smoothly changes. When the low frequency component is removed from the image, that is, when the DC component is removed, the sharp part of the pixel change can be emphasized, and the sharp part of the pixel is determined to be a defect. Here, the method of removing the DC component is to create and utilize an integral image. This has the advantage of reducing the complexity of the computation of a certain size of the filter to move in the image. Since a method of generating and calculating an integral image is well known in the image processing technique, a detailed description thereof will be omitted.

주지한 바와 같은 과정을 통해 영상의 결손 부분 즉, 도 3과 같은 3차원 영상에서 구멍이 뚫려있는 부분을 추출하게 된다. 이후 결손 보정부(23c)에서 상기 3차원 영상으로부터 결손 추출부(23b)에서 추출한 결손 부분에 대하여 3차원 메쉬 에디팅 기법을 적용하여 결손 보정을 하게 된다. 여기서 3차원 메쉬 에디팅 기법은 사용자가 메쉬 데이터에 변형 요소를 가하였을 때 메쉬 데이터의 특징을 유지하면서 형태를 수정하는 기법이다. 보편적으로 사용하는 에디팅 기법은 단일 메쉬를 사용하여 형태를 수정한다. 그러나 3차원 메쉬 데이터는 위치 정보와 연결 정보만을 표현하고 있으므로 에디팅을 수행할 때 물체가 나타내는 운동성의 측면에서 형태 특징을 충분히 반영하지 못한다. 따라서 형태적 특징을 유지하는 에디팅 결과를 얻기 위해 두 개의 메쉬 데이터에서 국부 영역(local region)에서의 표면 특징을 운동 특성(motion feature)으로 매개 변수화하여 에디팅을 수행한다.Through the process as is well known, the missing portion of the image, that is, the portion where the hole is extracted from the three-dimensional image as shown in FIG. Thereafter, the defect correction unit 23c corrects the defect by applying a 3D mesh editing technique to the defect portion extracted from the defect extraction unit 23b from the 3D image. Here, the 3D mesh editing technique is a technique for modifying a shape while maintaining the characteristics of the mesh data when the user applies deformation elements to the mesh data. Commonly used editing techniques modify the shape using a single mesh. However, since the 3D mesh data represents only positional information and connection information, it does not sufficiently reflect shape features in terms of mobility exhibited by an object when editing. Therefore, in order to obtain an editing result that maintains the morphological features, the editing is performed by parameterizing a surface feature in a local region as a motion feature in two mesh data.

예컨대, 3차원 삼각형 메쉬 데이터로 표현된 두 개의 영상 정보에서 추출한 운동 벡터에 기반한 운동 특성을 이용한다. 3차원 삼각형 메쉬는 국부 영역에서 꼭지점 사이의 운동 벡터들이 서로 밀접한 상관 관계를 갖는다. 따라서 한 꼭지점에서의 운동 벡터와 이웃 꼭지점에서의 운동 벡터들이 이루는 비율을 그 꼭지점의 운동 특성이라고 정의한다. 이 운동 특성은 주어진 3차원 영상 정보의 표면 형태의 특징을 표현한다. 에디팅은 사용자가 임의의 꼭지점을 조작 꼭지점(anchor vertex)으로 선택하여 자유롭게 움직이는 자유 형태 변형(free-form deformation)의 의미에서 이루어진다. 조작 꼭지점에는 사용자의 조작에 따라 강제된 운동이 부여되고 이 운동은 조작 꼭지점에서의 운동 특성을 유지하도록 이웃 꼭지점을 이동시킨다. 이 과정을 통해 샘플 메쉬쌍의 특징을 보존하는 에디팅 결과를 얻는다. 결론적으로 3차원 영상에서 결손 추출부(23b)에서 추출한 결손 부분을 3차원 메쉬 에디팅 기법으로 처리하여, 실제 뼈와 같은 3차원 영상을 획득하게 된다. 도 3b에 결손 보정된 3차원 영상의 예시가 도시되었다.For example, a motion characteristic based on a motion vector extracted from two pieces of image information represented by three-dimensional triangular mesh data is used. The three-dimensional triangular mesh has a close correlation with the motion vectors between vertices in the local region. Therefore, the ratio between the motion vectors at one vertex and the motion vectors at the neighboring vertex is defined as the motion characteristic of the vertex. This motion characteristic expresses the characteristics of the surface form of the given three-dimensional image information. Editing is done in the sense of free-form deformation, in which the user selects any vertex as an anchor vertex and moves freely. The operation vertex is given a forced exercise according to the user's operation, which moves the neighboring vertices to maintain the movement characteristics at the operation vertex. This process results in an edit that preserves the characteristics of the sample mesh pair. In conclusion, the missing portion extracted by the defect extracting unit 23b in the 3D image is processed by a 3D mesh editing technique to obtain a 3D image such as a real bone. An example of a defect corrected three-dimensional image is shown in FIG. 3B.

다음으로, 텍스처 매핑부(23d)는 상기 결손 보정부(23c)에서 결손이 보정된 3차원 영상에 텍스처 매핑(texture mapping) 기법을 적용하여 볼륨감 및 현실감, 그리고 입체감을 부가하여 3차원 영상을 완성하게 된다.Next, the texture mapping unit 23d applies a texture mapping technique to the three-dimensional image in which the defect correction unit 23c has corrected the defect, and adds a volume, reality, and three-dimensional image to add a three-dimensional image. You are done.

여기서 텍스처 매핑은 3차원의 공간에서 뼈대가 완성된 모델의 표면에 사실감을 부여해 주기 위한 기법으로서, 3D 프로그램을 통해 완성된 모델링 데이터에 사용자가 원하는 재질을 부여해 줌으로써 보다 사실적이고 정교한 모델의 표면을 얻을 수 있다. 예컨대, 텍스처 매핑은 표현하고자 하는 이미지나 물체의 사실감을 높이기 위해 그 표면에 원하는 무늬나 색을 입히는 작업으로서, 3차원 입체 모형의 표현에 많이 사용된다. 일반적으로 모든 텍스처는 여러 가지 색의 점들이 모여서 만들어진 비트맵 그래픽으로 이루어져 있는데, 본 발명에서는 더욱 부드럽고 균일한 이미지와 좀 더 선명한 해상도를 얻기 위해 2선형 여과와 3선형 여과 등의 색상 혼합 기법을 사용한다.Here, texture mapping is a technique for giving realism to the surface of a model with skeletons in three-dimensional space, and the user can obtain a more realistic and sophisticated model surface by giving the user the desired material to the modeling data completed through the 3D program. Can be. For example, texture mapping is a process of applying a desired pattern or color to a surface to increase the realism of an image or an object to be expressed, and is used for a 3D stereoscopic model. In general, all textures consist of bitmap graphics that are made up of multicolored dots. In the present invention, color mixing techniques such as 2-linear filtration and 3-linear filtration are used to obtain a smoother and more uniform image and a clearer resolution. do.

이러한 과정을 통해 3차원 영상에 텍스처 매핑을 하게 되면 완성된 3차원 영상은 도 4에 도시한 바와 같이, 볼륨감을 동반한 현실감과 입체감을 갖는 실제 관절경 영상과 동일한 3차원 영상을 구현할 수 있게 되는 것이다.When texture mapping is performed on the 3D image through the above process, the completed 3D image can realize the same 3D image as the actual arthroscopic image having the realism and the 3D feeling with volume as shown in FIG. 4. will be.

아울러 실제 시뮬레이션시 영상 처리부(23)는 시뮬레이터 제어부(21)로부터 컨트롤러(10)에 의해 구현되는 가상 수술도구와 상기 수술도구의 동작상태에 대한 정보를 전송받는다. 상기 전송받은 정보와 관절경 특성이 반영된 3차원 영상을 결합하여, 가상 수술을 수행하는 영상을 구현한다. 즉, 3차원 영상에서 가상 수술도구가 동작하도록 영상을 구현하고, 상기 구현된 영상을 시뮬레이터 제어부(21)로 전송한다.In addition, during the actual simulation, the image processor 23 receives information about a virtual surgical tool implemented by the controller 10 and an operating state of the surgical tool from the simulator controller 21. By combining the received information and the three-dimensional image reflecting the arthroscopy characteristics, an image for performing a virtual surgery is implemented. That is, the image is implemented to operate the virtual surgical tool in the three-dimensional image, and transmits the implemented image to the simulator control unit 21.

시뮬레이터 신호부(24)는 시뮬레이터(20)의 내부에 구비되어, 시뮬레이터(20)와 컨트롤러(10) 상호 간에 신호정보를 송수신한다. 즉, 시뮬레이터 신호부(25)는 컨트롤러 신호부(14)로부터 컨트롤러(10)의 동작상태에 대한 신호를 전송받고, 3차원 영상에서 컨트롤러(10)의 가상 동작상태에 따른 반력에 대한 신호를 컨트롤러 신호부(14)에 전송한다. The simulator signal unit 24 is provided inside the simulator 20 to transmit and receive signal information between the simulator 20 and the controller 10. That is, the simulator signal unit 25 receives a signal for the operating state of the controller 10 from the controller signal unit 14, and controls the signal for the reaction force according to the virtual operating state of the controller 10 in the 3D image. The signal is transmitted to the signal 14.

또한, 시뮬레이터 신호부(24)는 컨트롤러 신호부(14)에서 전송받은 신호를 시뮬레이터 제어부(21)에 전송한다.In addition, the simulator signal unit 24 transmits the signal received from the controller signal unit 14 to the simulator control unit 21.

컨트롤러 신호부(14)는 시뮬레이터 신호부(24)와 연동되어 신호를 송/수신하며, 이때 유선으로 신호를 송수신할 수 있고 무선통신을 통하여 신호를 송수신할 수도 있다. 무선통신을 이용하는 경우 근거리 통신망, 적외선 통신, 블루투스 등을 이용할 수 있으나, 근거리 통신망을 사용하는 것이 바람직하다.The controller signal unit 14 interworks with the simulator signal unit 24 to transmit / receive a signal. In this case, the controller signal unit 14 may transmit / receive a signal by wire or may transmit / receive a signal through wireless communication. In the case of using wireless communication, a local area network, infrared communication, Bluetooth, etc. may be used, but it is preferable to use a local area network.

영상출력부(25)는 시뮬레이터(20)의 내부에 구비되어, 영상 처리부(23)에 의해 생성된 3차원 영상을 출력한다. 즉, 영상 출력부(25)는 시뮬레이터 제어부(21)로부터 3차원 영상정보를 수신받아, 상기 3차원 영상정보를 출력한다.The image output unit 25 is provided inside the simulator 20 and outputs a 3D image generated by the image processing unit 23. That is, the image output unit 25 receives the 3D image information from the simulator control unit 21 and outputs the 3D image information.

상기 영상출력부(25)는 LCD, OLED, LED으로 구성될 수 있으며, 터치스크린을 구비할 수도 있다.The image output unit 25 may be composed of LCD, OLED, LED, may be provided with a touch screen.

시뮬레이터 제어부(21)는 시뮬레이터(20)의 내부에 구비되어, 데이터베이스(22), 영상처리부(23), 시뮬레이터 신호부(24), 영상출력부(25)를 제어한다.The simulator controller 21 is provided inside the simulator 20 to control the database 22, the image processor 23, the simulator signal unit 24, and the image output unit 25.

시뮬레이터 제어부(21)는 데이터베이스(22)를 제어하여 2차원 영상을 영상처리부(23)로 전송하도록 제어하고, 상기 데이터베이스(22)에 저장되어 있는 컨트롤러(10)에 의해 구현되는 가상 수술도구에 대한 영상을 전송받는다.The simulator controller 21 controls the database 22 to transmit the 2D image to the image processor 23, and for the virtual surgical tool implemented by the controller 10 stored in the database 22. Receive video.

또한, 시뮬레이터 신호부(24)로부터 컨트롤러(10)에 의해 구현되는 가상 수술도구의 동작상태를 전송받고, 가상 수술도구에 대한 영상과 동작상태에 대한 정보를 결합하여, 가상 수술도구의 동작상태에 대한 영상 정보를 영상처리부(23)에 전송한다.In addition, receiving the operating state of the virtual surgical tool implemented by the controller 10 from the simulator signal unit 24, by combining the information on the operating state and the image of the virtual surgical tool, the operating state of the virtual surgical tool It transmits the image information about the image processing unit 23.

또한, 시뮬레이터 제어부(21)는 상기 영상처리부(23)에 의해 구현된 영상을 전송받아 분석한다. 즉, 3차원 영상 내에서 가상 수술도구의 동작상태를 분석하여 상기 동작상태에 따른 반력을 분석한다. 구체적으로, 3차원 영상 내에서 가상 수술도구가 동작하여 피부, 근육, 뼈, 신경 등에 접촉하는 경우 이에 대한 반력을 분석한다.In addition, the simulator controller 21 receives and analyzes the image implemented by the image processor 23. That is, the reaction force according to the operation state is analyzed by analyzing the operation state of the virtual surgical tool in the 3D image. In detail, when a virtual surgical tool operates in a 3D image and contacts skin, muscles, bones, nerves, etc., the reaction force is analyzed.

상기 분석된 반력은 시뮬레이터 신호부(24)를 통해 컨트롤러(10)로 전송되어 상기 반력을 사용자가 감지할 수 있도록 한다.The analyzed reaction force is transmitted to the controller 10 through the simulator signal unit 24 so that the user can sense the reaction force.

또한, 시뮬레이터 제어부(21)는 시뮬레이터 신호부(24)를 제어하여 시뮬레이터(20)와 컨트롤러(10) 상호간 신호정보를 송/수신하도록 제어한다. 즉, 3차원 영상에서 컨트롤러(10)의 가상 동작상태에 따른 반력에 대한 신호를 컨트롤러(10)에 전송하는 것을 제어하고, 상기 컨트롤러(10)로부터 컨트롤러(10)가 구현하는 가상 수술도구와 상기 수술도구에 대한 동작상태에 대한 신호를 전송받는 것을 제어한다.In addition, the simulator control unit 21 controls the simulator signal unit 24 to transmit / receive signal information between the simulator 20 and the controller 10. That is, the virtual surgical tool implemented by the controller 10 from the controller 10 and controlling the transmission of the signal for the reaction force according to the virtual operating state of the controller 10 in the three-dimensional image, the controller 10 and the Controls the transmission of the signal for the operation status of the surgical instrument.

아울러, 시뮬레이터 제어부(21)는 컨트롤러(10)의 동작상태에 따른 가상 동작상태가 실시간으로 3차원 영상에 구현될 수 있도록, 상기 시뮬레이터 신호부(24)를 제어하여 컨트롤러(10)로부터의 신호 수신을 제어한다. 또한, 사용자가 컨트롤러(10)의 동작상태에 따른 반력을 실시간으로 감지할 수 있도록, 상기 시뮬레이터 신호부(24)를 제어하여 컨트롤러(10)에 신호 송신을 제어한다.In addition, the simulator controller 21 controls the simulator signal unit 24 to receive a signal from the controller 10 so that a virtual operation state according to the operation state of the controller 10 can be implemented in a 3D image in real time. To control. In addition, the user can sense the reaction force according to the operating state of the controller 10 in real time, by controlling the simulator signal unit 24 to control the signal transmission to the controller 10.

또한, 시뮬레이터 제어부(21)는 영상출력부(25)를 제어하여 영상이 출력되도록 한다. 즉, 영상처리부(23)에서 구현된 3차원 영상을 전송받아 영상출력부(25)로 전송하고, 실시간으로 영상이 출력될 수 있도록 영상출력부(25)를 제어한다.In addition, the simulator controller 21 controls the image output unit 25 to output an image. That is, the 3D image implemented by the image processor 23 is received and transmitted to the image output unit 25, and the image output unit 25 is controlled to output the image in real time.

상술한 바와 같이, 본 발명 가상 관절경 수술 시뮬레이션시스템은 컨트롤러(10)와 시뮬레이터(20)로 구성되며, 시뮬레이터(20)에 의해 관절경 영상의 특성이 반영된 3차원 영상이 구현되어 실제 수술환경과 동일한 환경을 구현할 수 있다. 이로 인해, 가상 관절경 수술 시스템 사용자의 학습효과가 향상될 것이다.As described above, the virtual arthroscopic surgery simulation system of the present invention is composed of a controller 10 and a simulator 20, and a three-dimensional image reflecting the characteristics of the arthroscopic image is implemented by the simulator 20 to realize the actual surgical environment. The same environment can be implemented. This will improve the learning effect of the user of the virtual arthroscopic surgery system.

이상, 본 발명 가상 관절경 수술 시뮬레이션시스템의 구성과 기능에 대하여 상세하게 설명하였다. 이하, 본 발명 가상 관절경 수술 시뮬레이션시스템의 사용상태에 대하여 상세하게 설명한다.In the above, the configuration and function of the virtual arthroscopic surgery simulation system of the present invention has been described in detail. Hereinafter, the state of use of the virtual arthroscopic surgery simulation system of the present invention will be described in detail.

가상 관절경 수술 시뮬레이션시스템을 사용하여 가상 수술을 하기 위하여, 시술하고자 하는 환자에 대한 영상을 컴퓨터단층촬영장치(CT) 및 자기공명영상촬영장치(MRI)에 의해 촬영하고, 상기 영상을 시뮬레이터(20)의 데이터베이스(22)에 저장한다. 이때, 상기 영상은 1㎜ 간격으로 촬영한다.In order to perform virtual surgery using a virtual arthroscopic surgery simulation system, images of a patient to be treated are photographed by a computed tomography (CT) device and a magnetic resonance imaging device (MRI), and the images are simulated. ) Is stored in the database 22. At this time, the image is taken at 1mm intervals.

데이터베이스(22)에 전송된 영상은 영상처리부(23)로 전송되고, 상기 영상처리부(23)에서 3차원 영상으로 변환된다. 여기서 2차원 영상을 3차원 영상으로 변환하는 구체적인 설명은 이미 설명한 바 있으므로, 중복기재를 회피하기 위해 생략하기로 한다.The image transmitted to the database 22 is transmitted to the image processor 23, and converted into a 3D image by the image processor 23. Since a detailed description of converting a 2D image into a 3D image has already been described, it will be omitted to avoid overlapping.

아울러 영상처리부(23)는 관절경 영상의 특성을 반영하여 3차원 영상을 구현하고, 상기 구현된 3차원 영상에 컨트롤러(10)에 의한 가상 수술도구의 가상 동작상태를 반영하여 3차원 영상을 구현한다.In addition, the image processing unit 23 implements the 3D image by reflecting the characteristics of the arthroscopic image, and implements the 3D image by reflecting the virtual operating state of the virtual surgical tool by the controller 10 in the implemented 3D image do.

상술한 바와 같이, 상기 과정을 통하여 영상처리부(23)에서 관절경 영상의 특성이 반영된 3차원 영상을 구현한다. 이때, 구현된 3차원 영상은 사용자가 볼 수 있도록 영상출력부(25)에 의해 출력된다. As described above, the image processing unit 23 implements the 3D image reflecting the characteristics of the arthroscopic image through the above process. At this time, the implemented three-dimensional image is output by the image output unit 25 so that the user can see.

영상출력부(25)에 관절경 영상의 특성이 반영된 3차원 영상이 출력되면, 사용자는 컨트롤러(10)를 이용하여 가상 수술을 수행하게 된다. 이때, 사용자는 컨트롤러(10)를 이용하여 사용하고자 하는 가상 수술도구를 선택하고, 선택된 가상 수술도구를 이용하여 가상 수술을 수행한다.When the 3D image reflecting the characteristics of the arthroscopic image is output to the image output unit 25, the user performs the virtual surgery using the controller 10. At this time, the user selects a virtual surgical tool to be used by using the controller 10 and performs virtual surgery using the selected virtual surgical tool.

사용자가 컨트롤러(10)를 이용하여 가상 수술을 하는 경우, 컨트롤러(10)와 시뮬레이터(20)는 상기 컨트롤러(10)의 동작상태가 3차원 영상에서 구현되도록 한다. 즉, 컨트롤러(10)는 동작상태에 대한 위치정보를 시뮬레이터(20)에 전송하고, 상기 시뮬레이터(20)는 상기 위치정보를 분석하여 3차원 영상에서 컨트롤러(10)가 구현되도록 한다.When the user performs a virtual surgery using the controller 10, the controller 10 and the simulator 20 allow the operating state of the controller 10 to be implemented in a 3D image. That is, the controller 10 transmits the position information on the operation state to the simulator 20, and the simulator 20 analyzes the position information so that the controller 10 is implemented in the 3D image.

또한, 3차원 영상에서 컨트롤러(10)의 가상 동작상태에 따른 반력을 사용자가 감지할 수 있도록, 시뮬레이터(20)는 컨트롤러(10)에 반력 신호를 전송한다. 상기 컨트롤러(10)는 상기 신호에 의해 구동되어, 사용자가 촉감 및 역감을 감지할 수 있도록 한다.In addition, the simulator 20 transmits a reaction force signal to the controller 10 so that the user can sense the reaction force according to the virtual operation state of the controller 10 in the 3D image. The controller 10 is driven by the signal, so that the user can sense the sense of touch and force.

이로 인해, 사용자가 컨트롤러(10)를 조작하는 것에 대응하여 영상출력부(25)에서 출력되는 3차원 영상에 컨트롤러(10)의 가상 동작상태가 구현되므로 실제 수술환경과 동일한 환경에서 가상 수술이 가능하다.Therefore, the virtual operation state of the controller 10 is implemented in the 3D image output from the image output unit 25 in response to the user operating the controller 10, so that virtual surgery is possible in the same environment as the actual surgical environment. Do.

본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims and their equivalents. Of course, such modifications are within the scope of the claims.

10… 컨트롤러
20… 시뮬레이터
21… 시뮬레이터 제어부
22… 데이터베이스
23… 영상처리부
23a… 렌더링부
23b… 결손 추출부
23c… 결손 보정부
23d… 텍스처 매핑부10... controller
20... Simulator
21 ... Simulator control unit
22... Database
23 ... Image processor
23a... Rendering unit
23b ... Defect extraction
23c... Defect Correction Unit
23d... Texture Mapping Section

Claims

A controller for generating a signal according to a user's use state;
It includes a simulator for implementing a three-dimensional image by reflecting the characteristics of the arthroscopic image, and performing a virtual arthroscopy by reflecting the virtual operating state of the controller in the three-dimensional image according to the signal generated from the controller,
The simulator implements a three-dimensional image based on the two-dimensional image of the joint, corrects the defect by extracting the defect from the three-dimensional image, and then applies texture mapping to the three-dimensional image in which the defect is corrected, thereby providing a sense of volume and reality. Virtual arthroscopic surgery simulation system, characterized in that for generating a three-dimensional image with a three-dimensional effect.

The method of claim 1, wherein the simulator generates a signal in accordance with the virtual operating state of the controller in the 3D image,
And the controller operates according to the generated signal.

The virtual arthroscopic surgery simulation system of claim 1, wherein the controller implements a virtual surgical tool according to a user's selection, and the virtual surgical tool is implemented in a simulator.

The virtual arthroscopic surgery simulation system according to claim 1, wherein the two-dimensional image of the joint is an image captured by a computed tomography (CT) device and a magnetic resonance imaging device (MRI).

The method according to claim 1, wherein the simulator,
An image processing unit for processing a two-dimensional image of the joint to make a three-dimensional image,
The image processing unit includes a virtual arthroscopic surgery simulation system comprising a rendering unit for converting a two-dimensional image to a three-dimensional stereoscopic image.

The method of claim 5, wherein the image processing unit,
A defect extraction unit for extracting a defect portion from the 3D stereoscopic image;
And a defect correction unit for correcting the defect by applying a mesh editing technique to the defect portion extracted by the defect extraction unit.

The method of claim 6, wherein the image processing unit,
And a texture mapping unit configured to map the three-dimensional image that is corrected by the defect correction unit as a texture to give a volume, reality, and three-dimensional feeling to the three-dimensional image.