KR102182641B1

KR102182641B1 - Method for diagnosing glaucoma using fundus image and apparatus therefor

Info

Publication number: KR102182641B1
Application number: KR1020180134333A
Authority: KR
Inventors: 조현성; 정재훈; 김종엽; 박지상
Original assignee: 한국전자통신연구원; 건양대학교산학협력단
Priority date: 2018-01-16
Filing date: 2018-11-05
Publication date: 2020-11-25
Also published as: KR20190087272A

Abstract

안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 녹내장 진단 방법은 원본 안저영상(FUNDUS IMAGE)에 대한 전처리 영상을 기반으로 상기 원본 안저영상에 대한 복수개의 변형 영상들을 생성하는 데이터 증폭 단계; 상기 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성하는 단계; 및 상기 녹내장 판독 모델을 기반으로 상기 원본 안저영상에 대한 녹내장 등급을 진단하는 단계를 포함한다.Disclosed are a method for diagnosing glaucoma using a fundus image and an apparatus therefor. According to an embodiment of the present invention, a method for diagnosing glaucoma includes a data amplification step of generating a plurality of modified images for the original fundus image based on a preprocessed image for the original fundus image; Learning a plurality of individual learning models of different types based on the plurality of transformed images, and generating a glaucoma reading model based on outputs of each of the learned plurality of individual learning models; And diagnosing a glaucoma grade for the original fundus image based on the glaucoma reading model.

Description

A method for diagnosing glaucoma using fundus imaging and a device therefor {METHOD FOR DIAGNOSING GLAUCOMA USING FUNDUS IMAGE AND APPARATUS THEREFOR}

본 발명은 녹내장을 진단하는 기술에 관한 것으로, 특히 녹내장 판독 모델을 기반으로 안저영상에 대한 녹내장 등급을 진단하는 기술에 관한 것이다.The present invention relates to a technology for diagnosing glaucoma, and more particularly, to a technology for diagnosing a glaucoma grade for a fundus image based on a glaucoma reading model.

녹내장은 백내장, 황반변성과 더불어 3대 실명 유발 안과질환으로, 2014년 이루어진 녹내장 질환의 역학조사에 따르면, 2013년 기준으로 전 세계 40대 이상 성인 중에서 약 3.54%(6천 4백 30만명)가 녹내장 환자이며, 2020년에는 그 수가 7천 6백만 명까지 증가할 것으로 추정하고 있다(Tham et al., 2014). 또한, 2010년 기준으로 전 세계적으로 녹내장으로 실명한 환자는 2백 10만명이고, 시력을 손실한 환자는 4백 20만명에 이른다는 조사 결과가 발표되었다(Bourne et al., 2017). 경제적 관점에서 녹내장을 분석한 연구 결과에 따르면, 녹내장 환자가 직접적으로 지불하는 의료비용은 미국에서만 29억 달러에 이른다고 보고하고 있다(Varma et al., 2011).Glaucoma, along with cataract and macular degeneration, is one of the three major blindness-causing eye diseases.According to an epidemiological survey of glaucoma disease conducted in 2014, about 3.54% (64.3 million people) of adults in their 40s or older worldwide were glaucoma. Patients, and the number is estimated to increase to 76 million by 2020 (Tham et al., 2014). In addition, as of 2010, there were 2,100,000 patients with blindness due to glaucoma worldwide, and a survey result was published that the number of patients with vision loss reached 4.2 million (Bourne et al., 2017). According to the results of a study analyzing glaucoma from an economic point of view, it is reported that the direct medical costs paid by glaucoma patients amount to $2.9 billion in the United States alone (Varma et al., 2011).

녹내장(Glaucoma)은 신경절세포(Retinal Ganglion Cell, RGC)와 그 축삭(Axon)이 손상됨으로써 실명에 이를 수 있는 질병이다. 녹내장은 만성적이고, 비가역적으로 진행하는 특성 때문에 조기에 발견한 녹내장은 치료제 또는 수술을 통해 진행을 늦출 수 있고, 치료 효과 역시 좋은 편이다. 하지만, 질환의 특성상 말기 단계까지 환자가 뚜렷하게 느낄 수 있는 시야 결손이나 시력 저하와 같은 주관적인 증상이 없는 경우가 많다. 또한, 진행 단계가 심한 녹내장의 경우 치료 예후가 나쁘기 때문에, 검진을 통해 조기 발견의 중요성이 매우 크다.Glaucoma (Glaucoma) is a disease that can lead to blindness due to damage to the ganglion cells (Retinal Ganglion Cell (RGC)) and its axons (Axon). Because glaucoma is chronic and progresses irreversibly, glaucoma detected early can be slowed down through treatment or surgery, and the treatment effect is also good. However, due to the nature of the disease, there are many cases where there are no subjective symptoms such as visual field defects or decreased vision that patients can clearly feel until the terminal stage. In addition, in case of severe glaucoma, the prognosis of treatment is poor, so the importance of early detection through examination is very high.

현재 녹내장을 진단하는 방법으로는 주사레이저현미경(Scanning Laser Polarimetry, SLP) 또는 빛간섭단층촬영(Optical Coherence Tomography, OCT), 시야검사(Visual Field Test), 시신경유두(Optic Disc, OD)의 함몰 비율 비교가 대표적인 진단방법이다.Currently, glaucoma is diagnosed by scanning laser polarimetry (SLP) or optical coherence tomography (OCT), visual field test, and optical disc (OD) depression rate. Comparison is a typical diagnostic method.

도 1에 도시된 OCT를 이용한 진단의 경우, 시신경섬유층의 두께를 측정하는 방식으로 정량화와 객관화가 가능한 장점이 있으나, 시신경유두(OD)로부터 매우 제한된 영역에 있는 망막 신경 섬유층(Retinal Nerve Fiber Layer, RNFL)만을 측정하므로 촬영 영역 외부에 존재하는 녹내장과 관련된 병변을 검출하기에는 한계가 있다. 시야결손전녹내장(Preperimetric Glaucoma) 또는 초기 녹내장의 경우, RNFL의 결손은 시신경유두에서 시작하여 망막 주변부로 확장되는 양상을 보인다. 따라서, OCT 측정결과에서 유의미하게 나타나는 시신경유두 영역의 RNFL 결손은 초기 녹내장을 진단하는데 많은 제약이 있다.In the case of diagnosis using the OCT shown in FIG. 1, although quantification and objectification are possible by measuring the thickness of the optic nerve fiber layer, the Retinal Nerve Fiber Layer, which is in a very limited area from the optic nerve papilla (OD), Since only RNFL) is measured, there is a limit to detecting glaucoma-related lesions outside the imaging area. In the case of Preperimetric Glaucoma or early glaucoma, the RNFL defect begins at the optic nerve papilla and extends to the periphery of the retina. Therefore, RNFL defects in the optic nerve papillary region, which are significant in OCT measurement results, have many limitations in diagnosing early glaucoma.

도 2에 도시된 시야검사는 환자의 미세한 시야결손 여부를 측정하는 방법으로 녹내장 확진에 많이 사용하지만, 측정에 오랜 시간과 노력이 소요된다는 단점과 초기 녹내장의 경우 측정 일관성이 떨어진다는 단점이 있다. 또한, OCT와 마찬가지로 시야결손녹내장의 진단에 한계가 존재한다. 2016년 동경대에서는 시야검사 결과 데이터를 이용하여 딥러닝 적용사례를 발표하였다(Asaoka et al., 2016). 시야검사는 일반적으로 30분 이상의 검사시간이 소요되고, 검사과정에서 환자뿐만 아니라 검사를 주관하는 의료진까지도 많은 노력을 기울여야 하는 단점이 있다. 또한, 시야검사 장비는 안저촬영기보다 상대적으로 고가이기 때문에 의료 현장에 보급된 비율 측면에서도 의료 접근성이 좋지 않으며, 저비용으로 녹내장 선별검사를 진행하기에는 어려움이 있다. 또한, 시야결손이 발생하지 않은 시야결손전녹내장의 검출에는 한계가 있다. Asaoka et al.(2016)의 연구 역시 녹내장 중증도 등급화 이슈는 고려하지 않았다.The visual field test shown in FIG. 2 is a method of measuring whether a patient has minute visual field defects, and is often used to confirm glaucoma, but has a disadvantage in that it takes a long time and effort to measure, and in the case of initial glaucoma, measurement consistency is poor. Also, like OCT, there is a limit to the diagnosis of visual field defect glaucoma. In 2016, the University of Tokyo presented a case of deep learning application using the visual field test result data (Asaoka et al., 2016). The visual field test generally takes 30 minutes or more, and has a drawback that not only the patient but also the medical staff in charge of the test must put a lot of effort into the test process. In addition, since visual field examination equipment is relatively expensive than a fundus imaging device, medical access is not good in terms of the rate of spread to medical fields, and it is difficult to perform glaucoma screening at low cost. In addition, there is a limit to detection of pre-glaucoma without visual field defect. The study of Asaoka et al. (2016) also did not consider the issue of grading glaucoma severity.

Chen et al. (2015)은 녹내장을 자동으로 판독하기 위해 안저영상에서 시신경유두(OD) 영역을 추출하여 딥러닝을 적용하는 방법을 제시하였다. 그러나, Chen et al. (2015)의 연구는 안저영상에서 시신경유두 영역만을 딥러닝에 적용했다는 단점이 존재한다. 즉, 안저영상의 시신경유두에서 녹내장과 관련된 병변을 식별할 수 있는 상황은 대부분 중기 이상의 녹내장 단계에서 나타나기 때문에 시야결손전녹내장이나 초기 녹내장을 검출하기에는 한계가 있다. 또한, 녹내장 중증도의 등급화에 관련된 이슈는 제시하지 못하고 있다. Chen et al. (2015) proposed a method of applying deep learning by extracting the optic nerve papilla (OD) region from a fundus image to automatically read glaucoma. However, Chen et al. The study of (2015) has a disadvantage that only the optic nerve nipple area in the fundus image was applied to deep learning. In other words, there is a limit to detecting pre-field defect glaucoma or early glaucoma because most of the situations in which glaucoma-related lesions can be identified in the optic nerve papilla of the fundus image appear in the middle or higher stage of glaucoma. Also, issues related to the grading of glaucoma severity have not been presented.

도 3에 도시된 것처럼, 안저영상에서 시신경유두(OD) 영역을 이용해 녹내장을 진단하는 종래의 방법은 신경다발을 형성하고 있는 시신경유두에서 컵과 디스크의 비율(Cup-to-Disc Ratio, CDR)을 계산하는 것이다. CDR 방법 역시 시신경유두라는 매우 제한된 영역을 가지고 진단하기 때문에 시야결손전녹내장과 초기 녹내장을 선별하기에 어려움이 있고, 중증도 정량화 역시 한계가 있다. As shown in Figure 3, the conventional method for diagnosing glaucoma using the optic nerve papilla (OD) region in the fundus image is the ratio of cup-to-disc (Cup-to-Disc Ratio, CDR) in the optic nerve papilla forming a nerve bundle. Is to calculate. Since the CDR method is also diagnosed with a very limited area called the optic nerve papilla, it is difficult to screen for pre-field defect glaucoma and early glaucoma, and the severity of quantification is also limited.

반면, 녹내장 발병 초기단계에서 가장 먼저 결손이 발생하는 해부학적 조직은 신경절세포의 축삭으로 구성된 망막 신경 섬유층(RNFL)이다. 이러한 병리학적 특성을 고려할 때, 건강검진 또는 안과검사에서 실시하는 안저촬영(Fundus Photography) 검사를 통해 RNFL의 결손 여부를 판독해서 조기에 녹내장의 징후를 발견하는 것이 매우 중요하다. 초기 녹내장 환자의 망막을 촬영한 안저영상에서는 국소적인 쐐기모양의 RNFL 결손을 확인가능하다. 통상적으로 안저영상에서 RNFL의 결손을 육안으로 정확하게 판독하는 작업은 고도의 숙달된 안과 전문의만이 가능한 난이도가 매우 높은 작업이다.On the other hand, in the early stages of glaucoma onset, the first anatomical tissue in which the defect occurs is the retinal nerve fiber layer (RNFL) composed of axons of ganglion cells. Considering these pathological characteristics, it is very important to detect signs of glaucoma early by reading whether RNFL is defective or not through a fundus photography test performed at a health check-up or ophthalmic examination. In fundus images taken of the retina of early glaucoma patients, local wedge-shaped RNFL defects can be identified. In general, the task of accurately reading the defect of RNFL in the fundus image with the naked eye is a very difficult task that only highly skilled ophthalmologists can do.

결론적으로, 현재까지 안저영상 전체를 이용해 시야결손전녹내장과 초기 녹내장을 자동으로 검출하는 능력을 제공하고, 동시에 녹내장 중증도를 등급화할 수 있는 기능을 제공하는 딥러닝 연구는 아직까지 발표된 사례가 없다.In conclusion, there have been no cases published so far in deep learning studies that provide the ability to automatically detect pre-field defect glaucoma and early glaucoma using the entire fundus image and at the same time provide a function to grade glaucoma severity. .

한국 등록 특허 제10-1848321호, 2018년 4월 20일 공고(명칭: 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치)Korean Patent Registration No. 10-1848321, Announced on April 20, 2018 (Name: Method for supporting reading of fundus image for a subject and device using the same)

본 발명의 목적은 진단 검사 비용이 저렴하면서 동시에 의료 접근성이 좋은 안저영상을 바탕으로 시야결손전녹내장과 초기 녹내장의 선별검사가 가능한 녹내장 진단 방법을 제공하는 것이다.It is an object of the present invention to provide a method for diagnosing glaucoma capable of screening pre-field defect glaucoma and early glaucoma based on a fundus image that is inexpensive and has good medical access.

또한, 본 발명의 목적은 녹내장 중증도를 자동으로 등급화할 수 있는 딥러닝 모델을 기반으로 망막 신경 섬유층의 미세한 결손을 자동으로 판독함으로써 녹내장의 중증도 등급화하여 진단하는 것이다.In addition, an object of the present invention is to classify and diagnose the severity of glaucoma by automatically reading minute defects in the retinal nerve fiber layer based on a deep learning model that can automatically grade glaucoma severity.

또한, 본 발명의 목적은 녹내장의 중증도를 등급화할 수 있는 기술을 제공함으로써 향후 의료서비스 품질을 향상시키고, 관련 의료비용 지출의 절감과 함께 실명위험율을 낮춤으로써 실명에 따른 사회적 비용 역시 절감하는 것이다. In addition, an object of the present invention is to improve the quality of medical services in the future by providing a technology capable of grading the severity of glaucoma, and to reduce social costs due to blindness by lowering the risk of blindness while reducing related medical expenses.

또한, 본 발명의 목적은 현재 널리 보급되어 있는 안저촬영기에 탑재 또는 연동 가능한 인공지능 기반 임상 의사 결정 지원 시스템(Clinical Decision Support System, CDSS) 개념의 소프트웨어 형태로 녹내장 진단 기능을 제공함으로써 다양한 분야에서 활용될 수 있도록 하는 것이다.In addition, it is an object of the present invention to be used in various fields by providing a glaucoma diagnosis function in the form of software in the concept of an artificial intelligence-based clinical decision support system (CDSS) that can be mounted or linked to a fundus imager that is currently widely used. To be able to be.

또한, 본 발명의 목적은 녹내장 선별검사 자동화 서비스에 활용 가능한 녹내장 진단 기술을 제공하고, 대규모로 이루어지는 안저촬영 촬영 결과의 판독 효율과 정확성을 향상시키고, 이에 따른 시간적 이득을 전문의의 2차 판독에 할애함으로써 보다 경제적이고 정확한 검강검진 결과를 제공하는 것이다.In addition, an object of the present invention is to provide a glaucoma diagnosis technology that can be used for an automated glaucoma screening test service, improve the reading efficiency and accuracy of large-scale fundus imaging results, and devote time gains to the second reading of a specialist. This is to provide more economical and accurate examination results.

상기한 목적을 달성하기 위한 본 발명에 따른 녹내장 진단 방법은 원본 안저영상(FUNDUS IMAGE)에 대한 전처리 영상을 기반으로 상기 원본 안저영상에 대한 복수개의 변형 영상들을 생성하는 데이터 증폭 단계; 상기 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성하는 단계; 및 상기 녹내장 판독 모델을 기반으로 상기 원본 안저영상에 대한 녹내장 등급을 진단하는 단계를 포함한다.In order to achieve the above object, a method for diagnosing glaucoma according to the present invention comprises: a data amplification step of generating a plurality of modified images for the original fundus image based on a preprocessed image for the original fundus image; Learning a plurality of individual learning models of different types based on the plurality of transformed images, and generating a glaucoma reading model based on outputs of each of the learned plurality of individual learning models; And diagnosing a glaucoma grade for the original fundus image based on the glaucoma reading model.

이 때, 데이터 증폭 단계는 상기 전처리 영상에서 검출된 시신경유두(OPTIC DISC)를 기준으로 기설정된 범위 내에서 상기 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정하는 단계를 포함할 수 있다.In this case, the data amplification step may include designating a plurality of capture regions for generating the plurality of modified images within a preset range based on the OPTIC DISC detected in the preprocessed image.

이 때, 복수개의 캡처 영역들은 상기 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 상기 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 상기 가상 원의 반지름이 상기 시신경유두의 경계에 상응하는 원의 반지름보다 길 수 있다.At this time, the plurality of capture regions are square shapes having a side length preset in consideration of the size of the optic nerve nipple, and a center of gravity is located on the circumference of a virtual circle with the center point of the optic nerve nipple as the center of the circle, The radius of the virtual circle may be longer than the radius of a circle corresponding to the boundary of the optic nerve papilla.

이 때, 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응할 수 있다.In this case, the output grade of the plurality of individual learning models may correspond to three or more grades having at least three or more outputs.

이 때, 녹내장 판독 모델을 생성하는 단계는 상기 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 상기 녹내장 판독 모델을 생성할 수 있다.In this case, the step of generating the glaucoma reading model may generate the glaucoma reading model based on a matrix obtained by digitizing the outputs of each of the learned plurality of individual learning models.

이 때, 복수개의 캡처 영역들을 지정하는 단계는 상기 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 상기 기준점으로부터 기설정된 각도만큼 이동하면서 상기 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다.At this time, the step of designating a plurality of capture areas includes setting a point on the circumference of the virtual circle as a reference point, and moving a predetermined angle from the reference point, while moving a plurality of centers of gravity corresponding to the plurality of capture areas. Can be set.

이 때, 데이터 증폭 단계는 상기 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 상기 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 상기 복수개의 변형 영상들을 생성할 수 있다.In this case, in the data amplification step, a plurality of captured images may be generated by capturing the plurality of capture regions, and the plurality of transformed images may be generated by performing rotation and channel separation for each of the plurality of captured images.

이 때, 데이터 증폭 단계는 상기 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 상기 시신경유두의 중심점과 경계를 추정하는 단계를 더 포함할 수 있다.In this case, the data amplification step may further include binarizing the preprocessed image and estimating a center point and a boundary of the optic nerve papilla based on a sum vector for each of the horizontal and vertical axes of the matrix representing the pixel values of the binarized image. have.

이 때, 추정하는 단계는 상기 가로축의 합산 벡터 최대값과 상기 세로축의 합산 벡터 최대값에 상응하게 상기 중심점의 좌표를 추정하고, 상기 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 상기 경계에 상응하는 원의 반지름을 추정할 수 있다.In this case, in the estimating step, the coordinates of the center point are estimated according to the maximum sum vector of the horizontal axis and the maximum sum vector of the vertical axis, and a value corresponding to '0' in the sum vector of each of the horizontal and vertical axes. The radius of a circle corresponding to the boundary may be estimated based on the remaining area except for the part.

이 때, 복수개의 개별 학습 모델들은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 있다.In this case, the plurality of individual learning models correspond to a CONVOLUTIONAL NEURAL NETWORK (CNN), but at least one of the number of hidden layers of the multilayer neural network, the type of input data, and the number of outputs may be different from each other.

이 때, 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 상기 좌측 접선과 우측 접선을 기준으로 상기 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 상기 전처리 영상을 생성하는 전처리 단계를 더 포함할 수 있다.At this time, each of the left and right tangents of the fundus is detected based on a two-dimensional matrix value generated based on a pixel value obtained by binarizing the original fundus image, and information of the fundus is included based on the left and right tangents. A pre-processing step of generating the pre-processed image by deleting an unnecessary region that is not being performed may be further included.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치는, 원본 안저영상(FUNDUS IMAGE)에 대한 전처리 영상을 생성하는 전처리부; 상기 전처리 영상을 기반으로 상기 원본 안저영상에 대한 복수개의 변형 영상들을 생성하는 데이터 증폭부; 상기 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성하는 녹내장 판독 모델 생성부; 상기 녹내장 판독 모델을 기반으로 상기 원본 안저영상에 대한 녹내장 등급을 진단하는 처리부; 및 상기 복수개의 개별 학습 모델들 및 상기 녹내장 판독 모델을 저장하는 저장부를 포함한다.In addition, an apparatus for diagnosing glaucoma according to an embodiment of the present invention includes: a preprocessor for generating a preprocessed image for an original fundus image; A data amplification unit generating a plurality of modified images for the original fundus image based on the preprocessed image; A glaucoma reading model generation unit that trains a plurality of individual learning models of different types based on the plurality of transformed images and generates a glaucoma reading model based on the outputs of each of the learned plurality of individual learning models; A processing unit for diagnosing a glaucoma grade for the original fundus image based on the glaucoma reading model; And a storage unit for storing the plurality of individual learning models and the glaucoma reading model.

이 때, 데이터 증폭부는 상기 전처리 영상에서 검출된 시신경유두(OPTIC DISC)를 기준으로 기설정된 범위 내에서 상기 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정할 수 있다.In this case, the data amplification unit may designate a plurality of capture regions for generating the plurality of modified images within a preset range based on the OPTIC DISC detected in the preprocessed image.

이 때, 녹내장 판독 모델 생성부는 상기 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 상기 녹내장 판독 모델을 생성할 수 있다.In this case, the glaucoma reading model generation unit may generate the glaucoma reading model based on a matrix in which the outputs of each of the learned plurality of individual learning models are digitized and integrated.

이 때, 데이터 증폭부는 상기 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 상기 기준점으로부터 기설정된 각도만큼 이동하면서 상기 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다.In this case, the data amplification unit may set a point on the circumference of the virtual circle as a reference point, and may set a plurality of centers of gravity corresponding to the plurality of capture regions while moving from the reference point by a preset angle.

이 때, 데이터 증폭부는 상기 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 상기 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 상기 복수개의 변형 영상들을 생성할 수 있다.In this case, the data amplification unit may generate a plurality of captured images by capturing the plurality of capture regions, and may generate the plurality of modified images by rotating and channel separation for each of the plurality of captured images.

이 때, 데이터 증폭부는 상기 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 상기 시신경유두의 중심점과 경계를 추정할 수 있다.In this case, the data amplification unit may binarize the preprocessed image and estimate a center point and a boundary of the optic nerve papilla based on a sum vector for each of a horizontal axis and a vertical axis of a matrix representing the pixel values of the binarized image.

이 때, 데이터 증폭부는 상기 가로축의 합산 벡터 최대값과 상기 세로축의 합산 벡터 최대값에 상응하게 상기 중심점의 좌표를 추정하고, 상기 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 상기 경계에 상응하는 원의 반지름을 추정할 수 있다.At this time, the data amplification unit estimates the coordinates of the center point according to the maximum sum vector value of the horizontal axis and the maximum sum vector value of the vertical axis, and a value corresponding to '0' in the sum vector of each of the horizontal and vertical axes. The radius of a circle corresponding to the boundary may be estimated based on the remaining areas except for.

이 때, 복수개의 개별 학습 모델들은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 이다.At this time, the plurality of individual learning models correspond to the CONVOLUTIONAL NEURAL NETWORK (CNN), but at least one of the number of hidden layers, the type of input data, and the number of outputs of the multilayer neural network may be different from each other.

이 때, 전처리부는 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 상기 좌측 접선과 우측 접선을 기준으로 상기 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 상기 전처리 영상을 생성할 수 있다.At this time, the preprocessor detects the left tangent and right tangent of the fundus, respectively, based on the two-dimensional matrix value generated based on the binary image of the original fundus image, and information of the fundus based on the left tangent and the right tangent. The pre-processed image may be generated by deleting an unnecessary region not including.

본 발명에 따르면, 진단 검사 비용이 저렴하면서 동시에 의료 접근성이 좋은 안저영상을 바탕으로 시야결손전녹내장과 초기 녹내장의 선별검사가 가능한 녹내장 진단 방법을 제공할 수 있다.According to the present invention, it is possible to provide a method for diagnosing glaucoma capable of screening pre-field defect glaucoma and early glaucoma based on a fundus image that is inexpensive and has good medical access.

또한, 본 발명은 녹내장 중증도를 자동으로 등급화할 수 있는 딥러닝 모델을 기반으로 망막 신경 섬유층의 미세한 결손을 자동으로 판독함으로써 녹내장의 중증도 등급화하여 진단할 수 있다.In addition, the present invention can be diagnosed by grading the severity of glaucoma by automatically reading minute defects in the retinal nerve fiber layer based on a deep learning model that can automatically grade glaucoma severity.

또한, 본 발명은 녹내장의 중증도를 등급화할 수 있는 기술을 제공함으로써 향후 의료서비스 품질을 향상시키고, 관련 의료비용 지출의 절감과 함께 실명위험율을 낮춤으로써 실명에 따른 사회적 비용 역시 절감할 수 있다.In addition, the present invention improves the quality of medical services in the future by providing a technology capable of grading the severity of glaucoma, and reduces the risk of blindness while reducing related medical expenses expenditure, thereby reducing social costs associated with blindness.

또한, 본 발명은 현재 널리 보급되어 있는 안저촬영기에 탑재 또는 연동 가능한 인공지능 기반 임상 의사 결정 지원 시스템(Clinical Decision Support System, CDSS) 개념의 소프트웨어 형태로 녹내장 진단 기능을 제공함으로써 다양한 분야에서 활용될 수 있도록 할 수 있다.In addition, the present invention can be used in various fields by providing a glaucoma diagnosis function in the form of software in the concept of an artificial intelligence-based clinical decision support system (CDSS) that can be mounted or interlocked with a fundus imager that is currently widely used. I can do it.

또한, 본 발명은 녹내장 선별검사 자동화 서비스에 활용 가능한 녹내장 진단 기술을 제공하고, 대규모로 이루어지는 안저촬영 촬영 결과의 판독 효율과 정확성을 향상시키고, 이에 따른 시간적 이득을 전문의의 2차 판독에 할애함으로써 보다 경제적이고 정확한 검강검진 결과를 제공할 수 있다.In addition, the present invention provides a glaucoma diagnosis technology that can be used for an automated glaucoma screening test service, improves the reading efficiency and accuracy of large-scale fundus imaging results, and dedicates the resulting temporal gain to the second reading of a specialist. Economical and accurate examination results can be provided.

도 1 내지 도 3은 종래의 녹내장 진단 방법의 일 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 녹내장 진단 시스템을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 녹내장 진단 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명에 따른 원본 안저영상의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 전처리 과정에서 인식되는 정보의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 전처리 영상의 일 예를 나타낸 도면이다.
도 9 내지 도 11은 본 발명에 따른 전처리 과정에서 안저 경계를 추출하는 과정의 일 예를 나타낸 도면이다.
도 12 내지 도 14는 본 발명에서 시신경유두의 중심점과 경계를 추출하는 과정의 일 예를 나타낸 도면이다.
도 15는 본 발명에 따른 캡처 영역의 일 예를 나타낸 도면이다.
도 16 내지 도 17은 본 발명에 따른 데이터 증폭 과정의 일 예를 나타낸 도면이다.
도 18 내지 도 23은 본 발명에 따른 복수개의 변형 영상들의 일 예를 나타낸 도면이다.
도 24 내지 도 25는 본 발명에 따른 복수개의 개별 학습 모델들 및 녹내장 판독 모델을 이용한 녹내장 등급 진단 과정의 일 예를 나타낸 도면이다.
도 26은 본 발명의 일실시예에 따른 녹내장 진단 장치를 나타낸 블록도이다.
도 27는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.1 to 3 are diagrams showing an example of a conventional glaucoma diagnosis method.
4 is a diagram showing a glaucoma diagnosis system according to an embodiment of the present invention.
5 is a flowchart illustrating a method for diagnosing glaucoma according to an embodiment of the present invention.
6 is a diagram showing an example of an original fundus image according to the present invention.
7 is a diagram showing an example of information recognized in a preprocessing process according to the present invention.
8 is a diagram showing an example of a preprocessed image according to the present invention.
9 to 11 are diagrams showing an example of a process of extracting a fundus boundary in a preprocessing process according to the present invention.
12 to 14 are diagrams showing an example of a process of extracting the center point and boundary of the optic nerve papilla in the present invention.
15 is a diagram showing an example of a capture area according to the present invention.
16 to 17 are diagrams showing an example of a data amplification process according to the present invention.
18 to 23 are diagrams showing an example of a plurality of modified images according to the present invention.
24 to 25 are views showing an example of a glaucoma grade diagnosis process using a plurality of individual learning models and a glaucoma reading model according to the present invention.
26 is a block diagram showing an apparatus for diagnosing glaucoma according to an embodiment of the present invention.
27 is a diagram showing a computer system according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings as follows. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those with average knowledge in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 4는 본 발명의 일실시예에 따른 녹내장 진단 시스템을 나타낸 도면이다.4 is a diagram showing a glaucoma diagnosis system according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 녹내장 진단 시스템은 안저 촬영기(Fundus Scope)(400), 녹내장 진단 장치(410) 및 모니터(420)를 포함한다. Referring to FIG. 4, a glaucoma diagnosis system according to an embodiment of the present invention includes a fundus scope 400, a glaucoma diagnosis apparatus 410 and a monitor 420.

현재 범용적으로 사용되고 있는 안저촬영 장비는 녹내장을 초기에 감지할 수 있는 망막 신경 섬유층(Retinal Nerve Fiber Layer, RNFL)의 미세한 결손을 자동으로 판독할 수 있는 기능을 제공하지 못하고 있다. 이와 같은 상황과 녹내장이라는 질병의 특성을 고려해볼 때, 녹내장 진단을 위해 자동화된 선별검사가 가능하고, 녹내장의 중증도를 등급화할 수 있으며, 시야결손전녹내장과 초기 녹내장 역시 검출 가능한 기술이 절실한 상황이다. Fundus imaging equipment, which is currently widely used, does not provide a function to automatically read minute defects in the Retinal Nerve Fiber Layer (RNFL) that can detect glaucoma at an early stage. Considering this situation and the characteristics of the disease called glaucoma, an automated screening test is possible for glaucoma diagnosis, the severity of glaucoma can be graded, and a technology capable of detecting pre-field defect glaucoma and early glaucoma is also urgently needed. .

따라서, 본 발명에서는 시야결손전녹내장과 초기 녹내장 단계에서부터 발생하는 망막 신경 섬유층(RNFL)의 결손 여부를 자동으로 판독할 수 있고, 녹내장의 중증도를 등급화할 수 있는 녹내장 진단 장치(410)를 제공하고자 한다.Therefore, in the present invention, to provide a glaucoma diagnostic device 410 capable of automatically reading whether the retinal nerve fiber layer (RNFL) is defective, which occurs from pre-glaucoma and the initial glaucoma stage, and grades the severity of glaucoma. do.

본 발명의 일실시예에 따른 녹내장 진단 장치(410)는 원본 안저영상(401)에 대한 전처리 영상을 기반으로 원본 안저영상(401)에 대한 복수개의 변형 영상들을 생성한다. The glaucoma diagnosis apparatus 410 according to an embodiment of the present invention generates a plurality of modified images for the original fundus image 401 based on the preprocessed image for the original fundus image 401.

이 때, 원본 안저영상(401)은 안저 촬영기(400)로 녹내장 진단 대상자의 안구를 촬영하여 획득할 수 있다.In this case, the original fundus image 401 may be obtained by photographing the eyeball of the person to be diagnosed with glaucoma with the fundus imager 400.

이 때, 녹내장 진단 장치(410)는 원본 안저영상(401)을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 좌측 접선과 우측 접선을 기준으로 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 전처리 영상을 생성할 수 있다. At this time, the glaucoma diagnosis apparatus 410 detects the left tangent and the right tangent of the fundus, respectively, based on a two-dimensional matrix value generated based on a pixel value obtained by binarizing the original fundus image 401, and The preprocessed image may be generated by deleting an unnecessary region that does not include fundus information based on.

이 때, 전처리 영상에서 검출된 시신경유두(Optic Disc)를 기준으로 기설정된 범위 내에서 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정할 수 있다. In this case, a plurality of capture regions for generating a plurality of deformed images may be designated within a preset range based on the optical disc detected in the preprocessed image.

이 때, 복수개의 캡처 영역들은 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 가상 원의 반지름이 시신경유두의 경계에 상응하는 원의 반지름보다 길 수 있다. At this time, the plurality of capture areas are square with a predetermined side length in consideration of the size of the optic nerve nipple, and the center of gravity is located on the circumference of the virtual circle with the center point of the optic nerve nipple as the center of the circle. The radius may be longer than the radius of the circle corresponding to the boundary of the optic nerve papilla.

이 때, 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 시신경유두의 중심점과 경계를 추정할 수 있다. In this case, the preprocessed image may be binarized, and the center point and boundary of the optic nerve papilla may be estimated based on the summation vectors for each of the horizontal and vertical axes of the matrix representing the pixel values of the binarized image.

이 때, 가로축의 합산 벡터 최대값과 세로축의 합산 벡터 최대값에 상응하게 중심점의 좌표를 추정하고, 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 경계에 상응하는 원의 반지름을 추정할 수 있다. At this time, the coordinates of the center point are estimated according to the maximum sum vector value of the horizontal axis and the maximum sum vector value of the vertical axis, and based on the rest of the area excluding the portion whose value corresponds to '0' in each of the horizontal and vertical axes. We can estimate the radius of the circle corresponding to the boundary.

이 때, 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 기준점으로부터 기설정된 각도만큼 이동하면서 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다. In this case, any one point on the circumference of the virtual circle may be set as a reference point, and a plurality of centers of gravity corresponding to a plurality of capture areas may be set while moving from the reference point by a preset angle.

이 때, 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 복수개의 변형 영상들을 생성할 수 있다. In this case, a plurality of captured images may be generated by capturing a plurality of capture regions, and a plurality of transformed images may be generated by performing rotation and channel separation on each of the plurality of captured images.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치(410)는 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성한다.In addition, the glaucoma diagnosis apparatus 410 according to an embodiment of the present invention trains a plurality of individual learning models of different types based on a plurality of deformed images, and is based on the output of each of the learned plurality of individual learning models. To generate a glaucoma reading model.

이 때, 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응할 수 있다. In this case, the output grade of the plurality of individual learning models may correspond to three or more grades having at least three or more outputs.

이 때, 복수개의 개별 학습 모델들은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 있다. In this case, the plurality of individual learning models correspond to a CONVOLUTIONAL NEURAL NETWORK (CNN), but at least one of the number of hidden layers of the multilayer neural network, the type of input data, and the number of outputs may be different from each other.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치(410)는 녹내장 판독 모델을 기반으로 원본 안저영상(401)에 대한 녹내장 등급을 진단한다.In addition, the glaucoma diagnosis apparatus 410 according to an embodiment of the present invention diagnoses the glaucoma grade for the original fundus image 401 based on the glaucoma reading model.

이 때, 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 녹내장 판독 모델을 생성할 수 있다. In this case, a glaucoma reading model may be generated based on a matrix in which the outputs of each of the plurality of trained individual learning models are quantized and integrated.

이 때, 녹내장 판독 모델을 이용하여 녹내장 진단이 완료되면, 모니터(420)를 이용하여 의사 또는 녹내장 진단 대상자에게 녹내장 등급을 출력해줄 수 있다.At this time, when glaucoma diagnosis is completed using the glaucoma reading model, the glaucoma grade may be output to a doctor or a glaucoma diagnosis target using the monitor 420.

이와 같은 녹내장 진단 장치(410)는 의료서비스 품질을 향상시키고 관련 의료비용의 지출을 절감시킴으로써 실명위험률을 낮출 수 있으며, 이에 따라 실명에 따른 사회적 비용 역시 절감하는 효과를 기대할 수 있다. The glaucoma diagnosis apparatus 410 can reduce the risk of blindness by improving the quality of medical services and reducing the expenditure of related medical expenses, and accordingly, an effect of reducing social costs due to blindness can be expected.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치(410)를 건강검진과 안과진단에 활용한다면, 의료기기 시장에 미치는 파급효과가 매우 클 것으로 예상할 수 있다. 예를 들어, 본 발명에 따라 제공되는 연구결과는 인공지능 기반 임상 의사 결정 지원 시스템(Clinical Decision Support System, CDSS) 개념의 소프트웨어에 상응하는 것으로, 이러한 형태의 CDSS는 현재 널리 보급되어 있는 안저 촬영기(400)에 탑재 또는 연동하는 형태로 활용될 수 있다. In addition, if the glaucoma diagnosis apparatus 410 according to an embodiment of the present invention is used for health checkup and ophthalmology diagnosis, it can be expected that the ripple effect on the medical device market will be very large. For example, the research results provided according to the present invention correspond to software of the concept of an artificial intelligence-based clinical decision support system (CDSS), and this type of CDSS is currently widely used in fundus imaging devices ( 400) can be used in the form of mounting or interlocking.

또한, 대부분의 건강검진 항목에 기본적으로 포함되어 있는 안저촬영 검사를 본 발명의 일실시예에 따른 녹내장 진단 장치(410)와 연동하여 수행함으로써 녹내장 선별검사 자동화 서비스에 활용할 수도 있다. 이와 같은 활용을 통해 대규모로 이루어지는 안저촬영 결과의 판독 효율과 정확성을 높일 수 있고, 이에 따른 시간적 이득을 전문의의 2차 판독에 할애함으로써 검진자에게 보다 경제적이고 정확한 건강검진 결과를 제공할 수 있다.In addition, fundus imaging tests, which are basically included in most health screening items, may be performed in conjunction with the glaucoma diagnosis apparatus 410 according to an embodiment of the present invention, and thus may be utilized for an automated glaucoma screening test service. Through such use, it is possible to increase the reading efficiency and accuracy of large-scale fundus photographing results, and provide more economical and accurate health examination results to examinees by dedicating the resulting time gain to the second reading of the specialist.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치(410)를 안과 진료현장에 활용하면, 시간의 변화에 따른 환자의 망막 상태를 객관적으로 비교할 수 있으므로 만성적이고 비가역적인 특성의 녹내장 질환에 효과적으로 대처할 수 있다.In addition, if the glaucoma diagnosis device 410 according to an embodiment of the present invention is used in an ophthalmic treatment field, it is possible to objectively compare the retinal state of the patient over time, so that it can effectively cope with the chronic and irreversible glaucoma disease. I can.

또한, 조기에 녹내장을 발견할 수 있기 때문에 녹내장의 확진 또는 주의 추적 관찰에 대한 의학적 의사 결정이 늦어지는 것을 방지하여 환자가 지불해야 하는 의료비용을 절감할 수 있다. 그리고, 조기에 발견하여 치료함으로써 치료 효과의 증대도 기대할 수 있다. In addition, since glaucoma can be detected early, it is possible to reduce medical expenses that patients have to pay by preventing delay in medical decision-making for confirmation of glaucoma or careful follow-up. In addition, an increase in the therapeutic effect can be expected by detecting and treating early.

또한, 녹내장을 조기에 발견하면, 환자의 실명 위험률을 최대 95%까지 낮출 수 있으며, 이에 따라 추가 사회적 손실 비용을 절감할 수 있는 효과도 기대할 수 있다.In addition, early detection of glaucoma can lower the patient's risk of blindness by up to 95%, and thus, an effect of reducing additional social loss costs can be expected.

도 5는 본 발명의 일실시예에 따른 녹내장 진단 방법을 나타낸 동작흐름도이다.5 is an operation flow diagram showing a method for diagnosing glaucoma according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 녹내장 진단 방법은 원본 안저영상(Fundus Image)에 대한 전처리 영상을 기반으로 원본 안저영상에 대한 복수개의 변형 영상들을 생성한다(S510).Referring to FIG. 5, the method for diagnosing glaucoma according to an embodiment of the present invention generates a plurality of modified images for an original fundus image based on a preprocessed image for an original fundus image (S510).

이 때, 원본 안저영상은 안저촬영기(Fundus Scope) 또는 안저카메라(Fundus Camera)를 통해 환자의 망막을 촬영한 영상에 상응하는 것으로, 도 6과 같이 촬영될 수 있다. In this case, the original fundus image corresponds to an image photographed of the patient's retina through a fundus scope or a fundus camera, and may be photographed as shown in FIG. 6.

이 때, 도 6에 도시된 것과 같은 원본 안저영상은 3채널 컬러 영상에 상응할 수 있고, 녹내장의 유무를 판독하거나 녹내장의 중증도를 등급화하기 위해 기본적으로 입력되는 데이터에 상응할 수 있다.In this case, the original fundus image as shown in FIG. 6 may correspond to a 3-channel color image, and may correspond to data basically input to read the presence or absence of glaucoma or to grade the severity of glaucoma.

이 때, 전처리 영상은 원본 안저영상에 대한 전처리 과정을 통해 생성된 것일 수 있다. 이와 같은 전처리 과정은 원본 안저영상에 존재하는 불필요한 정보들을 제거하고, 녹내장의 판독을 위한 기계 학습에 활용 가능한 상태로 변환하기 위한 것일 수 있다.In this case, the pre-processed image may be generated through a pre-processing process for the original fundus image. Such a pre-processing process may be for removing unnecessary information existing in the original fundus image and converting it into a state usable for machine learning for reading glaucoma.

이 때, 도 5에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 녹내장 진단 방법은 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 좌측 접선과 우측 접선을 기준으로 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 전처리 영상을 생성할 수 있다.In this case, although not shown in FIG. 5, the glaucoma diagnosis method according to an embodiment of the present invention is based on a two-dimensional matrix value generated based on a pixel value obtained by binarizing an original fundus image. A preprocessed image may be generated by detecting each and deleting an unnecessary area that does not include fundus information based on the left tangent and the right tangent.

예를 들어, 전처리 과정은 도 7에 도시된 것처럼 원본 안저영상에 포함된 안저 좌측 접선(711), 안저 우측 접선(712), 정보 미포함 영역(720), 안저 영역(730), 시신경유두(740), 안저의 중심점(750) 등의 정보를 인식하고, 인식된 정보를 기반으로 녹내장을 판독하는데 불필요한 영역을 삭제하는 과정에 해당할 수 있다.For example, the pre-processing process includes the left fundus tangent line 711, the right fundus tangent line 712, the information-free area 720, the fundus area 730, and the optic nerve papilla included in the original fundus image as shown in FIG. 7. ), it may correspond to a process of recognizing information such as the center point 750 of the fundus, and deleting a region unnecessary for reading glaucoma based on the recognized information.

이 때, 불필요한 영역이란, 도 7에 도시된 안저 좌측 접선(711)과 안저 우측 접선(712)의 바깥 영역, 즉 안저 정보가 포함되어 있지 않은 영역을 의미할 수 있다. 따라서, 도 8에 도시된 것처럼 안저 정보가 포함되어 있지 않은 불필요 영역(811, 812)을 삭제하여 전처리 영상을 생성할 수 있다. In this case, the unnecessary area may mean an area outside the left fundus tangent line 711 and the right fundus tangent line 712 shown in FIG. 7, that is, an area in which fundus information is not included. Accordingly, as shown in FIG. 8, the pre-processed image may be generated by deleting unnecessary regions 811 and 812 that do not contain fundus information.

이 때, 도 7에 도시된 정보 미포함 영역(720)은 도 8에 도시된 불필요 영역(811, 812)과 유사하게 안저 정보를 포함하지는 않지만, 안저 좌측 접선(711)과 안저 우측 접선(712)의 안쪽에 위치하므로 전처리 과정에서 삭제되지 않는다. 따라서, 정보 미포함 영역(720)은 해당 안저영상의 영상번호나 촬영일 등과 같은 별도의 마킹정보를 나타내는데 활용될 수도 있다.In this case, the information-free area 720 shown in FIG. 7 does not include fundus information similar to the unnecessary areas 811 and 812 shown in FIG. 8, but the left fundus tangent 711 and the right fundus tangent 712 Because it is located inside of, it is not deleted during pre-processing. Accordingly, the information-free area 720 may be used to indicate separate marking information such as an image number or a photographing date of the fundus image.

이와 같은 전처리 과정에서는 원본 안저영상에서 안저 좌측 접선과 안저 우측 접선을 검출하여 그 사이의 영역을 추출하는 것이 핵심일 수 있다. In such a pre-processing process, it may be essential to detect the left-hand and right-hand tangents of the fundus from the original fundus image and extract the area between them.

따라서, 이하에서는 도 9 내지 도 11을 참조하여, 원본 안저영상에서 안저 좌측 접선과 안저 우측 접선을 검출하는 과정을 상세하게 설명하도록 한다.Therefore, hereinafter, with reference to FIGS. 9 to 11, a process of detecting the left-hand tangent and the right-hand tangent of the fundus in the original fundus image will be described in detail.

먼저, 도 9를 참조하면, 원본 안저영상(Picture Original, PO)(911)을 회색 안저영상(Picture Grey, PG)(912) 형식으로 변환할 수 있다. 이 때, 회색 안저영상(912)의 데이터는 2차원 행렬 구조를 가질 수 있다. 따라서, 이 행렬을 다시 특정 임계값(ThresHoldBinary, THB)을 기준으로 이진화하여 이진화 안저영상(Picture Binary, PB)(913)으로 변환할 수 있다. 이 때, 이진화 안저영상(913)도 2차원 행렬의 자료구조를 가질 수 있으므로, 이진화 안저영상(913)의 화소를 행렬로 표현하여 이진영상 화소값 행렬(920)로 나타낼 수 있다. 이 때, 도 10에 도시된 것처럼 이진영상 화소값 행렬을 가로축으로 합산하고, 가로축으로 합산한 결과에 상응하는 가로축 합산 벡터(930)를 2차원 평면상에 플로팅(Floating)하여 가로축 합산 벡터 플로팅 도면(914)을 획득할 수 있다. 이 때, 합산 벡터(930)나 가로축 합산 벡터 플로팅 도면(914)을 참조하면, 도 7에 도시된 것과 같은 안저 영역(730)을 제외한 부분은 모두 값이 0으로 나타나는 것을 확인할 수 있다. 즉, 도 10과 같이 합산열(1010)을 합산한 합산열 벡터값(1011)이 '0'에 해당하는 부분은 원본 안저영상(911)에서 합산열(1010)에 대응하는 부분에 안저 정보가 포함되지 않았다는 것을 의미하므로 불필요한 영역으로 판단할 수 있다. First, referring to FIG. 9, an original fundus image (Picture Original, PO) 911 may be converted into a gray fundus image (Picture Gray, PG) 912 format. In this case, the data of the gray fundus image 912 may have a 2D matrix structure. Accordingly, this matrix can be converted into a binarized fundus image (Picture Binary, PB) 913 by binarizing again based on a specific threshold value (ThresHoldBinary, THB). In this case, since the binarized fundus image 913 may also have a data structure of a 2D matrix, the pixels of the binarized fundus image 913 may be expressed as a matrix and expressed as a binary image pixel value matrix 920. In this case, as shown in FIG. 10, the horizontal axis sum vector 930 corresponding to the result of summation on the horizontal axis and the horizontal axis summation vector 930 corresponding to the result of summation on the horizontal axis and the horizontal axis summation vector is plotted on the horizontal axis as shown in FIG. (914) can be obtained. In this case, referring to the sum vector 930 or the horizontal sum vector plotting diagram 914, it can be seen that values of all portions except for the fundus region 730 as shown in FIG. 7 appear as zero. That is, as shown in FIG. 10, a portion of the summation column vector value 1011 by which the summation row 1010 is summed is '0' is the fundus information in the portion corresponding to the summation row 1010 in the original fundus image 911. Since it means that it is not included, it can be determined as an unnecessary area.

따라서, 도 11에 도시된 것처럼 가로축 합산 벡터 플로팅 도면(914)에서 가로축 합산 벡터의 값이 0보다 크게 변화하는 부분을 각각 안저 좌측 접선(941)과 안저 우측 접선(942)의 위치로 검출할 수 있다. 이 때, 가로축 합산 벡터 플로팅 도면(914)에 플로팅된 선의 좌측을 기준으로 먼저 검출되는 부분을 안저 좌측 접선(941)의 위치로 판단하고, 플로팅된 선의 우측을 기준으로 먼저 검출되는 부분을 안저 우측 접선(942)의 위치로 판단할 수 있다.Therefore, as shown in FIG. 11, in the horizontal axis sum vector plotting diagram 914, a portion in which the value of the horizontal axis sum vector changes larger than 0 can be detected as the positions of the left fundus tangent 941 and the right fundus tangent 942, respectively. have. At this time, the part detected first based on the left side of the line plotted in the horizontal axis sum vector plotting drawing 914 is determined as the position of the left-hand tangent line 941, and the part detected first based on the right side of the plotted line is the right side of the fundus. It can be determined by the position of the tangent line 942.

또한, 본 발명에서는 상기와 같은 전처리 과정을 통해 획득한 전처리 영상을 입력으로 받아 복수개의 변형 영상들을 생성하는 데이터 증폭 작업을 수행할 수 있다.In addition, in the present invention, a data amplification operation of generating a plurality of transformed images may be performed by receiving a pre-processed image obtained through the pre-processing as described above as an input.

이 때, 데이터 증폭의 목적은 녹내장 판독 모델을 구축하는 과정에서 최적화의 대상이 되는 모델 파라미터를 충분히 학습시키기 위한 학습 데이터를 제공하기 위함일 수 있다. 또한, 데이터 증폭을 기반으로 다양한 학습 데이터를 제공함으로써 녹내장 판독 모델이 특정 데이터에 종속되지 않게 하는 효과도 기대할 수 있다.At this time, the purpose of data amplification may be to provide training data for sufficiently learning model parameters to be optimized in the process of constructing a glaucoma reading model. In addition, by providing a variety of training data based on data amplification, it is expected that the glaucoma reading model does not depend on specific data.

이 때, 데이터 증폭을 위해 가장 먼저 실시하는 작업은 전처리 영상에서 시신경유두를 검출하고, 시신경유두의 외부경계선을 추정하는 것이다. 즉, 본 발명에서는 시야결손전녹내장이나 초기 녹내장을 검출하기 위해 망막 신경 섬유층(RNFL)의 결손 여부를 판독해야 한다. 이 때, 망막 신경 섬유층(RNFL)은 곧 시신경에 해당하고, 시신경유두는 망막이 시신경으로 이어지는 부분에 해당하므로, 전처리 영상에서 시신경유두를 검출함으로써 망막 신경 섬유층의 대략적인 위치를 파악할 수 있다. At this time, the first task to be performed for data amplification is to detect the optic nerve nipple from the preprocessed image and estimate the outer boundary line of the optic nerve nipple. That is, in the present invention, it is necessary to read whether the retinal nerve fiber layer (RNFL) is defective in order to detect glaucoma before visual field defect or early glaucoma. At this time, since the retinal nerve fiber layer (RNFL) corresponds to the optic nerve, and the optic nerve papilla corresponds to a portion where the retina leads to the optic nerve, the approximate location of the retinal nerve fiber layer can be determined by detecting the optic nerve papilla in a preprocessed image.

이 때, 시신경유두는 도 12에 도시된 것처럼 전처리 영상에 포함된 안저 영상 중에서 가장 밝은 부분에 해당할 수 있다. 이하에서는 도 13 내지 도 14를 참조하여 전처리 영상에서 시신경유두의 중심점과 경계를 추정하는 과정을 상세하게 설명하도록 한다.In this case, the optic nerve papilla may correspond to the brightest part of the fundus image included in the preprocessed image as shown in FIG. 12. Hereinafter, a process of estimating the center point and boundary of the optic nerve papilla in the preprocessed image will be described in detail with reference to FIGS. 13 to 14.

먼저, 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 시신경유두의 중심점과 경계를 추정할 수 있다. First, the preprocessed image is binarized, and the center point and boundary of the optic nerve papilla can be estimated based on the sum vector for each of the horizontal and vertical axes of the matrix representing the pixel values of the binarized image.

예를 들어, 도 13을 참조하면, 전처리 영상(1311)을 회색 전처리 영상(1312) 형식으로 변환할 수 있다. 이 때, 회식 전처리 영상(1312)의 데이터는 2차원 행렬 구조를 가질 수 있다. 따라서, 이 행렬을 다시 특정 임계값(THO)을 기준으로 이진화하여 이진화 전처리 영상(1313)으로 변환할 수 있다. 이 때, 이진화 전처리 영상(1313)도 2차원 행렬의 자료구조를 가질 수 있으므로, 이진화 전처리 영상(1313)의 화소를 행렬로 표현하여 이진영상 화소값 행렬(1320)로 나타낼 수 있다. For example, referring to FIG. 13, a preprocessed image 1311 may be converted into a gray preprocessed image 1312. In this case, the data of the pre-processed image 1312 for dinner may have a 2D matrix structure. Accordingly, this matrix can be converted into a binarized pre-processed image 1313 by binarizing again based on a specific threshold THO. In this case, since the binarized preprocessed image 1313 may also have a data structure of a 2D matrix, pixels of the binarized preprocessed image 1313 may be expressed as a matrix and expressed as a binary image pixel value matrix 1320.

이 때, 도 14에 도시된 것처럼 이진영상 화소값 행렬(1320)을 가로축 및 세로축으로 각각 합산하고, 각각 합산한 결과에 상응하는 가로축 합산 벡터(1331) 및 세로축 합산 벡터(1332)를 각각 2차원 평면상에 플로팅(Floating)하여 가로축 합산 벡터 플로팅 도면(1315)와 세로축 합산 벡터 플로팅 도면(1314)을 획득할 수 있다.In this case, as shown in FIG. 14, the binary image pixel value matrix 1320 is added on the horizontal axis and the vertical axis, respectively, and the horizontal axis sum vector 1331 and the vertical axis sum vector 1332 corresponding to the summed results are respectively 2D By floating on a plane, a summed horizontal vector plotting diagram 1315 and a summed vertical vector plotting diagram 1314 may be obtained.

이 후, 가로축의 합산 벡터 최대값과 세로축의 합산 벡터 최대값에 상응하게 중심점의 좌표를 추정하고, 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 경계에 상응하는 원의 반지름을 추정할 수 있다. Thereafter, the coordinates of the center point are estimated according to the maximum value of the sum vector on the horizontal axis and the maximum value on the vertical axis, and based on the rest of the area excluding the portion whose value corresponds to '0' in each of the horizontal and vertical axes. We can estimate the radius of the circle corresponding to the boundary.

예를 들어, 도 14를 참조하면 이진영상 화소값 행렬(1320)에서 시신경유두를 제외한 부분은 모두 값이 0으로 나타나는 것을 확인할 수 있다. 즉, 합산열(1410)이나 합산행(1420)을 합산한 합산열 벡터값(1411)이나 합산행 벡터값(1421)이 '0'에 해당하는 부분은 전처리 영상(1311)에서 시신경유두에 대한 정보가 포함되지 않았다는 것을 의미할 수 있다. For example, referring to FIG. 14, it can be seen that values of all portions of the binary image pixel value matrix 1320 except for the optic nerve nipple appear as zero. In other words, the summation column vector value (1411) or the summation row vector value (1421) of the summation column 1410 or the summation row 1420 is equal to '0' in the preprocessed image 1311 for the optic nerve papillae. This could mean that no information was included.

따라서, 도 13에 도시된 것처럼 가로축 합산 벡터 플로팅 도면(1315)에서 가로축 합산 벡터(1331)의 값이 0보다 크게 변화하는 부분을 각각 시신경유두 좌측 접선(1341)과 시신경유두 우측 접선(1342)의 위치로 검출할 수 있다. 또한, 세로축 합산 벡터 플로팅 도면(1314)에서 세로축 합산 벡터(1332)의 값이 0보다 크게 변화하는 부분을 각각 시신경유두 상단 접선(1351)과 시신경유두 하단 접선(1352)의 위치로 검출할 수 있다. Therefore, as shown in FIG. 13, in the horizontal axis sum vector plotting diagram 1315, the portion in which the value of the horizontal axis sum vector 1331 changes larger than 0 is the left tangent line 1341 and the right tangent line 1342 of the optic nerve papilla, respectively. It can be detected by location. In addition, in the ordinate sum vector plotting diagram 1314, a portion in which the value of the ordinate sum vector 1332 changes greater than 0 may be detected as the positions of the upper tangent line 1351 and the lower tangent line 1352 of the optic nerve papilla, respectively. .

이 때, 가로축 합산 벡터 플로팅 도면(1315)에 플로팅된 선의 좌측을 기준으로 먼저 검출되는 부분을 시신경유두 좌측 접선(1341)의 위치로 판단하고, 플로팅된 선의 우측을 기준으로 먼저 검출되는 부분을 시신경유두 우측 접선(1342)의 위치로 판단할 수 있다. 또한, 세로축 합산 벡터 플로팅 도면(1314)에 플로팅된 선의 상단을 기준으로 먼저 검출되는 부분을 시신경유두 상단 접선(1351)의 위치로 판단하고, 플로팅된 선의 하단을 기준으로 먼저 검출되는 부분을 시신경유두 하단 접선(1352)의 위치로 판단할 수 있다.At this time, the part detected first based on the left side of the line plotted in the horizontal axis sum vector plotting drawing 1315 is determined as the position of the left tangent line 1341 of the optic nerve papilla, and the part detected first based on the right side of the plotted line is the optic nerve. It can be determined by the position of the tangent line 1342 on the right side of the nipple. In addition, based on the upper end of the line plotted in the vertical axis sum vector plotting drawing 1314, the first detected part is determined as the position of the upper tangent line 1351 of the optic nerve papilla, and the first detected part based on the lower part of the plotted line is the optic nerve papilla. It can be determined by the position of the lower tangent line 1352.

이 때, 검출된 시신경유두 좌측 접선(1341)과 시신경유두 우측 접선(1342) 사이의 거리 또는 시신경유두 상단 접선(1351)과 시신경유두 하단 접선(1352) 사이의 거리를 이용하여 시신경유두의 경계에 상응하는 원의 반지름을 추정할 수 있다. At this time, by using the distance between the detected optic nerve nipple left tangent (1341) and the optic nerve nipple right tangent (1342) or between the optic nerve nipple upper tangent (1351) and the optic nerve nipple bottom tangent (1352), the boundary of the optic nerve nipple. You can estimate the radius of the corresponding circle.

이 후, 전처리 영상에서 검출된 시신경유두(Optic Disc)를 기준으로 기설정된 범위 내에서 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정할 수 있다.Thereafter, a plurality of capture regions for generating a plurality of deformed images may be designated within a preset range based on the optical disc detected in the preprocessed image.

먼저, 복수개의 캡처 영역들은 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 가상 원의 반지름이 시신경유두의 경계에 상응하는 원의 반지름보다 길 수 있다. First, the plurality of capture areas are in a square shape with a side length set in consideration of the size of the optic nerve nipple, and the center of gravity is located on the circumference of the virtual circle with the center point of the optic nerve nipple as the center of the circle, but the radius of the virtual circle It may be longer than the radius of the circle corresponding to the boundary of the optic nerve papilla.

이하에서는 도 12를 참조하여 복수개의 캡처 영역들을 지정하는 과정을 상세하게 설명하도록 한다. Hereinafter, a process of designating a plurality of capture areas will be described in detail with reference to FIG. 12.

도 12를 참조하면, 먼저 시신경유두 경계(1210)에 해당하는 원보다 반지름이 긴 가상 원(1220)을 생성할 수 있다. 이 때, 가상 원(1220)의 원주 상에서 N개의 점을 임의로 추출하여 캡처영역 무게중심(1220-1~1220-8)으로 설정할 수 있다. Referring to FIG. 12, first, a virtual circle 1220 having a radius longer than a circle corresponding to the optic nerve papillary boundary 1210 may be generated. At this time, N points on the circumference of the virtual circle 1220 may be randomly extracted and set as the center of gravity of the capture area 1221-1 to 1220-8.

이 때, 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 기준점으로부터 기설정된 각도만큼 이동하면서 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다. 예를 들어, 기설정된 각도가 30도라고 가정하면, 총 12개의 무게중심이 설정될 수 있다. In this case, any one point on the circumference of the virtual circle may be set as a reference point, and a plurality of centers of gravity corresponding to a plurality of capture areas may be set while moving from the reference point by a preset angle. For example, assuming that the preset angle is 30 degrees, a total of 12 centers of gravity may be set.

이 때, 설정된 캡처영역 무게중심(1220-1~1220-8)을 중심으로 하고, 기설정된 변의 길이를 갖는 정사각형이 캡처 영역(1231~1233)에 상응할 수 있다. 이 때, 도 12에서는 3개의 캡처 영역(1231~1233)만 표시하였으나, 도 12에는 총 8개의 캡처영역 무게중심(1220-1~1220-8)이 존재하므로 이에 상응하게 8개의 캡처 영역이 설정될 수 있다.At this time, a square centered on the set capture area centers of gravity 1221-1220-8 and having a preset side length may correspond to the capture areas 1231-1233. At this time, only 3 capture areas 1231 to 1233 are displayed in FIG. 12, but since there are a total of 8 capture area centers of gravity (1220-1 to 1220-8) in FIG. 12, 8 capture areas are set accordingly. Can be.

이 때, 캡처 영역(1231~1233)에 시신경유두가 포함될 수 있도록, 캡처 영역(1231~1233)의 한 변의 길이는 시신경유두 경계(1210)에 해당하는 원의 반지름보다 큰 값으로 설정할 수 있다. In this case, the length of one side of the capture regions 1231 to 1233 may be set to a value greater than the radius of a circle corresponding to the optic nerve papilla boundary 1210 so that the capturing regions 1231 to 1233 may include the optic nerve nipple.

예를 들어, 복수개의 캡처 영역들을 캡처하면 도 15에 도시된 것과 같은 캡처 영상을 생성할 수 있다. For example, when a plurality of capture regions are captured, a captured image as shown in FIG. 15 may be generated.

이 때, 복수개의 캡처 영상들 각각에 대해 도 16 내지 도 17에 도시된 것과 같이 회전 및 채널 분리를 수행하여 복수개의 변형 영상들(1610~1640, 1710~1740)을 생성할 수 있다. In this case, a plurality of transformed images 1610 to 1640 and 1710 to 1740 may be generated by performing rotation and channel separation for each of the plurality of captured images as illustrated in FIGS. 16 to 17.

도 16을 참조하면, 회전을 통해 생성된 변형 영상은, 캡처 영상(1600)을 90도 회전한 변형 영상(1610), 180도 회전한 변형 영상(1620), 270도 회전한 변형 영상(1630)을 포함할 수 있고, 캡처영상(1600)과 동일한 형태의 360도 회전한 변형 영상(1640)까지 포함할 수 있다.Referring to FIG. 16, the deformed image generated through rotation is a deformed image 1610 rotated by 90 degrees, a deformed image 1620 rotated 180 degrees, and a deformed image 1630 rotated 270 degrees. And a modified image 1640 rotated 360 degrees in the same shape as the captured image 1600.

도 17을 참조하면, 채널 분리를 통해 생성된 변형 영상은, 캡처 영상(1700)에서 R채널만 분리한 변형 영상(1720), G채널만 분리한 변형 영상(1730), B채널만 분리한 변형 영상(1740)을 포함할 수 있고, 채널 분리를 수행하지 않은 변형 영상(1710)까지 포함할 수 있다.Referring to FIG. 17, a modified image generated through channel separation is a modified image 1720 in which only R channels are separated from a captured image 1700, a modified image 1730 in which only G channels are separated, and a modified image in which only B channels are separated. An image 1740 may be included, and a modified image 1710 in which channel separation is not performed may be included.

이 때, 본원발명에서는 전처리 영상에 대해 회전 및 채널 분리를 수행하여 복수개의 변형 영상들을 생성할 수도 있다.In this case, in the present invention, a plurality of modified images may be generated by performing rotation and channel separation on the preprocessed image.

예를 들어, 도 18에 도시된 것처럼 전처리 영상의 채널 분리를 수행하여, 컬러 영상(1810), R채널 영상(1820), G채널 영상(1830), B채널 영상(1840)에 상응하는 변형 영상들을 생성할 수 있다.For example, as shown in FIG. 18, a modified image corresponding to a color image 1810, an R channel image 1820, a G channel image 1830, and a B channel image 1840 by performing channel separation of the preprocessed image Can be created.

다른 예를 들어, 전처리 영상의 채널분리를 통해 생성된 컬러 영상(1820)을 회전하여 도 19에 도시된 것과 같은 변형 영상들(1910~1940)을 생성하거나 또는 전처리 영상의 채널분리를 통해 생성된 R채널 영상(1820)을 회전하여 도 20에 도시된 것과 같은 변형 영상들(2010~2040)을 생성할 수도 있다.For another example, a color image 1820 generated through channel separation of a pre-processed image is rotated to generate modified images 1910 to 1940 as shown in FIG. 19, or generated through channel separation of a pre-processed image. The R-channel image 1820 may be rotated to generate deformed images 2010 to 2040 as illustrated in FIG. 20.

이 때, 도 21 내지 도 23에 도시된 것처럼, 캡처 영상에 대해서도 회전과 채널분리를 복합적으로 수행함으로써 다양한 종류의 변형 영상들을 생성할 수 있다.In this case, as illustrated in FIGS. 21 to 23, various types of deformed images may be generated by performing rotation and channel separation in combination for the captured image.

이와 같이 데이터 증폭을 수행함으로써 1장의 원본 안저영상에서 다수의 변형 영상들을 생성할 수 있고, 본 발명에서는 이와 같이 획득한 변형 영상들을 기계학습의 학습 데이터로 사용할 수 있다. By performing data amplification in this way, a plurality of transformed images can be generated from one original fundus image, and in the present invention, the obtained transformed images can be used as learning data for machine learning.

즉, 본 발명의 일실시예에 따른 녹내장 진단 방법은 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성한다(S520).That is, the glaucoma diagnosis method according to an embodiment of the present invention trains a plurality of individual learning models of different types based on a plurality of transformed images, and reads glaucoma based on the outputs of each of the learned plurality of individual learning models. A model is created (S520).

예를 들어, 도 24에 도시된 구조의 학습 과정을 통해 녹내장 판독 모델에 상응하는 앙상블 모델(2440)을 생성할 수 있다. For example, the ensemble model 2440 corresponding to the glaucoma reading model may be generated through the learning process of the structure shown in FIG. 24.

계속해서 도 24를 참조하면, 복수개의 개별 학습 모델들(2420)은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 있다. Continuing with reference to FIG. 24, a plurality of individual learning models 2420 correspond to a CONVOLUTIONAL NEURAL NETWORK (CNN), but at least one of the number of hidden layers of the multilayer neural network, the type of input data, and the number of outputs. May be different.

이 때, 입력 데이터를 다르게 한다는 것은 데이터 증폭 과정에서 적용하는 세부 방법에 따라 복수개의 변형 영상들을 기반으로 하는 서로 다른 부분 집합을 구성하고, 각각의 부분 집합을 각각의 개별 학습 모델에 배치하는 것에 상응할 수 있다. 예를 들어, 도 24에 도시된 것처럼 4개의 개별 학습 모델들(2420)이 존재하는 경우, 복수개의 변형 영상들(2410)을 기반으로 서로 다른 4개의 부분 집합들을 구성할 수 있다. 이 후, 개별 학습 모델들(2420)마다 서로 다른 부분 집합을 배치함으로써 개별 학습 모델 별로 입력되는 입력 데이터를 다르게 할 수 있다.In this case, making the input data different corresponds to configuring different subsets based on a plurality of transformed images according to the detailed method applied in the data amplification process, and placing each subset in each individual learning model. can do. For example, as illustrated in FIG. 24, when four individual learning models 2420 exist, four different subsets may be configured based on a plurality of transformed images 2410. After that, by disposing different subsets for each of the individual learning models 2420, input data input for each individual learning model may be different.

이 때, 개별 학습 모델들(2420)의 출력 등급도 다양하게 구성될 수 있는데, 본 발명에 따른 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응할 수 있다. In this case, the output grades of the individual learning models 2420 may also be configured in various ways, and the output grades of the plurality of individual learning models according to the present invention may correspond to three or more grades having at least three outputs.

예를 들어, 출력 등급이 5등급에 상응하는 개별 학습 모델의 경우, 정상(Normal, N), Preperimetric Glaucoma(G0), Stage1 Glaucoma(G1), Stage2 Glaucoma(G2), Stage3 Glaucoma(G3)에 상응하는 5개의 출력을 가질 수 있으며, 5개의 출력을 기반으로 기계학습을 실시할 수 있다. For example, for an individual learning model whose output grade corresponds to Grade 5, it corresponds to Normal (N), Preperimetric Glaucoma (G0), Stage1 Glaucoma (G1), Stage2 Glaucoma (G2), Stage3 Glaucoma (G3). It can have 5 outputs, and machine learning can be performed based on 5 outputs.

다른 예를 들어, 출력 등급이 3등급에 상응하는 개별 학습 모델의 경우, {N}, {G0, G1}, {G2, G3}에 상응하는 3개의 출력을 가질 수 있다. For another example, in the case of an individual learning model whose output level corresponds to 3 grade, it may have 3 outputs corresponding to {N}, {G0, G1}, and {G2, G3}.

또 다른 예를 들어, 본 발명에는 적용되지 않을 수 있지만, 출력 등급이 2등급에 상응하는 개별 학습 모델의 경우, {N}, {G0, G1, G2, G3} 또는 {N}, {G0, G1} 또는 {N, G0}, {G1, G2, G3}에 상응하는 2개의 출력을 가질 수도 있다.For another example, although it may not be applied to the present invention, in the case of an individual learning model whose output grade corresponds to the second grade, {N}, {G0, G1, G2, G3} or {N}, {G0, It may have two outputs corresponding to G1} or {N, G0} and {G1, G2, G3}.

예를 들어, 도 24에 도시된 것처럼 개별 모델 출력 행렬(2430)을 바탕으로 녹내장 판독 모델에 상응하는 앙상블 모델(2440)을 생성할 수 있다. 즉, 개별 모델 출력 행렬(2430)을 기계학습 데이터로 사용하는 앙상블 모델(2440)을 최적화하면 최종적인 녹내장 판독 모델의 생성이 완료될 수 있다. 이 때, 앙상블 모델(2440)을 구성하는 방법으로 SVM(Support Vector Machine), ANN(Artificial Neural Network), XGB(eXtreame Gradient Boosting), CNN(Convolutional Neural Network) 등을 적용할 수도 있다.For example, as illustrated in FIG. 24, an ensemble model 2440 corresponding to the glaucoma reading model may be generated based on the individual model output matrix 2430. That is, by optimizing the ensemble model 2440 using the individual model output matrix 2430 as machine learning data, the final glaucoma reading model may be generated. In this case, as a method of configuring the ensemble model 2440, a support vector machine (SVM), an artificial neural network (ANN), an eXtreame gradient boosting (XGB), a convolutional neural network (CNN), and the like may be applied.

또한, 본 발명의 일실시예에 따른 녹내장 진단 방법은 녹내장 판독 모델을 기반으로 원본 안저영상에 대한 녹내장 등급을 진단한다(S530).In addition, the glaucoma diagnosis method according to an embodiment of the present invention diagnoses a glaucoma grade for an original fundus image based on a glaucoma reading model (S530).

즉, 도 25를 참조하면, 원본 안저영상을 통해 생성된 복수개의 변형 영상들을 복수개의 개별 학습 모델들에 각각 다른 입력값에 상응하게 입력하고, 복수개의 개별 학습 모델들의 출력을 수치화하여 통합한 행렬에 상응하는 앙상블 모델을 기반으로 녹내장 등급에 상응하는 최종 판독결과를 출력할 수 있다.That is, referring to FIG. 25, a matrix in which a plurality of transformed images generated through an original fundus image are input to a plurality of individual learning models corresponding to different input values, and the outputs of the plurality of individual learning models are quantized and integrated. The final reading result corresponding to the glaucoma grade can be output based on the ensemble model corresponding to.

예를 들어, 녹내장 등급은 정상, 시야결손전녹내장, 1기 녹내장, 2기 녹내장, 3기 녹내장 등으로 분류하여 진단할 수 있고, 모니터나 화면을 통해 의사 또는 환자에게 출력해줄 수 있다. For example, glaucoma grade can be diagnosed by classifying it into normal, pre-vision defect glaucoma, stage 1 glaucoma, stage 2 glaucoma, stage 3 glaucoma, etc., and can be output to a doctor or patient through a monitor or screen.

또한, 최종적으로 판독된 녹내장 등급 진단 결과는 저장모듈에 기록되어 보관될 수 있다.In addition, the finally read glaucoma grade diagnosis result may be recorded and stored in the storage module.

또한, 도 5에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 녹내장 진단 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 녹내장 진단 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.In addition, although not shown in FIG. 5, the glaucoma diagnosis method according to an embodiment of the present invention can store various information generated in the glaucoma diagnosis process according to an embodiment of the present invention in a separate storage module as described above. have.

이와 같은 녹내장 진단 방법을 통해 시야결손전녹내장과 초기 녹내장의 선별검사를 수행할 수 있다. Through this glaucoma diagnosis method, screening tests for pre-field defect glaucoma and early glaucoma can be performed.

또한, 망막 신경 섬유층의 미세한 결손을 자동으로 판독함으로써 녹내장의 중증도 등급화하여 진단할 수 있다.In addition, by automatically reading minute defects in the retinal nerve fiber layer, the severity of glaucoma can be graded and diagnosed.

또한, 의료서비스 품질을 향상시키고, 관련 의료비용 지출의 절감과 함께 실명위험율을 낮춤으로써 실명에 따른 사회적 비용 역시 절감할 수 있다.In addition, by improving the quality of medical services and reducing the cost of related medical expenses and lowering the risk of blindness, social costs associated with real name can also be reduced.

도 26은 본 발명의 일실시예에 따른 녹내장 진단 장치를 나타낸 블록도이다.26 is a block diagram showing an apparatus for diagnosing glaucoma according to an embodiment of the present invention.

도 26을 참조하면, 본 발명의 일실시예에 따른 녹내장 진단 장치는 전처리부(2610), 데이터 증폭부(2620), 녹내장 판독 모델 생성부(2630), 처리부(2640) 및 저장부(2650)를 포함한다. Referring to FIG. 26, a glaucoma diagnosis apparatus according to an embodiment of the present invention includes a pre-processing unit 2610, a data amplifying unit 2620, a glaucoma reading model generation unit 2630, a processing unit 2640, and a storage unit 2650. Includes.

전처리부(2610)는 원본 안저영상(Fundus Image)에 대한 전처리 영상을 생성한다.The preprocessor 2610 generates a preprocessed image for the original fundus image.

이 때, 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 좌측 접선과 우측 접선을 기준으로 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 전처리 영상을 생성할 수 있다.At this time, the left tangent and right tangent of the fundus are respectively detected based on the two-dimensional matrix value generated based on the binarized pixel value of the original fundus image, and fundus information is not included based on the left tangent and right tangent. A pre-processed image can be created by deleting unnecessary areas.

데이터 증폭부(2620)는 전처리 영상을 기반으로 원본 안저영상에 대한 복수개의 변형 영상들을 생성한다.The data amplification unit 2620 generates a plurality of transformed images for the original fundus image based on the preprocessed image.

본 발명에서는 상기와 같은 전처리 과정을 통해 획득한 전처리 영상을 입력으로 받아 복수개의 변형 영상들을 생성하는 데이터 증폭 작업을 수행할 수 있다.In the present invention, a data amplification operation of generating a plurality of modified images may be performed by receiving a pre-processed image obtained through the pre-processing as described above as an input.

이와 같이 데이터 증폭을 수행함으로써 1장의 원본 안저영상에서 다수의 변형 영상들을 생성할 수 있고, 본 발명에서는 이와 같이 획득한 변형 영상들을 기계학습의 학습 데이터로 사용할 수 있다.By performing data amplification in this way, a plurality of transformed images can be generated from one original fundus image, and in the present invention, the obtained transformed images can be used as learning data for machine learning.

녹내장 판독 모델 생성부(2630)는 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성한다.The glaucoma reading model generation unit 2630 trains a plurality of individual learning models of different types based on a plurality of transformed images, and generates a glaucoma reading model based on the outputs of each of the learned plurality of individual learning models.

처리부(2640)는 녹내장 판독 모델을 기반으로 원본 안저영상에 대한 녹내장 등급을 진단한다.The processing unit 2640 diagnoses the glaucoma grade for the original fundus image based on the glaucoma reading model.

저장부(2650)는 복수개의 개별 학습 모델들 및 녹내장 판독 모델을 저장한다. 또한, 최종적으로 판독된 녹내장 등급 진단 결과를 저장하여 보관할 수도 있다.The storage unit 2650 stores a plurality of individual learning models and a glaucoma reading model. In addition, the finally read glaucoma grade diagnosis result may be stored and stored.

또한, 저장부(2650)는 상술한 바와 같이 본 발명의 일실시예에 따른 녹내장 진단을 위한 기능을 지원할 수 있다. 이 때, 저장부(2650)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.In addition, the storage unit 2650 may support a function for diagnosing glaucoma according to an embodiment of the present invention, as described above. In this case, the storage unit 2650 may operate as a separate mass storage, and may include a control function for performing the operation.

한편, 녹내장 진단 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.Meanwhile, the glaucoma diagnosis apparatus is equipped with a memory to store information in the device. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in another implementation, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 녹내장 진단 장치를 이용하여 시야결손전녹내장과 초기 녹내장의 선별검사를 수행할 수 있다. Using such a glaucoma diagnostic device, screening tests for pre-visual field defect glaucoma and early glaucoma can be performed.

도 27는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.27 is a diagram showing a computer system according to an embodiment of the present invention.

도 27을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 27에 도시된 바와 같이, 컴퓨터 시스템(2700)은 버스(2720)를 통하여 서로 통신하는 하나 이상의 프로세서(2710), 메모리(2730), 사용자 입력 장치(2740), 사용자 출력 장치(2750) 및 스토리지(2760)를 포함할 수 있다. 또한, 컴퓨터 시스템(2700)은 네트워크(2780)에 연결되는 네트워크 인터페이스(2770)를 더 포함할 수 있다. 프로세서(2710)는 중앙 처리 장치 또는 메모리(2730)나 스토리지(2760)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(2730) 및 스토리지(2760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(2731)이나 RAM(2732)을 포함할 수 있다.Referring to FIG. 27, an embodiment of the present invention may be implemented in a computer system such as a computer-readable recording medium. As shown in FIG. 27, the computer system 2700 includes one or more processors 2710, memory 2730, user input devices 2740, user output devices 2750, and storage devices that communicate with each other through a bus 2720. (2760) may be included. Also, the computer system 2700 may further include a network interface 2770 connected to the network 2780. The processor 2710 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 2730 or the storage 2760. The memory 2730 and the storage 2760 may be various types of volatile or nonvolatile storage media. For example, the memory may include a ROM 2731 or a RAM 2732.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.Accordingly, an embodiment of the present invention may be implemented as a computer-implemented method or a non-transitory computer-readable medium in which instructions executable in a computer are recorded. When computer-readable instructions are executed by a processor, the computer-readable instructions may perform a method according to at least one aspect of the present invention.

이상에서와 같이 본 발명에 따른 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the glaucoma diagnosis method and apparatus therefor using a fundus image according to the present invention are not limited to the configuration and method of the embodiments described as described above, but various modifications may be made to the embodiments. All or part of each of the embodiments may be selectively combined and configured.

400: 안저 촬영기 401, 911: 원본 안저영상
410: 녹내장 진단 장치 420: 모니터
711, 941: 안저 좌측 접선 712, 942: 안저 우측 접선
720: 정보 미포함 영역 730: 안저 영역
740: 시신경유두 750: 안저의 중심점
811, 812: 불필요 영역 912: 회색 안저영상
913: 이진화 안저영상
914, 1315: 가로축 합산 벡터 플로팅 도면
920, 1320: 이진영상 화소값 행렬 930, 1331: 가로축 합산 벡터
1010, 1410: 합산열 1011, 1411: 합산열 벡터값
1020: 안저 영역 1021: 안저 영역 합산 벡터값
1210: 시신경유두 경계 1220: 가상 원
1220-1~1220-8: 캡처영역 무게중심 1231~1233: 캡처영역
1311: 전처리 영상 1312: 회색 전처리 영상
1313: 이진화 전처리 영상 1314: 세로축 합산 벡터 플로팅 도면
1332: 세로축 합산 벡터 1341: 시신경유두 좌측 접선
1342: 시신경유두 우측 접선 1351: 시신경유두 상단 접선
1352: 시신경유두 하단 접선 1420: 합산행
1421: 합산행 벡터값 1600, 1700: 캡처 영상
1610~1640, 1710~1740: 변형 영상 1810: 컬러 영상
1820: R채널 영상 1830: G채널 영상
1840: B채널 영상 1910: 0도 컬러 영상
1920: 90도 컬러 영상 1930: 180도 컬러 영상
1940: 270도 컬러 영상 2010: 0도 R채널 영상
2020: 90도 R채널 영상 2030: 180도 R채널 영상
2040: 270도 R채널 영상 2410: 복수개의 변형 영상들
2420: 복수개의 개별 학습 모델들 2430: 개별 모델 출력 행렬
2440: 앙상블 모델 2450: 최종 판독 결과
2610: 전처리부 2620: 데이터 증폭부
2630: 녹내장 판독 모델 생성부 2640: 처리부
2650: 저장부 2700: 컴퓨터 시스템
2710: 프로세서 2720: 버스
2730: 메모리 2731: 롬
2732: 램 2740: 사용자 입력 장치
2750: 사용자 출력 장치 2760: 스토리지
2770: 네트워크 인터페이스 2780: 네트워크400: fundus imager 401, 911: original fundus image
410: glaucoma diagnostic device 420: monitor
711, 941: left fundus tangent 712, 942: right fundus tangent
720: area without information 730: fundus area
740: optic nerve papilla 750: center point of fundus
811, 812: unnecessary area 912: gray fundus image
913: Jinhwa Lee fundus image
914, 1315: horizontal summation vector plotting drawing
920, 1320: binary image pixel value matrix 930, 1331: horizontal axis sum vector
1010, 1410: summation column 1011, 1411: summation column vector value
1020: fundus region 1021: fundus region sum vector value
1210: optic nerve papillary boundary 1220: virtual circle
1220-1~1220-8: Capture area center of gravity 1231~1233: Capture area
1311: preprocessed image 1312: gray preprocessed image
1313: Binarization preprocessed image 1314: Vertical axis sum vector plotting diagram
1332: ordinate summation vector 1341: left tangent of optic nerve papilla
1342: right tangent to the optic nerve papilla 1351: upper tangent to the optic nerve papilla
1352: lower tangent of optic nerve papilla 1420: summing line
1421: sum row vector value 1600, 1700: captured image
1610-1640, 1710-1740: transformed image 1810: color image
1820: R channel video 1830: G channel video
1840: B channel video 1910: 0 degree color video
1920: 90 degree color image 1930: 180 degree color image
1940: 270 degree color image 2010: 0 degree R channel image
2020: 90 degree R channel video 2030: 180 degree R channel video
2040: 270 degree R channel image 2410: a plurality of modified images
2420: a plurality of individual training models 2430: individual model output matrix
2440: ensemble model 2450: final readout
2610: preprocessor 2620: data amplification unit
2630: glaucoma reading model generation unit 2640: processing unit
2650: storage unit 2700: computer system
2710: processor 2720: bus
2730: memory 2731: ROM
2732: RAM 2740: user input device
2750: user output device 2760: storage
2770: network interface 2780: network

Claims

A data amplification step of generating a plurality of transformed images for the original fundus image based on a preprocessed image for the original fundus image;
Training a plurality of individual learning models of different types based on the plurality of transformed images, and generating a glaucoma reading model based on outputs of each of the learned plurality of individual learning models; And
Diagnosing a glaucoma grade for the original fundus image based on the glaucoma reading model
Including,
The data amplification step
Including the step of designating a plurality of capture regions for generating the plurality of modified images within a preset range based on the optic nerve papilla (OPTIC DISC) detected in the preprocessed image,
The plurality of capture areas
It is a square shape having a side length set in consideration of the size of the optic nerve papilla, and a center of gravity is located on the circumference of a virtual circle with the center point of the optic nerve papilla as the center of the circle, and the radius of the virtual circle is the optic nerve papilla. Glaucoma diagnosis method, characterized in that longer than the radius of the circle corresponding to the boundary of.

delete

The method according to claim 1,
The glaucoma diagnosis method, characterized in that the output grade of the plurality of individual learning models corresponds to a grade 3 or higher having at least three outputs.

The method according to claim 1,
The step of generating the glaucoma reading model
And generating the glaucoma reading model based on a matrix in which the outputs of each of the plurality of learned individual learning models are quantized and integrated.

The method according to claim 1,
The step of designating the plurality of capture areas
And setting a point on the circumference of the virtual circle as a reference point, moving from the reference point by a predetermined angle, and setting a plurality of centers of gravity corresponding to the plurality of capture regions.

The method according to claim 1,
The data amplification step
And generating a plurality of captured images by capturing the plurality of captured regions, and generating the plurality of deformed images by performing rotation and channel separation on each of the plurality of captured images.

The method according to claim 1,
The data amplification step
And estimating a center point and a boundary of the optic nerve papilla based on a summation vector for each of a horizontal axis and a vertical axis of a matrix indicating the binarization of the preprocessed image and the pixel values of the binarized image.

The method of claim 8,
The estimating step
Estimates the coordinates of the center point according to the maximum sum vector value of the horizontal axis and the maximum sum vector value of the vertical axis, and based on the rest of the area excluding the portion corresponding to the value '0' in the sum vector of each of the horizontal and vertical axes Glaucoma diagnosis method, characterized in that estimating the radius of the circle corresponding to the boundary.

The method according to claim 1,
The plurality of individual learning models
It corresponds to a convolutional multilayer neural network (CONVOLUTIONAL NEURAL NETWORK, CNN), but at least one of the number of hidden layers of the multilayer neural network, the type of input data, and the number of outputs are different from each other.

The method according to claim 1,
Each of the left and right tangents of the fundus is detected based on the two-dimensional matrix value generated based on the binarized pixel value of the original fundus image, and the fundus information is not included based on the left and right tangents. And a pre-processing step of generating the pre-processed image by deleting unneeded areas.

A preprocessor for generating a preprocessed image for the original fundus image;
A data amplification unit generating a plurality of modified images for the original fundus image based on the preprocessed image;
A glaucoma reading model generation unit that trains a plurality of individual learning models of different types based on the plurality of transformed images and generates a glaucoma reading model based on the outputs of each of the learned plurality of individual learning models;
A processing unit for diagnosing a glaucoma grade for the original fundus image based on the glaucoma reading model; And
A storage unit for storing the plurality of individual learning models and the glaucoma reading model
Including,
The data amplification unit
Designating a plurality of capture regions for generating the plurality of deformed images within a preset range based on the optic nerve nipple (OPTIC DISC) detected in the preprocessed image,
The plurality of capture areas
It is a square shape having a side length set in consideration of the size of the optic nerve papilla, and a center of gravity is located on the circumference of a virtual circle with the center point of the optic nerve papilla as the center of the circle, and the radius of the virtual circle is the optic nerve papilla. Glaucoma diagnostic device, characterized in that longer than the radius of the circle corresponding to the boundary of.

delete

The method of claim 12,
The glaucoma diagnostic apparatus, wherein the output grade of the plurality of individual learning models corresponds to a grade 3 or higher having at least three outputs.

The method of claim 12,
The glaucoma reading model generation unit
And generating the glaucoma reading model based on a matrix in which the outputs of each of the plurality of learned individual learning models are quantized and integrated.

The method of claim 12,
The data amplification unit
A glaucoma diagnosis apparatus, characterized in that: setting any one point on the circumference of the virtual circle as a reference point, moving from the reference point by a predetermined angle, and setting a plurality of centers of gravity corresponding to the plurality of capture areas.

The method of claim 12,
The data amplification unit
And generating a plurality of captured images by capturing the plurality of captured regions, and generating the plurality of deformed images by performing rotation and channel separation on each of the plurality of captured images.

The method of claim 12,
The data amplification unit
The apparatus for diagnosing glaucoma, characterized in that the preprocessed image is binarized, and a center point and a boundary of the optic nerve papilla are estimated based on a sum vector for each of a horizontal axis and a vertical axis of a matrix representing the pixel values of the binarized image.

The method of claim 19,
The data amplification unit
Estimates the coordinates of the center point according to the maximum sum vector value of the horizontal axis and the maximum sum vector value of the vertical axis, and based on the rest of the area excluding the portion corresponding to the value '0' in the sum vector of each of the horizontal and vertical axes Glaucoma diagnosis apparatus, characterized in that estimating the radius of the circle corresponding to the boundary.