[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102580279B1 - 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치 - Google Patents

알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR102580279B1
KR102580279B1 KR1020210142484A KR20210142484A KR102580279B1 KR 102580279 B1 KR102580279 B1 KR 102580279B1 KR 1020210142484 A KR1020210142484 A KR 1020210142484A KR 20210142484 A KR20210142484 A KR 20210142484A KR 102580279 B1 KR102580279 B1 KR 102580279B1
Authority
KR
South Korea
Prior art keywords
image
blood vessel
disease
feature map
retina
Prior art date
Application number
KR1020210142484A
Other languages
English (en)
Other versions
KR20230059182A (ko
Inventor
선우명훈
김도영
임영준
박준현
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020210142484A priority Critical patent/KR102580279B1/ko
Priority to US17/972,057 priority patent/US20230125925A1/en
Priority to EP22203440.7A priority patent/EP4170672A1/en
Publication of KR20230059182A publication Critical patent/KR20230059182A/ko
Application granted granted Critical
Publication of KR102580279B1 publication Critical patent/KR102580279B1/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Vascular Medicine (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)

Abstract

알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치가 개시된다. 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치는 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 환자의 안구를 촬영한 촬영 영상을 획득하기 위한 명령, 상기 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 전처리된 촬영 영상으로부터 혈관 이미지를 생성하고 상기 생성된 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위한 명령 및 상기 알츠하이머병 진단에 필요한 정보를 기반으로 진단 예측 정보를 생성하기 위한 명령을 포함한다.

Description

알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치{METHOD FOR PROVIDING THE NECESSARY INFORMATION FOR A DIAGNOSIS OF ALZHEIMER'S DISEASE AND APPARATUS FOR EXECUTING THE METHOD}
본 발명의 실시예들은 알츠하이머병 진단에 필요한 정보를 제공하는 기술과 관련된다.
알츠하이머 치매 또는 AD(Alzheimer's disease)라고 하는 알츠하이머병은 기억 상실과 심각한 정치 지체를 초래하는 진행성 퇴행 질병이다.
진단 전문의는 현재 AD 진단에 유일하게 가용한 수단인 뇌 조직의 조직학적 검사 이외에 치매 환자의 일생동안 AD를 분명하게 확인할 수 있는 수단을 오랫동안 추구해왔다.
AD는 치매 중 가장 흔한 형태로, 전체 치매의 절반 이상을 차지하고 미국의 경우 4백만명에 이르며, 전세계적으로는 거의 15백만명에게 영향을 주고 있다. 치매는 약간의 기억 상실과 혼란으로 시작하고, 시간이 지남에 따라 지적 능력과 사회적 능력의 심각한 손상으로 진행된다.
65세 노인에서 AD의 이환율은 1-2%이다. 75세 노인에서 이 수치는 7%로 상승하고, 85세에서는 18%이다. 65세 이상의 모든 개체에서 치매의 이환율은 8%이다. 수용시설에 거주 하는 사람에서 이환율은 모든 연령에서 대략 50%이다. 알츠하이머 치매는 사회적 영향이 지대한데, 특히 이 질병의 후기에서 보호자에게 엄청난 부담을 준다. 상당한 경제적 비용이 보존적 치료(supportive care)와 수용시설 입원의 주요 원인이다. 사회에 노인 인구 비율이 급속하게 증가한 다는 것은 AD에 걸리는 개체수가 급격하게 증가한다는 것을 의미하는데, 이런 이유로 AD의 조기 진단과 치료법의 발견은 전세계적으로 중요한 이슈가 되고 있다.
그러나, 현재의 치매 진단은 신경인지기능 검사와 CT, MRI, PET 등을 사용한 뇌 촬영 검사와 혈액검사, 가슴 X-ray, 소변 검사 심전도 등을 이용한 진단의학 검사, 침습적 진단 방법인 뇌척수액 검사 등 고가의 검사 비용이 요구되거나, 검사 과정이 복잡하여 환자들이 쉽게 접근하기 어려운 문제점이 있다.
대한민국 공개특허공보 제10-2004-0015168호(2004.02.18.)
본 발명의 실시예들은 딥러닝 기술을 이용하여 환자에 대한 촬영 영상으로부터 알츠하이머병 진단에 필요한 정보를 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 환자의 안구를 촬영한 촬영 영상을 획득하기 위한 명령, 상기 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 전처리된 촬영 영상으로부터 혈관 이미지를 생성하고 상기 생성된 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위한 명령 및 상기 알츠하이머병 진단에 필요한 정보를 기반으로 진단 예측 정보를 생성하기 위한 명령을 포함하는 컴퓨팅 장치가 제공된다.
상기 알츠하이머병 진단에 필요한 정보를 제공하기 위한 명령은 상기 획득한 촬영 영상에서 망막 영역을 추출하여 데이터 세트를 생성하기 위한 명령 및 머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트로부터 상기 환자의 알츠하이머병에 대한 위험 등급을 분류하기 위한 명령을 더 포함할 수 있다.
상기 데이터 세트를 생성하기 위한 명령은 상기 획득한 촬영 영상에서 망막 영역을 추출하여 망막 이미지를 생성하기 위한 명령, 상기 망막 이미지를 기 설정된 크기로 조정하기 위한 명령 및 상기 조정된 망막 이미지를 정규화하기 위한 명령을 더 포함할 수 있다.
상기 환자의 알츠하이머병에 대한 위험 등급을 분류하기 위한 명령은 인코더 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 망막 이미지에서 특징맵을 생성하기 위한 명령, 디코더 모듈을 이용하여 상기 특징맵을 입력 받고, 상기 특징맵을 기반으로 상기 혈관 이미지를 생성하기 위한 명령, 생성 모듈을 이용하여 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받고, 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 기반으로 최종 혈관 이미지를 생성하기 위한 명령 및 분류 모듈을 이용하여 상기 최종 혈관 이미지를 입력 받고, 상기 최종 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위하여 카테고리 분류를 수행하기 위한 명령을 더 포함할 수 있다.
상기 인코더 모듈은 상기 망막 이미지를 입력 받아 상기 망막 이미지에 제1 필터를 이동시키면서 컨볼루션(convolution) 연산을 통하여 특징맵을 생성하도록 학습될 수 있다.
상기 디코더 모듈은 상기 생성된 특징맵을 입력 받아 상기 특징맵에 제2 필터를 이동시키면서 디컨볼루션(deconvolution) 연산을 통하여 상기 특징맵으로부터 혈관 이미지를 생성하도록 학습될 수 있다.
상기 생성 모듈은 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받아 상기 특징맵 및 상기 혈관 이미지를 각각 동일한 크기로 분할하고, 상기 분할된 복수의 혈관 이미지 중 어느 하나와 상기 분할된 복수의 특징맵과의 유사성을 각각 비교하여 유사성 분포를 생성하며, 상기 망막 이미지에 상기 유사성 분포를 반영하고 상기 유사성 분포가 반영된 망막 이미지와 상기 어느 하나의 분할된 혈관 이미지를 이용하여 상기 망막 이미지로부터 상기 어느 하나의 분할된 혈관 이미지에 대응하는 영역에서 혈관을 추출하도록 학습될 수 있다.
상기 최종 혈관 이미지를 생성하기 위한 명령은 상기 생성 모듈에서 상기 망막 이미지의 모든 영역에서 혈관이 추출되도록 반복하기 위한 명령 및 상기 생성 모듈에서 상기 망막 이미지의 모든 영역에서 추출된 혈관을 이용하여 최종 혈관 이미지를 생성하기 위한 명령을 더 포함할 수 있다.
상기 분류 모듈은 상기 생성된 최종 혈관 이미지를 입력 받아 기 설정된 기준 이미지와 상기 최종 혈관 이미지를 기반으로 알츠하이머병에 대한 위험 등급을 분류하도록 학습될 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 알츠하이머병 진단에 필요한 정보를 제공하는 방법으로서, 환자의 안구를 촬영한 촬영 영상을 획득하는 단계, 상기 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 전처리된 촬영 영상으로부터 혈관 이미지를 생성하고 상기 생성된 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하는 단계 및 상기 알츠하이머병 진단에 필요한 정보를 기반으로 진단 예측 정보를 생성하는 단계를 포함하는 알츠하이머병 진단에 필요한 정보를 제공하는 방법이 제공된다.
상기 알츠하이머병 진단에 필요한 정보를 제공하는 단계는 상기 획득한 촬영 영상에서 망막 영역을 추출하여 데이터 세트를 생성하는 단계 및 머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트로부터 상기 환자의 알츠하이머병에 대한 위험 등급을 분류하는 단계를 더 포함할 수 있다.
상기 데이터 세트를 생성하는 단계는 상기 획득한 촬영 영상에서 망막 영역을 추출하여 망막 이미지를 생성하는 단계, 상기 망막 이미지를 기 설정된 크기로 조정하는 단계 및 상기 조정된 망막 이미지를 정규화하는 단계를 더 포함할 수 있다.
상기 환자의 알츠하이머병에 대한 위험 등급을 분류하는 단계는 인코더 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 망막 이미지에서 특징맵을 생성하는 단계, 디코더 모듈을 이용하여 상기 특징맵을 입력 받고, 상기 특징맵을 기반으로 상기 혈관 이미지를 생성하는 단계, 생성 모듈을 이용하여 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받고, 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 기반으로 최종 혈관 이미지를 생성하는 단계 및 분류 모듈을 이용하여 상기 최종 혈관 이미지를 입력 받고, 상기 최종 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위하여 카테고리 분류를 수행하는 단계를 더 포함할 수 있다.
상기 인코더 모듈은 상기 망막 이미지를 입력 받아 상기 망막 이미지에 제1 필터를 이동시키면서 컨볼루션(convolution) 연산을 통하여 특징맵을 생성하도록 학습될 수 있다.
상기 디코더 모듈은 상기 생성된 특징맵을 입력 받아 상기 특징맵에 제2 필터를 이동시키면서 디컨볼루션(deconvolution) 연산을 통하여 상기 특징맵으로부터 혈관 이미지를 생성하도록 학습될 수 있다.
상기 생성 모듈은 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받아 상기 특징맵 및 상기 혈관 이미지를 각각 동일한 크기로 분할하고, 상기 분할된 복수의 혈관 이미지 중 어느 하나와 상기 분할된 복수의 특징맵과의 유사성을 각각 비교하여 유사성 분포를 생성하며, 상기 망막 이미지에 상기 유사성 분포를 반영하고 상기 유사성 분포가 반영된 망막 이미지와 상기 어느 하나의 분할된 혈관 이미지를 이용하여 상기 망막 이미지로부터 상기 어느 하나의 분할된 혈관 이미지에 대응하는 영역에서 혈관을 추출하도록 학습될 수 있다.
상기 최종 혈관 이미지를 생성하는 단계는 상기 생성 모듈에서 상기 망막 이미지의 모든 영역에서 혈관이 추출되도록 반복하는 단계 및 상기 생성 모듈에서 상기 망막 이미지의 모든 영역에서 추출된 혈관을 이용하여 최종 혈관 이미지를 생성하는 단계를 더 포함할 수 있다.
상기 분류 모듈은 상기 생성된 최종 혈관 이미지를 입력 받아 기 설정된 기준 이미지와 상기 최종 혈관 이미지를 기반으로 알츠하이머병에 대한 위험 등급을 분류하도록 학습될 수 있다.
본 발명의 또 다른 예시적인 실시예에 따르면, 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 환자의 안구를 촬영한 촬영 영상을 획득하고, 상기 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 전처리된 촬영 영상으로부터 혈관 이미지를 생성하고 상기 생성된 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하고, 그리고 상기 알츠하이머병 진단에 필요한 정보를 기반으로 진단 예측 정보를 생성하도록 하는 컴퓨터 프로그램이 제공된다.
본 발명의 실시예들에 따르면, 기존에 CT나 MRI를 이용하지 않고, 환자에 대한 촬영 영상을 기초로 알츠하이머병 진단에 필요한 정보를 제공함으로써, 진단 비용을 현저히 절감할 수 있다.
또한, 본 발명의 실시예들에 따르면, 딥러닝 기술을 이용하여 촬영 영상으로부터 알츠하이머병 진단에 필요한 정보를 제공함으로써, 간단하게 알츠하이머병을 진단할 수 있으며, 알츠하이머병을 조기 발견할 수 있다.
도 1은 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치의 구성을 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 환자의 망막을 촬영한 영상을 나타내는 도면
도 3은 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치의 영상 분석 모듈을 설명하기 위한 블록도
도 4는 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치의 머신러닝 모듈에 입력되는 노이즈 또는 마스크가 적용된 망막 이미지를 나타낸 도면
도 5는 본 발명의 일 실시예에 따른 진단 예측 정보가 제공되는 사용자 단말의 화면을 나타낸 도면
도 6은 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 방법을 설명하기 위한 흐름도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치의 구성을 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치는 사용자 단말에서 어플리케이션 형태(또는 프로그램 형태)로 구현되어 촬영 영상(망막 영역을 포함하는 영상)으로부터 혈관 이미지를 추출하고, 이를 기반으로 알츠하이머병 진단에 필요한 정보를 제공할 수 있다. 상기 어플리케이션은 사용자 단말의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 어플리케이션은 사용자 단말의 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 명령어는 사용자 단말의 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. 사용자 단말의 컴퓨터 판독 가능 저장 매체는 사용자 단말 상에서 상기 어플리케이션과 같은 명령어 집합을 실행하기 위한 운영 체제의 컴포넌트들을 포함한다. 예를 들어, 이러한 운영 체제는 애플(Apple) 사의 iOS 또는 구글(Google) 사의 Android 일 수 있다. 사용자 단말은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 사용자 단말의 예를 들면, 스마트폰(smart phone), 휴대폰, 컴퓨터, 노트북, 디지털방송용 단말, 태블릿 PC 등이 있다.
도 1은 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치(100)의 구성을 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치(100)는 사용자 단말에서 어플리케이션 형태(또는 프로그램 형태)로 구현되어 촬영 영상(망막 영역을 포함하는 영상)으로부터 혈관 이미지를 추출하고, 이를 기반으로 알츠하이머병 진단에 필요한 정보를 제공할 수 있다. 상기 어플리케이션은 사용자 단말의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 어플리케이션은 사용자 단말의 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 명령어는 사용자 단말의 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. 사용자 단말의 컴퓨터 판독 가능 저장 매체는 사용자 단말 상에서 상기 어플리케이션과 같은 명령어 집합을 실행하기 위한 운영 체제의 컴포넌트들을 포함한다. 예를 들어, 이러한 운영 체제는 애플(Apple) 사의 iOS 또는 구글(Google) 사의 Android 일 수 있다. 사용자 단말은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 사용자 단말의 예를 들면, 스마트폰(smart phone), 휴대폰, 컴퓨터, 노트북, 디지털방송용 단말, 태블릿 PC 등이 있다.
도 1을 참조하면, 알츠하이머병 진단에 필요한 정보를 제공하는 장치(100)는 영상 획득 모듈(110), 영상 분석 모듈(120) 및 결과 제공 모듈(130)을 포함할 수 있다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
영상 획득 모듈(110)은 환자에 대한 촬영 영상을 획득할 수 있다. 예를 들어, 영상 획득 모듈(110)은 사용자의 조작에 따라 사용자 단말에 일체로 형성된 카메라를 이용하여 환자의 눈앞에 위치한 안저 영상 촬영용 렌즈를 통해 도 2와 같이, 환자의 망막이 촬영된 영상(촬영 영상)를 획득할 수 있다. 그러나, 이에 한정되는 것은 아니며 사용자 단말 이외의 다른 기기에서 촬영된 촬영 영상을 획득할 수 있다.
영상 획득 모듈(110)은 획득한 촬영 영상을 영상 분석부로 제공할 수 있다. 한편, 영상 획득 모듈(110)에서 망막을 촬영하기 이전에, 환자의 눈에 산동제를 투여하여 환자의 동공을 확장시킬 수 있다. 이 경우, 산동제에 의하여 확장된 동공을 통하여 좋은 품질의 촬영 영상을 획득할 수 있다. 그러나, 반드시 환자의 눈에 산동제를 투여해야 하는 것은 아니다.
영상 분석 모듈(120)은 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 전처리된 촬영 영상으로부터 혈관 이미지를 추출하여 알츠하이머병 진단에 필요한 정보를 제공할 수 있다. 영상 분석 모듈(120)의 동작 및 구성에 대한 자세한 설명은 도 2를 참조하여 후술하기로 한다.
결과 제공 모듈(130)은 영상 분석 모듈(120)로부터 출력된 결과를 기반으로 진단 예측 정보를 생성하여 사용자에게 제공할 수 있다. 예를 들어, 결과 제공 모듈(130)은 진단 결과를 기반으로 환자가 알츠하이머병을 진단받을 확률 및 해당 확률에 따른 위험도를 사용자에게 제공할 수 있다.
따라서, 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치(100)는 기존에 CT나 MRI를 이용하지 않고, 환자에 대한 촬영 영상을 기초로 알츠하이머병 진단에 필요한 정보를 제공함으로써, 진단 비용을 현저히 절감할 수 있다.
또한, 본 발명의 일 실시예에 따른 알츠하이머병 진단 장치는 딥러닝 기술을 이용하여 촬영 영상으로부터 알츠하이머병 진단에 필요한 정보를 제공함으로써, 간단하게 알츠하이머병을 진단할 수 있으며, 알츠하이머병을 조기 발견할 수 있다.
도 3은 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 장치(100)의 영상 분석 모듈(120)을 설명하기 위한 블록도이다.
도 3을 참조하면, 영상 분석 모듈(120)은 전처리 모듈(121) 및 머신러닝 모듈(122)을 포함할 수 있다.
전처리 모듈(121)은 영상 획득 모듈(110)로부터 입력된 촬영 영상에서 망막 영역을 추출하고, 추출된 망막 이미지(촬영 영상에서 망막 영역을 추출한 이미지(retina image))를 설정된 크기로 재조정 및 크기 조정을 할 수 있다. 전처리 모듈(121)은 추출된 망막 이미지를 재조정 및 크기 조정하기 위하여 크기 조정 알고리즘을 사용할 수 있다.
또한, 전처리 모듈(121)은 설정된 크기로 조정된 망막 이미지를 정규화하여 데이터 세트를 생성할 수 있다. 정규화는 모든 입력 차원이 비슷한 균일 분포를 공유하기 위한 것으로, 평균-표준 편차 정규화 방법을 사용할 수 있다.
전처리 모듈(121)은 생성된 데이터 세트를 머신러닝 모듈(122)로 전달할 수 있다.
머신러닝 모듈(122)은 전처리 모듈(121)로부터 제공된 데이터 세트가 입력되면, 머신러닝(Machine Learning) 기반 기술을 사용하여 알츠하이머병 진단에 필요한 정보를 제공하도록 학습된다. 즉, 머신러닝 모듈(122)은 전처리 모듈(121)로부터 데이터 세트를 입력 받아 데이터 세트에 포함된 망막 이미지에서 혈관 이미지를 추출하고, 추출된 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하도록 학습된 머신러닝 모델로 구현될 수 있다. 이 때, 도 4와 같이, 머신러닝 모델을 학습하기 위하여 임의의 노이즈 또는 일부를 가리는 마스크가 적용된 망막 이미지를 데이터 세트로 입력함으로써, 산동제가 없거나 저품질 이미지를 얻는 상황에 강인하도록 머신러닝 모델을 학습시킬 수 있다.
예시적인 실시예에서, 머신러닝 모듈(122)은 인코더 모듈(122a), 디코더 모듈(122b), 생성 모듈(122c) 및 분류 모듈(122d)을 포함할 수 있다.
인코더 모듈(122a)은 머신러닝 모듈(122)의 일부를 구성하는 신경망일 수 있다. 인코더 모듈(122a)은 망막 이미지의 특징맵을 생성할 수 있다.
예시적인 실시예에서, 인코더 모듈(122a)은 전처리 모듈(121)로부터 망막 이미지를 입력받아 컨볼루션(convolution) 모델을 이용하여 망막 이미지로부터 특징맵을 생성할 수 있다. 이 때, 인코더 모듈(122a)은 망막 이미지를 입력 받고, 망막 이미지에 제1 필터를 슬라이딩 윈도우 방식으로 이동시키면서 컨볼루션 연산을 통하여 특징맵을 생성하도록 학습될 수 있다. 여기서, 제1 필터는 망막 이미지의 각 픽셀에 순차적으로 설정된 가중치를 부여할 수 있다. 제1 필터에 설정된 가중치는 망막 이미지에서 특징(혈관)을 추출하기 위하여 학습된 값일 수 있다.
디코더 모듈(122b)은 머신러닝 모듈(122)의 일부를 구성하는 신경망일 수 있다. 디코더 모듈(122b)은 추출한 망막 이미지의 특징맵을 기반으로 혈관 이미지를 생성할 수 있다.
예시적인 실시예에서, 디코더 모듈(122b)은 인코더 모듈(122a)로부터 특징맵을 입력받아 디컨볼루션(deconvolution) 모델을 이용하여 특징맵으로부터 혈관 이미지를 생성할 수 있다. 이 때, 디코더 모듈(122b)은 특징맵을 입력 받고, 특징맵에 제2 필터를 적용시키면서 디컨볼루션 연산을 통하여 이미지를 생성하도록 학습될 수 있다. 여기서, 제2 필터는 특징맵에 가중치를 부여할 수 있다. 제2 필터에 설정된 가중치는 특징맵에서 이미지를 생성하기 위하여 학습된 값일 수 있다.
생성 모듈(122c)은 머신러닝 모듈(122)의 일부를 구성하는 신경망일 수 있다. 생성 모듈(122c)은 망막 이미지, 망막 이미지의 특징맵 및 혈관 이미지를 기반으로 최종 혈관 이미지를 생성할 수 있다.
예시적인 실시예에서, 생성 모듈(122c)은 망막 이미지, 망막 이미지의 특징맵 및 혈관 이미지가 입력되는 경우, 이미 학습된 혈관 추출 모델을 기반으로 망막 이미지에서 혈관을 추출할 수 있다. 이 경우, 혈관 추출 모델은 망막 이미지, 망막 이미지의 특징맵 및 혈관 이미지를 입력 받고, 망막 이미지의 특징맵 및 혈관 이미지를 각각 동일한 크기로 분할하고 분할된 혈관 이미지 중 어느 하나(혈관 패치(patch))와 분할된 복수의 망막 이미지의 특징맵(특징 패치(patch))과의 유사성을 비교하여 유사성 분포를 생성하며, 망막 이미지에 유사성 분포를 반영하고 유사성 분포가 반영된 망막 이미지와 혈관 패치를 이용하여 망막 이미지로부터 혈관 패치에 대응하는 영역(이미지의 한 부분)에서 혈관을 추출하도록 학습될 수 있다.
구체적으로, 생성 모듈(122c)은 망막 이미지의 특징맵 및 혈관 이미지를 각각 동일한 크기로 분할하고, 분할된 혈관 이미지 중 어느 하나(제1 혈관 패치(patch))와 분할된 복수의 망막 이미지의 특징맵(특징 패치(patch))과의 유사성을 각각 비교하여 유사성 점수를 산출하고, 제1 유사성 분포를 생성할 수 있다. 여기서, 유사성 점수는 유사성이 높을수록 높은 값일 수 있다. 또한, 유사성 분포는 망막 이미지의 특징맵과 동일한 크기의 필터일 수 있으며, 예를 들어, 산출된 모든 유사성 점수의 합이 1이 되도록 값을 분포시켜 유사성 분포를 생성할 수 있다.
또한, 생성 모듈(122c)은 망막 이미지에 제1 유사성 분포를 반영하고, 제1 유사성 분포가 반영된 망막 이미지와 제1 혈관 패치를 이용하여 망막 이미지로부터 제1 혈관 패치에 대응하는 영역에서 혈관을 추출할 수 있다.
한편, 생성 모듈(122c)은 혈관 추출 모델을 N회(여기서, N은 혈관 이미지가 분할된 갯수) 반복하고, 혈관 추출 모델에서 각각 추출된 혈관을 이용하여 최종 혈관 이미지를 생성할 수 있다. 즉, 생성 모듈(122c)은 혈관 패치에 대응하는 영역에서 혈관을 추출할 때, 망막 이미지에 유사성 분포를 반영하여 추출할 혈관과 연관이 있는 영역을 강조함으로써, 보다 정확하게 혈관을 추출할 수 있다.
분류 모듈(122d)은 머신러닝 모듈(122)의 일부를 구성하는 신경망일 수 있다. 분류 모듈(122d)은 생성 모듈(122c)로부터 입력된 최종 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위하여 카테고리 분류를 수행할 수 있다. 여기서, 카테고리는 알츠하이머병에 대한 위험 등급으로서, 예를 들어, 도 5와 같이, 알츠하이머병으로 진단받을 확률을 나타낼 수 있으며, 해당 확률에 따른 위험도를 사용자에게 제공할 수 있다.
예시적인 실시예에서, 분류 모듈(122d)은 생성 모듈(122c)로부터 최종 혈관 이미지를 입력받아 알츠하이머병에 대한 위험 등급을 분류할 수 있다. 이 때, 분류 모듈(122d)은 촬영영상으로부터 추출된 최종 혈관 이미지를 입력 받고, 기 설정된 기준 이미지(정상 상태의 혈관 이미지)와 최종 혈관 이미지를 기반으로 알츠하이머병에 대한 위험 등급을 분류하도록 학습될 수 있다. 즉, 분류 모듈(122d)은 최종 혈관 이미지가 입력되는 경우, 머신러닝 모델에 의해 최종 혈관 이미지를 기반으로 촬영 영상을 기 저장된 카테고리(알츠하이머병에 대한 위험 등급)에 따라 분류할 수 있다.
도 6은 본 발명의 일 실시예에 따른 알츠하이머병 진단에 필요한 정보를 제공하는 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 전술한 알츠하이머병 진단에 필요한 정보를 제공하는 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
영상 획득 모듈(110)은 환자에 대한 촬영 영상을 획득한다(S602). 예를 들어, 영상 획득 모듈(110)은 사용자의 조작에 따라 사용자 단말에 일체로 형성된 카메라를 이용하여 환자의 눈앞에 위치한 안저 영상 촬영용 렌즈를 통해 환자의 망막이 촬영된 영상(촬영 영상)를 획득할 수 있다.
그 다음, 영상 분석 모듈(120)은 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 전처리된 촬영 영상으로부터 혈관 이미지를 추출하여 알츠하이머병을 진단한다(S604). 구체적으로, 영상 분석 모듈(120)은 영상 획득 모듈(110)로부터 입력된 촬영 영상을 전처리하여 데이터 세트를 생성하고, 머신러닝 모듈(122)을 통하여 데이터 세트에서 혈관 이미지를 추출하고 추출된 혈관 이미지를 기반으로 알츠하이머병에 대한 위험 등급을 분류할 수 있다. 머신러닝 모듈(122)은 데이터 세트로부터 알츠하이머병을 진단하도록 학습되는 머신러닝 모델을 포함할 수 있다.
마지막으로, 결과 제공 모듈(130)은 영상 분석 모듈(120)로부터 출력된 진단 결과를 기반으로 진단 예측 정보를 생성하여 사용자에게 제공한다(S606). 예를 들어, 결과 제공 모듈(130)은 진단 결과를 기반으로 환자가 알츠하이머병을 진단받을 확률 및 해당 확률에 따른 위험도를 사용자에게 제공할 수 있다.
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 알츠하이머병 진단에 필요한 정보를 제공하는 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 알츠하이머병 진단에 필요한 정보를 제공하는 장치
110 : 영상 획득 모듈
120 : 영상 분석 모듈
121 : 전처리 모듈
122 : 머신러닝 모듈
122a : 인코더 모듈
122b : 디코더 모듈
122c : 생성 모듈
122d : 분류 모듈
130 : 결과 제공 모듈

Claims (19)

  1. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    환자의 안구를 촬영한 촬영 영상을 획득하기 위한 명령;
    상기 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 전처리된 촬영 영상으로부터 혈관 이미지를 생성하고 상기 생성된 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위한 명령; 및
    상기 알츠하이머병 진단에 필요한 정보를 기반으로 진단 예측 정보를 생성하기 위한 명령을 포함하며,
    상기 알츠하이머병 진단에 필요한 정보를 제공하기 위한 명령은,
    상기 획득한 촬영 영상에서 망막 영역을 추출하여 데이터 세트를 생성하기 위한 명령; 및
    머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트로부터 상기 환자의 알츠하이머병에 대한 위험 등급을 분류하기 위한 명령을 더 포함하며,
    상기 환자의 알츠하이머병에 대한 위험 등급을 분류하기 위한 명령은,
    인코더 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 망막 이미지에서 특징맵을 생성하기 위한 명령;
    디코더 모듈을 이용하여 상기 특징맵을 입력 받고, 상기 특징맵을 기반으로 상기 혈관 이미지를 생성하기 위한 명령;
    생성 모듈을 이용하여 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받고, 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 기반으로 최종 혈관 이미지를 생성하기 위한 명령; 및
    분류 모듈을 이용하여 상기 최종 혈관 이미지를 입력 받고, 상기 최종 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위하여 카테고리 분류를 수행하기 위한 명령을 더 포함하며,
    상기 생성 모듈은,
    상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받아 상기 특징맵 및 상기 혈관 이미지를 각각 동일한 크기로 분할하고, 상기 분할된 복수의 혈관 이미지 중 어느 하나와 상기 분할된 복수의 특징맵과의 유사성을 각각 비교하여 유사성 분포를 생성하며, 상기 망막 이미지에 상기 유사성 분포를 반영하고 상기 유사성 분포가 반영된 망막 이미지와 상기 어느 하나의 분할된 혈관 이미지를 이용하여 상기 망막 이미지로부터 상기 어느 하나의 분할된 혈관 이미지에 대응하는 영역에서 혈관을 추출하도록 학습되는, 컴퓨팅 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 데이터 세트를 생성하기 위한 명령은,
    상기 획득한 촬영 영상에서 망막 영역을 추출하여 망막 이미지를 생성하기 위한 명령;
    상기 망막 이미지를 기 설정된 크기로 조정하기 위한 명령; 및
    상기 조정된 망막 이미지를 정규화하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 인코더 모듈은,
    상기 망막 이미지를 입력 받아 상기 망막 이미지에 제1 필터를 이동시키면서 컨볼루션(convolution) 연산을 통하여 특징맵을 생성하도록 학습되는, 컴퓨팅 장치.
  6. 청구항 1에 있어서,
    상기 디코더 모듈은,
    상기 생성된 특징맵을 입력 받아 상기 특징맵에 제2 필터를 이동시키면서 디컨볼루션(deconvolution) 연산을 통하여 상기 특징맵으로부터 혈관 이미지를 생성하도록 학습되는, 컴퓨팅 장치.
  7. 삭제
  8. 청구항 1에 있어서,
    상기 최종 혈관 이미지를 생성하기 위한 명령은,
    상기 생성 모듈에서, 상기 망막 이미지의 모든 영역에서 혈관이 추출되도록 반복하기 위한 명령; 및
    상기 생성 모듈에서, 상기 망막 이미지의 모든 영역에서 추출된 혈관을 이용하여 최종 혈관 이미지를 생성하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
  9. 청구항 1에 있어서,
    상기 분류 모듈은,
    상기 생성된 최종 혈관 이미지를 입력 받아 기 설정된 기준 이미지와 상기 최종 혈관 이미지를 기반으로 알츠하이머병에 대한 위험 등급을 분류하도록 학습되는, 컴퓨팅 장치.
  10. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 알츠하이머병 진단에 필요한 정보를 제공하는 방법으로서,
    환자의 안구를 촬영한 촬영 영상을 획득하는 단계;
    상기 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 전처리된 촬영 영상으로부터 혈관 이미지를 생성하고 상기 생성된 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하는 단계; 및
    상기 알츠하이머병 진단에 필요한 정보를 기반으로 진단 예측 정보를 생성하는 단계를 포함하며,
    상기 알츠하이머병 진단에 필요한 정보를 제공하는 단계는,
    상기 획득한 촬영 영상에서 망막 영역을 추출하여 데이터 세트를 생성하는 단계; 및
    머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트로부터 상기 환자의 알츠하이머병에 대한 위험 등급을 분류하는 단계를 더 포함하며,
    상기 환자의 알츠하이머병에 대한 위험 등급을 분류하는 단계는,
    인코더 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 망막 이미지에서 특징맵을 생성하는 단계;
    디코더 모듈을 이용하여 상기 특징맵을 입력 받고, 상기 특징맵을 기반으로 상기 혈관 이미지를 생성하는 단계;
    생성 모듈을 이용하여 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받고, 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 기반으로 최종 혈관 이미지를 생성하는 단계; 및
    분류 모듈을 이용하여 상기 최종 혈관 이미지를 입력 받고, 상기 최종 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위하여 카테고리 분류를 수행하는 단계를 더 포함하며,
    상기 생성 모듈은,
    상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받아 상기 특징맵 및 상기 혈관 이미지를 각각 동일한 크기로 분할하고, 상기 분할된 복수의 혈관 이미지 중 어느 하나와 상기 분할된 복수의 특징맵과의 유사성을 각각 비교하여 유사성 분포를 생성하며, 상기 망막 이미지에 상기 유사성 분포를 반영하고 상기 유사성 분포가 반영된 망막 이미지와 상기 어느 하나의 분할된 혈관 이미지를 이용하여 상기 망막 이미지로부터 상기 어느 하나의 분할된 혈관 이미지에 대응하는 영역에서 혈관을 추출하도록 학습되는, 알츠하이머병 진단에 필요한 정보를 제공하는 방법.
  11. 삭제
  12. 청구항 10에 있어서,
    상기 데이터 세트를 생성하는 단계는,
    상기 획득한 촬영 영상에서 망막 영역을 추출하여 망막 이미지를 생성하는 단계;
    상기 망막 이미지를 기 설정된 크기로 조정하는 단계; 및
    상기 조정된 망막 이미지를 정규화하는 단계를 더 포함하는, 알츠하이머병 진단에 필요한 정보를 제공하는 방법.
  13. 삭제
  14. 청구항 10에 있어서,
    상기 인코더 모듈은,
    상기 망막 이미지를 입력 받아 상기 망막 이미지에 제1 필터를 이동시키면서 컨볼루션(convolution) 연산을 통하여 특징맵을 생성하도록 학습되는, 알츠하이머병 진단에 필요한 정보를 제공하는 방법.
  15. 청구항 10에 있어서,
    상기 디코더 모듈은,
    상기 생성된 특징맵을 입력 받아 상기 특징맵에 제2 필터를 이동시키면서 디컨볼루션(deconvolution) 연산을 통하여 상기 특징맵으로부터 혈관 이미지를 생성하도록 학습되는, 알츠하이머병 진단에 필요한 정보를 제공하는 방법.
  16. 삭제
  17. 청구항 10에 있어서,
    상기 최종 혈관 이미지를 생성하는 단계는,
    상기 생성 모듈에서, 상기 망막 이미지의 모든 영역에서 혈관이 추출되도록 반복하는 단계; 및
    상기 생성 모듈에서, 상기 망막 이미지의 모든 영역에서 추출된 혈관을 이용하여 최종 혈관 이미지를 생성하는 단계를 더 포함하는, 알츠하이머병 진단에 필요한 정보를 제공하는 방법.
  18. 청구항 10에 있어서,
    상기 분류 모듈은,
    상기 생성된 최종 혈관 이미지를 입력 받아 기 설정된 기준 이미지와 상기 최종 혈관 이미지를 기반으로 알츠하이머병에 대한 위험 등급을 분류하도록 학습되는, 알츠하이머병 진단에 필요한 정보를 제공하는 방법.
  19. 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    환자의 안구를 촬영한 촬영 영상을 획득하고;
    상기 촬영 영상을 전처리하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 전처리된 촬영 영상으로부터 혈관 이미지를 생성하고 상기 생성된 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하고; 그리고
    상기 알츠하이머병 진단에 필요한 정보를 기반으로 진단 예측 정보를 생성하도록 하며,
    상기 컴퓨터 프로그램은, 상기 알츠하이머병 진단에 필요한 정보를 제공하기 위하여, 상기 컴퓨팅 장치로 하여금,
    상기 획득한 촬영 영상에서 망막 영역을 추출하여 데이터 세트를 생성하고; 그리고
    머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트로부터 상기 환자의 알츠하이머병에 대한 위험 등급을 분류하도록 하며,
    상기 컴퓨터 프로그램은, 상기 환자의 알츠하이머병에 대한 위험 등급을 분류하기 위하여, 상기 컴퓨팅 장치로 하여금,
    인코더 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 망막 이미지에서 특징맵을 생성하고,
    디코더 모듈을 이용하여 상기 특징맵을 입력 받고, 상기 특징맵을 기반으로 상기 혈관 이미지를 생성하고,
    생성 모듈을 이용하여 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받고, 상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 기반으로 최종 혈관 이미지를 생성하고, 그리고
    분류 모듈을 이용하여 상기 최종 혈관 이미지를 입력 받고, 상기 최종 혈관 이미지를 기반으로 알츠하이머병 진단에 필요한 정보를 제공하기 위하여 카테고리 분류를 수행하도록 하며,
    상기 생성 모듈은,
    상기 망막 이미지, 상기 특징맵 및 상기 혈관 이미지를 입력 받아 상기 특징맵 및 상기 혈관 이미지를 각각 동일한 크기로 분할하고, 상기 분할된 복수의 혈관 이미지 중 어느 하나와 상기 분할된 복수의 특징맵과의 유사성을 각각 비교하여 유사성 분포를 생성하며, 상기 망막 이미지에 상기 유사성 분포를 반영하고 상기 유사성 분포가 반영된 망막 이미지와 상기 어느 하나의 분할된 혈관 이미지를 이용하여 상기 망막 이미지로부터 상기 어느 하나의 분할된 혈관 이미지에 대응하는 영역에서 혈관을 추출하도록 학습되는, 컴퓨터 프로그램.

KR1020210142484A 2021-10-25 2021-10-25 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치 KR102580279B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210142484A KR102580279B1 (ko) 2021-10-25 2021-10-25 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치
US17/972,057 US20230125925A1 (en) 2021-10-25 2022-10-24 Method for providing the necessary information for a diagnosis of alzheimer's disease and apparatus for executing the method
EP22203440.7A EP4170672A1 (en) 2021-10-25 2022-10-25 Method for providing the necessary information for a diagnosis of alzheimer's disease and apparatus for executing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210142484A KR102580279B1 (ko) 2021-10-25 2021-10-25 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치

Publications (2)

Publication Number Publication Date
KR20230059182A KR20230059182A (ko) 2023-05-03
KR102580279B1 true KR102580279B1 (ko) 2023-09-19

Family

ID=83996249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210142484A KR102580279B1 (ko) 2021-10-25 2021-10-25 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치

Country Status (3)

Country Link
US (1) US20230125925A1 (ko)
EP (1) EP4170672A1 (ko)
KR (1) KR102580279B1 (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6451547B1 (en) 2001-04-25 2002-09-17 Syn X Pharma Process for differential diagnosis of Alzheimer's dementia and device therefor
JP6461084B2 (ja) * 2013-03-15 2019-01-30 ニューロビジョン イメージング，インコーポレーテッド アルツハイマー病又は軽度認知機能障害の検出支援システム
US8885901B1 (en) * 2013-10-22 2014-11-11 Eyenuk, Inc. Systems and methods for automated enhancement of retinal images
CN106408562B (zh) * 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
KR101977645B1 (ko) * 2017-08-25 2019-06-12 주식회사 메디웨일 안구영상 분석방법
KR20200005405A (ko) * 2018-07-06 2020-01-15 연세대학교 산학협력단 진단 보조 시스템
CN108764286B (zh) * 2018-04-24 2022-04-19 电子科技大学 一种基于迁移学习的血管图像中特征点的分类识别方法
KR102283443B1 (ko) * 2019-08-05 2021-07-30 재단법인 아산사회복지재단 광 간섭 단층 영상 기반의 고위험 병변 진단 시스템 및 이의 진단 방법
KR102250694B1 (ko) * 2019-08-30 2021-05-11 서울대학교병원 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
US20230245772A1 (en) * 2020-05-29 2023-08-03 University Of Florida Research Foundation A Machine Learning System and Method for Predicting Alzheimer's Disease Based on Retinal Fundus Images

Also Published As

Publication number Publication date
KR20230059182A (ko) 2023-05-03
US20230125925A1 (en) 2023-04-27
EP4170672A1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
US11210781B2 (en) Methods and devices for reducing dimension of eigenvectors and diagnosing medical images
KR102125127B1 (ko) 딥러닝 기반 뇌 질환 진단 방법
Giancardo et al. Microaneurysm detection with radon transform-based classification on retina images
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US11800976B2 (en) Apparatus and method for image-based eye disease diagnosis
US11227384B2 (en) Methods and systems for determining a diagnostically unacceptable medical image
US20150173705A1 (en) Apparatus and method for adapting diagnostic model for computer-aided diagnosis
JP2020010805A (ja) 特定装置、プログラム、特定方法、情報処理装置及び特定器
US11823385B2 (en) Processing fundus images using machine learning models to generate blood-related predictions
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
CN114998369A (zh) 图像处理方法、装置、存储介质及电子设备
CA3196853A1 (en) Method and system for segmenting and characterizing aortic tissues
KR102580279B1 (ko) 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치
US11253324B1 (en) Determination of appendix position using a two stage deep neural network
US12087445B2 (en) Automatic cervical cancer diagnosis system
JP7129058B2 (ja) 医用画像診断支援装置、プログラム及び医用画像診断支援方法
Mohammedhasan et al. A new deeply convolutional neural network architecture for retinal blood vessel segmentation
US20240020830A1 (en) System and methods of predicting parkinson's disease based on retinal images using machine learning
WO2022165431A1 (en) Systems and methods for identifying progression of hypoxic-ischemic brain injury
CN115206494A (zh) 基于眼底图像分类的阅片系统及阅片方法
KR102725336B1 (ko) 구강질환 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치
KR102464887B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant