KR20230097332A - System for early diagnosis of dementia and Method for early diagnosis of dementia using the same - Google Patents
System for early diagnosis of dementia and Method for early diagnosis of dementia using the same Download PDFInfo
- Publication number
- KR20230097332A KR20230097332A KR1020210186728A KR20210186728A KR20230097332A KR 20230097332 A KR20230097332 A KR 20230097332A KR 1020210186728 A KR1020210186728 A KR 1020210186728A KR 20210186728 A KR20210186728 A KR 20210186728A KR 20230097332 A KR20230097332 A KR 20230097332A
- Authority
- KR
- South Korea
- Prior art keywords
- dementia
- task
- data
- early diagnosis
- diagnosis
- Prior art date
Links
- 206010012289 Dementia Diseases 0.000 title claims abstract description 127
- 238000013399 early diagnosis Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003542 behavioural effect Effects 0.000 claims abstract description 37
- 230000001149 cognitive effect Effects 0.000 claims abstract description 33
- 238000013136 deep learning model Methods 0.000 claims abstract description 27
- 238000003745 diagnosis Methods 0.000 claims description 51
- 238000013480 data collection Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000003920 cognitive function Effects 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 235000013361 beverage Nutrition 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 235000012054 meals Nutrition 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000007087 memory ability Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000009897 systematic effect Effects 0.000 claims description 2
- 230000003923 mental ability Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 208000010877 cognitive disease Diseases 0.000 description 6
- 208000027061 mild cognitive impairment Diseases 0.000 description 6
- 208000024827 Alzheimer disease Diseases 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000003930 cognitive ability Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000015220 hamburgers Nutrition 0.000 description 2
- 102000013455 Amyloid beta-Peptides Human genes 0.000 description 1
- 108010090849 Amyloid beta-Peptides Proteins 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/162—Testing reaction times
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Child & Adolescent Psychology (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Neurology (AREA)
- Cardiology (AREA)
- Dermatology (AREA)
- Educational Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Neurosurgery (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
본 발명은 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법에 관한 것이다.The present invention relates to an early diagnosis system for dementia and a method for early diagnosis of dementia using the same.
치매는 비가역적 질병으로 조기진단을 통한 예방이 핵심이다. 2020년 통계청 자료에 따르면 대한민국 65세 이상 고령인구의 치매 유병률은 10.29%이며, 연간 국가 치매 관리비용은 약 16.5조원이다. 이러한 비용은 2040년에는 약 63.1조원까지 증가할 것으로 추정된다. Dementia is an irreversible disease, and prevention through early diagnosis is key. According to data from the National Statistical Office in 2020, the prevalence of dementia in the elderly population aged 65 or older in Korea is 10.29%, and the annual national dementia management cost is about 16.5 trillion won. These costs are estimated to increase to about 63.1 trillion won in 2040.
미국, 유럽 연합 등 선진국은 치매조기진단을 위한 인공지능 기반 VR 기술, MRI 분석 기술, 말투 분석 기술 등의 연구개발에 박차를 가하고 있다. 2시간 이상이 소요되는 기존 설문지 기반 인지능력평가 (예: SNSB), 침습적인 아밀로이드 베타 검사 방법과 비교했을 때 인공지능 기반 의료기술은 치매조기진단에 걸리는 시간을 대폭 줄이고 정확도를 향상시킴으로써 의료진뿐만 아니라 환자의 만족도를 높일 것으로 기대된다. Advanced countries such as the United States and the European Union are accelerating research and development of artificial intelligence-based VR technology for early diagnosis of dementia, MRI analysis technology, and tone analysis technology. Compared to existing questionnaire-based cognitive ability evaluation (e.g., SNSB) and invasive amyloid beta test methods that take more than 2 hours, AI-based medical technology significantly reduces the time required for early diagnosis of dementia and improves accuracy, thereby improving not only medical staff but also It is expected to increase patient satisfaction.
도구적 일상생활 수행능력(instrumental activities of daily living)은 치매를 조기에 진단할 수 있는 핵심지표이다. 이를 위해 설문지 기반 인지능력평가 (예: SNSB) 등이 수행되고 있다. Instrumental activities of daily living are key indicators for early diagnosis of dementia. To this end, questionnaire-based cognitive ability evaluation (eg SNSB) is being performed.
그러나 설문지 기반 치매조기진단은 많은 시간이 소요되며, 대상자의 나이, 교육년수 등 인구통계학적 요소에 영향을 받으며, 대상자의 주관적 편향(bias)에 의해 결과가 왜곡될 수 있다는 한계점을 갖는다.However, questionnaire-based early diagnosis of dementia takes a lot of time, is affected by demographic factors such as the subject's age and years of education, and has limitations that the results may be distorted by the subject's subjective bias.
그 결과, 설문지 기반 평가기술은 스크리닝 지표로만 활용될 뿐 실제 치매조기진단을 위해서는 EEG, MRI 등 추가 검사가 요구된다.As a result, questionnaire-based evaluation technology is used only as a screening index, and additional tests such as EEG and MRI are required for actual early diagnosis of dementia.
최근 VR 기술을 활용해 가상 일상생활을 구현하고 여기서 도구적 일상생활 수행능력을 직접 평가하는 방법론이 연구되고 있다. VR 환경 속에서 운전, 장보기, 버스이용, 금전관리 등 일상생활 과제를 구현하고 여기서 수집되는 대상자의 손 움직임, 머리 움직임, 성과 (수행시간, 오류횟수) 같은 특징(feature)을 기계학습(machine learning)으로 분석해 치매를 조기 진단한다. Recently, research is being conducted on a methodology that implements virtual daily life using VR technology and directly evaluates the instrumental daily living performance ability. In the VR environment, daily life tasks such as driving, shopping, using the bus, and money management are implemented, and the collected features such as hand movements, head movements, and performance (execution time, number of errors) are used for machine learning. ) to diagnose dementia early.
그러나 이러한 방법론은 대상자의 복잡한 행동 패턴을 분석할 수 없을 뿐만 아니라, 일상생활 수행능력과 치매와의 관계에 대해 충분한 설명력을 제공하지 못한다.However, this methodology cannot analyze the subject's complex behavioral patterns and does not provide sufficient explanatory power for the relationship between daily life performance and dementia.
본 발명의 실시예들은 상기와 같은 문제를 해결하기 위해 제안된 것으로서, 알츠하이머 치매를 조기진단할 수 있는 치매조기진단 시스템(1) 및 이를 이용한 치매조기진단 방법을 제공하고자 한다.Embodiments of the present invention have been proposed to solve the above problems, and are intended to provide an early diagnosis system for dementia (1) capable of early diagnosis of Alzheimer's dementia and a method for early diagnosis of dementia using the same.
또한, 어떠한 이유로 치매로 판정되었는지 설명력을 제공할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다. In addition, it is intended to provide an early diagnosis system for dementia and a method for early diagnosis of dementia using the same, which can provide explanatory power for what reason it was determined to be dementia.
또한, 다수의 진단대상자를 대상으로 동시에 검사를 진행하고, 검사 시간을 단축할 수 있으며, 정확도 높은 검사 결과를 도출할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다. In addition, it is intended to provide an early diagnosis system for dementia and a method for early diagnosis of dementia using the same, which can perform examinations on a large number of subjects at the same time, shorten the examination time, and derive highly accurate test results.
또한, 병원에 방문하지 않더라도 알츠하이머 치매를 진단할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다.In addition, it is intended to provide an early diagnosis system for dementia that can diagnose Alzheimer's dementia without visiting a hospital and an early diagnosis method for dementia using the same.
본 발명의 일 실시예에 따르면, 본 발명의 일측면에 따르면, 가상현실 제공장치(20)에 의해 VR과제가 디스플레이 되는 단계(S1 단계); 데이터 수집장치(30)에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계); 치매조기진단 서버(10)에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함하는 치매조기진단 방법이 제공될 수 있다.According to one embodiment of the present invention, according to one aspect of the present invention, the VR task is displayed by the virtual reality providing apparatus 20 (step S1); Collecting biometric data, behavioral data, and cognitive data by the
또한, 상기 S1 단계에서의 VR과제는 VR과제 설정모듈(310)에 의해 제어되고, 상기 VR과제 설정모듈(310)에 의해 제어되는 상기 VR과제는 키오스크를 통해 메뉴를 주문하는 과제를 포함하고 치매조기진단 방법이 제공될 수 있다.In addition, the VR task in the step S1 is controlled by the VR
또한, 상기 키오스크를 통해 메뉴를 주문하는 과제는, 식사장소를 선택하는 제1 과제, 메인 식사의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제 및 비밀번호를 입력하는 제6 과제를 포함하는 치매조기진단 방법이 제공될 수 있다.In addition, the task of ordering a menu through the kiosk is a first task of selecting a dining place, a second task of selecting a type of main meal, a third task of selecting a side menu, a fourth task of selecting a beverage, A method for early diagnosis of dementia including a fifth task of selecting a payment method and a sixth task of inputting a password may be provided.
또한, 상기 S3단계는, 치매조기진단 서버(10)의 치매진단 모듈(320)에 의해 학습된 멀티모달 딥러닝 모델을 구축되는 것을 포함하고, 상기 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류(Time-series classification)하고 이를 합성곱신경망(CNN) 모델을 학습시킴으로써 구축되는 것을 포함하는 치매조기진단 방법이 제공될 수 있다.In addition, the step S3 includes building a multimodal deep learning model learned by the
또한, 상기 S3단계는, 상기 생체데이터를 구성하는 심박수, 피부전도도 및 상기 행동데이터를 구성하는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임 및 상기 인지데이터를 구성하는 오류횟수, 수행시간이 상기 멀티모달 딥러닝 모델에 입력된 후, 컨볼루션레이어(convolution lyaer), 배치 정규화(batch normalization) 및 엑션 레이어(action layer)를 통해 학습시킨 후 GAP(global average pooling)을 통해 상기 진단대상자가 치매여부를 갖는지 판단되는것을 포함하는 치매조기진단 방법이 제공될 수 있다.In addition, in the step S3, the heart rate and skin conductance constituting the biometric data, and the 3-axis hand motion, 3-axis head motion, and 3-axis eye movement constituting the behavioral data, and the number of errors and execution time constituting the cognitive data After this is input to the multimodal deep learning model, after learning through a convolution layer, batch normalization, and an action layer, the diagnosis subject is evaluated through global average pooling (GAP). A method for early diagnosis of dementia including determining whether a person has dementia may be provided.
또한, 상기 S4 단계는, 설명력 제공모듈(330)에 의해 상기 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑하는 단계를 포함하고, 상기 GCF(general cognitive function)는, 주변 환경의 자극 및 정보에 대한 주의 및 집중 능력을 의미하는 집중(attention), 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억(memory), 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도(psychomotor speed), 체계적이며 합리적인 문제 해결 능력인 문제 해결(problem solving), 다른사람과의 의사소통에 필요한 언어 능력인 언어(language)로 구분되어 분류될 수 있는 치매조기진단 방법이 제공될 수 있다.In addition, the step S4 includes a step of mapping the behavior of the diagnosis subject to a general cognitive function (GCF) through a class activation map (CAM) by the explanatory
본 발명의 일측면에 따르면, VR과제를 디스플레이할 수 있는 가상현실 제공장치(20); 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터를 수집할 수 있는 데이터 수집장치(30); 및 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부를 판단하고, 치매여부에 대한 설명력을 제공할 수 있는 치매조기진단 서버(10)를 포함하는 치매조기진단 시스템이 제공될 수 있다.According to one aspect of the present invention, a virtual reality providing device capable of displaying a
또한, 상기 치매조기진단 서버(10)는, 상기 가상현실 제공장치(20)에 의해 디스플레이되는 VR과제를 제어하는 VR과제 설정모듈(310); 학습된 멀티모달 딥러닝 모델을 구축할 수 있는 치매진단 모듈(320); 및 상기 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있는 설명력 제공모듈(330)을 포함하는 치매조기진단 시스템이 제공될 수 있다.In addition, the dementia
본 발명의 실시예들에 따른 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법은 알츠하이머 치매를 조기진단할 수 있다. The early diagnosis system for dementia and the method for early diagnosis of dementia using the system according to embodiments of the present invention can diagnose Alzheimer's dementia at an early stage.
또한, 어떠한 이유로 치매로 판정되었는지 설명력을 제공할 수 있다. In addition, it is possible to provide an explanatory power for what reason was determined to be dementia.
또한, 다수의 진단대상자를 대상으로 동시에 검사를 진행하고, 검사 시간을 단축할 수 있으며, 정확도 높은 검사 결과를 도출할 수 있다.In addition, it is possible to simultaneously perform tests on a plurality of subjects to be diagnosed, shorten the test time, and derive highly accurate test results.
또한, 병원에 방문하지 않더라도 알츠하이머 치매를 진단할 수 있다. In addition, it is possible to diagnose Alzheimer's dementia without visiting a hospital.
도 1은 본 발명의 일 실시예에 따른 치매조기진단 시스템(1)을 개략적으로 나타내는 도면이다.
도 2는 도 1의 치매조기진단 서버(10)의 구성을 개략적으로 나타내는 도면이다.
도 3은 도 1의 치매조기진단 시스템(1)에 의해 실행되는 치매조기진단 방법을 개략적으로 나타내는 순서도이다.
도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이다.
도 5는 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다.1 is a diagram schematically illustrating an early
FIG. 2 is a diagram schematically illustrating the configuration of the early
FIG. 3 is a flowchart schematically illustrating a method for early diagnosis of dementia executed by the early diagnosis system for
4 is a diagram showing biometric data (heart rate, skin conductance), behavioral data (3-axis hand movements, 3-axis head movements), and cognitive data (number of errors, execution time) collected while a subject under diagnosis performed a VR task. .
5 shows biometric data, behavioral data, and cognitive data being input into a multimodal deep learning model and then going through global average pooling (GAP) to determine whether a diagnosis subject is within a normal range or a diagnosis subject with mild cognitive impairment. It is a diagram that conceptually shows what is to be.
이하에서는 본 발명의 구체적인 실시예들에 대하여 도면을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted.
도 1은 본 발명의 일 실시예에 따른 치매조기진단 시스템(1)을 개략적으로 나타내는 도면이다.1 is a diagram schematically illustrating an early
도 1을 참조하면, 치매조기진단 시스템(1)은 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)와 통신망(40)을 포함할 수 있다. Referring to FIG. 1 , the early diagnosis system for
치매조기진단 시스템(1)은 알츠하이머 치매 조기 진단을 위한 VR 디지털 마이오마커 시스템으로 명명될 수 있으며, 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)는 서로 독립적인 장치로 제공되어 통신망(40)을 통해 데이터 통신하거나, 또는 하나의 물리적인 장치로 구성되어 직접 데이터 통신 가능하게 제공될 수 있다. The early diagnosis system for
본 실시예에서는 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)는 별개의 독립적인 장치로 제공되는 것을 예로 들어 설명한다.In this embodiment, an example in which the dementia early diagnosis server 10, the virtual
본 실시예의 치매조기진단 시스템(1)은 가상현실 제공장치(20)를 통해 VR과제가 제시되며, 진단대상자가 VR과제를 수행하는 동안 생체데이터(예를 들어, 심박수, 피부전도도), 행동데이터(예를 들어, 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임) 및 인지데이터(오류횟수, 수행시간)가 수집되고, 이와 같이 수집된 데이터를 치매조기진단 서버(10)에 의해 구축된 멀티모달 딥러닝 모델에 입력시켜 치매여부가 판단될 수 있다.In the early diagnosis system for
또한, 치매조기진단 시스템(1)은 딥러닝 기반 시계열 데이터 분류(time-series classification)를 통한 복잡한 행동 패턴 특징추출 및 모델학습을 구현할 수 있으며, CAM(class activation map)을 활용해 대상자의 VR과제 속 행동 패턴을 GCF(general cognitive function)에 맵핑하고 이를 바탕으로 어떠한 이유로 대상자가 치매로 조기 진단되었는지에 대한 설명력(expainability)을 제공할 수 있다. 이에 대한 자세한 설명은 후술한다. In addition, the early dementia diagnosis system (1) can implement complex behavioral pattern feature extraction and model learning through deep learning-based time-series classification, and utilize CAM (class activation map) to It is possible to map the behavioral pattern in GCF (general cognitive function), and based on this, explainability of why the subject was diagnosed with dementia early. A detailed description of this will be given later.
치매조기진단 서버(10)는 가상현실 제공장치(20)에 VR과제를 디스플레이하고, 진단대상자가 VR과제를 수행하는 동안의 데이터(생체데이터, 행동데이터, 인지데이터)를 수집하여, 이를 기초로 치매여부를 조기진단하고, 이에 대한 설명력을 제공할 수 있는 서버로 이해될 수 있다. 이에 대한 자세한 설명은 후술한다. The dementia
가상현실 제공장치(20)는 진단대상자가 머리에 쓴 상태에서 VR과제를 보여주는 헤드-마운티드 디스플레이(HDM)를 포함할 수 있다. The virtual
데이터 수집장치(30)는 진단대상자의 심박수와 피부전도도를 측정하는 생체데이터수집장치를 포함할 수 있다. The
또한, 데이터 수집장치(30)는 진단대상자의 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임을 측정하는 행동데이터 수집장치를 포함할 수 있다. 예를 들어, 행동데이터 수집장치는 머리 3축 움직임과 안구 3축 움직임을 측정하기 위해 헤드-마운티드 디스플레이(HDM)에 장착된 기구거나 및 손 3축 움직임을 측정하기 위해 사용자가 파지할 수 있은 기구를 포함할 수 있다. In addition, the
또한, 데이터 수집장치(30)는 진단대상자의 오류횟수 및 수행시간을 측정하는 인지데이터 수집부를 포함할 수 있다. In addition, the
여기서, 심박수와 피부전도도를 측정하는 생체데이터수집장치와, 손 3축 움직임, 머리 3축 움직임 및 안구 3축 움직임을 측정하는 행동데이터 수집장치는 하드웨어 일 수 있으며, 진단대상자의 오류횟수 및 수행시간을 측정하는 인지데이터 수집부는 가상현실 제공장치(20)에 내장된 소프트웨어일 수 있다.Here, the biometric data collection device for measuring heart rate and skin conductance, and the behavioral data collection device for measuring 3-axis hand movement, 3-axis head movement, and 3-axis eye movement may be hardware, and the number of errors and execution time of the subject of diagnosis The cognitive data collection unit for measuring may be software embedded in the virtual
다만, 이러한 생체데이터수집장치, 행동데이터 수집장치 및 인지데이터 수집부는 예시적인 것으로, 생체데이터, 행동데이터 및 인지데이터를 수집하기 위한 다른 장치를 포함할 수 있다. However, the biometric data collection device, the behavioral data collection device, and the cognitive data collection unit are illustrative, and may include other devices for collecting biometric data, behavioral data, and cognitive data.
도 2는 도 1의 치매조기진단 서버(10)의 구성을 개략적으로 나타내는 도면이다.FIG. 2 is a diagram schematically illustrating the configuration of the early
도 2를 참조하면, 치매조기진단 서버(10)는 메모리(200), 프로세서(300) 및 통신모듈(400)을 포함할 수 있다. Referring to FIG. 2 , the dementia
프로세서(300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(200) 또는 통신 모듈(400)로부터 프로세서(300)로 제공될 수 있다. 그 외에 명령은 치매조기진단 서버(10)를 구성하는 각각의 구성요소들 간의 통신 채널을 통해 프로세서(300)로 제공될 수 있다.The
프로세서(300)는 VR과제를 설정하고, 멀티모달 딥러닝 모델을 구축하고, 진단대상자의 생체데이터, 행동데이터 및 인지데이터를 멀티모달 딥러닝 모델에 입력시켜 치매여부를 판단할 수 있고, 어떠한 이유로 진단대상자가 치매로 조기 진단되었는지 설명력(expainability)을 제공할 수 있다. 이를 실행하기 위한 프로세서(300)의 구체적인 구성요소들은 후술한다. The
또한, 프로세서(300)의 구성요소들은 딥러닝으로 미리 학습된 인공신경망을 포함할 수 있다. 예를 들어, 프로세서(300)의 구성요소들 중 적어도 하나는 합성곱신경망(CNN)을 포함할 수 있으며, 합성곱신경망(CNN)은 시계열 데이터 분류(Time-series classification)를 통한 진단대상자의 행동 패턴 특징추출에 의해 구축될 수 있다.In addition, components of the
이와 같은 시계열 데이터 분류(Time-series classification) 합성곱신경망(CNN)을 통해 멀티모달 딥러닝 모델이 구축될 수 있으며, 수집된 생체데이터, 행동데이터 및 인지데이터는 멀티모달 딥러닝 모델에 입력되어 raw data 형태로 분석되어, 그 속의 복잡한 패턴이 분석될 수 있다. A multimodal deep learning model can be built through this time-series classification convolutional neural network (CNN), and the collected biometric data, behavioral data, and cognitive data are input to the multimodal deep learning model and raw It is analyzed in the form of data, and complex patterns in it can be analyzed.
메모리(200)는 컴퓨터에서 판독 가능한 기록매체로서 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 프로세서(300)는 메모리(200)에 저장된 프로그램 코드를 로딩하여 치매여부를 판단하거나, 설명력을 제공할 수 있다. 이러한 프로그램 코드는 별도의 컴퓨터에서 판독 가능한 기록 매체(예를 들어 DVD, 메모리 카드 등)로부터 로딩되거나, 다른 장치로부터 통신 모듈(400)을 통해 전달되어 메모리(200)에 저장될 수도 있다. The
또한, 메모리(200)에는 VR과제를 설정하거나, 멀티모달 딥러닝 모델을 구축하거나, 시계열 데이터들을 멀티모달 딥러닝 모델에 입력시켜 치매여부를 판단하거나, 어떠한 이유로 진단대상자가 치매로 조기 진단되었는지 설명력(expainability)을 제공하기 위해 필요한 데이터를 저장할 수 있는 데이터베이스(210)가 제공될 수 있다. In addition, in the
통신 모듈(400)은 통신망(40)을 통해 가상현실 제공장치(20) 및 데이터 수집장치(30)와 서로 통신하기 위한 기능을 제공할 수 있다. The
치매조기진단 서버(10)의 프로세서(300)은 물리적인 구성인 VR과제 설정모듈(310), 치매진단 모듈(320) 및 설명력 제공모듈(330)을 포함할 수 있으며, 이에 대한 자세한 설명은 후술한다.The
도 3은 도 1의 치매조기진단 시스템(1)에 의해 실행되는 치매조기진단 방법을 개략적으로 나타내는 순서도이고, 도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이며, 도 5는 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다. 3 is a flowchart schematically illustrating a method for early diagnosis of dementia executed by the early diagnosis system for
도 3 내지 도 5를 참조하면, 치매조기진단 방법은 가상현실 제공장치(20)에 의해 VR과제가 디스플레이되는 단계(S1 단계); 데이터 수집장치(30)에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계); 치매조기진단 서버(10)에 의 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함할 수 있다.Referring to FIGS. 3 to 5 , the method for early diagnosis of dementia includes displaying a VR task by the virtual reality providing device 20 (step S1); Collecting biometric data, behavioral data, and cognitive data by the
먼저, 가상현실 제공장치(20)에 의해 VR과제가 디스플레이되는 단계(S1 단계)에 대해 자세히 설명하면 다음과 같다. First, the step (S1 step) in which the VR task is displayed by the virtual
가상현실 제공장치(20)(예를 들어, 헤드-마운티드 디스플레이(HDM))에 디스플레이 되는 VR과제는 VR과제 설정모듈(310)에 의해 제어될 수 있다. The VR task displayed on the virtual reality providing device 20 (eg, head-mounted display (HDM)) may be controlled by the VR
예를 들어, VR과제 설정모듈(310)은 VR과제를 키오스크를 통해 메뉴를 주문하는 과제로 설정할 수 있다. 구체적으로, 키오스크를 통해 메뉴를 주문하는 과제는 복수 개의 과제를 수행하는 것을 포함할 수 있으며, 복수 개의 과제는 식사장소를 선택하는 제1 과제, 메인 식사(예를 들어, 햄버거)의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제, 비밀번호를 입력하는 제6 과제를 포함할 수 있다.For example, the VR
다만, VR과제의 종류는 예시적인 것으로서, 진단대상자에 따라 VR과제가 맞춤형으로 변경될 수 있다. However, the type of VR task is exemplary, and the VR task can be customized according to the subject of diagnosis.
진단대상자가 가상현실 제공장치(20)를 통해 키오스크를 통해 메뉴를 주문하는 과제를 수행하는 동안 데이터 수집장치(30)에 의해 생체데이터, 행동데이터 및 인지데이터가 수집(S2 단계)될 수 있다. Biometric data, behavioral data, and cognitive data may be collected (step S2) by the
여기서, 생체데이터는 심박수, 피부전도도를 포함할 수 있으며, 행동데이터는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임을 포함할 수 있으며, 인지데이터는 오류횟수, 수행시간을 포함할 수 있다. Here, biometric data may include heart rate and skin conductance, behavioral data may include hand 3-axis movement, head 3-axis movement, and eyeball 3-axis movement, and cognitive data may include the number of errors and execution time. there is.
도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이다.4 is a diagram showing biometric data (heart rate, skin conductance), behavioral data (3-axis hand movements, 3-axis head movements), and cognitive data (number of errors, execution time) collected while a subject under diagnosis performed a VR task. .
이와 같이 데이터 수집장치(30)에 의해 수집된 생체데이터, 행동데이터 및 인지데이터는 치매조기진단 서버(10)로 전달될 수 있다. In this way, the biometric data, behavioral data, and cognitive data collected by the
그 후, 치매조기진단 서버(10)에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계)가 실행될 수 있으며, 이에 대한 자세한 설명은 다음과 같다. After that, the biometric data, behavioral data, and cognitive data are input to the multimodal deep learning model learned by the dementia
먼저, 치매조기진단 서버(10)의 치매진단 모듈(320)은 학습된 멀티모달 딥러닝 모델을 포함할 수 있다. First, the
이때, 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자 (예를 들어, N명의 정상범위에 있는 진단대상자, N명의 경도인지장애를 가진 진단대상자, N명 치매를 앓는 진단대상자)에 대한 생체데이터, 행동데이터 및 인지데이터 각각을 합성곱신경망(CNN) 모델로 학습시킴으로써 1차 시계열 데이터 분류(Time-series classification)를 수행하고, 이를 합쳐서 2차 시계열 데이터 분류를 수행하는 중첩 시계열 데이터 분류(Nested time-series classification)를 수행한다. At this time, the learned multimodal deep learning model is applied to diagnosis subjects belonging to different taxa (e.g., N subjects in the normal range, N subjects with mild cognitive impairment, and N subjects suffering from dementia). First-order time-series classification is performed by training each of biometric data, behavioral data, and cognitive data with a convolutional neural network (CNN) model, and overlapping time-series data classification is performed by combining them to perform second-order time-series data classification. (Nested time-series classification) is performed.
보다 구체적으로, 생체데이터, 행동데이터 및 인지데이터를 구성하는 심박수, 피부전도도, 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임, 오류횟수, 수행시간은 시계열 데이터 분류(Time-series classification)되어 멀티모달 딥러닝 모델에 입력된 후, 이를 다시 컨볼루션레이어(convolution lyaer)를 통해 데이터 속 시간적 특성을 추출하고, 배치 정규화(batch normalization) 및 엑션 레이어(action layer)를 통해 시계열 데이터 속 편항(bias)을 최소화해 학습시킨 후, GAP(global average pooling)을 통해 시계열 데이터의 전반적 맥락특성(contextual feature)을 계산한 최종 결과값을 바탕으로 진단대상자가 어느 분류군(예를 들어, 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지, 치매를 앓는 진단대상자인지)에 속하는지 확율로 예측될 수 있다.More specifically, the heart rate, skin conductance, 3-axis movement of the hand, 3-axis movement of the head, 3-axis movement of the eye, number of errors, and execution time constituting biometric data, behavioral data, and cognitive data are time-series classification. After being input into the multimodal deep learning model, temporal characteristics in the data are extracted again through a convolution layer, and bias in the time series data through batch normalization and an action layer bias), and based on the final result of calculating the overall contextual feature of the time series data through global average pooling (GAP), the diagnosis subject is in which taxon (for example, within the normal range) It can be predicted with a probability whether a person belongs to a diagnosis subject, a diagnosis subject with mild cognitive impairment, or a diagnosis subject suffering from dementia.
여기서, 컨볼루션레이어(convolution lyaer), 배치 정규화(batch normalization) 및 엑션 레이어(action layer) 및 GAP(global average pooling)는 치매진단 모듈(320)에 의해 실행될 수 있다. Here, a convolution layer, batch normalization, action layer, and global average pooling (GAP) may be executed by the
도 5는 상술한 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다.5 is a diagram showing whether the above-described biometric data, behavioral data, and cognitive data are entered into a multimodal deep learning model and then subjected to global average pooling (GAP) to determine whether the diagnosis subject is within the normal range or diagnosed with mild cognitive impairment. It is a diagram conceptually showing that recognition is determined.
그 후, 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)가 실행될 수 있으며, 이에 대한 자세한 설명은 다음과 같다.Thereafter, a step (step S4) of providing explanatory power on the presence or absence of dementia may be executed by the early
S4 단계는, 치매조기진단 서버(10)의 설명력 제공모듈(330)에 의해 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있다. 이를 통해 진단대상자가 어떠한 이유로 치매로 조기 진단되었는지 설명력을 제공할 수 있다. In step S4, the behavior of the subject to be diagnosed while performing the VR task by the explanatory
구체적으로, GCF(general cognitive function)는 주변 환경의 자극 및 정보에 대한 주의, 집중 능력을 의미하는 집중(attention), 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억(memory), 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도(psychomotor speed), 체계적이며 합리적인 문제 해결 능력인 문제 해결(problem solving), 일상생활 및 다른사람과의 의사소통에 필요한 언어 능력인 언어(language)를 포함할 수 있다. Specifically, GCF (general cognitive function) is attention, which refers to the ability to pay attention to stimuli and information in the surrounding environment, and memory, which refers to self-regulation and memory abilities used in daily life. , psychomotor speed, which means the speed at which a given piece of information or task is mentally performed, problem solving, which is the ability to systematically and rationally solve problems, and language skills, which are necessary for daily life and communication with others. May include language.
여기서, GCF(general cognitive function)에 대한 구체적은 정보인 집중(attention), 기억(memory), 정신운동 속도(psychomotor speed), 문제 해결(problem solving), 언어(language)에 대한 정보는 데이터베이스(210)에 저장되어 있을 수 있다. Here, information on attention, memory, psychomotor speed, problem solving, and language, which are specific information on GCF (general cognitive function), is stored in a database (210). ) may be stored in
상술한 바와 같이, 치매조기진단 서버(10)는 물리적인 구성인 VR과제 설정모듈(310), 치매진단 모듈(320) 및 설명력 제공모듈(330)을 포함할 수 있으며, 이에 대해 보다 자세히 설명하면 다음과 같다. As described above, the dementia
VR과제 설정모듈(310)은 가상현실 제공장치(20)에 의해 디스플레이되는 VR과제를 제어할 수 있다. The VR
예를 들어, VR과제 설정모듈(310)은 VR과제를 키오스크를 통해 메뉴를 주문하는 과제로 설정할 수 있다. 구체적으로, 키오스크를 통해 메뉴를 주문하는 과제는 복수 개의 과제를 수행하는 것을 포함할 수 있으며, 복수 개의 과제는 식사장소를 선택하는 제1 과제, 메인 식사(예를 들어, 햄버거)의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제, 비밀번호를 입력하는 제6 과제를 포함할 수 있다.For example, the VR
치매진단 모듈(320)은 학습된 멀티모달 딥러닝 모델을 구축할 수 있으며, 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자 (예를 들어, N명의 정상범위에 있는 진단대상자, N명의 경도인지장애를 가진 진단대상자, N명 치매를 앓는 진단대상자)에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류(Time-series classification)하고, 이를 합성곱신경망(CNN) 모델을 학습시킴으로써 구축될 수 있다. The
설명력 제공모듈(330)은 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있으며, 이를 통해 진단대상자가 어떠한 이유로 치매로 조기 진단되었는지 설명력을 제공할 수 있다. The explanatory
본 실시예의 치매조기진단 시스템(1)은 VR 환경 속 대상자의 생체-행동-인지 시계열 데이터 연계 분석하고, 딥러닝 기반 시계열 데이터 분류(time-series classification)를 통한 특징추출 및 모델학습, CAM을 활용한 VR 과제 속 대상자 움직임과 GCF(general cognitive function) 맵핑을 통한 설명력 제공이라는 측면에서 독창성이 있다. The early
또한, 이러한 치매조기진단 시스템(1) 및 이를 이용한 치매조기진단 방법은 지속적으로 성장 중인 치매조기진단 분야 및 VR 의료분야에 적용될 수 있다. In addition, the early diagnosis system for
종래의 설문지 기반 검사, MRI 검사 등과 비교했을 때 VR 검사는 여러 명이 동시에 검사를 진행하고 정량화된 데이터로 시간을 단축하고 정확도 높은 검사결과를 얻을 수 있어 실제 현장에서 적용이 가능하다. 또한 VR은 시간과 장소에 구애받지 않고 사용이 가능하고 가상현실을 기반으로 몰입감이 높다. 따라서 지금과 같이 코로나19로 인해 병원 방문에 거부감을 느끼는 상황이나 병원을 방문할 수 없는 상황에서도 도구적 일상능력을 평가하며 적용이 용이하다. Compared to conventional questionnaire-based examinations, MRI examinations, etc., VR examination can be applied to the actual field because it can be performed by several people at the same time, reduce time with quantified data, and obtain highly accurate examination results. In addition, VR can be used regardless of time and place, and has a high sense of immersion based on virtual reality. Therefore, it is easy to apply and evaluate instrumental daily abilities even in situations where you feel reluctance to visit a hospital due to COVID-19 or in a situation where you cannot visit a hospital.
또한, 문화, 여가 컨텐츠로 소비되던 VR을 의료분야로 들여오면서 VR은 질병의 진단, 치료 등 많은 역할을 하게 되었다. 사회적 문제로 대두되는 치매 문제를 조기에 진단함으로써 높은 치매 유병률과 막대한 치매 관리 비용을 감소시켜 사회적, 경제적 문제를 해결한다.In addition, as VR, which was consumed as cultural and leisure content, was brought into the medical field, VR played many roles such as diagnosis and treatment of diseases. By diagnosing dementia, which is emerging as a social problem, at an early stage, it solves social and economic problems by reducing the high prevalence of dementia and the enormous dementia management cost.
또한, 의료현장에서 인공지능 사용이 확대됨에 따라 의료 환경 내 원활한 소통을 방해하는 단절된 구조와 분과별 데이터 사일로 현상을 극복하고 병원 운영과 환자관리 및 치료의 효율성을 높여 나은 의료 서비스를 제공할 수 있다.In addition, as the use of artificial intelligence expands in the medical field, it is possible to provide better medical services by overcoming the disconnected structure and data silos by department that hinder smooth communication in the medical environment and by increasing the efficiency of hospital operation and patient management and treatment. .
본 기술은 대상자로 하여금 치매 검사의 거부감을 없애고 하나의 놀이로써 검사를 받을 수 있게 한다. 이는 키오스크 사용과 같이 노인들이 익숙하지 못해 일상생활에서 기피하던 상황들을 VR을 통해 간접경험을 해봄으로써 가상환경에서 익힌 사용을 실제 환경에서 적용할 수 있게 도울 수 있다. This technology allows the subject to get rid of the objection of the dementia test and take the test as a play. This can help the elderly to apply the use learned in the virtual environment to the real environment by indirectly experiencing situations that the elderly avoid in daily life, such as using a kiosk, through VR.
본 기술을 실제 임상에서 적용할 수 있도록 EEG, MRI와 연계하여 개발하고 품질과 안전성, 유효성을 확보하여 식약처의 허가를 받아 안전하고 신뢰 있는 진단으로 발전시킬 것이다. 그리고 VR 기술의 휴대성을 살려서 VR을 일선 보건소에 설치할 뿐만 아니라 홈케어링을 가능하게 해, 치매 데일리 케어 서비스와 같은 재활 프로그램을 정기적으로 운영할 수 있다. We will develop this technology in conjunction with EEG and MRI so that it can be applied in clinical practice, secure quality, safety, and effectiveness, and develop it into a safe and reliable diagnosis with permission from the Ministry of Food and Drug Safety. Also, taking advantage of the portability of VR technology, not only VR can be installed in public health centers, but also home care is possible, and rehabilitation programs such as dementia daily care service can be operated regularly.
이상 본 발명의 실시예에 따른 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시형태들을 조합, 치환하여 적시되지 않은 형상의 패턴을 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.Although the early diagnosis system for dementia and the method for early diagnosis of dementia using the same according to an embodiment of the present invention have been described as specific embodiments, this is only an example, and the present invention is not limited thereto. should be construed as having the widest scope. A person skilled in the art may implement a pattern of a shape not indicated by combining or substituting the disclosed embodiments, but this also does not deviate from the scope of the present invention. In addition, those skilled in the art can easily change or modify the disclosed embodiments based on this specification, and it is clear that such changes or modifications also fall within the scope of the present invention.
1 : 치매조기진단 시스템
10 : 치매조기진단 서버
20 : 가상현실 제공장치
200 : 메모리
210 : 데이터베이스
30 : 데이터 수집장치
300 : 프로세서
310 : VR과제 설정모듈
320 : 치매진단 모듈
330 : 설명력 제공모듈1: Early diagnosis system for dementia
10: Dementia Early Diagnosis Server
20: virtual reality providing device
200: memory
210: database
30: data collection device
300: processor
310: VR task setting module
320: dementia diagnosis module
330: explanatory power providing module
Claims (5)
데이터 수집장치에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계);
치매조기진단 서버에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및
치매조기진단 서버에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함하는
치매조기진단 방법.The step of displaying the VR task by the virtual reality providing device (S1 step);
Collecting biometric data, behavioral data, and cognitive data while the patient is performing the VR task by a data collection device (step S2);
Determining whether or not there is dementia by inputting the biometric data, behavioral data, and cognitive data to the multimodal deep learning model learned by the dementia early diagnosis server (step S3); and
Including the step (S4 step) of providing explanatory power for the dementia or not by the dementia early diagnosis server
Methods for early diagnosis of dementia.
상기 S1 단계에서의 VR과제는 VR과제 설정모듈에 의해 제어되고,
상기 VR과제 설정모듈에 의해 제어되는 상기 VR과제는 키오스크를 통해 메뉴를 주문하는 과제를 포함하고
상기 키오스크를 통해 메뉴를 주문하는 과제는,
식사장소를 선택하는 제1 과제, 메인 식사의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제 및 비밀번호를 입력하는 제6 과제를 포함하는
치매조기진단 방법.According to claim 1,
The VR task in the step S1 is controlled by the VR task setting module,
The VR task controlled by the VR task setting module includes a task of ordering a menu through a kiosk,
The task of ordering a menu through the kiosk is,
The first task is to select a place to eat, the second task is to select the type of main meal, the third task is to select a side menu, the fourth task is to select a beverage, the fifth task is to select a payment method, and the password is entered. Including the 6th task
Methods for early diagnosis of dementia.
상기 S3단계는,
치매조기진단 서버의 치매진단 모듈에 의해 학습된 멀티모달 딥러닝 모델을 구축되는 것을 포함하고,
상기 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류하고 이를 합성곱신경망 모델을 학습시킴으로써 구축되는 것을 포함하는
치매조기진단 방법.According to claim 1,
In step S3,
Including building a multimodal deep learning model learned by the dementia diagnosis module of the dementia early diagnosis server,
The learned multimodal deep learning model is constructed by classifying biological data, behavioral data, and cognitive data of subjects belonging to different taxa as time series data and learning the convolutional neural network model
Methods for early diagnosis of dementia.
상기 S3단계는,
상기 생체데이터를 구성하는 심박수, 피부전도도 및 상기 행동데이터를 구성하는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임 및 상기 인지데이터를 구성하는 오류횟수, 수행시간이 상기 멀티모달 딥러닝 모델에 입력된 후, 컨볼루션레이어, 배치 정규화 및 엑션 레이어를 통해 학습시킨 후 GAP(global average pooling)을 통해 상기 진단대상자가 치매여부를 갖는지 판단되는것을 포함하는
치매조기진단 방법.According to claim 3,
In step S3,
The heart rate, skin conductance constituting the biometric data, the 3-axis movement of the hand, the 3-axis head, and the 3-axis movement of the eye constituting the behavioral data, and the error count and execution time constituting the cognitive data are the multimodal deep learning model. After being input into , learning through a convolution layer, batch normalization, and an action layer, and then determining whether the diagnosis subject has dementia through global average pooling (GAP).
Methods for early diagnosis of dementia.
상기 S4 단계는,
설명력 제공모듈에 의해 상기 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑하는 단계를 포함하고,
상기 GCF(general cognitive function)는, 주변 환경의 자극 및 정보에 대한 주의 및 집중 능력을 의미하는 집중, 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억, 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도, 체계적이며 합리적인 문제 해결 능력인 문제 해결, 다른사람과의 의사소통에 필요한 언어 능력인 언어로 구분되어 분류될 수 있는
치매조기진단 방법.
According to claim 1,
In step S4,
Mapping the behavior of the diagnosed subject to a general cognitive function (GCF) through a class activation map (CAM) by an explanatory power providing module,
The GCF (general cognitive function) refers to concentration, which refers to the ability to pay attention to and focus on stimuli and information in the surrounding environment, memory, which refers to self-regulation and memory abilities used in daily life, and mental ability to process given information or tasks. It can be classified into psychomotor speed, which means the speed of performance, problem solving, which is systematic and rational problem-solving ability, and language, which is necessary for communication with others.
Methods for early diagnosis of dementia.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210186728A KR102591797B1 (en) | 2021-12-24 | 2021-12-24 | System for early diagnosis of dementia and Method for early diagnosis of dementia using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210186728A KR102591797B1 (en) | 2021-12-24 | 2021-12-24 | System for early diagnosis of dementia and Method for early diagnosis of dementia using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230097332A true KR20230097332A (en) | 2023-07-03 |
KR102591797B1 KR102591797B1 (en) | 2023-10-19 |
Family
ID=87157412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210186728A KR102591797B1 (en) | 2021-12-24 | 2021-12-24 | System for early diagnosis of dementia and Method for early diagnosis of dementia using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102591797B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116712041A (en) * | 2023-08-04 | 2023-09-08 | 首都医科大学附属北京安贞医院 | Construction method and system of cognitive disorder assessment model and cognitive disorder assessment method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180069947A (en) * | 2016-12-15 | 2018-06-26 | 한양대학교 산학협력단 | Mild Cognitive Impairment Screening System using Behavior Data from Immersive Virtual Reality Platform and its related Method |
KR20200087348A (en) * | 2018-12-31 | 2020-07-21 | 네오데우스 주식회사 | Age/Emotion/Gender Classification System using depthwise separable convolutional neural network AI |
KR102165590B1 (en) * | 2019-11-15 | 2020-10-14 | 가천대학교 산학협력단 | Social Virtual Reality System for the Treatment of Mild Cognitive Impairment and Social Virtual Reality Providing Method |
KR102282101B1 (en) | 2020-06-23 | 2021-08-02 | 김성연 | Method and system for determining state of object using functional near-infrared spectroscopy |
-
2021
- 2021-12-24 KR KR1020210186728A patent/KR102591797B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180069947A (en) * | 2016-12-15 | 2018-06-26 | 한양대학교 산학협력단 | Mild Cognitive Impairment Screening System using Behavior Data from Immersive Virtual Reality Platform and its related Method |
KR20200087348A (en) * | 2018-12-31 | 2020-07-21 | 네오데우스 주식회사 | Age/Emotion/Gender Classification System using depthwise separable convolutional neural network AI |
KR102165590B1 (en) * | 2019-11-15 | 2020-10-14 | 가천대학교 산학협력단 | Social Virtual Reality System for the Treatment of Mild Cognitive Impairment and Social Virtual Reality Providing Method |
KR102282101B1 (en) | 2020-06-23 | 2021-08-02 | 김성연 | Method and system for determining state of object using functional near-infrared spectroscopy |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116712041A (en) * | 2023-08-04 | 2023-09-08 | 首都医科大学附属北京安贞医院 | Construction method and system of cognitive disorder assessment model and cognitive disorder assessment method |
CN116712041B (en) * | 2023-08-04 | 2024-03-08 | 首都医科大学附属北京安贞医院 | Construction method and system of cognitive disorder assessment model and cognitive disorder assessment method |
Also Published As
Publication number | Publication date |
---|---|
KR102591797B1 (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101911516B1 (en) | Method for obtaining psychological state data, assessing psychological state of user and providing feedback, and server using the same | |
CN108780663A (en) | Digital personalized medicine platform and system | |
Goyal et al. | Automation of stress recognition using subjective or objective measures | |
WO2009114795A2 (en) | Non-natural pattern identification for cognitive assessment | |
Wilkinson et al. | Monitoring health status in long term care through the use of ambient technologies and serious games | |
Javed et al. | Artificial intelligence for cognitive health assessment: state-of-the-art, open challenges and future directions | |
CN112669967A (en) | Active health medical decision-making assisting method and equipment | |
WO2010005656A2 (en) | Brain condition assessment | |
Schwab et al. | A deep learning approach to diagnosing multiple sclerosis from smartphone data | |
US20240050006A1 (en) | System and method for prediction and control of attention deficit hyperactivity (adhd) disorders | |
EP3901963B1 (en) | Method and device for estimating early progression of dementia from human head images | |
Leghissa et al. | Machine learning approaches for frailty detection, prediction and classification in elderly people: A systematic review | |
KR20190132710A (en) | Method and system for predicting and analyzing stroke severity using nihss | |
KR102591797B1 (en) | System for early diagnosis of dementia and Method for early diagnosis of dementia using the same | |
Hernández-Capistran et al. | Machine and deep learning algorithms for adhd detection: a review | |
Iram et al. | A classifier fusion strategy to improve the early detection of neurodegenerative diseases | |
US11250723B1 (en) | Visuospatial disorders detection in dementia using a computer-generated environment based on voting approach of machine learning algorithms | |
EP4044193A1 (en) | Psychological state monitoring system | |
Cruz-Martínez et al. | Towards Data-Driven Persuasive Coaching in a Heart Failure Telemonitoring Technology. | |
Duhaime et al. | Nonexpert crowds outperform expert individuals in diagnostic accuracy on a skin lesion diagnosis task | |
Ormseth et al. | Predicting reattendance at a high-risk breast cancer clinic | |
Tapia et al. | Designing visualization tools to support older adults care process | |
JP7437825B1 (en) | Dementia early examination system using screen interaction | |
Bazargani et al. | Alzheimer's disease diagnosis in the metaverse | |
US20240371497A1 (en) | System and method for diagnostics and finding treatments for mild cognitive impairment, dementias and neurodegenerative diseases |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |