[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20230097332A - System for early diagnosis of dementia and Method for early diagnosis of dementia using the same - Google Patents

System for early diagnosis of dementia and Method for early diagnosis of dementia using the same Download PDF

Info

Publication number
KR20230097332A
KR20230097332A KR1020210186728A KR20210186728A KR20230097332A KR 20230097332 A KR20230097332 A KR 20230097332A KR 1020210186728 A KR1020210186728 A KR 1020210186728A KR 20210186728 A KR20210186728 A KR 20210186728A KR 20230097332 A KR20230097332 A KR 20230097332A
Authority
KR
South Korea
Prior art keywords
dementia
task
data
early diagnosis
diagnosis
Prior art date
Application number
KR1020210186728A
Other languages
Korean (ko)
Other versions
KR102591797B1 (en
Inventor
서경원
박하현
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020210186728A priority Critical patent/KR102591797B1/en
Publication of KR20230097332A publication Critical patent/KR20230097332A/en
Application granted granted Critical
Publication of KR102591797B1 publication Critical patent/KR102591797B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162Testing reaction times
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Neurology (AREA)
  • Cardiology (AREA)
  • Dermatology (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

In accordance with one aspect of the present invention, provided is a dementia early diagnosis method including the following steps of: (S1) enabling a virtual reality providing device to display a VR task; (S2) enabling a data collecting device to collect biometric data, behavioral data and cognitive data while a diagnostic subject is performing the VR task; (S3) enabling a dementia early diagnosis server to determine whether the subject has dementia by inputting the biometric data, the behavioral data and the cognitive data into a trained multimodal deep learning model; and (S4) enabling the dementia early diagnosis server to provide an explanation about whether the subject has dementia. Therefore, the present invention is capable of deriving a highly accurate examination result, and reducing time for dementia examination.

Description

치매조기진단 시스템 및 이를 이용한 치매조기진단 방법 {System for early diagnosis of dementia and Method for early diagnosis of dementia using the same}System for early diagnosis of dementia and method for early diagnosis of dementia using the same {System for early diagnosis of dementia and Method for early diagnosis of dementia using the same}

본 발명은 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법에 관한 것이다.The present invention relates to an early diagnosis system for dementia and a method for early diagnosis of dementia using the same.

치매는 비가역적 질병으로 조기진단을 통한 예방이 핵심이다. 2020년 통계청 자료에 따르면 대한민국 65세 이상 고령인구의 치매 유병률은 10.29%이며, 연간 국가 치매 관리비용은 약 16.5조원이다. 이러한 비용은 2040년에는 약 63.1조원까지 증가할 것으로 추정된다. Dementia is an irreversible disease, and prevention through early diagnosis is key. According to data from the National Statistical Office in 2020, the prevalence of dementia in the elderly population aged 65 or older in Korea is 10.29%, and the annual national dementia management cost is about 16.5 trillion won. These costs are estimated to increase to about 63.1 trillion won in 2040.

미국, 유럽 연합 등 선진국은 치매조기진단을 위한 인공지능 기반 VR 기술, MRI 분석 기술, 말투 분석 기술 등의 연구개발에 박차를 가하고 있다. 2시간 이상이 소요되는 기존 설문지 기반 인지능력평가 (예: SNSB), 침습적인 아밀로이드 베타 검사 방법과 비교했을 때 인공지능 기반 의료기술은 치매조기진단에 걸리는 시간을 대폭 줄이고 정확도를 향상시킴으로써 의료진뿐만 아니라 환자의 만족도를 높일 것으로 기대된다. Advanced countries such as the United States and the European Union are accelerating research and development of artificial intelligence-based VR technology for early diagnosis of dementia, MRI analysis technology, and tone analysis technology. Compared to existing questionnaire-based cognitive ability evaluation (e.g., SNSB) and invasive amyloid beta test methods that take more than 2 hours, AI-based medical technology significantly reduces the time required for early diagnosis of dementia and improves accuracy, thereby improving not only medical staff but also It is expected to increase patient satisfaction.

도구적 일상생활 수행능력(instrumental activities of daily living)은 치매를 조기에 진단할 수 있는 핵심지표이다. 이를 위해 설문지 기반 인지능력평가 (예: SNSB) 등이 수행되고 있다. Instrumental activities of daily living are key indicators for early diagnosis of dementia. To this end, questionnaire-based cognitive ability evaluation (eg SNSB) is being performed.

그러나 설문지 기반 치매조기진단은 많은 시간이 소요되며, 대상자의 나이, 교육년수 등 인구통계학적 요소에 영향을 받으며, 대상자의 주관적 편향(bias)에 의해 결과가 왜곡될 수 있다는 한계점을 갖는다.However, questionnaire-based early diagnosis of dementia takes a lot of time, is affected by demographic factors such as the subject's age and years of education, and has limitations that the results may be distorted by the subject's subjective bias.

그 결과, 설문지 기반 평가기술은 스크리닝 지표로만 활용될 뿐 실제 치매조기진단을 위해서는 EEG, MRI 등 추가 검사가 요구된다.As a result, questionnaire-based evaluation technology is used only as a screening index, and additional tests such as EEG and MRI are required for actual early diagnosis of dementia.

최근 VR 기술을 활용해 가상 일상생활을 구현하고 여기서 도구적 일상생활 수행능력을 직접 평가하는 방법론이 연구되고 있다. VR 환경 속에서 운전, 장보기, 버스이용, 금전관리 등 일상생활 과제를 구현하고 여기서 수집되는 대상자의 손 움직임, 머리 움직임, 성과 (수행시간, 오류횟수) 같은 특징(feature)을 기계학습(machine learning)으로 분석해 치매를 조기 진단한다. Recently, research is being conducted on a methodology that implements virtual daily life using VR technology and directly evaluates the instrumental daily living performance ability. In the VR environment, daily life tasks such as driving, shopping, using the bus, and money management are implemented, and the collected features such as hand movements, head movements, and performance (execution time, number of errors) are used for machine learning. ) to diagnose dementia early.

그러나 이러한 방법론은 대상자의 복잡한 행동 패턴을 분석할 수 없을 뿐만 아니라, 일상생활 수행능력과 치매와의 관계에 대해 충분한 설명력을 제공하지 못한다.However, this methodology cannot analyze the subject's complex behavioral patterns and does not provide sufficient explanatory power for the relationship between daily life performance and dementia.

특허문헌: 한국 등록 특허 10-2282101 B1 (2021.07.27)Patent Document: Korean Registered Patent No. 10-2282101 B1 (2021.07.27)

본 발명의 실시예들은 상기와 같은 문제를 해결하기 위해 제안된 것으로서, 알츠하이머 치매를 조기진단할 수 있는 치매조기진단 시스템(1) 및 이를 이용한 치매조기진단 방법을 제공하고자 한다.Embodiments of the present invention have been proposed to solve the above problems, and are intended to provide an early diagnosis system for dementia (1) capable of early diagnosis of Alzheimer's dementia and a method for early diagnosis of dementia using the same.

또한, 어떠한 이유로 치매로 판정되었는지 설명력을 제공할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다. In addition, it is intended to provide an early diagnosis system for dementia and a method for early diagnosis of dementia using the same, which can provide explanatory power for what reason it was determined to be dementia.

또한, 다수의 진단대상자를 대상으로 동시에 검사를 진행하고, 검사 시간을 단축할 수 있으며, 정확도 높은 검사 결과를 도출할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다. In addition, it is intended to provide an early diagnosis system for dementia and a method for early diagnosis of dementia using the same, which can perform examinations on a large number of subjects at the same time, shorten the examination time, and derive highly accurate test results.

또한, 병원에 방문하지 않더라도 알츠하이머 치매를 진단할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다.In addition, it is intended to provide an early diagnosis system for dementia that can diagnose Alzheimer's dementia without visiting a hospital and an early diagnosis method for dementia using the same.

본 발명의 일 실시예에 따르면, 본 발명의 일측면에 따르면, 가상현실 제공장치(20)에 의해 VR과제가 디스플레이 되는 단계(S1 단계); 데이터 수집장치(30)에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계); 치매조기진단 서버(10)에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함하는 치매조기진단 방법이 제공될 수 있다.According to one embodiment of the present invention, according to one aspect of the present invention, the VR task is displayed by the virtual reality providing apparatus 20 (step S1); Collecting biometric data, behavioral data, and cognitive data by the data collection device 30 while the subject to be diagnosed performs the VR task (step S2); Determining whether or not there is dementia by inputting the biometric data, behavioral data, and cognitive data to the multimodal deep learning model learned by the dementia early diagnosis server 10 (step S3); and providing explanatory power on the existence of dementia by the early dementia diagnosis server 10 (Step S4).

또한, 상기 S1 단계에서의 VR과제는 VR과제 설정모듈(310)에 의해 제어되고, 상기 VR과제 설정모듈(310)에 의해 제어되는 상기 VR과제는 키오스크를 통해 메뉴를 주문하는 과제를 포함하고 치매조기진단 방법이 제공될 수 있다.In addition, the VR task in the step S1 is controlled by the VR task setting module 310, and the VR task controlled by the VR task setting module 310 includes a task of ordering a menu through a kiosk and dementia Early diagnosis methods can be provided.

또한, 상기 키오스크를 통해 메뉴를 주문하는 과제는, 식사장소를 선택하는 제1 과제, 메인 식사의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제 및 비밀번호를 입력하는 제6 과제를 포함하는 치매조기진단 방법이 제공될 수 있다.In addition, the task of ordering a menu through the kiosk is a first task of selecting a dining place, a second task of selecting a type of main meal, a third task of selecting a side menu, a fourth task of selecting a beverage, A method for early diagnosis of dementia including a fifth task of selecting a payment method and a sixth task of inputting a password may be provided.

또한, 상기 S3단계는, 치매조기진단 서버(10)의 치매진단 모듈(320)에 의해 학습된 멀티모달 딥러닝 모델을 구축되는 것을 포함하고, 상기 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류(Time-series classification)하고 이를 합성곱신경망(CNN) 모델을 학습시킴으로써 구축되는 것을 포함하는 치매조기진단 방법이 제공될 수 있다.In addition, the step S3 includes building a multimodal deep learning model learned by the dementia diagnosis module 320 of the dementia early diagnosis server 10, and the learned multimodal deep learning model is classified into different taxa. A method for early diagnosis of dementia may be provided, which includes constructing time-series classification of biological data, behavioral data, and cognitive data of a subject to be diagnosed, and training the convolutional neural network (CNN) model.

또한, 상기 S3단계는, 상기 생체데이터를 구성하는 심박수, 피부전도도 및 상기 행동데이터를 구성하는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임 및 상기 인지데이터를 구성하는 오류횟수, 수행시간이 상기 멀티모달 딥러닝 모델에 입력된 후, 컨볼루션레이어(convolution lyaer), 배치 정규화(batch normalization) 및 엑션 레이어(action layer)를 통해 학습시킨 후 GAP(global average pooling)을 통해 상기 진단대상자가 치매여부를 갖는지 판단되는것을 포함하는 치매조기진단 방법이 제공될 수 있다.In addition, in the step S3, the heart rate and skin conductance constituting the biometric data, and the 3-axis hand motion, 3-axis head motion, and 3-axis eye movement constituting the behavioral data, and the number of errors and execution time constituting the cognitive data After this is input to the multimodal deep learning model, after learning through a convolution layer, batch normalization, and an action layer, the diagnosis subject is evaluated through global average pooling (GAP). A method for early diagnosis of dementia including determining whether a person has dementia may be provided.

또한, 상기 S4 단계는, 설명력 제공모듈(330)에 의해 상기 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑하는 단계를 포함하고, 상기 GCF(general cognitive function)는, 주변 환경의 자극 및 정보에 대한 주의 및 집중 능력을 의미하는 집중(attention), 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억(memory), 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도(psychomotor speed), 체계적이며 합리적인 문제 해결 능력인 문제 해결(problem solving), 다른사람과의 의사소통에 필요한 언어 능력인 언어(language)로 구분되어 분류될 수 있는 치매조기진단 방법이 제공될 수 있다.In addition, the step S4 includes a step of mapping the behavior of the diagnosis subject to a general cognitive function (GCF) through a class activation map (CAM) by the explanatory power providing module 330, and the general cognitive function (GCF) Attention, which means the ability to pay attention to and focus on stimuli and information in the surrounding environment, memory, which means self-regulation and memory abilities used in daily life, and mentally Psychomotor speed, which means the speed at which you perform, problem solving, which is a systematic and rational problem-solving ability, and language, which is a necessary language ability for communication with others, can be classified. A method for early diagnosis of dementia may be provided.

본 발명의 일측면에 따르면, VR과제를 디스플레이할 수 있는 가상현실 제공장치(20); 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터를 수집할 수 있는 데이터 수집장치(30); 및 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부를 판단하고, 치매여부에 대한 설명력을 제공할 수 있는 치매조기진단 서버(10)를 포함하는 치매조기진단 시스템이 제공될 수 있다.According to one aspect of the present invention, a virtual reality providing device capable of displaying a VR task 20; a data collection device 30 capable of collecting biometric data, behavioral data, and cognitive data while the diagnosis subject performs the VR task; and an early dementia diagnosis server 10 capable of inputting the biometric data, behavioral data, and cognitive data into the learned multimodal deep learning model to determine whether or not there is dementia, and to provide an explanatory power for the presence or absence of dementia. system can be provided.

또한, 상기 치매조기진단 서버(10)는, 상기 가상현실 제공장치(20)에 의해 디스플레이되는 VR과제를 제어하는 VR과제 설정모듈(310); 학습된 멀티모달 딥러닝 모델을 구축할 수 있는 치매진단 모듈(320); 및 상기 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있는 설명력 제공모듈(330)을 포함하는 치매조기진단 시스템이 제공될 수 있다.In addition, the dementia early diagnosis server 10 includes a VR task setting module 310 that controls the VR task displayed by the virtual reality providing device 20; Dementia diagnosis module 320 capable of building a learned multimodal deep learning model; And an explanatory power providing module 330 capable of mapping the behavior of the subject to diagnosis while performing the VR task to a general cognitive function (GCF) through a class activation map (CAM). An early diagnosis system for dementia may be provided. there is.

본 발명의 실시예들에 따른 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법은 알츠하이머 치매를 조기진단할 수 있다. The early diagnosis system for dementia and the method for early diagnosis of dementia using the system according to embodiments of the present invention can diagnose Alzheimer's dementia at an early stage.

또한, 어떠한 이유로 치매로 판정되었는지 설명력을 제공할 수 있다. In addition, it is possible to provide an explanatory power for what reason was determined to be dementia.

또한, 다수의 진단대상자를 대상으로 동시에 검사를 진행하고, 검사 시간을 단축할 수 있으며, 정확도 높은 검사 결과를 도출할 수 있다.In addition, it is possible to simultaneously perform tests on a plurality of subjects to be diagnosed, shorten the test time, and derive highly accurate test results.

또한, 병원에 방문하지 않더라도 알츠하이머 치매를 진단할 수 있다. In addition, it is possible to diagnose Alzheimer's dementia without visiting a hospital.

도 1은 본 발명의 일 실시예에 따른 치매조기진단 시스템(1)을 개략적으로 나타내는 도면이다.
도 2는 도 1의 치매조기진단 서버(10)의 구성을 개략적으로 나타내는 도면이다.
도 3은 도 1의 치매조기진단 시스템(1)에 의해 실행되는 치매조기진단 방법을 개략적으로 나타내는 순서도이다.
도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이다.
도 5는 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다.
1 is a diagram schematically illustrating an early dementia diagnosis system 1 according to an embodiment of the present invention.
FIG. 2 is a diagram schematically illustrating the configuration of the early dementia diagnosis server 10 of FIG. 1 .
FIG. 3 is a flowchart schematically illustrating a method for early diagnosis of dementia executed by the early diagnosis system for dementia 1 of FIG. 1 .
4 is a diagram showing biometric data (heart rate, skin conductance), behavioral data (3-axis hand movements, 3-axis head movements), and cognitive data (number of errors, execution time) collected while a subject under diagnosis performed a VR task. .
5 shows biometric data, behavioral data, and cognitive data being input into a multimodal deep learning model and then going through global average pooling (GAP) to determine whether a diagnosis subject is within a normal range or a diagnosis subject with mild cognitive impairment. It is a diagram that conceptually shows what is to be.

이하에서는 본 발명의 구체적인 실시예들에 대하여 도면을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted.

도 1은 본 발명의 일 실시예에 따른 치매조기진단 시스템(1)을 개략적으로 나타내는 도면이다.1 is a diagram schematically illustrating an early dementia diagnosis system 1 according to an embodiment of the present invention.

도 1을 참조하면, 치매조기진단 시스템(1)은 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)와 통신망(40)을 포함할 수 있다. Referring to FIG. 1 , the early diagnosis system for dementia 1 may include an early dementia diagnosis server 10, a virtual reality providing device 20, a data collection device 30, and a communication network 40.

치매조기진단 시스템(1)은 알츠하이머 치매 조기 진단을 위한 VR 디지털 마이오마커 시스템으로 명명될 수 있으며, 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)는 서로 독립적인 장치로 제공되어 통신망(40)을 통해 데이터 통신하거나, 또는 하나의 물리적인 장치로 구성되어 직접 데이터 통신 가능하게 제공될 수 있다. The early diagnosis system for dementia 1 may be named a VR digital myomarker system for early diagnosis of Alzheimer's dementia, and the early diagnosis server for dementia 10, the virtual reality providing device 20, and the data collection device 30 are connected to each other. It may be provided as an independent device for data communication through the communication network 40, or composed of one physical device and provided for direct data communication.

본 실시예에서는 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)는 별개의 독립적인 장치로 제공되는 것을 예로 들어 설명한다.In this embodiment, an example in which the dementia early diagnosis server 10, the virtual reality providing device 20, and the data collection device 30 are provided as separate and independent devices will be described.

본 실시예의 치매조기진단 시스템(1)은 가상현실 제공장치(20)를 통해 VR과제가 제시되며, 진단대상자가 VR과제를 수행하는 동안 생체데이터(예를 들어, 심박수, 피부전도도), 행동데이터(예를 들어, 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임) 및 인지데이터(오류횟수, 수행시간)가 수집되고, 이와 같이 수집된 데이터를 치매조기진단 서버(10)에 의해 구축된 멀티모달 딥러닝 모델에 입력시켜 치매여부가 판단될 수 있다.In the early diagnosis system for dementia 1 of the present embodiment, a VR task is presented through the virtual reality providing device 20, and biometric data (eg, heart rate, skin conductance) and behavioral data are presented while the diagnosis subject performs the VR task. (For example, hand 3-axis movement, head 3-axis movement, eyeball 3-axis movement) and cognitive data (number of errors, execution time) are collected, and the collected data are constructed by the dementia early diagnosis server 10 Dementia can be determined by inputting it into the multimodal deep learning model.

또한, 치매조기진단 시스템(1)은 딥러닝 기반 시계열 데이터 분류(time-series classification)를 통한 복잡한 행동 패턴 특징추출 및 모델학습을 구현할 수 있으며, CAM(class activation map)을 활용해 대상자의 VR과제 속 행동 패턴을 GCF(general cognitive function)에 맵핑하고 이를 바탕으로 어떠한 이유로 대상자가 치매로 조기 진단되었는지에 대한 설명력(expainability)을 제공할 수 있다. 이에 대한 자세한 설명은 후술한다. In addition, the early dementia diagnosis system (1) can implement complex behavioral pattern feature extraction and model learning through deep learning-based time-series classification, and utilize CAM (class activation map) to It is possible to map the behavioral pattern in GCF (general cognitive function), and based on this, explainability of why the subject was diagnosed with dementia early. A detailed description of this will be given later.

치매조기진단 서버(10)는 가상현실 제공장치(20)에 VR과제를 디스플레이하고, 진단대상자가 VR과제를 수행하는 동안의 데이터(생체데이터, 행동데이터, 인지데이터)를 수집하여, 이를 기초로 치매여부를 조기진단하고, 이에 대한 설명력을 제공할 수 있는 서버로 이해될 수 있다. 이에 대한 자세한 설명은 후술한다. The dementia early diagnosis server 10 displays the VR task on the virtual reality providing device 20, collects data (biological data, behavioral data, cognitive data) while the diagnosis subject performs the VR task, and based on this It can be understood as a server that can diagnose dementia early and provide explanatory power for it. A detailed description of this will be given later.

가상현실 제공장치(20)는 진단대상자가 머리에 쓴 상태에서 VR과제를 보여주는 헤드-마운티드 디스플레이(HDM)를 포함할 수 있다. The virtual reality providing device 20 may include a head-mounted display (HDM) that displays a VR task while the diagnosis subject wears it on their head.

데이터 수집장치(30)는 진단대상자의 심박수와 피부전도도를 측정하는 생체데이터수집장치를 포함할 수 있다. The data collection device 30 may include a biometric data collection device that measures the heart rate and skin conductance of the patient to be diagnosed.

또한, 데이터 수집장치(30)는 진단대상자의 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임을 측정하는 행동데이터 수집장치를 포함할 수 있다. 예를 들어, 행동데이터 수집장치는 머리 3축 움직임과 안구 3축 움직임을 측정하기 위해 헤드-마운티드 디스플레이(HDM)에 장착된 기구거나 및 손 3축 움직임을 측정하기 위해 사용자가 파지할 수 있은 기구를 포함할 수 있다. In addition, the data collection device 30 may include a behavior data collection device that measures the 3-axis motion of the hand, the 3-axis head, and the 3-axis eye movement of the subject to be diagnosed. For example, the device for collecting behavioral data is an apparatus mounted on a head-mounted display (HDM) for measuring 3-axis head and 3-axis eye movements, or a device that can be grasped by a user to measure 3-axis hand motion. can include

또한, 데이터 수집장치(30)는 진단대상자의 오류횟수 및 수행시간을 측정하는 인지데이터 수집부를 포함할 수 있다. In addition, the data collection device 30 may include a cognitive data collection unit that measures the number of errors and execution time of the subject to be diagnosed.

여기서, 심박수와 피부전도도를 측정하는 생체데이터수집장치와, 손 3축 움직임, 머리 3축 움직임 및 안구 3축 움직임을 측정하는 행동데이터 수집장치는 하드웨어 일 수 있으며, 진단대상자의 오류횟수 및 수행시간을 측정하는 인지데이터 수집부는 가상현실 제공장치(20)에 내장된 소프트웨어일 수 있다.Here, the biometric data collection device for measuring heart rate and skin conductance, and the behavioral data collection device for measuring 3-axis hand movement, 3-axis head movement, and 3-axis eye movement may be hardware, and the number of errors and execution time of the subject of diagnosis The cognitive data collection unit for measuring may be software embedded in the virtual reality providing device 20 .

다만, 이러한 생체데이터수집장치, 행동데이터 수집장치 및 인지데이터 수집부는 예시적인 것으로, 생체데이터, 행동데이터 및 인지데이터를 수집하기 위한 다른 장치를 포함할 수 있다. However, the biometric data collection device, the behavioral data collection device, and the cognitive data collection unit are illustrative, and may include other devices for collecting biometric data, behavioral data, and cognitive data.

도 2는 도 1의 치매조기진단 서버(10)의 구성을 개략적으로 나타내는 도면이다.FIG. 2 is a diagram schematically illustrating the configuration of the early dementia diagnosis server 10 of FIG. 1 .

도 2를 참조하면, 치매조기진단 서버(10)는 메모리(200), 프로세서(300) 및 통신모듈(400)을 포함할 수 있다. Referring to FIG. 2 , the dementia early diagnosis server 10 may include a memory 200, a processor 300, and a communication module 400.

프로세서(300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(200) 또는 통신 모듈(400)로부터 프로세서(300)로 제공될 수 있다. 그 외에 명령은 치매조기진단 서버(10)를 구성하는 각각의 구성요소들 간의 통신 채널을 통해 프로세서(300)로 제공될 수 있다.The processor 300 may be configured to process commands of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processor 300 from the memory 200 or the communication module 400 . In addition, commands may be provided to the processor 300 through a communication channel between respective components constituting the dementia early diagnosis server 10 .

프로세서(300)는 VR과제를 설정하고, 멀티모달 딥러닝 모델을 구축하고, 진단대상자의 생체데이터, 행동데이터 및 인지데이터를 멀티모달 딥러닝 모델에 입력시켜 치매여부를 판단할 수 있고, 어떠한 이유로 진단대상자가 치매로 조기 진단되었는지 설명력(expainability)을 제공할 수 있다. 이를 실행하기 위한 프로세서(300)의 구체적인 구성요소들은 후술한다. The processor 300 sets a VR task, builds a multimodal deep learning model, inputs the biometric data, behavioral data, and cognitive data of the subject to be diagnosed into the multimodal deep learning model to determine whether or not there is dementia, and for some reason. It can provide expainability whether the diagnosed subject was diagnosed with dementia at an early stage. Specific components of the processor 300 for executing this will be described later.

또한, 프로세서(300)의 구성요소들은 딥러닝으로 미리 학습된 인공신경망을 포함할 수 있다. 예를 들어, 프로세서(300)의 구성요소들 중 적어도 하나는 합성곱신경망(CNN)을 포함할 수 있으며, 합성곱신경망(CNN)은 시계열 데이터 분류(Time-series classification)를 통한 진단대상자의 행동 패턴 특징추출에 의해 구축될 수 있다.In addition, components of the processor 300 may include an artificial neural network pre-learned through deep learning. For example, at least one of the components of the processor 300 may include a convolutional neural network (CNN), and the convolutional neural network (CNN) is a behavior of a diagnosis subject through time-series classification. It can be constructed by pattern feature extraction.

이와 같은 시계열 데이터 분류(Time-series classification) 합성곱신경망(CNN)을 통해 멀티모달 딥러닝 모델이 구축될 수 있으며, 수집된 생체데이터, 행동데이터 및 인지데이터는 멀티모달 딥러닝 모델에 입력되어 raw data 형태로 분석되어, 그 속의 복잡한 패턴이 분석될 수 있다. A multimodal deep learning model can be built through this time-series classification convolutional neural network (CNN), and the collected biometric data, behavioral data, and cognitive data are input to the multimodal deep learning model and raw It is analyzed in the form of data, and complex patterns in it can be analyzed.

메모리(200)는 컴퓨터에서 판독 가능한 기록매체로서 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 프로세서(300)는 메모리(200)에 저장된 프로그램 코드를 로딩하여 치매여부를 판단하거나, 설명력을 제공할 수 있다. 이러한 프로그램 코드는 별도의 컴퓨터에서 판독 가능한 기록 매체(예를 들어 DVD, 메모리 카드 등)로부터 로딩되거나, 다른 장치로부터 통신 모듈(400)을 통해 전달되어 메모리(200)에 저장될 수도 있다. The memory 200 is a computer-readable recording medium and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive. In addition, the processor 300 may load program codes stored in the memory 200 to determine whether or not there is dementia or provide explanatory power. These program codes may be loaded from a recording medium (for example, DVD, memory card, etc.) readable by a separate computer, or transferred from another device through the communication module 400 and stored in the memory 200.

또한, 메모리(200)에는 VR과제를 설정하거나, 멀티모달 딥러닝 모델을 구축하거나, 시계열 데이터들을 멀티모달 딥러닝 모델에 입력시켜 치매여부를 판단하거나, 어떠한 이유로 진단대상자가 치매로 조기 진단되었는지 설명력(expainability)을 제공하기 위해 필요한 데이터를 저장할 수 있는 데이터베이스(210)가 제공될 수 있다. In addition, in the memory 200, a VR task is set, a multi-modal deep learning model is built, time-series data is input into a multi-modal deep learning model to determine whether or not there is dementia, or for some reason, an explanatory function is used to determine whether a person diagnosed with dementia is diagnosed early. A database 210 capable of storing necessary data to provide expainability may be provided.

통신 모듈(400)은 통신망(40)을 통해 가상현실 제공장치(20) 및 데이터 수집장치(30)와 서로 통신하기 위한 기능을 제공할 수 있다. The communication module 400 may provide a function for communicating with the virtual reality providing device 20 and the data collecting device 30 through the communication network 40 .

치매조기진단 서버(10)의 프로세서(300)은 물리적인 구성인 VR과제 설정모듈(310), 치매진단 모듈(320) 및 설명력 제공모듈(330)을 포함할 수 있으며, 이에 대한 자세한 설명은 후술한다.The processor 300 of the early dementia diagnosis server 10 may include a VR task setting module 310, a dementia diagnosis module 320, and an explanatory power providing module 330, which are physically configured, which will be described in detail later. do.

도 3은 도 1의 치매조기진단 시스템(1)에 의해 실행되는 치매조기진단 방법을 개략적으로 나타내는 순서도이고, 도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이며, 도 5는 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다. 3 is a flowchart schematically illustrating a method for early diagnosis of dementia executed by the early diagnosis system for dementia 1 of FIG. 1, and FIG. 4 is a biometric data (heart rate, skin conductance) collected while a diagnosis subject performs a VR task. , It is a diagram showing behavioral data (3-axis movement of the hand, 3-axis movement of the head) and cognitive data (number of errors, execution time), and FIG. Through global average pooling (GAP), it is a diagram conceptually showing that it is determined whether a diagnosis subject is within the normal range or a diagnosis subject with mild cognitive impairment.

도 3 내지 도 5를 참조하면, 치매조기진단 방법은 가상현실 제공장치(20)에 의해 VR과제가 디스플레이되는 단계(S1 단계); 데이터 수집장치(30)에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계); 치매조기진단 서버(10)에 의 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함할 수 있다.Referring to FIGS. 3 to 5 , the method for early diagnosis of dementia includes displaying a VR task by the virtual reality providing device 20 (step S1); Collecting biometric data, behavioral data, and cognitive data by the data collection device 30 while the subject to be diagnosed performs the VR task (step S2); Determining whether or not there is dementia by inputting the biometric data, behavioral data, and cognitive data from the dementia early diagnosis server 10 to the learned multimodal deep learning model (step S3); and providing explanatory power on whether or not the dementia exists by the early dementia diagnosis server 10 (step S4).

먼저, 가상현실 제공장치(20)에 의해 VR과제가 디스플레이되는 단계(S1 단계)에 대해 자세히 설명하면 다음과 같다. First, the step (S1 step) in which the VR task is displayed by the virtual reality providing device 20 will be described in detail.

가상현실 제공장치(20)(예를 들어, 헤드-마운티드 디스플레이(HDM))에 디스플레이 되는 VR과제는 VR과제 설정모듈(310)에 의해 제어될 수 있다. The VR task displayed on the virtual reality providing device 20 (eg, head-mounted display (HDM)) may be controlled by the VR task setting module 310 .

예를 들어, VR과제 설정모듈(310)은 VR과제를 키오스크를 통해 메뉴를 주문하는 과제로 설정할 수 있다. 구체적으로, 키오스크를 통해 메뉴를 주문하는 과제는 복수 개의 과제를 수행하는 것을 포함할 수 있으며, 복수 개의 과제는 식사장소를 선택하는 제1 과제, 메인 식사(예를 들어, 햄버거)의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제, 비밀번호를 입력하는 제6 과제를 포함할 수 있다.For example, the VR task setting module 310 may set the VR task as a task of ordering a menu through a kiosk. Specifically, the task of ordering a menu through a kiosk may include performing a plurality of tasks, and the plurality of tasks include a first task of selecting a restaurant and a type of main meal (eg, hamburger). It may include a second task to select a side menu, a third task to select a side menu, a fourth task to select a beverage, a fifth task to select a payment method, and a sixth task to input a password.

다만, VR과제의 종류는 예시적인 것으로서, 진단대상자에 따라 VR과제가 맞춤형으로 변경될 수 있다. However, the type of VR task is exemplary, and the VR task can be customized according to the subject of diagnosis.

진단대상자가 가상현실 제공장치(20)를 통해 키오스크를 통해 메뉴를 주문하는 과제를 수행하는 동안 데이터 수집장치(30)에 의해 생체데이터, 행동데이터 및 인지데이터가 수집(S2 단계)될 수 있다. Biometric data, behavioral data, and cognitive data may be collected (step S2) by the data collection device 30 while the patient to be diagnosed performs the task of ordering a menu through the kiosk through the virtual reality providing device 20.

여기서, 생체데이터는 심박수, 피부전도도를 포함할 수 있으며, 행동데이터는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임을 포함할 수 있으며, 인지데이터는 오류횟수, 수행시간을 포함할 수 있다. Here, biometric data may include heart rate and skin conductance, behavioral data may include hand 3-axis movement, head 3-axis movement, and eyeball 3-axis movement, and cognitive data may include the number of errors and execution time. there is.

도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이다.4 is a diagram showing biometric data (heart rate, skin conductance), behavioral data (3-axis hand movements, 3-axis head movements), and cognitive data (number of errors, execution time) collected while a subject under diagnosis performed a VR task. .

이와 같이 데이터 수집장치(30)에 의해 수집된 생체데이터, 행동데이터 및 인지데이터는 치매조기진단 서버(10)로 전달될 수 있다. In this way, the biometric data, behavioral data, and cognitive data collected by the data collection device 30 may be transmitted to the dementia early diagnosis server 10 .

그 후, 치매조기진단 서버(10)에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계)가 실행될 수 있으며, 이에 대한 자세한 설명은 다음과 같다. After that, the biometric data, behavioral data, and cognitive data are input to the multimodal deep learning model learned by the dementia early diagnosis server 10, and a step (S3 step) of determining whether or not there is dementia can be executed. The explanation is as follows.

먼저, 치매조기진단 서버(10)의 치매진단 모듈(320)은 학습된 멀티모달 딥러닝 모델을 포함할 수 있다. First, the dementia diagnosis module 320 of the dementia early diagnosis server 10 may include a learned multimodal deep learning model.

이때, 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자 (예를 들어, N명의 정상범위에 있는 진단대상자, N명의 경도인지장애를 가진 진단대상자, N명 치매를 앓는 진단대상자)에 대한 생체데이터, 행동데이터 및 인지데이터 각각을 합성곱신경망(CNN) 모델로 학습시킴으로써 1차 시계열 데이터 분류(Time-series classification)를 수행하고, 이를 합쳐서 2차 시계열 데이터 분류를 수행하는 중첩 시계열 데이터 분류(Nested time-series classification)를 수행한다. At this time, the learned multimodal deep learning model is applied to diagnosis subjects belonging to different taxa (e.g., N subjects in the normal range, N subjects with mild cognitive impairment, and N subjects suffering from dementia). First-order time-series classification is performed by training each of biometric data, behavioral data, and cognitive data with a convolutional neural network (CNN) model, and overlapping time-series data classification is performed by combining them to perform second-order time-series data classification. (Nested time-series classification) is performed.

보다 구체적으로, 생체데이터, 행동데이터 및 인지데이터를 구성하는 심박수, 피부전도도, 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임, 오류횟수, 수행시간은 시계열 데이터 분류(Time-series classification)되어 멀티모달 딥러닝 모델에 입력된 후, 이를 다시 컨볼루션레이어(convolution lyaer)를 통해 데이터 속 시간적 특성을 추출하고, 배치 정규화(batch normalization) 및 엑션 레이어(action layer)를 통해 시계열 데이터 속 편항(bias)을 최소화해 학습시킨 후, GAP(global average pooling)을 통해 시계열 데이터의 전반적 맥락특성(contextual feature)을 계산한 최종 결과값을 바탕으로 진단대상자가 어느 분류군(예를 들어, 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지, 치매를 앓는 진단대상자인지)에 속하는지 확율로 예측될 수 있다.More specifically, the heart rate, skin conductance, 3-axis movement of the hand, 3-axis movement of the head, 3-axis movement of the eye, number of errors, and execution time constituting biometric data, behavioral data, and cognitive data are time-series classification. After being input into the multimodal deep learning model, temporal characteristics in the data are extracted again through a convolution layer, and bias in the time series data through batch normalization and an action layer bias), and based on the final result of calculating the overall contextual feature of the time series data through global average pooling (GAP), the diagnosis subject is in which taxon (for example, within the normal range) It can be predicted with a probability whether a person belongs to a diagnosis subject, a diagnosis subject with mild cognitive impairment, or a diagnosis subject suffering from dementia.

여기서, 컨볼루션레이어(convolution lyaer), 배치 정규화(batch normalization) 및 엑션 레이어(action layer) 및 GAP(global average pooling)는 치매진단 모듈(320)에 의해 실행될 수 있다. Here, a convolution layer, batch normalization, action layer, and global average pooling (GAP) may be executed by the dementia diagnosis module 320 .

도 5는 상술한 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다.5 is a diagram showing whether the above-described biometric data, behavioral data, and cognitive data are entered into a multimodal deep learning model and then subjected to global average pooling (GAP) to determine whether the diagnosis subject is within the normal range or diagnosed with mild cognitive impairment. It is a diagram conceptually showing that recognition is determined.

그 후, 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)가 실행될 수 있으며, 이에 대한 자세한 설명은 다음과 같다.Thereafter, a step (step S4) of providing explanatory power on the presence or absence of dementia may be executed by the early dementia diagnosis server 10, and a detailed description thereof is as follows.

S4 단계는, 치매조기진단 서버(10)의 설명력 제공모듈(330)에 의해 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있다. 이를 통해 진단대상자가 어떠한 이유로 치매로 조기 진단되었는지 설명력을 제공할 수 있다. In step S4, the behavior of the subject to be diagnosed while performing the VR task by the explanatory power providing module 330 of the early dementia diagnosis server 10 can be mapped to general cognitive function (GCF) through a class activation map (CAM). there is. Through this, it is possible to provide explanatory power for why the diagnosis subject was diagnosed with dementia early.

구체적으로, GCF(general cognitive function)는 주변 환경의 자극 및 정보에 대한 주의, 집중 능력을 의미하는 집중(attention), 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억(memory), 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도(psychomotor speed), 체계적이며 합리적인 문제 해결 능력인 문제 해결(problem solving), 일상생활 및 다른사람과의 의사소통에 필요한 언어 능력인 언어(language)를 포함할 수 있다. Specifically, GCF (general cognitive function) is attention, which refers to the ability to pay attention to stimuli and information in the surrounding environment, and memory, which refers to self-regulation and memory abilities used in daily life. , psychomotor speed, which means the speed at which a given piece of information or task is mentally performed, problem solving, which is the ability to systematically and rationally solve problems, and language skills, which are necessary for daily life and communication with others. May include language.

여기서, GCF(general cognitive function)에 대한 구체적은 정보인 집중(attention), 기억(memory), 정신운동 속도(psychomotor speed), 문제 해결(problem solving), 언어(language)에 대한 정보는 데이터베이스(210)에 저장되어 있을 수 있다. Here, information on attention, memory, psychomotor speed, problem solving, and language, which are specific information on GCF (general cognitive function), is stored in a database (210). ) may be stored in

상술한 바와 같이, 치매조기진단 서버(10)는 물리적인 구성인 VR과제 설정모듈(310), 치매진단 모듈(320) 및 설명력 제공모듈(330)을 포함할 수 있으며, 이에 대해 보다 자세히 설명하면 다음과 같다. As described above, the dementia early diagnosis server 10 may include a VR task setting module 310, a dementia diagnosis module 320, and an explanatory power providing module 330, which are physical components. As follows.

VR과제 설정모듈(310)은 가상현실 제공장치(20)에 의해 디스플레이되는 VR과제를 제어할 수 있다. The VR task setting module 310 may control the VR task displayed by the virtual reality providing device 20 .

예를 들어, VR과제 설정모듈(310)은 VR과제를 키오스크를 통해 메뉴를 주문하는 과제로 설정할 수 있다. 구체적으로, 키오스크를 통해 메뉴를 주문하는 과제는 복수 개의 과제를 수행하는 것을 포함할 수 있으며, 복수 개의 과제는 식사장소를 선택하는 제1 과제, 메인 식사(예를 들어, 햄버거)의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제, 비밀번호를 입력하는 제6 과제를 포함할 수 있다.For example, the VR task setting module 310 may set the VR task as a task of ordering a menu through a kiosk. Specifically, the task of ordering a menu through a kiosk may include performing a plurality of tasks, and the plurality of tasks include a first task of selecting a restaurant and a type of main meal (eg, hamburger). It may include a second task to select a side menu, a third task to select a side menu, a fourth task to select a beverage, a fifth task to select a payment method, and a sixth task to input a password.

치매진단 모듈(320)은 학습된 멀티모달 딥러닝 모델을 구축할 수 있으며, 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자 (예를 들어, N명의 정상범위에 있는 진단대상자, N명의 경도인지장애를 가진 진단대상자, N명 치매를 앓는 진단대상자)에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류(Time-series classification)하고, 이를 합성곱신경망(CNN) 모델을 학습시킴으로써 구축될 수 있다. The dementia diagnosis module 320 can build a learned multimodal deep learning model, and the learned multimodal deep learning model is a diagnosis subject belonging to different taxa (for example, N persons diagnosed in the normal range, N Time-series classification of biological data, behavioral data, and cognition data for 100 people diagnosed with mild cognitive impairment and N people diagnosed with dementia), and by training the convolutional neural network (CNN) model can be built

설명력 제공모듈(330)은 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있으며, 이를 통해 진단대상자가 어떠한 이유로 치매로 조기 진단되었는지 설명력을 제공할 수 있다. The explanatory power providing module 330 can map the behavior of the subject to diagnosis while performing the VR task to the general cognitive function (GCF) through a class activation map (CAM), through which the subject to be diagnosed can be diagnosed with dementia early for some reason. Can provide an explanation of what happened.

본 실시예의 치매조기진단 시스템(1)은 VR 환경 속 대상자의 생체-행동-인지 시계열 데이터 연계 분석하고, 딥러닝 기반 시계열 데이터 분류(time-series classification)를 통한 특징추출 및 모델학습, CAM을 활용한 VR 과제 속 대상자 움직임과 GCF(general cognitive function) 맵핑을 통한 설명력 제공이라는 측면에서 독창성이 있다. The early dementia diagnosis system 1 of this embodiment analyzes the bio-behavior-cognitive time-series data of the subject in the VR environment, extracts features through deep learning-based time-series classification, model learning, and utilizes CAM It is original in terms of providing explanatory power through subject movement and GCF (general cognitive function) mapping in a VR task.

또한, 이러한 치매조기진단 시스템(1) 및 이를 이용한 치매조기진단 방법은 지속적으로 성장 중인 치매조기진단 분야 및 VR 의료분야에 적용될 수 있다. In addition, the early diagnosis system for dementia 1 and the method for early diagnosis of dementia using the same can be applied to the continuously growing field of early diagnosis of dementia and VR medical field.

종래의 설문지 기반 검사, MRI 검사 등과 비교했을 때 VR 검사는 여러 명이 동시에 검사를 진행하고 정량화된 데이터로 시간을 단축하고 정확도 높은 검사결과를 얻을 수 있어 실제 현장에서 적용이 가능하다. 또한 VR은 시간과 장소에 구애받지 않고 사용이 가능하고 가상현실을 기반으로 몰입감이 높다. 따라서 지금과 같이 코로나19로 인해 병원 방문에 거부감을 느끼는 상황이나 병원을 방문할 수 없는 상황에서도 도구적 일상능력을 평가하며 적용이 용이하다. Compared to conventional questionnaire-based examinations, MRI examinations, etc., VR examination can be applied to the actual field because it can be performed by several people at the same time, reduce time with quantified data, and obtain highly accurate examination results. In addition, VR can be used regardless of time and place, and has a high sense of immersion based on virtual reality. Therefore, it is easy to apply and evaluate instrumental daily abilities even in situations where you feel reluctance to visit a hospital due to COVID-19 or in a situation where you cannot visit a hospital.

또한, 문화, 여가 컨텐츠로 소비되던 VR을 의료분야로 들여오면서 VR은 질병의 진단, 치료 등 많은 역할을 하게 되었다. 사회적 문제로 대두되는 치매 문제를 조기에 진단함으로써 높은 치매 유병률과 막대한 치매 관리 비용을 감소시켜 사회적, 경제적 문제를 해결한다.In addition, as VR, which was consumed as cultural and leisure content, was brought into the medical field, VR played many roles such as diagnosis and treatment of diseases. By diagnosing dementia, which is emerging as a social problem, at an early stage, it solves social and economic problems by reducing the high prevalence of dementia and the enormous dementia management cost.

또한, 의료현장에서 인공지능 사용이 확대됨에 따라 의료 환경 내 원활한 소통을 방해하는 단절된 구조와 분과별 데이터 사일로 현상을 극복하고 병원 운영과 환자관리 및 치료의 효율성을 높여 나은 의료 서비스를 제공할 수 있다.In addition, as the use of artificial intelligence expands in the medical field, it is possible to provide better medical services by overcoming the disconnected structure and data silos by department that hinder smooth communication in the medical environment and by increasing the efficiency of hospital operation and patient management and treatment. .

본 기술은 대상자로 하여금 치매 검사의 거부감을 없애고 하나의 놀이로써 검사를 받을 수 있게 한다. 이는 키오스크 사용과 같이 노인들이 익숙하지 못해 일상생활에서 기피하던 상황들을 VR을 통해 간접경험을 해봄으로써 가상환경에서 익힌 사용을 실제 환경에서 적용할 수 있게 도울 수 있다. This technology allows the subject to get rid of the objection of the dementia test and take the test as a play. This can help the elderly to apply the use learned in the virtual environment to the real environment by indirectly experiencing situations that the elderly avoid in daily life, such as using a kiosk, through VR.

본 기술을 실제 임상에서 적용할 수 있도록 EEG, MRI와 연계하여 개발하고 품질과 안전성, 유효성을 확보하여 식약처의 허가를 받아 안전하고 신뢰 있는 진단으로 발전시킬 것이다. 그리고 VR 기술의 휴대성을 살려서 VR을 일선 보건소에 설치할 뿐만 아니라 홈케어링을 가능하게 해, 치매 데일리 케어 서비스와 같은 재활 프로그램을 정기적으로 운영할 수 있다. We will develop this technology in conjunction with EEG and MRI so that it can be applied in clinical practice, secure quality, safety, and effectiveness, and develop it into a safe and reliable diagnosis with permission from the Ministry of Food and Drug Safety. Also, taking advantage of the portability of VR technology, not only VR can be installed in public health centers, but also home care is possible, and rehabilitation programs such as dementia daily care service can be operated regularly.

이상 본 발명의 실시예에 따른 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시형태들을 조합, 치환하여 적시되지 않은 형상의 패턴을 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.Although the early diagnosis system for dementia and the method for early diagnosis of dementia using the same according to an embodiment of the present invention have been described as specific embodiments, this is only an example, and the present invention is not limited thereto. should be construed as having the widest scope. A person skilled in the art may implement a pattern of a shape not indicated by combining or substituting the disclosed embodiments, but this also does not deviate from the scope of the present invention. In addition, those skilled in the art can easily change or modify the disclosed embodiments based on this specification, and it is clear that such changes or modifications also fall within the scope of the present invention.

1 : 치매조기진단 시스템
10 : 치매조기진단 서버
20 : 가상현실 제공장치
200 : 메모리
210 : 데이터베이스
30 : 데이터 수집장치
300 : 프로세서
310 : VR과제 설정모듈
320 : 치매진단 모듈
330 : 설명력 제공모듈
1: Early diagnosis system for dementia
10: Dementia Early Diagnosis Server
20: virtual reality providing device
200: memory
210: database
30: data collection device
300: processor
310: VR task setting module
320: dementia diagnosis module
330: explanatory power providing module

Claims (5)

가상현실 제공장치에 의해 VR과제가 디스플레이 되는 단계(S1 단계);
데이터 수집장치에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계);
치매조기진단 서버에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및
치매조기진단 서버에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함하는
치매조기진단 방법.
The step of displaying the VR task by the virtual reality providing device (S1 step);
Collecting biometric data, behavioral data, and cognitive data while the patient is performing the VR task by a data collection device (step S2);
Determining whether or not there is dementia by inputting the biometric data, behavioral data, and cognitive data to the multimodal deep learning model learned by the dementia early diagnosis server (step S3); and
Including the step (S4 step) of providing explanatory power for the dementia or not by the dementia early diagnosis server
Methods for early diagnosis of dementia.
제1 항에 있어서,
상기 S1 단계에서의 VR과제는 VR과제 설정모듈에 의해 제어되고,
상기 VR과제 설정모듈에 의해 제어되는 상기 VR과제는 키오스크를 통해 메뉴를 주문하는 과제를 포함하고
상기 키오스크를 통해 메뉴를 주문하는 과제는,
식사장소를 선택하는 제1 과제, 메인 식사의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제 및 비밀번호를 입력하는 제6 과제를 포함하는
치매조기진단 방법.
According to claim 1,
The VR task in the step S1 is controlled by the VR task setting module,
The VR task controlled by the VR task setting module includes a task of ordering a menu through a kiosk,
The task of ordering a menu through the kiosk is,
The first task is to select a place to eat, the second task is to select the type of main meal, the third task is to select a side menu, the fourth task is to select a beverage, the fifth task is to select a payment method, and the password is entered. Including the 6th task
Methods for early diagnosis of dementia.
제1 항에 있어서,
상기 S3단계는,
치매조기진단 서버의 치매진단 모듈에 의해 학습된 멀티모달 딥러닝 모델을 구축되는 것을 포함하고,
상기 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류하고 이를 합성곱신경망 모델을 학습시킴으로써 구축되는 것을 포함하는
치매조기진단 방법.
According to claim 1,
In step S3,
Including building a multimodal deep learning model learned by the dementia diagnosis module of the dementia early diagnosis server,
The learned multimodal deep learning model is constructed by classifying biological data, behavioral data, and cognitive data of subjects belonging to different taxa as time series data and learning the convolutional neural network model
Methods for early diagnosis of dementia.
제3 항에 있어서,
상기 S3단계는,
상기 생체데이터를 구성하는 심박수, 피부전도도 및 상기 행동데이터를 구성하는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임 및 상기 인지데이터를 구성하는 오류횟수, 수행시간이 상기 멀티모달 딥러닝 모델에 입력된 후, 컨볼루션레이어, 배치 정규화 및 엑션 레이어를 통해 학습시킨 후 GAP(global average pooling)을 통해 상기 진단대상자가 치매여부를 갖는지 판단되는것을 포함하는
치매조기진단 방법.
According to claim 3,
In step S3,
The heart rate, skin conductance constituting the biometric data, the 3-axis movement of the hand, the 3-axis head, and the 3-axis movement of the eye constituting the behavioral data, and the error count and execution time constituting the cognitive data are the multimodal deep learning model. After being input into , learning through a convolution layer, batch normalization, and an action layer, and then determining whether the diagnosis subject has dementia through global average pooling (GAP).
Methods for early diagnosis of dementia.
제1 항에 있어서,
상기 S4 단계는,
설명력 제공모듈에 의해 상기 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑하는 단계를 포함하고,
상기 GCF(general cognitive function)는, 주변 환경의 자극 및 정보에 대한 주의 및 집중 능력을 의미하는 집중, 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억, 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도, 체계적이며 합리적인 문제 해결 능력인 문제 해결, 다른사람과의 의사소통에 필요한 언어 능력인 언어로 구분되어 분류될 수 있는
치매조기진단 방법.
According to claim 1,
In step S4,
Mapping the behavior of the diagnosed subject to a general cognitive function (GCF) through a class activation map (CAM) by an explanatory power providing module,
The GCF (general cognitive function) refers to concentration, which refers to the ability to pay attention to and focus on stimuli and information in the surrounding environment, memory, which refers to self-regulation and memory abilities used in daily life, and mental ability to process given information or tasks. It can be classified into psychomotor speed, which means the speed of performance, problem solving, which is systematic and rational problem-solving ability, and language, which is necessary for communication with others.
Methods for early diagnosis of dementia.
KR1020210186728A 2021-12-24 2021-12-24 System for early diagnosis of dementia and Method for early diagnosis of dementia using the same KR102591797B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210186728A KR102591797B1 (en) 2021-12-24 2021-12-24 System for early diagnosis of dementia and Method for early diagnosis of dementia using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210186728A KR102591797B1 (en) 2021-12-24 2021-12-24 System for early diagnosis of dementia and Method for early diagnosis of dementia using the same

Publications (2)

Publication Number Publication Date
KR20230097332A true KR20230097332A (en) 2023-07-03
KR102591797B1 KR102591797B1 (en) 2023-10-19

Family

ID=87157412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186728A KR102591797B1 (en) 2021-12-24 2021-12-24 System for early diagnosis of dementia and Method for early diagnosis of dementia using the same

Country Status (1)

Country Link
KR (1) KR102591797B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116712041A (en) * 2023-08-04 2023-09-08 首都医科大学附属北京安贞医院 Construction method and system of cognitive disorder assessment model and cognitive disorder assessment method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069947A (en) * 2016-12-15 2018-06-26 한양대학교 산학협력단 Mild Cognitive Impairment Screening System using Behavior Data from Immersive Virtual Reality Platform and its related Method
KR20200087348A (en) * 2018-12-31 2020-07-21 네오데우스 주식회사 Age/Emotion/Gender Classification System using depthwise separable convolutional neural network AI
KR102165590B1 (en) * 2019-11-15 2020-10-14 가천대학교 산학협력단 Social Virtual Reality System for the Treatment of Mild Cognitive Impairment and Social Virtual Reality Providing Method
KR102282101B1 (en) 2020-06-23 2021-08-02 김성연 Method and system for determining state of object using functional near-infrared spectroscopy

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069947A (en) * 2016-12-15 2018-06-26 한양대학교 산학협력단 Mild Cognitive Impairment Screening System using Behavior Data from Immersive Virtual Reality Platform and its related Method
KR20200087348A (en) * 2018-12-31 2020-07-21 네오데우스 주식회사 Age/Emotion/Gender Classification System using depthwise separable convolutional neural network AI
KR102165590B1 (en) * 2019-11-15 2020-10-14 가천대학교 산학협력단 Social Virtual Reality System for the Treatment of Mild Cognitive Impairment and Social Virtual Reality Providing Method
KR102282101B1 (en) 2020-06-23 2021-08-02 김성연 Method and system for determining state of object using functional near-infrared spectroscopy

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116712041A (en) * 2023-08-04 2023-09-08 首都医科大学附属北京安贞医院 Construction method and system of cognitive disorder assessment model and cognitive disorder assessment method
CN116712041B (en) * 2023-08-04 2024-03-08 首都医科大学附属北京安贞医院 Construction method and system of cognitive disorder assessment model and cognitive disorder assessment method

Also Published As

Publication number Publication date
KR102591797B1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
KR101911516B1 (en) Method for obtaining psychological state data, assessing psychological state of user and providing feedback, and server using the same
CN108780663A (en) Digital personalized medicine platform and system
Goyal et al. Automation of stress recognition using subjective or objective measures
WO2009114795A2 (en) Non-natural pattern identification for cognitive assessment
Wilkinson et al. Monitoring health status in long term care through the use of ambient technologies and serious games
Javed et al. Artificial intelligence for cognitive health assessment: state-of-the-art, open challenges and future directions
CN112669967A (en) Active health medical decision-making assisting method and equipment
WO2010005656A2 (en) Brain condition assessment
Schwab et al. A deep learning approach to diagnosing multiple sclerosis from smartphone data
US20240050006A1 (en) System and method for prediction and control of attention deficit hyperactivity (adhd) disorders
EP3901963B1 (en) Method and device for estimating early progression of dementia from human head images
Leghissa et al. Machine learning approaches for frailty detection, prediction and classification in elderly people: A systematic review
KR20190132710A (en) Method and system for predicting and analyzing stroke severity using nihss
KR102591797B1 (en) System for early diagnosis of dementia and Method for early diagnosis of dementia using the same
Hernández-Capistran et al. Machine and deep learning algorithms for adhd detection: a review
Iram et al. A classifier fusion strategy to improve the early detection of neurodegenerative diseases
US11250723B1 (en) Visuospatial disorders detection in dementia using a computer-generated environment based on voting approach of machine learning algorithms
EP4044193A1 (en) Psychological state monitoring system
Cruz-Martínez et al. Towards Data-Driven Persuasive Coaching in a Heart Failure Telemonitoring Technology.
Duhaime et al. Nonexpert crowds outperform expert individuals in diagnostic accuracy on a skin lesion diagnosis task
Ormseth et al. Predicting reattendance at a high-risk breast cancer clinic
Tapia et al. Designing visualization tools to support older adults care process
JP7437825B1 (en) Dementia early examination system using screen interaction
Bazargani et al. Alzheimer's disease diagnosis in the metaverse
US20240371497A1 (en) System and method for diagnostics and finding treatments for mild cognitive impairment, dementias and neurodegenerative diseases

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant