KR20220044364A - 신경학적 재활을 위한 시스템 및 방법 - Google Patents
신경학적 재활을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20220044364A KR20220044364A KR1020227009329A KR20227009329A KR20220044364A KR 20220044364 A KR20220044364 A KR 20220044364A KR 1020227009329 A KR1020227009329 A KR 1020227009329A KR 20227009329 A KR20227009329 A KR 20227009329A KR 20220044364 A KR20220044364 A KR 20220044364A
- Authority
- KR
- South Korea
- Prior art keywords
- patient
- music
- beat
- time
- tempo
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 131
- 230000033001 locomotion Effects 0.000 claims abstract description 104
- 238000000051 music therapy Methods 0.000 claims abstract description 51
- 230000003252 repetitive effect Effects 0.000 claims abstract description 20
- 230000005021 gait Effects 0.000 claims description 64
- 230000033764 rhythmic process Effects 0.000 claims description 19
- 230000000977 initiatory effect Effects 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000002560 therapeutic procedure Methods 0.000 claims description 3
- 230000001020 rhythmical effect Effects 0.000 claims 2
- 238000012549 training Methods 0.000 description 82
- 238000004458 analytical method Methods 0.000 description 59
- 230000004044 response Effects 0.000 description 49
- 238000012545 processing Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 206010044565 Tremor Diseases 0.000 description 17
- 230000008859 change Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 13
- 230000004927 fusion Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 230000008449 language Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 7
- 238000007477 logistic regression Methods 0.000 description 6
- 239000011295 pitch Substances 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 208000030886 Traumatic Brain injury Diseases 0.000 description 5
- 201000007201 aphasia Diseases 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000009529 traumatic brain injury Effects 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000001144 postural effect Effects 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000036387 respiratory rate Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000018737 Parkinson disease Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 210000004727 amygdala Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 206010008129 cerebral palsy Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- VYFYYTLLBUKUHU-UHFFFAOYSA-N dopamine Chemical compound NCCC1=CC=C(O)C(O)=C1 VYFYYTLLBUKUHU-UHFFFAOYSA-N 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 210000001320 hippocampus Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000926 neurological effect Effects 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 210000002442 prefrontal cortex Anatomy 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010003062 Apraxia Diseases 0.000 description 1
- 206010003591 Ataxia Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 208000007774 Broca Aphasia Diseases 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 201000010374 Down Syndrome Diseases 0.000 description 1
- 206010017577 Gait disturbance Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 208000003028 Stuttering Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000035559 beat frequency Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229960003638 dopamine Drugs 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000010771 expressive aphasia Diseases 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000004326 gyrus cinguli Anatomy 0.000 description 1
- 210000003016 hypothalamus Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 238000000865 membrane-inlet mass spectrometry Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007230 neural mechanism Effects 0.000 description 1
- 210000001009 nucleus accumben Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002450 orbitofrontal effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 208000001282 primary progressive aphasia Diseases 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 102220232154 rs1085307151 Human genes 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001030 ventral striatum Anatomy 0.000 description 1
- 210000004515 ventral tegmental area Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1124—Determining motor skills
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Biofeedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biodiversity & Conservation Biology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Rehabilitation Tools (AREA)
Abstract
음악 치료를 제공하는 것에 의한 신체 장애가 있는 환자를 위한 재활을 위한 방법 및 시스템에 있어서, 방법은, 실행될 때 방법을 수행하는, 기계 판독가능한 명령에 의해 구성되는 하나 이상의 물리적 프로세서를 갖는 컴퓨터 시스템 상에서 구현되며, 방법은 환자의 반복 운동에 관한 생체역학적 데이터를 환자로부터 수신하고 기준 조건을 결정하는 것; 기준 조건에 기초하여 일정 주파수를 갖는 기준 비트 템포를 결정하는 것; 환자에게 기준 비트 템포에서 비트 신호를 갖는 음악을 제공하는 것; 연관된 기준 비트 신호와 시간을 맞추어 각각의 반복 운동을 수행하도록 환자에게 큐를 제공하는 것; 기준 비트 신호와 시간을 맞추어 환자에 의해 수행되는 반복 운동에 관한 환자의 타임스탬프된 생체역학적 데이터를 수신하는 것; 반복 운동의 하나 이상의 사이클의 개시 시간을 식별하기 위해 타임스탬프된 생체역학적 데이터를 분석하는 것; 개시 시간 및 연관된 비트 신호에 기초하여 동조 파라미터를 결정하는 것; 동조 파라미터에 기초하여 기준 비트 템포를 수정하는 것; 및 목표 비트 템포에 도달했는지 여부를 결정하는 것을 포함한다.
Description
연관된 출원에 대한 상호참조
이 출원은 2016년 4월 14일에 출원된 미국 가출원 제62/322,504호, 발명의 명칭 “신경학적 재활을 위한 시스템 및 방법”에 대한 우선권을 주장하며, 이는 본원에서 전체로서 참조로 포함된다.
기술분야
본 발명은 일반적으로 음악 치료를 제공하는 것에 의한 신체 장애가 있는 사용자의 재활을 위한 시스템 및 방법에 관한 것이다.
지난 수십년간의 많은 대조군 연구가 신경학적 재활에서 음악의 임상적 역할을 강조해 왔다. 예를 들어, 조직화된 음악 치료는 인지, 운동 및 언어 향상을 직접적으로 가능하게 하는 것으로 알려져 있다. 음악을 듣는 과정은 주의력, 의미(semantic) 처리, 기억, 인식, 운동 기능 및 감정적인 처리와 관련된 뇌 영역의 광범위한 양방향 네트워크를 점화하여 여러 형태의 뇌 활동을 향상시킨다.
임상 데이터는 기억, 주의력, 실행 기능 및 기분을 향상시키는 음악 치료를 뒷받침한다. 음악 배후의 신경 메커니즘에 대한 PET 스캔 연구는 쾌적한 음악이 배쪽 선조체(ventral striatum), 중격 측좌핵(nucleus accumbens), 편도(amygdala), 인슐라(insula), 해마(hippocampus), 시상하부(hypothalamus), 배쪽 피개부(ventral tegmental area), 앞쪽 대상선(anterior cingulate), 안와전두 피질(orbitofrontal cortex) 및 배쪽 내측 전두엽 피질(ventral medial prefrontal cortex)을 포함하는 대뇌 피질 및 피질 하부 영역 사이의 광범위한 네트워크를 자극할 수 있다는 것을 밝혀냈다. 배쪽 피개부는 도파민을 생성하고 편도, 해마, 앞쪽 대상선 및 전전두엽 피질에 직졉 연결된다. 이 중변연계(mesocorticolimbic) 시스템은 음악으로 활성화될 수 있으며, 각성, 감정, 보상, 기억력 및 실행 기능을 조정하는 데 중요한 역할을 한다.
신경과학 연구는 음악의 기억 형성을 위한 기본 조직 프로세스가 비음악적 기억 프로세스와 메커니즘을 공유하는 방법을 밝혀냈다. 구문 그룹화, 계층적 추상화 및 음악 패턴의 기초는 비음악적 기억 프로세스에 대한 시간적 청킹 원리(temporal chunking principles)와 직접적으로 유사하다. 이것은 음악으로 활성화된 기억 프로세스가 비음악적 프로세스를 번역하고 향상시킬 수 있음을 의미한다.
따라서, 사용자 신원의 사용을 보호하고 개인 정보를 안전하게 제공하기 위한 개선된 디바이스, 시스템 및 방법이 여전히 필요하다.
개시된 주제의 일 양상에서, 음악 치료를 제공하는 것에 의한 신체 장애가 있는 환자의 재활 방법이 제공되며, 방법은, 실행될 때 방법을 수행하는 기계 판독가능한 명령에 의해 구성되는, 하나 이상의 물리적 프로세서를 갖는 컴퓨터 시스템 상에서 구현되고, 환자의 반복 운동에 관한 생체역학적 데이터를 환자로부터 수신하고 기준 조건을 결정하는 것; 기준 조건에 기초하여 일정 주파수를 갖는 기준 비트 템포(baseline beat tempo)를 결정하는 것; 환자에게 기준 비트 템포에서 비트 신호를 갖는 음악을 제공하는 것; 연관된 비트 신호와 시간을 맞추어 각각의 반복 운동을 수행하도록 환자에게 큐(cue)를 제공하는 것; 기준 비트 신호와 시간을 맞추어 환자에 의해 수행되는 반복 운동과 관련된 환자의 타임스탬프된(time-stamped) 생체역학적 데이터를 수신하는 것; 반복 운동의 하나 이상의 사이클의 개시 시간을 식별하기 위해 타임스탬프된 생체역학적 데이터를 분석하는 것; 개시 시간 및 연관된 비트 신호에 기초하여 동조 파라미터를 결정하는 것; 동조 파라미터에 기초하여 기준 비트 템포를 수정하는 것; 및 목표 비트 템포에 도달했는지 여부를 결정하는 것을 포함한다.
일부 실시예에서, 방법은 생체역학적 데이터를 측정하는 것을 포함한다. 환자로부터의 생체역학적 데이터는 환자의 운동과 연관된 동작, 가속 및 압력을 포함한다. 일부 실시예에서, 환자로부터 생체역학적 데이터를 측정하는 것은 환자의 운동과 연관된 비디오를 캡처하는 것을 포함한다.
일부 실시예에서, 환자로부터 생체역학적 데이터를 측정하는 것은 환자와 연관된 센서로부터 컴퓨터 시스템으로 데이터를 전송하는 것을 포함한다.
일부 실시예에서, 환자로부터 생체역학적 데이터를 측정하는 것은 보폭(stride length), 박자(cadence), 속도, 이동 거리, 발뒤꿈치 충돌 압력 또는 환자의 보행 대칭에 대응하는 데이터를 추출하는 것을 포함한다.
일부 실시예에서, 반복 운동을 수행하도록 환자에게 큐를 제공하는 것은 환자에게 시각적 또는 청각적 큐를 제공하는 것을 포함한다. 시각적 또는 청각적 큐를 표시하기 위하여 휴대용 디바이스가 제공될 수 있다.
일부 실시예에서, 동조 파라미터를 결정하는 것은 비트 신호와 각각의 반복 운동의 개시 시간 사이의 지연을 결정하는 것을 포함한다.
일부 실시예에서 비트 신호와 반복 운동의 개시 시간 사이의 지연이 실질적으로 일정하면, 방법은 기준 비트 템포를 목표 템포를 향해 증가시키는 것을 포함한다.
일부 실시예에서 환자에게 음악을 제공하는 것은 기준 비트 템포에서 비트 신호를 갖는 음악을 선택하는 것을 포함한다.
일부 실시예에서 환자에게 음악을 제공하는 것은 기준 비트 템포에서 비트 신호를 갖도록 기존의 음악을 변경하는 것을 포함한다.
일부 실시예에서, 반복 운동은 환자의 보행을 포함하며, 방법은: 환자의 보행 대칭을 분류하기 위하여 생체역학적 데이터를 분석하는 것; 환자의 보행이 비대칭으로 간주되면, 환자의 발 중 하나의 운동 동안의 음악에 대한 제1 변경 및 환자의 발 중 다른 하나의 운동 동안의 음악에 대한 제2 변경을 제공하는 것을 더 포함한다. 일부 실시예에서, 음악의 제1 및 제2 변경은 상이하며, 코드, 음량 및 템포의 변화 중 적어도 하나를 포함한다.
일부 실시예에서, 방법은 보행 개시의 결함을 분류하기 위하여 생체역학적 데이터를 분석하는 것; 환자의 개시가 문제가 있는 경우, 환자에게 개시를 보조하기 위한 햅틱 피드백(haptic feedback)을 제공하는 것을 더 포함한다.
일부 실시예에서, 방법은 환자의 신체적 운동의 양상에 관한 타임스탬프된 표기(notation)를 사용자에게 제공하도록 허용하는 사용자 인터페이스를 제공하는 것을 더 포함한다. 환자의 신체적 운동은 타임스탬프된 표기 및 생체역학적 데이터에 기초하여 분석된다.
개시된 주제의 다른 양상에서, 음악 치료를 제공하는 것에 의한 신체 장애가 있는 환자의 재활 시스템이 제공되며, 시스템은 환자와 상호작용하는 디스플레이를 갖는 휴대용 디바이스; 환자에게 기준 비트 템포에서 비트 신호를 갖는 음악을 공급하기 위하여 휴대용 디바이스에 연결되는 음악 전달 디바이스; 환자의 반복적인 신체적 운동과 연관된 생체역학적 파라미터를 측정하는 환자와 연관된 하나 이상의 센서 및 환자로부터의 타임스탬프된 생체역학적 데이터와 타임스탬프된 비트 신호를 휴대용 디바이스로 제공하는 송신기; 적어도 간헐적으로 휴대용 디바이스에 연결되고 기계 판독가능한 명령에 의해 구성되는 하나 이상의 물리적 프로세서를 갖는 컴퓨터 시스템을 포함하며, 명령은: 환자의 반복 운동에 관한 환자의 생체역학적 데이터를 수신하고 기준 조건을 결정하고; 기준 조건에 기초하여 일정 주파수를 갖는 기준 비트 템포를 결정하고; 환자에게 기준 비트 템포에서 비트 신호를 갖는 음악을 제공하고; 연관된 기준 비트 신호와 시간을 맞추어 반복 운동을 수행하도록 환자에게 큐(cue)를 제공하도록 휴대용 디바이스로 명령을 제공하고; 환자의 타임스탬프된 생체역학적 데이터 및 타임스탬프된 비트 신호를 수신하고; 반복 운동의 하나 이상의 사이클의 개시 시간을 식별하기 위해 타임스탬프된 생체역학적 데이터를 분석하고; 개시 시간 및 연관된 비트 신호에 기초하여 동조 파라미터를 결정하고; 동조 파라미터에 기초하여 기준 비트 템포를 수정하도록 휴대용 디바이스로 명령을 제공하고; 및 목표 비트 템포에 도달했는지 여부를 결정하는 것이다.
일부 실시예에서, 하나 이상의 센서는 환자의 운동과 연관된 동작, 가속 및 압력을 측정하는 센서를 포함한다.
일부 실시예에서, 하나 이상의 센서는 환자의 운동과 연관된 비디오를 캡처하는 영상 디바이스를 포함한다.
일부 실시예에서, 휴대용 기기 또는 컴퓨터와 연관된 프로세서는 환자의 동작, 가속, 압력 데이터 및 비디오 중 하나 이상으로부터 보폭(stride length), 박자(cadence), 속도, 이동 거리, 발뒤꿈치 충돌 압력 및 환자의 보행 대칭에 대응하는 데이터를 추출하도록 구성된다.
일부 실시예에서, 프로세서는 비트 신호와 반복적인 신체적 운동의 개시 시간 사이의 지연을 결정한다.
일부 실시예에서, 반복적인 신체적 운동은 환자의 보행을 포함하며, 컴퓨터 시스템은 환자의 보행 대칭을 분류하기 위하여 생체역학적 데이터를 분석하고; 및 환자의 보행이 비대칭으로 간주되면, 환자의 발 중 하나의 운동 동안의 음악에 대한 제1 변경 및 환자의 발 중 다른 하나의 운동 동안의 음악에 대한 제2 변경을 제공하도록 휴대용 디바이스로 명령을 제공하는 기계 판독가능한 명령에 의해 구성된다.
일부 실시예에서 센서는 햅틱 피드백(haptic feedback) 메커니즘을 포함하고; 컴퓨터 시스템은 보행 개시의 결함을 분류하기 위하여 생체역학적 데이터를 분석하고; 및 환자의 개시가 문제가 있는 경우, 센서로부터 환자에게 개시를 보조하기 위한 햅틱 피드백을 제공하도록 휴대용 디바이스에 명령을 제공하는 기계 판독가능한 명령에 의해 구성된다.
본원에 기재된 디바이스, 시스템 및 방법의 전술한 및 다른 목적, 특징 및 이점은 첨부 도면에 도시된 바와 같이, 그 특정 실시예의 다음 설명으로부터 명백해질 것이다. 도면은 반드시 축척에 맞게 도시된 것은 아니며, 오히려 본원에서 기술된 디바이스, 시스템 및 방법의 원리를 설명할 때 강조된다.
도 1은 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 치료를 위한 시스템을 나타내는 도면이다.
도 2는 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 재활을 위한 시스템의 몇몇 구성요소를 나타내는 도면이다.
도 3은 개시된 주제의 예시적인 실시예에 따라 환자의 생체역학적 운동을 측정하기 위한 센서의 개략도이다.
도 4는 개시된 주제의 예시적인 실시예에 따른 시스템의 몇몇 구성요소를 나타내는 도면이다.
도 5는 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 재활을 위한 시스템의 구성요소의 예시적인 디스플레이를 도시한다.
도 6은 개시된 주제의 예시적인 실시예에 따른 분석 프로세스의 일 구현에 대한 흐름도이다.
도 7 내지 도 10은 개시된 주제의 예시적인 실시예에 따른 프로세스의 일 구현에 대한 흐름도이다.
도 11은 개시된 주제의 예시적인 실시예에 따른 음악 및 환자의 신체적 운동을 도시하는 흐름도이다.
도 12 내지 도 13은 개시된 주제의 예시적인 실시예에 따른 환자 응답을 도시한다.
도 14 내지 도 15는 개시된 주제의 예시적인 실시예에 따른 환자 응답을 도시한다.
도 16 내지 도 17은 개시된 주제의 예시적인 실시예에 따른 환자 응답을 도시한다.
도 18은 개시된 주제의 예시적인 실시예에 따른 환자의 보행 훈련을 위한 기술의 구현을 도시한다.
도 19는 개시된 주제의 예시적인 실시예에 따른 환자의 방치 훈련을 위한 기술의 구현을 도시한다.
도 20은 개시된 주제의 예시적인 실시예에 따른 환자의 억양 훈련을 위한 기술의 구현을 도시한다.
도 21은 개시된 주제의 예시적인 실시예에 따른 환자의 음악 자극 훈련을 위한 기술의 구현을 도시한다.
도 22는 개시된 주제의 예시적인 실시예에 따른 환자의 대근육 운동 훈련을 위한 기술의 구현을 도시한다.
도 23은 개시된 주제의 예시적인 실시예에 따른 환자의 그립 강도 훈련을 위한 기술의 구현을 도시한다.
도 24는 개시된 주제의 예시적인 실시예에 따른 환자의 스피치 큐잉(speech cueing) 훈련을 위한 기술의 구현을 도시한다.
도 25는 개시된 주제의 예시적인 실시예에 따른 최소 의식 환자의 훈련을 위한 기술의 구현을 도시한다.
도 26 내지 도 28은 개시된 주제의 예시적인 실시예에 따른 환자의 주의력 훈련을 위한 기술의 구현을 도시한다.
도 29는 개시된 주제의 예시적인 실시예에 따른 환자의 손놀림 (dexterity) 훈련을 위한 기술의 구현을 도시한다.
도 30은 개시된 주제의 예시적인 실시예에 따른 환자의 구강 운동 훈련을 위한 기술의 구현을 도시한다.
도 31은 개시된 주제의 예시적인 실시예에 따른 환자의 호흡 훈련을 위한 기술의 구현을 도시한다.
도 1은 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 치료를 위한 시스템을 나타내는 도면이다.
도 2는 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 재활을 위한 시스템의 몇몇 구성요소를 나타내는 도면이다.
도 3은 개시된 주제의 예시적인 실시예에 따라 환자의 생체역학적 운동을 측정하기 위한 센서의 개략도이다.
도 4는 개시된 주제의 예시적인 실시예에 따른 시스템의 몇몇 구성요소를 나타내는 도면이다.
도 5는 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 재활을 위한 시스템의 구성요소의 예시적인 디스플레이를 도시한다.
도 6은 개시된 주제의 예시적인 실시예에 따른 분석 프로세스의 일 구현에 대한 흐름도이다.
도 7 내지 도 10은 개시된 주제의 예시적인 실시예에 따른 프로세스의 일 구현에 대한 흐름도이다.
도 11은 개시된 주제의 예시적인 실시예에 따른 음악 및 환자의 신체적 운동을 도시하는 흐름도이다.
도 12 내지 도 13은 개시된 주제의 예시적인 실시예에 따른 환자 응답을 도시한다.
도 14 내지 도 15는 개시된 주제의 예시적인 실시예에 따른 환자 응답을 도시한다.
도 16 내지 도 17은 개시된 주제의 예시적인 실시예에 따른 환자 응답을 도시한다.
도 18은 개시된 주제의 예시적인 실시예에 따른 환자의 보행 훈련을 위한 기술의 구현을 도시한다.
도 19는 개시된 주제의 예시적인 실시예에 따른 환자의 방치 훈련을 위한 기술의 구현을 도시한다.
도 20은 개시된 주제의 예시적인 실시예에 따른 환자의 억양 훈련을 위한 기술의 구현을 도시한다.
도 21은 개시된 주제의 예시적인 실시예에 따른 환자의 음악 자극 훈련을 위한 기술의 구현을 도시한다.
도 22는 개시된 주제의 예시적인 실시예에 따른 환자의 대근육 운동 훈련을 위한 기술의 구현을 도시한다.
도 23은 개시된 주제의 예시적인 실시예에 따른 환자의 그립 강도 훈련을 위한 기술의 구현을 도시한다.
도 24는 개시된 주제의 예시적인 실시예에 따른 환자의 스피치 큐잉(speech cueing) 훈련을 위한 기술의 구현을 도시한다.
도 25는 개시된 주제의 예시적인 실시예에 따른 최소 의식 환자의 훈련을 위한 기술의 구현을 도시한다.
도 26 내지 도 28은 개시된 주제의 예시적인 실시예에 따른 환자의 주의력 훈련을 위한 기술의 구현을 도시한다.
도 29는 개시된 주제의 예시적인 실시예에 따른 환자의 손놀림 (dexterity) 훈련을 위한 기술의 구현을 도시한다.
도 30은 개시된 주제의 예시적인 실시예에 따른 환자의 구강 운동 훈련을 위한 기술의 구현을 도시한다.
도 31은 개시된 주제의 예시적인 실시예에 따른 환자의 호흡 훈련을 위한 기술의 구현을 도시한다.
본 발명은 일반적으로 인간의 행동 및 기능 변화를 감시하고 지시하는 동적 폐루프 재활 플랫폼 시스템을 구현하는 시스템, 방법 및 장치에 관한 것이다. 그러한 변화는 음악적 리듬, 화성, 멜로디 및 포스(force) 큐에 의해 일시적으로 촉발되는 언어, 운동 및 인식에 있다.
발명의 다양한 실시예에서, 도 1에 도시된 동적 폐루프 재활 플랫폼 음악 치료 시스템(100)이 제공되며, 이는 센서 구성요소 및 시스템(102), 에지 프로세싱 구성요소(104), 수집기 구성요소(106), 분석 시스템(108) 및 음악 치료 센터(110)를 포함한다. 이하에서 더 자세히 설명될 바와 같이, 센서 구성요소, 에지 프로세싱 구성요소, 수집기 구성요소, 기계 학습 프로세스 및 음악 치료 센터가 다양한 하드웨어 구성요소 상에서 제공될 수 있다. 예를 들어, 일 실시예에서, 센서 구성요소 및 에지 프로세싱 구성요소는 환자에 의해 착용되거나 위치될 수 있다. 이러한 실시예에서, 수집기 구성요소 및 음악 치료 센터는 휴대용 디바이스 상에 제공될 수 있다. 이러한 실시예에서, 분석 시스템은 원격 서버 상에 위치할 수 있다.
센서 시스템
본 명세서에서, 용어 "환자"는 음악 치료 처치를 받는 개인을 지칭하는 데 사용된다. 용어 "치료사"는 용어는 음악 치료 처치를 제공하는 개인을 지칭하기 위해 사용된다. 일부 실시예에서, 환자는 치료를 실시하는 치료사의 존재 없이 본원에 기술된 이 시스템과 상호작용할 수 있다.
센서 구성요소(102)는 환자에 대한 감지된 생체역학적 데이터를 제공한다. 일부 실시예에서, 센서 구성요소는 (1) 착용식 무선 실시간 동작 감지 디바이스 또는 IMU(inertial measurement units, 관성 측정 유닛), (2) 센서(200)와 같은, 착용식 무선 실시간 조합 다중 구역 발바닥 압력/6 차원 동작 캡처(IMU) 디바이스, (3) 센서(208)와 같은, 착용식 무선 실시간 근전도(Electromyogram, EMG) 디바이스 및 (4) 촬상 장치(206)와 같은, 실시간 무선 근적외선(NIR) 비디오 캡처 디바이스를 포함할 수 있다(도 4 참조).
도 2에 도시된 바와 같이, 본원에 기술된 시스템 및 방법은 환자의 보행 장애 치료와 관련하여 사용된다. 따라서, 예시적인 센서(200)는 조합 다중 구역 발바닥 압력/6 자유도(6-degrees of freedom) 동작 캡처 디바이스일 수 있다. 센서(200)는 환자가 음악 치료 세션 중에 걸을 때 환자의 발 압력 및 6 자유도 동작 프로파일을 기록한다. 일부 실시예에서, 발 압력/6 자유도 동작 캡처 디바이스는 1 내지 4 구역으로 구성되어 초당(per second) 발당(per foot) 100 내지 400 압력 데이터 포인트를 산출하는 발 압력 프로파일에 대해 100Hz의 샘플링 속도로 가변 기록 지속 간격을 가진다.
센서(200)는 (4 구역의 압력을 측정하기 위한) 전체 깔창(insole) 패드에 대해 (하나의 압력 구역, 예를 들어, 발꿈치 충격 압력을 측정하기 위한) 발꿈치 패드를 갖는 발 압력 패드(202)를 포함할 수 있다. 압력 측정은 환자의 체중이 발로 전달되는 것에 기인한 압축의 결과로 변환기 재료의 저항 변화를 감지하여 이루어진다. 이러한 발 압력 지도는 음악 치료 세션 동안 각 샘플링 간격마다 또는 특정 순간에 대해 획득된다.
센서(200)는 3 차원의 선형 가속도 Ax,Ay,Az및 피치(pitch), 요(yaw) 및 롤(roll)의 회전 동작을 결정하는 6 자유도 미세-전자-기계 시스템(Micro-Electro-Mechanical Systems, MIMS) 기반 센서를 통해 동작 변화를 검출하는 6 차원 동작 캡처 디바이스를 포함할 수 있다. 100 Hz에서 샘플링하면 초당 600 개의 동작 데이터 포인트가 생성된다. 이들 발 동작 캡처는 음악 치료 세션 동안 각 샘플링 간격마다 또는 특정 순간에 획득된다.
6 자유도 동작 캡처 디바이스를 이용한 다중 구역 압력 감지는 보행 동안 맵핑 가능한(map-able) 공간적 및 시간적 보행 동적 추적을 가능하게 한다. 센서(200)의 개략도가 도 3에 도시되어 있다.
시스템 관점에서, 도 4에 도시된 바와 같이, 환자(P)는 각 발에 하나씩 오른쪽(200R) 및 왼쪽(200L)으로 지정된 2 개의 발 센서(200)를 사용한다. 예시적인 실시예에서, 오른발 센서(200R)는 제 1 채널, 예를 들면 IEEE 802.15.4 직접 시퀀스 스프레드 스펙트럼(DSSS) RF 대역의 채널 5를 통해, 타임스탬프된 내부 측정 유닛 데이터 및 발뒤꿈치 충격 압력 데이터를 무선으로 통신한다. 왼발 센서(200L)는 제 2 채널, 예를 들어, IEEE 802.15.4 직접 시퀀스 스프레드 스펙트럼(DSSS) RF 대역의 채널 6을 통해, 타임스탬프된 내부 측정 유닛 데이터 및 발뒤꿈치 충격 압력 데이터를 무선으로 통신한다. 후술하는 바와 같이 치료사(T)에 의해 선택적으로 사용되는 태블릿 또는 랩탑(220)은 제 1 및 제 2 채널, 예를 들어, 채널 5 및 6에 동조된 2 개의 IEEE 802.15.4 DSSS RF 트랜시버(transceivers)를 포함하는 무선 USB 허브를 포함하여, 오른발/왼발 센서 RF 데이터를 캡처한다. 휴대용 무선 트리거(trigger)(250)가 사용되어 비디오를 시작 및 중지하고 및/또는 표기(notation)를 작성하고 시간 스트림을 인덱싱하며 이는 이하에서 더욱 상세하게 설명된다.
비디오 분석 영역은 치료 세션에 관한 환자 의미(semantic) 및 이벤트 정보를 추출하는 데 사용될 수 있다. 환자 행동 및 상호작용은 치료에서 치료 컨텍스트(therapy context) 및 조직화(regiment)에 영향을 주는 구성요소이다. 일부 실시예에서, 비디오 카메라와 같은 하나 이상의 이미지 캡처 디바이스(206)(도 4 참조)가 시간 동기화된 비디오 피드(a time-synched video feed)와 함께 사용된다. 환자 운동을 캡처하기 위해 임의의 적절한 비디오가 시스템 내에 통합될 수 있지만, 환자의 사생활을 보호하고 처리될 비디오 데이터를 줄이는 데 근적외선(NIR) 비디오 캡처가 유용하다. NIR 비디오 캡처 디바이스는 환자의 몸통과 팔다리 위치와 같은 환자 몸의 NIR 비디오 이미지를 캡처한다. 또한, 이는 음악 치료 세션의 함수에 따라 환자의 실시간 동적 보행 특성을 캡처한다. 일부 실시예에서, 비디오는 정지 카메라로 캡처되며, 여기에서 배경은 전경 픽셀을 분할하기 위해 제거된다.
도 4에 도시된 바와 같이, 하나 이상의 비디오 카메라(206)는 치료 세션이 시작될 때 태블릿 또는 랩탑 애플리케이션에 의해 트리거링된다. 비디오 카메라(206)는 치료사에 의해 휴대용 무선 트리거 유닛(250)에 의해 정지되거나 시작될 수 있다. 이는 캡처된 생체역학적 센서 데이터 및 비디오 데이터 스트림에 레이블이 지정된(labeled) 타임스탬프된 인덱스가 생성될 수 있도록 한다.
일부 실시예에서, 착용식 무선 실시간 근전도(EMG) 디바이스(208)가 환자에 의해 착용될 수 있다. EMG 센서는 이동을 위한 주요 근육 발화(muscle firing)를 위한 전체 양발(bi-ped) 프로필을 제공한다. 이러한 센서는 근육이 발화되는 정확한 시간에 관한 데이터를 제공한다.
에지 프로세싱
일부 실시예에서, 에지 프로세스는 센서(200)에서 수행되며, 여기에서 센서 데이터가 IMU 및 압력 센서로부터 캡처된다. 이 센서 데이터는 필터링되고, 추출된 속성 및 특징을 반영하는 프레임으로의 추가 프로세싱을 위해 다양한 어레이 크기로 그룹화되고, 이들 프레임은 예를 들어 무선으로 태블릿 또는 랩탑 상의 수집기(106)로 전송된다. 센서(200)로부터 획득된 미가공(raw) 생체역학적 센서 데이터는 대안적으로 에지 프로세싱 기능이 이루어지는 수집을 위한 원격 프로세서로 전송될 수 있는 것으로 이해된다.
착용식 센서(200, 208) 및 비디오 캡처 디바이스(206)는 생체역학적 특징 추출 및 분류를 용이하게 하기 위해 전체론적으로(holistically) 처리되는 센서 데이터 스트림을 생성한다. 공통 이벤트를 캡처하는 여러 센서의 출력을 결합하는 센서 융합은 단일 구성 센서 입력보다 더 나은 결과를 캡처한다.
음악 치료 컨텍스트에서 환자 활동을 캡처하는 것은 음악 치료에 적용됨으로써, 그리고 음악 치료 성능 및 효능에 대한 환자에 고유한 및 일반화된 공식 지표를 개발함에 있어 상호작용을 공식화한다. 비디오 기능을 추출하여 분석하는 것은 환자 행동에 대한 의미 있고 높은 수준의 정보를 얻을 수 있게 한다.
비디오 프로세싱에서, 학습된 배경 제거 기법이 사용되어 음악 치료가 일어나는 물리적 영역에서의 조명 조건 및 폐쇄(occlusions)의 임의의 변화를 통합하는 배경 모델을 생성한다. 배경 제거의 결과는 2 차원 윤곽선인 전경 얼룩(blobs)의 배열을 가진 이진 전경 맵이다. 따라서, 비디오는 추후의 이미지 프로세싱 및 센서 융합을 위해 개별 이미지 프레임으로 분리된다. IMU, 발 압력 패드(들) 및 EMG 센서로부터의 에지 프로세싱된 센서 데이터를 병합함으로써 비디오 정보에 추가적인 메타 데이터가 제공된다. 센서 데이터는 RF 트리거를 사용하여 다른 데이터와 시간 동기화될 수 있다. 데이터는 수집기로 직접 보내지거나, 내부 보드의 메모리에 저장되거나, 또는 OpenCV 라이브러리를 실행하는 에지에서 분석될 수 있다.
에지 프로세서(104)는 초당 100 내지 400 전체 발 압력/6 자유도 동작 프로파일의 속도로 고속 다중 구역 스캐닝을 가능하게 하는 발 압력/6 자유도 동작 캡처 디바이스에 통합된 32 비트 마이크로프로세서와 같은 마이크로프로세서일 수 있다.
발 압력/6 자유도 동작 캡처 디바이스는 특징 추출 및 분류를 야기하는 실시간 보행 분석을 위한 발 압력/6 자유도 동작 프로파일 데이터를 수집한다. 일부 실시예에서, 발 압력/6 자유도 동작 캡처 디바이스는 마이크로 컨트롤러 유닛(MCU), 연속 연산자 프로세스(COP), 범용 입출력(GPIO), 직렬 주변기기 인터페이스(SPI), 인터럽트 요청(IRQ)을 초기화하고, 마이크로 컨트롤러 유닛 초기화(MCUInit), 범용 입출력 초기화(GPIOInit), 직렬 주변기기 인터페이스 초기화(SPIInit), 인터럽트 요청 확인 초기화(IRQInit), 인터럽트 요청 확인 응답(IRQACK), 직렬 주변기기 인터페이스 드라이버 읽기(SPIDrvRead) 및 IRQPinEnable를 포함하는 루틴을 호출함으로써 바람직한 RF 트랜시버 클럭 주파수를 설정한다. MCUInit은 MCU 워치독(watchdog)을 끄고 타이머 모듈을 설정하여 32로 사전 스케일된 기준으로서 버스 클럭(BUSCLK)을 사용하도록 하는 마스터 초기화 루틴이다.
상태 변수 gu8RTxMode는 SYSTEM_RESET_MODE로 설정되고 루틴 GPIOInit, SPIInit 및 IRQInit가 호출된다. 상태 변수 gu8RTxMode가 RF_TRANSCEIVER_RESET_MODE로 설정되고 IRQ가 나타나는지 확인하기 위해 IRQFLAG가 검사된다. RF 트랜시버 인터럽트는 먼저 SPIDrvRead를 사용하여 제거되고, 다음 RF 트랜시버는 ATTN IRQ 인터럽트를 확인한다. 마지막으로, MCUInit의 경우 신호의 네거티브 에지에서, 물리 MAC 계층을 재설정하기 위한 PLMEPhyReset, (보류중인 IRQ 인터럽트를 애크(ACK)하기 위한) IRQACK, 핀(pin)하기 위한 IRQPinEnable, Enable, IE 및 IRQ CLR이 호출이 이루어진다.
발 압력/6 자유도 동작 센서(200)는 예를 들어 250 밀리초 동안 발 압력/6 자유도 동작 수집 노드로부터의 응답을 대기하여 디폴트 전체 발 압력 스캔이 수행될지 또는 매핑된 발 압력 스캔이 개시될지 결정한다. 매핑된 발 압력 스캔의 경우, 발 압력/6 자유도 동작 수집 노드는 적절한 전극에 발 압력 스캔 매핑 구성 데이터를 보낸다.
분석 파이프라인의 일 양상은 분석을 위한 입력 데이터 구조를 정의하기 위해 특징 벡터를 생성하는 데 사용되는 캡처된 센서 값 및 그 결과적인 센서 융합된 값을 정의하는 특징 세트 엔지니어링 프로세스이다. 대표 값은 Ax(i), Ay(i), Az(i), Ph(i)이고, 여기에서 i는 i 번째 샘플이고, Ax(i)는 발 센서와 관련하여 측면인 x 방향의 가속도, Ay(i)는 발 센서와 관련하여 앞쪽인 y 방향의 가속도, Az(i)는 발 센서와 관련하여 위쪽인 z 방향의 가속도, Ph(i)는 발뒤꿈치 충격 압력이다. 센서 값은 표 1에 나타나 있다.
| Avg(Ax) = Sum [Ax(i) over i = 0 to i = N]/N |
| Avg(Ax) = Sum [Ax(i) over i = 0 to i = N]/N |
| Avg(Ay) = Sum [Ay(i) over i = 0 to i = N]/N |
| Avg(Az) = Sum [Az(i) over i = 0 to i = N]/N |
| i = 0 으로부터 i = N까지 Ax(i)의 범위 내의 Max(Ax) |
| i = 0 으로부터 i = N까지 Ay(i)의 범위 내의 Max(Ay) |
| i = 0 으로부터 i = N까지 Az(i)의 범위 내의 Max(Az) |
| i = 0 으로부터 i = N까지 Ax(i)의 범위 내의 Min(Ax) |
| i = 0 으로부터 i = N까지 Ay(i)의 범위 내의 Min(Ay) |
| i = 0 으로부터 i = N까지 Az(i)의 범위 내의 Min(Az) |
| Avg(Ph) = Sum [Ph(i) over i = 0 to i = N]/N |
| i = 0 으로부터 i = N까지 Ph(i)의 범위 내의 Max(Ph) |
| 여기에서 N = 윈도우 크기 |
| 표 1 |
일부 실시예에서, 센서 융합 기술은 후술하는 바와 같이 데이터의 윈도우를 도출하기 위해 발뒤꿈치 충격 압력 값 Ph(i)을 사용하여 다음의 예시적인 특징 값의 분석을 "게이트(gate)"한다. 예를 들어, 아래의 표 2에 나타난 바와 같이, "개시"(시작)는 발뒤꿈치 충격을 나타내는 임계치를 초과하는 발뒤꿈치 압력에 기초하여 결정할 수 있으며,“종료”는 발뒤꿈치가 떨어지는 것을 나타내는 임계치 아래로 떨어지는 발뒤꿈치 압력에 기초하여 결정할 수 있다. 발뒤꿈치 충격 압력은 "게이트" 분석에 사용될 수 있는 파라미터의 일 예임이 이해된다. 일부 실시예에서, "게이팅(gating)"은 IMU 센서 데이터, 비디오 데이터 및/또는 EMG 데이터의 사용에 의해 결정된다.
| Power Factor PF(i) = Sqrt(Ax(i)**2 + Ay(i)**2 + Az(i)**2) |
| 윈도우된 전체 동작 강도= [Avg(Ax) + Avg(Ay) + Avg(Az)]/3 |
| 윈도우된 측면 떨림 강도= Sum [(Ax(i) Ax(i + 1))**2] from i = 0 to i = N |
| 윈도우된 전체 떨림 강도=Sum [(Ax(i) Ax(i + 1))**2] + Sum [(Ay(i) Ay(i + 1))**2] + Sum [(Az(i) Az(i + 1))**2] from i = 0 to i = N |
| 윈도우된 차등 Ax = Max(Ax) - Min(Ax) |
| 윈도우된 차등 Ay = Max(Ay) - Min(Ay) |
| 윈도우된 차등 Az = Max(Az) - Min(Az) |
| where N = 윈도우 크기 |
| 표 2 |
표 3에 제시된 예시적인 값과 같은 융합 센서 값으로부터 더 높은 수준의 특징 값이 계산된다:
| 걸음 수(총 회수) |
| 오른쪽 걸음 길이(센티미터 - cm) |
| 왼쪽 걸음 길이(cm) |
| 오른쪽 걸음 시간(밀리초- msec) |
| 왼쪽 걸음 시간(msec) |
| 오른쪽/왼쪽 걸음 시간의 비대칭 요인 (오른쪽 걸음 시간 - 왼쪽 걸음 시간) |
| 걸음 넓이(cm) |
| 박자(분당 걸음) |
| 보폭 길이(cm) |
| 보폭 속도(cm/sec) |
| 오른쪽 보폭 시간(msec) |
| 왼쪽 보폭 시간(msec) |
| 오른쪽/왼쪽 보폭 시간의 비대칭 요인(오른쪽 보폭 시간 - 왼쪽 보폭 시간) |
| 보폭 떨림(윈도우된 측면 떨림 강도) |
| 보폭 유동성(윈도우된 총 떨림 강도) |
| 누적된 보폭 떨림(윈도우된 측면 떨림 강도) |
| 누적된 보폭 유동성(윈도우된 총 떨림 강도) |
| 오른쪽 발의 스윙 시간(msec) |
| 왼쪽 발의 스윙 시간(msec) |
| 오른쪽 발의 스탠스 위상(msec) |
| 왼족 발의 스탠스 위상(msec) |
| 오른쪽/왼쪽 자세 위상의 비대칭 요인 자세(오른쪽 자세 위상 - 왼쪽 자세 위상) |
| 더블 서포트 자세 시간(msec) |
| 수직 변위[중간-자세] Max(cm) |
| 수직 변위[더블 서포트] Max(cm) |
| 오른발 뒤꿈치 타격 시간(msec) |
| 왼발 뒤꿈치 타격 시간(msec) |
| 오른발 뒤꿈치 타격 압력(쉬프트 N - 뉴턴) |
| 왼발 뒤꿈치 타격 압력(N) |
| 오른발/왼발 뒤꿈치 타격 압력의 비대칭 요인(오른발 뒤꿈치 타격 압력 - 왼발 뒤꿈치 타격 압력) |
| 누적된 보행거리(m) |
| 평균 속도(m/min) |
| 각 요인들의 가변성 |
| 표 3 |
본원에 기술된 시스템은 환자 생체역학적 데이터에 대해 "게이트"하거나 "윈도우"를 제공하는 기능을 제공한다. 생체역학적 데이터의 게이팅은 환자가 걷는 동안 반복되는 보행과 같은 반복적인 환자 운동에 유용하다. 압력 센서, IMU 센서, 비디오 데이터 및 EMG 데이터와 같은 하나 이상의 소스로부터의 센서 데이터는 시간 경과에 따라 반복되는 운동 사이클을 식별하는 데 사용된다. 예를 들어, 환자가 걸을 때, 발의 압력은 환자의 발이 땅에 닿고 그 다음 땅으로부터 들어올려짐에 따라, 반복적으로 증가하고 감소한다. 마찬가지로, 발의 속도는 발이 전진함에 따라 증가하고, 발이 땅에 내려 놓아진 동안은 0으로 감소한다. 다른 예로, 환자의 발의 Y 위치 또는 높이가 낮은 위치(땅바닥)와 높은 위치(대략 중간 보폭) 사이를 순환한다. "게이팅" 기술은 이러한 데이터 내에서 반복되는 사이클 또는 "윈도우"를 식별한다. 환자가 걷는 경우, 각 걸음마다 사이클이 반복된다. 사이클 사이, 예를 들어 걸음 사이에 변화가 있을 수 있지만, 특정한 패턴은 매 사이클마다 반복된다. 각 사이클의 개시 시간(시작 시간)을 선택하는 것은 생체역학적 파라미터의 식별 가능한 포인트(최대 또는 최소)를 찾는 것을 수반한다. 개시 시간에 대한 파라미터의 선택은 사용 가능한 데이터에 기초하여 선택된다. 따라서, 일부 실시예에서, 발뒤꿈치 충격 압력이 임계치를 넘는 순간이 각 사이클의 개시 시간을 구분하는데 사용될 수 있다(예를 들어, 도 5 참조. 압력(316a 및 316b)은 주기적 특성을 포함한다. “개시”는 압력이 임계치를 넘는 순간에 결정될 수 있다.) 유사하게, 발의 속도가 0으로 떨어질 때 개시 시간이 구분될 수 있다.일부 실시예에서, 미가공 프레임 데이터는 사전처리되며, 즉각적인 데이터를 가져와서 "게이팅", 예를 들어 윈도우를 식별한 다음, 해당 윈도우 내의 데이터를 분석하여 특이값(outliers)을 식별하고, 예를 들어, 지수 분석, 여러 윈도우의 데이터를 평균화하는 것과 같은 데이터 분석을 수행한다. IMU 데이터와 발뒤꿈치 충격 데이터를 모두 포함시킴에 의한 센서 데이터의 융합은 단일 센서의 데이터를 사용하는 것보다 단일 걸음이나 다른 반복되는 동작 단위의 개시 시간을 더욱 정확하게 식별하게 한다. 단일 걸음 내에 캡처된 센서 데이터는 "윈도우"로 간주되며, 이 분석으로부터 추출된 정보는 보폭(stride length), 걸음 수, 박자(cadence), 걸음 발생 시간, 이동 거리, 자세 위상/스윙 위상, 이중 지원 시간, 속도, (예를 들어, 좌우 다리 사이의) 대칭 분석, 외측 스윙, 셔플링, 파워 벡터, 횡가속도, 걸음 폭(step width), 이들 치수 각각의 가변성, 상술 한 정보로부터 도출된 추가 파라미터 등을 포함할 수 있다. 특징 추출은 마이크로프로세서 칩, 예를 들어 32 비트 칩에서 처리할 수 있다. 무선 동기식 게이트된 생체역학적 센서 데이터의 캡처 및 비디오 데이터 캡처 기능은 시계열 템플릿 생성을 허용한다.데이터는 음악 치료 세션 동안 환자 또는 치료사에 의해 인덱싱 될 수 있다. 위에서 설명한 "게이팅" 기능은 예외 조건을 특정 보폭이나 걸음에 연결하는 데 유용하다. 예를 들어, 치료사는 환자의 운동에서 특정한 예외 상태나 행동(예컨대 이상 또는 사건)을 관찰할 수 있다. 인덱싱 기능은 치료사가 도 4에 도시된 것과 같은 무선 트리거 유닛(250) 또는 음성 제어와 같은 휴대용 태블릿 또는 랩탑 상의 사용자 인터페이스를 통해 예외 상태 또는 행동의 "기록(record)"을 위해 캡처를 개시하도록 허용한다. 걷는 동안 환자의 "비틀거림"이 발생하는 것과 같이, 타임스탬프와 설명을 포함하는 표기(notation)가 생성될 수 있다. 이러한 인덱스는 시계열 템플릿 생성을 용이하게 한다. 이들 시계열 템플릿은 치료 세션 이벤트를 검토하고 비선형 다층 퍼셉트론(NLMLP), 컨볼루션 신경망(CNN) 및 장단기 기억(LSTM)을 갖는 순환 신경망(RNN)과 같은 기계 학습 알고리즘을 훈련하기 위한 시계열 템플릿 개발을 위해 연구된다.
일 실시예에서, (예를 들어, 센서(200)에서의) 센서 데이터를 에지 프로세싱(104)으로부터 수집기(106)로 전송하기 위해 통신 프로토콜이 제공된다. 아래의 표 4를 참조한다. 일부 실시예에서, 접속이 100ms 이상 유휴 상태인 경우, RF는 타임아웃된다.
| [0x10] | 프레임 시작 |
| [0x49] | FootClipSensor ID = 'I' |
| [0x52] or [0x4C] | Which FootClipSensor = 'R' or 'L' |
| [0x00 ~ 0xFF] | 구역 1 |
| [0x00 ~ 0xFF] | 구역 2 |
| [0x00 ~ 0xFF] | 구역 3 |
| [0x00 ~ 0xFF] | 구역 4 |
| [Az] | Az |
| [Ay] | Ay |
| [Ax] | Ax |
| [HighByteSeqNum] | High Byte Sequence |
| [LowByteSeqNum] | Low Byte Sequence |
| 표 4 | |
일 실시예에서, 발 압력 센서 구역 스캐닝은 FootDataBufferIndex가 초기화되고 발 압력 센서 구역이 출력 [PTCDD_PTCDDN = Output]에 대한 MCU 방향 모드를 사용가능하게 하고 연관된 포트 라인을 로우(low) [PTCD_PTCD6 = 0]로 가져옴으로써 활성화되는 발스캔(FootScan) 루틴에 의해 수행된다. 발 압력 센서 구역 스캐닝 맵에 기초하여 발 압력 센서 구역이 활성화되면, MCU 아날로그 신호 포트에 부착된 발 압력 센서 구역이 샘플링되고 이어서 현재 전압 판독 값이 디지털 형식(시간 구역 발 압력)으로 변환된다. FootDataBufferIndex 및 IMUBufferIndex와 같은 몇몇 변수는 FootDataBuffer [] 및 IMUBuffer []에서 사용될 데이터를 전송하기 위한 IEEE 802.15.4 RF 패킷 gsTxPacket.gau8TxDataBuffer []를 준비하는 데 사용된다. RF 패킷은 RFSendRequest(& gsTxPacket) 루틴을 사용하여 전송된다. 이 루틴은 gu8RTxMode가 IDLE_MODE에 설정되어 있는지 확인하고 gsTxPacket을 포인터로 사용하여 RAMDrvWriteTx 루틴을 호출하는데, 이후 이것은 SPIDrvRead를 호출하여 RF 트랜시버의 TX 패킷 길이 레지스터 내용을 읽는다. 이들 내용을 사용하여 길이 설정 업데이트를 마스크한 다음 CRC에 2를 추가하고 코드 바이트에 2를 추가한다.SPISendChar는 제 2 코드 바이트인 0x7E 바이트를 전송하기 위해 호출되고, SPIWaitTransferDone이 다시 호출되어 전송이 완료되었는지를 검증한다. 이들 코드 바이트를 보내면, 패킷의 나머지가 for 루프를 사용하여 전송되며, 여기에서 psTxPkt → u8DataLength + 1은 SPISendChar, SPIWaitTransferDone, SPIClearRecieveDataReg의 순차적인 시리즈의 반복 횟수이다. 완료되면, RF 트랜시버는 전송할 패킷을 로드한다. ANTENNA_SWITCH는 전송하도록 설정되고, LNA_ON 모드가 활성화되고, 마지막으로 패킷을 실제로 전송하기 위해 RTXENAssert 호출이 수행된다.
수집기
수집기(106)의 주요 기능은 에지 프로세싱(104)으로부터 데이터를 캡처하고, 분석 시스템(108)으로 데이터를 전송하고 처리된 데이터를 수신하고, 데이터를 아래에 기술되는 음악 치료 센터(110)로 전송하는 것이다. 일부 실시예에서, 수집기(106)는 제어 기능, 예를 들어 로그인을 위한 사용자 인터페이스를 제공하고, 시스템을 구성하고, 사용자와 상호작용하며, 데이터를 시각화/표시하기 위한 디스플레이 유닛을 포함한다. 수집기(106)는 분류(예를 들어, 측 방향 떨림, 비대칭, 불안정성 등)를 위한 경량 분석 또는 기계 학습 알고리즘을 포함할 수 있다.
수집기(106)는 에지 프로세서(104)로부터 몸체, 동작 및 위치 데이터를 수신한다. 수집기(106)에서 수신되는 데이터는 미가공이거나 수집기로 전송되기 전에 에지(104)에서 처리될 수 있다. 예를 들어, 수집기(106)는 "윈도우잉(windowing)" 및 특징 추출될 융합된 센서 데이터를 수신한다. 전송된 데이터는 두 가지 수준의 데이터를 포함할 수 있다: (1) 표 1에 설명된 바와 같이 오른발/왼발 센서로부터 전송된 RF 패킷, (2) 표 2 및 3에서 설명된 바와 같이 상위 수준 속성 및 특징을 포함하는 오른발/왼발 센서로부터의 RF 패킷. 수집기(106)는 데이터를 로컬 저장한다. 일부 실시예에서, 수집기(106)는 수신된 데이터로부터 운동을 분류하거나 {예를 들어, 이를 로컬로 저장된(분석 시스템으로부터 미리 다운로드된) 모델과 비교함}, 분류를 위해 분석 시스템으로 전송한다. 수집기는 데이터를 시각화/표시하기 위한 디스플레이 유닛을 포함할 수 있다.
일부 실시예에서 수집기(106)는 메모리, 프로세서 및 디스플레이를 포함하는 로컬 컴퓨터상에서 동작한다. 수집기가 설치되는 예시적인 장치는 AR 디바이스, VR 디바이스, 태블릿, 모바일 디바이스, 랩탑 컴퓨터, 데스크탑 컴퓨터 등을 포함할 수 있다. 도 2는 디스플레이(222)를 가지며, 수집기 기능을 수행하는 휴대용 디바이스(220)를 도시한다. 일부 실시예에서, 환자 센서와 수집기 사이에서 데이터를 전송하기 위한 접속 파라미터는 윈도우(Windows)에서 디바이스 관리자(예를 들어, 전송 속도(Baud rate): 38400, 데이터 비트: 8, 패리티: 없음, 정지 비트: 1)의 사용을 포함하게 된다. 일부 실시예에서, 수집기(106)는 음악 치료 환자에 의해 휴대되거나 착용되는 프로세서를 포함한다. 일부 실시예에서, 수집기(106)는 음악 치료 환자로부터 원격이고 치료사에 의해 휴대되며 음악 치료 환자에게 무선으로 또는 유선 접속을 통해 연결되는 프로세서를 포함한다.
일 실시예에서, 발 압력/6 자유도 동작 수집 노드는 실시간 발 압력/6 자유도 동작 프로파일 데이터를 포함하는 RF 송신 데이터 패킷을 발 압력/6 자유도 동작 캡처 디바이스로부터 캡처한다. 이는 RF 트랜시버 패킷 수신 인터럽트에서 콜백(call back) 기능에 의해 구동되는 RF 패킷 수신 대기열(queue)을 생성하는 발 압력/6 자유도 동작 수집 노드에 의해 시작된다.
RF 패킷이 발 압력/6 자유도 동작 캡처 디바이스(200)로부터 수신될 때, 이것이 새로운 또는 기존의 발 압력/6 자유도 동작 캡처 디바이스로부터의 것인지를 결정하기 위한 체크가 먼저 수행된다. 이것이 기존의 발 압력/6 자유도 동작 캡처 디바이스로부터의 것이라면, 패킷을 더 분석하기 전에 RF 패킷 시퀀스 번호를 검사하여 연속 동기화를 결정한다. 이것이 발 압력 캡처/6 자유도 동작 디바이스이면, 발 압력/6 자유도 동작 캡처 디바이스 컨텍스트 상태 블록이 생성되고 초기화된다. 컨텍스트 상태 블록은 정보, 예를 들어, 발 압력 프로파일을 포함한다.
노드 대 노드 통신을 위한 이 RF 패킷 세션 수준 프로세스 위에는, RF 패킷 데이터 페이로드의 분석이 있다. 이 페이로드는 6 자유도 동작 이후의 현재 가변 압력에 기초하는 발 압력 프로파일을 포함한다. 이는 다음과 같이 구성된다. | 0×10 | 시작 | F1 | F2 | F3 | F4 | Ax | Ay | Az | Pi | Yi | Ri | XOR 체크섬(checksum) |.
IEEE 802.15.4 표준은 127 바이트의 최대 패킷 크기를 지정하고, 시간 동기화 메시 프로토콜(TSMP)은 동작을 위해 47 바이트를 예약하고, 페이로드를 위해 80 바이트를 남긴다. IEEE 802.15.4는 2.4 GHz 산업, 과학 및 의료(ISM) 대역 무선 주파수(RF) 트랜시버를 준수한다.
RF 모듈은 피어-투-피어(peer-to-peer), 스타(star) 및 메시(mesh) 네트워킹을 지원하는 IEEE 802.15.4 무선 표준을 위해 설계된 완전한 802.15.4 물리 계층(PHY) 모뎀을 포함한다. 이는 MCU와 결합되어 필요한 무선 RF 데이터 링크 및 네트워크를 생성한다. IEEE 802.15.4 트랜시버는 5.0 MHz 채널에서 250 kbps O-QPSK 데이터를 지원하며 전체 확산-스펙트럼(full spread-spectrum) 인코딩 및 디코딩을 지원한다.
일부 실시예에서, 제어, 상태 판독, 데이터 기록 및 데이터 판독은 감지 시스템 노드 디바이스의 RF 트랜시버 인터페이스 포트를 통해 이루어진다. 감지 시스템 노드 디바이스의 MPU는 바이트 길이의 데이터의 다중 버스트가 인터페이스 버스를 통해 전송되는 인터페이스 '트랜잭션(transaction)'을 통해 감지 시스템 노드 디바이스의 RF 트랜시버에 액세스한다. 각 트랜잭션은 트랜잭션 유형에 따라 3 이상의 버스트 길이이다. 트랜잭션은 항상 레지스터 주소에 대한 읽기 액세스 또는 쓰기 액세스이다. 임의의 단일 레지스터 액세스에 대한 관련 데이터는 항상 16 비트 길이이다.
일부 실시예에서, 발 압력/6 자유도 동작 수집 노드의 RF 트랜시버 및 데이터 전송의 제어는 직렬 주변기기 인터페이스(SPI)에 의해 달성된다. 정상적인 SPI 프로토콜은 8 비트 전송을 기반으로 하지만, 발 압력/6 자유도 동작 수집 수집기 노드의 RF 트랜시버는 트랜잭션 당 여러 개의 8 비트 전송을 기반으로 하는 더 높은 수준의 트랜잭션 프로토콜을 부과한다. 단일 SPI 읽기 또는 쓰기 트랜잭션은 8 비트 헤더 전송과 이어지는 두 개의 8 비트 데이터 전송으로 구성된다.
헤더는 액세스 타입 및 레지스터 주소를 나타낸다. 다음 바이트는 읽기 또는 쓰기 데이터이다. 또한 SPI는 추가 데이터 전송이 발생할 수 있는 재귀 '데이터 버스트' 트랜잭션을 지원한다. 재귀 모드는 주로 패킷 RAM 액세스 및 발 압력/6 자유도 동작 수집 노드의 RF에 대한 빠른 구성을 위한 것이다
일부 실시예에서, 모든 발 압력 센서 구역은 순차적으로 스캐닝되고 리셋 조건 또는 비활성 파워다운 모드가 될 때까지 전체 프로세스가 반복된다. 6 자유도 동작은 MCU로부터 관성 측정 유닛(IMU)으로의 직렬 UART 인터페이스에 의해 캡처된다. Ax, Ay, Az, 피치(Pitch), 요(Yaw), 롤(Roll)인 모든 감지 치수의 샘플링 속도는 100 - 300 Hz 이며, 샘플링된 데이터는 IMUBuffer []에 저장된다.
TX 패킷 길이 필드를 업데이트하기 위해 SPIDryWrite가 호출된다. 다음으로 SPIClearRecieveStatReg를 호출하여 상태 레지스터를 지운 다음 SPIClearRecieveDataReg를 호출하여 수신 데이터 레지스터를 지워서 SPI 인터페이스가 읽기 또는 쓰기를 위해 준비되도록 한다. SPI 인터페이스가 준비되면, SPISendChar가 첫 번째 코드 바이트를 나타내는 0xFF 문자를 보내도록 호출이 이루어지고 다음 SPIWaitTransferDone이 호출되어 전송이 완료되었는지 확인한다.
도 5는 휴대용 디바이스의 디스플레이(222) 상에 제공될 수 있는 예시적인 출력(300)이다. 예를 들어, 치료가 환자의 보행을 위해 제공될 때, 디스플레이 출력(300)은 오른발(302)을 위한 부분 및 왼발(304)을 위한 부분을 포함할 수 있다. 시간의 함수에 따라, 오른발에 대한 디스플레이는 가속도 Ax(310a), Ay(312a), Az(314a) 및 발 압력(316a)을 포함한다. 유사하게, 왼발에 대한 디스플레이는 가속도 Ax(310a), Ay(312a) 및 Az(314a) 및 발 압력(316a)을 포함한다.
분류는 데이터, 예를 들어 센서 융합 데이터, 특징 데이터 또는 속성 데이터와 실제 세계 이벤트, 예를 들어 환자의 활동 또는 배치의 상관 관계로 이해된다. 일반적으로, 분류는 분석 시스템(108)에서 생성되고 수행된다. 일부 실시예에서, 수집기(106)는 일부 '템플릿'의 로컬 복사본을 갖는다. 따라서, 유입 센서 데이터 및 특징 추출된 데이터는 수집기 또는 분석 시스템에서 분류될 수 있다.
컨텍스트는 이벤트, 진술, 상황 또는 아이디어에 대한 설정을 형성하는 환경 또는 사실을 나타낸다. 컨텍스트 인식 알고리즘은 특정 데이터에 대해 알고리즘이 실행되는 환경 및 시간과 관련하여 "누가," "무엇을", "언제" 및 "어디서"를 검사한다. 일부 컨텍스트 인식 행위는 신원, 위치, 시간 및 실행중인 행동이 포함된다. 결정론적 행위를 공식화(formulate)하기 위해 컨텍스트 정보를 사용할 때, 환자, 환경 및 음악 치료 세션 간에 컨텍스트 인터페이스가 발생한다.
음악 치료 세션에 대한 환자의 반응 컨텍스트는 융합된 센서 데이터를 해석하여 더 높은 수준의 정보를 추론하는 알고리즘의 계층을 포함할 수 있다. 이들 알고리즘은 환자 반응 컨텍스트를 정제(distill)한다. 예를 들어, 환자의 생체-기계적 보행 시퀀스는 그것이 음악 치료 세션의 특정 부분과 관련될 때 분석된다. 일 예에서, "측 방향 떨림"이 관심 분류자이다. 따라서, 측 방향 떨림이 적으면 환자의 보행이 더 유동적으로 된다고 결정된다.
분석 시스템
때때로 백엔드(back end) 시스템으로 지칭되는, 분석 시스템(108)은 대형 모델/아카이브를 저장하고 본원에 기술된 모델로 기계 학습/분석 처리를 포함한다. 일부 실시예에서, 아카이브된 데이터를 보기 위한 로그인용 웹 인터페이스 및 대시보드가 또한 제공된다. 일부 실시예에서, 분석 시스템(108)은 원격 서버 컴퓨터 상에 위치되며 휴대용 디바이스 또는 태블릿(220)과 같은 휴대용 유닛 상에서 실행되는 수집기(106)로부터 데이터를 수신한다. 분석 시스템(108)의 분석 및 기계 학습 기능을 수행하기 위해 필요한 프로세싱 능력이 또한 휴대용 디바이스(220) 상에 위치될 수 있는 것으로 고려된다.
데이터는 분석 프로세싱을 위해 수집기(106)로부터 분석 시스템(108)으로 전달된다. 도 6에 도시된 바와 같이, 분석 프로세싱(400)은 수집기(106)로부터 데이터를 수신하기 위한 사용자 인터페이스(402)를 포함한다. 데이터베이스 저장 장치(404)는 저장을 위해 수집기(106)로부터 들어오는 데이터를 수신한다. 훈련 데이터 및 분석 프로세싱의 출력, 예를 들어, 앙상블 기계 학습 시스템(410) 또한 예측 모델 및 분류자의 생성 및 정제를 용이하게 하기 위해 저장 장치(404)에 저장될 수 있다. 데이터 버스(406)는 분석 프로세싱을 통해 데이터의 흐름을 허용한다. 훈련 프로세스(408)가 훈련 데이터에 대해 수행되어 하나 이상의 예측 모델을 유도한다. 앙상블 기계 학습 시스템(410)은 예측 모델을 이용한다. 앙상블 기계 학습 시스템(410)의 출력은 이들 예측 모델의 집합이다. 이 집계된 출력은 떨림, 대칭, 유동성과 같은 템플릿 분류자(412) 또는 동조, 개시 등과 같은 학습된 생체역학적 파라미터와 함께 분류 요구사항에 또한 사용된다. API(418)는 수집기 및/또는 음악 치료 센터에 연결된다. 치료 알고리즘(414) 및 예측 알고리즘(416)은 다층 퍼셉트론 신경망, 은닉 마르코프(Markov) 모델, 라달(Radal) 기반 기능 네트워크, 베이지안(Bayesian) 추론 모델 등을 포함한다.
본원에 기술된 시스템 및 방법의 예시적인 응용은 환자의 생체-기계적 보행의 분석이다. 보행 시퀀스는 일련의 특징적 세부 특징(characteristic features)으로 특징-추출(feature-extracted)된다. 캡처된 센서 융합 데이터에서 이들 및 다른 특징의 존재는 환자의 생체-기계적 보행 시퀀스가 유효한지를 컨텍스트 검출 알고리즘에 알린다. 생체-기계적 보행 시퀀스 캡처는 강건한(robust) 컨텍스트 검출을 필요로 하며, 이는 음악 치료 환자의 대표 모집단에 대해 추출된다.
이러한 활동의 일례는 시간의 어떤 순간에서의 환자의 위치 및 그 시간에서의 음악 치료에 대한 그들의 응답이다. 환자 음악 치료 응답의 인식과 상관 관계는 음악 치료 환자 응답의 특정한 패턴을 인식할 수 있게 한다. 그러면 특정한 음악 치료 체제는 음악 치료 환자 응답의 기준을 작성하고 이를 장래의 음악 치료 환자 반응에 상관시킴으로써 성능과 효능을 벤치마크하고 분석한다.
동작 감지와 조합하여, 보행 생체-기계적 캡처와의 거리 측정 기준(metric)이 둘 이상의 음악 치료 세션 사이의 시간적 및 공간적 변화/편차를 사용하여 환자 경로 궤적을 결정하기 위해 사용된다. 이 센서 융합 데이터 캡처로부터, 특징을 추출하고 분류하여 다양한 주요(key) 환자 치료 응답을 라벨링한다. 또한 센서 융합 데이터 분석은 히스토그램을 사용하여 초기 음악 치료 반응 패턴 탐지를 허용한다.
음악 치료 세션 센서 융합 데이터 분석에 있어서, 초기에, 환자별 베이지안 추론 모델이 마르코프 체인을 이용하여 사용된다. 체인의 상태는 음악 치료 기준 세션에서 캡처한 환자별 응답 패턴을 나타낸다. 추론은 각 샘플 간격에서의 환자 응답 패턴 출현 및 이전 상태로의 시간적 연결에 대한 지식에 기초한다.
예측 루틴, 다층 퍼셉트론 신경망(MLPNN)은 후속 노드에 도달하고 환자의 센서 융합 데이터 특징 벡터를 획득하기 위한 요구사항을 예측하는 최상위 계층 루트 노드를 갖는 유향(directed) 그래프 노드 기반 모델을 사용한다. 이 센서 융합 데이터 특징 벡터는 추후 처리를 위해 특히 중요한 시계열 처리된 동작 데이터, 음악 서명 데이터 및 비디오 이미지 데이터를 포함한다. 이 경우 유향 그래프는 거꾸로 그려진 나무처럼 보이며, 잎은 나무 아래쪽에 있고 뿌리는 루트 노드이다. 각 노드로부터, 루틴은 왼쪽으로 갈 수 있으며, 여기에서 왼쪽은 루트 노드가 위치하는 최상위 계층 아래의 다음 계층에 있는 왼쪽 노드로서, 다음 관찰 노드로서 왼쪽 하위 노드를 선택하거나, 또는 오른쪽으로 갈 수 있으며 여기에서 오른쪽은 루트 노드가 위치하는 최상위 계층 아래의 다음 계층에 있는 오른쪽 노드로서, 이는 관찰된 노드에 인덱스가 저장된 특정 변수의 값을 기반으로 한다. 이 값이 임계치보다 작으면 루틴은 왼쪽 노드로 이동하고 크면 오른쪽 노드로 이동한다. 여기에서, 이들 왼쪽 및 오른쪽 영역이 예측 공간이 된다.
모델은 2 가지 유형의 입력 변수, 즉 서열 변수 및 범주형 변수를 사용한다. 서열 변수는 노드에 또한 저장된 임계치와 비교되는 값이다. 범주형 변수는 특정한 제한된 하위 집합 값에 속하는지 여부를 확인하기 위해 테스트되고 노드에 저장되는 불연속 값이다. 이는 다양한 분류에 적용될 수 있다. 예를 들어, 경증, 중간 및 중증은 떨림을 설명하는 데 사용될 수 있으며 범주형 변수의 예이다. 반대로, 세밀한 수치 범위 또는 수치 척도를 사용하여 떨림을 유사하지만 수치적으로 설명할 수 있다.
범주형 변수가 제한된 값 집합에 속하면, 루틴은 좌측 노드로 진행하고 그렇지 않으면 우측 노드로 간다. 각 노드에서 variable_index, decision_rule(임계치/하위 집합) 엔티티 쌍이 이 결정을 내리는 데 사용된다. 이 쌍을 스플릿이라 하며 variable_index 변수에 대해 분할한다.
일단 노드에 도달하면, 이 노드에 할당된 값이 예측 루틴의 출력으로 사용된다. 다층 퍼셉트론 신경망은 루트 노드에서부터 재귀적으로 구축된다. 앞서 설명한 것처럼, 모든 훈련 데이터, 특징 벡터 및 응답은 루트 노드를 분할하는 데 사용되며, 여기에서 variable_index, decision_rule(임계치/하위 집합) 엔티티는 예측 영역을 세그먼트화한다. 각 노드에서 최상 기본 분할에 대한 최적 결정 규칙은 분류에 대한 지니(gini) "순도(purity)" 기준 및 회귀에 대한 제곱 오류의 합계를 기반으로 한다. 지니 인덱스는 집합 클래스에 걸친 총 분산의 척도를 기반으로 한다. 지니 "순도" 기준은 노드가 원하는 상태인 단일 클래스의 지배적인 관찰을 포함하는 것을 나타내는 작은 지니 인덱스 값을 지칭한다.
다층 퍼셉트론 신경망이 일단 구축되면, 이는 교차 확인 루틴(cross-validation routine)을 사용하여 프루닝될 수 있다. 모델 과적합(over-fitting)을 피하기 위해, 트리의 가지 일부가 제거된다. 이 루틴은 독립형 결정에 적용될 수 있다. 상술한 결정 알고리즘(MLPNN)의 두드러진 특징 중 하나는 각 변수의 상대적 결정력 및 중요도를 계산하는 능력이다.
가변 중요도 등급은 환자 상호 작용 특징 벡터에 대한 가장 빈번한 상호 작용 유형을 결정하는데 사용된다. 패턴 인식은 음악 치료 응답 및 음악 치료 이벤트의 서로 다른 범주를 구별하기에 적합한 결정 공간의 정의로 시작된다. 결정 공간은 N 차원의 그래프로 나타낼 수 있으며, 여기에서 N은 음악 치료 응답 및 음악 치료 이벤트를 나타내는 것으로 간주되는 속성 또는 측정치의 수이다. N 속성은 그래프에 플롯될 수 있는 특징 벡터 또는 서명을 구성한다. 충분한 샘플이 입력된 후, 결정 공간은 새로운 벡터를 이들 클러스터에 연관시키는 데 사용되는 상이한 범주에 속하는 음악 치료 응답 및 음악 치료 이벤트의 클러스터를 드러낸다.
동적 폐루프 재활 플랫폼 음악 치료 시스템은 패턴을 학습 및 기억해내기 위한 몇 가지 심층 학습 신경망을 이용한다. 일 실시예에서, 비선형 결정 공간은 적응적 방사 기저 함수(Radial Basis Function, RBF) 모델 생성기를 사용하여 구축된다. 새로운 벡터는 RBF 모델 및/또는 K-최근접 이웃 분류자를 사용하여 계산할 수 있다. 도 6은 동적 폐루프 재활 플랫폼 음악 치료 시스템의 기계 학습 서브 시스템의 작업 흐름을 도시한다.
도 7은 다수의 훈련 샘플(502)을 포함하는 감독된 훈련 프로세스(408)를 도시하며, 예를 들어, 입력은 상기 표 3에 설명된 것과 같은 특징일 것이며, 예시적인 출력은 떨림, 비대칭 및 힘과 같은 항목, 이들 항목의 정도, 변화 예측, 환자의 회복 정도 분류일 것이다. 새로운 출력이 이 프로세스의 일부로 학습된다는 것을 이해할 것이다. 이는 상이한 사용 케이스(예를 들면, 상이한 질병 상태, 의약품과의 조합, 제공자에게 알리는 통지, 피트니스 및 낙상 방지)에 적용될 때 예측 및 분류의 추상화 수준을 높이는 기반을 제공한다. 이들 훈련 샘플(502)은 학습 알고리즘 A1(504a), A2(504b), A3(504c) ... AN(504n)으로 실행되어 M1(506a), M2(506b), M3(506c) ... MN(506n)에서 예측 모델을 유도한다. 예시적인 알고리즘은 다층 퍼셉트론 신경망, 은닉 마르코프 모델, 방사 기반 함수 네트워크, 베이지안 추론 모델을 포함한다.
도 8은 다수의 예측 결과 데이터(606a, 606b, 606b ... 606n)를 제공하기 위해, 샘플 데이터(602), 예를 들어, 특징 추출된 데이터에 대한 예측 모델 M1(506a), M2(506b), M3(506c), MN(506n)의 집합으로서의 앙상블 기계 학습 시스템을 도시한다. 예를 들어, 결정 규칙 및 투표를 포함하는 집합 계층(608)은 복수의 예측 모델이 주어지면 출력(610)을 유도하는 데 사용된다.
MR ConvNet 시스템은 2 개의 계층을 가지며, 여기에서 제 1 계층은 평균 풀링 지원을 갖는 컨벌루션(convolutional) 계층이다. MR ConvNet 시스템의 제2 계층은 다항 로지스틱 회귀(multinomial logistic regression)를 지원하는 완전히 연결된 계층(fully connected layer)이다. Softmax라고도하는 다항 로지스틱 회귀는 여러 클래스를 처리하기 위한 로지스틱 회귀의 일반화이다. 로지스틱 회귀의 경우, 라벨은 이진(binary)이다.
Softmax는 상이한 가능한 출력의 가능성을 예측하는 데 사용되는 모델이다. 다음은 Softmax 최종 출력 계층을 통해 m 개의 개별 클래스로 구성된 다중 클래스 분류자를 가정한다.
Y1 = Softmax(W11*X1 + W12*X2 + W13*X3 + B1)
[1]
Y2 = Softmax(W21*X1 + W22*X2 + W23*X3 + B2)
[2]
Y3 = Softmax(W31*X1 + W32*X2 + W33*X3 + B3)
[3]
Ym = Softmax(Wm1*X1 + Wm2*X2 + Wm3*X3 + Bm)
[4]
In general: Y = softmax(W*X + B)
[5]
Softmax(X)i = exp(Xi)/Sum of exp(Xj) from j = 1 thru N
[6]
여기에서 Y = 분류자 출력; X = 샘플 입력(모든 스케일된(정규화된) 특징 값); W = 무게 매트릭스이다. 분류는, 예를 들어, "보통 비대칭 점수 10점 만점에 6 점(높은 수준의 비대칭 10 점에서 비대칭이 없는 경우 0 점)" 또는 보행 유동성 "보행 유동성 점수 10 점 만점에 8 점" 등과 같은 비대칭 점수를 부여한다. 분석 파이프라인은 도 9에 도시된다.
Softmax 회귀는 2를 초과하는 다수의 클래스를 처리할 수 있게 한다. 로지스틱 회귀의 경우: P(x) = 1/(1 + exp(-Wx))이며 여기에서 W는 비용 함수를 최소화하도록 훈련된 모델 파라미터를 포함한다. 또한, x는 입력 특징 벡터이며
((x(1), y(1)),…,(x(i), y(i)))
[7]
는 훈련 세트를 나타낸다. 다중 클래스 분류의 경우, Softmax 회귀가 사용되며 여기에서 y는 이진 경우의 1과 0 대신 클래스를 나타내는 N 개의 상이한 값을 취할 수 있다. 따라서 훈련 세트((x(1), y(1)),…,(x(i), y(i)))에 대해, y(n)은 1에서 N 클래스 범위의 모든 값이 될 수 있다.
*다음으로, p(y = N | x; W)는 i = 1, ..., N의 각각의 값에 대한 확률이다. 다음은 Softmax 회귀 프로세스를 수학적으로 설명한다.
Y(x) =(p(y = 1|x;W), p(y = 2|x;W), … p(y = N|x;W))
[8]
여기에서 Y(x)가 가설에 대한 답인 경우, 입력 x가 주어지면, 정규화된 합이 1이 되도록 모든 클래스에 걸쳐 확률 분포를 출력한다.
MR ConvNet 시스템은 벡터로서의 모든 생체역학적 템플릿 필터와 함께, 벡터로서의 모든 윈도우된 생체역학적 데이터 프레임을 컨벌브하고(convolve), 다음으로 특징 응답을 평균화하는 평균 풀(pool) 함수를 사용하여 응답을 생성한다. 컨볼루션 프로세스는 임의의 바이어스를 추가하는 동안 Wx를 계산한 다음 이를 로지스틱 회귀(sigmoid) 함수에 전달한다.
다음으로, MR ConvNet 시스템의 제 2 계층에서, 서브샘플링된 생체역학적 템플릿 필터 응답은 각 컬럼이 윈도우된 생체역학적 데이터 프레임을 벡터로서 나타내는 2 차원 매트릭스로 이동된다. Softmax 회귀 활성화 프로세스는 이제 다음을 사용하여 개시된다.
Y(x) = (1/(exp(Wx) + exp(Wx) + …. + exp(Wx)) *(exp(Wx), exp(Wx), … ,(exp(Wx))[9]
MR ConvNet 시스템은 비용 함수 J(W)가 정의되고 최소화되는 기울기 하강, 최적화 알고리즘으로 훈련된다.
J(W) = 1/j*((H(t(j = 1), p(y = 1|x;W) + H(t(j = 2), p(y = 2|x;W) + …+ H(t(j), p(y = N|x;W))
[10]
여기에서 t(j)는 목표 클래스이다. 이는 j 개의 훈련 샘플에 대한 모든 교차 엔트로피의 평균이다. 교차 엔트로피 함수는 다음과 같다.
H(t(j), p(y = N|x;W) = - t(j = 1)* log(p(y = 1|x;W)) + t(j = 2)* log(p(y = 2|x;W)) + … + t(j )* p(y = N|x;W)
[11]
도 10에서, 앙상블 기계 학습 시스템(408)은 복수의 예측 모델을 포함하며, 예를 들어, 템플릿 시리즈 1(떨림)(706a), 템플릿 시리즈 2(대칭)(706b), 템플릿 시리즈 3(유동성)(706c) …. 추가 템플릿(다른 학습된 생체역학적 파라미터, 예를 들어, 동조(entrainment), 개시(initiation) 등)(706n)이며, 이들은 조건부 입력(702)으로 인가되고, 예를 들어, 이는 다음과 같은 것일 수 있다: 우측 및 좌측에 대한 보폭 특징(x1, x2), 우측 및 좌측 보폭 변동 특징(x3, x4), 우측 및 좌측 박자 특징(x6, x7), 우측 및 좌측 박자 변동 특징(x8, x9) 등이다. 여기에서 샘플(x1, x2, .. xn)은 ML 알고리즘의 앙상블에서 702에 입력되는 벡터 X로 지칭된다. 이들은 정규화된 및/또는 스케일된 입력의 조건부 참조이다. 집합 분류자(708)는 떨림 스케일, 대칭 스케일, 유동성 스케일 등과 같은 정보를 출력한다.
음악 치료 센터
음악 치료 센터(110)는 도 2의 휴대용 디바이스 또는 랩탑 컴퓨터(220)와 같은, 프로세서 상에서 실행되는 의사 결정 시스템이다. 음악 치료 센터(110)는 수집기(106)에서 특징 추출된 센서 데이터로부터 입력을 취하여, 이들을 치료 전달을 위한 정의된 프로세스와 비교하고, 다음으로 음악 전달 시스템(230)을 통해 재생되는 청각 자극의 내용을 전달한다.
발명의 실시예는 상황이 발생하는 이유를 결정하기 위해 컨텍스트 정보를 사용하고, 폐루프 방식으로, 시스템 상태 및 그에 따른 음악 치료 세션의 동적 및 변조된 변화를 야기하는 관찰된 동작을 인코딩한다.
환자와 음악 치료 세션 사이의 상호 작용은 동작, 자세, 걸음 및 보행 반응을 포함하는 음악 치료 환자 컨텍스트 인식을 결정하기 위한 실시간 데이터를 제공한다. (센서에서) 감지 노드에 의해 입력 데이터가 수집된 후,(에지 프로세싱에서) 임베디드 노드가 컨텍스트 인식 데이터를 처리하고, 즉각적인 동적 동작을 제공하거나 및/또는 데이터를 분석 시스템(108), 예를 들면, 저장 및 추가 처리 및 분석을 위한 탄성(elastic) 네트워크 기반 프로세싱 클라우드 환경으로 전송한다.
입력에 기초하여, 프로그램은 임의의 기존 노래 내용을 취하여 박자(cadence), 장조/단조 코드, 보격(meter) 및 음악 큐(예를 들어, 멜로디, 화성, 리듬 및 포스 큐)를 변경한다. 시스템은 기존 노래에 메트로놈을 중첩할 수 있다. 노래 콘텐츠는 비트(beat) 매핑될 수 있거나(예를 들어, AV 또는 MP3 파일에 응답하여 W 인 경우) 또는 MIDI 포맷일 수 있어 비트가 발생하는 시점에 대한 정확한 지식이 동조 포텐셜을 계산하는 데 사용될 수 있다. 환자의 센서는 음악 콘텐츠에서 햅틱/진동 피드백 펄스를 제공하도록 구성될 수 있다.
실시예
방법의 예시적인 적용이 본원에 기술된다. 보행 훈련은 환자에게 재생되는 음악의 비트와 음악의 특정 비트에 응답하여 환자가 취한 개별 걸음 사이의 실시간 관계를 분석한다. 위에서 논의한 것과 같이, 게이팅 분석이 사용되어 각 걸음 또는 반복 운동과 함께, 일부 변동을 가지고 반복되는 데이터 윈도우를 결정한다. 일부 실시예에서, 윈도우의 시작은 발뒤꿈치 충격 압력이 임계치(또는 다른 센서 파라미터)를 초과하는 시간으로 결정된다. 도 11은 음악의 비트인 "시간 비트"와 환자가 걸은 걸음인 "시간 걸음"을 나타내는 예시적인 시간 플롯이다. 따라서, 이 경우의 개시 시간은 "시간 걸음"과 관련된다. 특히, 그래프는 시간 비트(Time Beat) 1에서의 음악의 시간 비트(1101)를 도시한다. 일정 시간 후, 환자는 시간 비트(1001)에 응답하여 한 걸음을 걷는다, 즉 시간 걸음(Time Step) 1에서 시간 걸음(1102)이 된다. 동조 포텐셜(1103)은 시간 비트 1 와 시간 걸음 1 사이의 지연(있는 경우)을 나타낸다.
도 12 내지 도 13은 본원에 기술된 시스템을 사용하여 환자의 보행을 동조하는 예를 도시한다. 도 12는 "완벽한" 동조, 예를 들어, 0이라는 일정한 동조 포텐셜을 도시한다. 이는 시간 비트와 시간 비트에 응답하여 취해진 관련 시간 걸음 사이에 지연이 없거나 무시할 수 있을 때 발생한다. 도 13은 위상 시프트 동조, 예를 들어, 동조 포텐셜이 0이 아니지만 시간에 걸쳐 일정하거나 변동이 최소인 상태를 도시한다. 이는 시간 경과에 따라 시간 비트와 시간 걸음 사이에, 공차 범위 내의 일정한 지연이 있을 때 발생한다.
계속해서 도 11을 참조하면, EP 비율(EP ratio)은 시간 걸음 사이의 지속 시간에 대한 시간 비트 사이의 지속 시간의 비율로서 계산된다:
여기에서 시간 비트 1(1101)은 제 1 음악 비트의 시간에 대응하고, 시간 걸음 1(1102)는 시간 비트 1에 응답하는 환자 걸음의 시간에 대응한다. 시간 비트 2(1106)는 제 2 음악 비트의 시간에 대응하고, 시간 걸음 2(1108)는 시간 비트 2 에 응답하는 환자 걸음의 시간에 대응한다. 목표는 EP 비율 = 1 또는 EP 비율/요인 = 1이다. 요인은 다음과 같이 결정된다:
이 요인은 비트의 세분화가 일어나도록 하거나 어떤 사람이 3 비트마다 또는 매 4 비트 중 3 비트마다 걸을 수 있게 한다. 이는 다양한 시나리오에 대한 유연성을 제공할 수 있다
도 14 및 도 15는 본원에 기술된 기술을 사용하는 환자의 시간에 따른 동조 응답을 도시한다. 도 14(왼쪽 Y 축: EP 비율, 오른쪽 Y 축: 분당 비트, X 축: 시간)은 첫 번째 환자의 보행의 EP 비율의 평균을 나타내는 점들(1402)의 산란을 도시한다. 그래프는 +0.1의 상한(1404) 및 -0.1의 하한(1406)을 도시한다. 선(1408)은 시간에 따른 템포(분당 60 비트에서 시작하여 단계적으로 100 bpm으로 증가함)를 예시한다. 도 14는 템포가 60bpm에서 100bpm으로 증가함에 따라 EP 비가 1(± 0.1)에 가깝게 유지되는 것을 도시한다. 도 15는 템포가 60bpm에서 100bpm으로 증가함에 따라 EP 비율이 또한 1(± 0.1)에 가깝게 유지되는 두 번째 환자의 보행의 EP 비율을 도시한다.
도 16 및 도 17(Y 축: 동조 포텐셜, X 축: 시간)은 시간 비트의 변화(예를 들어, 템포 변화) 및/또는 코드의 변화, 햅틱 피드백의 변화, 발의 큐잉 변화(예를 들어, 좌-우, 또는 좌-우-지팡이(cane) 큐잉) 등에 대한 두 환자의 응답을 도시한다. 도 16은 환자의 보행이 "완전한 동조"(일정한 0 또는 무시할 만한 동조 포텐셜) 또는 일정하게 위상 시프트된 동조 포텐셜로 균형이 잡히는 시간 기반 플롯을 나타낸다. 도면에 도시된 바와 같이, 균형이 발생할 때까지 일정한 시간, 프라임 타임(1602)이 걸린다. 도 17은 환자의 보행이 균형 상태가 아니며, 예를 들어, 시간 비트의 변화 후에 완전한 동조 또는 일정하게 위상 시프트된 동조 포텐셜에 이르지 못하는 시간 기반 플롯을 나타낸다. 프라임 타임은 동조의 정확도를 측정하는 것과는 별도의 데이터 집합을 나타내기 때문에 유용하다. 프라임 타임 파라미터는 장래의 노래에 대한 적합성 검사를 위해 사용할 수도 있다. 예를 들어, 어떤 음악곡이 사용될 때 환자가 더 긴 프라임 타임 값을 나타내면, 그러한 음악곡은 치료 능력이 떨어진다.
도 18은 보행 훈련에 유용한 기술을 도시하며, 여기에서 반복 운동은 걸을 때 환자가 행하는 걸음을 나타낸다. 보행 훈련은 개인화되고 개별화된 음악 개입을 전달하기 위하여 개별 환자 모집단, 진단 및 조건에 맞게 조정된다. 입력에 기초하여, 프로그램은 해당되는 경우 콘텐츠, 박자, 장조/단조 코드, 보격 및 음악 큐(예를 들어, 멜로디, 화성 및 포스 큐)를 변경한다. 프로그램은 생년월일, 나열된 음악 선호 및 동조 템포를 사용하여 음악 셀렉션을 만들 수 있어 정기적으로 사용하도록 수동 음악 재생 목록을 제공할 수 있다. 보행 훈련을 위한 주요 입력은 신체 활동, 예를 들어, 보행을 실행하는 사용자의 박자, 대칭 및 보폭이다. 프로그램은 연결된 하드웨어를 사용하여 음악의 BPM에서 햅틱/진동 피드백을 제공한다. 보행 훈련에 적합한 모집단은 외상성 뇌 손상(TBI), 뇌졸중, 파킨슨 병, MS 및 노화가 있는 환자를 포함한다.
방법은 단계 1802에서 시작한다. 단계 1804에서, 생체역학적 데이터가 센서, 예를 들어 센서(200, 206, 208)로부터의 데이터에 기초하여 수집기(106)에서 수신된다. 생체역학적 데이터는 개시, 보폭, 박자, 대칭, 보조 디바이스에 대한 데이터, 또는 분석 시스템(108)에 의해 저장되고 생성된 다른 이러한 환자 특징 세트를 포함할 수 있다. 예시적인 생체역학적 데이터 파라미터는 상기 표 1, 표 2 및 표 3에 열거되어 있다. 기준 조건은 하나 이상의 데이터 소스로부터 결정된다. 첫째, 재생되는 음악이 없는 환자의 보행이 감지된다. 환자의 개시, 보폭, 박자, 대칭, 보조 디바이스에 관한 데이터 등과 같은 센서 및 특징 데이터는 치료 세션에 대한 환자의 기준 생체역학적 데이터를 구성한다. 둘째, 동일한 환자의 이전 세션으로부터의 센서 데이터뿐만 아니라 분석 시스템(108)으로부터의 임의의 상위 수준 분류 데이터는 환자의 이력 데이터를 구성한다. 셋째, 유사하게 위치하는 다른 환자에 대한 센서 데이터 및 상위 수준 분류 데이터는 모집단 데이터를 구성한다. 따라서, 기준 조건은 (a) 치료 세션에 대한 환자의 기준 생체역학적 데이터, (b) 환자의 이전 세션으로부터의 데이터 및 (c) 모집단 데이터 중 하나 이상으로부터의 데이터를 포함할 수 있다. 기준 비트 템포는 다음으로 기준 조건에서 선택된다. 예를 들어, 기준 비트 템포는 음악을 재생하기 전에 환자의 현재 박자와 일치하도록 선택될 수 있다. 대안적으로, 기준 비트 템포를 환자의 현재 박자의 분수 또는 배수로 선택할 수 있다. 다른 대안으로, 기준 비트 템포는 동일한 환자의 이전 세션에서 사용된 기준 비트 템포와 일치하도록 선택될 수 있다. 또 다른 대안으로, 기준 비트 템포는 비슷한 신체 조건을 가진 다른 환자에게 사용되는 기준 비트 템포를 기반으로 선택될 수 있다. 마지막으로, 기준 비트 템포는 상술한 임의의 데이터의 조합을 기반으로 선택할 수 있다. 목표 비트 템포 또한 이 데이터로부터 결정할 수 있다. 예를 들어, 목표 비트 템포는 유사하게 위치하는 다른 환자가 보여준 개선을 참조하여 기준 비트 템포의 백분율 증가로 선택될 수 있다. 템포는 음악의 비트 주파수를 나타내는 것으로 이해된다.
단계(1806)에서, 휴대용 디바이스(220)로부터 음악 전달 디바이스(230)(예를 들어, 이어폰 또는 헤드폰 또는 스피커) 상에서 환자에게 제공되는 음악은 기준 템포 또는 기준 템포의 분할에서 시작된다. 기준 템포에서 환자에게 음악을 공급하기 위해, 데이터베이스에서 일정한 기준 템포를 갖는 음악이 선택되거나, 기존의 음악이 수정되어, 예를 들어, 선택적으로 빨라지거나 또는 느려져, 일정한 템포에서 비트 신호를 제공한다.
단계(1808)에서, 환자는 음악의 비트를 듣도록 지시된다. 단계(1810)에서, 환자는 기준 비트 템포에서 걷도록 지시되고, 선택적으로 왼발 및 오른발에 대한 큐를 받는다. 환자는 각 걸음이 음악의 비트와 가깝게 일치하도록, 예를 들어, 비트 템포로 "시간에 맞추어(in time)" 걷도록 지시된다. 단계 1806, 단계 1808 및 단계 1810은 치료사에 의해, 또는 휴대용 디바이스(220)상의 청각적 또는 시각적인 지시에 의해 개시될 수 있다.
단계(1812)에서, 환자의 센서(200, 206, 208)는 발뒤꿈치 충격 압력, 6 차원 운동, EMG 활동 및 환자 운동의 비디오 기록과 같은 환자 데이터를 기록하는 데 사용된다. 모든 센서 데이터는 타임스탬프된다. 데이터 분석은 본원에서 논의되는 "게이트" 분석을 포함하는 타임스탬프된 센서 데이터에서 수행된다. 예를 들어, 각 걸음의 개시 시간을 결정하기 위해, 센서 데이터, 예를 들어, 발뒤꿈치 충격 압력의 분석이 이루어진다. 수신되는 추가 데이터는 환자에게 제공되는 음악의 각 비트 신호와 연관되는 시간을 포함한다.
단계(1814)에서, 예측 및 분류를 위해 동조 모델(예를 들어, 분석 시스템(108)의 앙상블 기계 학습 시스템(410) 또는 수집기(106)에 다운로드되고 휴대용 디바이스(220) 상에서 실행되는 모델)에 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 이러한 연결은 일반적으로 매우 빠르거나 즉각적이다.
단계(1816)에서, 분석 시스템(108)에서 수행되는 선택적인 동조 분석이 센서 데이터에 적용된다. 동조 분석은 비트 신호와 환자가 행한 각 걸음의 개시 사이의 지연의 결정이 포함된다. 동조 분석으로부터의 출력으로서, 동조 포텐셜 및 EP 비율에 관해 위에서 논의한 바와 같이, 동조의 정확도에 관한 결정, 예를 들어 기준 템포와 환자의 걸음 사이의 순간 관계의 측정이 이루어진다. 동조가 정확하지 않으면, 예를 들어, 비트 템포의 속도를 올리거나 내리거나, 음량을 높이거나, 감각 입력을 증가시키거나, 메트로놈 또는 다른 관련된 소리를 중첩하는 등의 조정이 단계(1818)에서 행해진다. 동조가 정확하면, 예를 들어, 동조 포텐셜이 공차 내에서 일정하면, 단계(1820)에서 템포에 증분 변경이 수행된다. 예를 들어, 휴대용 디바이스로 재생되는 음악의 기준 템포가 목표 템포를 향해 예를 들어 5 % 만큼 증가된다.
단계(1822)에서, 예측 및 분류를 위해 동조 모델에 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 단계(1824)에서, 선택적 대칭 분석이 센서 데이터에 적용된다. 대칭 분석으로부터의 출력으로서, 환자 보행의 대칭, 예를 들어, 보폭, 속도, 자세 위상, 스윙 위상 등에 대해 환자의 왼발 동작이 환자의 오른발 동작과 얼마나 일치하는지에 관한 결정이 이루어진다. 걸음이 대칭적이지 않으면, 예를 들어, 임계치 아래이면, 휴대용 디바이스에 의한 환자에게의 음악 방송에 대한 조정이 단계(1826)에서 이루어진다. 제 1 변경은 환자의 발 중 하나의 운동 중에 재생되는 음악에 대해 행해질 수 있고, 제 2 변경은 환자의 다른 발의 운동 중에 재생되는 음악에 대해 행해질 수 있다. 예를 들어, 한 쪽, 예를 들어, 영향을 받은 쪽에서 단조(또는 증가된 음량, 감각 입력, 템포 변경 또는 사운드/메트로놈의 중첩)를 재생할 수 있으며, 다른 쪽, 예를 들어 영향을 받지 않은 쪽에서 장조를 재생할 수 있다. 기계 학습 시스템(410)은 예를 들어, 비대칭을 나타내는 동작을 분석함으로써 이에 이르는 시나리오의 '식별력 있는 특징(fingerprint)'에 기초하여 대칭 문제가 언제 나타날지 미리 예측한다. 비대칭은 그 배경이 한 측이 다른 측과 비교하여 어떻게 영향을 받았는지 결정할 수 있는 다른 사람과 정상적인 보행 파라미터를 비교하여 결정될 수 있다.
단계(1828)에서, 예측 및 분류를 위해 동조 모델에 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 단계(1830)에서, 예를 들어, 환자가 앞으로 기울고 있는지 여부와 같은 선택적 균형 중심 분석이 센서 데이터에 대해 수행된다. 분석은 발 센서의 출력과 비디오 출력을 결합하여 수행할 수 있다. 균형 중심 분석의 출력으로서, 환자가 앞으로 기울고 있는지에 관한 결정이 내려진다. 환자가 몸을 앞으로 기울이면, 단계(1832)에서 "똑바로 서십시오"라는 큐가 치료사에 의해 제공되거나, 또는 휴대용 디바이스의 청각적 또는 시각적 지시로 환자에게 이루어진다.
단계(1834)에서, 예측 및 분류를 위해 동조 모델에 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 단계(1836)에서, 개시 분석은 센서 데이터, 예를 들어, 환자가 망설임을 나타내거나 걷기의 개시를 어려워하는 것에 적용된다. 개시 분석의 결과로서, 환자가 개시에 문제를 나타내는지 여부에 관한 결정이 이루어진다. 환자가 개시 문제, 예를 들어 임계치 이하를 보이는 경우, 햅틱 피드백이 환자에게 제공될 수 있으며, 이는 단계(1838)에서 비트 템포에서의 카운트다운 또는 노래 시작 이전의 카운트다운을 포함할 수 있다.
단계(1840)에서, 환자가 보조 디바이스, 예를 들어, 지팡이, 목발, 보행기 등을 사용하는지 여부가 선택적으로 결정된다. 일부 실시예에서, 휴대용 디바이스(220)는 환자 또는 치료사가 보조 디바이스 사용에 관한 정보를 입력하는 사용자 인터페이스를 제공한다. 지팡이가 있는 경우, 분석은 3 보격, 예를 들어, 지팡이, 오른발, 왼발로 변경되고, "왼발", "오른발" 및 "지팡이"에 의한 큐잉이 단계(1842)에서 치료사에 의해, 또는 휴대용 디바이스의 청각적 또는 시각적 지시로 제공된다.
단계(1844)에서, 예측 및 분류를 위해 동조 모델에 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 선택적인 동조 분석(1846)이, 실질적으로 단계(1816)에서 상술한 바와 같이, 본원에서 언급되는 차이점과 함께 센서 데이터에 적용된다. 예를 들어, 동조는 세션의 더 이전 부분, 환자의 이전 세션으로부터의 이전 동조 데이터, 또는 다른 환자의 동조와 연관된 데이터와 비교될 수 있다. 동조 분석의 출력으로서, 동조의 정확도, 예를 들어, 환자의 보행이 기준 템포와 얼마나 가깝게 일치하는지에 관한 결정이 이루어진다. 동조가 정확하지 않으면, 단계(1818)에서 상술한 바와 실질적으로 동일한 방식으로, 단계(1848)에서 조정이 이루어진다.
상기 동조가 정확하면, 단계(1850)에서 환자가 목표 템포로 걷고 있는지 여부가 결정된다. 목표 템포에 도달하지 않으면, 방법은 단계(1820)(전술함)로 진행하여, 템포에 대한 증분 변경이 이루어진다. 예를 들어, 휴대용 디바이스로 재생되는 음악의 기준 템포는 목표 템포를 향해 예를 들어 5 % 만큼 증가 또는 감소된다. 목표 템포에 도달하면, 환자는 세션에서 남은 시간 동안 치료를 계속할 수 있다(단계 1852). 단계(1854)에서, 치료 세션에 있지 않을 때 사용되기 위한 바람직한 템포의 음악이 선정될 수 있고 도 2의 장치(220) 상에 남아 있을 수 있다. 이 음악 콘텐츠는 전용 치료 세션 사이에서 환자가 숙제/연습으로서 사용된다. 단계(827)에서, 프로그램은 종료된다.
상술되고 도 18에 도시된 단계들은 개시된 것과 다른 순서로 수행될 수 있음을 이해할 것이다. 예를 들어, 단계(1816, 1824, 1830, 1836, 1840, 1846 및 1850)에서의 평가는 동시에 수행될 수 있다. 또한, 분석 시스템(108)에 대한 복수의 연결(예를 들어, 단계(1814, 1822, 1828, 1834 및 1844))는 기술된 치료 세션을 통해 한 번만 수행될 수 있다.
도 19는 무시(neglect) 훈련에 유용한 기술을 도시한다. 무시 훈련의 경우, 본원에 기술된 시스템 및 방법은 연결된 하드웨어를 사용하여 환자가 표적을 정확하게 타격함에 따라 햅틱/진동 피드백을 제공한다. 연결된 하드웨어는 디바이스, 비디오 동작 캡처 시스템 또는 연결된 벨이 포함된다. 이 모든 디바이스는 설명된 시스템에 연결되고, 두드려지면 진동하며, 청각 피드백을 재생하는 스피커가 있다. 예를 들어, 연결된 벨은 센서(200)와 동일한 방식으로 시스템에 데이터, 예를 들어 환자에 의한 벨 타격에 관한 데이터를 제공한다. 비디오 동작 캡처 시스템은 비디오 카메라(206)와 동일한 방식으로 비디오 데이터를 시스템에 제공한다. 무시 훈련을 위한 주요 입력은 특정 위치로의 운동의 추적에 관한 정보이다. 이 프로그램은 연결된 하드웨어를 사용하여 환자가 표적을 정확하게 타격함에 따라 햅틱/진동 피드백을 제공한다. 무시 훈련을 위한 적합한 모집단은 공간적 무시 또는 편측 시각적 무시 조건을 가진 환자가 포함된다.
무시 훈련을 위한 도 19에 도시된 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 예를 들어, 기준 테스트는 환자의 상태 및/또는 이전 테스트로부터의 개선을 설정한다. 일부 실시예에서, 기준 테스트는 스크린, 예를 들어 휴대용 디바이스(220)의 디스플레이(222) 상에 균등하게 이격된 4 개의 객체를 보여주는 것을 포함한다. 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로, 배경 음악의 박자에 맞추어 객체를 타격하도록 지시된다. 보행 훈련에서와 같이, 환자는 배경 음악의 박자에 맞추어 벨을 타격하도록 지시된다. 모든 정확한 타격은 피드백을 제공한다. 일단 기준 정보가 수집되면, 왼쪽에서 오른쪽으로 균등하게 이격된 다수의 객체가 화면에 표시된다. 위에서와 같이, 환자는 배경 음악의 박자에 맞추어 순서대로 왼쪽에서 오른쪽으로 대상을 치도록 지시된다. 모든 정확한 타격은 피드백을 제공한다. 보행 훈련과 마찬가지로, 분석 시스템(108)은 환자의 응답을 평가하고 응답을 분류하고, 객체를 추가 또는 감소시키거나, 또는 음악의 템포를 증가 또는 감소시켜 목표 템포에 도달하도록 지시를 제공한다.
도 20은 억양 훈련에 유용한 기술을 도시한다. 억양 훈련을 위해, 본원에 기술된 시스템 및 방법은 음성 처리 알고리즘에 의존한다. 일반적으로 선택되는 구절은 다음의 범주 내의 일반적인 단어이다: 양순음(bilabial), 후두음(guttural) 및 모음. 하드웨어는 환자에게 연결되어 환자의 한 손에 분당 비트로 햅틱 피드백을 제공한다. 억양 훈련을 위한 주요 입력은 음성의 톤과 말해지는 단어 및 스피치의 리듬이다. 억양 훈련을 위한 적합한 모집단은 브로카 실어증(Broca's aphasia), 표현 실어증, 비유창성 실어증, 구어실행장애(apraxia), 자폐증 스펙트럼 장애 및 다운 증후군 환자를 포함한다.
억양 훈련을 위한 도 20의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 예를 들어, 탭핑을 장려하기 위해 햅틱 피드백이 환자의 한 손에 제공된다. 그 다음, 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로, 재생되는 음악을 듣도록 지시된다. 학습을 위해 말해지는 구절은 이를 두 부분으로 나누어 재생되며, 두 부분 중 첫번째는 높은 피치이고 두 부분 중 두번째는 낮은 피치이다. 다음으로 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로, 재생되는 2 개의 피치를 사용하여 디바이스로 구절을 노래하도록 지시된다. 보행 훈련과 마찬가지로, 분석 시스템(108)은 환자의 반응을 평가하고, 피치의 정확도, 말해지는 단어 및 환자 또는 보조자/치료사에 의한 순위에 따라 반응을 분류하고, 대체 구절을 제공하고 목표 스피치 파라미터에 대한 응답을 비교하기 위한 지시를 제공한다.
도 21은 음악 자극 훈련에 유용한 기술을 도시한다. 음악 자극 훈련을 위해, 본원에 기술된 시스템 및 방법은 음성 처리 알고리즘에 의존한다. 익숙한 노래가 예상되는 부분을 분리하는 알고리즘(기대치 위반으로 지칭됨)과 함께 사용된다. 하드웨어는 환자에 의한 노래를 수신하고 처리하기 위한 스피커를 포함하고, 일부 실시예에서는 치료사가 노래 정확도에 관한 입력을 수동으로 제공할 수 있다. 주요 입력은 음성의 톤과 말해지는 단어, 스피치의 리듬 및 음악 선호와 관련된 정보이다. 적합한 모집단은 브로카 실어증, 비유창성 실어증, TBI, 뇌졸중 및 원발성 진행성 실어증 환자를 포함한다.
음악 자극 훈련을 위한 도 21의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 예를 들어, 환자를 위해 노래가 재생되고, 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로 노래를 듣도록 지시된다. 음악 큐가 노래에 추가된다. 이어서, 예상되는 지점에서, 단어나 소리가 빠지며 제스처 음악 큐가 재생되어 환자가 누락된 단어나 소리를 부르도록 한다. 보행 훈련과 마찬가지로, 분석 시스템(108)은 환자의 응답을 평가하고 피치의 정확도, 말해지는 단어 및 환자 또는 보조자/치료사에 의한 순위로 응답을 분류하고, 목표로 하는 스피치 파라미터로 스피치를 개선하기 위해 노래의 추가 부분을 재생하기 위한 지시를 제공한다.
도 22는 대근육 운동 훈련에 유용한 기술을 도시한다. 대근육 운동 훈련을 위하여, 본원에 기술된 시스템 및 방법은 운동 실조(ataxia), 동작 범위 또는 개시를 돕도록 이루어진다. 연습의 더 어려운 부분은 예를 들어 멜로디, 화성, 리듬 및/또는 포스 큐의 사용에 의해 음악적으로 "악센트(accent)"된다. 주요 입력은 연결된 하드웨어 또는 비디오 카메라 시스템을 통한 X, Y 및 Z 캡처의 운동과 연관된 정보이다. 적합한 모집단은 신경학, 정형외과, 근력, 지구력, 균형, 자세, 동작 범위, TBI, SCI, 뇌졸중 및 뇌성 마비가 있는 환자를 포함한다.
대근육 운동 훈련을 위한 도 22의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자에게는 음악 셀렉션의 기준 비트에 맞추어 이동하기 위한 큐가 제공된다. 분석 시스템(108)은 환자의 응답을 평가하고 위에서 논의한 바와 같이 동작의 정확도 및 동조로 응답을 분류하고, 재생되는 음악의 템포를 증가 또는 감소시키는 지시를 제공한다.
도 23은 그립 강도 훈련에 유용한 기술을 도시한다. 그립 강도 훈련을 위해, 본원에 기술된 시스템 및 방법은 그리퍼 디바이스와 연관된 센서에 의존한다. 하드웨어는 압력 센서를 갖는 그리퍼 디바이스, 휴대용 디바이스(220)와 연관되고 연결된 스피커를 포함한다. 주요 입력은 센서(200)에 의해 측정된 발뒤꿈치 충격 압력과 유사한 방식으로 환자에 의해 그리핑 디바이스에 제공되는 압력이다. 적합한 모집단은 신경학, 정형외과, 근력, 지구력, 균형, 자세, 동작 범위, TBI, SCI, 뇌졸중 및 뇌성 마비가 있는 환자를 포함한다.
그립 강도 훈련을 위한 도 23의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자에게는 음악 셀렉션의 기준 비트에 맞추어 그리핑 디바이스에 힘을 가하기 위한 큐가 제공된다. 분석 시스템(108)은 환자의 응답을 평가하고 위에서 논의한 바와 같이 동작의 정확도 및 동조로 응답을 분류하고, 재생되는 음악의 템포를 증가 또는 감소시키는 지시를 제공한다.
도 24는 스피치 큐잉 훈련에 유용한 기술을 도시한다. 스피치 큐잉 훈련을 위해, 본원에 기술된 시스템 및 방법은 음성 처리 알고리즘에 의존한다. 하드웨어는 환자에 의한 노래를 수신하고 처리하기 위한 스피커를 포함할 수 있으며, 일부 실시예에서 치료사는 스피치 정확도에 관한 입력을 수동으로 제공할 수 있다. 주요 입력은 음성의 톤과 말해지는 단어 및 스피치의 리듬 및 음악 선호이다. 적합한 모집단은 로봇, 단어 찾기 및 말더듬 문제가 있는 환자를 포함한다.
스피치 큐잉 훈련을 위한 도 24의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로 음악 셀렉션의 각 비트에 맞추어 한 음절을 말함으로써 문장을 말하도록 큐를 제공받는다. 분석 시스템(108)은 환자의 스피치를 평가하고 위에서 논의한 바와 같이 스피치의 정확도 및 동조로 응답을 분류하고, 재생되는 음악의 템포를 증가 또는 감소시키는 지시를 제공한다.
도 25는 최소 의식 환자의 훈련에 유용한 기술을 도시한다. 본원에 기술된 시스템 및 방법은 환자의 눈이 열려 있는지의 여부, 환자가 보고 있는 방향, 및 결과로 생기는 환자 맥박 또는 심박수를 측정하기 위해 3 차원 카메라와 같은 영상 시스템에 의존한다. 프로그램은 심박수, 자극, 호흡률, 눈 감기, 자세 및 불안을 검색하고 최적화한다. 적절한 모집단은 혼수 상태 및 의식 장애가 있는 환자를 포함한다.
최소 의식 환자 훈련을 위한 도 25의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자는 환자의 호흡률(PBR)에서 증가하는 자극을 제공받는다. 예를 들어, 환자에게 먼저 PBR의 음악 코드에서 자극이 제공되고 환자의 눈이 떠지는지 관찰한다. 환자의 눈이 떠지지 않으면, PBR에서 간단한 멜로디를 흥얼거리는 것에서부터, PBR에서 "아아(aah)"를 노래하기, PBR에서 환자의 이름을 노래하기(또는 그러한 소리가 녹음된 것을 재생하기)로, 자극을 순차적으로 증가시키며, 각 입력에서 환자의 눈이 떠지는지 여부를 확인한다. 분석 시스템(108)은 환자의 안구 추적을 평가하고 의식 수준에 따라 응답을 분류하고 자극을 변화시키기 위한 지시를 제공한다.
도 26 내지 도 28은 주의력 훈련에 유용한 기술을 설명한다. 주의력 훈련을 위해, 본원에 기술된 시스템 및 방법은 환자가 관심을 유지, 분할, 대체 및 선택하는 것을 돕기 위해 폐루프 방식으로 작동한다. 어떤 운동을 하게 될 지 신호를 주는 시각적 큐는 허용되지 않는다. 적합한 모집단은 뇌종양, 다발성 경화증, 파킨슨 병, 신경 질환 및 상해를 가진 환자를 포함한다.
주의력 훈련을 위한 도 26의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자에게 악기(예를 들어, 드럼스틱, 드럼, 키보드 또는 각각의 무선 연결된 버전과 같은 임의의 악기를 사용할 수 있다)가 제공되고, 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로, 도 26에 나타난 바와 같이 레벨 1 내지 레벨 9에 의해 정의된 오디오 큐를 따르거나 작업을 수행하도록 지시된다. 분석 시스템(108)은 작업을 정확하게 완료하는 환자의 능력을 평가하고 응답을 분류하여 작업의 템포 또는 난이도를 변화시킨다. 유사하게, 도 27은 왼쪽 귀 및 오른쪽 귀 사이에서 교대하는 오디오 큐를 따르거나 작업을 수행하도록, 디스플레이(222) 상에 나타나는 큐에 의해 또는 치료사에 의해 구두로 지시가 제공되는 교대 주의력 훈련을 위한 흐름도를 도시한다. 도 28은 왼쪽 귀와 오른쪽 귀 둘 다에서 오디오 신호들을 갖는 오디오 큐를 따르거나 작업을 수행하도록 지시가 제공되는 분할된 주의력에 대한 흐름도를 도시한다.
손놀림 훈련을 위한 도 29의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 손놀림 훈련을 위해, 기준 운동 및 동작 정보 범위를 수집하기 위해 환자는 피아노 건반에서 손가락으로 두드리도록 지시된다. 노래는 특정한 분당 비트로 시작되고, 환자는 기준 손가락 수로 두드리기 시작한다. 분석 시스템(108)은 작업을 정확하게 완료하는 환자의 능력을 평가하고 응답을 분류하여 작업의 템포 또는 난이도를 변화시킨다.
구강 운동 훈련을 위한 도 30의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 구강 운동 훈련을 위해, 환자는 예를 들어, "오오" 및 "아아"와 같은 두 소리를 번갈아 수행하는 지시를 받는다. 분석 시스템(108)은 정확하게 과제를 완료할 수 있는 환자의 능력을 평가하고 응답을 분류하여 템포 또는 작업의 난이도를, 예를 들어, 다른 목표 사운드를 제공함으로써 변화시킨다.
호흡 훈련을 위한 도 31의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 본원에 차이점만이 언급된다. 호흡 훈련을 위해, 기준 호흡률과 호흡의 얕음이 결정된다. 음악은 환자의 호흡률에서 기준 템포로 제공되고, 환자는 도 31에 기술된 레벨에서 호흡 작업을 수행하도록 지시된다. 분석 시스템(108)은 정확하게 작업을 완료할 수 있는 환자의 능력을 평가하고, 응답을 분류하여 템포 또는 작업의 난이도를, 예를 들어, 다른 호흡 패턴을 제공함으로써 변화시킨다.
상기 시스템, 디바이스, 방법, 프로세스 등은 하드웨어, 소프트웨어, 또는 애플리케이션에 적합한 이들의 임의의 조합으로 실현될 수 있다. 하드웨어는 범용 컴퓨터 및/또는 전용 컴퓨팅 디바이스를 포함할 수 있다. 이는 내부 및/또는 외부 메모리와 함께, 하나 이상의 마이크로프로세서, 마이크로컨트롤러, 내장형 마이크로컨트롤러, 프로그램 가능 디지털 신호 프로세서 또는 기타 프로그래밍 가능 디바이스 또는 처리 회로에서의 구현을 포함한다. 이는 또한, 또는 대신에, 하나 이상의 주문형 집적 회로, 프로그램 가능 게이트 어레이, 프로그램 가능 어레이 로직 구성요소 또는 전자 신호를 처리하도록 구성될 수 있는 임의의 다른 디바이스 또는 디바이스들을 포함할 수 있다. 상술한 프로세스 또는 디바이스의 실현은 C와 같은 구조화된 프로그래밍 언어, C ++와 같은 객체 지향 프로그래밍 언어 또는 임의의 다른 고수준 또는 저수준 프로그래밍 언어(어셈블리 언어, 하드웨어 기술 언어 및 데이터베이스 프로그래밍 언어 및 기술 포함)를 사용하여 생성되며 저장되거나, 컴파일되거나 또는 상기 디바이스 중 하나에서 실행되도록 해석될 수 있는 컴퓨터 실행 가능 코드뿐 아니라, 프로세서의 이기종 조합, 프로세서 아키텍처 또는 상이한 하드웨어와 소프트웨어의 조합을 포함할 수 있음을 또한 이해할 것이다. 다른 양상에서, 방법은 그 단계를 수행하는 시스템에서 구현될 수 있으며, 여러 가지 방법으로 디바이스에 걸쳐 분산될 수 있다. 동시에, 처리는 상술한 다양한 시스템과 같은 디바이스에 걸쳐 분산되거나, 모든 기능이 전용 독립 실행형 디바이스 또는 다른 하드웨어에 통합될 수 있다. 다른 양상에서, 상술한 프로세스와 연관된 단계를 수행하기 위한 수단은 상술한 임의의 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 이러한 모든 치환 및 조합은 본 개시의 범위에 속하는 것으로 의도된다.
본원에 개시된 실시예는 하나 이상의 컴퓨팅 디바이스에서 실행될 때 그 임의의 및/또는 모든 단계를 수행하는 컴퓨터 실행 가능 코드 또는 컴퓨터 사용 가능 코드를 포함하는 컴퓨터 프로그램 제품을 포함할 수 있다. 코드는 프로그램이 실행되는 메모리(프로세서와 연관된 랜덤 액세스 메모리와 같은) 또는 디스크 드라이브, 플래시 메모리 또는 다른 광, 전자기, 자기, 적외선 또는 다른 디바이스 또는 디바이스의 조합과 같은 저장 장치일 수있는 컴퓨터 메모리에 비 일시적인 방식으로 저장될 수 있다. 다른 양상에서, 상술한 시스템 및 방법 중 임의의 것은 컴퓨터 실행 가능 코드 및/또는 그로부터의 임의의 입력 또는 출력을 전달하는 임의의 적절한 전송 또는 전파 매체로 구현될 수 있다.
상술한 디바이스, 시스템 및 방법은 제한이 아닌 예로서 설명되는 것으로 이해될 것이다. 반대로의 명백한 지시가 없으면, 개시된 단계들은 본 개시의 범위를 벗어나지 않고 변경, 보충, 생략 및/또는 재순서화될 수 있다. 많은 변형, 추가, 생략 및 다른 변경이 당업자에게 명백할 것이다. 또한, 위의 설명 및 도면에서 방법 단계의 순서 또는 제시는 순서가 명시적으로 요구되거나 문맥상 달리 명확하지 않은 한, 열거된 단계를 수행하는 그 순서를 요구하는 것으로 의도되지 않는다.
본원에 기술된 구현의 방법 단계는 상이한 의미가 명시적으로 제공되거나 문맥으로부터 달리 명확하지 않으면, 다음의 청구범위의 특허성에 따라 수행되는 그러한 방법 단계를 수행하게 하는 임의의 적합한 방법을 포함하도록 의도된다. 따라서 예를 들어 X의 단계를 수행하는 것은 원격 사용자, 원격 처리 자원(예를 들어, 서버 또는 클라우드 컴퓨터) 또는 기계와 같은 다른 당사자가 X의 단계를 수행하도록 하는 적절한 방법을 포함한다. 마찬가지로, X, Y 및 Z 단계의 수행에는 이러한 단계의 이점을 얻기 위해 단계 X, Y 및 Z를 수행하는 다른 개인 또는 자원의 조합을 지시하거나 제어하는 방법이 포함될 수 있다. 따라서, 본원에 기술된 구현의 방법 단계는, 다른 의미가 명시적으로 제공되거나 문맥으로부터 달리 명확하지 않으면, 다음의 청구범위의 특허성에 따라, 하나 이상의 다른 당사자 또는 실체가 단계를 수행하도록 하는 임의의 적합한 방법을 포함하도록 의도된다. 그러한 당사자 또는 실체는 다른 당사자 또는 실체의 지시 또는 통제 하에 있지 않아도 되며, 특정 관할 구역 내에 위치할 필요가 없다.
상기 방법이 예로서 제공됨을 또한 인식해야 한다. 반대로의 명백한 지시가 없으면, 개시된 단계들은 본 개시의 범위를 벗어나지 않고 변경, 보충, 생략 및/또는 재순서화될 수 있다.
상술한 방법 및 시스템은 제한이 아닌 예로서 기술되어 있음을 이해할 것이다. 많은 변형, 추가, 생략 및 다른 변경이 당업자에게 명백할 것이다. 또한, 위의 설명 및 도면에서 방법 단계의 순서 또는 제시는 특정한 순서가 명시적으로 요구되거나 문맥에서 달리 명확하지 않은 한 열거된 단계를 수행하는 순서를 요구하고자 의도하지 않는다. 따라서, 특정한 실시예가 도시되고 설명되었지만, 본 개시의 사상 및 범위를 벗어나지 않으면서 형태 및 세부 사항에서 다양한 변경 및 수정이 이루어질 수 있음은 당업자에게 명백할 것이다.
Claims (26)
- 환자가 비트 템포에서 비트 신호 - 상기 비트 신호 각각은 각각의 출력 시간에서 출력됨 - 를 갖는 음악을 제공받고 상기 환자가 상기 비트 신호와 시간을 맞추어 반복 운동을 수행하도록 시도하는 치료 세션 동안에 음악 치료를 제공하는 것에 의한 신체 장애가 있는 상기 환자의 재활 방법에 있어서, 상기 방법은, 실행될 때 상기 방법을 수행하는, 기계 판독가능한 명령에 의해 구성되는 하나 이상의 물리적 프로세서를 갖는 컴퓨터 시스템 상에서 구현되며, 상기 방법은:
상기 반복 운동과 관련된 상기 환자의 타임스탬프된 생체역학적 데이터를 수신하는 것 - 각각의 반복 운동은 상기 비트 신호 중 연관된 비트 신호와 시간을 맞추어 상기 환자에 의해 수행되고, 상기 생체역학적 데이터는 센서를 이용하여 측정됨 -;
상기 반복 운동 중 하나 이상의 개시 시간을 식별하기 위해 상기 타임스탬프된 생체역학적 데이터를 분석하는 것;
상기 개시 시간 및 상기 연관된 비트 신호의 상기 출력 시간 사이의 지연을 측정하는 것;
상기 측정된 지연에 기초하여 동조(entrainment) 파라미터를 결정하는 것;
상기 동조 파라미터에 기초하여 상기 음악을 수정하는 것; 및
상기 수정된 음악을 이용하여 상기 치료 세션을 계속하는 것을 포함하는 재활 방법. - 제1항에 있어서,
상기 환자로부터 상기 생체역학적 데이터를 측정하는 것을 더 포함하고, 상기 환자로부터 상기 생체역학적 데이터를 측정하는 것은 상기 환자와 연관된 센서를 제공하는 것 및 상기 환자의 운동과 연관된 동작, 가속 및 압력 중 하나 이상을 측정하는 것을 포함하는 재활 방법. - 제1항에 있어서, 상기 음악을 수정하는 것은 상기 동조 파라미터에 기초하여 목표 비트 템포와 관련하여 상기 비트 템포를 조정하는 것을 포함하는 재활 방법.
- 제2항에 있어서, 상기 환자로부터 상기 생체역학적 데이터를 측정하는 것은:
관성 측정 유닛(IMU) 디바이스를 이용하여 운동 데이터를 캡처하는 것, 및
영상 캡처 디바이스를 이용하여 상기 환자의 운동과 연관된 비디오를 캡처하는 것
중 하나 이상을 포함하는 재활 방법. - 제1항에 있어서, 상기 음악을 수정하는 것은:
목표 비트 템포와 관련하여 상기 비트 템포를 조정하는 것, 상기 비트 신호 중 하나 이상을 수정하는 것, 상기 음악의 코드(chord)를 조정하는 것, 상기 음악의 음량을 조정하는 것, 상기 음악의 보격(meter)을 조정하는 것, 상기 음악에 하나 이상의 청각적 큐(cue)를 추가하는 것, 상기 음악에 리듬 구성요소를 추가하는 것, 상기 음악의 템포를 조정하는 것 중 적어도 하나를 포함하는 재활 방법. - 제1항에 있어서, 연관된 비트 신호와 시간을 맞추어 각각의 반복 운동을 수행하도록 상기 환자에게 큐를 제공하는 것을 더 포함하고,
각각의 반복 운동을 수행하도록 상기 환자에게 큐를 제공하는 것은 상기 연관된 비트 신호와 관련하여 상기 환자에게 시각적 또는 청각적 또는 햅틱(haptic) 큐를 제공하는 것을 포함하는 재활 방법. - 제1항에 있어서,
상기 비트 템포를 목표 비트 템포에 비교하는 것을 더 포함하고,
상기 음악은 상기 비트 템포 비교 및 상기 계산된 동조 포텐셜의 함수로서 수정되는 재활 방법. - 제1항에 있어서, 동조 파라미터를 결정하는 것은 복수의 반복 운동 각각의 상기 각각의 개시 시간 및 상기 연관된 비트 신호의 상기 각각의 출력 시간 사이의 지연을 실시간으로 결정하는 것을 포함하고,
주어진 반복 운동에 대한 상기 식별된 개시 시간은 상기 주어진 반복 운동 동안 규정된 식별 가능한 이벤트가 발생하는 시간인 재활 방법. - 제1항에 있어서, 일정 시간 동안 발생하는 상기 복수의 반복 운동 각각에 대해 개별적으로 측정된 상기 반복 운동의 상기 개시 시간 및 상기 비트 신호 사이의 상기 지연이 실질적으로 일정하면, 상기 비트 템포를 목표 비트 템포를 향해 증가시키는 것을 더 포함하는 재활 방법.
- 제1항에 있어서, 상기 환자에게 상기 음악을 제공하는 것을 더 포함하는 재활 방법.
- 제10항에 있어서, 상기 환자에게 음악을 제공하는 것은:
상기 비트 템포에서 비트 신호를 갖는 음악을 선택하는 것, 상기 비트 템포에서 비트 신호를 갖도록 기존의 음악을 수정하는 것 중 하나 이상을 더 포함하는 재활 방법. - 제1항에 있어서, 상기 반복 운동은 상기 환자의 보행을 포함하고, 상기 방법은:
상기 환자의 보행의 대칭을 분류하기 위하여 상기 생체역학적 데이터를 분석하는 것;
상기 환자의 보행의 상기 대칭의 분류 및 상기 동조 파라미터의 함수로서 상기 음악을 수정하는 것을 더 포함하는 재활 방법. - 제1항에 있어서,
상기 반복 운동에서의 결함을 분류하기 위하여 상기 생체역학적 데이터를 분석하는 것;
상기 동조 파라미터의 함수로서 그리고 상기 결합의 상기 분류에 기초하여 상기 음악을 수정하는 것을 더 포함하는 재활 방법. - 제1항에 있어서,
상기 환자의 상기 반복 운동에 관하여 상기 환자로부터 생체역학적 데이터의 초기 세트를 수신하는 것;
상기 생체역학적 데이터의 초기 세트에 기초하여, 상기 환자에 대한 기준 조건을 결정하는 것; 및
상기 기준 조건에 기초하여 상기 비트 템포를 결정하는 것을 더 포함하는 재활 방법. - 환자가 비트 템포에서 비트 신호 - 상기 비트 신호 각각은 각각의 출력 시간에서 출력됨 - 를 갖는 음악을 제공받고 상기 환자가 상기 비트 신호와 시간을 맞추어 반복 운동을 수행하는 치료 세션 동안에 음악 치료를 제공하는 것에 의한 신체 장애가 있는 상기 환자의 재활 시스템에 있어서, 상기 시스템은:
상기 환자의 타임스탬프된 생체역학적 데이터 및 타임스탬프된 비트 신호를 수신하고 - 타임스탬프된 생체역학적 데이터는 상기 비트 신호 중 하나와 관련하여 상기 환자에 의해 수행되는 각각의 반복 운동과 관련되고, 상기 생체역학적 데이터는 상기 환자와 연관된 센서를 이용하여 측정되고, 상기 수신된 타임스탬프된 비트 신호는 상기 비트 신호의 상기 각각의 출력 시간을 표현함 -;
상기 반복 운동 중 하나 이상의 개시 시간을 식별하기 위해 상기 타임스탬프된 생체역학적 데이터를 분석하고;
상기 하나 이상의 반복 운동 각각에 대해, 상기 식별된 개시 시간 및 상기 비트 신호의 상기 각각의 출력 시간 사이의 지연을 결정하고;
상기 측정된 지연에 기초하여 동조 파라미터를 계산하고;
상기 동조 파라미터에 기초하여 상기 음악을 수정하기 위한 명령을 제공하도록
기계 판독가능한 명령에 의해 구성되는 하나 이상의 물리적 프로세서를 갖는 컴퓨터 시스템을 포함하는 재활 시스템. - 제15항에 있어서,
상기 환자에게 상기 음악을 제공하기 위한 음악 전달 디바이스; 및
상기 환자와 연관되고 상기 타임스탬프된 생체역학적 데이터를 측정하는 상기 센서를 더 포함하는 재활 시스템. - 제16항에 있어서, 상기 음악을 수정하기 위한 상기 명령은:
목표 비트 템포와 관련하여 상기 비트 템포를 조정하는 것, 상기 비트 신호 중 하나 이상을 수정하는 것, 상기 음악의 코드를 조정하는 것, 상기 음악의 음량을 조정하는 것, 상기 음악의 보격을 조정하는 것, 상기 음악에 하나 이상의 청각적 큐를 추가하는 것, 상기 음악에 리듬 구성요소를 추가하는 것 및 상기 음악의 템포를 조정하는 것 중 적어도 하나를 위한 명령을 포함하는 재활 시스템. - 제15항에 있어서, 상기 음악을 수정하기 위한 상기 명령은 상기 계산된 동조 포텐셜 및 상기 비트 템포와 목표 비트 템포 사이의 차이의 함수로서 제공되는 재활 시스템.
- 제15항에 있어서, 상기 컴퓨터 시스템은. 복수의 반복 운동 각각의 상기 개시 시간 및 상기 연관된 비트 신호의 상기 각각의 출력 시간 사이의 상기 지연을 실시간으로 결정함으로써 상기 동조 파라미터를 결정하도록 구성되고,
주어진 반복 운동에 대한 상기 식별된 개시 시간은 상기 주어진 반복 운동 동안 규정된 식별 가능한 이벤트가 발생하는 시간인 재활 시스템. - 제15항에 있어서,
상기 컴퓨터 시스템은,
상기 반복 운동에서의 결함을 분류하기 위하여 상기 생체역학적 데이터를 분석하고; 및
상기 환자의 개시가 문제가 있는 경우, 상기 동조 파라미터의 함수로서 그리고 상기 결함의 상기 분류에 기초하여 상기 음악을 수정하기 위한 명령을 제공하도록
기계 판독가능한 명령에 의해 구성되는 재활 시스템. - 리듬 오디오 치료를 제공하는 것에 의한 신체 장애가 있는 환자의 재활 방법에 있어서, 상기 방법은, 환자가 비트 템포에서 비트 신호 - 상기 비트 신호 각각은 각각의 출력 시간에서 출력됨 - 를 갖는 리듬 오디오 콘텐츠를 제공받고 상기 환자가 상기 비트 신호와 시간을 맞추어 반복 운동을 반복적으로 수행하도록 시도하는 치료 세션 동안에 구현되고, 상기 방법은, 실행될 때 상기 방법을 수행하는, 기계 판독가능한 명령에 의해 구성되는 프로세서를 갖는 컴퓨터 시스템 상에서 구현되며, 상기 방법은:
상기 환자에 의해 수행되는 상기 반복 운동과 관련된 상기 환자의 타임스탬프된 생체역학적 데이터를 수신하는 것 - 각각의 반복 운동은 상기 비트 신호 중 연관된 비트 신호와 관련하여 수행되고, 상기 생체역학적 데이터는 센서를 이용하여 측정됨 -;
상기 타임스탬프된 생체역학적 데이터 및 상기 연관된 비트 신호의 상기 출력 시간에 기초하여, 각각의 반복 운동과 그 연관된 비트 신호 사이의 시간적 관계를 각각 결정하는 것;
상기 반복 운동 중 하나 이상에 대해 각각 결정된 상기 시간적 관계에 기초하여 동조 파라미터를 계산하는 것; 및
상기 결정된 동조 파라미터에 기초하여 상기 환자에게 출력되는 상기 리듬 오디오 콘텐츠를 수정하는 것을 포함하는 재활 방법. - 제21항에 있어서, 상기 수신하는 단계, 결정하는 단계, 계산하는 단계 및 수정하는 단계는, 상기 환자에게 출력된 상기 리듬 오디오 콘텐츠가 상기 동조 파라미터의 함수로서 거의 실시간으로 동적으로 수정되는 상기 치료 세션 전체에 걸쳐 반복되는 재활 방법.
- 제21항에 있어서,
오디오 출력 디바이스를 이용하여 상기 환자에게 상기 리듬 오디오 콘텐츠를 제공하는 것; 및
상기 환자와 연관된 상기 센서를 이용하여 상기 환자로부터 상기 생체역학적 데이터를 측정하는 것을 더 포함하는 재활 방법. - 제21항에 있어서, 상기 리듬 오디오 콘텐츠를 수정하는 것은:
목표 비트 템포와 관련하여 상기 비트 템포를 조정하는 것, 상기 비트 신호 중 하나 이상을 수정하는 것, 상기 리듬 오디오 콘텐츠의 코드를 조정하는 것, 상기 리듬 오디오 콘텐츠의 음량을 조정하는 것, 상기 리듬 오디오 콘텐츠의 보격을 조정하는 것, 상기 리듬 오디오 콘텐츠에 하나 이상의 청각적 큐를 추가하는 것, 상기 리듬 오디오 콘텐츠에 리듬 구성요소를 추가하는 것, 상기 음악의 템포를 조정하는 것 중 적어도 하나를 포함하는 재활 방법. - 제21항에 있어서, 연관된 비트 신호와 시간을 맞추어 각각의 반복 운동을 수행하도록 상기 환자에게 큐를 제공하는 것을 더 포함하고,
각각의 반복 운동을 수행하도록 상기 환자에게 큐를 제공하는 것은 상기 연관된 비트 신호와 관련하여 상기 환자에게 시각적 또는 청각적 또는 햅틱 큐를 제공하는 것을 포함하는 재활 방법. - 제21항에 있어서,
상기 반복 운동에서의 결함을 평가하기 위하여 상기 생체역학적 데이터를 분석하는 것;
상기 동조 파라미터의 함수로서 그리고 상기 결함의 상기 평가에 기초하여 상기 리듬 오디오 콘텐츠를 수정하는 것을 더 포함하는 재활 방법.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662322504P | 2016-04-14 | 2016-04-14 | |
| US62/322,504 | 2016-04-14 | ||
| KR1020187032787A KR102378434B1 (ko) | 2016-04-14 | 2017-04-14 | 신경학적 재활을 위한 시스템 및 방법 |
| PCT/US2017/027742 WO2017181093A1 (en) | 2016-04-14 | 2017-04-14 | Systems and methods for neurologic rehabilitation |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187032787A Division KR102378434B1 (ko) | 2016-04-14 | 2017-04-14 | 신경학적 재활을 위한 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220044364A true KR20220044364A (ko) | 2022-04-07 |
| KR102487044B1 KR102487044B1 (ko) | 2023-01-11 |
Family
ID=60039255
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227009329A KR102487044B1 (ko) | 2016-04-14 | 2017-04-14 | 신경학적 재활을 위한 시스템 및 방법 |
| KR1020187032787A KR102378434B1 (ko) | 2016-04-14 | 2017-04-14 | 신경학적 재활을 위한 시스템 및 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187032787A KR102378434B1 (ko) | 2016-04-14 | 2017-04-14 | 신경학적 재활을 위한 시스템 및 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US10448888B2 (ko) |
| EP (2) | EP4180079A1 (ko) |
| JP (2) | JP7086930B2 (ko) |
| KR (2) | KR102487044B1 (ko) |
| CN (2) | CN114190924B (ko) |
| CA (1) | CA3020982A1 (ko) |
| WO (1) | WO2017181093A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525236B1 (ko) | 2022-12-12 | 2023-04-25 | 주식회사 엠쓰리솔루션 | 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템 |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9996739B2 (en) * | 2016-02-19 | 2018-06-12 | Conduent Business Services, Llc | System and method for automatic gait cycle segmentation |
| US12128270B2 (en) | 2016-04-14 | 2024-10-29 | MedRhythms, Inc. | Systems and methods for neurologic rehabilitation |
| US12127851B2 (en) * | 2016-04-14 | 2024-10-29 | MedRhythms, Inc. | Systems and methods for augmented neurologic rehabilitation |
| EP4180079A1 (en) * | 2016-04-14 | 2023-05-17 | Medrhythms, Inc. | Systems for neurologic rehabilitation |
| JP6653222B2 (ja) * | 2016-06-06 | 2020-02-26 | マクセル株式会社 | 手指運動練習メニュー生成システム、方法、及びプログラム |
| CN106582003B (zh) | 2016-11-01 | 2019-11-05 | 爱柯迪股份有限公司 | 一种电动动力鞋的调节机构 |
| CN106390430B (zh) | 2016-11-01 | 2019-03-05 | 爱柯迪股份有限公司 | 一种动力鞋装置的防倒转装置 |
| CN106390428B (zh) | 2016-11-01 | 2019-03-05 | 爱柯迪股份有限公司 | 一种仿生电动动力鞋 |
| US11468286B2 (en) * | 2017-05-30 | 2022-10-11 | Leica Microsystems Cms Gmbh | Prediction guided sequential data learning method |
| EP3649646A4 (en) | 2017-07-02 | 2020-06-03 | Oberon Sciences Ilan Ltd. | SUBJECT-SPECIFIC SYSTEM AND METHOD FOR PREVENTION OF ADAPTATION OF THE BODY TO CHRONIC TREATMENT OF A DISEASE |
| US11364431B2 (en) | 2017-07-08 | 2022-06-21 | Shift Robotics, Inc. | Method and device for control of a mobility device |
| WO2019087196A1 (en) * | 2017-11-05 | 2019-05-09 | Oberon Sciences Ilan Ltd. | A subject-tailored continuously developing randomization based method for improving organ function |
| CN108114358B (zh) * | 2017-12-21 | 2020-10-09 | 泰康保险集团股份有限公司 | 音乐康复系统 |
| US11583209B2 (en) * | 2018-02-17 | 2023-02-21 | Revibe Technologies, Inc. | System and method for a personalized reminder with intelligent self-monitoring |
| US11191433B2 (en) | 2018-02-17 | 2021-12-07 | Revibe Technologies, Inc. | Apparatus and method for a personalized reminder with intelligent self-monitoring |
| WO2019180029A1 (en) * | 2018-03-19 | 2019-09-26 | Ao Technology Ag | Device and method for evaluating gait asymmetry |
| CN112261971B (zh) * | 2018-04-29 | 2023-06-30 | 瞬动科技股份有限公司 | 步态控制移动性装置 |
| WO2019229755A2 (en) * | 2018-05-30 | 2019-12-05 | Tiktalk To Me Ltd. | Method and systems for speech therapy computer-assisted training and repository |
| CN109085918B (zh) * | 2018-06-28 | 2020-05-12 | 天津大学 | 基于肌电的针灸行针手法训练方法 |
| AU2019338522A1 (en) | 2018-09-14 | 2021-05-13 | De Oro Devices, Inc. | Cueing device and method for treating walking disorders |
| WO2020146680A1 (en) | 2019-01-09 | 2020-07-16 | Nimbus Robotics, Inc. | A method and device for control of a mobility device using an estimated gait trajectory |
| US10504496B1 (en) * | 2019-04-23 | 2019-12-10 | Sensoplex, Inc. | Music tempo adjustment apparatus and method based on gait analysis |
| US11589781B2 (en) | 2019-05-31 | 2023-02-28 | Georgetown University | Assessing diseases by analyzing gait measurements |
| JP6968458B2 (ja) * | 2019-08-08 | 2021-11-17 | 株式会社元気広場 | 機能改善支援システム、および機能改善支援装置 |
| WO2021085785A1 (en) * | 2019-10-29 | 2021-05-06 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling thereof |
| CN114630613A (zh) * | 2019-11-12 | 2022-06-14 | 梅德律动公司 | 用于神经康复的系统和方法 |
| KR102372849B1 (ko) * | 2019-12-30 | 2022-03-10 | 순천향대학교 산학협력단 | 복합적 손 움직임 유도를 통한 뇌 운동 시스템 및 방법 |
| US20230102689A1 (en) * | 2020-03-18 | 2023-03-30 | De Oro Devices, Inc. | Movement correction system and methods |
| WO2021229512A1 (en) * | 2020-05-14 | 2021-11-18 | Vayyar Imaging Ltd. | Systems and methods for ongoing monitoring of health and wellbeing |
| CN116096289A (zh) * | 2020-07-21 | 2023-05-09 | 医学节奏股份有限公司 | 用于增强神经康复的系统和方法 |
| EP3967223A1 (en) * | 2020-09-09 | 2022-03-16 | Beats Medical Limited | A system and method for providing tailored therapy to a user |
| EP4232170A4 (en) | 2020-10-21 | 2024-10-09 | Shift Robotics, Inc. | MOTORIZED SHOE DEVICE CASTER CONFIGURATION WITH COMBINED TRANSLATION AND ROTATION HINGE MECHANISM AND INTEGRATED PINION RING ASSEMBLY |
| CN113780223A (zh) * | 2021-09-09 | 2021-12-10 | 北京信息科技大学 | 假肢的步态识别方法、装置及存储介质 |
| US20230355135A1 (en) * | 2022-05-03 | 2023-11-09 | Asia University | Intelligent gait analyzing apparatus |
| US11847379B1 (en) | 2022-09-23 | 2023-12-19 | Blackbird Neuroscience Inc. | Audio processing method and system for environmental enrichment therapy |
| KR102493903B1 (ko) * | 2022-10-04 | 2023-02-01 | 에이트스튜디오 주식회사 | 운동 정보 제공 방법 및 장치 |
| DK181622B1 (en) * | 2023-06-28 | 2024-07-25 | Keydiagnostics Aps | An apparatus for aiding in evaluating a gait of a quadruped |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100075806A1 (en) * | 2008-03-24 | 2010-03-25 | Michael Montgomery | Biorhythm feedback system and method |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL130818A (en) | 1999-07-06 | 2005-07-25 | Intercure Ltd | Interventive-diagnostic device |
| JP2002065891A (ja) | 2000-08-31 | 2002-03-05 | Daiichikosho Co Ltd | リハビリテーション支援装置 |
| US20020107556A1 (en) | 2000-12-13 | 2002-08-08 | Mcloul Raphael Fifo | Movement initiation device used in Parkinson's disease and other disorders which affect muscle control |
| JP3867515B2 (ja) * | 2001-05-11 | 2007-01-10 | ヤマハ株式会社 | 楽音制御システムおよび楽音制御装置 |
| US6644976B2 (en) | 2001-09-10 | 2003-11-11 | Epoch Innovations Ltd | Apparatus, method and computer program product to produce or direct movements in synergic timed correlation with physiological activity |
| JP3822510B2 (ja) | 2002-03-11 | 2006-09-20 | 独立行政法人科学技術振興機構 | （チオ）エーテルの製造方法および（チオ）アセタールの製造方法 |
| US8672852B2 (en) * | 2002-12-13 | 2014-03-18 | Intercure Ltd. | Apparatus and method for beneficial modification of biorhythmic activity |
| WO2004099942A2 (en) | 2003-03-05 | 2004-11-18 | The Arizona Board Of Regents | Gait recognition system |
| US7521623B2 (en) | 2004-11-24 | 2009-04-21 | Apple Inc. | Music synchronization arrangement |
| WO2005086574A2 (en) | 2004-02-05 | 2005-09-22 | Motorika Inc. | Rehabilitation with music |
| DE602005016370D1 (de) | 2004-02-19 | 2009-10-15 | Koninkl Philips Electronics Nv | Audio-temposteuerungsvorrichtung |
| JP4686681B2 (ja) | 2004-10-05 | 2011-05-25 | 国立大学法人東京工業大学 | 歩行介助システム |
| JP2006114174A (ja) * | 2004-10-18 | 2006-04-27 | Sony Corp | コンテンツ再生方法およびコンテンツ再生装置 |
| JP4389821B2 (ja) * | 2005-03-22 | 2009-12-24 | ソニー株式会社 | 体動検出装置、コンテンツ再生装置、体動検出方法およびコンテンツ再生方法 |
| US20070074617A1 (en) | 2005-10-04 | 2007-04-05 | Linda Vergo | System and method for tailoring music to an activity |
| US7825319B2 (en) | 2005-10-06 | 2010-11-02 | Pacing Technologies Llc | System and method for pacing repetitive motion activities |
| US7728214B2 (en) | 2005-11-23 | 2010-06-01 | Microsoft Corporation | Using music to influence a person's exercise performance |
| US9779751B2 (en) * | 2005-12-28 | 2017-10-03 | Breath Research, Inc. | Respiratory biofeedback devices, systems, and methods |
| US20100201512A1 (en) * | 2006-01-09 | 2010-08-12 | Harold Dan Stirling | Apparatus, systems, and methods for evaluating body movements |
| JP4839853B2 (ja) | 2006-01-20 | 2011-12-21 | ヤマハ株式会社 | 音楽再生制御装置及び音楽再生装置 |
| US20080097633A1 (en) | 2006-09-29 | 2008-04-24 | Texas Instruments Incorporated | Beat matching systems |
| WO2008151642A1 (en) * | 2007-06-12 | 2008-12-18 | Nokia Corporation | Directing shoe insole |
| US8221290B2 (en) * | 2007-08-17 | 2012-07-17 | Adidas International Marketing B.V. | Sports electronic training system with electronic gaming features, and applications thereof |
| JP2009195260A (ja) * | 2008-02-19 | 2009-09-03 | Mitsubishi Chemicals Corp | 生体の心身状態調整システム及びコンピュータ読み取り可能な記録媒体 |
| TWI368494B (en) * | 2009-01-10 | 2012-07-21 | Nat Univ Chung Hsing | Device and method for real-time cardiopulmonary rehabilitation treatment with a remote automatic monitoring function |
| EP2213226B1 (en) * | 2009-02-03 | 2012-06-13 | Heinrich Zimmermann | System, method and device for auditory representation of rhythmical parameters |
| CA2765782C (en) | 2009-06-24 | 2018-11-27 | The Medical Research, Infrastructure, And Health Services Fund Of The Tel Aviv Medical Center | Automated near-fall detector |
| US9619891B2 (en) | 2010-08-26 | 2017-04-11 | Blast Motion Inc. | Event analysis and tagging system |
| CN102138781B (zh) * | 2011-03-08 | 2012-10-24 | 清华大学 | 一种手机生物反馈治疗系统 |
| US9993181B2 (en) * | 2011-03-24 | 2018-06-12 | Med Hab, LLC | System and method for monitoring a runner'S gait |
| CN102139140A (zh) * | 2011-04-27 | 2011-08-03 | 华南理工大学 | 带声乐功能的经颅微电流刺激器 |
| US20130060166A1 (en) * | 2011-09-01 | 2013-03-07 | The Regents Of The University Of California | Device and method for providing hand rehabilitation and assessment of hand function |
| US9734292B2 (en) | 2011-12-08 | 2017-08-15 | Neurodar, Llc | Apparatus, system, and method for therapy based speech enhancement and brain reconfiguration |
| US10459972B2 (en) | 2012-09-07 | 2019-10-29 | Biobeats Group Ltd | Biometric-music interaction methods and systems |
| US9424348B1 (en) | 2013-05-08 | 2016-08-23 | Rock My World, Inc. | Sensor-driven audio playback modification |
| US10299738B2 (en) | 2013-05-16 | 2019-05-28 | New York University | Game-based sensorimotor rehabilitator |
| CN203520855U (zh) * | 2013-10-17 | 2014-04-02 | 霍橡楠 | 音乐健身拍打器 |
| JP6303746B2 (ja) | 2014-04-11 | 2018-04-04 | 花王株式会社 | 歩行目標の設定方法 |
| US10321842B2 (en) * | 2014-04-22 | 2019-06-18 | Interaxon Inc. | System and method for associating music with brain-state data |
| WO2016029039A1 (en) | 2014-08-20 | 2016-02-25 | Puretech Management, Inc. | Systems and techniques for identifying and exploiting relationships between media consumption and health |
| CN204468592U (zh) * | 2015-01-15 | 2015-07-15 | 郑飞 | 一种基于体感振动音乐疗法的多功能康复床 |
| US9536560B2 (en) | 2015-05-19 | 2017-01-03 | Spotify Ab | Cadence determination and media content selection |
| US9836118B2 (en) | 2015-06-16 | 2017-12-05 | Wilson Steele | Method and system for analyzing a movement of a person |
| CN105771087A (zh) | 2016-04-06 | 2016-07-20 | 上海乃欣电子科技有限公司 | 基于音乐和肌电反馈刺激的康复训练系统 |
| EP4180079A1 (en) * | 2016-04-14 | 2023-05-17 | Medrhythms, Inc. | Systems for neurologic rehabilitation |
-
2017
- 2017-04-14 EP EP22204670.8A patent/EP4180079A1/en active Pending
- 2017-04-14 KR KR1020227009329A patent/KR102487044B1/ko active IP Right Grant
- 2017-04-14 EP EP17783299.5A patent/EP3442418B1/en active Active
- 2017-04-14 CN CN202111238059.0A patent/CN114190924B/zh active Active
- 2017-04-14 JP JP2019505329A patent/JP7086930B2/ja active Active
- 2017-04-14 CA CA3020982A patent/CA3020982A1/en active Pending
- 2017-04-14 CN CN201780034526.3A patent/CN109219393B/zh active Active
- 2017-04-14 US US15/488,201 patent/US10448888B2/en active Active
- 2017-04-14 WO PCT/US2017/027742 patent/WO2017181093A1/en active Application Filing
- 2017-04-14 KR KR1020187032787A patent/KR102378434B1/ko active IP Right Grant
-
2019
- 2019-09-12 US US16/569,388 patent/US11779274B2/en active Active
-
2022
- 2022-06-08 JP JP2022092614A patent/JP2022120028A/ja active Pending
-
2023
- 2023-08-31 US US18/240,673 patent/US20240172994A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100075806A1 (en) * | 2008-03-24 | 2010-03-25 | Michael Montgomery | Biorhythm feedback system and method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525236B1 (ko) | 2022-12-12 | 2023-04-25 | 주식회사 엠쓰리솔루션 | 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102487044B1 (ko) | 2023-01-11 |
| CN109219393B (zh) | 2021-10-15 |
| JP7086930B2 (ja) | 2022-06-20 |
| JP2022120028A (ja) | 2022-08-17 |
| CN114190924A (zh) | 2022-03-18 |
| KR102378434B1 (ko) | 2022-03-25 |
| US20170296116A1 (en) | 2017-10-19 |
| CA3020982A1 (en) | 2017-10-19 |
| US20240172994A1 (en) | 2024-05-30 |
| EP3442418A4 (en) | 2019-12-11 |
| JP2019513527A (ja) | 2019-05-30 |
| US11779274B2 (en) | 2023-10-10 |
| KR20190029510A (ko) | 2019-03-20 |
| US10448888B2 (en) | 2019-10-22 |
| WO2017181093A1 (en) | 2017-10-19 |
| CN109219393A (zh) | 2019-01-15 |
| EP4180079A1 (en) | 2023-05-17 |
| EP3442418A1 (en) | 2019-02-20 |
| CN114190924B (zh) | 2023-12-15 |
| EP3442418B1 (en) | 2022-11-02 |
| US20200138363A1 (en) | 2020-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102378434B1 (ko) | 신경학적 재활을 위한 시스템 및 방법 | |
| US12127851B2 (en) | Systems and methods for augmented neurologic rehabilitation | |
| US12128270B2 (en) | Systems and methods for neurologic rehabilitation | |
| US20240221941A1 (en) | Intelligent health monitoring | |
| US20200388287A1 (en) | Intelligent health monitoring | |
| KR20230042066A (ko) | 증강된 신경학적 재활을 위한 시스템들 및 방법들 | |
| CN112805765B (zh) | 信息处理装置 | |
| JP7510499B2 (ja) | 神経性リハビリテーションのためのシステムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20220321 Application number text: 1020187032787 Filing date: 20181112 |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20220407 Comment text: Request for Examination of Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220419 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20221020 |
|
| PG1601 | Publication of registration |