[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20220160283A - 생체정보 추정 장치 및 방법 - Google Patents

생체정보 추정 장치 및 방법 Download PDF

Info

Publication number
KR20220160283A
KR20220160283A KR1020210068286A KR20210068286A KR20220160283A KR 20220160283 A KR20220160283 A KR 20220160283A KR 1020210068286 A KR1020210068286 A KR 1020210068286A KR 20210068286 A KR20210068286 A KR 20210068286A KR 20220160283 A KR20220160283 A KR 20220160283A
Authority
KR
South Korea
Prior art keywords
feature
channel
neural network
network model
biometric information
Prior art date
Application number
KR1020210068286A
Other languages
English (en)
Inventor
배상곤
장준혁
최진우
경제현
김연호
연인모
Original Assignee
삼성전자주식회사
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한양대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020210068286A priority Critical patent/KR20220160283A/ko
Priority to US17/404,238 priority patent/US20220378306A1/en
Publication of KR20220160283A publication Critical patent/KR20220160283A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/022—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6843—Monitoring or controlling sensor contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7239—Details of waveform analysis using differentiation including higher order derivatives
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Dermatology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)

Abstract

생체정보 추정 장치가 개시된다. 일 실시예에 따르면, 생체정보 추정 장치는 피검체로부터 복수의 맥파신호를 측정하는 복수의 채널을 포함하는 맥파센서, 피검체와 맥파센서 사이에 작용하는 힘신호를 측정하는 힘센서, 및 채널별 맥파신호 및 힘신호를 이용하여 채널별 제1 특징(feature)을 출력하는 제1 신경망 모델, 채널별로 가중치를 생성하고 생성된 가중치를 출력된 채널별 제1 특징에 적용하여 제2 특징을 출력하는 제2 신경망 모델 및 출력된 제2 특징을 이용하여 생체정보를 출력하는 제3 신경망 모델을 포함하는 프로세서를 포함할 수 있다.

Description

생체정보 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING BIO-INFORMATION}
비침습적으로 생체정보를 추정하는 장치 및 방법에 관한 것으로, 보다 구체적으로 딥러닝 기반의 추정 모델을 적용하여 생체정보를 추정하는 기술과 관련된다.
일반적으로 인체에 손상을 가하지 않고 비침습적(non-invasive)으로 혈압을 측정하는 방법으로서, 커프 기반의 압력 자체를 측정하여 혈압을 측정하는 방식과 커프 없이 맥파 측정을 통해 혈압을 추정하는 방식이 있다. 커프 기반의 혈압을 측정하는 방식으로는 상완(upper arm)에 커프(cuff)를 감고 커프 내 압력을 증가시켰다가 감소시키면서 청진기를 통해 혈관에서 발생하는 청음을 듣고 혈압을 측정하는 코로트코프 소리 방법(Korotkoff-sound method)과 자동화된 기계를 이용하는 방식으로 상완에 커프를 감고 커프 압력을 증가시킨 후 점차 커프 압력을 감소시키면서 커프 내 압력을 지속적으로 측정한 뒤 압력 신호의 변화가 큰 지점을 기준으로 혈압을 측정하는 오실로메트릭 방법(Oscillometric method)이 있다. 커프리스 혈압 측정 방법은 일반적으로 맥파전달시간(PTT, pulse transit time)을 계산하여 혈압을 추정하는 방식과, 맥파의 모양을 분석하여 혈압을 추정하는 PWA(Pulse Wave Analysis) 방식이 있다.
딥러닝을 기반으로 학습된 복수의 신경망 모델을 이용하여 생체정보를 추정하는 장치 및 방법이 제시된다.
일 양상에 따르면, 생체정보 추정 장치는 피검체로부터 복수의 맥파신호를 측정하는 복수의 채널을 포함하는 맥파센서, 피검체와 맥파센서 사이에 작용하는 힘신호를 측정하는 힘센서, 및 채널별 맥파신호 및 힘신호를 이용하여 채널별 제1 특징(feature)을 출력하는 제1 신경망 모델, 채널별로 가중치를 생성하고 생성된 가중치를 출력된 채널별 제1 특징에 적용하여 제2 특징을 출력하는 제2 신경망 모델 및 출력된 제2 특징을 이용하여 생체정보를 출력하는 제3 신경망 모델을 포함하는 프로세서를 포함할 수 있다.
이때, 제1 신경망 모델, 제2 신경망 모델, 및 제3 신경망 모델은 DNN(Deep Neural Network), CNN(Convolution Neural Network) 및 RNN(Recurrent Neural Network) 중의 적어도 하나를 기반으로 할 수 있다.
이때, 제1 신경망 모델은 병렬로 배치되어 제1 입력값, 제2 입력값 및 제3 입력값이 각각 입력되는 세 개의 신경망과, 상기 세 개의 신경망의 출력들을 입력으로 하여 상기 채널별 제1 특징을 출력하는 제1 완전 연결 레이어(fully connected layer)를 포함할 수 있다.
프로세서는 맥파신호로부터 1차 미분신호 및 2차 미분신호를 생성하고, 맥파신호, 생성된 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 제1 입력값으로 획득하고, 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나의 포락선을 생성하고, 생성된 포락선을 제2 입력값으로 획득하고, 힘신호를 제3 입력값으로 획득할 수 있다.
이때, 제2 신경망 모델은 제1 특징을 입력으로 하여 채널별 가중치를 생성하는 어텐션 레이어(attention layer) 및 생성된 채널별 가중치를 확률값으로 변환하여 출력하는 소프트맥스(Softmax) 함수를 포함할 수 있다.
제2 신경망 모델은 소프트맥스 함수에서 변환된 각 채널별 확률값과 채널별 제1 특징을 행렬곱하고, 행렬곱의 결과를 기초로 제2 특징을 출력할 수 있다.
이때, 제3 신경망 모델은 제2 특징을 입력으로 하는 제2 완전 연결 레이어 및 제2 완전 연결 레이어의 출력을 입력으로 하여 생체정보를 출력하는 제3 완전 연결 레이어를 포함할 수 있다.
생체정보 추정 장치는 각 채널별 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추출된 각 채널별 제3 특징을 기초로 각 채널별 가중치를 생성하고, 생성된 가중치를 채널별 제3 특징에 적용하여 제4 특징을 출력하는 제4 신경망 모델을 더 포함할 수 있다.
제3 신경망 모델은 제4 특징 및 사용자 특성 정보 중의 적어도 하나를 입력으로 하는 제4 완전 연결 레이어를 더 포함하고, 상기 제4 완전 연결 레이어의 출력은 상기 제3 완전 연결 레이어에 입력될 수 있다.
사용자의 특성 정보는 사용자의 나이, 키, 몸무게 정보 중 적어도 하나를 포함할 수 있다.
생체정보는 혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수, 피로도, 피부 나이 및 피부 탄력도 중의 하나 이상을 포함할 수 있다.
일 양상에 따르면, 생체정보 추정 방법은 피검체로부터 채널별 복수의 맥파신호를 획득하는 단계, 피검체와 맥파센서 사이에 작용하는 힘신호를 획득하는 단계, 획득된 채널별 맥파신호 및 힘신호를 제1 신경망 모델에 입력하여 채널별 제1 특징을 출력하는 단계, 출력된 제1 특징을 제2 신경망 모델에 입력하여 채널별로 가중치를 생성하고 생성된 가중치를 상기 채널별 제1 특징에 적용하여 제2 특징을 출력하는 단계 및 출력된 제2 특징을 제3 신경망 모델에 입력하여 생체정보를 출력하는 단계를 포함할 수 있다.
이때, 제1 신경망 모델, 제2 신경망 모델, 및 제3 신경망 모델은 DNN(Deep Neural Network), CNN(Convolution Neural Network) 및 RNN(Recurrent Neural Network) 중의 적어도 하나를 기반으로 할 수 있다.
이때, 채널별 제1 특징을 출력하는 단계는 채널별로 제1 입력값, 제2 입력값, 및 제3 입력값을 획득하는 단계, 획득된 제1 입력값, 제2 입력값, 및 제3 입력값을 상기 제1 신경망에 포함된 세 개의 신경망에 병렬로 입력하는 단계 및 세 개의 신경망의 출력을 제1 완전 연결 레이어에 입력하여 제1 특징을 출력하는 단계를 포함할 수 있다.
제1 입력값은 맥파신호, 맥파신호의 1차 미분신호, 및 2차 미분신호 중의 적어도 하나를 포함하고, 제2 입력값은 힘신호를 이용하여 생성된 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나를 포함하고, 제3 입력값은 상기 힘신호를 포함할 수 있다.
이때, 제2 특징을 출력하는 단계는 채널별 제1 특징을 어텐션 레이어에 입력하여 상기 채널별 가중치를 생성하는 단계 및 소프트맥스 함수에 의하여 생성된 채널별 가중치를 확률값으로 변환하는 단계를 포함할 수 있다.
제2 특징을 출력하는 단계는 변환된 채널별 확률값과 채널별 제1 특징을 행렬곱하고, 행렬곱의 결과를 기초로 제2 특징을 출력하는 단계를 더 포함할 수 있다.
이때, 생체정보를 출력하는 단계는 제2 완전 연결 레이어에 제2 특징을 입력하는 단계 및 제2 완전 연결 레이어의 출력을 제3 완전 연결 레이어에 입력하여 생체정보를 출력하는 단계를 포함할 수 있다.
채널별 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추출된 채널별 제3 특징을 기초로 제4 신경망 모델에 의해 채널별 가중치를 생성하는 단계 및 생성된 가중치를 상기 채널별 제3 특징에 적용하여 제4 특징을 출력하는 단계를 더 포함할 수 있다.
이때, 생체정보를 출력하는 단계는 제4 특징 및 사용자 특징 정보 중의 적어도 하나를 제4 완전 연결 레이어에 입력하는 단계 및 제4 완전 연결 레이어의 출력을 상기 제3 완전 연결 레이어에 입력하여 생체정보를 출력하는 단계를 포함할 수 있다.
복수의 채널별로 획득된 생체신호에 대해 딥러닝을 기반으로 학습된 복수의 신경망 모델을 적용하여 생체정보를 정확하게 추정할 수 있다.
도 1은 일 실시예에 따른 생체정보 추정 장치의 블록도이다.
도 2a 내지 도 2g는 도 1의 실시예에 따른 프로세서 구성의 실시예들을 설명하기 위한 도면이다.
도 3a는 맥파센서에 의해 획득된 맥파신호를 예시한 도면이다.
도 3b는 힘센서에 의해 획득된 힘신호를 예시한 도면이다.
도 3c는 맥파신호 및 힘신호를 이용하여 획득한 오실로메트리 포락선을 예시한 도면이다.
도 4은 일 실시예에 따른 생체정보 추정 장치의 블록도이다.
도 5는 일 실시예에 따른 생체정보 추정 방법의 흐름도이다.
도 6은 도 5의 채널별 제1 특징을 출력하는 단계의 일 실시예를 도시한 흐름도이다.
도 7은 도 5의 제2 특징을 출력하는 단계의 일 실시예를 도시한 흐름도이다.
도 8은 다른 실시예에 따른 제4 신경망 모델을 포함하는 경우 생체정보를 추정하는 방법에 대한 흐름도이다.
도 9 내지 도 11은 생체정보 추정 장치를 포함하는 전자 장치의 구조들을 예시적으로 나타낸 도면들이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 생체정보 추정 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 생체정보 추정 장치의 블록도이다.
도 1을 참조하면 생체정보 추정 장치(100)는 맥파센서(110), 힘센서(120) 및 프로세서(130)를 포함한다.
맥파센서(110)는 피검체의 접촉시 광전용적 맥파(photoplethysmography, PPG)를 포함한 맥파신호를 측정할 수 있다. 피검체는 맥파센서가 접촉하여 맥파를 용이하게 측정할 수 있는 인체 부위일 수 있다. 예를 들어, 인체 내의 혈관 밀도가 높은 부위인 손가락일 수 있으나, 이에 제한되는 것은 아니며 요골 동맥과 인접한 손목 표면의 영역으로 모세혈이나 정맥혈이 지나가는 손목 상부, 발가락 등 인체의 말초 부위일 수도 있다.
맥파센서(110)는 피검체에 광을 조사하는 하나 이상의 광원과, 광원으로부터 소정 거리 떨어져 배치되며 피검체로부터 산란 또는 반사된 광을 검출하는 하나 이상의 디텍터를 포함할 수 있다. 하나 이상의 광원은 서로 다른 파장의 광을 조사할 수 있다. 예컨대, 적외(infrared) 파장, 녹색(green) 파장, 청색(blue) 파장, 적색(red) 파장, 백색(white) 파장 등을 포함할 수 있다. 광원은 LED(light emitting diode), 레이저 다이오드(laser diode) 및 형광체 등을 포함할 수 있으나 이에 한정되지 않는다. 또한, 디텍터는 포토다이오드(photodiode), 포토다이오드 어레이 및 CMOS(complementary metal-oxide semiconductor) 이미지 센서, CCD(charge-coupled device) 이미지 센서 등을 포함할 수 있다.
맥파센서(110)는 피검체의 다지점으로부터 복수의 맥파신호를 측정할 수 있도록 복수의 채널을 포함할 수 있다. 예를 들어, 복수의 채널은 하나의 광원이 배치되고 광원으로부터 소정 거리 이격되어 복수의 디텍터 어레이 또는 COMS 이미지 센서가 배치되는 구조, 또는 복수의 광원과 디텍터의 쌍으로 배치되는 구조일 수 있다.
힘센서(110)는 피검체가 맥파센서(110)에 접촉한 상태에서 맥파 진폭의 변화를 유도하기 위해 누르는 힘을 점차 증가시키거나 감소시킬 때의 힘신호를 측정할 수 있다. 힘센서(110)는 스트레인 게이지(strain gauge) 등으로 형성된 하나의 힘센서로 형성되거나, 힘센서의 어레이로 형성될 수 있다. 다만, 이에 제한되지 않으며 힘센서(110) 대신에 압력센서, 공기주머니(air bladder) 형태의 압력센서, 힘센서와 면적센서가 결합된 압력센서 등으로 형성될 수도 있다.
프로세서(130)는 복수의 채널을 포함하는 맥파센서(110)에 의해 측정된 복수의 맥파신호 및 힘센서(120)에 의해 측정된 접촉힘을 기초로 생체정보를 추정할 수 있다. 이때, 생체정보는 혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수, 피로도, 피부 나이 및 피부 탄력도 등을 포함하며 이에 제한되지는 않는다.
도 2a 내지 도 2g는 도 1의 실시예에 따른 프로세서 구성의 실시예들을 설명하기 위한 도면이다. 도 3a는 맥파센서에 의해 획득된 맥파신호를 예시한 도면이다. 도 3b는 힘센서에 의해 획득된 힘신호를 예시한 도면이다. 도 3c는 맥파신호 및 힘신호를 이용하여 획득한 오실로메트리 포락선을 예시한 도면이다.
도 2a 내지 도 2g를 참조하면, 실시예들에 따른 프로세서(200a, 200b)는 전처리부(210), 제1 신경망 모델(220), 제2 신경망 모델(230) 및 제3 신경망 모델(240)을 포함할 수 있다. 또한, 일 실시예에 따른 프로세서(200b)는 제4 신경망 모델(250)을 더 포함할 수 있다.
전처리부(210)는 각 채널별 맥파신호 및/또는 힘신호를 밴드 패스 필터(band pass filter) 및/또는 로우 패스 필터(low pass filter) 등을 이용하여 전처리할 수 있다. 예컨대, 맥파신호를 컷오프 주파수 1-10Hz를 갖는 밴드 패스 필터링을 수행할 수 있다.
또한, 전처리부(210)는 맥파신호 및/또는 힘신호를 이용하여 신경망들에 입력될 입력값들을 획득할 수 있다.
도 2c를 참조하면, 예를 들어, 전처리부(210)는 각 채널의 맥파신호를 이용하여 각 채널별로 제1 입력값(IP1a,..., IP1n), 제2 입력값(IP2a,..., IP2n) 및/또는 제3 입력값(IP3a,..., IP3n)을 획득할 수 있다.
예컨대, 각 맥파신호를 제1차 및/또는 2차 미분하여 1차 미분신호 및/또는 2차 미분신호를 생성하고, 각 맥파신호, 1차 미분신호 및/또는 2차 미분신호를 제1 입력값으로 획득할 수 있다. 이때, 각 맥파신호, 1차 미분신호 및/또는 2차 미분신호에서 소정 시간 구간의 신호를 제1 입력값(IP1a,..., IP1n)으로 획득할 수도 있다. 이때, 소정 시간 구간은 맥파신호의 진폭이 최대인 지점의 시간을 중심으로 미리 정의될 수 있다.
또한, 전처리부(210)는 맥파신호, 1차 미분신호 및/또는 2차 미분신호와 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및/또는 2차 미분신호 포락선을 생성하고, 생성된 맥파신호 포락선, 1차 미분신호 포락선 및/또는 2차 미분신호 포락선을 제2 입력값(IP2a,..., IP2n)으로 획득할 수 있다. 이때, 맥파신호 포락선, 1차 미분신호 포락선 및/또는 2차 미분신호 포락선에서 소정 시간 구간의 신호를 제2 입력값(IP2a,..., IP2n)으로 획득할 수도 있다. 이때, 소정 시간 구간은 맥파신호의 진폭이 최대인 지점의 시간을 중심으로 미리 정의될 수 있다.
도 3a 내지 도 3c를 참조하여 포락선을 획득하는 일 예를 설명하면, 전처리부(210)는 예컨대 각 측정 시점에서 맥파신호 파형 엔벨로프(in1) 의 플러스 지점의 진폭값(in2)에서 마이너스 지점의 진폭값(in3)을 빼서 피크-투-피크(peak-to-peak) 지점을 추출할 수 있다. 또한, 피크-투-피크 지점의 진폭을 대응하는 시점의 접촉 압력값을 기준으로 플롯(plot)하고, 예컨대 폴리노미얼 커브 피팅(polynomial curve fitting)을 수행하여 맥파신호 포락선(OW)을 획득할 수 있다. 마찬가지로, 1차 미분신호와 힘신호 및/또는 2차 미분신호와 힘신호를 이용하여 1차 미분신호 포락선 및/또는 2차 미분신호 포락선을 획득할 수 있다.
또한, 전처리부(210)는 힘신호를 이용하여 제3 입력값(IP3a,..., IP3n)을 획득할 수 있다. 예를 들어, 전체 구간의 힘신호를 제3 입력값(IP3a,..., IP3n)으로 결정할 수 있다. 또는, 도 3b에 도시된 바와 같이 기준점(TP)을 중심으로 소정 구간(T1~T2) 예컨대, 전후 2.5초씩 총 5초 구간의 힘신호를 제3 입력값으로 결정할 수도 있다. 이때, 기준점(TP)은 도 3c에 도시된 맥파신호 포락선에서 진폭이 최대인 지점(MP)에 대응하는 시간 지점일 수 있다. 다만, 이에 제한되지 않으며 피검체에 의해 가해진 힘의 구간이 미리 정의될 수 있으며 이때, 그 힘의 구간은 사용자별로 다르게 정의될 수 있다.
다시 도 2a 및 도 2g를 참조하면, 프로세서(200a, 200b)는 제1 신경망 모델(220), 제2 신경망 모델(230), 제3 신경망 모델(240) 및/또는 제4 신경망 모델(250)을 포함할 수 있으며 각 신경망 모델들은 DNN(Deep Neural Network), CNN(Convolution Neural Network), 또는 RNN(Recurrent Neural Network) 등을 기반으로 학습된 신경망 모델일 수 있다.
도 2c를 참조하면, 제1 신경망 모델(220)은 세 개의 신경망(2201a, 2201b, 2201c), 제1 완전 연결 레이어(2202) 및 출력 레이어(2203)를 포함 할 수 있다. 각 신경망(2201a, 2201b, 2201c)은 도시된 바와 같이 병렬로 배치되어 전처리부(210)에 의해 획득된 제1 입력값(IP2a,..., IP2n), 제2 입력값(IP2a,..., IP2n) 및 제3 입력값(IP3a,..., IP3n)이 각각 입력될 수 있다. 또한, 각 신경망(2201a, 2201b, 2201c)은 레지듀얼 신경망(Residual Neural Network) 기반의 신경망일 수 있다. 각 신경망(2201a, 2201b, 2201c)은 도 2g에 도시된 바와 같이 제1 블록(BL1), 제2 블록(BL2) 및 그 이후에 평균 풀링 레이어(Average Pooling)로 구성될 수 있다. 제1 블록(BL1)은 컨볼루션 레이어(Conv), 배치 정규화(BN), 활성화 함수(ReLU) 및 맥스 풀링 레이어(MaxPooling)를 포함할 수 있다. 제2 블록(BL2)은 하나 이상의 서브 블록(BL21, BL22, BL23)으로 구성될 수 있다. 각 서브 블록(BL21, BL22, BL23)은 컨볼루션 레이어(Conv), 배치 정규화(BN), 활성화 함수(ReLU), 컨볼루션 레이어(Conv), 배치 정규화(BN), 스킵 연결(SC) 및 활성화 함수(ReLU)를 포함할 수 있다. 이때, 서브 블록의 개수는 도시된 바와 같이 세 개일 수 있으나 이에 제한되지 않는다.
다시 도 2c를 참조하면, 제1 완전 연결 레이어(2202)는 각 신경망(2201a, 2201b, 2201c)의 출력들을 평탄화하여 생체정보 관련 제1 특징(LF1a,..., LF1n)으로 변환하여 출력할 수 있다. 제1 완전 연결 레이어(2202) 이후에 시그모이드 함수(미도시)가 더 배치될 수 있다. 또한, 제1 완전 연결 레이어(2202)의 출력은 출력 레이어(2203)를 통해 제1 생체정보(BI1a,...,BI1n)로 출력될 수 있다.
도 2d를 참조하면, 제2 신경망 모델(230)은 어텐션 레이어(2301), 소프트맥스(SoftMax) 함수(2302), 섬메이션(Summation) 함수(2303), 출력 레이어(2304)를 포함할 수 있다. 제2 신경망 모델(230)은 어텐션 네트워크(attention network) 기반의 신경망일 수 있다.
어텐션 레이어(2301)는 채널별 제1 신경망 모델(220)의 출력에 해당하는 채널별 제1 특징(LF1a,..., LF1n)을 입력으로 하여 채널별 가중치를 생성할 수 있다. 생성된 채널별 가중치는 소프트맥스(SoftMax) 함수(2302)에 의해 채널별 확률값(WP1,..., WPn)으로 변환되어 출력될 수 있다.
제2 신경망 모델(230)은 소프트맥스 함수(2302)에서 변환된 채널별 확률값(WP1,..., WPn)과 채널별 제1 특징(LF1a,..., LF1n)을 각각 행렬곱하고, 행렬곱을 섬메이션(Summation) 함수(2303)에 입력하여 채널별 행렬곱의 결과를 합산하여 제2 특징(LF2)을 출력할 수 있다. 또한, 섬메이션 함수(2303)의 출력은 출력 레이어(2304)를 통해 제2 생체정보(BI1a,...,BI1n)로 출력될 수 있다.
생체정보 추정시 DNN이나 CNN 등 단일 모델을 이용하여 혈압을 추정하는 방법이 일반적이다. 또한, PPG 신호를 이용한 생체신호 추정의 일반적인 방법들은 주로 단일 채널을 이용한다. 이는 피검체의 위치에 따라 혈관 위치별 신호의 질이 달라져 추정의 정확성이 낮아 질 수 있으며 또한 사람마다 나이, 질병, 투여 약물 등의 이유에 따라 신호의 형태가 조금씩 다른 이유로 인해 혈압 추정 모델의 부정확한 학습이 이루어질 수 있다. 그러나 복수의 신경망 모델과 복수의 채널을 이용하는 본 실시예에 따르면 모든 채널에 대해 중요도에 해당하는 채널별 가중치를 구하고 채널별 가중치에 채널별 제1 신경망 모델의 출력인 제1 특징을 행렬곱하고 채널별 행렬곱 결과들을 합산하여 새로운 특징(예를 들어, 제2 특징)을 출력하므로 모든 채널별 특징을 복합적으로 고려한 새로운 특징을 이용하여 생체정보를 추정하게 되어 생체정보 추정의 정확성을 높일 수 있다.
도 2e를 참조하면, 일 실시예의 프로세서(200a)의 제3 신경망 모델(240)은 제2 완전 연결 레이어(2410) 및 제3 완전 연결 레이어(2420)를 포함할 수 있다. 제2 완전 연결 레이어(2410)는 제2 특징(LF2)을 입력으로 하며 제3 완전 연결 레이어(2420)는 제2 완전 연결 레이어(2410)의 출력을 입력으로 하여 제3 생체정보(BI3)를 출력할 수 있다.
도 2b 및 2f를 참조하면, 다른 실시예의 프로세서(200b)는 각 채널별 맥파신호 및 힘신호 중의 적어도 하나를 기초로 채널별로 제3 특징(LF3)을 획득할 수 있다.
예를 들어, 프로세서(200b)는 각 채널별 맥파신호, 1차 미분신호, 2차 미분신호 및/또는 힘신호를 이용하여 생체정보 관련 추가 정보를 추출하여 제3 특징(LF3)으로 획득할 수 있으며, 예컨대 각 신호의 최대 진폭 지점의 진폭/시간, 극소점/극대점의 진폭/시간, 변곡점의 진폭/시간, 또는 각 신호 파형의 전체/부분 면적, 최대 진폭 지점에 해당하는 접촉힘, 최대 진폭 지점의 소정 비율에 해당하는 접촉힘, 또는 이러한 정보들을 적절히 조합한 값을 포함할 수 있다.
또한, 프로세서(200b)는 채널별 제3 특징(LF3)을 기초로 채널별 가중치를 생성하고 생성된 가중치를 채널별 제3 특징(LF3)에 적용하여 제4 특징(LF4)을 출력하는 제4 신경망 모델(250)을 더 포함할 수 있다. 제4 신경망 모델은 제2 신경망 모델과 유사한 구조로 되어있으며 따라서 제2 신경망 모델을 참조할 수 있다.
또한, 프로세서(200b)는 제3 신경망 모델(240)에 추가적으로 제4 완전 연결 레이어(2430)를 더 포함할 수 있다. 제4 완전 연결 레이어(2430)는 제 4 특징(LF4) 및 사용자 특성 정보(UF) 중의 적어도 하나를 입력으로 하고 제4 완전 연결 레이어(2430)의 출력은 제3 완전 연결 레이어(2420)에 입력되어 결과적으로 제2 특징(LF2), 제4 특징(LF4) 및 사용자 특성 정보(UF)를 이용하여 생체정보(BI3)를 더욱 정확히 추정할 수 있다. 여기서 사용자 특성 정보(UF)는 사용자의 나이, 키, 몸무게 정보 중 적어도 하나를 포함 할 수 있다.
도 4는 일 실시예에 따른 생체정보 추정 장치의 블록도이다.
도 4를 참조하면, 생체정보 추정 장치(400)는 맥파센서(110), 힘센서(120), 프로세서(130), 저장부(410), 출력부(420) 및 통신부(430)를 포함할 수 있다. 맥파센서(110), 힘센서(120) 및 프로세서(130)는 앞에서 자세히 설명하였으므로, 이하, 중복되지 않은 내용을 위주로 설명한다.
저장부(410)는 생체정보 추정과 관련된 정보를 저장할 수 있다. 예를 들어, 맥파센서(110), 힘센서(120) 및 프로세서(130)에 의해 처리된 맥파신호, 접촉힘, 생체정보 추정값, 특징 벡터, 사용자 특성 정보 등의 데이터를 저장할 수 있다. 또한, 사용자 특성 정보, 제1 신경망 모델, 제2 신경망 모델, 제3 신경망 모델 및/또는 제4 신경망 모델 등을 저장할 수 있다. 저장부(410)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory: RAM) SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 등의 저장매체를 포함하며, 이에 제한되는 것은 아니다.
출력부(420)는 프로세서(130)의 처리 결과를 사용자에게 제공할 수 있다. 예를 들어, 출력부(420)는 디스플레이에 생체정보 추정값을 표시할 수 있다. 이때, 생체정보 추정값이 정상 범위를 벗어나면 사용자가 쉽게 인식할 수 있도록 색깔이나 선의 굵기 등을 조절하거나 정상 범위를 함께 표시함으로써 사용자에게 경고 정보를 제공할 수 있다. 또한, 출력부(420)는 스피커 등의 음향 출력 모듈이나 햅틱 모듈 등을 이용하여 음성, 진동, 촉감 등의 비시각적인 방식으로 사용자에게 생체정보 관련 정보를 제공할 수 있다.
통신부(430)는 외부 기기와 통신하여 생체정보 추정과 관련된 각종 데이터를 송수신할 수 있다. 외부 기기는 스마트폰, 태블릿 PC, 데스크탑 PC, 노트북 PC 등의 정보 처리 장치를 포함할 수 있다. 통신부(430)는 블루투스(Bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신, 3G 통신, 4G 통신 및 5G 통신 등을 포함하는 다양한 유무선 통신 기술을 이용하여 외부 기기와 통신할 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 생체정보 추정 장치(400)는 학습부(미도시)를 더 포함할 수 있다. 학습부는 학습 데이터를 수집하고, 수집된 학습 데이터를 이용하여 제1 신경망 모델, 제2 신경망 모델, 제3 신경망 모델 및/또는 제4 신경망 모델을 학습시킬 수 있다. 학습부는 맥파센서(110) 및 힘센서(120)를 제어하여 특정 사용자 또는 복수의 사용자들로부터 맥파신호 및 힘신호를 획득하고, 획득된 신호들을 학습 데이터로 수집할 수 있다. 또한, 학습부는 사용자가 사용자 특성 정보, 기준 혈압 등을 입력할 수 있도록 디스플레이에 인터페이스를 출력할 수 있으며, 그 인터페이스를 통해 사용자로부터 입력된 데이터를 학습 데이터로 수집할 수 있다. 또한, 학습부는 통신부(430)를 제어하여 스마트폰, 웨어러블 기기, 커프 혈압계 등의 외부 기기로부터 사용자들의 맥파신호, 힘신호 및/또는 기준 혈압 등 생체신호를 수신할 수 있다.
본 실시예에서는, 이와 같이 특징 벡터를 출력하는 제1 신경망 모델, 제2 신경망 모델 및/또는 제4 신경망 모델과 그 특징 벡터를 이용하여 생체정보 추정값을 출력하는 제3 신경망 모델로 구성된 하이브리드 신경망 모델을 학습하고, 하이브리드 신경망 모델을 이용하여 생체정보를 추정함으로써 추정의 정확도를 향상시킬 수 있다.
도 5는 일 실시예에 따른 생체정보 추정 방법의 흐름도이다.
도 5는 생체정보 추정 장치(100,400)에 의해 수행되는 생체정보 추정 방법의 일 실시예이다. 앞에서 자세히 설명하였으므로 이하 간단하게 기술한다.
먼저, 피검체가 맥파센서에 접촉하면 맥파센서를 통해 피검체로부터 채널별 복수의 맥파신호를 획득하고(510), 힘센서를 통해 피검체와 맥파센서 사이에 작용하는 힘신호를 획득할 수 있다(520).
그 다음, 획득된 채널별 맥파신호 및 힘신호를 제1 신경망 모델에 입력하여 채널별 제1 특징을 출력할 수 있다(530).
그 다음, 출력된 제1 특징을 제2 신경망 모델에 입력하여 채널별로 가중치를 생성하고 생성된 가중치를 채널별 제1 특징에 적용하여 제2 특징을 출력할 수 있다(540).
그 다음, 출력된 제2 특징을 제3 신경망 모델에 입력하여 생체정보를 출력할 수 있다(550).
도 6은 도 5의 채널별 제1 특징을 출력하는 단계(530)의 일 실시예를 도시한 흐름도이다.
먼저, 채널별로 제1 입력값, 제2 입력값 및 제3 입력값을 획득할 수 있다(610). 제1 입력값은 맥파신호, 맥파신호의 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 포함하고, 제2 입력값은 힘신호를 이용하여 생성된 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나를 포함하고, 제3 입력값은 힘신호를 포함할 수 있다.
그 다음, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망에 포함된 세 개의 신경망에 병렬로 입력할 수 있다(620).
그 다음, 세 개의 신경망의 출력을 제1 완전 연결 레이어에 입력하여 채널별 제1 특징을 출력할 수 있다(630).
도 7은 도 5의 제2 특징을 출력하는 단계(540)의 일 실시예를 도시한 흐름도이다.
먼저, 제1 특징을 어텐션 레이어에 입력하여 채널별 가중치를 생성할 수 있다(710).
그 다음, 소프트맥스 함수에 의하여 생성된 채널별 가중치를 확률값으로 변환할 수 있다(720).
그 다음, 변환된 채널별 확률값과 채널별 제1 특징을 행렬곱하고, 행렬곱의 결과를 기초로 제2 특징을 출력할 수 있다(730).
도 8은 다른 실시예에 따른 제4 신경망 모델을 포함하는 경우 생체정보를 추정하는 방법에 대한 흐름도이다.
먼저, 피검체가 맥파센서에 접촉하면 맥파센서를 통해 피검체로부터 채널별 복수의 맥파신호를 획득하고(810), 힘센서를 통해 피검체와 맥파센서 사이에 작용하는 힘신호를 획득할 수 있다(820).
그 다음, 획득된 채널별 맥파신호 및 힘신호를 제1 신경망 모델에 입력하여 채널별 제1 특징을 출력할 수 있다(830).
그 다음, 출력된 제1 특징을 제2 신경망 모델에 입력하여 채널별로 가중치를 생성하고 생성된 가중치를 채널별 제1 특징에 적용하여 제2 특징을 출력하고, 출력된 제2 특징을 제3 신경망 모델에 입력할 수 있다(840).
또한, 채널별 맥파신호 및 힘신호 중의 적어도 하나를 기초로 채널별로 추가적인 제3 특징을 추출하고, 제4 신경망 모델에 의해 채널별 제3 특징을 기초로 채널별 가중치를 생성하고, 생성된 가중치를 채널별 제3 특징에 적용하여 제4 특징을 출력할 수 있다(850).
그 다음, 제4 특징 및 사용자 특성 정보 중의 적어도 하나를 제3 신경망 모델에 입력할 수 있다(860). 사용자 특성 정보는 사용자의 나이, 키, 몸무게 정보 중 적어도 하나를 포함할 수 있다.
그 다음, 제2 특징, 제4 특징 및/또는 사용자 특성 정보를 이용하여 생체정보를 출력할 수 있다(870). 제2 신경망 모델에 의한 제2 특징 뿐만 아니라 제4 신경망 모델에 의한 제4 특징 및/또는 사용자 특성 정보를 기초로 생체정보를 추정하므로 생체정보를 더욱 정확히 추정할 수 있다.
도 9 내지 도 11은 생체정보 추정 장치(100, 400)를 포함하는 전자 장치의 구조들을 예시적으로 나타낸 도면들이다.
도 9를 참조하면 전자장치는 시계 타입의 웨어러블 장치(900)로 구현될 수 있으며 본체와 손목 스트랩을 포함할 수 있다. 본체의 전면에는 디스플레이가 마련되어, 시간 정보, 수신 메시지 정보 등을 포함하는 다양한 어플리케이션 화면이 표시될 수 있다. 본체의 후면에는 센서장치(910)가 배치되어, 생체정보 추정을 위한 맥파신호 및 힘신호를 측정할 수 있다.
도 10를 참조하면 전자장치는 스마트 폰(Smart Phone)과 같은 모바일 장치(1000)로 구현될 수 있다.
모바일 장치(1000)는 하우징 및 디스플레이 패널을 포함할 수 있다. 하우징은 모바일 장치(1000)의 외관을 형성할 수 있다. 하우징의 제1 면에는 디스플레이 패널 및 커버 글래스(Cover Glass)가 차례로 배치될 수 있고, 디스플레이 패널은 커버 글래스를 통해 외부로 노출될 수 있다. 하우징의 제2 면에는 센서 장치(1010), 카메라 모듈, 및/또는 적외선 센서 등이 배치될 수 있다. 사용자가 모바일 장치(1000)에 탑재된 어플리케이션 등을 실행하여 생체정보 추정을 요청하는 경우 센서장치(1010)를 이용하여 생체정보를 추정하고 사용자에게 생체정보 추정값을 영상 및/또는 음향으로 제공할 수 있다.
도 11을 참조하면 전자장치는 이어(Ear) 웨어러블 장치(1100)로도 구현될 수 있다.
이어(Ear) 웨어러블 장치(1100)는 본체와 이어 스트랩(Ear Strap)을 포함할 수 있다. 사용자는 이어 스트랩을 귓바퀴에 걸어 착용할 수 있다. 이어 스트랩은 이어 웨어러블 장치(1100)의 형태에 따라 생략이 가능하다. 본체는 사용자의 외이도(External Auditory Meatus)에 삽입될 수 있다. 본체에는 센서장치(1110)가 탑재될 수 있다. 이어 웨어러블 장치(1100)는 성분 추정 결과를 사용자에게 음향으로 제공하거나, 본체 내부에 마련된 통신 모듈을 통해 외부 기기 예컨대, 모바일, 테블릿, PC 등으로 전송할 수 있다.
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100,400: 생체정보 추정 장치
110: 맥파센서 120: 힘센서
130, 200a, 200b: 프로세서 210: 전처리부
220: 제1 신경망 모델 230: 제2 신경망 모델
240: 제3 신경망 모델 250: 제4 신경망 모델
2201a, 2201b, 2201c: 신경망 2202: 제1 완전 연결 레이어
2203, 2304: 출력 레이어 2301: 어텐션 레이어
2302: 소프트맥스 함수 2303: 섬메이션 함수
2410: 제2 완전 연결 레이어 2420: 제3 완전 연결 레이어
2430: 제4 완전 연결 레이어 430: 통신부
410: 저장부 420: 출력부
900: 시계 타입의 웨어러블 장치 910: 센서장치
1000: 모바일 장치 1010: 센서장치
1100: 이어(Ear) 웨어러블 장치 1110: 센서장치

Claims (20)

  1. 피검체로부터 복수의 맥파신호를 측정하는 복수의 채널을 포함하는 맥파센서;
    상기 피검체와 맥파센서 사이에 작용하는 힘신호를 측정하는 힘센서; 및
    채널별 맥파신호 및 힘신호를 이용하여 채널별 제1 특징(feature)을 출력하는 제1 신경망 모델, 상기 채널별로 가중치를 생성하고 생성된 가중치를 상기 출력된 채널별 제1 특징에 적용하여 제2 특징을 출력하는 제2 신경망 모델, 및 상기 출력된 제2 특징을 이용하여 생체정보를 출력하는 제3 신경망 모델을 포함하는 프로세서를 포함하는 생체정보 추정 장치.
  2. 제1항에 있어서,
    상기 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델은
    DNN(Deep Neural Network), CNN(Convolution Neural Network), 및 RNN(Recurrent Neural Network) 중의 적어도 하나를 기반으로 하는 생체정보 추정 장치.
  3. 제1항에 있어서,
    상기 제1 신경망 모델은
    병렬로 배치되어 제1 입력값, 제2 입력값 및 제3 입력값이 각각 입력되는 세 개의 신경망과, 상기 세 개의 신경망의 출력들을 입력으로 하여 상기 채널별 제1 특징을 출력하는 제1 완전 연결 레이어(fully connected layer)를 포함하는 생체정보 추정 장치.
  4. 제3항에 있어서,
    상기 프로세서는
    상기 맥파신호로부터 1차 미분신호 및 2차 미분신호를 생성하고, 상기 맥파신호, 생성된 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 상기 제1 입력값으로 획득하고, 상기 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나의 포락선을 생성하고, 생성된 포락선을 상기 제2 입력값으로 획득하고, 상기 힘신호를 상기 제3 입력값으로 획득하는 생체정보 추정 장치.
  5. 제1항에 있어서,
    상기 제2 신경망 모델은
    상기 제1 특징을 입력으로 하여 상기 채널별 가중치를 생성하는 어텐션 레이어(attention layer) 및 생성된 채널별 가중치를 확률값으로 변환하여 출력하는 소프트맥스(Softmax) 함수를 포함하는 생체정보 추정 장치.
  6. 제5항에 있어서,
    상기 제2 신경망 모델은
    상기 소프트맥스 함수에서 변환된 각 채널별 확률값과 상기 채널별 제1 특징을 행렬곱하고, 행렬곱의 결과를 기초로 제2 특징을 출력하는 생체정보 추정 장치.
  7. 제1항에 있어서,
    상기 제3 신경망 모델은
    상기 제2 특징을 입력으로 하는 제2 완전 연결 레이어 및 상기 제2 완전 연결 레이어의 출력을 입력으로 하여 생체정보를 출력하는 제3 완전 연결 레이어를 포함하는 생체정보 추정 장치.
  8. 제1항에 있어서,
    상기 각 채널별 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추출된 각 채널별 제3 특징을 기초로 각 채널별 가중치를 생성하고, 생성된 가중치를 상기 채널별 제3 특징에 적용하여 제4 특징을 출력하는 제4 신경망 모델을 더 포함하는 생체정보 추정 장치.
  9. 제8항에 있어서,
    상기 제3 신경망 모델은
    상기 제4 특징 및 사용자 특성 정보 중의 적어도 하나를 입력으로 하는 제4 완전 연결 레이어를 더 포함하고, 상기 제4 완전 연결 레이어의 출력은 상기 제3 완전 연결 레이어에 입력되는 생체정보 추정 장치.
  10. 제9항에 있어서,
    상기 사용자 특성 정보는
    사용자의 나이, 키, 몸무게 정보 중 적어도 하나를 포함하는 생체정보 추정 장치.
  11. 제1항에 있어서,
    상기 생체정보는
    혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수, 피로도, 피부 나이 및 피부 탄력도 중의 하나 이상을 포함하는 생체정보 추정 장치.
  12. 맥파센서를 이용하여, 피검체로부터 채널별 복수의 맥파신호를 획득하는 단계;
    힘센서를 이용하여, 상기 피검체와 맥파센서 사이에 작용하는 힘신호를 획득하는 단계;
    획득된 채널별 맥파신호 및 힘신호를 제1 신경망 모델에 입력하여 채널별 제1 특징을 출력하는 단계;
    상기 출력된 제1 특징을 제2 신경망 모델에 입력하여 상기 채널별로 가중치를 생성하고 생성된 가중치를 상기 채널별 제1 특징에 적용하여 제2 특징을 출력하는 단계; 및
    출력된 제2 특징을 제3 신경망 모델에 입력하여 생체정보를 출력하는 단계를 포함하는 생체정보 추정 방법.
  13. 제12항에 있어서,
    상기 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델은
    DNN(Deep Neural Network), CNN(Convolution Neural Network), 및 RNN(Recurrent Neural Network) 중의 적어도 하나를 기반으로 하는 생체정보 추정 방법.
  14. 제12항에 있어서,
    상기 채널별 제1 특징을 출력하는 단계는
    각 채널별로 제1 입력값, 제2 입력값 및 제3 입력값을 획득하는 단계;
    상기 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 상기 제1 신경망에 포함된 세 개의 신경망에 병렬로 입력하는 단계; 및
    상기 세 개의 신경망의 출력을 제1 완전 연결 레이어에 입력하여 제1 특징을 출력하는 단계를 포함하는 생체정보 추정 방법.
  15. 제14항에 있어서,
    상기 제1 입력값은 상기 맥파신호, 맥파신호의 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 포함하고,
    상기 제2 입력값은 상기 힘신호를 이용하여 생성된 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나를 포함하고,
    상기 제3 입력값은 상기 힘신호를 포함하는 생체정보 추정 방법.
  16. 제12항에 있어서,
    상기 제2 특징을 출력하는 단계는
    상기 제1 특징을 어텐션 레이어에 입력하여 상기 채널별 가중치를 생성하는 단계; 및
    소프트맥스 함수를 이용하여, 상기 생성된 채널별 가중치를 확률값으로 변환하는 단계를 포함하는 생체정보 추정 방법.
  17. 제16항에 있어서,
    상기 제2 특징을 출력하는 단계는
    상기 변환된 채널별 확률값과 상기 채널별 제1 특징을 행렬곱하고, 행렬곱의 결과를 기초로 제2 특징을 출력하는 단계를 더 포함하는 생체정보 추정 방법.
  18. 제12항에 있어서,
    상기 생체정보를 출력하는 단계는
    제2 완전 연결 레이어에 상기 제2 특징을 입력하는 단계; 및
    상기 제2 완전 연결 레이어의 출력을 제3 완전 연결 레이어에 입력하여 생체정보를 출력하는 단계를 포함하는 생체정보 추정 방법.
  19. 제12항에 있어서,
    상기 채널별 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추출된 채널별 제3 특징을 기초로 제4 신경망 모델에 의해 채널별 가중치를 생성하는 단계; 및
    생성된 가중치를 상기 채널별 제3 특징에 적용하여 제4 특징을 출력하는 단계를 더 포함하는 생체정보 추정 방법.
  20. 제19항에 있어서,
    상기 생체정보를 출력하는 단계는
    상기 제4 특징 및 사용자 특성 정보 중의 적어도 하나를 제4 완전 연결 레이어에 입력하는 단계; 및
    상기 제4 완전 연결 레이어의 출력을 상기 제3 완전 연결 레이어에 입력하여 생체정보를 출력하는 단계를 포함하는 생체정보 추정 방법.
KR1020210068286A 2021-05-27 2021-05-27 생체정보 추정 장치 및 방법 KR20220160283A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210068286A KR20220160283A (ko) 2021-05-27 2021-05-27 생체정보 추정 장치 및 방법
US17/404,238 US20220378306A1 (en) 2021-05-27 2021-08-17 Apparatus and method for estimating bio-information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210068286A KR20220160283A (ko) 2021-05-27 2021-05-27 생체정보 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220160283A true KR20220160283A (ko) 2022-12-06

Family

ID=84194610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210068286A KR20220160283A (ko) 2021-05-27 2021-05-27 생체정보 추정 장치 및 방법

Country Status (2)

Country Link
US (1) US20220378306A1 (ko)
KR (1) KR20220160283A (ko)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5094245A (en) * 1988-10-17 1992-03-10 Omron Corporation Electronic blood pressure meter
US7016529B2 (en) * 2002-03-15 2006-03-21 Microsoft Corporation System and method facilitating pattern recognition
JP2013226189A (ja) * 2012-04-24 2013-11-07 Denso Corp 血圧計測装置
JP6582199B2 (ja) * 2015-05-25 2019-10-02 セイコーエプソン株式会社 血圧計測装置及び血圧計測方法
CN107423571B (zh) * 2017-05-04 2018-07-06 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统
KR102544669B1 (ko) * 2018-04-12 2023-06-16 삼성전자주식회사 생체정보 측정 장치 및 방법
US10635979B2 (en) * 2018-07-20 2020-04-28 Google Llc Category learning neural networks
US11141088B2 (en) * 2018-10-09 2021-10-12 Sony Corporation Electronic device for recognition of mental behavioral attributes based on deep neural networks
KR20200054723A (ko) * 2018-11-12 2020-05-20 삼성전자주식회사 혈압 측정 장치 및 방법
US11717202B2 (en) * 2019-04-10 2023-08-08 Foothold Labs Inc. Mobile lab-on-a-chip diagnostic system
WO2021053444A1 (en) * 2019-09-20 2021-03-25 Nokia Technologies Oy Runtime assessment of sensors
US20210183525A1 (en) * 2019-12-17 2021-06-17 Cerner Innovation, Inc. System and methods for generating and leveraging a disease-agnostic model to predict chronic disease onset
US20210279505A1 (en) * 2020-03-09 2021-09-09 Shenzhen Malong Technologies Co., Ltd. Progressive verification system and methods
US20210315470A1 (en) * 2020-04-08 2021-10-14 University Of Maryland, College Park Reconstruction of electrocardiogram from photoplethysmogram signals
CN111523502B (zh) * 2020-04-30 2023-06-20 上海交通大学医学院附属瑞金医院 一种心电图图像处理方法、设备、介质和心电图仪
CN116097198A (zh) * 2020-09-08 2023-05-09 惠普发展公司，有限责任合伙企业 根据生物特征信号确定特性
CN112336325B (zh) * 2020-10-12 2024-02-23 乐普（北京）医疗器械股份有限公司 一种融合标定光体积描计信号数据的血压预测方法和装置
WO2022155890A1 (en) * 2021-01-22 2022-07-28 Qualcomm Incorporated Decreased quantization latency
WO2022195327A1 (en) * 2021-03-18 2022-09-22 Ortho Biomed Inc. Health monitoring system and method

Also Published As

Publication number Publication date
US20220378306A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
KR20200097143A (ko) 생체정보 추정 장치 및 방법
US20240172945A1 (en) Apparatus and method for estimating blood pressure
KR20200032359A (ko) 생체정보 추정 장치 및 방법
KR102569987B1 (ko) 생체정보 추정 장치 및 방법
EP4137043A1 (en) Apparatus and method for estimating blood pressure
KR20220160283A (ko) 생체정보 추정 장치 및 방법
US11877858B2 (en) Apparatus and method for estimating bio-information
US20220409072A1 (en) Apparatus and method for estimating bio-information
EP3942999B1 (en) Apparatus and method for estimating bio-information
KR20220009672A (ko) 혈압 추정 장치 및 방법
US20230119697A1 (en) Method of evaluating quality of bio-signal and apparatus for estimating bio-information
KR20220017667A (ko) 생체정보 추정 장치 및 방법
KR20220045341A (ko) 생체정보 추정 장치 및 방법
KR102687782B1 (ko) 혈압 추정 장치 및 방법과 혈압 추정을 위한 센서
EP4059418B1 (en) Apparatus and method for estimating bio-information
US20230070636A1 (en) Apparatus and method for estimating blood pressure
US20240188834A1 (en) Apparatus and method for measuring blood pressure
US11911134B2 (en) Apparatus and method for estimating bio-information
US12144593B2 (en) Apparatus and method for measuring multiple bio-signals using image sensor based on different binning sizes
US20230263412A1 (en) Apparatus and method for estimating bio-information
US20230190118A1 (en) Apparatus and method for estimating blood pressure
EP4050885A1 (en) Apparatus and method for measuring multiple bio-signals using image sensor, and electronic device
US20230139441A1 (en) Method of extracting representative waveform of bio-signal and apparatus for estimating bio-information
KR20230149387A (ko) 혈압 추정 장치 및 방법
US20220022762A1 (en) Apparatus and method for estimating bio-information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal