KR20230103157A - Infectious respiratory disease infection detection method using smartphone camera-based PPG - Google Patents
Infectious respiratory disease infection detection method using smartphone camera-based PPG Download PDFInfo
- Publication number
- KR20230103157A KR20230103157A KR1020210193806A KR20210193806A KR20230103157A KR 20230103157 A KR20230103157 A KR 20230103157A KR 1020210193806 A KR1020210193806 A KR 1020210193806A KR 20210193806 A KR20210193806 A KR 20210193806A KR 20230103157 A KR20230103157 A KR 20230103157A
- Authority
- KR
- South Korea
- Prior art keywords
- respiratory disease
- infectious respiratory
- blood flow
- ppg
- disease infection
- Prior art date
Links
- 208000015181 infectious disease Diseases 0.000 title claims abstract description 84
- 208000023504 respiratory system disease Diseases 0.000 title claims abstract description 41
- 230000002458 infectious effect Effects 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 title claims description 19
- 230000017531 blood circulation Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012880 independent component analysis Methods 0.000 claims description 6
- 230000000284 resting effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 208000025721 COVID-19 Diseases 0.000 abstract description 14
- 239000000090 biomarker Substances 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000002405 diagnostic procedure Methods 0.000 abstract description 2
- 210000002345 respiratory system Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000001528 Coronaviridae Infections Diseases 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 208000019202 Orthocoronavirinae infectious disease Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 208000036071 Rhinorrhea Diseases 0.000 description 1
- 206010039101 Rhinorrhoea Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Power Engineering (AREA)
- Hematology (AREA)
- Multimedia (AREA)
- Pulmonology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
Description
본 발명은 감염성 호흡기 질환 감염 위험도 탐지 기술에 관한 것으로, 더욱 상세하게는 스마트폰 카메라로 복원한 PPG(PhotoPlethysmoGram) 신호를 이용하여 감염성 호흡기 질환에 감염되었는지 여부를 탐지하기 위한 방법에 관한 것이다.The present invention relates to an infectious respiratory disease infection risk detection technology, and more particularly, to a method for detecting whether or not infected with an infectious respiratory disease using a PPG (PhotoPlethysmoGram) signal restored by a smartphone camera.
'코로나 바이러스 감염증-19'(이하, 'COVID-19'로 표기) 진단은 상기도(코와 입, 기도 등) 검체 및 하기도(폐) 검체를 채취하여 분석해 해당 바이러스가 검출이 되는지에 대해서 진단한다.Diagnosis of 'Coronavirus Infectious Disease-19' (hereinafter referred to as 'COVID-19') is performed by collecting and analyzing samples from the upper respiratory tract (nose, mouth, respiratory tract, etc.) and lower respiratory tract (lungs) to determine whether the virus can be detected. do.
의료진이 개인보호구를 착용한 상태에서 하기도 검체(가래)는 별도의 통에 담고, 상기도는 비강에 잘 휘어지는 긴 면봉을 삽입해 콧물 등 분비물을 코 뒤쪽 벽에서 채취한다.While wearing personal protective equipment, the medical staff puts the lower respiratory tract sample (sputum) in a separate container, and inserts a long, flexible cotton swab into the upper respiratory tract to collect secretions such as runny nose from the back wall of the nose.
이 중 상기도 검체 채취는 피검사자를 매우 불편하게 할 뿐만 아니라, 감염 위험이 있을 수도 있다는 주장이 제기되고 있다.Among them, it has been argued that collecting an upper respiratory tract sample not only makes the subject very uncomfortable, but also may pose a risk of infection.
PPG는 ECG(ElectroCardioGram)와 더불어 가장 많이 이용되고 있는 생체 신호 중 하나이다. PPG는 전용 측정 장치를 이용하여 측정하고 있어, 사용자는 다소 번거롭고 불편할 수 있으며 경제적인 부담도 있는 상황이다.PPG is one of the most widely used biosignal along with ECG (Electrocardiogram). Since PPG is measured using a dedicated measuring device, the user may be somewhat cumbersome and inconvenient, and there is also an economic burden.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 별도의 PPG 측정용 디바이스 없이 스마트폰 카메라 영상으로부터 PPG를 복원하고, 복원환 PPG를 바탕으로 생체지표를 추출하여 감염성 호흡기 질환 감염 위험도를 탐지하는 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to restore PPG from a smartphone camera image without a separate PPG measurement device, and to extract a biomarker based on the restored PPG to detect infectivity. It is to provide a method for detecting the risk of respiratory disease infection.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 감염성 호흡기 질환 감염 위험도 탐지 방법은, 손가락 혈류 영상을 생성하는 단계; 생성된 손가락 혈류 영상에서 PPG(PhotoPlethysmoGram) 신호를 복원하는 단계; 복원된 PPG 신호로부터 심박수를 추출하는 단계; 추출한 심박수를 기초로, 감염성 호흡기 질환 감염 여부를 판별하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a method for detecting a risk of infection with an infectious respiratory disease includes generating a finger blood flow image; restoring a PPG (PhotoPlethysmoGram) signal from the generated finger blood flow image; extracting a heart rate from the restored PPG signal; Based on the extracted heart rate, determining whether or not an infectious respiratory disease infection; includes.
복원 단계는, 생성된 손가락 혈류 영상을 전처리하는 단계; 전처리된 손가락 혈류 영상에서 PPG 신호를 추출하는 단계; 및 추출한 PPG 신호를 고도화하는 단계;를 포함할 수 있다.The restoration step may include pre-processing the generated finger blood flow image; extracting a PPG signal from the preprocessed finger blood flow image; and enhancing the extracted PPG signal.
전처리 단계는, 손가락 혈류 영상을 히스토그램 정규화(Histogram Normalization) 하는 단계; 히스토그램 정규화된 손가락 혈류 영상을 평탄화(Equalization) 하는 단계; 및 평탄화된 손가락 혈류 영상을 CLAHE(Contrast Limited Adaptive Histogram Equalization) 하는 단계;를 포함할 수 있다.The pre-processing step may include performing histogram normalization of the finger blood flow image; Equalizing the histogram-normalized finger blood flow image; and performing CLAHE (Contrast Limited Adaptive Histogram Equalization) on the flattened finger blood flow image.
추출 단계는, 전처리된 손가락 혈류 영상에서 ICA(Independent Component Analysis) 기반으로 시계열 신호를 추출할 수 있다.In the extraction step, a time-series signal may be extracted based on Independent Component Analysis (ICA) from the preprocessed finger blood flow image.
그리고 고도화 단계는, 추출된 시계열 신호에서 노이즈를 제거하는 단계; 및 노이즈가 제거된 시계열 신호에서 고주파 성분을 제거하는 단계;를 더 포함할 수 있다.And the upgrading step, removing noise from the extracted time-series signal; and removing high-frequency components from the noise-removed time-series signal.
노이즈 제거 단계는, 추출된 시계열 신호에서 추세선을 제거하는 단계; 및 추세선이 제거된 시계열 신호를 스무딩 처리하는 단계;를 포함할 수 있다.The noise removal step may include removing a trend line from the extracted time series signal; and smoothing the time-series signal from which the trend line has been removed.
판별 단계는, 일정 시간 동안의 심박수 표준편차를 계산하는 단계; 및 계산된 심박수 표준편차가 정상시의 기저 값 보다 정해진 수준을 초과하면, 감염성 호흡기 질환 감염 위험이 있다고 판단하는 단계;를 포함할 수 있다.The determining step may include calculating a heart rate standard deviation for a predetermined period of time; and determining that there is a risk of infection with an infectious respiratory disease when the calculated heart rate standard deviation exceeds a predetermined level than a normal baseline value.
판별 단계는, 휴식기의 심박수가 정상시의 기저 값을 일정 수준 이상 초과하면, 감염성 호흡기 질환 감염 위험이 있다고 판단하는 단계;를 더 포함할 수 있다.The determining step may further include determining that there is a risk of infection with an infectious respiratory disease when the resting heart rate exceeds a normal baseline value by a certain level or more.
생성 단계는, 스마트폰 카메라로 손가락을 촬영하여 손가락 혈류 영상을 생성할 수 있다.In the generating step, a finger blood flow image may be generated by photographing the finger with a smartphone camera.
한편, 본 발명의 다른 실시예에 따른, 감염성 호흡기 질환 감염 위험도 탐지 시스템은, 손가락 혈류 영상을 생성하는 생성부; 생성된 손가락 혈류 영상에서 PPG 신호를 복원하는 복원부; 복원된 PPG 신호로부터 심박수를 추출하는 추출부; 및 추출한 심박수를 기초로, 감염성 호흡기 질환 감염 여부를 판별하는 판별부;를 포함한다.On the other hand, according to another embodiment of the present invention, an infectious respiratory disease infection risk detection system includes: a generation unit for generating a finger blood flow image; a restoration unit restoring a PPG signal from the generated finger blood flow image; an extractor extracting a heart rate from the restored PPG signal; And based on the extracted heart rate, a determination unit for determining whether or not an infectious respiratory disease infection; includes.
한편, 본 발명의 다른 실시예에 따른, 감염성 호흡기 질환 감염 위험도 탐지 방법은, 손가락 혈류 영상에서 PPG 신호를 복원하는 단계; 복원된 PPG 신호로부터 심박수를 추출하는 단계; 및 추출한 심박수를 기초로, 감염성 호흡기 질환 감염 여부를 판별하는 단계;를 포함한다.On the other hand, according to another embodiment of the present invention, a method for detecting the risk of infectious respiratory disease includes restoring a PPG signal from a finger blood flow image; extracting a heart rate from the restored PPG signal; And based on the extracted heart rate, determining whether or not an infectious respiratory disease infection; includes.
한편, 본 발명의 다른 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체에는, 손가락 혈류 영상에서 PPG(PhotoPlethysmoGram) 신호를 복원하는 단계; 복원된 PPG 신호로부터 심박수를 추출하는 단계; 및 추출한 심박수를 기초로, 감염성 호흡기 질환 감염 여부를 판별하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법을 수행할 수 있는 프로그램이 기록된다.Meanwhile, in a computer-readable recording medium according to another embodiment of the present invention, restoring a PPG (PhotoPlethysmoGram) signal from a finger blood flow image; extracting a heart rate from the restored PPG signal; And based on the extracted heart rate, determining whether or not an infectious respiratory disease infection; a program capable of performing an infectious respiratory disease infection risk detection method comprising the is recorded.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 별도의 PPG 측정용 디바이스 없이, 스마트폰 카메라 영상으로부터 PPG 신호를 정확하게 복원할 수 있게 된다.As described above, according to the embodiments of the present invention, it is possible to accurately restore a PPG signal from a smartphone camera image without a separate PPG measuring device.
또한, 본 발명의 실시예들에 따르면, 복원환 PPG를 바탕으로 생체지표를 추출하여 COVID-19와 같은 감염성 호흡기 질환에 감염되었는지 여부를 판단할 수 있어, 진단 검사에서 제기되고 있는 피검사자의 불편을 해소하고 검사 중 감염 위험을 최소화할 수 있다.In addition, according to embodiments of the present invention, it is possible to determine whether or not an infectious respiratory disease such as COVID-19 is infected by extracting a biomarker based on the restored PPG, thereby reducing the discomfort of the test subject raised in the diagnostic test. and minimize the risk of infection during testing.
특히, 본 발명의 실시예들에 따르면, 사용자가 검사소를 방문하지 않고, 집에서도 간편하고 신속하게 감염성 호흡기 질환 감염 여부를 확인하는 것이 가능해진다.In particular, according to embodiments of the present invention, it is possible for a user to easily and quickly check whether or not he is infected with an infectious respiratory disease at home without visiting a testing center.
도 1은 본 발명의 일 실시예에 따른 COVID-19 감염 위험도 탐지 시스템의 구성을 도시한 도면,
도 2는 도 1에 도시된 혈류 영상 생성부의 설명에 제공되는 도면,
도 3은 도 1에 도시된 PPG 복원부의 상세 구성을 도시한 도면,
도 4 및 도 5는 심박수 기반 COVID-19 감염 위험도 판별 방법의 설명에 제공되는 도면이다.1 is a diagram showing the configuration of a COVID-19 infection risk detection system according to an embodiment of the present invention;
FIG. 2 is a diagram provided to explain the blood flow image generating unit shown in FIG. 1;
3 is a diagram showing the detailed configuration of the PPG restoration unit shown in FIG. 1;
4 and 5 are diagrams provided to explain a method for determining the risk of COVID-19 infection based on heart rate.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 실시예에서는 전용 장비/장치를 사용하지 않고 스마트폰 카메라 영상으로부터 PPG(PhotoPlethysmoGram) 신호를 복원하고, 복원한 PPG를 바탕으로 생체지표를 추출하여 감염성 호흡기 질환 감염 위험도를 탐지하는 방법 및 장치를 제시한다.In an embodiment of the present invention, a method and apparatus for detecting the risk of infection with an infectious respiratory disease by restoring a PPG (PhotoPlethysmoGram) signal from a smartphone camera image without using dedicated equipment / devices and extracting a biomarker based on the restored PPG presents
도 1은 본 발명의 일 실시예에 따른 COVID-19 감염 위험도 탐지 시스템의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 COVID-19 감염 위험도 탐지 시스템은, 도시된 바와 같이, 혈류 영상 생성부(110), PPG 복원부(120), 심박수 추출부(130) 및 감염 위험도 판별부(140)를 포함하여 구성된다.1 is a diagram showing the configuration of a COVID-19 infection risk detection system according to an embodiment of the present invention. As shown, the COVID-19 infection risk detection system according to an embodiment of the present invention includes a blood flow
혈류 영상 생성부(110)는 사용자의 손가락 끝을 촬영하여 혈류 영상을 생성하기 위한 구성으로, 도 2에 도시된 바와 같이 스마트폰 카메라로 구현하는 것이 가능하다.The blood flow
PPG 복원부(120), 심박수 추출부(130) 및 감염 위험도 판별부(140)는 각 구성의 해당 기능을 수행할 수 스마트폰 애플리케이션 또는 이를 실행하는 프로세서로 구현할 수 있다.The
PPG 복원부(120)는 혈류 영상 생성부(110)에 의해 생성된 손가락 혈류 영상으로부터 PPG를 복원하기 위한 구성이다. 도 3에 PPG 복원부(120)의 상세 구성을 도시하였다.The
PPG 복원부(120)는, 도시된 바와 같이, 영상 전처리부(121) 및 PPG 신호 추출부(122)를 포함하여 구성된다. 영상 전처리부(121)는 혈류 영상 생성부(110)에 의해 생성된 손가락 혈류 영상에 대해 필요한 전처리를 수행하고, PPG 신호 추출부(122)는 전처리된 손가락 혈류 영상에서 PPG 신호를 추출하고 고도화 한다.As shown, the
구체적으로, 영상 전처리부(121)는 먼저 손가락 혈류 영상을 히스토그램 정규화(Histogram Normalization) 한다. 손가락 혈류 영상에서 PPG 신호를 추출하기 위해서는 픽셀 값의 변화를 이용하여야 하므로, 픽셀 값이 고르게 분포되도록 하기 위한 것이다.Specifically, the image pre-processing
다음, 영상 전처리부(110)는 히스토그램 정규화된 손가락 혈류 영상을 평탄화(Equalization) 한다. 히스토그램 정규화로 손가락 혈류 영상의 히스토그램 분포가 고르게 되었다 하더라도, 픽셀들이 전체 영역에 골고루 분포되어 있지 않고 특정 영역에 분포가 집중되어 있을 수 있으므로, 평탄화를 통해 명암 대비를 개선시키기 위한 것이다.Next, the image pre-processing
이후, 영상 전처리부(110)는 평탄화된 손가락 혈류 영상을 CLAHE(Contrast Limited Adaptive Histogram Equalization) 한다. 평탄화를 하더라도 극단적으로 어둡거나 밝은 영역에서는 노이즈가 발생할 수 있는데, 픽셀 값의 제한 때문에 생기는 문제로 Contrast limit, clipLimit를 이용하여 픽셀의 변화 폭을 크게 하여 프레임 별 변화에 차이가 생기도록 하기 위한 것이다.Thereafter, the
그리고, PPG 신호 추출부(122)는 영상 전처리부(121)에 의해 전처리된 손가락 혈류 영상에서 ICA(Independent Component Analysis) 기반으로 시계열 신호를 추출한다.Further, the
다음, PPG 신호 추출부(122)는 추출된 시계열 신호에서 노이즈 제거(Noise Reduction)를 위해, 추출된 시계열 신호에서 추세선을 제거(Detrend) 하고, 추세선이 제거된 시계열 신호를 스무딩(Smoothing) 처리한다.Next, the
스무딩 처리는 이동 평균 필터링(Moving Average Filtering) 기법을 적용할 수 있는데, 이동 평균 산출 범위는 카메라 사양과 혈류 영상의 특성을 반영하여 결정할 수 있다.For the smoothing process, a moving average filtering technique may be applied, and a moving average calculation range may be determined by reflecting camera specifications and characteristics of blood flow images.
이후, PPG 신호 추출부(122)는 노이즈가 제거된 시계열 신호에서 고주파 성분을 제거한다. 고주파 제거를 위해 버터워스 필터링(Butterworth filtering)이 수행될 수 있다.Thereafter, the
다시, 도 1을 참조하여 설명한다.Again, description will be made with reference to FIG. 1 .
심박수 추출부(130)는 PPG 복원부(120)에 의해 복원된 PPG에서 피크를 추출하고, 추출한 피크를 기초로 사용자의 심박수를 추출한다.The
감염 위험도 판별부(140)는 심박수 추출부(130)에 의해 추출된 심박수를 분석하여 COVID-19 감염 위험도를 판별한다. 도 4에는 감염 위험도 판별부(140)에 의한 심박수 기반 감염 위험도 판단 방법을 도시하였다.The infection
심박수 기반의 판단은, 도 4의 상부에 도시된 바와 같이, 심박수 변화량으로부터 심박수 표준편차를 측정하고, 일정 시간 동안의 심박수 표준편차가 정상시의 기저 값을 일정 수준 이상 초과하면, 사용자가 COVID-19 감염 위험이 있다고 판단한다.As shown in the upper part of FIG. 4, the heart rate-based judgment measures the heart rate standard deviation from the heart rate variance, and if the heart rate standard deviation for a certain period of time exceeds the baseline value at normal times by a certain level or more, the user determines that the COVID-19 19 It is judged that there is a risk of infection.
도 5는 정상인(좌)과 COVID-19 확진자(우)의 심박수 편차를 나타낸 표이다. 도시된 바와 같이, COVID-19 확진자의 심박수 변화량은 정상인 대비 높게 측정되므로, 본 발명의 실시예에서는 이를 반영한 것이다.5 is a table showing heart rate deviations between normal people (left) and confirmed COVID-19 patients (right). As shown, since the heart rate variance of COVID-19 confirmed patients is measured higher than that of normal people, this is reflected in the embodiments of the present invention.
또한, 도 4의 하부에 도시된 바와 같이, 움직임이 없는 휴식기에서의 심박수가 정상시의 기저 값을 일정 수준 이상 초과하는 경우에도 사용자가 COVID-19 감염 위험이 있다고 판단한다. COVID-19에 확진되면 통상적으로 심박수가 증가하게 된다는 점에서, 본 발명의 실시예에서는 이를 반영한 것이다.In addition, as shown in the lower part of FIG. 4, it is determined that the user is at risk of COVID-19 infection even when the heart rate in the resting period without movement exceeds the baseline value at a certain level or more. In that the heart rate usually increases when COVID-19 is confirmed, the embodiment of the present invention reflects this.
심박수 표준편차와 휴식기 심박수에 기반한 판단은 OR 조건이 적용된다. 즉, 어느 한 생체지표에 의해서라도 감염 위험이 있다고 판단되면, 사용자는 COVID-19 감염 위험이 있는 것으로 판단되어 감염 위험도 판별부(140)는 경고 메시지를 출력하게 된다The OR condition is applied to judgments based on heart rate standard deviation and resting heart rate. That is, if it is determined that there is a risk of infection by any one biomarker, the user is determined to be at risk of COVID-19 infection, and the infection
지금까지, 스마트폰 카메라 기반의 PPG를 이용한 감염성 호흡기 질환 감염 위험도 탐지 방법에 대해 바람직한 실시예들을 들어 상세히 설명하였다.So far, a method for detecting the risk of infection with an infectious respiratory disease using PPG based on a smartphone camera has been described in detail with reference to preferred embodiments.
본 발명의 실시예에서는 전용 장비/장치를 사용하지 않고 스마트폰 카메라 영상으로부터 PPG 신호를 복원하는 방법을 제시하였고, 복원한 PPG를 바탕으로 생체지표를 추출하여 감염성 호흡기 질환 감염 위험도를 탐지하는 방법을 제시하였다.In the embodiment of the present invention, a method for restoring a PPG signal from a smartphone camera image without using dedicated equipment/devices is presented, and a method for detecting the risk of infectious respiratory disease by extracting biomarkers based on the restored PPG is presented. presented.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium. The computer-readable recording medium may be any data storage device that can be read by a computer and store data. For example, the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Of course, various modifications are possible by those skilled in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
110 : 혈류 영상 생성부
120 : PPG 복원부
130 : 심박수 추출부
140 : 감염 위험도 판별부110: blood flow image generating unit
120: PPG restoration unit
130: heart rate extraction unit
140: infection risk determination unit
Claims (12)
생성된 손가락 혈류 영상에서 PPG(PhotoPlethysmoGram) 신호를 복원하는 단계;
복원된 PPG 신호로부터 심박수를 추출하는 단계;
추출한 심박수를 기초로, 감염성 호흡기 질환 감염 여부를 판별하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
generating a finger blood flow image;
restoring a PPG (PhotoPlethysmoGram) signal from the generated finger blood flow image;
extracting a heart rate from the restored PPG signal;
Based on the extracted heart rate, determining whether or not an infectious respiratory disease infection; Infectious respiratory disease infection risk detection method comprising the.
복원 단계는,
생성된 손가락 혈류 영상을 전처리하는 단계;
전처리된 손가락 혈류 영상에서 PPG 신호를 추출하는 단계; 및
추출한 PPG 신호를 고도화하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
The method of claim 1,
The restoration step is
pre-processing the generated finger blood flow image;
extracting a PPG signal from the preprocessed finger blood flow image; and
Infectious respiratory disease infection risk detection method comprising the; step of enhancing the extracted PPG signal.
전처리 단계는,
손가락 혈류 영상을 히스토그램 정규화(Histogram Normalization) 하는 단계;
히스토그램 정규화된 손가락 혈류 영상을 평탄화(Equalization) 하는 단계; 및
평탄화된 손가락 혈류 영상을 CLAHE(Contrast Limited Adaptive Histogram Equalization) 하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
The method of claim 2,
The preprocessing step is
Histogram normalization of the finger blood flow image;
Equalizing the histogram-normalized finger blood flow image; and
Contrast Limited Adaptive Histogram Equalization (CLAHE) of the flattened finger blood flow image; Infectious respiratory disease infection risk detection method comprising the.
추출 단계는,
전처리된 손가락 혈류 영상에서 ICA(Independent Component Analysis) 기반으로 시계열 신호를 추출하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
The method of claim 2,
The extraction step is
An infectious respiratory disease infection risk detection method characterized by extracting time-series signals based on ICA (Independent Component Analysis) from preprocessed finger blood flow images.
고도화 단계는,
추출된 시계열 신호에서 노이즈를 제거하는 단계; 및
노이즈가 제거된 시계열 신호에서 고주파 성분을 제거하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
The method of claim 2,
The upgrade stage is
removing noise from the extracted time series signal; and
Infectious respiratory disease infection risk detection method comprising the; step of removing high-frequency components from the noise-removed time series signal.
노이즈 제거 단계는,
추출된 시계열 신호에서 추세선을 제거하는 단계; 및
추세선이 제거된 시계열 신호를 스무딩 처리하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
The method of claim 5,
In the noise removal step,
removing trend lines from the extracted time series signals; and
Infectious respiratory disease infection risk detection method comprising the; step of smoothing the time series signal from which the trend line has been removed.
판별 단계는,
일정 시간 동안의 심박수 표준편차를 계산하는 단계; 및
계산된 심박수 표준편차가 정상시의 기저 값 보다 정해진 수준을 초과하면, 감염성 호흡기 질환 감염 위험이 있다고 판단하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
The method of claim 1,
The discrimination step is
Calculating heart rate standard deviation for a certain period of time; and
If the calculated heart rate standard deviation exceeds a predetermined level than the baseline value at normal times, determining that there is a risk of infectious respiratory disease infection; Infectious respiratory disease infection risk detection method comprising the.
판별 단계는,
휴식기의 심박수가 정상시의 기저 값을 일정 수준 이상 초과하면, 감염성 호흡기 질환 감염 위험이 있다고 판단하는 단계;를 더 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
The method of claim 7,
The discrimination step is
Infectious respiratory disease infection risk detection method further comprising; determining that there is a risk of infectious respiratory disease infection when the heart rate in the resting period exceeds a predetermined level or more of the baseline value at normal time.
생성 단계는,
스마트폰 카메라로 손가락을 촬영하여 손가락 혈류 영상을 생성하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
The method of claim 1,
The creation step is
An infectious respiratory disease infection risk detection method characterized by generating a finger blood flow image by photographing a finger with a smartphone camera.
생성된 손가락 혈류 영상에서 PPG(PhotoPlethysmoGram) 신호를 복원하는 복원부;
복원된 PPG 신호로부터 심박수를 추출하는 추출부; 및
추출한 심박수를 기초로, 감염성 호흡기 질환 감염 여부를 판별하는 판별부;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 시스템.
a generating unit generating a finger blood flow image;
a restoration unit that restores a PPG (PhotoPlethysmoGram) signal from the generated finger blood flow image;
an extractor extracting a heart rate from the restored PPG signal; and
An infectious respiratory disease infection risk detection system comprising a; determination unit for determining whether or not an infectious respiratory disease infection is present on the basis of the extracted heart rate.
복원된 PPG 신호로부터 심박수를 추출하는 단계; 및
추출한 심박수를 기초로, 감염성 호흡기 질환 감염 여부를 판별하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법.
restoring a PPG (PhotoPlethysmoGram) signal from a finger blood flow image;
extracting a heart rate from the restored PPG signal; and
Based on the extracted heart rate, determining whether or not an infectious respiratory disease infection; Infectious respiratory disease infection risk detection method comprising the.
복원된 PPG 신호로부터 심박수를 추출하는 단계; 및
추출한 심박수를 기초로, 감염성 호흡기 질환 감염 여부를 판별하는 단계;를 포함하는 것을 특징으로 하는 감염성 호흡기 질환 감염 위험도 탐지 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
restoring a PPG (PhotoPlethysmoGram) signal from a finger blood flow image;
extracting a heart rate from the restored PPG signal; and
Based on the extracted heart rate, determining whether or not an infectious respiratory disease infection exists; A computer-readable recording medium having a program recorded thereon that can perform an infectious respiratory disease infection risk detection method comprising the.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210193806A KR102679850B1 (en) | 2021-12-31 | 2021-12-31 | Infectious respiratory disease infection detection method using smartphone camera-based PPG |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210193806A KR102679850B1 (en) | 2021-12-31 | 2021-12-31 | Infectious respiratory disease infection detection method using smartphone camera-based PPG |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230103157A true KR20230103157A (en) | 2023-07-07 |
| KR102679850B1 KR102679850B1 (en) | 2024-07-01 |
Family
ID=87155022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210193806A KR102679850B1 (en) | 2021-12-31 | 2021-12-31 | Infectious respiratory disease infection detection method using smartphone camera-based PPG |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102679850B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160008129A (en) * | 2013-08-05 | 2016-01-21 | 상명대학교서울산학협력단 | Method and Device for measuring PPG signal by using mobile device |
| KR20160116867A (en) * | 2015-03-31 | 2016-10-10 | 인덕대학교 산학협력단 | Emotion monitoring toilet system |
| KR20170032877A (en) * | 2015-09-15 | 2017-03-23 | 삼성전자주식회사 | Mobile Optical Device and Methods for Monitoring Microvascular Hemodynamics |
| KR20190071808A (en) * | 2016-11-02 | 2019-06-24 | 레스퍼러토리 모션 인코포레이티드 | System and method for calculating respiration early warning score |
| KR102010524B1 (en) | 2017-10-19 | 2019-08-13 | 성균관대학교산학협력단 | contactless diagnosis device |
| KR20200139039A (en) * | 2019-06-03 | 2020-12-11 | 계명대학교 산학협력단 | Non-contact system of measuring ppg signal and its way to working |
-
2021
- 2021-12-31 KR KR1020210193806A patent/KR102679850B1/en not_active Application Discontinuation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160008129A (en) * | 2013-08-05 | 2016-01-21 | 상명대학교서울산학협력단 | Method and Device for measuring PPG signal by using mobile device |
| KR101725357B1 (en) | 2013-08-05 | 2017-04-11 | 상명대학교산학협력단 | Method and Device for measuring PPG signal by using mobile device |
| KR20160116867A (en) * | 2015-03-31 | 2016-10-10 | 인덕대학교 산학협력단 | Emotion monitoring toilet system |
| KR20170032877A (en) * | 2015-09-15 | 2017-03-23 | 삼성전자주식회사 | Mobile Optical Device and Methods for Monitoring Microvascular Hemodynamics |
| KR20190071808A (en) * | 2016-11-02 | 2019-06-24 | 레스퍼러토리 모션 인코포레이티드 | System and method for calculating respiration early warning score |
| KR102010524B1 (en) | 2017-10-19 | 2019-08-13 | 성균관대학교산학협력단 | contactless diagnosis device |
| KR20200139039A (en) * | 2019-06-03 | 2020-12-11 | 계명대학교 산학협력단 | Non-contact system of measuring ppg signal and its way to working |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102679850B1 (en) | 2024-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6909741B2 (en) | A system for detecting coronary artery disease in humans using a fusion approach and its machine-readable information storage medium | |
| Pal et al. | A robust heart rate detection using smart-phone video | |
| CN111091116B (en) | Signal processing method and system for judging arrhythmia | |
| JP2013248386A (en) | Processing of video for vascular pattern detection and cardiac function analysis | |
| JP2009131628A (en) | System, method and program for vital sign estimation | |
| KR102176001B1 (en) | Apparatus for measuring Biometric Information and Method thereof | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| US9820667B2 (en) | Method and system for detecting heartbeat irregularities | |
| US9320440B2 (en) | Discriminating between atrial fibrillation and sinus rhythm in physiological signals obtained from video | |
| KR102679850B1 (en) | Infectious respiratory disease infection detection method using smartphone camera-based PPG | |
| US9569687B2 (en) | Image analysis device, imaging system and non-transitory recording medium generating an index indicating a cardiac status with respect to frame images | |
| KR101293248B1 (en) | System for discriminating premature ventricular contraction using RR interval, method for discriminating premature ventricular contraction and the recording media storing the program performing the said method | |
| JP7124974B2 (en) | Blood volume pulse signal detection device, blood volume pulse signal detection method, and program | |
| CN114557685A (en) | Non-contact motion robust heart rate measuring method and measuring device | |
| Greenspan et al. | Doppler echocardiography flow-velocity image analysis for patients with atrial fibrillation | |
| CN115908405B (en) | Method and device for determining fundus characteristics and electronic equipment | |
| KR20240087664A (en) | Process control system and implementation method for standardized blood pressure measurement | |
| CN114010185B (en) | Method, device, equipment and medium for monitoring respiratory disorder | |
| US20200121260A1 (en) | Methods and system for detecting inhalations and extracting measures of neural respiratory drive from an emg signal | |
| Oliveira et al. | Automatic detection of microaneurysm based on the slant stacking | |
| KR102679862B1 (en) | PPG reconstruction method and device with smartphone camera image | |
| KR20200080797A (en) | an image processing system for varicose vein | |
| US20230293113A1 (en) | System and method of estimating vital signs of user using artificial intelligence | |
| JP6608229B2 (en) | Information processing method and apparatus | |
| KR102459183B1 (en) | Heart rate measurement method and device using color image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |