KR102216517B1 - 생체신호에 따른 vr콘텐츠 제공시스템 - Google Patents
생체신호에 따른 vr콘텐츠 제공시스템 Download PDFInfo
- Publication number
- KR102216517B1 KR102216517B1 KR1020190083892A KR20190083892A KR102216517B1 KR 102216517 B1 KR102216517 B1 KR 102216517B1 KR 1020190083892 A KR1020190083892 A KR 1020190083892A KR 20190083892 A KR20190083892 A KR 20190083892A KR 102216517 B1 KR102216517 B1 KR 102216517B1
- Authority
- KR
- South Korea
- Prior art keywords
- respiration
- resp
- heart rate
- standard deviation
- rate
- Prior art date
Links
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 66
- 230000008859 change Effects 0.000 claims abstract description 58
- 230000008451 emotion Effects 0.000 claims abstract description 37
- 230000002996 emotional effect Effects 0.000 claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 230000000241 respiratory effect Effects 0.000 claims 3
- 210000004556 brain Anatomy 0.000 abstract description 5
- 230000001939 inductive effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Business, Economics & Management (AREA)
- Psychology (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Power Engineering (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
VR콘텐츠에 관한 것으로 구체적으로, 생체신호에 따라 적절한 VR컨텐츠를 제공하는 시스템에 관한 것이다. 실시예에 따른 VR컨텐츠 제공시스템은 VR을 사용자에게 디스플레이 하기 위한 헤드마운트, 상기 헤드마운트에 포함되어 뇌파를 측정하는 뇌파측정기, 상기 헤드마운트에 포함되어 심전도를 측정하는 심전도측정기, 상기 사용자의 상체에 부착되어 호흡을 측정하는 호흡측정기, 및 상기 사용자가 VR콘텐츠를 이용하는 동작을 촬영하는 카메라센서를 포함하는 생체신호에 따른 VR콘텐츠 제공시스템에 있어서, 상기 심전도측정기에 따라 감정변화를 측정하는 제 1단계, 상기 호흡측정기에 따라 감정변화를 측정하는 제 2단계, 상기 뇌파측정기에 따라 뇌파의 베타파를 측정하는 제 3단계, 상기 카메라센서에 따라 감정변화를 측정하는 제 4단계, 상기 제 1단계 내지 제 4단계 중 어느 하나 이상의 측정결과를 이용하여 사용자의 감정변화도를 결정하고, 상기 감정변화도가 제 1설정값 이상이면 난이도 하락신호를 송신하는 제 5단계 및 상기 난이도 하락신호를 제 1설정빈도 이상 수신하면 VR콘텐츠의 난이도를 하락시키는 제 6단계;를 포함하는 생체신호에 따른 VR콘텐츠 제공시스템을 게시한다.
Description
VR콘텐츠에 관한 것으로 구체적으로, 생체신호에 따라 적절한 VR컨텐츠를 제공하는 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
5G 시대가 도래하면 VR기술에 대한 기대가 한층 더 강해지고 있다. VR기술은 장래 유망한 기술로 분류되지만 VR콘텐츠에 대한 부족으로 인해 기대만큼 VR기술이 발전이 촉진되고 있지 못하는 상황이다. 이러한 상황에서 적절한 VR콘텐츠의 제공은 VR 장비의 사용자수를 증가시키기 위해 필수적인 요소가 되었다. 따라서, 본 개시된 발명은 이러한 VR기술에 의하여 제공되는 컨텐츠를 좀 더 사용자중심에 맞추어 적절히 제공하는 것을 목적으로 한다.
대한민국 특허등록 제 10-1397287호(14.05.21 공고)에 개시된 발명은 강도별 단계로 정형화된 감정유발시스템 및 이를 이용한 감정유발방법에 관한 것으로, 사용자로부터 감정을 유발하기 위한 감정유발시스템에 있어서, 생체신호를 검출하는 생체신호검출부; 생체신호로부터 추출된 생체파라미터의 증감패턴에 따라 해당하는 감정유발프로토콜의 신호를 출력하는 데이터베이스부; 감정유발프로토콜의 신호에 의해 신체를 자극하는 자극모듈부; 생체신호로부터 추출된 생체파라미터의 증감패턴을 비교분석하여 감정의 강도 단계별로 정형화하여 데이터로 추출하는 제어부; 및 제어부에서 정형화된 감정의 강도 단계별 데이터를 저장하는 감정의 강도 단계별 데이터저장부;가 포함되어 이루어짐으로써, 실험을 통해 감정에 대해 강도별로 정형화시켜 단계화하고, 감정의 각 강도에 따라 최적의 콘텐츠, 생체파라미터 및 감정유발프로토콜을 객관화함으로써, 사용자의 주관적인 감정의 정도에 대해 객관적인 결과를 도출할 수 있는 효과가 있는 발명에 대한 개시하고 있다. 위 개시된 발명은 특정컨텐츠에 대한 사람의 생체신호의 변화에 대한 내용을 포함하고 있어 생체신호에 따른 VR콘텐츠제공에 활용할 수 있다.
또한, 대한민국 특허등록 제 10-1798777호(17.11.16 공고)에 개시된 발명은 뉴로시네마틱스에 관한 것으로, 정상상태시각유발전위를 이용하여 동영상 콘텐츠에 대한 시청자의 정서적 흥분을 측정하고 동영상 콘텐츠를 평가하는 방법이 개시된다. 개시된 동영상 콘텐츠에 대한 시청자의 정서적 흥분 측정 방법은 정상상태시각유발전위유발 자극을 포함하는 동영상 콘텐츠를 시청하는 시청자의 뇌파 측정 결과를 입력받는 단계; 상기 뇌파 측정 결과로부터 상기 유발 자극에 대응되는 주파수 성분을 추출하는 단계; 및 상기 주파수 성분의 매그니튜드를 이용하여, 상기 시청자의 정서적 흥분 변화를 측정하는 단계를 포함하며, 상기 유발 자극은, 상기 동영상 콘텐츠의 재생 중에 기 설정된 주파수로 출력되는 자극이다. 즉, 콘텐츠에 따른 사용자의 정서적 흥분을 측정하여 동영상 콘텐츠를 파악하는 기술이다.
본 개시된 발명에는 이러한 배경기술을 토대로 생체신호를 파악하여 이를 이용하여 적절한 콘텐츠를 제공하는 방법을 본 명세서에서 개시하고 있다.
사용자에 따라 VR콘텐츠에 과몰입되어 부작용을 일으키거나 VR콘텐츠가 사용자에게 극심한 공포, 놀람을 제공하여 사용자가 VR콘텐츠를 즐기지 못하게 되는 것을 방지하기 위하여 생체신호를 센싱하여 적절한 VR콘텐츠를 제공하여 사용자가 VR콘텐츠를 최대한 즐길 수 있도록 하는 것을 목적으로 한다.
실시예에 따른 VR을 사용자에게 디스플레이 하기 위한 헤드마운트, 상기 헤드마운트에 포함되어 뇌파를 측정하는 뇌파측정기, 상기 헤드마운트에 포함되어 심전도를 측정하는 심전도측정기, 상기 사용자의 상체에 부착되어 호흡을 측정하는 호흡측정기, 및 상기 사용자가 VR콘텐츠를 이용하는 동작을 촬영하는 카메라센서를 포함하는 생체신호에 따른 VR콘텐츠 제공시스템에 있어서, 상기 심전도측정기에 따라 감정변화를 측정하는 제 1단계, 상기 호흡측정기에 따라 감정변화를 측정하는 제 2단계, 상기 뇌파측정기에 따라 뇌파의 베타파를 측정하는 제 3단계, 상기 카메라센서에 따라 감정변화를 측정하는 제 4단계, 상기 제 1단계 내지 제 4단계 중 어느 하나 이상의 측정결과를 이용하여 사용자의 감정변화도를 결정하고, 상기 감정변화도가 제 1설정값 이상이면 난이도 하락신호를 송신하는 제 5단계 및 상기 난이도 하락신호를 제 1설정빈도 이상 수신하면 VR콘텐츠의 난이도를 하락시키는 제 6단계;를 포함하는 생체신호에 따른 VR콘텐츠 제공시스템을 포함한다.
사용자의 생체신호를 센싱 및 분석하여 이를 토대로 사용자에게 적절한 몰입감과 즐거움을 제공할 수 있도록 하는 VR콘텐츠 제공시스템을 개시하고 있다. 생체신호를 통하여 사용자의 자신의 감정과 상태에 따라 적절한 VR콘텐츠를 제공받게 되어 VR콘텐츠를 더욱 재밌고 몰입감있게 즐길 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 일 또는 다른 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템의 개략적인 순서도
도 2는 일 또는 다른 실시예에 따른 뇌파 신호의 처리방법에 대한 순서도
도 3은 일 또는 다른 실시예에 따른 동작 신호의 처리방법에 대한 순서도
도 4은 일 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도
도 5은 다른 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도
도 6은 또 다른 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도
도 7은 일 또는 다른 실시예에 따른 난이도 하락 시스템에 대한 순서도
도 2는 일 또는 다른 실시예에 따른 뇌파 신호의 처리방법에 대한 순서도
도 3은 일 또는 다른 실시예에 따른 동작 신호의 처리방법에 대한 순서도
도 4은 일 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도
도 5은 다른 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도
도 6은 또 다른 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도
도 7은 일 또는 다른 실시예에 따른 난이도 하락 시스템에 대한 순서도
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 또는 다른 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템의 개략적인 순서도를 도시하고 있다.
도 1에 도시된 바와 같이, VR을 사용자에게 디스플레이 하기 위한 헤드마운트, 헤드마운트에 포함되어 뇌파를 측정하는 뇌파측정기, 헤드마운트에 포함되어 심전도를 측정하는 심전도측정기, 사용자의 상체에 부착되어 호흡을 측정하는 호흡측정기, 사용자가 VR콘텐츠를 이용하는 동작을 촬영하는 카메라센서를 포함하는 생체신호에 따른 VR콘텐츠 제공시스템에 있어서, 심전도측정기에 따라 감정변화를 측정하는 제 1단계(S100), 호흡측정기에 따라 감정변화를 측정하는 제 2단계(S200), 뇌파측정기에 따라 뇌파의 베타파를 측정하는 제 3단계(S300), 카메라센서에 따라 감정변화를 측정하는 제 4단계(S400), 제 1단계 내지 제 4단계 중 어느 하나 이상의 측정결과를 이용하여 사용자의 감정변화도를 결정하고, 감정변화도가 제 1설정값 이상이면 난이도 하락신호를 송신하는 제 5단계(S500) 및 난이도 하락신호를 제 1설정빈도 이상 수신하면 VR콘텐츠의 난이도를 하락시키는 제 6단계(S600)를 포함하는 생체신호에 따른 VR콘텐츠 제공시스템을 개시하고 있다.
먼저, 바이오 신호의 일 예로서 심전도, 호흡, 뇌파와 사용자의 동작을 센싱한다. 위 측정된 결과를 가지고 감정변화를 분석한다. 감정변화 분석 결과가 공포 또는 놀람으로 판명되는 경우 난이도 하락신호를 송신하게 되고 하락 신호의 송신횟수가 설정값을 초과하는 경우 난이도를 하락하여 콘텐츠를 제공하게 된다.
감정변화 분석 결과가 공포 또는 놀람이 아닌 경우, 계속적으로 심전도, 호흡, 뇌파, 동작을 센싱하여 감정변화를 관찰한다.
여기서, 심전도는 VR을 사용자에게 디스플레이어 하기 위한 헤드마운트에서 측정되고, 상기 헤드마운트에는 뇌파를 측정하기 위한 뇌파측정기가 포함될 수 있다. 호흡측정기는 사용자의 상체에 부착되어 호흡을 측정하는 호흡측정기, 동작신호는 사용자가 VR콘텐츠를 이용하는 동작을 촬영하는 카메라센서에 의하여 측정된다.
S100에서 심전도측정기는 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)을 측정한다. 측정된 결과를 가지고 감정을 판단하게 되는 데, 측정된 결과에 따라 변화량에 따른 감정변화판단은 등록특허 제 10-1397287에 개시되어 있는바 자세한 설명은 생략한다.
S200에서 호흡측정기는 호흡율(Resp_R), 호흡진폭(Resp_A), 호흡율의 표준편차(Resp_Rsd), 호흡진폭의 표준편차(Resp_Asp)의 변화율을 측정한다. 측정된 결과를 가지고 감정을 판단하게 되는 데, 측정된 결과에 따라 변화량에 따른 감정변화판단은 등록특허 제 10-1397287에 개시되어 있다. 따라서 자세한 설명은 생략한다.
도 2는 일 또는 다른 실시예에 따른 뇌파 신호의 처리방법에 대한 순서도를 도시하고 있다.
도 2에 도시된 바와 같이, 제 3단계(S300)에서 뇌파측정기에서 측정된 뇌파신호를 주파수분석하는 제 3-1단계(S310), 3-1단계에서의 주파수분석결과를 베타파의 주파수 영역만 추출하는 제 3-2단계(S320), 3-2단계에서의 분석결과에 따라 베타파의 변화량을 추출하는 제 3-3단계(S330) 및 베타파의 변화량을 정규화하는 제 3-4단계(S340)를 더 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템을 포함한다.
뇌파 측정기에 의하여 뇌파가 측정되고 주파수 분석을 통하여 분석하게 된다.(S310) 주파수 분석은 통상적인 FFT(Fast-Fourier Transform)을 이용하게 된다. 이후 뇌파에서 베타파 부분을 추출하기 위한 특정 주파수영역을 추출하는 Band-Pass Filter을 이용하여 베타파의 구간이 13~30 Hz를 통과시킨다.(S320) 베타파는 각성상태나 의식적인 행동을 할때에 나타나거나 긴장이나 불안한 감정상태일때 일반적으로 나타낸다. 이에 대해서는 공지기술인바 자세한 기술을 생략한다. 추출한 베타파를 가지고 변화량을 추출한 후(S330), 추출된 변화량을 0에서 1사이값으로 정규화하게 된다(S340) 여기서 정규화는 통상적인 정규화 방법에 따르는 바, 자세한 설명은 생략한다.
도 3은 일 또는 다른 실시예에 따른 동작 신호의 처리방법에 대한 순서도를 도시하고 있다.
도 3에 도시된 바와 같이, 카메라센서에 의하여 동작을 인식하는 제 4-1단계(S410), 동작이 DB화된 감정동작에 일치여부를 판단하는 제 4-2단계(S420), 감정동작에 일치되는 동작의 개수에 따라 감정정확도를 계산하는 제 4-3단계(S430)를 더 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템을 포함한다.
카메라센서는 VR콘텐츠를 사용자가 즐기는 공간에 설치되어 VR콘텐츠를 이용하는 사용자를 촬영하게 되고 촬영된 영상을 분석하여 감정변화를 판단하게 된다.
공지된 기술로서 사람의 행동인 자세분석을 통하여 감정을 판단하는 연구가 많이 진행되고 있다. 연구결과, 사람이 놀람의 감정을 느낄 경우에는 몸을 뒤로 굽힌다거나 두손으로 뺨을 감싸거나 입을 감싸는 행동을 하게 된다. 사람이 공포의 감정을 느낄 경우에는 몸을 오무리거나 뒤로 굽히거나 몸,어깨주위로 팔 두르기를 하게 된다. 또한 손을 겹치거나 주먹을 불끈쥐는 행동 두 손으로 얼굴을 감싸거나 두손으로 입을 감싸는 행동을 하는 것으로 알려져 있다. 이하, 공지기술인바 자세한 설명은 생략한다.
S410에서는 카메라센서를 통하여 사용자의 동작을 인식하고 S420에서 상기 기술한 놀람 도는 공포감정을 느낄 경우에 해당하는 동작을 DB화 한 후에 S430에서 동작의 개수에 따라 감정정확도를 계산하게 된다. 즉, 놀람 또는 공포의 감정을 느끼는 경우에 중복되는 동작을 하나로 계산하면 총 7가지 동작이 되는데, 동작이 중복되는 경우 더 정확하게 놀람 또는 공포의 감정을 느끼는 것을 정규화하여 7가직 동작에 모두 해당하는 경우 1. 0가지 동작에 해당하는 경우 0이 되도록 정규화하여 감정정확도를 계산하게 된다.
도 4은 일 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도를 도시하고 있다.
도 4에 도시된 바와 같이, 제 1-1단계(S110) 및 제 1-2단계(S120)에서 사용자가 공포감 또는 놀람을 느끼는 것으로 판단되는 경우 제 2-1단계(S210) 및 제 2-2단계(S220)를 호출하여 사용자가 공포감 또는 놀람을 느끼는지 판단하는 단계(S510), 제 3-4단계(S340)에서 정규화된 베타파의 변화량과 제 4-3단계(S430)에서 감정정확도에 각각에 설정된 가중치를 곱하여 평균값을 구하는 단계(S520), 평균값이 설정된 값 이상인 경우 제 5단계(S500)에서 난이도 하락신호를 송신하는 단계(S530)를 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템을 포함한다.
구체적으로 살펴보면, 먼저 심박수를 측정한다. 여기서 말하는 심박수 측정은 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)을 측정한다는 의미이다. 위 측정결과를 가지고 각 파라미터의 변화량을 통하여 놀람 혹은 공포의 감정을 느끼는 판단하고 만약 그렇다고 하면 다시 호흡을 측정한다. 호흡을 측정한다는 것은 호흡율(Resp_R), 호흡진폭(Resp_A), 호흡율의 표준편차(Resp_Rsd), 호흡진폭의 표준편차(Resp_Asp)를 측정한다는 의미이다. 위 측정결과를 가지고 각 파라미터의 변화량을 통하여 놀람 혹은 공포의 감정을 느낀다고 판단(S510)되면 S520단계로 넘어가게 된다. S520단계에서는 정규화된 뇌파신호의 베타파의 변화량과 정규화된 감정정확도에 각각의 가중치를 곱하여 평균값을 구하게 된다. 일반적으로 카메라센서를 통한 동작인식의 정확도보다는 뇌파의 정확도가 더 높기 때문에 뇌파신호의 베타파의 변화량의 가중치가 더 높은 것이 바람직할 것이다. 이후 평균값이 설정값보다 크게 된다면 난이도하락신호를 송신하게 된다.(S530) 이후 난이도하락신호의 분당횟수에 따라 난이도를 조절하게 되는 데 이는 후술한다.
도 5은 다른 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도를 도시한다.
도 5에 도시된 바와 같이, 제 1단계(S100)에서 측정된 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)을 각각 정규화하여 심박평균값을 구하는 단계(S540), 제 2단계(S200)에서 측정된 호흡율(Resp_R), 호흡진폭(Resp_A), 호흡율의 표준편차(Resp_Rsd), 호흡진폭의 표준편차(Resp_Asp)를 각각 정규화하여 호흡평균값을 구하는 단계(S550), 제 4단계(S400)에서 놀람 혹은 공포에 대한 감정동작이 하나 이상 센싱되는 경우에 있어서, 상기 심박평균값이 설정된 값 이상 또는(OR) 상기 호흡평균값이 설정된 값 이상이면서 제 3-4단계(S340)에서 정규화된 베타파의 변화량이 설정된 값 이상인 경우 제 5단계(S500)에서 난이도 하락신호를 송신하는 단계(S560)를 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템을 포함한다.
S540에서는 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)의 변화량 각각을 정규화하고 정규화된 값의 평균값을 구하게 된다. S550에서도 호흡율(Resp_R), 호흡진폭(Resp_A), 호흡율의 표준편차(Resp_Rsd), 호흡진폭의 표준편차(Resp_Asp)의 변화량을 각각 정규화 하여 평균값을 구하게 된다. 이후 S560에서는 동작센싱에 의하여 놀람 혹은 공포의 감정을 판단되는 경우에 S540과 S550에서 구한 평균값 중 어느 하나가 설정된 값 이상이고(AND) 뇌파의 베타값의 정규화된 변화량이 설정된 값 이상인 경우에는 난이도 하락신호를 송신하게 된다.
도 6은 또 다른 실시예에 따른 바이오 신호에 따른 VR 컨텐츠 제공시스템에 대한 순서도를 도시하고 있다.
도 6에 도시된 바와 같이, 제 1단계(S100)에서 측정된 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)을 각각 정규화하여 심박평균값을 구하는 단계(S570), 제 2단계(S200)에서 측정된 호흡율(Resp_R), 호흡진폭(Resp_A), 호흡율의 표준편차(Resp_Rsd), 호흡진폭의 표준편차(Resp_Asp)를 각각 정규화하여 호흡평균값을 구하는 단계(S580), 제 4단계(S400)에서 놀람 혹은 공포에 대한 감정동작이 하나 이상 센싱되는 경우에 상기 심박평균값이 설정값 이상 및(AND) 상기 호흡평균값이 설정값 이상이면서 제 3-4단계(S340)에서 정규화된 베타파의 변화량이 설정값 이상인 경우 제 5단계(S500)에서 난이도 하락신호를 송신하는 단계를 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템을 포함한다.
S570에서는 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)의 변화량 각각을 정규화하고 정규화된 값의 평균값을 구하게 된다. S580에서도 호흡율(Resp_R), 호흡진폭(Resp_A), 호흡율의 표준편차(Resp_Rsd), 호흡진폭의 표준편차(Resp_Asp)의 변화량을 각각 정규화 하여 평균값을 구하게 된다. 이후 S590에서는 동작센싱에 의하여 놀람 혹은 공포의 감정을 판단되는 경우에 S570과 S580에서 구한 평균값 모두가 설정된 값 이상이고(AND) 뇌파의 베타값의 정규화된 변화량이 설정된 값 이상인 경우에는 난이도 하락신호를 송신하게 된다.
도 7은 일 또는 다른 실시예에 따른 난이도 하락 시스템에 대한 순서도를 도시하고 있다.
도 7에 도시된 바와 같이, 제 6단계(S600)에서 난이도하락신호를 수신하는 횟수가 제 1설정빈도보다 크고 제 2설정빈도보다 작으면 난이도를 중(中)으로 하락 시키는 제 6-1단계(S610) 및 제 6단계(S600)의 난이도하락신호를 수신하는 횟수가 제 2설정빈도보다 크면 난이도를 하(下)로 낮추는 제 6-2단계(S620)를 더 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템을 포함한다.
즉, 제 5단계(S500)의 분석결과에 따라 난이도하락신호를 송신하게 되면 빈도에 따라 적절한 난이도에 대한 컨텐츠를 제공하게 된다. 예를 든다면, 분당 난이도하락신호가 1회 이상 3회 미만이라면 난이도 중(中)을 분당 난이도하락신호가 3회 이상이라면 난이도 하(下)로 낮추어 사용자에게 적절한 콘텐츠를 제공하게 된다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
Claims (10)
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- VR을 사용자에게 디스플레이 하기 위한 헤드마운트, 상기 헤드마운트에 포함되어 뇌파를 측정하는 뇌파측정기, 상기 헤드마운트에 포함되어 심전도를 측정하는 심전도측정기, 상기 사용자의 상체에 부착되어 호흡을 측정하는 호흡측정기, 및 상기 사용자가 VR콘텐츠를 이용하는 동작을 촬영하는 카메라센서를 포함하는 생체신호에 따른 VR콘텐츠 제공시스템에 있어서,
상기 심전도측정기에 따라 감정변화를 측정하는 제 1단계;
상기 호흡측정기에 따라 감정변화를 측정하는 제 2단계;
상기 뇌파측정기에 따라 뇌파의 베타파를 측정하는 제 3단계;
상기 카메라센서에 따라 감정변화를 측정하는 제 4단계;
상기 제 1단계 내지 제 4단계 중 어느 하나 이상의 측정결과를 이용하여 사용자의 감정변화도를 결정하고, 상기 감정변화도가 제 1설정값 이상이면 난이도 하락신호를 송신하는 제 5단계;및
상기 난이도 하락신호를 제 1설정빈도 이상 수신하면 VR콘텐츠의 난이도를 하락시키는 제 6단계;를 포함하며,
상기 제 1단계에서 상기 심전도측정기는 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)을 측정하는 장치로서,
상기 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)의 변화율이 각각 상승,상승,하락,상승할 경우 상기 사용자가 공포감을 느끼는 것으로 판단하는 제 1-1단계;
상기 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)의 변화율이 각각 상승,상승,일정,일정할 경우 상기 사용자가 놀람을 느끼는 것으로 판단하는 제 1-2단계;를 더 포함하며,
상기 제 2단계에서 상기 호흡측정기는 호흡율(Resp_R),호흡진폭(Resp_A),호흡율의 표준편차(Resp_Rsd),호흡진폭의 표준편차(Resp_Asp)를 측정하는 장치로서,
상기 호흡율(Resp_R), 호흡진폭(Resp_A), 호흡율의 표준편차(Resp_Rsd),호흡진폭의 표준편차(Resp_Asp)의 변화율이 각각 하락,상승,일정,상승하는 경우 상기 사용자가 공포감을 느끼는 것으로 판단하는 제 2-1단계;
상기호흡율(Resp_R), 호흡진폭(Resp_A), 호흡율의 표준편차(Resp_Rsd),호흡진폭의 표준편차(Resp_Asp)의 변화율이 각각 하락,상승,상승,상승하는 경우 상기 사용자가 놀람을 느끼는 것으로 판단하는 제 2-2단계;를 더 포함하며,
상기 제 3단계에서 상기 뇌파측정기에서 측정된 뇌파신호를 주파수분석하는 제 3-1단계;
상기 3-1단계에서의 주파수분석결과를 베타파의 주파수 영역만 추출하는 제 3-2단계;
상기 3-2단계에서의 분석결과에 따라 베타파의 변화량을 추출하는 제 3-3단계;및
상기 베타파의 변화량을 정규화하는 제 3-4단계;를 더 포함하며,
카메라센서에 의하여 동작을 인식하는 제 4-1단계;
상기 동작이 DB화된 감정동작에 일치여부를 판단하는 제 4-2단계;
상기 감정동작에 일치되는 동작의 개수에 따라 감정정확도를 계산하는 제 4-3단계;를 더 포함하며,
상기 제 6단계에서
난이도하락신호를 수신하는 횟수가 제 1설정빈도보다 크고 제 2설정빈도보다 작으면 난이도를 중(中)으로 하락 시키는 제 6-1단계;및
상기 제 6단계의 난이도하락신호를 수신하는 횟수가 제 2설정빈도보다 크면 난이도를 하(下)로 낮추는 제 6-2단계를 더 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템.
- 청구항 6에 있어서,
상기 제 1-1단계 및 제 1-2단계에서 사용자가 공포감 또는 놀람을 느끼는 것으로 판단되는 경우 상기 제 2-1단계 및 제 2-2단계를 호출하여 사용자가 공포감 또는 놀람을 느끼는지 판단하는 단계;
상기 제 3-4단계에서 정규화된 베타파의 변화량과 상기 제 4-3단계에서 감정정확도에 각각에 설정된 가중치를 곱하여 평균값을 구하는 단계;
상기 평균값이 설정된 값 이상인 경우 상기 제 5단계에서 난이도 하락신호를 송신하는 단계;를 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템.
- 청구항 7에 있어서,
상기 가중치는 베타파의 변화량에 대한 가중치가 상기 감정정확도의 가중치보다 더 큰 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템.
- 청구항 6에 있어서,
상기 제 1단계에서 측정된 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)을 각각 정규화하여 심박평균값을 구하는 단계;
상기 제 2단계에서 측정된 호흡율(Resp_R),호흡진폭(Resp_A),호흡율의 표준편차(Resp_Rsd),호흡진폭의 표준편차(Resp_Asp)를 각각 정규화하여 호흡평균값을 구하는 단계;
상기 제 4단계에서 놀람 혹은 공포에 대한 감정동작이 하나 이상 센싱되는 경우에 있어서, 상기 심박평균값이 설정된 값 이상 또는(OR) 상기 호흡평균값이 설정된 값 이상이면서 상기 제 3-4단계에서 정규화된 베타파의 변화량이 설정된 값 이상인 경우 상기 제 5단계에서 난이도 하락신호를 송신하는 단계;를 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템.
- 청구항 6에 있어서,
상기 제 1단계에서 측정된 심박율(HR), RR간격의 표준편차(SD_RRI), 심박의 저주파 성분(LF), 심박의 고주파 성분(HF)을 각각 정규화하여 심박평균값을 구하는 단계;
상기 제 2단계에서 측정된 호흡율(Resp_R),호흡진폭(Resp_A),호흡율의 표준편차(Resp_Rsd),호흡진폭의 표준편차(Resp_Asp)를 각각 정규화하여 호흡평균값을 구하는 단계;
상기 제 4단계에서 놀람 혹은 공포에 대한 감정동작이 하나 이상 센싱되는 경우에 상기 심박평균값이 설정값 이상 및(AND) 상기 호흡평균값이 설정값 이상이면서 상기 제 3-4단계에서 정규화된 베타파의 변화량이 설정값 이상인 경우 상기 제 5단계에서 난이도 하락신호를 송신하는 단계;를 포함하는 것을 특징으로 하는 생체신호에 따른 VR콘텐츠 제공시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190083892A KR102216517B1 (ko) | 2019-07-11 | 2019-07-11 | 생체신호에 따른 vr콘텐츠 제공시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190083892A KR102216517B1 (ko) | 2019-07-11 | 2019-07-11 | 생체신호에 따른 vr콘텐츠 제공시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210007431A KR20210007431A (ko) | 2021-01-20 |
| KR102216517B1 true KR102216517B1 (ko) | 2021-02-17 |
Family
ID=74304687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190083892A KR102216517B1 (ko) | 2019-07-11 | 2019-07-11 | 생체신호에 따른 vr콘텐츠 제공시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102216517B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102385598B1 (ko) * | 2021-05-28 | 2022-04-11 | 가천대학교 산학협력단 | 룸스케일 헬스 케어 서비스 방법 및 장치 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101397287B1 (ko) * | 2012-02-16 | 2014-05-21 | 충남대학교산학협력단 | 감정이 강도별 단계로 정형화된 감정유발시스템 및 이를 이용한 감정유발방법 |
| KR20150123423A (ko) * | 2014-04-24 | 2015-11-04 | 세종대학교산학협력단 | 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템 |
| KR101798777B1 (ko) | 2016-07-14 | 2017-11-16 | 한양대학교 산학협력단 | 동영상 콘텐츠에 대한 시청자의 정서적 흥분 측정 방법 및 평가 방법 |
-
2019
- 2019-07-11 KR KR1020190083892A patent/KR102216517B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210007431A (ko) | 2021-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7322227B2 (ja) | 検出装置 | |
| JP6268193B2 (ja) | 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム | |
| FI126600B (en) | Detection of sleep phenomena using ballistocardiography | |
| KR101535432B1 (ko) | 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법 | |
| US8562511B2 (en) | System for inducing a subject to fall to sleep | |
| US20080214903A1 (en) | Methods and Systems for Physiological and Psycho-Physiological Monitoring and Uses Thereof | |
| US9236046B2 (en) | Systems and methods for identifying patient distress based on a sound signal | |
| CN101969841A (zh) | 修改对象的心理生理状态 | |
| JP2002112969A (ja) | 身体及び感情状態の認識装置及び方法 | |
| KR20060048367A (ko) | 생체정보의 처리장치 및 영상음향 재생장치 | |
| KR20130010207A (ko) | 무구속 무자각 생체신호 획득을 통한 워치타입 건강상태 분석시스템 | |
| US20120194648A1 (en) | Video/ audio controller | |
| CN113473910A (zh) | 睡眠监测系统和方法 | |
| WO2020132315A1 (en) | Systems and methods to detect and treat obstructive sleep apnea and upper airway obstruction | |
| KR101397287B1 (ko) | 감정이 강도별 단계로 정형화된 감정유발시스템 및 이를 이용한 감정유발방법 | |
| CN112331308A (zh) | 多通道智能减压放松管理系统 | |
| KR102216517B1 (ko) | 생체신호에 따른 vr콘텐츠 제공시스템 | |
| CN113040773A (zh) | 一种数据采集处理方法 | |
| KR100425342B1 (ko) | 신체 및 감정 상태 인식 장치 및 방법 | |
| CN114887186A (zh) | 一种正念冥想训练的方法、装置、设备以及存储介质 | |
| WO2022051603A1 (en) | System and method for providing biofeedback controls to various media based upon the remote monitoring of life signs | |
| JP6919415B2 (ja) | 眠気検知装置、および眠気検知プログラム | |
| KR102712721B1 (ko) | 온열 매트를 위한 사용자 맞춤형 수면 관리 시스템 | |
| US20240216642A1 (en) | System and method for biofeedback | |
| CN116510254A (zh) | 一种上呼吸道康复系统、装置和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |