KR101660332B1 - 촉각 자극 기반의 인지피로 측정 장치 및 방법 - Google Patents

Abstract

본 발명은 촉각 자극 기반의 인지피로 측정장치 및 방법에 관한 것으로서, 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정 방법은, 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크가 수행되는 피로측정 단계, 및 시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 태스크가 진행되는 상태에서 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크가 진행되는 피로측정 및 피로유발 단계를 포함한다.

Description

촉각 자극 기반의 인지피로 측정 장치 및 방법{DEVICE AND METHOD FOR MEASURING COGNITIVE FATIGUE BASED ON TACTILE STIMULI}

본 발명은 촉각 자극 기반의 인지피로 측정 장치 및 방법에 관한 것으로서, 촉각 유발전위의 변화와 행동적 반응을 측정하여 실시간으로 사용자의 몰입도와 피로 유발 인자를 평가하고, 최적의 인간공학적 디자인 요소 추출이나 스트레스 유발요인을 규명하는데 사용될 수 있는 촉각 자극 기반의 인지피로 측정 장치 및 방법에 관한 것이다.

현대 정보사회의 복잡한 업무 환경과 고도의 산업화에 따른 잠재적인 스트레스 요인들이 증가하고 있다. 그리고, 웰빙 및 스마트 헬스 케어와 같은 건강에 대한 관심이 증대되고 있다.

스트레스는 뇌의 조기 노화의 원인이며, 지속적인 스트레스는 해마의 뉴런을 심각하게 퇴화시키는 원인이 되며, 일시적인 인지적 기능 저하를 불러올 수 있다. 뿐만 아니라, 지속적인 스트레스 및 복잡한 정보처리를 요구하는 사회적 환경은 주의집중과 관련된 인지 메커니즘을 일시적으로 손상시키거나, 자율 신경계 항상성에 악영향을 초래하여, 인지피로 및 2차 만성 질환 등을 유발할 수 있다.

그에 따라, 인지피로 측정 및 평가 기술 개발을 통해 특정 인지피로 유발요인들을 규명할 필요성이 증대되었다.

또한, 특정 분야의 최적 GUI, 정보 설계 도출을 통하여 졸음운전 방치 및 각종 산업재해 예방 등의 여러 분야에 응용하고자 하기 위해 연구가 이뤄지고 있는 상황이다.

종래 시각 자극 기반으로 인지피로를 측정하고자 하는 기술로서 특허문헌 1이 있었다. 그러나, 사건관련전위를 유발시키기 위해 반복적으로 명멸되는 시각 자극을 사용하는 경우 추가적인 피로감을 유발할 수 있는 가능성을 배제 할 수 없고, 전위의 여러 성분을 분석하기 때문에 시간이 오래 걸린다는 문제점이 있었다.

KR 10-1285821 B

Hart, S. G. NASA-Task Load Index (NASA-TLX), 20 Years Later. Proceedings of the Human Factors and Ergonomics Society 50th Annual Meeting, 2006. Santa Monica: HFES. 904-908. Hart, S. G. & Staveland, L. E. 1998. Development of NASA-TLX (Task Load Index), Results of empirical and theoretical research. In: Hancock, P. A. & Meshkati, N. (eds.) Human Mental Wordload. Amsterdam: North Holland Press. Jaeggi, S. M., Buschkuehl, M., Jonides, J. & Perrig, W. J. 2008. Improving fluid intelligence with training on working memory. Proceedings of the National Academy of Sciences of the United States of America (PNAS), 105, 6829-6833 Roger W. Cholewiak, J. Christopher Brill & Anja Schwab 2004. Vibrotactile localization on the abdomen, Effects of place and space. Perception & Psychophysics, 66, 970-987

상술한 문제점들을 해결하기 위하여, 본 발명의 일 실시예에 따르면 촉각 자극 기반의 인지피로 측정을 통하여 피로 유발인자를 평가하고, 적절한 피드백을 줄 수 있는 인지피로 측정 방법 및 장치를 제공하는 것을 목적으로 한다.

태스크 몰입과 주로 관련된 시인지 메커니즘에 독립적이고 단순한 촉각 자극을 활용하여 인지 피로를 측정할 수 있는 방법을 제공하고자 한다.

또한, 사건 유발 전위의 여러 성분을 분석하지 않고 단 하나의 유의한 성분의 변화를 평가하여 기존 대비 평가 시간의 단축이 가능하고 실시간 인지피로 평가가 가능한 인지피로 측정 장치 및 방법을 제공하고자 한다.

그리고, 사용자의 몰입도를 최대한 유지한 상태에서, 실시간으로 피로유발인자를 평가하여 최적 디자인 파라미터를 도출함으로써 저피로 고실감 콘텐츠 및 감성 UX 아키텍쳐 확립에 기여할 수 있는 인지피로 측정 장치 및 방법을 제공하고자 한다.

본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정 방법은, 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크가 수행되는 피로측정 단계, 및 시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 태스크가 진행되는 상태에서 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크가 진행되는 피로측정 및 피로유발 단계를 포함한다.

상기 피로측정 태스크는, 촉각 자극 출력 장치를 피험자에게 착용시키고, 기 설정된 시간 간격으로 기 설정된 강도의 촉각 자극을 가하면서, 피험자의 뇌전도 및 안전도 신호를 측정함으로써 수행될 수 있다.

상기 기 설정된 강도의 촉각 자극은 25 dB 내지 66 dB일 수 있다.

상기 피로유발 태스크는, 시각 자극 또는 청각 자극, 또는 둘 다를 기 설정된 시간 간격으로 주기당 m회 제공하고, 제공되는 자극에서 m-n번째 자극(n은 1이상의 자연수임)과 m 번째 자극이 일치하는지 여부를 확인함으로써 수행될 수 있다.

상기 피로유발 태스크에서의 난이도는, 상기 시각 자극 및 청각 자극이 가해지는 시간 간격, m 값 및 n 값 중 하나 이상에 의해 설정될 수 있다.

상기 피로측정 및 피로유발 단계는, 제1 난이도로 1차 피로유발 태스크가 진행되면서 피로측정 태스크가 수행되는 제1 피로측정 및 피로유발 단계와, 상기 제1 난이도와는 다른 제2 난이도의 2차 피로유발 태스크가 진행되면서 피로측정 태스크가 수행되는 제2 피로측정 및 피로유발 단계를 포함할 수 있다.

상기 피로측정 단계 이전에, 시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 태스크가 미리 수행되는 피로유발 태스크 트레이닝 단계를 더 포함할 수 있다.

상기 피로측정 단계 이전에, 뇌전도 및 안전도 센서를 부착하고, 디스플레이 부의 제1 초점에 대하여 시선을 고정시킨 상태에서 1도 내지 10도 사이의 시각도로 변화하는 제2 초점에 선택적으로 주의를 기울이게 하는 안전도 트레이닝 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 촉각 자극 기반의 인지피로 측정 장치는, 시각 자극과 청각 자극을 기 설정된 난이도의 패턴으로 출력하는 시각 및 청각 자극 출력부와 촉각 자극을 출력하는 촉각 자극 출력부, 뇌전도 및 안전도를 측정하는 EEG 및 EOG 측정부, 상기 시각 자극 및 청각 자극에 대한 피험자의 반응을 입력하는 입력부, 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크와, 시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 상태에서 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 및 피로유발 태스크를 제어하는 제어부, 및 상기 피로유발 태스크 결과와 상기 EOG 및 EEG 측정부에서 측정된 제1 및 제2 피로유발 태스크 결과에 따라 인지피로를 측정하는 데이터 처리 및 분석부를 포함한다.

상기 촉각 자극에 대한 피험자의 움직임으로 발생되는 노이즈를 최소화하기 위하여 피험자의 머리를 받치는 지지부를 더 포함할 수 있다.

상기 촉각 자극 출력부는 피험자의 허리에 하나 이상의 진동하는 햅틱 센서를 포함하는 벨트 형태로 구성될 수 있다.

상기 데이터 처리 및 분석부는, 상기 EOG 및 EEG 측정부에 의해 측정된 뇌전도 신호 데이터를 0.1 내지 35 Hz의 밴드패스필터를 적용하여 증폭하고, 안전도 신호는 0.05 내지 35 Hz 의 밴드패스필터를 적용하여 증폭하여 기록할 수 있다.

상기 데이터 처리 및 분석부는, 자극 제시 시점으로부터 -200 ms 시점에서 자극 제시 후 1000 ms 구간의 신호를 분리한 뒤, ±80μV를 초과하는 눈 깜빡임 및 ±30 μV를 초과하는 수평 방향의 눈 움직임에 의한 뇌파 구간을 제거할 수 있다.

상기 데이터 처리 및 분석부는, 분리 및 제거된 각 구간의 P300 진폭을 자극 제시 시점으로부터 자극 제시 전 -200 ms 시점 구간의 평균전위 값을 각 구간의 전위 값에서 빼냄으로써 기저선을 교정할 수 있다.

상기 데이터 처리 및 분석부는, 상기 기저선을 교정한 뒤, 각 구간의 P300 평균 전위 값을 산출하거나, 촉각 자극 제시 후에 발생되는 400 에서 600 ms 의 정적 전위 구간에서 진폭이 가장 높은 지점을 P300 진폭으로 설정할 수 있다.

본 발명의 일 실시예에 따르면 촉각 자극 기반의 인지피로 측정을 통하여 피로 유발인자를 평가하고, 적절한 피드백을 줄 수 있는 인지피로 측정 방법 및 장치를 제공할 수 있다.

또한, 태스크 몰입과 주로 관련된 시인지 메커니즘에 독립적이고 단순한 촉각 자극을 활용하여 인지 피로를 측정할 수 있는 방법을 제공할 수 있다.

그리고, 사건 유발 전위의 여러 성분을 분석하지 않고 단 하나의 유의한 성분의 변화를 평가하여 기존 대비 평가 시간의 단축이 가능하고 실시간 인지피로 평가가 가능한 인지피로 측정 장치 및 방법을 제공할 수 있다.

또한, 사용자의 몰입도를 최대한 유지한 상태에서, 실시간으로 피로유발인자를 평가하여 인간공학적 디자인 파라미터를 도출함으로써, 감성적 사용자 피드백을 제공하고 저피로 고실감 콘텐츠 및 감성 UX 아키텍쳐 확립에 기여할 수 있는 인지피로 측정 장치 및 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정장치를 개략적으로 나타내는 개략도이다.
도 2는 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정장치의 구성을 개략적으로 나타내는 블록도이다.
도 3a 및 도 3b는 본 발명의 다양한 실시예에 따른 촉각 자극 기반의 인지피로 측정 방법을 개략적으로 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정장치의 뇌전도 측정을 위한 전극의 위치를 나타내는 개략도이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따라서 제1 및 제2 피로측정 및 피로유발 태스크의 시퀀스를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정 방법을 구체적으로 나타내는 순서도이다.
도 7은 도 6의 실시예에 따라 측정된 피로유발 태스크의 조건에 따른 반응정확도와 반응시간을 나타내는 그래프이다.
도 8은 도 6의 실시예에 따라 측정된 기준상태, 1차 피로유발 상태 및 2차 피로유발 상태의 뇌파 측정 지점 중 AFz, Fz, Cz 및 Pz 지점에서의 P300 평균 전위값을 비교한 그래프이다.
도 9는 도 6의 실시예에 따라 측정된 기준상태, 1차 피로유발 상태 및 2차 피로유발 상태의 뇌파 측정 지점 중 Cz 지점과 Pz 지점에서의 유발뇌파 파형의 각 조건 사이의 평균 전위 값의 차이를 비교하여 나타내는 그래프이다.
도 10은 도 6의 실시예에 따른 1차 피로유발 및 2차 피로유발 조건의 주관적 인지피로 평가 결과를 비교한 그래프이다.

이하, 도 1 내지 도 10을 참조하여, 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정 장치 및 방법에 대하여 구체적으로 상술한다.

도 1은 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정장치를 개략적으로 나타내는 개략도이고, 도 2는 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정장치의 구성을 개략적으로 나타내는 블록도이다.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 장치는, 시각 및 청각 자극 출력부(30), 촉각 자극 출력부(60), 안전도(EOG) 및 뇌전도(EEG) 측정부(20), 피험자가 자극에 대한 데이터를 입력하는 입력부(40) 및 시각 및 청각 자극 출력부(30)와 촉각 자극 출력부(60)의 출력을 제어하는 제어부(70) 및 EOG와 EEG 데이터를 수집하여 처리 및 분석하는 데이터 처리 및 분석부(80)를 포함한다. 또한, 데이터 처리 및 분석부(80)는 도 2에 도시된 바와 같이 입력부(40) 및 제어부(70)에 연결되어, 수집된 데이터를 분석하여 인지피로를 평가할 수 있다.

상기 데이터 처리 및 분석부(80)는 데이터 수집 장치와 입력, 제어 및 데이터 분석을 위한 컴퓨터와 같은 정보 처리 장치로 각각 구성될 수 있으나, 반드시 이에 제한되는 것은 아니며 하나의 장치에서 데이터 수집과 정보 처리가 이루어 질 수 있음은 물론이다.

상기 시각 및 청각 자극 출력부(30)는 시각 자극과 청각 자극을 기 설정된 난이도의 패턴으로 출력하기 위한 것이며, 촉각 자극 출력부(60)는 촉각 자극을 출력하기 위한 것이다.

시각 및 청각 자극 출력부(30)는 제어부(70)에 연결되어 기 설정된 패턴의 영상 또는 소리를 출력할 수 있으며, 일 예로 LCD 모니터와 같은 디스플레이 장치 또는 스피커가 이에 사용될 수 있다.

촉각 자극 출력부(60)는, 촉각 자극 출력 장치로서, 피험자(10)의 허리에 하나 이상의 진동하는 햅틱 센서를 포함하는 벨트 형태로 구성될 수 있다. 그러나, 반드시 이에 제한되는 것은 아니며 피험자(10)의 신체의 다양한 부위에 부착될 수도 있으며, 햅틱 센서 이외에 제어부(70)에서 공급되는 제어 신호에 따라 다양한 촉각 자극을 제공할 수 있는 다양한 장치들이 이에 적용될 수 있다.

상기 입력부(40)는 일 예로 키보드와 같이 사용자가 자신의 인지정보를 입력할 수 있는 입력장치가 이에 사용될 수 있다. 그에 따라, 상기 입력부(40)에 시각 자극 및 청각 자극에 대한 피험자의 반응을 입력할 수 있다.

제어부(70)는 상기 시각 및 청각 자극 출력부(30) 및 촉각 자극 출력부(60)에 연결되며, 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 기준상태의 피로측정 태스크와, 시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 상태에서 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 및 피로유발 태스크를 제어하도록 형성될 수 있다.

또한, 데이터 처리 및 분석부(80)는 상기 제어부(70), 입력부(40), EOG 및 EEG 측정부(20)에 연결될 수 있다. 데이터 처리 및 분석부(80)는 피로유발 태스크 결과와 EOG 및 EEG 측정부에서 측정된 제1 및 제2 피로유발 태스크 결과에 따라 인지피로를 측정할 수 있다.

그리고, 상기 데이터 처리 및 분석부(80)는, 뇌전도 및 안전도 신호의 적절한 측정을 위하여, 상기 EOG 및 EEG 측정부에 의해 측정된 뇌전도 신호 데이터를 0.1 내지 35 Hz의 밴드패스필터를 적용하여 증폭하고, 안전도 신호는 0.05 내지 35 Hz 의 밴드패스필터를 적용하여 증폭하여 기록할 수 있다.

또한, 데이터 처리 및 분석부는, 촉각 자극 제시 후에 발생되는 400에서 600 ms 의 정적 전위 구간에서 진폭이 가장 높은 지점을 P300 진폭으로 설정하여 비교할 수 있다.

본 명세서에서, P300은 자극 후 대략 300 ms 정도 후의 양전위(positive)를 나타내는 사건 유발 전위(event-related potential, ERP)를 의미하는 것이다.

그리고, 상기 데이터 처리 및 분석부(80)는, 안구 움직임에 의한 안전도에 의한 노이즈를 최소화하기 위하여, 자극 제시 시점으로부터 -200 ms 시점에서 자극 제시 후 1000 ms 구간의 신호를 분리한 뒤, ±80μV를 초과하는 눈 깜빡임 및 ±30 μV를 초과하는 수평 방향의 눈 움직임에 의한 뇌파 구간을 제거할 수 있다.

또한, 상기 데이터 처리 및 분석부(80)는 분리 및 제거된 각 구간을 자극 제시 시점으로부터 -200 ms 시점 구간의 평균전위 값을 각 구간의 전위 값에서 빼줌으로써 교정할 수 있다.

그리고, 교정된 후에 각 구간의 P300 평균 전위 값을 산출하여 비교할 수 있다.

또는, 자극 제시 시점으로부터 -200 ms 시점 구간의 값으로 기저선을 교정한 뒤, 촉각 자극에 의해 발생되는 400 내지 600 ms의 정적 전위 구간에서 진폭이 가장 높은 지점을 P300 진폭으로 설정할 수 있다.

한편, 상기 촉각 자극에 대한 피험자의 움직임으로 발생되는 노이즈를 최소화하기 위하여 피험자(10)의 머리를 받치는 지지부(50)를 더 포함할 수 있다.

도 3a는 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정 방법을 개략적으로 나타내는 순서도이다. 이하, 도 3a 및 도 3b를 참조하여, 본 발명의 구체적인 촉각 자극 기반의 인지피로 측정 방법에 대하여 구체적으로 상술한다.

도 3a를 참조하면, 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정 방법은, 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크가 수행되는 피로측정 단계(S30), 및 시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 태스크가 진행되는 상태에서 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크가 진행되는 피로측정 및 피로유발 단계(S40, S50)를 포함한다.

즉, 피로측정 태스크만 수행되는 제1 단계와, 피로측정 태스크와 피로유발 태스크가 동시에 수행되는 제2 단계로 인지피로를 측정할 수 있다. 제1 단계에서 별도의 부가적 피로유발 태스크가 없는 기준 상태에서 피로측정 태스크를 수행하여, 사용자의 인지피로를 측정하여, 피로유발 태스크와 동시에 피로측정 태스크를 수행함으로써 피로 유발 조건에서 피로측정을 수행하여 피로유발 조건 하에서의 인지피로의 변화를 측정할 수 있다.

피로측정 단계(S30) 및 피로측정 및 피로유발 단계(S40, S50)에서, 피로측정 태스크는, 촉각 자극 출력 장치를 피험자에게 착용시키고, 기 설정된 시간 간격으로 기 설정된 강도의 촉각 자극을 가하면서, 피험자의 뇌전도 및 안전도 신호를 측정함으로써 수행될 수 있다.

도 4는 본 발명의 일 실시예에 따른 촉각 자극 기반의 인지피로 측정장치의 뇌전도 측정을 위한 전극의 위치를 나타내는 개략도이다.

도 4를 참조하면, 촉각 자극에 의한 사건 유발 전위 측정을 위해 피험자에게 뇌전극을 부착할 수 있다.

촉각 자극을 이용한 인지 피로측정 장치의 EEG 전극부는 국제 10-20법(international 10-20 electrode system)에 따라 피험자의 두피에 부착될 수 있다.

구체적으로, 4개의 지점(AFz, Fz, Cz, Pz)에 EEG 기록 전극을 부착할 수 있다. A1지점을 접지 전극으로 A2 지점을 각각 기준전극으로 지정할 수 있다.

또한, VEOG를 왼쪽 눈 동공 아래 위 2.5 cm에 부착하고, HEOG를 양쪽 눈꼬리 끝 부분에서 2cm 수평으로 떨어진 곳에 부착하고, 미간에서 수직으로 2 cm 떨어진 곳에 안전도 접지전극을 부착할 수 있다.

한편, 모든 피험자가 명확하게 촉각 자극을 인지할 수 있도록, 촉각 자극의 크기는 25 dB 내지 66 dB로 설정될 수 있다.

구체적으로, 신호는 주파수와 진폭으로 구분되며, 주어진 주파수에서 신호의 진폭은 주로 그 가속도에 정의 된다. 가속도는 위치 x에 대하여 다음과 같은 식으로 표현될 수 있다.

[식 1]

사인파 신호에 대하여, x = A sin(ωt), a = - A ω2 sin(ωt)이다.

여기서, A는 신호의 최대 진폭이고, ω 는 주파수이다.

예를 들면, 진폭이 A= 1 ㎛ 이고, 주파수가 ω = 160 Hz인 경우, a_max = 1×10-6×1602 = 0.0256 m/s2 이다.

일반적으로, 진동의 진폭은 기준 값에 대한 데시벨 비로 표현된다. 그러면, 만약 G1 및 G2가 2개의 가속도 진폭이라면, 그들의 데시벨 비는 다음과 같다.

[식 2]

Cholewiak, Brill & Schwab(2004)에 의해, A= 1 ㎛ 이고, 주파수가 ω = 160 Hz의 가속에 대하여, 평균 진동촉각(vibrotactile) 검출 임계값이 25 dB이라는 것이 알려져 있다. (즉, G2 값은 0.0256 m/s2 이다.)

그리고, 실험에 있어서, 촉각기의 강도는 가속도 G1 = 49.95 m/s²에 따른 수준으로 설정될 수 있다.

그리고, 이것을 데시벨 값으로 표현하면 다음과 같다.

[식 3]

이 값은 임계 값의 2배 이상의 값이다. 따라서, 65.8 dB의 진동은 모든 피험자는 현저성으로 인하여 감지할 수 있는 것이다. 결국, 피험자가 상기 기 설정된 강도의 촉각 자극은 25 dB 내지 66 dB일 수 있다.

일 예로, 촉각 자극은 128 ms의 진동에, 12 내지 60 초 사이 중 랜덤 간격, 복부에 닿는 실제 진동 범위는 반경 6 mm으로 가해질 수 있다. 랜덤 간격으로 제시되는 20번의 진동이 한 주기를 구성하며, 총 80회(4주기)로 가해질 수 있다.

피험자들은 동일 자극시간에 노출되게 하기 위하여 최대 랜덤 간격 60초×

20 (한 블록당 진동수) = 20분을 한 주기당 수행시간으로 설정할 수 있다. 랜덤 간격으로 인해 피험자간의 시간차는 휴식(rest)으로 처리될 수 있고, 피험자에게 별도의 정보를 제공하지 않고, 20분이 지나면 다음 블록이 자동으로 시작되게 하는 방식으로 진행될 수 있다.

그리고, 피로측정 태스크 단독으로 진행되는 제1 단계 또는 피로측정 태스크와 피로유발 태스크가 함께 진행되는 제2 단계에서 측정되는 뇌전도 데이터는 0.1 내지 35 Hz의 디지털 밴드패스 필터를 적용하여 50,000 배 증폭되어 기록될 수 있다. 마찬가지로, 안전도 데이터 또한 0.05 내지 35 Hz 의 밴드패스필터를 적용하여 500 배 증폭되어 기록될 수 있다.

P300 의 경우 자극 제시 후 발생되는 정적 전위 구간(400 에서 600 ms)에서 진폭이 가장 높은 지점으로 결정할 수 있다.

각 실험 조건에 대하여, 각 촉각 자극(조건당 80개)에 대응하는 유발 전위를 검출할 수 있다.

각 태스크 단계에서(기준, 피로 유발 태스크)에 기록된 촉각 자극 제시 시간(target onset time)과 자극 제시 시점으로부터 -200 ms 시점에서 자극 제시 후 1000 ms 구간의 신호를 분리한 뒤, ± 80 μV를 초과하는 눈 깜빡임 및 ± 30 μV를 초과하는 수평방향 눈 움직임에 의한 뇌파 구간을 제거할 수 있다. 촉각 자극에 기인하는 뇌파만을 분리해 내기 위함이다.

± 80μV와 ± 30 μV를 초과하지 않는 눈 깜빡임과 좌우 눈 움직임이 포함된 각 뇌파 측정 지점(AFz, Fz, Cz, Pz)의 분리 구간들은 주성분 분석을 통해 최대한 안전도가 혼합되지 않은 사건 유발전위를 검출할 수 있다. 한편, 본 발명의 일 실시예에 인지피로 측정방법에 있어서, 피로측정 및 피로유발 단계(S40, S50) 각각에서 피로유발 태스크는, 기 설정된 간격의 촉각 자극을 제시하고, 작업기억능력 태스크(Dual n-back)를 실시하여 그에 해당하는 촉각유발전위의 변화를 측정하여 실시간 인지피로를 측정할 수 있다.

구체적으로, 피로유발 태스크는 시각 자극 또는 청각 자극, 또는 둘 다를 기 설정된 시간 간격으로 주기당 m회 제공하고, 제공되는 자극에서 m-n번째 자극(n은 1이상의 자연수임)과 m 번째 자극이 일치하는지 여부를 확인함으로써 수행될 수 있다.

시각 자극 또는 청각 자극, 또는 둘 다를 기 설정된 시간 간격으로 주기(또는 블록)당 m회 제공하고, 제공되는 자극이 n번째 뒤에 발생하는 자극과 일치하는지 여부를 확인하여 기 설정된 키를 입력하도록 형성된다.

보다 구체적으로, 도 5a 및 도 5b는 본 발명의 일 실시예에 따라서 제1 및 제2 피로측정 및 피로유발 태스크의 시퀀스를 나타내는 도면이다.

상기 피로측정 및 피로유발 단계는, 제1 난이도로 1차 피로유발 태스크가 진행되면서 피로측정 태스크가 수행되는 제1 피로측정 및 피로유발 단계와, 상기 제1 난이도와는 다른 제2 난이도의 2차 피로유발 태스크가 진행되면서 피로측정 태스크가 수행되는 제2 피로측정 및 피로유발 단계를 포함할 수 있다.

그러나, 반드시 이에 제한되는 것은 아니며 피로측정 및 피로유발 단계는 각 난이도에 따라 1회 이상의 횟수로 다양하게 설정할 수 있음은 물론이다.

본 발명의 일 실시예에 따르면, 시각 자극 및 청각 자극은 기 설정된 간격(일 예로, 3초 간격)으로 동시에 나타날 수 있다. 일 예로, 화면 또는 소리 재생 시간은 0.5초이고, 다음 화면 또는 소리 재생 시간과의 간격은 2.5초로 총 3초 간격으로 시각 자극 및 청각 자극이 주어지게 할 수 있다.

그리고, 피험자는 지속적으로 변화하는 시각 자극 시퀀스에서, 현재 제시되는 자극(정사각형의 위치)과 n번째 전에 제시되는 자극(정사각형의 위치)을 기억하여, 일치하는지 또는 일치하지 않는지 여부를 기 설정된 버튼을 입력함으로써 확인할 수 있다.

마찬가지로, 지속적으로 변화하는 청각 자극 시퀀스에서(일 예로 순차적으로 제시되는 8개의 알파벳)에서, 현재 제시되는 청각 자극(알파벳)과 n번째 전에 제시되는 자극(알파벳)을 기억하여, 피험자는 일치하는지 또는 일치하지 않는지 여부를 기 설정된 버튼을 입력하여 확인할 수 있다.

도 5a의 경우 n은 1이며, 해당 횟수의 시각 또는 청각 자극이 1회 전의 시각 또는 청각 자극과 일치하는 경우, 청각 자극의 경우 'S'키를 입력하고, 시각 자극의 경우 'A'키를 입력하도록 형성될 수 있다. 그리고, 1회당 자극지속시간 0.5 초와 자극 사이 간격이 2.5 초로, 1회당 자극의 총 소요 시간은 3초이며, 1주기(블록)당 21회(m = 21)의 자극이 주어질 수 있다.

도 5b의 경우 n은 2이고, 해당 횟수의 시각 또는 청각 자극이 2회 전의 시각 또는 청각 자극과 일치하는 경우, 청각 자극의 경우 'S' 키를 입력하고, 시각 자극의 경우 'A'키를 입력하도록 형성될 수 있다. 그리고, 1회당 자극지속시간 0.5 초와 자극 사이 간격이 2.5 초로, 1회당 자극의 총 소요 시간은 3초이며, 1주기(블록)당 22회의 자극(m = 22)이 주어질 수 있다.

한편, 상기 피로유발 태스크에서의 난이도는, 상기 시각 자극 및 청각 자극이 가해지는 시간 간격, m 값(주기당 전체 자극 횟수) 및 n 값(기억 간격) 중 하나 이상에 의해 설정될 수 있다.

즉, 도 5b의 실시예의 경우 기억 간격(n 값)을 더 크게 설정하여, 도 5b의 실시예보다 더 난이도가 어렵게 설정할 수 있다. 그에 따라, 더 높은 인지피로를 유발하게 설정이 가능하다.

도 3b는 본 발명의 다른 실시예에 따른 촉각 자극 기반의 인지피로 측정 방법을 나타내는 순서도이다.

본 발명의 다른 실시예에 따르면, 상기 피로측정 단계 이전에, 시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 태스크가 미리 수행되는 피로유발 태스크 트레이닝 단계(S10)를 더 포함할 수 있다.

피로유발 태스크 트레이닝 단계(S10)에서 미리 작업기억능력 태스크(Dual n-back task)에 적응하여 보다 정확한 결과를 얻게 할 수 있다.

이 경우, n값(기억 간격)은 피험자의 측정결과에 따라 달라질 수 있다. 일 예로, 피험자가 두 모달리티(시각 자극 및 청각 자극)에서 실수가 3개 미만인 경우, n 값이 1 증가하나, 시각 자극 및 청각 자극 중 하나에서 5개 이상의 실수를 한 경우 n 값은 1이 감소할 수 있다. 이외의 경우에는 n 값이 유지되도록 설정될 수 있다.

트레이닝 단계에서는, 주기당 설정된 n 값에 따라 전체 20+n 회로 진행될 수 있으며, 1회 소요되는 시간이 3초라 한다면 각 주기당 약 60초 정도 소요될 수 있다. 그리고 n (기억 간격) = 2를 안정적으로 유지할 때까지, 트레이닝을 반복하여 기 설정된 정확도를 유지할 때까지 반복될 수 있다. (일 예로, n = 2 조건에서 최소 정확도가 75% 이상이 되는 때까지 반복될 수 있다.)

또한, 피로유발 태스크 트레이닝 단계(S10) 이후에, 그리고 상기 피로측정 단계(S30) 이전에, 뇌전도 및 안전도 센서를 부착하고, 사전 트레이닝을 통해 안전도에 기인한 노이즈를 감소시키기 위하여, 디스플레이 부의 제1 초점에 대하여 시선을 고정시킨 상태에서 1도 내지 10도 사이의 시각도로 변화하는 제2 초점에 선택적으로 주의를 기울이게 하는 안전도(EOG) 트레이닝 단계(S20)를 포함할 수 있다.

안전도(EOG; electrooculogram)가 뇌전도(EEG; electroencephalogram)에 노이즈로 미치는 영향을 최소화하기 위해, EOG 트레이닝 단계(S20)가 수행될 수 있다. 피로측정 단계에서 좌우 안구 움직임, 급격한 안구 이동 및 눈 깜빡임을 최소화하기 위해 실시되는 것이다.

EOG 트레이닝 단계(S20)에서는 모니터 가운데 십자가(붉은색 십자가)에 시선을 고정시킨 상태에서 시각도로 1도씩 변화하는 두 번째 십자가(흰색 십자가)에 선택적으로 주의를 기울임으로써 측정될 수 있다. (일 예로, 좌, 우 랜덤 시퀀스에 따라 1도씩 10단계로 두 번째 십자가는 움직일 수 있다. 중앙에서부터 왼쪽 또는 오른쪽으로 이동하기 시작하여 좌(우) 모니터 끝 부분(시각도 10도)에 도달했다가 원점으로 되돌아 오는 방식으로 움직이게 될 수 있다.)

피로유발 태스크 트레이닝 단계(S10)와, EOG 트레이닝 단계(S20)를 거친 후에, 피로측정 단계(S30)와 제1 및 제2 피로 측정 및 피로유발 단계(S40, S50)를 거치게 함으로써, 보다 정확한 데이터를 얻을 수 있다.

본 발명의 일 실시예에 따르면 촉각 자극 기반의 인지피로 측정 장치 및 방법을 통하여 피로 유발인자를 평가하고, 적절한 피드백을 줄 수 있다. 또한, 태스크 몰입과 주로 관련된 시인지 메커니즘에 독립적이고 단순한 촉각 자극을 활용하여 인지 피로를 측정할 수 있다.

그리고, 사건 유발 전위의 여러 성분을 분석하지 않고 단 하나의 유의한 성분의 변화를 평가하여 기존 대비 평가 시간의 단축이 가능하고 실시간 인지피로 평가가 가능해진다.

또한, 사용자의 몰입도를 최대한 유지한 상태에서, 실시간으로 피로유발인자를 평가하여, 최적 디자인 파라미터를 도출함으로써, 저피로 고실감 콘텐츠 및 감성 UX 아키텍쳐 확립에 기여할 수 있다.

한편, 도 6은 본 발명의 일 실시예에 따른 [실시예 1]의 촉각 자극 기반의 인지피로 측정 방법을 구체적으로 나타내는 순서도이다.

[실시예 1]

도 6에 도시된 순서도에 따라 촉각 자극 기반의 인지피로를 측정하였다. 사전훈련을 위해 피로유발 태스크 트레이닝 단계(S110)를 먼저 수행하고, 센서를 부착한 뒤 EOG 트레이닝 단계(S120)를 수행하고 하고, 기준 상태의 인지피로 측정을 위해 피로측정 단계(S130)를 수행하였으며, 2가지 난이도의 피로유발 상태에서 피로측정 태스크와 피로유발 태스크가 동시에 수행되는 제1 및 제2 피로측정 및 피로유발 단계(S150, S170)를 수행하였다.

측정 결과의 비교 및 검토를 위하여, 피로측정 단계(S130) 다음에, 제1 피험자 설문 평가(S140), 제1 피로측정 및 피로유발 단계(S150) 및 제2 피로측정 및 피로유발 단계(S170) 다음에 각각 제2 및 제3 피험자 설문 평가(S160, S180)를 추가로 수행하였다.

피로유발 태스크 트레이닝 단계(S110)

상기 사전훈련을 위한 피로유발 태스크 트레이닝 단계(S110)에서는 피험자가 연속적으로 제시되는 시각 자극 및 청각 자극에 반응하게 하게 하였다.

시각 자극과 청각 자극은 3초 간격으로 동시에 나타났다. (지속시간 0.5초, 회당 간격 2.5초) 지속적으로 변화하는 시각 자극 시퀀스 상에, 현재 제시되는 자극과 n 번째 전에 제시된 자극(정사각형 위치)을 기억해 일치하면 왼손 중지로 'A'키를 입력하고, 일치하지 않으면 무시하여 태스크를 수행하였다.

순차적으로 제시되는 8개의 알파벳 청각 자극 시퀀스에서, 현재 제시되는 자극(알파벳)과 n번째 전에 제시된 자극(알파벳)을 기억해서 일치하면, 왼손 검지로 'S' 키를 입력하도록 하였다.

n값은 블록마다 피험자의 성과에 따라 다르게 측정하였으며, 청각 자극과 시각 자극에서 실수가 3회 미만인 경우 n 값이 1 증가하고, 청각 자극과 시각 자극 중 어느 하나에서 실수가 5회 이상인 경우 n 값이 1 감소하도록 하였으며, 이외의 경우 n 값을 유지되었다.

사전훈련은 한 블록당 설정된 n 값에 따라, 20 + n 회로 청각 자극 및 시각 자극이 가해졌으며, 각 블록은 따라서 대략 60초 정도 소요되었다.

또한, n = 2 를 안정적으로 유지할 때까지 사전훈련을 반복하였다. 즉, 예를 들면 n = 2 조건에서 75% 이상의 정확도를 보일 때까지 사전훈련을 반복하였다.

EOG 트레이닝 단계(S120)

촉각 자극을 이용한 인지피로 측정장치의 EEG 전극부는 국제 10-20법(international 10-20 electrode system)에 따라 피험자의 두피에 부착하였다.

4개의 지점(AFz, Fz, Cz, Pz)(도 4 참조)에 EEG 전극을 부착하며, A1 지점을 접지 전극으로 A2 지점을 기준전극으로 각각 지정하였다.

그리고, EOG 전극부를 부착하기 위하여 수직 EOG (VEOG) 전극부와 수평 EOG(HEOG) 전극부를 각각 왼쪽 눈 동공 아래 위 2.5 cm 부근에, 그리고 양쪽 눈꼬리 끝 부분에 2 cm 수평으로 떨어진 곳에 부착하였다. 그리고, 미간으로부터 수직으로 2 cm 떨어진 곳에 안전도 접지 전극을 부착하였다.

그리고, 안전도(EOG)가 뇌전도(EEG)에 노이즈로 미치는 영향을 최소화하기 위하여 EOG 트레이닝을 수행하였다. 모니터 가운데 붉은 십자가에 시선을 고정시킨 상태에서 시각도로 1도씩 변화하는 흰색 십자가에 선택적으로 주의를 기울인 상태에서 흰색 십자가가 좌, 우 랜덤 시퀀스에 따라 1도씩 10 단계로, 중앙에서부터 왼쪽으로 또는 오른쪽으로 이동하기 시작하여 좌측(또는 우측) 모니터 끝에서 시각도 10도에 도달했다가 원점으로 돌아오는 방식으로 트레이닝을 하였다.

기준 상태의 피로측정 단계(S130)

별도의 피로유발 태스크가 없는 기준 상태에서 피로측정을 수행하였다. 피로측정 태스크를 위해, 허리(일 예로, 좌, 우)에 2개의 진동하는 햅틱 센서를 포함한 벨트를 착용하였다.

그리고, 66 dB의 촉각 자극을 가하였고, 신체 움직임으로 발생되는 노이즈를 최소화하기 위하여 고정형 턱받이를 착용하였다.

피험자는 모니터 정면에 나타나는 붉은 십자가에 눈을 고정시킨 채 촉각 자극에 노출되게 하였다.

촉각 자극은 진동시간 128 ms, 자극 간격 12 내지 60 초 중 하나 이상의 간격, 즉 랜덤 간격으로, 복수 회 진행되었고, 실제 진동 범위는 반경 6 mm 로 수행되었다. 위 자극 간격으로 20 번의 진동이 한 주기를 구성하여 총 80회 (4 주기)가 제시되었다.

피험자들이 동일한 자극 시간에 노출되게 하기 위해 최대 랜덤 간격 60초×20회 = 20분을 한 블록당 수행시간을 설정하였으며, 랜덤간격으로 인한 피험자간의 시간차는 휴지 상태로 처리되며, 별도의 정보를 제공하지 않고 20분이 지나면 다음 블록이 자동으로 시작되게 하였다.

제1 피로유발 및 피로측정 단계(S150)(1차 피로유발)

피로측정 단계(S130)와 동일한 피로측정 태스크를 수행하면서, 피험자는 피로측정 태스크를 위하여, 허리에 2개의 진동하는 햅틱 센서를 포함한 벨트를 착용하였다.

도 5a에서와 같이, 지속적으로 변화하는 시각 자극 시퀀스(모니터상의 8개의 정사각형 위치)에서 현재 제시되는 자극(정사각형의 위치)과 1회 이전의 자극(정사각형의 위치)을 기억하여, 일치하면 'A'키를 입력하고, 일치하지 않으면 무시하였다.

그리고, 순차적으로 제시되는 8개의 알파벳(C, F, H, M, P, Q, R, W)의 청각 자극 시퀀스에서 현재 제시되는 자극(알파벳)과 1회 이전의 자극(알파벳)을 기억해서 일치하면, 'S'키를 입력하고, 일치하지 않으면 무시하였다.

제1 피로유발 및 피로측정 태스크는 인지피로 유발을 위해 블록당 21회 총 80블록을 실시하였고, 각 블록은 60초가 소요되었다. 그리고, 피험자로부터 자극에 대한 반응시간과 촉각유발전위를 검출하였다.

제2 피로유발 및 피로측정 태스크(S170)(2차 피로유발)

피로측정 단계(S130)와 동일한 피로측정 태스크를 수행하면서, 피로유발 태스크를 위하여, 허리에 2개 (좌, 우)의 진동하는 햅틱 센서를 포함한 벨트를 착용하였다.

도 5b에서와 같이, 지속적으로 변화하는 시각 자극 시퀀스(모니터상의 8개의 정사각형 위치)에서 현재 제시되는 자극(정사각형의 위치)과 2회 이전의 자극(정사각형의 위치)을 기억하여, 일치하면 'A'키를 입력하고, 일치하지 않으면 무시하였다.

그리고, 순차적으로 제시되는 8개의 알파벳(C, F, H, M, P, Q, R, W)의 청각 자극 시퀀스에서 현재 제시되는 자극(알파벳)과 2회 이전의 자극(알파벳)을 기억해서 일치하면, 'S'키를 입력하고, 일치하지 않으면 무시하였다.

제2 피로측정 및 피로유발 태스크는 인지피로 유발을 위해 블록당 22회를 총 80 블록 실시하였으며, 각 블록은 약 60초 소요되었다. 그리고, 피험자로부터 자극에 대응하는 반응시간과 유발전위를 검출하였다.

제1, 제2 및 제3 피험자 설문 평가(S140, S160, S180)

인지피로를 반영할 수 있는 NASA-TLX 설문을 이용하여 각 태스크가 종료된 직후, 피험자의 주관평가를 실시하였다.

NASA-TLX 설문의 경우 총 6가지(정신적 요구량, 육체적 요구량, 시간적 요구량, 태스크 성취도, 노력, 당혹감/좌절감) 항목에 대해 설명한 후 주관적인 평가를 하는 것이다.

6개의 설문항목 중 가중치를 산정하기 위해 경우의 수를 이용, 총 15장의 카드를 만들어 태스크 수행에 2가지 항목 중 더 큰 영향을 끼쳤다고 생각한 항목을 선택하게 하였다.

NASA-TLX 설문 항목에 대하여 0 에서 100 점 사이의 점수를 평가하게 한 후 가중치를 적용하여 최종 NTSA-TLX 주관 평가 값을 산출하였다.

데이터 처리 및 분석

EEG 데이터는 0.1 내지 35 Hz의 디지털 밴드패스필터 적용 후 50,000 배 증폭되어 기록되었다. EOG 데이터 또한 0.05 내지 35 Hz의 밴드패스필터 적용 후 500배 증폭되어 기록되었다. 그리고, P300 성분의 경우, 자극 제시 후 정적 전위 구간(400 에서 600 ms)에서 진폭이 가장 높은 지점으로 결정되었다.

각 실험 조건에 대하여, 각각의 촉각 자극에 대응하는 유발 전위를 검출하였다. 기준상태, 1차 피로유발 및 2차 피로유발의 3 가지 상태에서 기록된 촉각 자극 제시 시간(Target onset time)과 제시 시점으로부터 - 200 ms, + 1,000 ms 구간의 뇌파 신호를 각각 분리한 뒤(Epoch separation) ± 80μV를 초과하는 눈 깜빡임 및 ± 30μV를 초과하는 수평 방향 눈 움직임에 의해 오염된 뇌파 구간은 제거 처리 하였다.

± 80μV와 ± 30μV를 초과하지 않은 눈 깜빡임과 좌우 눈 움직임이 포함된 각 뇌파 측정 지점(AFz, Fz, Cz, Pz)의 분리 구간들은 주성분 분석을 통해 최대한 안전도에 오염되지 않는 사건유발전위를 검출하였다.

자극 제시 - 200 ms 시점에서 제시 시점 사이의 평균 전위 값을 전체 전위 값에서 뺌으로써 오염된 구간들을 제거하고 남은 구간들에서 P300 진폭을 기준선으로 교정한 뒤, 구간 간의 평균 전위 값을 산출하여, 피험자들 간의 평균 전위 값을 산출하였다.

데이터들은 AcqKnowledge 4.2 (BIOPAC Systems Inc., Goleta, CA, USA)와 Visual Studio 2008 with Microsoft foundation class(MFC)소프트웨어가 데이터 처리와 분석에 사용되었으며, 통계 데이터 분석은 IBM SPSS Statistics 17.0 (SPSS Inc, Chicago, Illinois, USA)으로 이루어 졌으며, 동시에 측정된 신호에 대해 통계적 다중 비교함으로써 발생할 수 있는 증가된 1종 오류 확률을 줄이기 위패 본페로니 교정법을 사용하였다.

도 7은 도 6의 실시예에 따라 측정된 피로유발 태스크의 조건에 따른 반응정확도와 반응시간을 나타내는 그래프이다.

도 7을 참조하면, 난이도가 높은 2차 피로유발 조건의 경우 1차 피로유발 조건과 비교하여 유의하게 반응정확도가 감소하는 것을 알 수 있었다. 그리고, 2차 피로유발 조건 하에서 1차 피로유발 조건과 비교하여 유의하게 반응시간이 증가하는 것을 알 수 있었다.

반응 정확도가 감소하고 반응시간이 증가한 것은 2차 피로유발 조건에서 유발된 인지피로로 인해 행동적 메커니즘의 반응속도와 정확도가 저하된 것을 반영한다는 것을 알 수 있다.

도 8은 도 6의 실시예에 따라 측정된 기준상태, 1차 피로유발 상태 및 2차 피로유발 상태의 뇌파 측정 지점 중 AFz, Fz, Cz 및 Pz 지점에서의 P300 평균 전위값을 비교한 그래프이다. 그리고, 도 9는 도 8의 그래프를 뇌파 파형으로 시각화하여 나타낸 그래프로, 도 6의 실시예에 따라 측정된 기준상태, 1차 피로유발 상태 및 2차 피로유발 상태의 뇌파 측정 지점 중 Cz 지점과 Pz 지점에서의 촉각 유발전위 파형과 기준상태와 1차 피로유발 상태 및 1차 피로유발 상태와 2차 피로 유발 상태 사이의 평균 전위 값의 차이를 비교하여 나타낸 그래프이다.

도 8은 촉각 자극을 이용한 인지피로 평가 결과를 나타낸 것이다.

기준 상태, 1차 피로유발 및 2차 피로유발 조건을 피험자내 요인으로 설정한 뒤 일원반복측정 분산분석을 시행하였다. 구형성 가정을 충족하지 못했기 때문에 Greenhouse-Geisser을 통해 자유도를 보정하였다.

AFz, Fz, Cz 지점에서는 유의한 차이가 보이지 않았으나, Pz 지점에서 세 조건간 P300 진폭의 유의한 차이가 관측되었기 때문에 사후 검정을 실시하였다. (구체적으로, Tukey의 HSD 사후검정을 실시하였다. )

Pz지점에서, 기준 상태(T-only)와 1차 피로유발 조건 하에서는 유의한 차이가 없었으나, 기준 상태와 1차 피로유발 조건과 비교할 때, 2차 피로유발 조건에서는 유의하게 감소한 P300 진폭을 확인할 수 있다.

후기 사건유발전위 성분인 P300 진폭이 통계적으로 유의하게 감소했다는 것은 선택적 주의 메커니즘이 일시적으로 손상되어 집중력이 떨어졌다는 것을 의미한다. 이로 인해, 특정한 목표 자극을 지각하고 인지적 정보처리를 위해 필요한 신경세포 및 관련된 특정신경네트워크 활성화 정도가 일시적으로 떨어졌다는 것을 의미한다. 즉, 인지피로가 유발되었을 때만 나타나는 유발 뇌파 지표가 되는 것이다.

도 10은 도 6의 실시예에 따라 기준 상태, 1차 피로유발, 2차 피로유발 조건에 대한 주관적 인지피로 결과를 비교한 그래프이다.

기준 상태, 1차 피로유발, 2차 피로유발을 피험자내 요인으로 설정한 뒤, 일원반복측정 분산분석 수행을 통하여 분석하였다.

그리고, 세 조건 각각의 피험자 설문평가 점수가 유의한 차이를 보였기 때문에 사후 검정을 수행하였다.

도 10에 도시된 바와 같이, 사후 검정을 통한 피험자 주관 평가 분석 결과와, P300 진폭은 유의한 패턴을 보였다.

기준 상태와 1차 피로유발 조건 간 유의한 차이가 없었다. 이는 아무런 유발 태스크를 수행하지 않았던 기준조건과 같이 쉬운 난이도의 1차 피로유발 조건에서는 피로가 발생되지 않음을 시사하는 것이다.

그러나, 2차 피로유발 조건의 경우 상대적으로, 피험자 설문평가 점수가 유의하게 증가하였다. 인지적 작업에 대한 인지적 로드를 신뢰성 있게 주관적으로 평가할 수 있는 NASA TLX 설문지의 점수가 유의하게 증가했다는 것은, 피로 유발하기 위해 설정한 태스크 난이도가 적절했다는 것을 시사하며, 주관적으로 평가할 수 있었던 인지적 로드를 유발전위 측정을 통해 객관적으로 측정할 수 있다는 것을 의미한다.

10: 피험자
20: EOG & EEG 측정부
30: 시각 & 청각 자극 출력부
40: 입력부
50: 지지부
60: 촉각 자극 출력부
70: 제어부
80: 데이터 처리 및 분석부

Claims (15)

1. 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크가 수행되는 피로측정 단계;
   시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 태스크가 진행되는 상태에서 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크가 진행되는 피로측정 및 피로유발 단계; 및
   상기 피로측정 단계와 피로측정 및 피로유발 단계에서 측정된 뇌전도 및 안전도 신호에 따라 촉각자극에 기반한 사건유발전위를 측정하여 인지피로를 측정하는 데이터 처리 및 분석 단계를 더 포함하고,
   상기 데이터 처리 및 분석 단계에서, 측정된 뇌전도 신호 데이터를 0.1 내지 35 Hz의 밴드패스필터를 적용하여 증폭하고, 안전도 신호는 0.05 내지 35 Hz 의 밴드패스필터를 적용하여 증폭하여 기록하며,
   각 자극 제시 시점으로부터 -200 ms에서 1000 ms 구간의 신호를 분리한 뒤, ±80μV를 초과하는 눈 깜빡임 및 ±30 μV를 초과하는 수평 방향의 눈 움직임에 의한 뇌파 구간을 제거하는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 방법.
   
2. 제 1항에 있어서,
   상기 피로측정 태스크는,
   촉각 자극 출력 장치를 피험자에게 착용시키고,
   기 설정된 시간 간격으로 기 설정된 강도의 촉각 자극을 가하면서,
   피험자의 뇌전도 및 안전도 신호를 측정함으로써 수행되는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 방법.
   
3. 제 2 항에 있어서,
   상기 기 설정된 강도의 촉각 자극은 25 dB 내지 66 dB 인 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 방법.
   
4. 제 1 항에 있어서,
   상기 피로유발 태스크는,
   시각 자극 또는 청각 자극, 또는 둘 다를 기 설정된 시간 간격으로 주기당 m회 제공하고,
   제공되는 자극에서 m-n번째 자극(n은 1이상의 자연수임)과 m 번째 자극이 일치하는지 여부를 확인함으로써 수행되는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 방법.
   
5. 제 4 항에 있어서,
   상기 피로유발 태스크에서의 난이도는,
   상기 시각 자극 및 청각 자극이 가해지는 시간 간격, m 값 및 n 값 중 하나 이상에 의해 설정되는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 방법.
   
6. 제 1 항에 있어서,
   상기 피로측정 및 피로유발 단계는,
   제1 난이도로 1차 피로유발 태스크가 진행되면서 피로측정 태스크가 수행되는 제1 피로측정 및 피로유발 단계와,
   상기 제1 난이도와는 다른 제2 난이도의 2차 피로유발 태스크가 진행되면서 피로측정 태스크가 수행되는 제2 피로측정 및 피로유발 단계를 포함하는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 방법.
   
7. 제 1 항에 있어서,
   상기 피로측정 단계 이전에,
   시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 태스크가 미리 수행되는 피로유발 태스크 트레이닝 단계를 더 포함하는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 방법.
   
8. 제 1 항에 있어서
   상기 피로측정 단계 이전에, 뇌전도 및 안전도 센서를 부착하고,
   디스플레이 부의 제1 초점에 대하여 시선을 고정시킨 상태에서 1도 내지 10도 사이의 시각도로 변화하는 제2 초점에 선택적으로 주의를 기울이게 하는 안전도 트레이닝 단계를 포함하는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 방법.
   
9. 시각 자극과 청각 자극을 기 설정된 난이도의 패턴으로 출력하는 시각 및 청각 자극 출력부와 촉각 자극을 출력하는 촉각 자극 출력부;
   뇌전도 및 안전도를 측정하는 EEG 및 EOG 측정부;
   상기 시각 자극 및 청각 자극에 대한 피험자의 반응을 입력하는 입력부;
   촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 태스크와, 시각 및 청각 자극을 기 설정된 난이도의 패턴으로 제공하여 피로를 유발하는 피로유발 상태에서 촉각 자극에 기초하여 뇌전도 및 안전도 신호를 측정하는 피로측정 및 피로유발 태스크를 제어하는 제어부; 및
   상기 EEG 및 EOG 측정부에 의해 측정된 뇌전도 및 안전도 신호에 따라 촉각자극에 기반한 사건유발전위를 측정하여 인지피로를 측정하는 데이터 처리 및 분석부를 포함하고,
   상기 데이터 처리 및 분석부는, 측정된 뇌전도 신호 데이터를 0.1 내지 35 Hz의 밴드패스필터를 적용하여 증폭하고, 안전도 신호는 0.05 내지 35 Hz 의 밴드패스필터를 적용하여 증폭하여 기록하고,
   각 자극 제시 시점으로부터 -200 ms에서 1000 ms 구간의 신호를 분리한 뒤, ±80μV를 초과하는 눈 깜빡임 및 ±30 μV를 초과하는 수평 방향의 눈 움직임에 의한 뇌파 구간을 제거하는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 장치.
   
10. 제 9 항에 있어서,
    상기 촉각 자극에 대한 피험자의 움직임으로 발생되는 노이즈를 최소화하기 위하여 피험자의 머리를 받치는 지지부를 더 포함하는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 장치.
    
11. 제 9 항에 있어서,
    상기 촉각 자극 출력부는 피험자의 허리에 하나 이상의 진동하는 햅틱 센서를 포함하는 벨트 형태로 구성되는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 장치.
    
12. 삭제
13. 삭제
14. 제 9 항에 있어서,
    상기 데이터 처리 및 분석부는,
    분리 및 제거된 각 구간의 P300 진폭을 자극 제시 시점으로부터 자극 제시 전 -200 ms 시점 구간의 평균전위 값을 각 구간의 전위 값에서 빼냄으로써 기저선을 교정하는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 장치.
    
15. 제 14 항에 있어서,
    상기 데이터 처리 및 분석부는, 상기 기저선을 교정한 뒤,
    각 구간의 P300 평균 전위 값을 산출하거나,
    촉각 자극 제시 후에 발생되는 400 에서 600 ms 의 정적 전위 구간에서 진폭이 가장 높은 지점을 P300 진폭으로 설정하는 것을 특징으로 하는 촉각 자극 기반의 인지피로 측정 장치.

Images