KR101285821B1 - 인지 피로 측정 방법 및 이를 적용하는 장치 - Google Patents

Abstract

3D 등의 영상 시청 후의 인지 피로를 측정하는 방법에 관해 기술된다. 시각피로 평가방법은 3D 시청 전, 후의 EOG성분을 ICA(independent component analysis)로 제거하여 저 차원적 인지요소인 SSVEP(steady-state visually evoked potentials)와 고 차원적 인지요소인 ERP(event-related potentials)를 비교 평가함으로써 피로유발여부를 규명한다.

Description

인지 피로 측정 방법 및 이를 적용하는 장치{measurement method of cognitive fatigue and apparatus adopting the method}

본 발명은 인지 피로 측정 방법 및 이를 적용하는 장치에 관련하며, 상세하게는 시각 피로를 인지적 관점으로 평가하는 방법 및 장치에 관련한다.

1832년 찰스 휘트스톤이 입체 영상의 원리를 발견한 이래로 3D(3 dimension) 기기와 영상에 대한 관심이 증대되어 왔다. 과거 3D 산업은 기술적인 한계로 인해 크게 부흥하지 못하였지만, 현재 3D 관련 기술이 급속도로 발전함에 따라 3D 산업에 대한 관심과 수요가 다시 한번 증대되고 있다. 그러나, 이러한 기술적인 진보에도 불구하고 3D가 유발할 수 있는 인체안전성 위해에 대한 원인 규명과 명확한 가이드라인은 수립되어 있지 않은 실정이다. 입체 영상이 유발하는 생체 안전성(시각피로, 영상멀미, 광 과민성 발작)문제는 ISO/IWA3:2005가 발표되어 3D 시청자들의 안전성을 확보하기 위한 가이드라인의 필요성이 대두된 이후 본격적으로 다루어지고 있다. 이러한 3D 시청 안전성 확보를 위해서는 많은 실증적인 연구들을 수행하여 생체에 유해한 영향을 미치는 유해 요소들과 최적 시청 파라미터를 규명하는 것이 선행되어야 한다. 이를 위해, 많은 연구자들이 2D 및 3D 환경에서 객관적 및 주관적 시각피로 측정방법을 제안해왔다[1-15]. 현재까지 제안된 피로 측정 방법들은 주로 기억에 의존하는 주관적 피로 평가방법만을 이용하거나 시각기능, 심박 변이율, 혹은 뇌의 인지기능(ERP) 각각에 대한 제한적인 접근을 통해서 피로를 평가해왔다. 3D 생체 안전성 문제는 다양한 원인들(시청자, 시청환경, 디바이스, 콘텐츠 요인 등)에 의해 유발 된다. 이러한 광범위한 유발요인들을 평가하고 유해요인을 규명하기 위해서는 장기적으로 많은 과학적 연구들이 수행되어야 한다. 이를 위해, 기존의 한계점이 개선된 표준화된 시각피로 평가방법이 우선적으로 수립되어야 한다. 표준화된 피로 평가방법 수립 절차는 높은 신뢰도와 타당도 확보를 위해 단기적인 연구가 아닌, 장기적인 관점에서 기존의 한계점을 개선하여 점진적으로 이루어져야 한다. 3D 시각피로를 보다 신뢰성 있게 평가하기 위해서는 고 차원적 인지반응뿐만 아니라 저 차원적 인지반응도 고려해야 한다.

Sakamoto, K., et al., Measurement of Visual Fatigue for large-sized TVs in a Home Viewing Environment. Isce: 2009 Ieee 13th International Symposium on Consumer Electronics, Vols 1 and 2. 2009. 72-76. Boksem, M.A.S., T.F. Meijman, and M.M. Lorist, Effects of mental fatigue on attention: An ERP study. Cognitive Brain Research, 2005. 25(1): p. 107-116. Boksem, M.A.S., T.F. Meijman, and M.M. Lorist, Mental fatigue, motivation and action monitoring. Biological Psychology, 2006. 72(2): p. 123-132. Boksem, M.A.S. and M. Tops, Mental fatigue: Costs and benefits. Brain Research Reviews, 2008. 59(1): p. 125-139. Lee, E.C., H. Heo, and K.R. Park, The comparative measurements of eyestrain caused by 2D and 3D displays. Consumer Electronics, IEEE Transactions on, 2010. 56(3): p. 1677-1683. Watanabe, H. and H. Ujike, The activity of ISO/Study Group on "Image Safety" and three biological effect PROCEEDINGS OF THE SECOND INTERNATIONAL SYMPOSIUM ON UNIVERSAL COMMUNICATION. 2008: p. 210-214. Li, H.C.O., et al. Measurement of 3D Visual Fatigue Using Event-Related Potential (ERP): 3D Oddball Paradigm. in 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, 2008. 2008. Sugihara, T., T. Miyasato, and R. Nakatsu, An evaluation of visual fatigue in 3-D displays: Focusing on the mismatching of convergence and accommodation. Ieice Transactions on Electronics, 1999. E82C(10): p. 1814-1822. Sakamoto, K., et al., Relationship between viewing distance and visual fatigue in relation to feeling of involvement, in Computer-Human Interaction, S. Lee, et al., Editors. 2008. p. 232-239. Sugita, N., et al., Relationship between Physiological Indices and a Subjective Score in Evaluating Visually Induced Motion Sickness, in Virtual and Mixed Reality, R. Shumaker, Editor. 2009, Springer Berlin / Heidelberg. p. 114-119. Murata, A., A. Uetake, and Y. Takasawa, Evaluation of mental fatigue using feature parameter extracted from event-related potential. International journal of industrial ergonomics, 2005. 35(8): p. 761-770. Kuze, J. and K. Ukai, Subjective evaluation of visual fatigue caused by motion images. Displays, 2008. 29(2): p. 159-166. Hoffman, D.M., et al., Vergence-accommodation conflicts hinder visual performance and cause visual fatigue. Journal of Vision, 2008. 8(3): p. 1-30. Lambooij, M., et al., Visual Discomfort and Visual Fatigue of Stereoscopic Displays: A Review. Journal of Imaging Science and Technology, 2009. 53(3): p. 030201(pp14). Shibata, T., et al., The zone of comfort: Predicting visual discomfort with stereo displays. Journal of Vision, 2011. 11(8): p. 11. Volosyak, I., SSVEP-based Bremen-BCI interface-boosting information transfer rates. Journal of neural engineering, 2011. 8(3): p. 36020. Brunner, C., et al., A comparison three brain-computer interfaces based event-related desynchronization, steady state visual evoked potentials, hybrid approach using both signals. Journal of neural engineering, 2011. 8(2): p. 025010. Muller-Putz, G.R., et al., Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J. Neural Eng., 2005. 2(4): p. 123-130. Wang, Y., et al., A practical VEP-based brain-computer interface. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2006. 14(2): p. 234-239. Toffanin, P., et al., Using frequency tagging quantify attentional deployment visual divided attention task. International Journal of Psychophysiology, 2009. 72(3): p. 289-298. Ding, J., G. Sperling, and R. Srinivasan, Attentional modulation ssvep power depends network tagged flicker frequency. Cerebral Cortex (New York, NY), 2006. 16(7): p. 1016-1029. Morgan, S.T., J.C. Hansen, and S.A. Hillyard, Selective attention to stimulus location modulates the steady-state visual evoked potential. Proceedings of the National Academy of Sciences of the United States of America (PNAS), 1996. 93(10): p. 4770-4774. Butler, P.D., et al., Early-stage visual processing cortical amplification deficits schizophrenia. Archives of general psychiatry, 2005. 62(5): p. 495-504. Valbuena, D., et al. Brain-Computer Interface for high-level control of rehabilitation robotic, 2007. ICORR 2007. IEEE 10th International Conference on. 2007. Friman, O., I. Volosyak, and A. Graser, Multiple channel detection steady-state visual evoked potentials brain-computer interfaces. Ieee Transactions on Biomedical Engineering, 2007. 54(4): p. 742-750. Uetake, A., A. Murata, and I. Ieee, Assessment of mental fatigue during VDT task using event-related potential (P300). Ieee Ro-Man 2000: 9th Ieee International Workshop on Robot and Human Interactive Communication, Proceedings. 2000. 235-240. Kaseda, Y., et al., Objective evaluation of fatigue by event-related potentials. Journal of the Neurological Sciences, 1998. 158(1): p. 96-100.

본 발명은 기존의 피로평가 방법을 개선하는 것으로 저차원적 인지 반응과 고차원적 인지반응을 포함하는 인지적 관점에서 피로를 평가할 수 있는 방법 및 이를 적용하는 장치에 대해 설명한다.

본 발명에 따른 인지 피로 평가 방법: 은

표시 장치의 화면 내에 정의된 것으로 서로 다른 주파수로 배경이 표시되는 두 표시 영역에, 소정의 주파수로 다수의 표준 자극과 소수의 표적 자극을 표시하는 단계;

상기 화면을 주시하는 피험자로부터, 상기 자극들에 대응하는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 단계;

표적 자극에 대응하는 ERP(Event-Related Potential)를 검출 하는 단계;

상기 ERP 의 전위와 잠복기 중, 적어도 어느 하나 값을 산출하는 단계;

SSVEP로부터 피험자가 집중한 자극에 대응하는 파워의 SNR(Signal to Noise Ratio)을 산출하는 단계; 그리고

상기 ERP 의 전위와 잠복기 중의 적어도 어느 하나와 상기 SSVEP의 SNR을 평가하여 피험자의 인지 피로를 결정하는 단계; 를 포함한다.

본 발명의 한 실시 예에 따르면,

상기 표적 자극에 대한 피험자의 주관적 인지 반응 시간 측정하는 단계; 를 더 포함한다.

본 발명의 다른 실시 예에 따르면,

상기 두 영역에는 흰색(RGB: 255,255,255)과 검정색(RGB:0,0,0) 배경이 교번되어 표시되고,

상기 배경을 교변 표시하는 두 영역의 주파수는 서로 다르다.

본 발명의 또 다른 실시 예에 따르면,

상기 두 영역 중, 어느 한 영역의 배경 표시 주파수는 8.57 Hz이며, 다른 영역의 배경 표시 주파수는 10 Hz이다.

본 발명의 또 다른 실시 예에 따르면,

상기 자극들을 표시하는 주파수는 6 Hz이다.

본 발명의 또 다른 실시 예에 따르면,

상기 두 영역에 다수의 표준 자극과 소수의 표적 자극을 무작위적으로 표시하고;

피험자에게 집중이 요구되는 영역을 지시한다.

본 발명의 또 다른 실시 예에 따르면,

집중이 지시된 영역에 나타나는 표적 자극들의 최소 간격은 1 초 이상이며 평균 5% 의 확률로 제시된다..

본 발명의 또 다른 실시 예에 따르면,

상기 두 영역의 배경 표시 주파수는 무작위적으로 상호 반복 교번한다.

본 발명에 따른 인지 피로 측정 장치는 상기 본 발명에 따른 인지 피로 측정 방법을 적용한다.

본 발명은 SSVEP와 ERP를 복합적으로 응용하는 새로운 인지 피로 측정법을 제공한다. 이러한 측정법은 3D 영상 시청 시 유발되는 시각피로를 인지적 관점으로 평가하여 3D 고 위험군을 선별하거나 최적 시청파라미터를 규명하는데 적용될 수 있다. 새로운 인지 피로 측정법은 저 차원적 인지요소인 SSVEP(steady-state visually evoked potentials)와 고차원적 인지요소인 ERP(event-related potentials)를 비교평가 함으로써 피로유발 여부를 판정할 수 있다.

도 1a은 본 발명에 따른 인지 피로 측정 방법을 설명하는 개략적 구성도이다.
도 1b는 본 발명에 따른 인지 피로 측정 장치의 전체 구조를 개략적으로 도시한다.
도 2는 국제 10-20 법에 따른 EEG(Electroencephalogram) 전극 부착위치를 보인다.
도 3은 본 발명에 따른 인지 피로 측정 방법에서, 화면에 정의된 두 영역에서의 배경 점멸 자극의 주사하는 방식을 설명하는 도면이다.
도 4는 본 발명에 따른 인지 피로 측정 방법에서, 표준 자극과 표적 자극의 표시를 설명하는 도면이다.
도 5는 본 발명에 따른 인지 피로 측정 방법의 일 례를 설명하는 흐름도이다.
도 6은 본 발명에 따른 인지 피로 측정 방법에 따른 결과의 일례로서, 도 6은 피로 그룹과 피로하지 않은 그룹의 타깃 반응시간을 비교해 보이는 그래프이다.
도 7은 발명에 따른 인지 피로 측정 방법에 따른 결과의 일례로서, 피로 그룹과 피로하지 않은 그룹의 3D 영상 시청 전후의 ERP 진폭 비교해 보인 그래프이다.
도 8은 발명에 따른 인지 피로 측정 방법에 따른 결과의 일례로서, 피로그룹과 피로하지 않은 그룹의 3D 시청 전후의 ERP 잠복기를 비교해 보인 그래프이다.
도 9는 본 발명에 따른 인지 피로 측정 방법에 따른 결과의 일례로서, 피로그룹과 피로하지 않은 그룹의 3D 시청 전후의 SSVEP 신호 대 잡음 비(8.578.57 Hz)를 비교해 보인 그래프이다.
도 10은 본 발명에 따른 인지 피로 측정 방법에 따른 결과의 일례로서, 8.57 Hz의 타깃에 집중했을 때 피로한 그룹의 3D 영상 시청 전후의 노이즈 변화를 보이는 것으로 SSVEP 스펙트럼이다.
도 11은 본 발명에 따른 인지 피로 측정 방법에 따른 결과의 일례로서, 피로그룹과 피로하지 않은 그룹의 3D 시청 전후의 SSVEP 신호 대 잡음 비(10 Hz)를 비교해 보인 그래프이다.

이하, 첨부된 도면을 참조하면서, 본 발명에 따른 인지 피로 측정 방법 및 이를 적용하는 장치의 실시 예를 상세히 설명한다.

SSVEP(steady-state evoked potential)는 6 Hz이상의 밝고 반복적으로 점멸하는 빛 자극에 의해 유발되는 뇌파의 반응으로, 해당자극에 집중하거나 그 자극을 직접적으로 볼 경우 자극에 해당하는 주파수와 같은 뇌파의 주파수가 동기화된다. 이러한 동기화 현상은 해당 주파수의 2조화 주파수(기본 주파수의 2배), 3조화 주파수에서도 발생한다. SSVEP는 현재 사지를 움직일 수 없는 중증장애인(ALS: amyotrophic lateral sclerosis)을 대상으로 한 BCI(Brain-computer Interface)분야와 공간에 대한 선택적 주의 연구분야에서 연구되고 있다. 다른 분야에서 각기 다른 목적으로 연구되고 있는 SSVEP는, ERP와 같은 고차원적 인지반응 보다는, 뇌의 시각체계에서 저차원 반응을 반영한다. 일반적으로 사람이 피로해지면 특정자극이나 테스크(task)에 집중하기 어렵다. 인지적인 부하가 어떤 테스크에 의해 발생하게 되면 정신적 피로(mental fatigue)가 유발되어 고차원적 인지적 반응의 지표로 여겨지는 P300의 잠복기가 길어지고, 전위 값이 감소한다는 것을 보고하였다. 또한, 3D 시청 전후의 3D 영상에 대한 오드볼 패러다임(oddball paradigm) 테스트를 통하여 3D 영상 시청 후에 P700의 잠복기가 길어진다.

3D 입체 영상 시청 시 인체에 유해한 영향을 미칠 수 있는 (i.e. Panum’s fusional area 초과) 교차시차가 연속적으로 제시되는 입체 영상 또는 크로스토크(Crosstalk), 지나치게 가까운 시청 거리, 적절치 못한 시청자세 등으로 인해 인지적 피로가 유발 될 수 있다. 특히, 전술된 유발 요인들 이외에도 많은 입체 영상의 유해요인들이 여과 없이 3D 시각피로에 민감한 고 위험군들에게 노출될 경우 정상인보다 많은 인지적 부하가 야기 될 수 있다. 따라서, 바람직하지 못한 3D 영상 시청으로 인해 인지적 피로가 야기되면 집중을 의도하는 방향으로 분리하는데 어려움을 겪을 수 있고 이러한 현상은, 본 발명에 따라, 3D 시청 전후의 SSVEP와 ERP반응을 분석함으로써 규명할 수 있다. 본 연구에서 제안된 3D 인지 피로를 측정하고 평가할 수 있는 프로토콜은 최적 시청 파라미터를 규명하고 나아가 시청자 친화적 3D를 구현하는 데 기여할 수 있을 것이다.

도 1a은 본 발명에 따른 인지 피로 측정 방법을 설명하는 개략적 구성도이며, 도 1b는 이러한 본 발명에 따른 인지 피로 측정 방법을 수행하는 전체 장치의 전체 구조를 개략적으로 도시한다.

먼저 도 1a를 참조하면, 피험자(2) 주시하는 표시 장치(1)의 화면 내에 정의된 두 표시 영역(1a, 1b)에, 일정한 주파수, 예를 들어 6 Hz로 점멸하는 다수(多數)의 표준 타깃과 소수(少數)의 목표 타깃을 표시한다. 상기 두 표시 영역(1a, 1b)의 배경은 서로 다른 주파수, 예를 들어 8.57 Hz 및 10 Hz 의 주파수로 점멸한다. 이때에 두 영역의 사이에는 피험자가 주시해야 하는 특정한 패턴, 예를 들어 + 형 포인트(1c)가 표시된다. 해당 자극의 위치 및 구성은 도 1에 도시된 바와 같다. 자극, 즉 좌우 영역(1a, 1b)의 위치는 60cm 거리에서 시야각(자극이 잘 보여질 수 있는 위치)을 고려하여 배치되었다. 도 1에서 각 영역에 표시된 각도는 피험자(2)의 시각(visual angle)을 예시한다. 상기 표시 장치(1)는 입체시 측정 및 3D 컨텐츠의 재생이 가능한 장치이다. 한편, 피험자(2)에게는 EEG(Electroencephalogram, 뇌전도) 및 EOG(Electrooculogram, 눈전위도 또는 안전도) 측정을 위한 다수의 전극을 포함하는 전극부(5)가 설치된다.

한편, 도 1b를 참조하면, 본 발명에 따른 인지 피로 측정 장치는 상기 전극부(5)가 연결되는 EEG 및 EOG 측정장치(6), EEG 및 EOG 측정 장치(6)로부터의 신호를 저장하고 이 신호를 처리하여 피험자(2)의 인지 피로를 분석하고 평가하는 컴퓨터(4)를 구비한다. 컴퓨터(4)는 입체시(stereopsis) 측정을 위한 소프트웨어가 작동하는 것으로서, 별도로 마련된 모니터(4a)를 통해 뇌전도 및 안전도 신호가 상태를 모니터링하며, 후술하는 트레이닝 세션을 수행 또는 모니터링 한다. 상기 컴퓨터(4)에 마련되는 키보드 등의 입력 장치(3)는 상기와 같은 작동을 위한 조작뿐 아니라, 목표 타깃에 대한 피험자의 주관적 인지 반응 시간 측정하는데 필요하다. 상기 전극부(5)의 EEG 전극은 도 2에 도시된 바와 같은 국제 10-20 법(international10-20 electrode system) 따라 피험자(2)의 두피에 부착된다. 본 발명의 일 실시 예에서는 8개의 지점("F3", "F4", "C3", "C4", "P3", "P4", "O1", "O2")에 EEG 전극을 부착된다. 한편, EOG 전극은 일반적인 방법에서와 같이 눈 주위에 부착한다.

SSVEP를 효과적으로 측정하기 위해 표시장치는 17인치 CRT(수직 주파수 120 Hz, 해상도 800x600) 모니터를 이용하였으며, 좌우 영역(1a, 1b)에 각각 8.57 Hz와 10 Hz의 속도로 흰색(RGB: 255,255,255)과 검정색(RGB:0,0,0)이 교번 전환되는 배경 점멸(Background Flicker) 자극이 제시(표시) 되었다. 상기 표시장치에서, 8.57 Hz와 10 Hz의 배경 점멸 자극이 화면에 주사되는 방식은 도 3에 도시된 바와 같다.

도 3을 참조하면, 좌우 영역(1a, 1b)의 배경은 흑색과 백색으로 교번 반전 표시되는 되는데, 이들 두 영역은 서로 다른 주파수(10 Hz, 8.57 Hz)로 점멸한다. 좌우 영역(1a, 1b)의 주파수는 무작위 적인 순서에 따라 서로 바뀐다. 이때에 위의 두 주파수는 변경 가능하며, SSVEP에서의 조화 주파수 성분(harmonic frequency component)이 상호 중복되지 않는 범위 내에서 결정되어야 한다. 예를 들어, 30 Hz 이하의 주파수 범위에서 2조화(기본주파수의 2배수) 또는 3조화 주파수가 서로 소(素)인 점멸 주파수를 선택한다.

한편, 상기 좌우 영역(1a, 1b)에 표시되는 표준 자극 및 목표 자극은 도 4에 도시된 바와 같이 표시된다. 본 실시 예에서는 SSVEP를 측정함과 동시에 ERP를 측정하기 위해 표준자극 11개(알파벳 A~K)와 표적자극 1개(숫자 5), 총 12개의 문자 숫자열이 6 Hz의 속도로 배경 플리커의 가운데에 랜덤하게 업데이트 되도록 한다. SSVEP와 ERP의 효과적인 측정을 위해 문자 숫자열의 색 변화(검정-파랑(RGB: 0,0,255))를 배경 플리커의 색 변화와 같은 속도로 변화하도록 한다. 즉, 배경 점멸 자극이 검정색일 경우에는 문자 숫자 스트림의 색은 검정색이 나오게 되며, 배경 플리커가 흰색일 경우에 문자 숫자 스트림의 색은 파랑색이 나오게 된다. 따라서, 배경 플리커와 같은 속도로 색이 변화하는 문자 스트림이 6 Hz의 속도로 업데이트될 때 상대적으로 배경 플리커가 검정일 때 파랑색이 나오지 않음으로 업데이트되는 문자 숫자 자극들이 시야에 더 잘 보이게 된다. 각 영역, 특히 집중이 요구되는 영역에 나타나는 표적 자극 간의 최소 간격은 1 초 이상으로 설정한다. 이는 SSVEP와 ERP를 동시에 측정함에 있어 두 가지 자극이 서로 방해 요소로서 작용되는 것을 최소화하고 ERP 분석 시 타겟의 중첩을 최소화하여 신뢰성 있는 결과를 도출하고자 함이다.

사건 유발 전위 즉, ERP 를 효과적으로 측정하기 위한 표적 자극(본 실시 예에서 숫자 5)의 빈도와 자극 제시 시퀀스는 도 4에 도시된 바와 같다. 본 발명에서 ERP 를 측정하기 위해 오드볼 패러다임(Oddball paradigm)을 적용한다. 오드볼 패러다임에서, 표적 자극의 등장확률은 일반적으로 표준자극 대비 20 % 정도이다. 그러나, 본 발명에서의 표적 자극의 등장 확률은, 문자 숫자 열이 6 Hz의 빠른 속도로 변화하기 때문에, 표적 자극의 빈도를 3.3 %, 5 %, 6.7 %가 랜덤 하게 배열되도록 구성하였다. 또한, 표적자극이 있는 경우와 없는 경우의 문자-숫자 열 길이를 같게 하기 위하여 표적자극("5")이 없는 경우에는 알파벳 "P" 를 추가하였다. 총 12개(A - K + P or 5)의 문자 배열이 랜덤 하게 5회 반복하여 제시되며, 60개의 문자-숫자 열이 1 시행(trial, 10초)이 되도록 구성하였다. 시행 간 간격은 2초로 정하였다. 또한 1 블럭은 12개의 시행으로 구성되며 따라서 피험자에게는 총 5 블럭(60 trials)이 제시된다.

상기와 같은 방법으로 자극들이 표시되는 과정에서 상기 화면을 주시하는 피험자에 집중해야 할 영역을 화면에 화살표와 같은 표시를 통해 지시하면서, 상기 화면을 주시하는 피험자로부터, 상기 두 표시 영역에 대응하는 SSVEP와 ERP(Event-Related Potential)를 검출 한다. 검출된 ERP 의 전위와 잠복기를 산출한다. 이때에 본 발명에서는 ERP의 전위와 잠복기 모두를 사용하거나 이 중에 적어도 어느 하나 값을 산출하여 인지 피로 판정 근거로 사용한다. 그리고, SSVEP로부터 피험자가 집중한 영역에 대응하는 파워의 SNR(Signal to Noise Ratio)을 산출한다. 여기에서, 신호는 집중한 방향의 주파수에 해당하는 파워 값과 조화주파수들에 해당하는 파워 값의 합이며, 잡음은 무시된 방향의 주파수 해당하는 파워 값과 조화주파수들에 해당하는 파워 값의 합이다.

상기 ERP 의 전위와 잠복기와 상기 SSVEP의 SNR을 평가하여 피험자의 인지 피로를 결정한다. 평가에 있어서, 시각 및 인지 피로가 발생한 것으로 판정하는 r경우는 예를 들어 아래와 같이 3 가지가 있다.

1. SSVEP의 신호 대 잡음 비(S/N ratio)가 시청 전 보다 감소한 경우

2. ERP의 후기 성분(i.e. P300)의 전위 값이 감소하거나 잠복기가 길어진 경우

3. 타깃(숫자 5)에 대한 반응 시간이 시청 전과 비교해 길어진 경우

상기 타깃에 대한 반응 시간의 측정은, 위와 같은 자극을 표시 장치(1)의 화면에 표시하는 과정에서 타깃 “5”을 피험자가 인지하였을 때 키보드 등의 입력 장치(3) 등을 작동시키도록 함으로써 타깃 표시 후 인지 동작까지의 지연시간을 측정하는 것이다.

이하에서, 본 발명의 인지 측정 방법의 보다 깊은 이해를 위한 실제 측정 과정에 상세히 살펴본다.

피험자

보다 정밀한 측정 결과를 위하여, 시력(또는 교정시력) 0.8 이상인 21명(평균나이 23.3±3.1)의 입체시(stereopsis) 정상인이 본 실험에 참여하였다. 모든 피험자는 간질이나 정신병력 등의 질환이 없고, 실험 전날 12시간 전부터 카페인, 음주, 알코올 섭취를 금하도록 하였다. 본 실험에 참가한 모든 피험자로부터 연구 목적을 제외한 실험에 대한 대략적인 사항에 대해 설명한 후 자발적 의지에 대한 피험자 동의서를 얻었다. 본 연구의 실험 절차는 헬싱키 선언에 입각하여 상명대학교 윤리위원회의 심의를 거쳐 진행되었다.

실험 자극

ERP와 SSVEP를 동시에 측정하기 위해 선행문헌을 참고하여 자극을 구성하였다[20, 22]. 본 실험에 사용된 SSVEP ＆ ERP 유발 자극 프로그램(Stimulator)는 C++, MFC, DirectX, OpenCV를 이용하여 작성하였다.

Tool: Visaul Studio 2008

Language: C++, MFC

Library : DirectX, OpenCV

SSVEP를 효과적으로 측정하기 위해 17인치 CRT(Cathode Ray Tube, 수직 주파수 120 Hz, 해상도 800x600) 모니터 좌우에 각각 8.57 Hz와 10 Hz의 속도로 흰색(RGB: 255,255,255)과 검정색(RGB: 0,0,0) 사각형이 전환되는 배경 점멸 자극을 제시하였다.

실험

본 실험에서 수행된 절차를 도 5를 참조하면서 실험 진행 과정을 설명한다.

신뢰성 있는 연구결과를 도출하기 위해, 3D 영상 시청에 앞서 몇 가지 사전실험이 이루어졌다. 먼저, 객관적 인지피로 평가결과와 상관성을 분석하기 위해, 3D 영상 시청 전, 후에 이형철(주관적인 3차원 피로감 측정 방법에 대한 휴먼팩터 연구, 방송공학회논문지 2010년 제15권 제5호)등이 개발한 주관적 피로평가 측정도구를 이용하여 피험자의 현재 상태에 대한 자기보고를 받았다. 해당 주관평가 시각 피로 평가 설문지는 시각적 스트레스, 눈 통증, 신체통증, 상 흐림 등의 4가지 요인으로 구성되어 있으며, 각 요인에 대한 역문항과 하위요인이 존재한다.

EOG artifacts나 EMG(Electromyogram, 근전도) 노이즈가 EEG(뇌전도) 신호를 오염시키는 것을 최소화하기 위해 EOG 트레이닝 세션(training session)을 실시하였다. 사전 훈련에서 피험자들은 17인치 CRT 모니터의 중앙에 나타나는 붉은 색 십자가 형태의 포인트(도 1의 1c 참조)에 시선을 고정한 채, 좌 또는 우로 1도씩 증가하여 10도까지 변화하고 다시 10도에서 1도로 감소하는 흰색 십자가에 집중 하였다. EOG 신호를 실시간으로 모니터링 하여 피험자가 눈을 움직였을 경우 그들에게 즉시 이를 인지시키는 피드백을 주었으며, 이런 과정을 반복적으로 시행하여 피험자들이 충분히 적응하게 하였다. 이는, 3D 영상 시청 전 후의 인지피로 측정 시 노이즈를 최소화하고자 하는 시도이다. 또한, SSVEP 분석을 위해서는 자극 주파수와의 동조화 현상에 대한 충분한 신호 패턴이 두개골에서 측정되는 EEG에서 나타나지 않는 사람이 간혹 보고되고 있다. 따라서, 본 실험에서는 이러한 사람이 피험자들로 선정되었는지를 실험 전에 실시간 PSD(power spectrum density)를 통해 모니터링 하였다. PSD 모니터링 결과, 본 실험에 포함된 모든 피험자들은 해당 자극에 대한 충분한 SSVEP 패턴을 보이고 있음을 확인하였다. ERP를 측정하기 위해서는 일정 확률로 많은 타깃들이 반복적으로 제시되어야 하며, 눈 깜빡임에 오염되지 않은 상태에서 타깃을 인지한 경우의 수를 최대한 많이 확보할 수 있어야 한다. 그러나, 장시간 피험자를 자극에 노출하는 것은 본 실험의 특성상 적합하지 않으므로, 충분한 사전 연습을 통해 학습효과를 최소화하고 타깃에 대한 정답률을 높이고자 하였다. 사전훈련 후에는 피험자들이 피로하지 않도록, 충분한 휴식시간을 주었다. 실험에 참가한 피험자들이 입체 시맹(stereo blindness)이 아닌지를 확인하기 위해, 감기택(시각적 피로도에 영향을 미치는 시청거리와 깊이방향의 운동속도, 감성과학, Vol. 12, No. 2, pp.169-180, June 2009) 등이 개발한 다양한 교차 시차(crossed disparity)와 비교차 시차(uncrossed disparity)를 가진 사각형 무선점 입체도를 이용하였다. 총 72문제를 두 번(한 번에 36문제씩 두 번 제시, 36/36)에 나누어 피험자들에게 랜덤하게 제시하였다. 각 문제는 세 개의 같은 시차를 가진 사각형과 다른 시차를 가진 사각형이 한 화면에 제시되었으며, 피험자의 테스크는 다른 깊이감을 가진 하나의 사각형을 고르는 것이었다. 우연 수준(25 %) 미만의 정답률을 보인 피험자를 본 실험에서는 입체 시맹이라 정의한다. 입체 시 테스트 결과, 입체 시맹은 해당 실험에 포함되지 않았으며, 평균 정답 수는 60.95±5.63 이였다. 입체시 측정 이후 곧 바로, 5분 분량의 3D 광고 영상 시청 후, 3D 에니메이션인 라푼젤(rapunzel, 영어명칭: Tangled)을 약 55분 간 시청하게 하였다. 3D 영상 시청 전 후의 인지피로 반응은 도 1에 도시된 바와 같은 통합 자극기(Hybrid simulator)를 이용한 전술한 바와 같은 방법으로 측정하였다. 위에서 설명되는 실험 과정을 도 5에 도시하였다.

분석방법

1. 피험자에게는 SSVEP와 ERP를 측정하기 위해 국제 10-20법에 따라 전술한 바와 같이 8개 지점("F3", "F4", "C3", "C4", "P3", "P4", "O1", "O2")에 전극을 부착한다.

2. EEG 신호는 MP100 증폭장치(amplifiers system, Biopac systems Inc., USA)를 통해 500 Hz로 기록하며 "Cz" 지점을 기준전극으로, "Fz" 지점을 접지 전극으로 한다.

3. EEG의 노이즈로 작용하는 EOG를 효과적으로 제거하기 위해 왼쪽 동공 위, 아래 2.5 cm 지점과 양 눈의 안각(眼角)으로부터 수평으로 2 cm 떨어진 부분에 각각 EOG 전극을 부착하고 이마의 정 중앙에서 수직으로 2 cm 떨어진 부분에 EOG 접지전극을 부착한다.

4. ERP 데이터 분석을 위해 각 타깃이 등장한 시점으로부터 전, 후 1.2 초(s)를 모두 분리한다(타깃 등장 전 200 ms ~ 타깃 등장 후 1000 ms).

5. 정점-정점(point to point) 방법을 이용하여 자극 제시 300 ms 후의 가장 큰 양의 전위 값을 가지는 지점을 첫 번째 정점 값으로 정하고, 첫 번째 정점 값 이후부터 타깃 등장 800 ms 이후까지 구간에서 가장 큰 부적 전위 값을 가지는 부분을 두 번째 정점 값으로 지정하여, 첫 번째 정점 값과 두 번째 정점 값의 차이를 ERP 진폭 값으로 계산한다.

6. 모든 분리된 구간들의 신뢰성 있는 전체 평균값을 구하기 위해 각 EEG 구간에 대한 EOG 육안검사와 독립성분분석(ICA: Independent Component Analysis)을 거쳐 EOG 성분을 제거한다. OA(Ocular artifacts)는 EEG신호를 오염시키기 때문에 EEG성분에서 EOG 성분을 어느 정도 분리시켜 주어야 한다. 따라서, 눈 깜박임(Vertical) EOG, 좌우 눈 움직임(Horizontal) EOG를 측정 후, ICA 분석을 실시한다.

7. SSVEP 데이터 분석을 위해 8.57 Hz와 10 Hz에 대한 시행 간 2초의 간격을 제거하고 모든 SSVEP 측정구간을 각각 연결한다.

8. 5 Hz ~ 35 Hz의 대역필터를 적용하고 파워스펙트럼 분석을 통해 집중방향에 대한 SNR을 계산한다.

9. 3D 영상 시청 전과 후의 SSVEP와 ERP 성분의 변화를 비교하기 위해 해당 데이터에 대한 정규성 검정을 실시하여 정규성이 가정될 경우, 모수추정인 대응표본 t-검정 (Paired t-test)을 가정되지 않을 경우, 비모수 추정인 윌콕슨 대응쌍 부호-순위 검증 (Wilcoxon Matched-Pairs Signed-Ranks Test)을 각각 수행한다.

10. 다중의 종속변수에 대한 Paired t-test(또는 Wilcoxon’s Matched-Pairs Signed-Ranks Test)는 통계적인 1종 오류를 증가시킬 수 있기 때문에 이를 통제하기 위해 본페로니 교정 (Bonfferroni correction) 방법을 적용하여 유의수준을 설정한다.

예를 들어 유의수준은 아래 식에서와 같이 표현 가능하다.

위 식에서, 0.05 는 최소 유의수준, 종속변수의 수는 측정하고자 하는 변수의 수이다.

시각 및 인지피로평가

전술한 바와 같이, 3D 영상 시청 후에 시각 및 인지피로가 유발되었다고 여길 수 있는 경우는 다음과 같다.

1. SSVEP의 신호 대 잡음비가 3D 영상 시청 전 보다 감소한 경우

2. VEP의 후기 성분의 전위 값이 감소하거나 또는 잠복기가 길어진 경우

3. 표적자극에 대한 반응시간이 3D 시청 전과 비교해 길어진 경우

피로 평가 실례

평가에 앞서, 표적자극에 대한 반응시간과 주관설문(주관피로도와 사후 주관인터뷰)에 근거하여 인지적으로 피로한 그룹과 피로하지 않은 그룹을 분류하여 이를 아래의 여러 파라미터 들과의 관련성을 아래와 같이 검토하였다.

1. 반응시간 비교

도 6은 피로 그룹과 피로하지 않은 그룹의 타깃 반응시간을 비교해 보이는 그래프이다. 분류된 그룹 별 표적자극의 반응시간, ERP 성분 또는 SSVEP 신호 대 잡음 비에 대한 통계분석 결과(Paired t-test 또는 Wilcoxon’s Matched-Pairs Signed-Ranks Test)는 다음과 같다. 도 6에 도시된 바와 같이, 피로한 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 타깃 반응시간 증가하고, 피로하지 않은 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 타깃 반응시간 감소하였다.

2. ERP 진폭 비교

도 7은 피로 그룹과 피로하지 않은 그룹의 3D 영상 시청 전후의 ERP 진폭 비교해 보인 그래프이다.

도 7에 도시된 바와 같이, 피로한 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 "P4", "O1" 및 "O2" 지점에서 ERP 진폭이 감소하고, 피로하지 않은 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 "P3", "P4" 및 "O1" 지점에서 ERP 진폭이 증가하였고 "O2" 지점에서만 감소하였으나 통계적 유의차를 확인할 수 없다. 결과적으로 3D 입체영상으로 인지피로가 유발되었을 경우 ERP 진폭이 유의하게 감소함을 알 수 있다.

3. ERP 잠복기(latency) 비교

도 8은 피로그룹과 피로하지 않은 그룹의 3D 시청 전후의 ERP 잠복기를 비교해 보인 그래프이다.

도 8에 도시된 바와 같이, 피로한 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 "P4", "O1" 및 "O2" 지점에서 ERP 잠복기가 길어진다. 그리고, 피로하지 않은 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 "P3", "P4", "O1" 및 "O2" 지점에서 ERP 잠복기가 길어졌으나 통계적으로 유의 차를 확인할 수 없다. 결과적으로 3D 입체영상으로 인지피로가 유발되었을 경우 ERP 잠복기가 유의하게 길어짐을 알 수 있다.

4. SSVEP 신호 대 잡음 비(8.57 Hz)

도 9는 피로그룹과 피로하지 않은 그룹의 3D 시청 전후의 SSVEP 신호 대 잡음 비(8.57 Hz)를 비교해 보인 그래프이며, 도 10은 8.57 Hz의 타깃에 집중했을 때3D 영상 시청 전후의 노이즈 변화를 보이는 것으로 SSVEP 스펙트럼이다.

도 9에 도시된 바와 같이, 피로한 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 "P4", "O1" 및 "O2" 지점에서 SSVEP 신호 대 잡음 비가 감소하였다. 그러나, 피로하지 않은 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 "P3", "P4", "O1" 및 "O2" 지점에서 SSVEP 신호 대 잡음 비가 증가하였으나 통계적으로 유의 차를 확인할 수 없다.피로한 그룹의 결과에서와 같이, 3D 입체영상으로 인지피로가 유발되었을 경우 SSVEP 신호 대 잡음 비가 유의하게 감소하였으며, 도 11의 스펙트럼의 비교를 통해서도 확인할 수 있다.

5. SSVEP 신호대 잡음 비(10 Hz)

도 11은 피로그룹과 피로하지 않은 그룹의 3D 시청 전후의 SSVEP 신호 대 잡음 비(10 Hz)를 비교해 보인 그래프이다.

도 11에 도시된 바와 같이, 피로한 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 "P4", "O1" 및 "O2" 지점에서 SSVEP 신호 대 잡음 비가 감소하였으나, 통계적 유의차를 확인할 수 없었다. 또한, 피로하지 않은 그룹의 경우 3D 입체영상 시청 전에 비해 시청 후에 "P3", "P4" 및 "O2" 지점에서 SSVEP 신호 대 잡음 비가 증가하였으나 통계적으로 유의차를 확인할 수 없다. 따라서, 10 Hz의 타깃을 집중했을 때 얻어진 SSVEP는 3D 입체영상으로 유발되는 인지피로를 평가하기에 적절하지 않다.

통계 분석 결과

통계분석 결과 유의한 차이가 발견된 뇌의 지점에서 인지피로 평가를 위한 Bio-index를 확인할 수 있었다. 또한, 주의 집중과 관련된 우뇌 부분에서 유의한 차이가 발견되는 경향이 관측되었기 때문에, 제안된 평가 방법(프로토콜)으로 인지피로를 평가할 때 우뇌를 위주로 본 연구에서 유의한 차이가 발생된 지점에서 측정할 것을 권고한다. 그러나, 10 Hz에 집중했을 때의 SSVEP SNR은 피로그룹과 피로하지 않은 그룹 둘 다에서 유의한 차이가 관측되지 않았다. 이는, 명상이나 몰입 시 강하게 발생되는 10~11 Hz의 알파 파가 점멸 자극에 의해 발생되는 SSVEP 성분을 오염시켰을 가능성이 있다. 따라서, 10 Hz 보다는 다른 대역대의 점멸 자극을 선택하여 재검증할 필요성이 있다고 판단된다(예를 들어, 7.5 Hz vs. 8.57 Hz).

결론

본 발명의 평가 방법을 적용함으로써 3D 영상 시청 후 인지적 피로가 발생한 사람과 발생하지 않은 사람들을 구분할 수 있다. 즉, 3D 영상에 취약한 고위험군에 대한 분류를 하는데 기초적 자료를 제공할 수 있을 것이다. 또한, 본 발명의 평가 방법은 다양한 3D 생체 안전성(image safety) 유발 요인에 대한 다양한 상황에서의 피로 유발 여부를 테스트 해볼 수 있는 토대를 마련할 것으로 기대된다. 이러한 본 발명은 3D 영상뿐 아니라, 2D 영상 그리고 이외의 고도의 시각적 피로를 유발할 수 있는 모든 환경에 적용할 수 있다.

Claims (14)

1. 표시 장치의 화면 내에 정의된 것으로 서로 다른 주파수로 가로, 세로의 크기가 9.46˚ 시각도에서 구성되는 정사각형의 흰색(RGB: 255,255,255)과 검정색(RGB:0,0,0) 배경이 교번 표시되는 두 표시 영역의 정중앙에, 6 Hz의 주파수로 11개의 표준 자극과 1개의 표적 자극을 무작위로 가로, 세로의 크기가 1.9˚및 1.4˚ 시각도에서 랜덤하게 5회 반복하여 60번씩 10초간 표시하는 단계;
   피험자에게 집중이 요구되는 영역을 지시하는 단계;
   상기 화면을 주시하는 피험자로부터, 상기 자극들에 대응하는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 단계;
   국제 10-20법에 따른 전극 배치 구조에서, "F3", "F4", "C3", "C4", "P3", "P4", "O1", "O2" 지점의 전극, "Cz" 지점의 기준 전극 그리고 "Fz" 지점에 접지 전극을 이용해 표적 자극에 대응하는 ERP(Event-Related Potential) 성분 중 후기 성분(P600)의 전위와 잠복기를 검출 하는 단계;
   상기 ERP 의 전위와 잠복기 중, 적어도 어느 하나 값을 산출하는 단계;
   SSVEP로부터 피험자가 집중한 자극에 대응하는 파워의 SNR(Signal to Noise Ratio)을 산출하는 단계;
   8.57 Hz와 10 Hz에 대한 시행 간 2초의 간격을 제거하고 모든 SSVEP 측정구간을 각각 연결하고 5 Hz ~ 35 Hz의 대역필터를 적용하고 파워스펙트럼 분석을 통해 집중방향에 대한 SNR을 계산하는 단계; 그리고
   상기 ERP 의 전위와 잠복기 중의 적어도 어느 하나와 상기 SSVEP의 SNR을 평가하여 피험자의 인지 피로를 결정하는 단계; 를 포함하며,
   상기 두 영역 중, 어느 한 영역의 배경 표시 주파수는 8.57 Hz이며, 다른 영역의 배경 표시 주파수는 10 Hz 인, 인지 피로 측정 방법.
2. 제 1 항에 있어서,
   상기 표적 자극에 대한 피험자의 주관적 인지 반응 시간을 측정하고 그에 대응하는 ERP 후기성분을 자극 제시 300 ms 후의 가장 큰 양의 전위 값을 가지는 지점을 첫 번째 정점 값으로 정하고, 첫 번째 정점 값 이후부터 타깃 등장 800 ms 이후까지 구간에서 가장 큰 부적 전위 값을 가지는 부분을 두 번째 정점 값으로 지정하는 단계; 그리고 첫 번째 정점 값과 두 번째 정점 값의 차이를 ERP 진폭 값으로 계산하는 단계; 를 더 포함하는 것을 특징으로 하는 인지 피로 측정 방법.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 제 1 항에 있어서,
   집중이 지시된 영역에 나타나는 표적 자극들의 최소 간격은 1 초 이상인 것을 특징으로 하는 인지 피로 측정 방법.
9. 제 8 항에 있어서,
   상기 두 영역의 배경 표시 주파수는 무작위적으로 상호 반복 교번하는 것을 특징으로 하는 인지 피로 측정 방법.
10. 삭제
11. 제 1 항, 제 2 항, 제 8 항 또는 제 9 항 중의 어느 한 항에 기재된 인지 피로 측정 방법을 적용하는 인지 피로 측정 장치.
12. 삭제
13. 삭제
14. 삭제

Images