KR20220098533A - 귀-eeg를 이용한 음성 이미지 기반의 뇌-컴퓨터 인터페이스를 위한 데이터 획득 방법 및 시스템 - Google Patents

Abstract

본 발명은 귀-EEG를 이용한 음성 이미지 기반의 뇌-컴퓨터 인터페이스를 위한 데이터 획득 방법 및 시스템에 관한 것으로서, 음성 이미지에 의해, 귀-주변 전극을 이용하여 귀-EEG 데이터(ear-EEG)를 측정하고, 두피-주변 전극을 이용하여 두피-EEG 데이터(scalp-EEG)를 측정하는 단계, 상기 귀-EEG 데이터 및 상기 두피-EEG 데이터를 EEG 주파수 대역으로 분해하여 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬을 추출하는 단계 및 ELM(Extreme Learning Machine) 모델을 이용하여 상기 귀-EEG 특성 행렬 및 상기 두피-EEG 특성 행렬을 매핑하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득하는 단계를 포함한다.

Description

귀-EEG를 이용한 음성 이미지 기반의 뇌-컴퓨터 인터페이스를 위한 데이터 획득 방법 및 시스템{DATA ACQUISITION METHOD FOR BRAIN-COMPUTER INTERFACE BASED ON SPEECH IMAGERY USING EAR-EEG AND THE SYSTEM THEREOF}

본 발명은 귀-EEG를 이용한 음성 이미지 기반의 뇌-컴퓨터 인터페이스를 위한 데이터 획득 방법 및 시스템에 관한 것으로서, 보다 상세하게는 두피-EEG 획득 방법의 대안으로 이미지 모니터링을 위한 귀-EEG 획득 방법에 관한 것이다.

뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI)는 사용자의 뇌 활동을 컴퓨터 명령으로 변환하여 통신 및 제어의 대안적 방법으로 광범위하게 연구되어 왔다. 많은 연구들은 BCI가 신경 질환을 앓고 있는 환자들이 정상 생활을 할 수 있는 능력을 되찾도록 성공적으로 도울 수 있다는 것을 증명했다. 그러나 BCI는 특히 정상적인 건강한 사람들에게 일상 생활에 아직 적합하지 않다. 다만, 그 효과와는 별도로, 일상 생활을 위한 BCI는 편리하고, 쉽고, 유행에 뒤떨어져야 하며, 일상 생활 활동과 조화를 이루어야 한다. 많은 연구에서 보고된 BCI 패러다임은 BCI의 모드에 의해 제한된다. 예를 들면, 반응성 BCI와 시각적 유발 잠재력(Steady State Visually Evoked Potential; SSVEP)과 같은 정상 상태 BCI에는 외부 자극이 필요하며, 일상생활에서 그것들을 부적절하게 만든다. 운동 이미지(Motor Imagery; MI)를 사용하는 BCI는 자극이 필요하지 않지만 제어에 사용될 때 자유도에 의해 제한되므로 통신에 적합하지 않다. 또한, MI 기반의 BCI는 사용자가 원하는 작업(예를 들면, TV 켜기)과 MI 작업을 연관짓기 어려울 수 있으므로 상황에 따라 직관적이지 않을 수 있다.

이러한 한계를 극복하기 위해, 음성 이미지는 BCI의 대체 모드로서 연구되고 제안되었다. 음성 이미지(Speech Imagery; SI)는 사용자가 실제로 연결자를 이동하거나 말을 하지 않고 큰 소리로 말하는 것을 상상하는 정신적 작업의 한 유형이다. 음성 이미지 기반 BCI는 사용자가 단순히 시스템이 감지할 출력 명령과 관련된 단어를 생각할 수 있다는 점에서 BCI의 다른 유형에 비해 직관적일 수 있다. 또한, 음성 이미지 작업은 대부분의 사람들이 이미 자연스럽게 그것에 익숙해져 있기 때문에 훈련 시간이 덜 필요하며, 이론적으로는 단어 수만큼 명령어를 지원한다.

초기 음성 이미지 연구의 대부분은 모음을 상상하는 것에 기초했다. 예를 들면, 기존 연구는 모음/a/의 상상으로부터 유발된 잠재력을 조사함으로써 음성 이미지의 아이디어를 제안하거나, 수집된 EEG 신호에서 공통 공간 패턴(Common Spatial Patterns; CSP)을 사용하여 피실험자가 모음 /a/, /u/ 및 휴식 상태를 상상할 때 획득한 뇌파(electroencephalogram; EEG) 분류를 수행했다. 마찬가지로, 기존 연구는 일본어 모음의 상상으로부터 EEG를 분류하기 위해 지원 벡터 머신(Support Vector Machine; SVM)과 관련 벡터 머신(Relevance Vector Machine; RVM)을 사용했다. 또한, 기존 연구는 Hilbert 스펙트럼 분석을 사용하여 음절 /ba/와 /ku/ 상상의 음절을 다른 리듬으로 분류하거나, 다른 리듬에서 상상된 음절(/ba/)을 포함하는 분류 작업을 수행했다.

전술한 바와 더불어 최근에는 의미론적 뜻이 있는 단어들을 사용하는 음성 이미지 또한 연구되고 있다. 예를 들면, 기존 연구는 고정된 리듬에서 주기적으로 상상되는 짧은 단어, 긴 단어 및 모음의 분류에 사용되는 Riemannian 매니폴드 특성을 활용하거나, 5개의 단어(go, back, left, right, stop)를 사용하여 다중 클래스 분류를 수행했으며 최대 40.30%의 정확도를 달성하기도 한다. 또한, 기존 연구는 4개 단어에 대해 군집화하고 학습된 클러스터를 사용하여 5개 단어 모두를 분류하는 방식으로 5개의 스페인어 단어(up, down, left, right, select)를 상상하는 것으로부터 데이터 분류에 전송 학습을 적용하거나, 13개의 다른 단어와 이미지에 대해 음성 이미지와 시각적 이미지 실험을 모두 수행했다.

그러나 전술한 바와 같은 연구들의 대부분은 캡에 전해질 젤 또는 전기 전도성 페이스트(즉, 습식 전극)가 있는 전극을 사용하여 사용자의 두피에서 EEG를 획득하는 기존의 EEG 획득 방법을 사용하여 수행되었다. 이 방법은 BCI 시스템의 정확성에 관한 한 이 EEG 획득 기술을 최상으로 만드는 인간 두뇌의 모든 부분을 커버하는 광범위한 EEG 채널과 함께 고품질 EEG 신호를 제공한다. 그럼에도 불구하고 두피 기반 EEG는 (1)장비 준비에 시간이 걸리고 다른 사람의 추가 도움이 필요하며, (2)캡과 습식 전극이 불편하게 만들고, (3)유행성이 없고 사회적으로 어색할 수 있다는 세 가지 주요 이유로 일상 생활에서 사용을 목표로 하는 BCI에 적합하지 않다. 이러한 문제를 해결하기 위해 연구원들은 습식 전극을 다른 유형의 전극으로 교체하고 착용할 수 있도록 EEG 획득 도구의 설계를 변경하려고 시도했다. 상용 착용형 EEG 획득 장치의 예로는 사용자의 이마에서 EEG를 획득하기 위해 하나의 활성건식 전극을 사용하는 NeuroSky와 식염수 용액과 일회용 스폰지 전극을 사용하는 Emotiv가 있다.

귀-EEG는 편의성, 이동성 및 신중성으로 인해 BCI 연구 분야에서 인기를 얻고 있는 대안적 EEG 획득 방법이다. 이 EEG 획득 방법은 사용자의 귀를 중심으로 EEG를 측정한다. 귀-EEG는 복잡한 장비 준비를 필요로 하지 않으며, 센서가 사용자의 머리카락과 접촉하지 않으므로 사용자가 기존의 두피-EEG 방법보다 사용하기 쉽고 편리하다. 또한, 귀-EEG 방법에서의 전극 배치는 또한 그들을 다른 사람에게 보이지 않게 하고 이 방법을 매우 신중하고 일상 생활에서 원하지 않는 주의를 일으키지 않는다.

이에 따라서, 본 발명은 일상 생활에서 BCI의 개발을 촉진하기 위해, 귀-EEG를 사용하는 음성 이미지 기반의 BCI 시스템을 제안한다.

Looney D, Kidmose P, Park C, Ungstrup M, Rank ML, Rosenkranz K, Mandic DP. The in-the-ear recording concept: User-centered and wearable brain monitoring. IEEE pulse. 2012 Dec 12;3(6):32-42.

본 발명의 목적은 저비용의 귀-EEG 획득 장치(예를 들면, 웨어러블 기기)를 착용 가능하게 하여 음성 이미지 기반의 BCI 시스템을 통해 귀-EEG를 획득하고, 두피-주변 전극을 이용하여 두피-EEG 데이터를 획득하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 결과 데이터를 획득하고자 한다.

본 발명의 실시예에 따른 귀-EEG를 이용한 음성 이미지(Speech-imagery) 기반의 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI)를 위한 데이터 획득 방법에 있어서, 음성 이미지에 의해, 귀-주변 전극을 이용하여 귀-EEG 데이터(ear-EEG)를 측정하고, 두피-주변 전극을 이용하여 두피-EEG 데이터(scalp-EEG)를 측정하는 단계, 상기 귀-EEG 데이터 및 상기 두피-EEG 데이터를 EEG 주파수 대역으로 분해하여 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬을 추출하는 단계 및 ELM(Extreme Learning Machine) 모델을 이용하여 상기 귀-EEG 특성 행렬 및 상기 두피-EEG 특성 행렬을 매핑하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득하는 단계를 포함한다.

본 발명의 실시예에 따른 귀-EEG를 이용한 음성 이미지(Speech-imagery) 기반의 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI)를 위한 데이터 획득 시스템에 있어서, 음성 이미지에 의해, 귀-주변 전극을 이용하여 귀-EEG 데이터(ear-EEG)를 측정하고, 두피-주변 전극을 이용하여 두피-EEG 데이터(scalp-EEG)를 측정하는 측정부, 상기 귀-EEG 데이터 및 상기 두피-EEG 데이터를 EEG 주파수 대역으로 분해하여 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬을 추출하는 추출부 및 ELM(Extreme Learning Machine) 모델을 이용하여 상기 귀-EEG 특성 행렬 및 상기 두피-EEG 특성 행렬을 매핑하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득하는 획득부를 포함한다.

본 발명의 실시예에 따르면, 저비용의 귀-EEG 획득 장치(예를 들면, 웨어러블 기기)를 착용 가능하게 하여 음성 이미지 기반의 BCI 시스템을 통해 귀-EEG를 획득하고, 두피-주변 전극을 이용하여 두피-EEG 데이터를 획득하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 결과 데이터를 획득할 수 있다.

또한, 본 발명의 실시예에 따르면, 귀-EEG가 음성 이미지 모니터링을 위한 두피-EEG 획득 방법의 대안으로 큰 잠재력을 가지고 있음을 확인할 수 있다.

도 1은 본 발명의 실시예에 따른 귀-EEG를 이용한 음성 이미지 기반의 BCI를 위한 데이터 획득 방법의 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 귀-EEG 및 두피-EEG의 전극 배치의 예를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 귀-EEG 측정을 위한 웨어러블 기기의 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 모델 구조를 도시한 것이다.
도 5는 본 발명의 실시예에 따른 음성 이미지 작업 및 휴식 작업의 실험 절차를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 EEG 데이터 수집, 특징 추출 및 분류를 처리하는 데이터 획득 시스템의 절차를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 귀-EEG를 이용한 음성 이미지 기반의 BCI를 위한 데이터 획득 시스템의 세부 구성을 블록도로 도시한 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명은 웨어러블 귀-EEG 획득 장치를 이용하여 다중 클래스 음성 이미지 분류 작업에서 기존의 32 채널 두피-EEG 설정과 성능을 직접 비교하여 뇌-컴퓨터 인터페이스(BCI)에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG를 획득하는 것을 그 요지로 한다.

이에, 본 발명은 다중 클래스 음성 이미지 실험에서 두피와 귀에서 동시에 EEG를 측정하고, 두 개의 EEG 획득 방법 사이의 분류 결과를 직접 비교하며, 귀-EEG 기반 시스템의 정확도를 향상시키기 위해 귀-EEG 특성을 두피-EEG 기능 공간에 매핑하도록 훈련된다. 이때, 본 발명의 특성 추출 방법은 Riemannian 프레임워크의 EEG 공분산 행렬을 기반으로 한다. 또한, 본 발명은 다층 극한 학습 기계(Multi-Layer Extreme Learning Machine; MLELM)를 분류기로 사용한다.

이러한 본 발명에 대해 이하에서는 첨부된 도면을 이용하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 귀-EEG를 이용한 음성 이미지 기반의 BCI를 위한 데이터 획득 방법의 동작 흐름도를 도시한 것이며, 도 2는 본 발명의 실시예에 따른 귀-EEG 및 두피-EEG의 전극 배치의 예를 도시한 것이다. 또한, 도 3은 본 발명의 실시예에 따른 귀-EEG 측정을 위한 웨어러블 기기의 예를 도시한 것이며, 도 4는 본 발명의 실시예에 따른 모델 구조를 도시한 것이다.

도 1의 방법은 도 7에 도시된 본 발명의 실시예에 따른 귀-EEG를 이용한 음성 이미지 기반의 BCI를 위한 데이터 획득 시스템에 의해 수행된다.

도 1을 참조하면, 단계 S110에서, 음성 이미지에 의해, 귀-주변 전극을 이용하여 귀-EEG 데이터(ear-EEG)를 측정하고, 두피-주변 전극을 이용하여 두피-EEG 데이터(scalp-EEG)를 측정한다.

단계 S110은 사용자의 귀 뒤쪽을 감싸는 C자형 이어폰의 웨어러블 기기를 이용하며, 웨어러블 기기에 부착된 스냅 습식 전극의 귀-주변 전극을 이용하여 음성 이미지에 대한 귀-EEG 데이터를 측정할 수 있다. 또한, 단계 S110은 사용자의 뇌 반구 주변에 부착된 복수개의 두피-주변 전극을 이용하여 음성 이미지에 대한 두피-EEG 데이터를 측정할 수 있다.

도 2를 참조하여 설명하면, 본 발명은 도 2(a)에 도시된 바와 같이 실험대상자(또는 사용자)의 양쪽 귀에서 각각 3개씩 6개의 채널을 통해 귀-EEG 데이터를 측정한다. 이때, 왼쪽 귀의 주변 전극은 L1, L2, L3이고, 오른쪽 귀의 주변 전극은 R1, R2, R3이다. 귀-주변 전극은 각각 오른쪽 하단(REF)과 왼쪽 귀(GND)의 전극을 기준으로 접지된다. 더욱이, L1과 R1 사이의 길이와 GND와 REF 전극 사이의 길이는 55mm이며, 채널 L3과 R3은 20mm 거리로 L1-GND 및 R1-REF 라인에 수직인 것을 특징으로 한다.

귀-EEG 데이터는 도 3에 도시된 바와 같은 웨어러블 기기를 사용하여 획득된다. 착용 가능한 웨어러블 기기는 사용자의 귀 뒤쪽을 감싸고, 사용자의 뒤통수를 감싸는 수평 머리띠 형태로써 귀를 감싸는 유연한 실리콘으로 만들어진 C자형 이어폰을 포함한다. 본 발명은 웨어러블 기기에 대해 직경 14mm로 절단된 폼 타입의 스냅 습식 전극(3M Red Dot)을 사용하며, 상기 전극은 실리콘 이어폰에 내장된 소켓에서 쉽게 부착 및 분리할 수 있다. 실리콘 이어폰과 폼 타입의 스냅 전극은 사용자의 피부에 부드러운 촉감을 주어 장치를 편안하게 착용할 수 있게 한다. 더욱이, 상기 전극은 15KΩ 미만의 임피던스 값을 달성하며, 최소 6시간 동안 동일한 임피던스 수준을 유지한다.

더욱이, 실리콘 이어폰은 ABS 소재로 제작된 3D 프린팅 프레임에 부착된다. 전선은 사용자의 옷에 연결할 수 있는 3D 인쇄 케이스에 포함된 EEG 감지 보드에 연결되며, 케이스에는 휴대용 배터리와 충전기가 포함된다. 또한, 본 발명은 OpenBCI의 Cyton Biosensing Board를 EEG 센싱 보드로 사용하며, EEG 획득 샘플링 속도는 250Hz를 나타낸다.

도 2를 참조하여 설명하면, 본 발명은 도 2(b)에 도시된 바와 같이 왼쪽 반구 주변에 32개의 Ag/AgCl 전극으로 구성된 EEG 캡이 있는 BrainVision actiCHAMP를 사용하여 500Hz의 샘플링 속도로 두피-EEG 데이터를 획득한다. 이때, Fpz와 FCz를 각각 접지 채널과 기준 채널로 선택한다.

본 발명은 두 가지 주요 이유로 뇌의 왼쪽 반구에만 두피-주변 전극을 부착한다. 첫 번째 이유는 전극의 수를 줄여서 장비 준비 시간을 단축하여 사용자의 피로를 줄이기 위함이다. 두 번째 이유는 좌뇌가 Broca 영역(F5, FT7, FC5, FC3)과 음성의 생성과 관련된 Wernicke 영역(TP7, CP5, CP3, P5)을 포함하기 때문이다. 나아가, 두피-주변 전극은 귀-주변 전극에 근접하기 때문에 채널 T9, TP9 및 P9에 배치되지 않는다. 또한, 전해질 젤을 삽입하여 전극과 두피 사이의 연결을 보장하고 임피던스 레벨을 10KΩ 미만으로 유지한다.

다시 도 1을 참조하면, 단계 S120에서, 귀-EEG 데이터 및 두피-EEG 데이터를 EEG 주파수 대역으로 분해하여 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬을 추출한다.

단계 S120은 노치 필터(Notch filter)를 귀-EEG 데이터 및 두피-EEG 데이터에 적용하여 노이즈를 제거(Data Pre-Processing)하고, EEG epoch로 분할하여 EEG 주파수 대역으로 분해하며, 각 주파수 대역에 대한 접선 벡터를 산출하여 특성 행렬 차원의 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬의 공분산 행렬(Covariance Matrix)을 추출할 수 있다. 이때, 단계 S120은 공분산 행렬을 해당 접선 공간에 투영(Tangent Space Projection)하고 접선 벡터를 구성하여 이를 분류 알고리즘의 특징으로 효과적으로 사용할 수 있도록 한다.

보다 구체적으로, 단계 S120은 60Hz 컷오프 주파수를 가진 노치 필터를 귀-EEG 데이터 및 두피-EEG 데이터에 적용하여 전원 라인에서 노이즈를 제거한다. 그런 다음, 귀-EEG 데이터 및 두피-EEG 데이터는 시각적 신호의 시작부터 각 시행에 대해 여러 개의 2초 EEG epoch으로 분할되고, 해당 클래스로 라벨 지정된다. 마지막으로, EEG epoch을 델타(0.5Hz - 4Hz), Theta(4Hz - 7Hz), 알파(7Hz - 14Hz), 베타(14Hz - 30Hz), 감마(30Hz - 100Hz) 및 ‘전부’(0.5Hz - 100Hz)를 포함한 5개의 EEG 주파수 대역으로 분해한다. 처음 5개의 주파수 대역은 고유한 특성과 기능에 따라 분류되는 공통 EEG 주파수 대역이며, ‘전부’ 대역의 목적은 EEG 데이터를 전체적으로 캡처하고 처리하는 것이다. 이에 따라서, 단계 S120은 EEG 데이터를 다른 대역으로 분해하고 다른 대역에서 특성을 추출함으로써, 실험 결과를 분석하여 음성 이미지 작업의 EEG와 인지 메커니즘 사이의 관계를 추출할 수 있다.

EEG 데이터에서 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬을 추출하는 과정을 설명하자면, i번째 시행의 각 주파수 대역의 EEG 데이터 epoch는 행렬

을 나타낼 수 있으며, 여기서 n은 채널의 수를 나타내고, T는 한 epoch의 데이터 포인트를 나타낸다. 공분산 행렬

은 다음과 같이 정의된다.

[수식 1]

이때, 결과 공분산 행렬 Pi는 대칭 양의 정부호(Symmetric Positive-Definite; SPD) 행렬을 나타낸다.

SPD 행렬의 공간은 Riemannian 매니폴드에 있기 때문에, 본 발명은 하이퍼 평면으로 투영을 기반으로 하는 분류 알고리즘의 특징으로 공분산 행렬을 직접적으로 효과적으로 사용할 수 없다. 이에, 본 발명은 공분산 행렬을 해당 접선 공간에 투영하고 접선 벡터를 구성하여 이를 분류 알고리즘의 특징으로 효과적으로 사용할 수 있도록 한다. 각 공분산 행렬 Pi에 대해

에서 접선 공간 벡터

는 하기의 [수식 2]와 같이 정의된다.

[수식 2]

여기서, upper(X)는 행렬 X의 상부 삼각형 부분만 유지하고 대각선 요소에 단일 가중치를 적용하여 나머지에

가중치를 적용함으로써, 이를 벡터화하는 연산자를 나타낸다. PR은 N 공분산 행렬의 Riemannian 평균을 나타내고, Logc(P)는 [수식 3]과 같이 정의된 기준점 C를 사용한 행렬 P의 로그 매핑을 나타낸다.

[수식 3]

이후에, 본 발명은 각 주파수 대역에 대해 별도로 접선 벡터를 계산한다. 그런 다음 특성 행렬은 각 주파수 대역의 모든 접선 벡터를 연결하여 구성된다. 특성 행렬의 차원은 귀-EEG 데이터의 경우 (Ns×126)이고, 두피-EEG 데이터의 경우 (Ns×2976)이며, 여기서 Ns는 샘플 수를 나타낸다. 마지막으로, ANONA F-값을 계산하고, 최종 특성 행렬의 차원을 (Ns×k)로 결론짓는 분류에 가장 적합한 k 특성을 선택하는 데 사용한다. 이때, 본 발명은 귀-EEG의 경우 k=[1, 10, 20, …, 110]을 사용하고, 두피-EEG의 경우 k=[1, 100, 200, …, 2500]을 사용하여 알고리즘을 실행한다. 특성 선택 방법은 시스템의 계산 비용을 줄이는 데 도움이 될 수 있으며, 시스템의 정확도를 향상시킬 수 있다.

다시 도 1을 참조하면, 단계 S130에서, ELM(Extreme Learning Machine) 모델을 이용하여 귀-EEG 특성 행렬(ear feature matrix) 및 두피-EEG 특성 행렬(scalp feature matrix)을 매핑하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득한다.

단계 S130은 ELM 모델을 이용하여 귀-EEG 특성 행렬을 두피-EEG 특성 공간에 매핑하여 귀-EEG를 개선시켜 획득할 수 있다. 이때, 단계 S130은 ELM 모델에서 출력 계층과 동일한 샘플의 두피-EEG 특성 행렬을 사용하여 획득되는 귀-두피 특성 행렬(Ear-to-Scalp mapped feature matrix)을 통해 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG(Scalp-EEG results), 귀-EEG(Ear-EEG Results) 및 귀-두피 EEG(Ear-to-Scalp Results)의 결과 데이터를 획득할 수 있다.

보다 구체적으로, ELM(Extreme Learning Machine) 모델은 입력 계층, 단일 은닉 계층 및 출력 계층으로 구성된 단일 계층 피드포워드 신경 네트워크(single layer feed-forward neural network)이다. ELM 모델은 입력 가중치와 편향 값에 대한 랜덤 초기화로 인해 훈련 속도가 매우 빠르며, EEG의 비정적 특성 때문에 분류 모델을 정기적으로 업데이트해야 하는 일상생활 애플리케이션의 BCI에 적합하다. 또한, ELM 모델은 일반적인 분류 방법에 비해 음성 이미지 기반 BCI에서 더 나은 성능을 보여준다.

i=1, …, N를 나타내고, j는 입력 노드의 수를 나타내며, m은 출력 노드의 수인 N개의 구별되는 샘플

및

에서 은닉 계층 출력은 하기의 [수식 4]와 같이 정의된다.

[수식 4]

여기서, g(x)는 활성화 함수를 나타내고,

는 입력 가중치를 나타내며,

는 편향을 나타낸다. 출력 계층은 하기의 [수식 5]와 같이 정의된다.

[수식 5]

여기서,

은 출력 계층의 행렬을 나타낸다. N 훈련 샘플을 고려해보면, n개의 은닉 노드를 가지는 ELM 모델은 다음과 같이 구성될 수 있다.

[수식 6]

ELM 모델을 학습시키는 데는 세 가지 단계가 있다. 첫 번째 단계는 입력 가중치 a와 편향 b에 랜덤 값(0과 1)을 할당하는 것이며, 두 번째 단계는 행렬 H를 계산하는 것이고, 마지막으로 출력 가중치는

로 계산할 수 있다. 이때, Ht는 행렬 H의 Moore-Penrose 일반화 역을 나타낸다.

ELM 모델의 변형 중 하나는 자동 인코딩 ELM(ELM-AE)이다. ELM-AE의 모델 구조는 도 4(a)에 도시되며, 네트워크의 출력을 네트워크의 입력과 동일하게 구성된 비지도 학습 ELM을 나타낸다. 이때, ELM-AE는 일반 ELM과 같은 방식으로 훈련된다.

나아가, 본 발명은 딥러닝에 대한 관심이 높아지면서 딥러닝의 개념을 ELM에 적용했다. 다층 극한 학습 기계(Multi-Layer Extreme Learning Machine; MLELM)는 다수의 ELM-AE를 사용하여 구성되었다. MLELM은 여러 개의 ELM-AE를 사용하여 각 은닉 계층에 대한 입력을 훈련시키고, 이는 ELM-AE에서 학습된 출력 가중치 V를 사용하여 각 계층의 입력 데이터를 특성 공간으로 전송한다. MLELM 모델의 l번째 은닉 계층은 다음과 같이 표현될 수 있다.

[수식 7]

첫 번째 은닉 계층(l=1)에서 H0은 입력 계층 x라는 점에 유의해야 한다. 마지막 은닉 계층과 출력 계층을 연결하는 출력 가중치는 원래의 ELM과 동일한 방식으로 학습되며, k은닉 계층을 가진 MLELM 모델의 구조는 도 4(b)에 도시되었다.

이에 따라서 도 1에서, 단계 S130은 ELM 모델을 이용하여 귀-EEG 특성 행렬을 두피-EEG 특성 공간에 매핑하여 귀-EEG를 개선시켜 획득할 수 있다. 구체적으로, 매핑 프로세스는 ELM 모델을 사용하여 수행된다. 귀-두피 매핑 ELM 모델은 분류 작업과 동일한 방식으로 훈련되지만 샘플 라벨 y를 출력 계층으로 설정하는 대신 출력 계층과 동일한 샘플의 두피-EEG 특성을 사용한다. 이때, Ear-to-Scalp 특성 행렬은 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬과 동일한 방식으로 추가 처리 및 분류된다.

도 5는 본 발명의 실시예에 따른 음성 이미지 작업 및 휴식 작업의 실험 절차를 도시한 것이다.

실험 절차는 실험 시작 시 시각적 단서를 사용하여 설명되며, 실험 중에 피험자들의 귀-EEG와 두피-EEG를 동시에 기록한다. 실험의 각 세션에는 10개의 작업 블록이 있으며, 각 블록에는 단어 "Right", "Left", "Foward" 및 "Go back"에 대한 네 가지 음성 이미지 작업과 피험자가 눈을 뜬 채로 긴장을 풀도록 하는 제어 작업이 랜덤 순서로 포함되어 있다.

음성 이미지 작업과 제어 작업(휴식 상태 작업) 간에 실험 단계가 다르다. 음성 이미지 작업(도 5(a))은 미국 억양으로 여성 목소리가 해당 단어를 읽는 오디오 신호로 시작했다. 2초 후, 피실험자들에게 긴장을 풀도록 지시하는 동안 1초 동안 십자형 신호가 나타났다. 그리고 나서, 동그라미 표시가 2초 동안 주어졌고, 그들은 전에 주어진 단어를 말할 것으로 기대되었다. 이어 이완을 위해 1초간의 십자형이 다시 보여졌다. 실제 연결된 음성은 일반적으로 1초도 걸리지 않았기 때문에, 피험자들은 다음 단계를 위해 실제로 1초 이상 쉬었다. 그런 다음 적재 막대를 2초간 보여주었고, 실험 대상자는 로딩 바(loading bar)의 진행 상황에 따라 단어를 확장된 방식으로 상상하도록 지시받는다. 이것은 5번 연속으로 보여졌고, 그 사이에 1초간의 십자형이 보여졌다. 피험자는 다음 과제를 시작하기 전에 2.5초 동안 휴식을 취했다.

제어 작업(도 5(b))은 음성 이미지 작업과 유사한 방식으로 수행되었지만 청각 단어 대신 삐 소리가 나며 연결된 음성에는 다음 단계가 없다. 이 과제에서 피험자는 아무 말도 상상하지 않고 로딩 바를 살펴보도록 지시받는다.

전술한 실험 절차를 통한 10명의 피험자에 걸친 분류 결과는 각각 38.2%, 43.1%로 최대 43.8%이며, 두피-EEG의 경우 55.0%이다. 분산 분석(ANOVA)에 따르면 10명 중 6명의 피험자가 귀-EEG와 두피-EEG의 성능 간에 유의한 차이를 보이지 않았다. 이를 통해서 귀-EEG가 음성 이미지 모니터링을 위한 두피-EEG 획득 방법의 대안으로 큰 잠재력을 가지고 있음을 확인할 수 있다.

도 6은 본 발명의 실시예에 따른 EEG 데이터 수집, 특징 추출 및 분류를 처리하는 데이터 획득 시스템의 절차를 도시한 것이며, 도 7은 본 발명의 실시예에 따른 귀-EEG를 이용한 음성 이미지 기반의 BCI를 위한 데이터 획득 시스템의 세부 구성을 블록도로 도시한 것이다.

도 6 및 도 7을 참조하면, 본 발명의 실시예에 따른 데이터 획득 시스템(700)은 두피-EEG 획득 방법의 대안으로 이미지 모니터링을 위한 귀-EEG 획득할 수 있다.

이를 위해, 본 발명의 실시예에 따른 데이터 획득 시스템(700)은 측정부(710), 추출부(720) 및 획득부(730)를 포함한다.

측정부(710)는 음성 이미지에 의해, 귀-주변 전극(6 Channels Ear-EEG)을 이용하여 귀-EEG 데이터(ear-EEG)를 측정하고, 두피-주변 전극(32 Channels Scalp-EEG)을 이용하여 두피-EEG 데이터(scalp-EEG)를 측정한다.

측정부(710)는 사용자의 귀 뒤쪽을 감싸는 C자형 이어폰의 웨어러블 기기를 이용하며, 웨어러블 기기에 부착된 스냅 습식 전극의 귀-주변 전극을 이용하여 음성 이미지에 대한 귀-EEG 데이터를 측정할 수 있다. 또한, 측정부(710)는 사용자의 뇌 반구 주변에 부착된 복수개의 두피-주변 전극을 이용하여 음성 이미지에 대한 두피-EEG 데이터를 측정할 수 있다.

추출부(720)는 귀-EEG 데이터 및 두피-EEG 데이터를 EEG 주파수 대역으로 분해하여 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬을 추출한다.

추출부(720)는 노치 필터(Notch filter)를 귀-EEG 데이터 및 두피-EEG 데이터에 적용하여 노이즈를 제거(Data Pre-Processing)하고, EEG epoch로 분할하여 EEG 주파수 대역으로 분해하며, 각 주파수 대역에 대한 접선 벡터를 산출하여 특성 행렬 차원의 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬의 공분산 행렬(Covariance Matrix)을 추출할 수 있다. 이때, 추출부(720)는 공분산 행렬을 해당 접선 공간에 투영(Tangent Space Projection)하고 접선 벡터를 구성하여 이를 분류 알고리즘의 특징으로 효과적으로 사용할 수 있도록 한다.

획득부(730)는 ELM(Extreme Learning Machine) 모델을 이용하여 귀-EEG 특성 행렬(ear feature matrix) 및 두피-EEG 특성 행렬(scalp feature matrix)을 매핑하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득한다.

획득부(730)는 ELM 모델(Classification Model)을 이용하여 귀-EEG 특성 행렬을 두피-EEG 특성 공간에 매핑하여 귀-EEG를 개선시켜 획득할 수 있다. 이때, 획득부(730)는 ELM 모델에서 출력 계층과 동일한 샘플의 두피-EEG 특성 행렬을 사용하여 획득되는 귀-두피 특성 행렬(Ear-to-Scalp mapped feature matrix)을 통해 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG(Scalp-EEG Results), 귀-EEG(Ear-EEG Results) 및 귀-두피 EEG(Ear-to-Scalp EEG Results)의 결과 데이터를 획득할 수 있다.

본 발명의 실시예에 따른 데이터 획득 시스템(700)은 실험의 각 세션에 대해 10폴드 교차 검증을 사용하여 평가된다. 교차 검증의 각 반복에 대해 225개의 훈련 샘플과 25개의 테스트 샘플이 제공되며, 동일한 블록의 표본이 같은 접힌 곳에 머무르는 방식으로 수행되었다. 접선 공간 투영 및 특성 선택기는 훈련 샘플의 데이터만 사용하여 계산된다. 또한, 그리드 검색 방법을 사용하여 ELM 및 MLELM 모델의 각 계층에서 [50, 60, …, 200]의 숨겨진 노드 수를 최적화하며, ELM 모델과 그 변형은 그것의 가중치와 편향 값으로 랜덤화된 값을 사용하기 때문에, 모델 훈련의 각 실행이 동일한 출력을 제공하도록 랜덤 시드가 지정된다.

비록, 본 발명의 도 7의 시스템에서 그 설명이 생략되었더라도, 본 발명의 시스템을 구성하는 구성 수단은 도 1 내지 도 6에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

1. 귀-EEG를 이용한 음성 이미지(Speech-imagery) 기반의 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI)를 위한 데이터 획득 방법에 있어서,
   음성 이미지에 의해, 귀-주변 전극을 이용하여 귀-EEG 데이터(ear-EEG)를 측정하고, 두피-주변 전극을 이용하여 두피-EEG 데이터(scalp-EEG)를 측정하는 단계;
   상기 귀-EEG 데이터 및 상기 두피-EEG 데이터를 EEG 주파수 대역으로 분해하여 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬을 추출하는 단계; 및
   ELM(Extreme Learning Machine) 모델을 이용하여 상기 귀-EEG 특성 행렬 및 상기 두피-EEG 특성 행렬을 매핑하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득하는 단계
   를 포함하는 데이터 획득 방법.
2. 제1항에 있어서,
   상기 측정하는 단계는
   사용자의 귀 뒤쪽을 감싸는 C자형 이어폰의 웨어러블 기기를 이용하며, 상기 웨어러블 기기에 부착된 스냅 습식 전극의 상기 귀-주변 전극을 이용하여 상기 음성 이미지에 대한 상기 귀-EEG 데이터를 측정하는, 데이터 획득 방법.
3. 제1항에 있어서,
   상기 측정하는 단계는
   사용자의 뇌 반구 주변에 부착된 복수개의 상기 두피-주변 전극을 이용하여 상기 음성 이미지에 대한 상기 두피-EEG 데이터를 측정하는, 데이터 획득 방법.
4. 제1항에 있어서,
   상기 추출하는 단계는
   노치 필터(Notch filter)를 상기 귀-EEG 데이터 및 상기 두피-EEG 데이터에 적용하여 노이즈를 제거하고, EEG epoch로 분할하여 EEG 주파수 대역으로 분해하며, 각 주파수 대역에 대한 접선 벡터를 산출하여 특성 행렬 차원의 상기 귀-EEG 특성 행렬 및 상기 두피-EEG 특성 행렬을 추출하는, 데이터 획득 방법.
5. 제1항에 있어서,
   상기 획득하는 단계는
   상기 ELM 모델을 이용하여 귀-EEG 특성 매트릭스를 두피-EEG 특성 공간에 매핑하여 귀-EEG를 개선시키는 것을 특징으로 하는, 데이터 획득 방법.
6. 제5항에 있어서,
   상기 획득하는 단계는
   상기 ELM 모델에서 출력 계층과 동일한 샘플의 상기 두피-EEG 특성 행렬을 사용하여 획득되는 귀-두피 특성 행렬(Ear-to-Scalp)을 통해 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득하는 것을 특징으로 하는, 데이터 획득 방법.
7. 귀-EEG를 이용한 음성 이미지(Speech-imagery) 기반의 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI)를 위한 데이터 획득 시스템에 있어서,
   음성 이미지에 의해, 귀-주변 전극을 이용하여 귀-EEG 데이터(ear-EEG)를 측정하고, 두피-주변 전극을 이용하여 두피-EEG 데이터(scalp-EEG)를 측정하는 측정부;
   상기 귀-EEG 데이터 및 상기 두피-EEG 데이터를 EEG 주파수 대역으로 분해하여 귀-EEG 특성 행렬 및 두피-EEG 특성 행렬을 추출하는 추출부; 및
   ELM(Extreme Learning Machine) 모델을 이용하여 상기 귀-EEG 특성 행렬 및 상기 두피-EEG 특성 행렬을 매핑하여 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득하는 획득부
   를 포함하는 데이터 획득 시스템.
8. 제7항에 있어서,
   상기 측정부는
   사용자의 귀 뒤쪽을 감싸는 C자형 이어폰의 웨어러블 기기를 이용하며, 상기 웨어러블 기기에 부착된 스냅 습식 전극의 상기 귀-주변 전극을 이용하여 상기 음성 이미지에 대한 상기 귀-EEG 데이터를 측정하는, 데이터 획득 시스템.
9. 제7항에 있어서,
   상기 측정부는
   사용자의 뇌 반구 주변에 부착된 복수개의 상기 두피-주변 전극을 이용하여 상기 음성 이미지에 대한 상기 두피-EEG 데이터를 측정하는, 데이터 획득 시스템.
10. 제7항에 있어서,
    상기 추출부는
    노치 필터(Notch filter)를 상기 귀-EEG 데이터 및 상기 두피-EEG 데이터에 적용하여 노이즈를 제거하고, EEG epoch로 분할하여 EEG 주파수 대역으로 분해하며, 각 주파수 대역에 대한 접선 벡터를 산출하여 특성 행렬 차원의 상기 귀-EEG 특성 행렬 및 상기 두피-EEG 특성 행렬을 추출하는, 데이터 획득 시스템.
11. 제7항에 있어서,
    상기 획득부는
    상기 ELM 모델을 이용하여 귀-EEG 특성 매트릭스를 두피-EEG 특성 공간에 매핑하여 귀-EEG를 개선시키는 것을 특징으로 하는, 데이터 획득 시스템.
12. 제11항에 있어서,
    상기 획득부는
    상기 ELM 모델에서 출력 계층과 동일한 샘플의 상기 두피-EEG 특성 행렬을 사용하여 획득되는 귀-두피 특성 행렬(Ear-to-Scalp)을 통해 뇌-컴퓨터 인터페이스에서 음성 이미지 모니터링을 위한 두피-EEG, 귀-EEG 및 귀-두피 EEG의 결과 데이터를 획득하는 것을 특징으로 하는, 데이터 획득 시스템.

Images