ES2396811B1 - PROCEDURE AND SYSTEM FOR COMMUNICATION WITH SUBJECTS IN A STATUS OF DECREASED CONSCIOUSNESS. - Google Patents
PROCEDURE AND SYSTEM FOR COMMUNICATION WITH SUBJECTS IN A STATUS OF DECREASED CONSCIOUSNESS. Download PDFInfo
- Publication number
- ES2396811B1 ES2396811B1 ES201100304A ES201100304A ES2396811B1 ES 2396811 B1 ES2396811 B1 ES 2396811B1 ES 201100304 A ES201100304 A ES 201100304A ES 201100304 A ES201100304 A ES 201100304A ES 2396811 B1 ES2396811 B1 ES 2396811B1
- Authority
- ES
- Spain
- Prior art keywords
- stimulus
- subject
- auditory
- stimuli
- procedure according
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000006854 communication Effects 0.000 title claims abstract description 27
- 238000004891 communication Methods 0.000 title claims abstract description 27
- 230000003247 decreasing effect Effects 0.000 title claims description 3
- 230000000763 evoking effect Effects 0.000 claims abstract description 18
- 230000003292 diminished effect Effects 0.000 claims abstract description 15
- 210000004556 brain Anatomy 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000007177 brain activity Effects 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 25
- 230000000638 stimulation Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims 1
- 206010010071 Coma Diseases 0.000 abstract description 3
- 230000002457 bidirectional effect Effects 0.000 abstract description 2
- 230000003935 attention Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 230000010332 selective attention Effects 0.000 description 10
- 238000000537 electroencephalography Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000000969 carrier Substances 0.000 description 4
- 230000003750 conditioning effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000036992 cognitive tasks Effects 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 229940124641 pain reliever Drugs 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Acoustics & Sound (AREA)
- Biomedical Technology (AREA)
- Psychology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Procedimiento y sistema para la comunicación con sujetos en estado de consciencia disminuida.#La presente invención consiste en un procedimiento o método de comunicación bidireccional y efectiva con personas en estado de consciencia disminuida (coma, estado vegetativo o similar) así como en un sistema que implementa dicho procedimiento y permite lograr la comunicación, generando las señales auditivas que recibe el sujeto en estado de consciencia disminuida y procesando los potenciales evocados por su cerebro tras procesar dichas señales.Procedure and system for communication with subjects in a state of diminished consciousness. # The present invention consists of a procedure or method of bidirectional and effective communication with people in a state of diminished consciousness (coma, vegetative state or similar) as well as in a system that It implements this procedure and allows communication to be achieved, generating the auditory signals that the subject receives in a state of diminished consciousness and processing the potentials evoked by his brain after processing said signals.
Description
PROCEDIMIENTO Y SISTEMA PARA LA COMUNICACIÓN CON SUJETOS EN ESTADO DE CONSCIENCIA DISMINUIDA PROCEDURE AND SYSTEM FOR COMMUNICATION WITH SUBJECTS IN A DECLINE CONSCIOUSNESS
El campo de aplicación de esta invención es el de las técnicas y aparatos de interacción hombre-máquina, aplicadas en particular a sujetos en estado de consciencia disminuida (coma, estado vegetativo o similar). The field of application of this invention is that of man-machine interaction techniques and apparatus, applied in particular to subjects in a state of diminished consciousness (coma, vegetative state or the like).
Las tecnologías y métodos aplicados involucran los campos de la neurociencia, la electrónica y las comunicaciones, la computación inteligente y la rehabilitación. The technologies and methods applied involve the fields of neuroscience, electronics and communications, smart computing, and rehabilitation.
Originalmente los Interfaces de comunicación Cerebro-Ordenador, BCI (del inglés Brain-computer Interfaces), fueron sistemas pensados para sujetos con graves problemas de naturaleza motora que hacían difícil o muy difícil su comunicación. Ya que los sujetos no podían dar órdenes a sus músculos para efectuar acciones con las que poder comunicarse (pulsar una tecla, gesticular, hablar, etc .... ) se hacía necesario salvar este obstáculo colocando algún sistema capaz de capturar el mensaje que se quería transmitir antes de ser enviado a los músculos y desviarlo a un sistema de comunicaciones para recibir, interpretar y ejecutar la orden o el mensaje correspondiente. De esta forma se establecía un canal de comunicaciones del sujeto con el exterior. Actualmente se ha generalizado su estudio y desarrollo a un grupo más amplio de usuarios y aplicaciones, abarcando incluso las lúdicas o de seguridad biométrica. Originally the Brain-Computer Interfaces, BCI (Brain-computer Interfaces), were systems designed for subjects with serious problems of a motor nature that made their communication difficult or very difficult. Since the subjects could not give orders to their muscles to carry out actions with which they could communicate (press a key, gesture, speak, etc ...) it was necessary to overcome this obstacle by placing some system capable of capturing the message that was he wanted to transmit before being sent to the muscles and divert it to a communications system to receive, interpret, and execute the corresponding command or message. In this way, a communication channel between the subject and the outside was established. Currently, its study and development has been generalized to a broader group of users and applications, including even recreational or biometric security applications.
Por motivos de coste y conveniencia los BCI están principalmente basados en el análisis de Electroencefalografía (EEG). El análisis de EEG tiene las ventajas respecto a otros métodos como la Resonancia Magnética Funcional (RMF) o el Electrocorticograma (ECoG), por un lado, su bajo coste y por otro lado que el registro de EEG se realiza de forma no invasiva e inocua para el sujeto. La EEG dispone una serie de electrodos por toda la superficie del cráneo con el objeto de transformar las corrientes iónicas generadas durante la actividad cerebral en corrientes eléctricas. Éstas a su vez serán amplificadas, filtradas, muestreadas y convertidas convenientemente a formato digital para poder ser tratadas por un computador. El computador ejecutará un algoritmo que analizará los datos, junto con otras informaciones como son el electrodo de donde proviene y su temporización con el resto de electrodos y/o estímulos generados desde el exterior. Con esta información el computador tendrá que clasificar con la más alta probabilidad de acierto posible el mensaje que el sujeto quiere comunicar al exterior. Una vez comunicado el mensaje, éste le es presentado al propio sujeto en tiempo real para que conozca el efecto causado y pueda reajustar internamente su actividad cerebral mediante un proceso de prueba y error y aproximaciones sucesivas. Esta técnica, que es conocida como biorrealimentación, es la base del aprendizaje mutuo entre sistema y sujeto y es propio de cualquier sistema de comunicación en general y de los BCI en particular. For reasons of cost and convenience, BCIs are mainly based on Electroencephalography (EEG) analysis. EEG analysis has the advantages over other methods such as Functional Magnetic Resonance (RMF) or Electrocorticogram (ECoG), on the one hand, its low cost and on the other hand that EEG recording is performed in a non-invasive and harmless way for the subject. The EEG has a series of electrodes on the entire surface of the skull in order to transform the ionic currents generated during brain activity into electrical currents. These in turn will be amplified, filtered, sampled and conveniently converted to digital format to be processed by a computer. The computer will execute an algorithm that will analyze the data, along with other information such as the electrode it comes from and its timing with the rest of the electrodes and / or stimuli generated from the outside. With this information the computer will have to classify with the highest possible probability of success the message that the subject wants to communicate to the outside. Once the message is communicated, it is presented to the subject in real time so that he knows the effect caused and can internally readjust his brain activity through a process of trial and error and successive approaches. This technique, which is known as biofeedback, is the basis of mutual learning between system and subject and is typical of any communication system in general and of BCIs in particular.
A fecha de hoy la mayoría de las aplicaciones están pensadas para sujetos con algún tipo de deficiencia motora que les imposibilita una correcta interacción con el mundo que les rodea. En este ámbito, los sistemas BCI posibilitan una mejora significativa en la calidad de vida de estos sujetos. Más allá de este fin, se ha estudiado el BCI como herramienta eficaz en la labor creadora de músicos, coreógrafos, etc. As of today most of the applications are designed for subjects with some type of motor deficiency that makes it impossible for them to properly interact with the world around them. In this area, BCI systems enable a significant improvement in the quality of life of these subjects. Beyond this end, the BCI has been studied as an effective tool in the creative work of musicians, choreographers, etc.
Algunas de las aplicaciones típicas de sistemas BCI son: Some of the typical applications of BCI systems are:
- • •
- Comunicaciones: Esta es una aplicación prioritaria para enfermos Communications: This is a application priority for sick
- completamente paralizados. Se han investigado diversos métodos, desde completely paralyzed. Various methods have been investigated, from
- una simple aplicación binaria "sí/no" hasta teclados virtuales con los que se a simple binary application "yes / no" to virtual keyboards with which
- puede deletrear palabras. Estas aplicaciones se han mostrado eficaces a la can spell words. These applications have proven effective at
- hora de la transmisión de información aunque el time of the transmission of information although the
- número de caracteres number of characters
- procesados por minuto es muy bajo. processed per minute is very low.
- • •
- Control de entornos de Realidad Virtual: La Realidad Virtual se usa en Control of Virtual Reality environments: Virtual reality I know uses in
- sistemas BCI debido a su grado de inmersión, motivación y entorno seguro BCI systems due to their degree of immersion, motivation and safe environment
- y and
- acotado. De esta forma el sujeto interactúa sólo sobre un entorno bounded. Of this shape the subject interact single on a environment
- reducido y el sistema trasladará las órdenes ejecutadas sobre ese entorno reduced and the system will transfer the executed orders on that environment
- al mundo real. to the real world.
• Prótesis Neuronales: Otra fuente de aplicaciones es en la restauración de movimiento para personas con discapacidades motoras. Se han usado señales corticales para controlar un brazo robotizado. Otros estudios han usado señales extraídas directamente del cerebro para mover una mano • Neural Prosthetics: Another source of applications is in the restoration of movement for people with motor disabilities. Cortical signals have been used to control a robotic arm. Other studies have used signals drawn directly from the brain to move a hand.
5 virtual. 5 virtual.
• Arte: Existen diversos proyectos como "Neural Art", "Neural Music'' o "cyberPRINT', destinados a usar las nuevas posibilidades ofrecidas por BCI para la creación artística. • Art: There are various projects such as "Neural Art", "Neural Music" or "cyberPRINT ', intended to use the new possibilities offered by BCI for artistic creation.
1O Sin embargo, en la actualidad los sistemas BCI tienen los siguientes problemas: 1O However, BCI systems currently have the following problems:
- • •
- Ancho de banda: El número de órdenes que pueden ejecutarse por minuto usando un sistema BCI es muy bajo. Bandwidth: The number of orders that can be executed per minute using a BCI system is very low.
- • •
- Probabilidad de error: Las señales extraídas del cerebro son muy variables. Cualquier estímulo inesperado provoca una actividad cerebral que empeora Probability of error: The signals extracted from the brain are highly variable. Any unexpected stimulus causes brain activity to worsen
15 las condiciones de análisis. Además factores como fatiga, medicación, etc. alteran involuntariamente la actividad cerebral. 15 the analysis conditions. Also factors such as fatigue, medication, etc. unintentionally alter brain activity.
• Autonomía: Los sistemas BCI conocidos necesitan la participación de asistentes a la hora de la colocación y ajuste de los electrodos. Además, la mayor parte de estos sistemas BCis no pueden ser iniciados • Autonomy: The known BCI systems need the participation of assistants when placing and adjusting the electrodes. Also, most of these BCis systems cannot be started
20 independientemente por el usuario, sino que son iniciados externamente (de no ser así estaríamos enfrentándonos al problema del "Rey Midas", en donde en ocasiones el usuario podría estar mandando señales al sistema BCI incluso sin desearlo. Un ejemplo de este fenómeno ocurre cuando el sujeto está dormido o inconsciente o se está realizando una actividad 20 independently by the user, but are externally initiated (if not, we would be facing the "King Midas" problem, where sometimes the user could be sending signals to the BCI system even without wanting to. An example of this phenomenon occurs when the subject is asleep or unconscious or is carrying out an activity
25 cerebral que no tiene nada que ver con el control del BCI). 25 brain that has nothing to do with BCI control).
• Carga cognitiva: La mayor parte de las pruebas son realizadas en laboratorios en un entorno controlado. Los usuarios pueden concentrarse en las pruebas sin distracciones. Pero el mundo real no es así en absoluto: Respuestas emocionales, interacciones con otros individuos, distintas • Cognitive load: Most of the tests are carried out in laboratories in a controlled environment. Users can focus on testing without distraction. But the real world is not like that at all: emotional responses, interactions with other individuals, different
30 actividades cerebrales, etc. influyen alterando las condiciones de trabajo de los BCI. 30 brain activities, etc. they influence altering the working conditions of the BCI.
El primer objeto de esta invención es un procedimiento o método de comunicación bidireccional y efectiva con personas en estado de consciencia disminuida (coma, estado vegetativo o similar). Se puede llegar a establecer comunicación con sujetos que, aún en estado de consciencia disminuida, sean capaces de recibir estímulos externos auditivos, procesarlos cognitivamente y ser capaces de modificar voluntariamente su actividad cerebral. The first object of this invention is a procedure or method of bidirectional and effective communication with people in a state of decreased consciousness (coma, vegetative state or similar). Communication can be established with subjects who, even in a state of diminished consciousness, are able to receive external auditory stimuli, process them cognitively, and be able to voluntarily modify their brain activity.
El segundo objeto de esta invención es un sistema BCI que implementa el procedimiento y permite lograr dicha comunicación, generando las señales auditivas que recibe el sujeto en estado de consciencia disminuida y procesando los potenciales evocados por su cerebro tras procesar dichas señales. The second object of this invention is a BCI system that implements the procedure and enables said communication to be achieved, generating the auditory signals that the subject receives in a state of diminished consciousness and processing the potentials evoked by his brain after processing said signals.
Figura 1.-Muestra un sujeto usuario del objeto de la invención y el dispositivo usado para la estimulación y biorealimentación. Figure 1.- Shows a user subject of the object of the invention and the device used for stimulation and biofeedback.
A: Indica un sujeto en estado de consciencia disminuida. A: Indicates a subject in a state of diminished consciousness.
B: Dispositivo que presenta tanto la estimulación como la biorealimentación auditivas. Este dispositivo puede consistir en auriculares, ya sean externos o insertados en el pabellón auditivo. B: Device that presents both auditory stimulation and biofeedback. This device can consist of headphones, either external or inserted in the ear.
Figura 2.-Muestra un esquema del sistema de comunicación con individuos en estado de consciencia disminuida. Figure 2.- Shows a diagram of the communication system with individuals in a state of diminished consciousness.
C: Subsistema 3, reproductor de estímulos de tipo auditivo. C: Subsystem 3, auditory stimulus reproducer.
D: Sistema de fijación de los electrodos al cuero cabelludo. Generalmente será un gorro, ventosa, cinta o diadema ajustables con o sin correas con una serie de orificios por los que se insertan los electrodos quedando así fijados en la posición adecuada. También podrá ser una matriz de sensores unidos por elásticos que se ajusta al contorno de la cabeza del individuo o mediante parches. D: System for fixing the electrodes to the scalp. Generally it will be an adjustable cap, suction cup, headband or headband with or without straps with a series of holes through which the electrodes are inserted, thus being fixed in the appropriate position. It can also be an array of sensors joined by elastics that adjust to the contour of the individual's head or through patches.
E: Electrodos. Los electrodos recogen las corrientes iónicas producto de la actividad cerebral y las convierten en eléctricas. E: Electrodes. The electrodes collect ionic currents from brain activity and convert them into electrical currents.
F: Interfaz entre el subsistema de registro y acondicionamiento de señal y el sujeto. Generalmente un mazo de latiguillos de electrodos o bien una interfaz inalámbrica. F: Interface between the signal conditioning and registration subsystem and the subject. Generally a bundle of electrode hoses or a wireless interface.
G: Subsistema 2, de registro y acondicionamiento de la señal. G: Subsystem 2, for recording and conditioning the signal.
H: Interfaz entre el subsistema de registro y acondicionamiento de señal y el Subsistema principal. H: Interface between the signal conditioning and recording subsystem and the main subsystem.
1: Subsistema 1, Principal. 1: Subsystem 1, Main.
J: Interfaz entre el Subsistema 1, Principal, y el Subsistema 3 reproductor de estímulos auditivos. J: Interface between Subsystem 1, Main, and Subsystem 3 reproductive of auditory stimuli.
Figura 3.-Diagrama de flujo que representa el proceso asociado a la fase de entrenamiento del sistema. Figure 3.- Flow diagram representing the process associated with the training phase of the system.
Figura 4.-Diagrama de flujo que representa el proceso asociado a la fase de operación del sistema. Figure 4.- Flow diagram representing the process associated with the system operation phase.
La invención consiste en un procedimiento de comunicación bidireccional entre sujetos en estado de consciencia disminuida y el mundo exterior basado en el análisis de patrones de actividad cerebral generados mediante estimulación auditiva. The invention consists of a bidirectional communication procedure between subjects in a state of diminished consciousness and the outside world based on the analysis of patterns of brain activity generated by auditory stimulation.
De forma general, y tras ser consultado sobre una decisión, preferentemente binaria, el sujeto con consciencia disminuida es estimulado de varias formas a través de sus canales auditivos y se miden distintos patrones de actividad cerebral que se traducen en respuestas a esa decisión. Concretamente los patrones de actividad cerebral de donde se extrae la información necesaria para el funcionamiento del procedimiento del sistema son aquellos evocados por la estimulación de estímulos auditivos, preferiblemente PEA (Potencial Evocado Auditivo), P300x (Potencial evocado endógeno que aparece a partir de los 300 ms del estímulo) y más preferiblemente a partir del PEAEE (PEA de Estado Estable). El procedimiento también puede extraer la información necesaria de bandas alfa, beta, mu, gamma y potenciales corticales de baja frecuencia. In general, and after being consulted about a decision, preferably binary, the subject with diminished consciousness is stimulated in various ways through their auditory channels and different patterns of brain activity are measured, which translate into responses to that decision. Specifically, the patterns of brain activity from which the information necessary for the operation of the system procedure is extracted are those evoked by the stimulation of auditory stimuli, preferably PEA (Auditory Evoked Potential), P300x (Endogenous evoked potential that appears after 300 ms of the stimulus) and more preferably from the PEAEE (Steady State PEA). The procedure can also extract the necessary information from alpha, beta, mu, gamma bands and low frequency cortical potentials.
A lo largo de esta memoria se entenderá por "decisión" cualquier selección de opciones que el sujeto realice de entre un conjunto de opciones disponibles. El caso más sencillo correspondería a una respuesta binaria (sí/no) seleccionada de entre dos opciones posibles. En casos más complejos, la decisión podría corresponderse con una orden o instrucción seleccionada de entre un conjunto presentado previamente. Throughout this specification, "decision" means any selection of options that the subject makes from among a set of available options. The simplest case would correspond to a binary answer (yes / no) selected from two possible options. In more complex cases, the decision could correspond to an order or instruction selected from a previously presented set.
Para que el procedimiento funcione de forma eficaz es necesario realizar de forma previa una adaptación del procedimiento a cada sujeto. No todos los sujetos responden de igual manera a estímulos auditivos, por lo que en esta fase, que llamaremos fase de entrenamiento, se adaptarán o calibrarán los sistemas que implementan este procedimiento para presentar estímulos auditivos con aquellas características para las que el patrón de actividad cerebral del sujeto presenta una mejor relación señal a ruido por lo que el sistema tendrá una mayor capacidad de clasificación de dichos patrones y, consecuentemente, facilite la identificación de la decisión que el sujeto quiere comunicar. For the procedure to work effectively, it is necessary to previously adapt the procedure to each subject. Not all subjects respond the same way to auditory stimuli, so in this phase, which we will call the training phase, the systems that implement this procedure will adapt or calibrate to present auditory stimuli with those characteristics for which the pattern of brain activity The subject has a better signal-to-noise ratio, so the system will have a greater ability to classify these patterns and, consequently, facilitate the identification of the decision that the subject wants to communicate.
Posteriormente comenzará la denominada fase de operación en la que, tras una pregunta por parte del sistema, la respuesta del sujeto estará asociada a un patrón de actividad cerebral previamente determinado durante el entrenamiento. Subsequently, the so-called operation phase will begin in which, after a question from the system, the subject's response will be associated with a previously determined pattern of brain activity during training.
La interacción entre el sujeto y el sistema sigue unos pasos distintos según se trate de la fase de entrenamiento o la fase de operación. En las Figuras 3 y 4 pueden observarse ejemplos de flujogramas de ejecución de ambas fases que se describirán con detalle más adelante. The interaction between the subject and the system follows different steps depending on whether it is the training phase or the operation phase. Figures 3 and 4 show examples of execution flow charts of both phases, which will be described in detail later.
Dichas fases son: These phases are:
- a. to.
- Selección de conjunto de estímulos auditivos. Selection of set of auditory stimuli.
- b. b.
- Fase en entrenamiento, que comprende los siguientes pasos: Training phase, which includes the following steps:
i. Se selecciona un estímulo y se pide al sujeto que lo discrimine de entre todos los estímulos que va a recibir. i. A stimulus is selected and the subject is asked to discriminate it from among all the stimuli it will receive.
ii. Se emite el conjunto de estímulos auditivos completo. ii. The complete set of auditory stimuli is emitted.
iii. De forma simultánea al paso iii, se registran ciertos patrones cerebrales a partir de los que se extraen los parámetros de interés para la clasificación del estímulo que se almacenan en el denominado vector de características. iii. Simultaneously with step iii, certain brain patterns are recorded from which the parameters of interest for the stimulus classification are extracted and stored in the so-called feature vector.
- iv. iv.
- Asociamos ese vector de características al estímulo discriminado. We associate this vector of characteristics with the discriminated stimulus.
- v. v.
- Repetición de los pasos iii a v para el estímulo seleccionado para obtener un vector de características promedio. Repeat steps iii to v for the selected stimulus to obtain a vector of average characteristics.
vi. Repetición del paso vi para cada estímulo del conjunto. saw. Repeat step vi for each stimulus in the set.
vii. Eliminación de los vectores de características promedio en los que la distribución estadística de la muestra de sus componentes se corresponda con un ruido. vii. Elimination of the vectors of average characteristics in which the statistical distribution of the sample of its components corresponds to a noise.
- c. c.
- Selección del subconjunto de estímulos y sus vectores de características asociados no descartados en el paso b.vii Selection of the subset of stimuli and their associated feature vectors not discarded in step b.vii
- d. d.
- Fase de operación que comprende los siguientes pasos: Operation phase comprising the following steps:
i. Emisión del subconjunto de estímulos seleccionados en las fase e) i. Emission of the subset of stimuli selected in phase e)
ii. De forma simultánea al paso d.i, se registran ciertos patrones cerebrales a partir de los que se extraen los parámetros de interés que conformarán el vector de características. ii. Simultaneously with step d.i, certain brain patterns are recorded from which the parameters of interest that will make up the vector of characteristics are extracted.
iii. Se calcula la relación SNR a partir del vector de características obtenido, durante la emisión del subconjunto de estímulos, hasta que alcance un valor estadísticamente relacionado con una probabilidad de acierto determinada en la clasificación. iii. The SNR ratio is calculated from the vector of characteristics obtained, during the emission of the stimulus subset, until it reaches a value statistically related to a probability of success determined in the classification.
- iv. iv.
- Se clasifica el vector obtenido en función de los vectores almacenados, identificando así el estímulo asociado The vector obtained is classified according to the stored vectors, thus identifying the associated stimulus
- v. v.
- Se ejecuta la instrucción asociada al estímulo identificado. The instruction associated with the identified stimulus is executed.
En la fase de entrenamiento y/o en la de operación, el procedimiento puede llevar un paso adicional adicional de Biorrealimentación en la que se comunica al sujeto la decisión que ha tomado. In the training phase and / or in the operation phase, the procedure may take an additional step of Biofeedback in which the decision made is communicated to the subject.
Sistema BCI que implementa el procedimiento: La ejecución de este procedimiento se lleva a cabo mediante un sistema BCI que comprende los siguientes distintos medios electrónicos (representados en las Figuras 1 y 2): BCI system that implements the procedure: The execution of this procedure is carried out using a BCI system that comprises the following different electronic means (represented in Figures 1 and 2):
- • •
- Subsistema 1, Principal (1): Consiste en un sistema empotrado o integrado de control con capacidad de respuesta en tiempo real cuya finalidad consiste en la ejecución de la aplicación principal y de la comunicación con el resto de subsistemas. En este subsistema se realizan una serie funciones entre las cuales están, y no quedan limitadas a: Subsystem 1, Main (1): Consists of an embedded or integrated control system with real-time response capacity, the purpose of which is to execute the main application and communicate with the rest of the subsystems. A series of functions are performed in this subsystem, among which are, and are not limited to:
- o Generación de la estimulación necesaria al sujeto. o Generation of the necessary stimulation to the subject.
- o Ejecución de los algoritmos usados para la extracción, procesamiento y clasificación de los datos provenientes de la actividad cerebral del sujeto. o Execution of the algorithms used for the extraction, processing and classification of data from the subject's brain activity.
- o Presentación de datos o indicadores útiles para el control, operación y mantenimiento del sistema. o Presentation of data or useful indicators for the control, operation and maintenance of the system.
- o Almacenamiento y/o transmisión por los medios tecnológicos adecuados. o Storage and / or transmission by appropriate technological means.
- • •
- Subsistema 2, de Registro y Acondicionamiento de Señal (G): Comprende los medios necesarios para registrar y acondicionar señales provenientes de la actividad cerebral del sujeto obtenidas de cualquier método (por ejemplo de EEG, RMF, ECoG, NIRs, etc.). En particular, el subsistema comprende los siguientes medios: sondas, amplificadores, filtros y conversores de analógico a digital. Signal Recording and Conditioning Subsystem 2 (G): Includes the means necessary to record and condition signals from the brain activity of the subject obtained by any method (for example, EEG, RMF, ECoG, NIRs, etc.). In particular, the subsystem comprises the following means: probes, amplifiers, filters and analog-to-digital converters.
- • •
- Subsistema 3, Reproductor de estímulos (C): Comprende los medios necesarios para reproducir cualquiera de los estímulos auditivos definidos con la precisión y características necesarias siguiendo las instrucciones del Subsistema Principal. Subsystem 3, Stimulus Player (C): Includes the means necessary to reproduce any of the defined auditory stimuli with the necessary precision and characteristics following the instructions of the Main Subsystem.
Descripción de la Fase de Entrenamiento: Description of the Training Phase:
Como se ha indicado previamente, para conseguir una aplicación eficaz del procedimiento de comunicación en la posterior fase de operación, es necesario/recomendable que el sistema BCI que implementa este procedimiento esté adaptado o calibrado a las necesidades particulares del sujeto con el que se realizará la comunicación. As previously indicated, in order to achieve an effective application of the communication procedure in the subsequent phase of operation, it is necessary / recommended that the BCI system that implements this procedure be adapted or calibrated to the particular needs of the subject with whom the communication.
Durante la fase de entrenamiento o calibración se realiza, gracias a lo que se denomina "biorrealimentación", el aprendizaje mutuo entre el sujeto y el sistema así como la calibración de este último. Las técnicas de biorrealimentación permiten que un sujeto tenga consciencia de cambios fisiológicos y biológicos internos de los que normalmente no es consciente. La biorrealimentación aplicada a esta invención consiste en presentar al sujeto mediante estímulos auditivos su propia actividad cerebral, permitiéndole a éste buscar las estrategias más adecuadas para que las diferencias entre la actividad cerebral objetivo y la conseguida sea mínima. During the training or calibration phase, mutual learning between the subject and the system, as well as the latter's calibration, is carried out thanks to what is called "biofeedback". Biofeedback techniques allow a subject to become aware of internal physiological and biological changes of which he is not normally aware. The biofeedback applied to this invention consists in presenting the subject by means of auditory stimuli with their own brain activity, allowing them to search for the most appropriate strategies so that the differences between the objective brain activity and that achieved are minimal.
En esta fase de entrenamiento o calibración se evalúa la respuesta del sujeto ante ensayos de evaluación realizados con distintas configuraciones de estímulos auditivos, entendiendo como configuración de un estímulo auditivo una combinación concreta de de tono, timbre, presentación repetitiva, frecuencia de repetición, intervalo de presentación, volumen o duración, así como tipos de fuentes sonoras (por ejemplo habla natural y habla natural modulada por portadoras analógicas o digitales). In this training or calibration phase, the response of the subject to evaluation tests carried out with different configurations of auditory stimuli is evaluated, understanding as the configuration of an auditory stimulus a specific combination of tone, timbre, repetitive presentation, repetition frequency, interval of presentation, volume or duration, as well as types of sound sources (for example natural speech and natural speech modulated by analogue or digital carriers).
Cada configuración del estímulo es capaz de evocar un patrón de actividad cerebral específico y distinto de cualquier otra configuración. Each configuration of the stimulus is capable of evoking a specific pattern of brain activity that is different from any other configuration.
Durante la fase de entrenamiento se le indicará, preferentemente de forma verbal, al sujeto que realice una determinada tarea mental (por ejemplo prestar atención a un determinado estímulo auditivo e ignorar otros). Siempre que el sujeto, que está inmerso en circunstancias excepcionales debido a su situación, sea capaz de colaborar, generará un patrón objetivo de actividad cerebral específico y conocido para esa tarea mental y la configuración del estímulo usada. Al final de la fase de entrenamiento un estudio estadístico pondrá de relieve si la actividad cerebral registrada y la actividad cerebral esperada son suficientemente similares como para considerar que el paciente ha colaborado de forma eficiente y por tanto ha completado la fase de entrenamiento. During the training phase, the subject will be instructed, preferably verbally, to perform a certain mental task (for example, pay attention to a certain auditory stimulus and ignore others). As long as the subject, who is immersed in exceptional circumstances due to his situation, is able to collaborate, he will generate an objective pattern of brain activity specific and known for that mental task and the configuration of the stimulus used. At the end of the training phase, a statistical study will show if the registered brain activity and the expected brain activity are similar enough to consider that the patient has collaborated efficiently and therefore has completed the training phase.
Aquella configuración de estímulos auditivos cuya respuesta alcance el nivel más alto de calidad, entendiendo como tal una mejor relación señal a ruido será guardada para su posterior uso durante la fase de operación. La señal está definida como la energía de aquella actividad cerebral provocada por la estimulación auditiva y la tarea mental necesaria para su procesado, mientras que el ruido corresponderá a la energía del resto de la actividad cerebral. That configuration of auditory stimuli whose response reaches the highest level of quality, understanding as such a better signal-to-noise ratio will be saved for later use during the operation phase. The signal is defined as the energy of that brain activity caused by auditory stimulation and the mental task necessary for its processing, while the noise will correspond to the energy of the rest of the brain activity.
Una vez realizada la fase de entrenamiento o calibración, puede comenzar la comunicación entre el sujeto y el sistema. After the training or calibration phase is complete, communication between the subject and the system can begin.
Descripción de la Fase de Operación: Description of the Operation Phase:
En esta fase, cada decisión que toma el sujeto va a estar asociado a un ensayo (acción mínima necesaria para que el sistema pueda detectar actividad cerebral asociada a una decisión), al final del cual el sistema decide qué decisión es la que el sujeto quiere comunicar, la presenta y ofrece una biorealimentación al sujeto sobre dicha decisión. En este sentido la biorrealimentación es un elemento clave en el aprendizaje por parte del sujeto, ya que le permite conocer en qué grado es capaz de hacer uso del sistema de forma correcta, produciéndose así el aprendizaje por prueba y error. In this phase, each decision made by the subject will be associated with a trial (minimum action necessary for the system to detect brain activity associated with a decision), at the end of which the system decides which decision the subject wants. communicate, present it and offer a biofeedback to the subject about said decision. In this sense, biofeedback is a key element in learning by the subject, since it allows them to know to what degree they are able to use the system correctly, thus producing trial and error learning.
Una vez presentado el estímulo auditivo al sujeto, la información de utilidad para el funcionamiento del sistema, extraída de los patrones de actividad cerebral, conformará el llamado "vector de características", el cual tendrá entre otras, los siguientes componentes: Once the auditory stimulus has been presented to the subject, the useful information for the functioning of the system, extracted from the patterns of brain activity, will form the so-called "characteristics vector", which will have, among others, the following components:
• Amplitudes, latencias, marcas y ventanas de tiempo de las componentes individuales de los patrones de actividad cerebral. Coeficientes obtenidos por la representación en el dominio de la frecuencia de los patrones de actividad cerebral, por ejemplo de la DFT (Discrete Fourier Transform) o de la transformada Wavelet y Potencia de ruido estimado. • Amplitudes, latencies, marks and time windows of the individual components of brain activity patterns. Coefficients obtained by the representation in the frequency domain of brain activity patterns, for example from the DFT (Discrete Fourier Transform) or the Wavelet transform and Estimated noise power.
Una vez extraído el vector de características se utilizará un algoritmo de clasificación para que el sistema decida qué orden o mensaje es el que el sujeto quiere comunicar. Entre los algoritmos de clasificación que se pueden utilizar están: Once the vector of characteristics has been extracted, a classification algorithm will be used so that the system decides what order or message the subject wants to communicate. Among the classification algorithms that can be used are:
• RNA (Redes Neuronales Artificiales), Lógica Difusa, SVM (Support Vector • RNA (Artificial Neural Networks), Fuzzy Logic, SVM (Support Vector
5 Machine), técnicas de "clustering", o algoritmos estadísticos basados en la teoría de la decisión. 5 Machine), "clustering" techniques, or statistical algorithms based on decision theory.
Una vez clasificado el estímulo auditivo al que el sujeto prestó atención, el sistema Once the auditory stimulus to which the subject paid attention was classified, the system
1o transmitirá el código asociado a dicho estímulo. Para ello existe un diccionario que asigna estímulo y códigos y que previamente el sujeto aprendió durante la fase de entrenamiento. Para el caso particular de que tan solo haya un único estímulo el sujeto deberá bien atenderlo o ignorarlo completamente. En este caso el diccionario es muy simple dado que las dos únicas posibilidades (atender o ignorar el estímulo) estarán 1 will transmit the code associated with said stimulus. For this there is a dictionary that assigns stimulus and codes and that the subject previously learned during the training phase. In the particular case that there is only a single stimulus, the subject must either attend to it or ignore it completely. In this case, the dictionary is very simple since the only two possibilities (attending or ignoring the stimulus) will be
15 asociadas con un código de tipo binario (1 ,0). 15 associated with a binary type code (1, 0).
Finalmente, se produce una biorrealimentación de tipo auditiva utilizando los mismos dispositivos electrónicos, para que el sujeto conozca el código que ha transmitido. De esta forma el sujeto podrá evaluar cómo tiene que auto regularse internamente para Finally, an auditory-type biofeedback is produced using the same electronic devices, so that the subject knows the code they have transmitted. In this way, the subject will be able to assess how he has to self-regulate internally to
20 prestar atención a un único estímulo al mismo tiempo que se ignoran el resto con la mayor probabilidad de acierto por parte del sistema a la hora de transmitir el código deseado. 20 pay attention to a single stimulus at the same time that the rest are ignored with the highest probability of success by the system when transmitting the desired code.
Entre las aplicaciones que este procedimiento y el sistema BCI que lo implementa 25 ofrecen se encuentran: Among the applications that this procedure and the BCI system that implements it 25 offer are:
- • •
- Comunicación bidireccional entre el sujeto en estado de consciencia disminuida y el mundo exterior en general. Two-way communication between the subject in a state of diminished consciousness and the outside world in general.
- • •
- Comunicación entre el sujeto y el rehabilitador para la realización de técnicas de rehabilitación basadas en el uso del sistema. Communication between the subject and the rehabilitator to carry out rehabilitation techniques based on the use of the system.
30 • Comunicación entre el sujeto y sus familiares y amigos para por ejemplo la redacción del testamento vital o últimas voluntades. 30 • Communication between the subject and his family and friends, for example, the writing of the living will or last wills.
MODOS DE REALIZACIÓN Ejemplo 1.-Sistema electrónico para la comunicación síncrona con sujetos en estado de consciencia disminuida basado en la atención selectiva a dos estímulos auditivos consistentes en habla natural modulada MODES OF REALIZATION Example 1.-Electronic system for synchronous communication with subjects in a state of diminished consciousness based on selective attention to two auditory stimuli consisting of modulated natural speech
La atención selectiva es una característica innata del ser humano por la cual éste es capaz de discriminar entre distintos estímulos que se presentan simultáneamente simplemente prestando atención al estímulo objetivo e ignorando el resto (efecto "cocktail party"). Este es un proceso de naturaleza cognitiva que necesariamente requiere de la voluntad del sujeto. La estimulación, bajo una serie de restricciones, puede generar un patrón de actividad cerebral característico de cada estimulo en concreto. Es decir, cada estímulo auditivo puede ser presentado al sujeto de tal forma que éste evoque un patrón de actividad cerebral distinguible e independiente para cada estímulo. En este escenario la atención selectiva que el sujeto ejercería sobre un único estímulo de los presentes, provocaría la amplificación de la energía de la respuesta evocado por el estímulo atendido así como la atenuación de las respuestas evocadas por el resto de estímulos ignorados. Esta amplificación de la respuesta evocada que el sujeto provoca de forma voluntaria mediante la atención selectiva puede ser clasificada de forma robusta y fiable, posibilitando así la comunicación. Selective attention is an innate characteristic of the human being by which he is able to discriminate between different stimuli that are presented simultaneously simply by paying attention to the objective stimulus and ignoring the rest ("cocktail party" effect). This is a process of a cognitive nature that necessarily requires the will of the subject. Stimulation, under a series of restrictions, can generate a pattern of brain activity characteristic of each specific stimulus. That is, each auditory stimulus can be presented to the subject in such a way that the subject evokes a distinctive and independent pattern of brain activity for each stimulus. In this scenario, the selective attention that the subject would exert on a single stimulus of those present, would cause the amplification of the response energy evoked by the attended stimulus as well as the attenuation of the responses evoked by the rest of the ignored stimuli. This amplification of the evoked response that the subject provokes voluntarily through selective attention can be classified in a robust and reliable way, thus making communication possible.
El mismo proceso descrito en el párrafo anterior se puede particularizar al caso de un único estímulo. En este caso no se trataría de atención selectiva sino simplemente de atención y el sistema realizaría una clasificación binaria sobre si el sujeto estaba prestando atención al único estímulo o ignorándolo en su totalidad. The same process described in the previous paragraph can be particularized to the case of a single stimulus. In this case, it would not be selective attention but simply attention and the system would perform a binary classification on whether the subject was paying attention to the only stimulus or ignoring it in its entirety.
El sistema que llevará a cabo el procedimiento descrito más adelante comprende los siguientes elementos: The system that will carry out the procedure described below comprises the following elements:
- • •
- Subsistema 1: Sistema empotrado (basado en microprocesador o similar de muy altas prestaciones). Subsystem 1: Embedded system (microprocessor based or similar with very high performance).
- • •
- Subsistema 2: Formado por equipo de registro de EEG (sondas, amplificadores, filtros, sistema conversor analógico a digital). Subsystem 2: Consisting of EEG recording equipment (probes, amplifiers, filters, analog to digital converter system).
- • •
- Subsistema 3: Dispositivo para la presentación de estímulos auditivos y biorealimentación, por ejemplo unos auriculares. Subsystem 3: Device for the presentation of auditory stimuli and biofeedback, for example headphones.
- • •
- lnterfaz1-2: Basado en la transmisión de ondas, ya sean guiadas o no. Interface1-2: Based on wave transmission, whether guided or not.
- • •
- lnterfaz1-3: Basado en la transmisión de ondas, ya sean guiadas o no. Interface 1-3: Based on wave transmission, whether guided or not.
- • •
- lnterfaz3-Sujeto: Basado en las ondas sonoras lnterfaz3-Subject: Based on sound waves
- • •
- Interfaz Sujeto-2: Basado en la transmisión de ondas, ya sean guiadas o no. Subject-2 interface: Based on wave transmission, whether guided or not.
Procedimiento para la fase de entrenamiento y calibración: La Figura 3 describe el algoritmo de la fase de entrenamiento. Procedure for the training and calibration phase: Figure 3 describes the algorithm for the training phase.
En primer lugar se comprueba que el sujeto tiene el grado de consciencia suficiente para poder completar el procedimiento de entrenamiento y calibración. Esto se realiza mediante un conjunto de órdenes impartidas verbalmente que piden al paciente que modifique su actividad cerebral de una determinada forma (por ejemplo, ejerciendo la atención o atención selectiva sobre uno o varios estímulos auditivos respectivamente). Con posterioridad se hará un estudio estadístico de correlación entre la actividad cerebral que debió generarse y la generada realmente por el sujeto, discriminando así si el sujeto fue capaz de completar las órdenes impartidas externamente. Firstly, it is verified that the subject has sufficient awareness to be able to complete the training and calibration procedure. This is done through a set of verbally given commands that ask the patient to modify their brain activity in a certain way (for example, by exerting selective attention or attention on one or more auditory stimuli respectively). Subsequently, a statistical study of correlation will be made between the brain activity that should have been generated and that actually generated by the subject, thus discriminating whether the subject was able to complete the orders given externally.
El proceso explicado para discriminar si un sujeto es capaz de completar órdenes impartidas externamente se realiza mediante una batería de ensayos. En cada ensayo se excita con una configuración del estímulo diferente capaz de provocar un patrón de actividad cerebral específico y distinto de cualquier otra configuración del estímulo. The explained process to discriminate if a subject is capable of completing externally given orders is carried out using a battery of tests. In each trial, it is excited by a different stimulus configuration capable of causing a specific brain activity pattern and distinct from any other stimulus configuration.
- • •
- Distintas características de tono, timbre, presentación repetitiva, frecuencia de repetición, volumen, duración. Different characteristics of tone, timbre, repetitive presentation, repetition frequency, volume, duration.
- • •
- Distintos tipos de fuentes sonoras, por ejemplo habla natural y habla natural modulada por portadoras analógicas o digitales Different types of sound sources, for example natural speech and natural speech modulated by analog or digital carriers
- o La estimulación con habla natural consistirá en una, o más fuentes sonoras de habla natural (según se trate de atención o atención selectiva respectivamente). Cada fuente será generada mediante el registro de una alocución independiente procedente de la misma o de distintas personas. o Natural speech stimulation will consist of one or more natural speech sound sources (depending on whether it is attention or selective attention respectively). Each source will be generated by registering an independent address from the same or different people.
- o Para la generación del habla natural modulada se parte del registro de habla natural. Dicho registro será multiplicado, muestra a muestra, por una portadora analógica o digital de una determinada frecuencia y fase. Un ejemplo sería las modulaciones del tipo AM (amplitud modulada) o For the generation of modulated natural speech, the natural speech register is used. Said register will be multiplied, sample by sample, by an analog or digital carrier of a certain frequency and phase. An example would be AM modulations (amplitude modulated)
FM (frecuencia modulada) o ambas simultáneamente, ASK (amplitude shift keying), FSK (frequency shift keying) o PSK (phase shift keying) FM (frequency modulated) or both simultaneously, ASK (amplitude shift keying), FSK (frequency shift keying) or PSK (phase shift keying)
En cualquier caso el estímulo o estímulos serán siempre auditivos. De entre todas las 5 configuraciones se escogerá para ser usada durante la fase de operación aquella que presente una relación señal a ruido más alta. In any case, the stimulus or stimuli will always be auditory. Among all the 5 configurations, the one with the highest signal to noise ratio will be chosen to be used during the operation phase.
Descrito con más detalle: Described in more detail:
1o 1. Se indica al sujeto que se va a proceder a presentar dos alouciones, una por cada oído 1o 1. The subject is indicated that they are going to proceed to present two aloutions, one for each ear
2. Se le indica la tarea cognitiva a realizar: Preste atención a la alocución izquierda" (por ejemplo). 2. The cognitive task to be carried out is indicated: Pay attention to the left speech "(for example).
3. Se procede a estimular al sujeto con una configuración del estímulo en 15 particular: 3. The subject is stimulated with a particular stimulus configuration:
- • •
- Dos alocuciones independientes son presentadas por cada uno de los oídos. En el ejemplo se han utilizado pasajes de capítulos distintos del Quijote. Two independent addresses are presented by each of the ears. In the example, passages from chapters other than Don Quixote have been used.
- • •
- Duración de 12 segundos cada una. Duration of 12 seconds each.
20 • La alocución izquierda está modulada por una portadora digital al 50% de carga de 5Hz y desfase de 0°. 20 • The left address is modulated by a digital carrier at 50% load of 5Hz and offset of 0 °.
• La alocución derecha está modulada de la misa forma pero con un desfase de 180°. • The right speech is modulated in the same way but with a 180 ° offset.
4. Durante el ensayo se registra la actividad cerebral del sujeto con electrodos 4. During the test the brain activity of the subject is recorded with electrodes
25 situados en las posiciones Cz, Pz y Fpz del sistema Internacional 10/20 y referencia la semisuma de la actividad registrada en los lóbulos de la oreja izquierda y derecha. 25 located in positions Cz, Pz and Fpz of the International 10/20 system and reference the half-sum of the activity recorded in the left and right ear lobes.
5. Al finalizar el ensayo se computa la DFT sobre el registro EEG, extrayéndose los coeficientes a 5Hz y la potencia de ruido a esa frecuencia, estimada como 5. At the end of the test, the DFT is computed on the EEG record, extracting the coefficients at 5Hz and the noise power at that frequency, estimated as
30 el promedio de potencia espectral obtenido en las bandas laterales [4 .. 5) y (5.. 6]. Se guardan esos valores en el vector de características. 30 the average spectral power obtained in the lateral bands [4 .. 5) and (5 .. 6]. These values are stored in the characteristics vector.
6. Los pasos 1 a 5 se repiten 20 veces. De ellas, la mitad de las ocasiones el sujeto deberá atender el oído izquierdo y en la otra mitad atender al oído derecho. Se obtiene el vector de características promedio de los 20 ensayos. 6. Steps 1 to 5 are repeated 20 times. Of these, half the occasions the subject must attend to the left ear and in the other half attend to the right ear. The average characteristics vector of the 20 tests is obtained.
Este vector de características promedio corresponde a una configuración del estímulo particular. This vector of average characteristics corresponds to a particular stimulus configuration.
- 7. 7.
- Los paso 1 a 6 se repiten para cada una de las 5 frecuencias de la portadora digital (0.150r1Hz, (0.175r1Hz, (0.200r1Hz, (0.225r1Hz, (0.250r1Hz. Cada una de ellas corresponde a una configuración distinta del estímulo. Steps 1 to 6 are repeated for each of the 5 digital carrier frequencies (0.150r1Hz, (0.175r1Hz, (0.200r1Hz, (0.225r1Hz, (0.250r1Hz. Each of them corresponds to a different stimulus configuration.
- 8. 8.
- Se obtiene por tanto el vector de características promedio para cada una de las 5 configuraciones del estímulo Therefore, the vector of average characteristics for each of the 5 stimulus configurations is obtained.
- 9. 9.
- Se evaluará mediante un estudio estadístico si el sujeto ha sido capaz de seguir el proceso y las indicaciones recibidas. Como las modulaciones de las alocuciones izquierda y derecha está en contratase (0° y 180°), si el sujeto no fue capaz de seguir el procedimiento y no atendió a una de las fuentes, el efecto es cancelativo, obteniéndose a la frecuencia espectral de 5Hz un nivel de potencia espectral residual similar a la de las bandas adyacentes (ruido EEG). Si el sujeto fue capaz de seguir el experimento, aquellos ensayos que atendió a la izquierda, se obtendrá un nivel de potencia espectral a 5 Hz con un desfase exacto de 1808 con respecto a los registros obtenido cuando se prestó atención al oído derecho. Mediante un sencillo test de hipótesis o mediante correlación se puede estimar si la característica extraída a lo largo de los ensayos corresponde a ruido típico de la banda de 5 Hz o bien 2 señales con 180° de desfase. En el primer caso se determinará que el sujeto fue incapaz de completar la fase de entrenamiento y por tanto no se procederá a realizar la fase de operación. En el segundo caso se procederá a guardar la configuración del estímulo que obtuvo la mejor relación señal a ruido ya que esa será la configuración que se usará durante la fase de operación. La relación señal a ruido SNR queda definida como SNR=I lc*conj(lc)-Dc*conj(Dc) 1 /N. Donde It will be evaluated through a statistical study if the subject has been able to follow the process and the indications received. As the modulations of the left and right addresses are in contract (0 ° and 180 °), if the subject was not able to follow the procedure and did not attend to one of the sources, the effect is cancellative, being obtained at the spectral frequency of 5Hz a residual spectral power level similar to that of the adjacent bands (EEG noise). If the subject was able to follow the experiment, those tests that he attended to the left, a spectral power level at 5 Hz will be obtained with an exact lag of 1808 with respect to the records obtained when attention was paid to the right ear. By means of a simple hypothesis test or by correlation, it is possible to estimate whether the characteristic extracted throughout the tests corresponds to typical noise of the 5 Hz band or to 2 signals with 180 ° of lag. In the first case, it will be determined that the subject was unable to complete the training phase and therefore the operation phase will not proceed. In the second case, the stimulus configuration that obtained the best signal-to-noise ratio will be saved since this will be the configuration that will be used during the operation phase. The SNR signal to noise ratio is defined as SNR = I lc * conj (lc) -Dc * conj (Dc) 1 / N. Where
N: es la potencia de ruido estimada en la banda alrededor de la frecuencia de la portadora digital. le: es el coeficiente DFT promedio de los ensayos en donde se atendió a la alocución izquierda. conj(lc): es el conjugado de le. De: es el coeficiente DFT promedio de los ensayos en donde se atendió a la alocución derecha. conj(Dc): es el conjugado de De. N: is the estimated noise power in the band around the digital carrier frequency. le: is the average DFT coefficient of the trials where the to the left address. conj (lc): is the conjugate of le. From: is the average DFT coefficient of the trials where the to the right address. conj (Dc): is the conjugate of De.
Procedimiento para la fase de operación: La Figura 4 describe el algoritmo de la Fase de operación. Para aquellos sujetos que hayan completado la fase de entrenamiento: Procedure for the operation phase: Figure 4 describes the algorithm for the operation phase. For those subjects who have completed the training phase:
El sujeto presta voluntariamente atención o atención selectiva (según se trate de un único estímulo o de un conjunto de ellos) a uno de ellos. Durante el tiempo que el sujeto ejerce la atención, la energía del estímulo atendido es mayor. El vector de características incluye para cada electrodo las siguientes componentes: The subject voluntarily pays attention or selective attention (depending on whether it is a single stimulus or a set of them) to one of them. During the time that the subject exercises attention, the energy of the stimulus served is greater. The characteristics vector includes for each electrode the following components:
• Amplitudes y latencias, marcas y ventanas de tiempo de las componentes individuales de los patrones de actividad cerebral. Coeficientes obtenidos por la representación en el dominio de la frecuencia de los patrones de actividad cerebral, por ejemplo de la DFT (Discrete Fourier Transform) o de la transformada Wavelet. Potencia de ruido estimado. • Amplitudes and latencies, marks and time windows of the individual components of brain activity patterns. Coefficients obtained by the representation in the frequency domain of brain activity patterns, for example from the DFT (Discrete Fourier Transform) or the Wavelet transform. Estimated noise power.
Para determinar la actividad cerebral se recoge el valor del PEAEE (Potencial Evocado Auditivo de Estado Estable), evocado por la estimulación auditiva. To determine brain activity, the value of the PEAEE (Auditory Evoked Potential of Stable State) is collected, evoked by auditory stimulation.
Descrito con más detalle: Described in more detail:
- 1. one.
- Se carga la configuración del estímulo con mejor relación señal a ruido (SNR) almacenada al final de la fase de entrenamiento. The stimulus configuration with the best signal to noise ratio (SNR) stored at the end of the training phase is loaded.
- 2. 2.
- Se realiza una pregunta con respuesta binaria no conocida a priori, por ejemplo A question is asked with a binary answer not known a priori, for example
"¿ Tiene usted dolor en este momento?" "Are you in pain right now?"
3. Se le indica la tarea cognitiva a realizar: "Si la respuesta es SÍ, atienda la alocución proveniente del oído izquierdo. Si la respuesta es NO, atienda la alocución proveniente del oído derecho". 3. The cognitive task to be performed is indicated: "If the answer is YES, listen to the speech from the left ear. If the answer is NO, listen to the speech from the right ear."
- 4. Four.
- Se procede a estimular al sujeto con una estimulación con las características cargadas en el paso 1 . The subject is stimulated with a stimulation with the characteristics loaded in step 1.
- 5. 5.
- Durante la duración del ensayo se registra la actividad cerebral del sujeto con electrodos situados en las posiciones Cz, Pz y Fpz del sistema Internacional 10/20 y referencia la semisuma de los lóbulos de la oreja izquierdo y derecho. During the duration of the test, the brain activity of the subject is recorded with electrodes located in the Cz, Pz and Fpz positions of the International 10/20 system and reference the half-sum of the left and right ear lobes.
- 6. 6.
- Se computa la DFT sobre el registro EEG y se extrae el coeficiente a la frecuencia de la portadora digital usada así como la potencia de ruido en la banda de esa frecuencia, estimada como el promedio de potencia espectral The DFT is computed on the EEG register and the coefficient is extracted at the frequency of the digital carrier used as well as the noise power in the band of that frequency, estimated as the average spectral power
obtenido en las bandas laterales sin tener en cuenta la frecuencia de la portadora. Se guardan esos valores en el vector de características. obtained in the lateral bands without taking into account the frequency of the carrier. Those values are saved in the feature vector.
- 7. 7.
- Se computa la SNR. Si no sobrepasa un determinado valor, por ejemplo 10 dB, se continúa el ensayo, sin que finalice la estimulación. SNR is computed. If it does not exceed a certain value, for example 10 dB, the test is continued, without the stimulation ending.
- 8. 8.
- Una vez la SNR supera el umbral establecido (por ejemplo 1 O dB) se procede a la clasificación. Para la clasificación se usará un detector óptimo de complejidad mínima, basado en un banco de filtros de correlación. La correlación se realizará entre el vector de características extraído y el vector de características promedio correspondiente a la configuración del estimulo usada y almacenado durante la fase de entrenamiento. Once the SNR exceeds the established threshold (for example 1 O dB), the classification proceeds. For the classification, an optimal detector of minimum complexity will be used, based on a bank of correlation filters. The correlation will be made between the extracted characteristics vector and the average characteristics vector corresponding to the stimulus configuration used and stored during the training phase.
- 9. 9.
- El clasificador toma la decisión y se procede a biorrealimentar la decisión al sujeto, por ejemplo "Usted ha decidido que SÍ tiene dolor en este momento". En ese momento el sistema haría una llamada a un enfermero para que le suministre un calmante o, dependiendo de lo crítica que sea la acción a realizar, podría repetir otra pregunta de confirmación con respuesta binaria, por ejemplo "Usted ha decidido que SÍ tiene dolor en este momento. ¿Está seguro?", volviéndose a repetir los pasos 2 a 9. The classifier makes the decision and proceeds to biofeedback the decision to the subject, for example "You have decided that you DO have pain at this time". At this time, the system would call a nurse to provide a pain reliever or, depending on how critical the action to be performed, could repeat another confirmation question with a binary answer, for example "You have decided that you DO have pain right now. Are you sure? ", repeating steps 2 to 9 again.
Este ejemplo de ejecución es exactamente igual al ejemplo con las siguientes diferencias: This execution example is exactly the same as the example with the following differences:
1. La configuración del estímulo será 1. The stimulus setting will be
- • •
- Tono puros de distinta frecuencia son presentadas por cada uno de los oídos (100 Hz y 75 Hz para el oído izquierdo y derecho respectivamente). Pure tones of different frequencies are presented by each of the ears (100 Hz and 75 Hz for the left and right ear respectively).
- • •
- Duración de 12 segundos cada una. Duration of 12 seconds each.
- • •
- Cada uno de los tonos puros modulan en AM una portadora distinta (1Khz y 1.5 Khz respectivamente) Each of the pure tones modulates a different carrier in AM (1Khz and 1.5 Khz respectively)
2. Dado que esta configuración del estímulo provoca PEAEE, y debido a los efectos de rectificación de la cóclea (detector de envolvente o demodulador de AM), la extracción de características se hace a las frecuencias de los tonos moduladores (1 00 Hz y 75 Hz). 2. Since this stimulus configuration causes PEAEE, and due to the rectification effects of the cochlea (envelope detector or AM demodulator), the extraction of characteristics is done at the frequencies of the modulating tones (1 00 Hz and 75 Hz).
Ejemplo 3-Sistema electrónico para la comunicación con sujetos en estado de consciencia disminuida basado en la atención o atención selectiva a uno o varios estímulos auditivos respectivamente del tipo "clicks" o tonos, ambos modulados o no. Example 3-Electronic system for communication with subjects in a state of diminished consciousness based on attention or selective attention to one or more auditory stimuli, respectively, of the "click" or tone type, both modulated or not.
10 Este ejemplo de ejecución es exactamente igual al ejemplo 1 con las siguientes diferencias: 10 This example of execution is exactly the same as example 1 with the following differences:
o La estimulación presentada no es habla natural o habla natural modulada, sino tonos de muy corta duración ("clicks") o tonos puros, o The stimulation presented is not natural speech or modulated natural speech, but very short duration tones ("clicks") or pure tones,
15 ambos modulados o no por portadoras analógicas o digitales. En el supuesto particular de tonos puros en la banda de 500 Hz a 5 Khz modulados en AM o FM por portadoras en la banda OHz a 200 Hz, la respuesta evocada estaría compuesta por PEAEEs. 15 both modulated or not by analog or digital carriers. In the particular assumption of pure tones in the 500 Hz to 5 Khz band modulated in AM or FM by carriers in the OHz band at 200 Hz, the evoked response would be composed of PEAEEs.
Claims (13)
- a. to.
- Selección de un conjunto de estímulos auditivos. Selection of a set of auditory stimuli.
- b. b.
- Fase en entrenamiento, que comprende los siguientes pasos: Training phase, which includes the following steps:
- i. Se selecciona un estímulo y se pide al sujeto que lo discrimine de i. A stimulus is selected and the subject is asked to discriminate it from
- entre todos los estímulos que va a recibir. among all the stimuli you will receive.
- ii. Se emite el conjunto de estímulos auditivos completo. ii. The complete set of auditory stimuli is emitted.
- iii. De forma simultánea al paso iii, se registran ciertos patrones iii. Simultaneously with step iii, certain patterns are recorded
- cerebrales a partir de los que se extraen los parámetros de interés of the brain from which the parameters of interest are extracted
- para la clasificación del estímulo que se almacenan en el for the classification of the stimulus that are stored in the
- denominado vector de características. called the feature vector.
- iv. Asociamos ese vector de características al estímulo discriminado. iv. We associate this vector of characteristics with the discriminated stimulus.
- v. Se ofrece biorrealimentación al sujeto, comunicándole la v. Biofeedback is offered to the subject, communicating the
- discriminación realizada . discrimination carried out.
- vi. Repetición de los pasos ¡ii a v para el estímulo seleccionado para saw. Repeat steps ii through v for the stimulus selected for
- obtener un vector de características promedio. obtain a vector of average characteristics.
- vii. Repetición del paso vi para cada estímulo del conjunto. vii. Repeat step vi for each stimulus in the set.
- viii. Eliminación de los vectores de características promedio en los que viii. Elimination of the vectors of average characteristics in which
- la distribución estadística de la muestra de sus componentes se the statistical distribution of the sample of its components is
- corresponda con un ruido. match a noise.
- c. c.
- Selección del subconjunto de estímulos y sus vectores de características Selection of the subset of stimuli and their feature vectors
- asociados no descartados en el paso b.vii partners not discarded in step b.vii
- d. d.
- Fase de operación que comprende los siguientes pasos: Operation phase comprising the following steps:
- ix. Emisión del subconjunto de estímulos seleccionados en las fase c) ix. Emission of the subset of stimuli selected in phase c)
- x. De forma simultánea al paso d.i, se registran ciertos patrones x. Simultaneously with step d.i, certain patterns are recorded
- cerebrales a partir de los que se extraen los parámetros de interés of the brain from which the parameters of interest are extracted
- que conformarán el vector de características. that will make up the vector of characteristics.
- xi. Se calcula la relación SNR a partir del vector de características xi. The SNR ratio is calculated from the feature vector
- obtenido, durante la emisión del subconjunto de estímulos, hasta obtained, during the emission of the subset of stimuli, up to
- 2. 2.
- Procedimiento según reivindicación anterior, en el que los parámetros de actividad cerebral medidos en las fases ¡ii) y ix) son potenciales evocados por el estimulo auditivo. Procedure according to the previous claim, in which the parameters of brain activity measured in phases ii) and ix) are potentials evoked by the auditory stimulus.
- 3. 3.
- Procedimiento según reivindicación anterior en el que se mide el valor del PEAEE (Potencial Evocado Auditivo de Estado Estable), evocado por la estimulación auditiva. Procedure according to the previous claim in which the value of the PEAEE (Auditory Evoked Potential of Steady State) is measured, evoked by auditory stimulation.
- 4. Four.
- Procedimiento según cualquiera de las reivindicaciones anteriores caracterizado porque se ejecutan dos o más algoritmos de clasificación y se elige como clasificación del vector de características la obtenida por mayoría simple. Method according to any of the preceding claims, characterized in that two or more classification algorithms are executed and the one obtained by a simple majority is chosen as the classification of the characteristics vector.
- 5. 5.
- Procedimiento según cualquiera de las reivindicaciones anteriores, en el que conjunto de estímulos presentado en la fase de entrenamiento consiste en estímulos auditivos modulados por una portadora digital a distintas frecuencias. Procedure according to any of the preceding claims, in which the set of stimuli presented in the training phase consists of auditory stimuli modulated by a digital carrier at different frequencies.
- 6. 6.
- Procedimiento según cualquiera de las reivindicaciones anteriores en que el sólo se presentan dos estímulos audítivos. Procedure according to any of the preceding claims, in which only two auditory stimuli are presented.
- 7. 7.
- Procedimiento según cualquiera de las reivindicaciones anteriores caracterizado porque la estimulación auditiva es de tipo habla natural, preferentemente modulada por una portadora analógica o digital. Procedure according to any of the preceding claims, characterized in that the auditory stimulation is of the natural speech type, preferably modulated by an analog or digital carrier.
- 8. 8.
- Procedimiento según reivindicación anterior en el que las los estímulos auditivos utilizados son fragmentos de texto. Procedure according to the previous claim, in which the auditory stimuli used are fragments of text.
- 9. 9.
- Procedimiento según reivindicación anterior en el que las los estímulos auditivos se presentan con una carga de 5Hz y hay un desfase de 1800 entre cada oído Procedure according to previous claim in which the auditory stimuli are presented with a load of 5Hz and there is a gap of 1800 between each ear
- 10. 10.
- Procedimiento según reivindicaciones 7 u 8 en el que la configuración de los estímulos auditivos utilizados en la fase de entrenamiento se presenta en siguientes frecuencias de la portadora digital (0.150)-1 Hz, (0.175)-1 Hz, (0.200)1 Hz, (0.225)-1 Hz, (0.250)-1 Hz. Procedure according to claims 7 or 8 in which the configuration of the auditory stimuli used in the training phase is presented at the following digital carrier frequencies (0.150) -1 Hz, (0.175) -1 Hz, (0.200) 1 Hz, (0.225) -1 Hz, (0.250) -1 Hz.
- • •
- Tono puros de distinta frecuencia son presentadas por cada uno de los oídos (por ejemplo 100 Hz y 75 Hz para el oído izquierdo y derecho respectivamente). Pure tones of different frequencies are presented by each of the ears (for example 100 Hz and 75 Hz for the left and right ear respectively).
- • •
- Duración de 12 segundos cada una. Duration of 12 seconds each.
- • •
- Cada uno de los tonos puros modulan en AM a 1 Khz y 1.5 Khz Each of the pure tones modulate in AM at 1 Khz and 1.5 Khz
- 12. 12.
- Procedimiento según cualquiera de las reivindicaciones 1 a 6 caracterizado porque la estimulación auditiva es de tipo "clicks", tonos sonoros o tonos sonoros modulados analógica o digitalmente. Method according to any of claims 1 to 6, characterized in that the auditory stimulation is of the "click" type, sound tones or sound tones modulated analogically or digitally.
- 13. 13.
- Sistema electrónico para la comunicación con sujetos en estado de consciencia disminuida basado en el análisis de la actividad cerebral evocada y por estimulación auditiva externa y modulada por la atención que comprende los siguientes elementos: Electronic system for communication with subjects in a state of diminished consciousness based on the analysis of evoked brain activity and by external auditory stimulation and modulated by attention, comprising the following elements:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES201100304A ES2396811B1 (en) | 2011-03-10 | 2011-03-10 | PROCEDURE AND SYSTEM FOR COMMUNICATION WITH SUBJECTS IN A STATUS OF DECREASED CONSCIOUSNESS. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES201100304A ES2396811B1 (en) | 2011-03-10 | 2011-03-10 | PROCEDURE AND SYSTEM FOR COMMUNICATION WITH SUBJECTS IN A STATUS OF DECREASED CONSCIOUSNESS. |
Publications (2)
Publication Number | Publication Date |
---|---|
ES2396811A1 ES2396811A1 (en) | 2013-02-27 |
ES2396811B1 true ES2396811B1 (en) | 2014-01-27 |
Family
ID=47711354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES201100304A Active ES2396811B1 (en) | 2011-03-10 | 2011-03-10 | PROCEDURE AND SYSTEM FOR COMMUNICATION WITH SUBJECTS IN A STATUS OF DECREASED CONSCIOUSNESS. |
Country Status (1)
Country | Link |
---|---|
ES (1) | ES2396811B1 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6602202B2 (en) * | 2000-05-19 | 2003-08-05 | Baycrest Centre For Geriatric Care | System and methods for objective evaluation of hearing using auditory steady-state responses |
-
2011
- 2011-03-10 ES ES201100304A patent/ES2396811B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
ES2396811A1 (en) | 2013-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Casson et al. | Electroencephalogram | |
Ramadan et al. | Basics of brain computer interface | |
Rak et al. | Brain-computer interface as measurement and control system the review paper | |
EP2348977B1 (en) | Stimulus artifact removal for neuronal recordings | |
JP6454944B2 (en) | Configuration and spatial arrangement of front electrode sensor for detecting physiological signals | |
Won et al. | Relationship between behavioral and physiological spectral-ripple discrimination | |
WO2003090610A2 (en) | Fast estimation of weak bio-signals using novel algorithms for generating multiple additional data frames | |
JP2006514570A (en) | Anesthesia and sedation monitoring system and method | |
CN107106069A (en) | Based on the methods of marking for improving signal analysis | |
Ali et al. | A single-channel wireless EEG headset enabled neural activities analysis for mental healthcare applications | |
Kaongoen et al. | The future of wearable EEG: A review of ear-EEG technology and its applications | |
Arvaneh et al. | Brain–computer interfaces and electroencephalogram: basics and practical issues | |
Goen et al. | Review of surface electromyogram signals: its analysis and applications | |
ES2903450T3 (en) | Rapid mapping of language function and motor function without subject participation | |
CN111144450B (en) | A method for constructing ERP paradigms based on name stimuli of different lengths | |
Nguyen et al. | LIBS: a lightweight and inexpensive in-ear sensing system for automatic whole-night sleep stage monitoring | |
ES2396811B1 (en) | PROCEDURE AND SYSTEM FOR COMMUNICATION WITH SUBJECTS IN A STATUS OF DECREASED CONSCIOUSNESS. | |
Jamali et al. | Precise mapping of the somatotopic hand area using neuromagnetic steady-state responses | |
CN203710544U (en) | Biofeedback type headache therapeutic device | |
Yadav et al. | Design of low-power EEG-based brain–computer interface | |
Thunuguntla et al. | EEG based brain controlled robot | |
US11517244B1 (en) | Signal processing to compute 3D spatial EEG map from 2D EEG data | |
Abdelaziz | Brain computer interface (BCI) | |
Dan et al. | Signal Processing Methods for Home Monitoring of People with Epilepsy with a Network of Wearable EEG Sensors | |
Pica et al. | The Contribution of EEG Headsets in the Development of Brain Capacity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FG2A | Definitive protection |
Ref document number: 2396811 Country of ref document: ES Kind code of ref document: B1 Effective date: 20140127 |