CN117075741B - 一种意识交互沟通方法及系统 - Google Patents
一种意识交互沟通方法及系统 Download PDFInfo
- Publication number
- CN117075741B CN117075741B CN202311338300.6A CN202311338300A CN117075741B CN 117075741 B CN117075741 B CN 117075741B CN 202311338300 A CN202311338300 A CN 202311338300A CN 117075741 B CN117075741 B CN 117075741B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- waveform
- eyeball
- preset
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004891 communication Methods 0.000 title claims abstract description 17
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 14
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 91
- 230000004424 eye movement Effects 0.000 claims abstract description 7
- 210000004556 brain Anatomy 0.000 claims description 60
- 238000012790 confirmation Methods 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 4
- 208000003443 Unconsciousness Diseases 0.000 abstract description 10
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000000537 electroencephalography Methods 0.000 description 54
- 238000006243 chemical reaction Methods 0.000 description 12
- 210000001508 eye Anatomy 0.000 description 12
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000005036 nerve Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 208000007204 Brain death Diseases 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 210000000133 brain stem Anatomy 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
- G06F2218/14—Classification; Matching by matching peak patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Neurosurgery (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Dermatology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种意识交互沟通方法及系统,其属于数据处理技术领域,其包括显示问题图像;采集眼球方向;判断第一位置数据是否一致;判断脑电图的波形是否与预存的第一脑电波匹配,若匹配,则输出与所述第一位置数据对应的文字数据。本发明通过上述眼球朝向和脑电图的波形的双重判断,从而实现了两种电信号的双重校验,从而输出的文字数据的正确率更加高。此外,眼动仪可作为是否为脑电图的选取时间段的定位,从而避免无意识引发的脑电图异常波动而带来的错误判断和无意识的眼动停留方向带来的错误判断。
Description
技术领域
本发明属于数据处理技术领域,具体涉及一种意识交互沟通方法。
背景技术
植物人(PVS)是与植物生存状态相似的特殊的人体状态。除保留一些本能性的神经反射和进行物质及能量的代谢能力外,认知能力(包括对自己存在的认知力)已完全丧失,无任何主动活动。又称植质状态、不可逆昏迷。植物人的脑干仍具有功能,向其体内输送营养时,还能消化与吸收,并可利用这些能量维持身体的代谢,包括呼吸、心跳、血压等。对外界刺激也能产生一些本能的反射,如咳嗽、喷嚏、打哈欠等。但机体已没有意识、知觉、思维等人类特有的高级神经活动。脑电图呈杂散的波形。植物状态与脑死亡不同,脑死亡指包括脑干在内的全脑死亡。脑死亡者,无自主呼吸,脑电图呈一条直线。
但是,部分植物人经过治疗和恢复,能够实现一定的脑电图波动和/或能够自主控制眼部的运动。但是无法进行言语的交流。为了与方便与此种患者进行意识交互沟通,我们通常采用提取脑电图或眼动仪的特征部分,来进行意识形态的标记,从而实现一定的交互。
但是,现有技术中的单纯的脑电图的分析和单纯的眼动仪的分析的分析结果都存在较大的误差,相比于直接正面言语交流,还是存在较大的识别正确率的问题,从而给交互带来了较大的障碍。
此外,无论是眼动仪还是脑电图,都会出现无意识的盯着某个地方或者无意识的出现波形的跳动,单以其中一个结果作为最终的一个交互结果是正确率过低的。
因此,目前需要一种能够克服上述技术问题的一种意识交互沟通方法及系统。
发明内容
本发明的目的是提供一种意识交互沟通方法,用以解决现有技术中存在的上述问题。
为了实现上述目的,本发明采用以下技术方案:
本发明提供了一种意识交互沟通方法,包括
显示问题图像,其中,所述问题图像包括文字数据、第一按钮符号和第二按钮符号;
采集眼球朝向方向,并输出为眼球方向;
判断所述眼球方向与预存的第一按钮或第二按钮的其中之一对应的第一位置数据是否一致,若是,则采集预设时间内的脑电图;判断脑电图的波形是否与预存的第一脑电波匹配,若匹配,则输出与所述第一位置数据对应的文字数据;
所述采集眼球朝向方向,并输出为眼球方向包括如下步骤:
采集所述眼球朝向的实时方向;
判断所述眼球朝向处于预设方向区域的累计时长是否超过确认阈值,若是,将所述预设方向区域输出为眼球方向;
所述采集预设时间内的脑电图包括:
所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的起点相同;
采集预设时间内的脑电图;
所述判断脑电图的波形是否与预存的第一脑电波匹配包括:
预存与文字数据对应的第一脑电波;
将所述脑电图的波形以相邻的两个波峰至波峰分割为第一片段,判断所述第一片段的波峰幅度或波谷幅度的其中之一是否大于第一预设阈值,若否,则删除该第一片段,若是,则将相邻的第一片段的波峰之间的横坐标作为第一长度;
判断最小的第一长度是否低于第二预设阈值,若是,则将所述脑电图的波形配置在网格内,并将所述第二预设阈值配置为单位网格长度,若否,则将所述最小的第一长度配置为单位网格长度;
将脑电图的波形的所有第一片段的波峰或波谷的最大幅度点和其中一个单位网格的左下角端点重合;
统计所述脑电图的波形与第一脑电波之间的未重合的面积所占网格数量,将所占网格数量最少的第一脑电图判定为与所述脑电图的波形匹配。
本发明提供了一种意识交互沟通方法的系统,包括
图像显示模块,其用于显示问题图像,其中,所述问题图像包括文字数据、第一按钮符号和第二按钮符号;
眼动仪,其用于采集眼球朝向方向,并输出为眼球方向;
处理器,其用于判断所述眼球方向与预存的第一按钮或第二按钮的其中之一对应的第一位置数据是否一致,若是,则采集预设时间内的脑电图;并且判断脑电图的波形是否与预存的第一脑电波匹配,若匹配,则输出与所述第一位置数据对应的文字数据;
所述采集眼球朝向方向,并输出为眼球方向包括如下步骤:
采集所述眼球朝向的实时方向;
判断所述眼球朝向处于预设方向区域的累计时长是否超过确认阈值,若是,将所述预设方向区域输出为眼球方向;
所述则采集预设时间内的脑电图包括:
所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的起点相同;
采集预设时间内的脑电图;
所述判断脑电图的波形是否与预存的第一脑电波匹配包括:
预存与文字数据对应的第一脑电波;
将所述脑电图的波形以相邻的两个波峰至波峰分割为第一片段,判断所述第一片段的波峰幅度或波谷幅度的其中之一是否大于第一预设阈值,若否,则删除该第一片段,若是,则将相邻的第一片段的波峰之间的横坐标作为第一长度;
判断最小的第一长度是否低于第二预设阈值,若是,则将所述脑电图的波形配置在网格内,并将所述第二预设阈值配置为单位网格长度,若否,则将所述最小的第一长度配置为单位网格长度;
将脑电图的波形的所有第一片段的波峰或波谷的最大幅度点和其中一个单位网格的左下角端点重合;
统计所述脑电图的波形与第一脑电波之间的未重合的面积所占网格数量,将所占网格数量最少的第一脑电图判定为与所述脑电图的波形匹配。
有益效果:
本发明通过上述眼球朝向和脑电图的波形的双重判断,从而实现了两种电信号的双重校验,从而输出的文字数据的正确率更加高。此外,眼动仪可作为是否为脑电图的选取时间段的定位,从而避免无意识引发的脑电图异常波动而带来的错误判断和无意识的眼动停留方向带来的错误判断。
附图说明
图1为本发明一种意识交互沟通方法的第一流程图;
图2为本发明一种意识交互沟通方法的第二流程图;
图3为脑电图的波形示意图;
图4为实物演示状态示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍,显而易见地,下面关于附图结构的描述仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
实施例:
如图1、3、4所示,本实施例提供了一种意识交互沟通方法,包括
显示问题图像,其中,所述问题图像包括文字数据、第一按钮符号和第二按钮符号;
采集眼球朝向方向,并输出为眼球方向;
判断所述眼球方向与预存的第一按钮或第二按钮的其中之一对应的第一位置数据是否一致,若是,则采集预设时间内的脑电图;判断脑电图的波形是否与预存的第一脑电波匹配,若匹配,则输出与所述第一位置数据对应的文字数据。
本发明通过上述眼球朝向和脑电图的波形的双重判断,从而实现了两种电信号的双重校验,从而输出的文字数据的正确率更加高。此外,眼动仪可作为是否为脑电图的选取时间段的定位,从而避免无意识引发的脑电图异常波动而带来的错误判断和无意识的眼动停留方向带来的错误判断。
使用时,与病人交互的人可口述问题,并准备相应的问题图像,或者直接在如图4所示的问题图像上写明问题。
其中,“采集眼球朝向方向”的方式可为:通过眼动仪采集眼球的朝向方向。所述眼动仪为现有技术。
其中,所述“则输出与所述第一位置数据对应的文字数据”,就是说,“则输出与所述第一位置数据对应的第一按钮或第二按钮对应的文字数据”,也就是说,所述第一按钮和第二按钮可分别对应文字数据如下表格所述:
其中,本发明设有数据库,数据库用于预存与第一按钮符号和第二按钮符号对应的第一位置数据;并且数据库还用于预存与第一标准电波对应的第一符号特征。
其中,参见图1、3、4,所述采集眼球朝向方向,并输出为眼球方向包括如下步骤:
采集所述眼球朝向的实时方向;
判断所述眼球朝向处于预设方向区域的累计时长是否超过确认阈值,若是,将所述预设方向区域输出为眼球方向;
所述则采集预设时间内的脑电图包括如下步骤:
所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的起点相同;
采集预设时间内的脑电图。
本发明通过采集眼球停滞时的起始时间,来作为采集脑电图的判断条件,可便于用户先看到第一按钮或第二按钮的文字数据,从而可在看到第一按钮对应的文字数据后,并且理解上述文字数据后,引发对其的想法,从而截取与上述眼球方向对应的预设时间内的脑电图,从而使采集的脑电图更加具备针对性,并且为脑电图的波形判断过滤了很多不必要的脑电图的时间段。
其中,所述问题图像中,可设置为,左侧是第一按钮,右侧是第二按钮,第一按钮内设有与其对应的文字数据,第二按钮内设有与其对应的文字数据。
其中,所述预设时间和确认阈值均相同,其均可为1秒、2秒、3秒、4秒或5秒,也就是说,眼球开始看之后的时间段有效。
当然,所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的起点相同,但是保持在预设方向区域内的时间可长于所述预设时间1秒或2秒或3秒,例如,所述预设时间为3秒,代表眼球看了三米秒,而保持在预设方向区域内的时间可为4秒或5秒或6秒,代表采集眼球开始看之后的4秒或5秒或6秒内的脑电图,从而增加采集的精度。
其中,预设方向区域可仅仅为左侧一个区域,右侧一个区域,共两个区域;或者,上下左右各一个区域,共4个区域。
当然,作为一种变形结构还可为,参见图1、3、4,所述采集眼球朝向方向,并输出为眼球方向包括如下步骤:
采集所述眼球朝向的实时方向;
判断所述眼球朝向处于预设方向区域的累计时长是否超过确认阈值,若是,将所述预设方向区域输出为眼球方向;
所述则采集预设时间内的脑电图包括如下步骤:
所述预设时间的时间轴的终点与保持在预设方向区域内的时间的时间轴的终点相同;采集预设时间内的脑电图。
本发明通过采集眼球停滞时的终止时间,来作为采集脑电图的判断条件,可便于用户先看到第一按钮或第二按钮的文字数据,从而可在看到第一按钮对应的文字数据后,并且理解上述文字数据后,引发对其的想法,从而截取与上述眼球方向对应的预设时间内的脑电图,从而使采集的脑电图更加具备针对性,并且为脑电图的波形判断过滤了很多不必要的脑电图的时间段。
其中,保持在预设方向区域内的时间的时间轴的终点可理解为,以保持在预设方向区域内的时间刚好超过确认阈值的时间点为终点。
其中,所述预设时间和保持在预设方向区域内的时间可相同,其均可为1秒、2秒、3秒、4秒或5秒,也就是说,眼球开始看之后的时间段有效。
当然,所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的终点相同,但是保持在预设方向区域内的时间可长于所述预设时间1秒或2秒或3秒,例如,所述预设时间为3秒,代表眼球看了三米秒,而保持在预设方向区域内的时间可为4秒或5秒或6秒,代表采集想控制眼球开始看的1秒或2秒或3秒之前的脑电图,从而增加采集的精度。
其中,参见图2、3、4,所述判断脑电图的波形是否与预存的第一脑电波匹配包括:
预存与文字数据对应的第一脑电波;
将所述脑电图的波形以相邻的两个波峰至波峰为分割为第一片段,判断所述第一片段的波峰幅度或波谷幅度的其中之一是否大于第一预设阈值,若否,则删除该第一片段,若是,则将相邻的第一片段的波峰之间的横坐标作为第一长度,并删除第一长度中的被删除的第一片段的相邻两侧的第一长度;
判断最小的第一长度是否低于第二预设阈值,若是,则将所述脑电图的波形配置在网格内,并将所述第二预设阈值配置为单位网格长度,若否,则将所述最小的第一长度配置为单位网格长度;
将脑电图的波形的所有第一片段的波峰或波谷的最大幅度点和其中一个单位网格的左下角端点重合;
统计所述脑电图的波形与第一脑电波之间的未重合的面积所占网格数量,将所占网格数量最少的第一脑电图判定为与所述脑电图的波形匹配。
本发明通过上述网格匹配方式将第一脑电波与所述脑电图的波形进行匹配,从而找出数据库中预存的与现有的脑电图的波形最为匹配的第一脑电波。此外,本发明选择的网格方式是需要强调的,由于不同的人的神经的反应力不同或兴奋程度不同,检测出的脑电图的波形的波峰波谷也不同,而数据库中存储的仅仅是较长常规的兴奋程度或者反应力而预存的第一脑电波,并且所述第一脑电波含有与其对应的第一文字。那么,如果要找出与其最为匹配的第一脑电波,势必要考虑到目前人们的兴奋程度和反应力对目前的脑电图的波形的影响。因此,根据不同的脑电图的波峰之间的距离而配置相应大小的网格,从而进行网格数量的统计,会更加合理的统计出与其网格数量对应的、匹配的第一脑电波。
其中,所述第一阈值、第二阈值均可为以相同方式统计出的所有预存的第一脑电波的波峰和波峰之间的最小距离。
其中,统计所述脑电图的波形与第一脑电图之间的未重合的面积所占网格数量,这一数量可表示两个波形的波形差距是否较大还是较小,需要说明的是,所占网格数量按四舍五入计算,也就是说,占据一个网格不到一半,则不统计,若超过一半,则算作占据一个网格。
其中,所有第一片段的波峰或波谷的最大幅度点可理解为,若波峰为(1,10),波谷为(3,-20),则以波谷为最大幅度点,也就是说,所有第一片段的波峰或波谷的最大幅度点统计的是最大幅度的绝对值最大的点。
以所述脑电图的相邻的波峰的横坐标的最小间距配置为网格的长度,
其中,网格长度的平方可以理解为网格的面积,以上述方式配置的方格长度,可更好地适应于不同的人体。
其中,“则删除该第一片段可理解为”和“并删除第一长度中的被删除的第一片段的相邻两侧的第一长度”,波形图中直接删除该段第一片段,并且,其他的第一片段的位置不动,也就是说,如果删除了这一第一片段,则一般不能统计到这一第一片段的两侧相邻的波峰作为最小的第一长度。
若是,则判断所述眼球朝向方向朝向所述第一按钮或第二按钮的其中之一对应的第一位置数据的时间是否超过确认阈值;
当然,作为一种变形结构还可为,参见图2、3、4,所述判断脑电图的波形是否与预存的第一脑电波匹配包括:
预存与文字数据对应的第一脑电波;
将所述脑电图的波形以波峰至波谷为分割为第一片段,判断所述第一片段的波峰幅度或波谷幅度的其中之一是否大于第一预设阈值,若否,则删除该第一片段,若是,则将相邻的第一片段的波谷之间的横坐标作为第一长度,并删除第一长度中的被删除的第一片段的相邻两侧的第一长度;
判断最小的第一长度是否低于第二预设阈值,若是,则将所述脑电图的波形配置在网格内,并将所述第二预设阈值配置为单位网格长度,若否,则将所述最小的第一长度配置为单位网格长度;
将脑电图的波形的所有第一片段的波峰或波谷的最大幅度点和其中一个单位网格的左下角端点重合;
统计所述脑电图的波形与第一脑电波之间的未重合的面积所占网格数量,将所占网格数量最少的第一脑电图判定为与所述脑电图的波形匹配。
本发明通过上述网格匹配方式将第一脑电波与所述脑电图的波形进行匹配,从而找出数据库中预存的与现有的脑电图的波形最为匹配的第一脑电波。此外,本发明选择的网格方式是需要强调的,由于不同的人的神经的反应力不同或兴奋程度不同,检测出的脑电图的波形的波峰波谷也不同,而数据库中存储的仅仅是较长常规的兴奋程度或者反应力而预存的第一脑电波,并且所述第一脑电波含有与其对应的第一文字。那么,如果要找出与其最为匹配的第一脑电波,势必要考虑到目前人们的兴奋程度和反应力对目前的脑电图的波形的影响。因此,根据不同的脑电图的波谷之间的距离而配置相应大小的网格,从而进行网格数量的统计,会更加合理的统计出与其网格数量对应的、匹配的第一脑电波。
其中,所述第一阈值、第二阈值均可为以相同方式统计出的所有预存的第一脑电波的波峰和波谷之间的最小距离。
其中,统计所述脑电图的波形与第一脑电图之间的未重合的面积所占网格数量,这一数量可表示两个波形的波形差距是否较大还是较小,需要说明的是,所占网格数量按四舍五入计算,也就是说,占据一个网格不到一半,则不统计,若超过一半,则算作占据一个网格。
其中,所有第一片段的波峰或波谷的最大幅度点可理解为,若波峰为(1,10),波谷为(3,-20),则以波谷为最大幅度点,也就是说,所有第一片段的波峰或波谷的最大幅度点统计的是最大幅度的绝对值最大的点。
以所述脑电图的相邻的波谷的横坐标的最小间距配置为网格的长度,
其中,网格长度的平方可以理解为网格的面积,以上述方式配置的方格长度,可更好地适应于不同的人体。
其中,“则删除该第一片段可理解为”和“并删除第一长度中的被删除的第一片段的相邻两侧的第一长度”,波形图中直接删除该段第一片段,并且,其他的第一片段的位置不动,也就是说,如果删除了这一第一片段,则一般不能统计到这一第一片段的两侧相邻的波谷作为最小的第一长度。
本发明参见图1、3、4,一种意识交互沟通方法的系统,包括
图像显示模块,其用于显示问题图像,其中,所述问题图像包括文字数据、第一按钮符号和第二按钮符号;
眼动仪,其用于采集眼球朝向方向,并输出为眼球方向;
处理器,其用于判断所述眼球方向与预存的第一按钮或第二按钮的其中之一对应的第一位置数据是否一致,若是,则采集预设时间内的脑电图;并且判断脑电图的波形是否与预存的第一脑电波匹配,若匹配,则输出与所述第一位置数据对应的文字数据。
本发明通过上述眼球朝向和脑电图的波形的双重判断,从而实现了两种电信号的双重校验,从而输出的文字数据的正确率更加高。此外,眼动仪可作为是否为脑电图的选取时间段的定位,从而避免无意识引发的脑电图异常波动而带来的错误判断和无意识的眼动停留方向带来的错误判断。
其中,“采集眼球朝向方向”的方式可为:通过眼动仪采集眼球的朝向方向。所述眼动仪为现有技术。
其中,所述“则输出与所述第一位置数据对应的文字数据”,就是说,“则输出与所述第一位置数据对应的第一按钮或第二按钮对应的文字数据”,也就是说,所述第一按钮和第二按钮可分别对应文字数据如下表格所述:
其中,本发明设有数据库,数据库用于预存与第一按钮符号和第二按钮符号对应的第一位置数据;并且数据库还用于预存与第一标准电波对应的第一符号特征。
其中,参见图1、3、4,所述采集眼球朝向方向,并输出为眼球方向包括如下步骤:
采集所述眼球朝向的实时方向;
判断所述眼球朝向处于预设方向区域的累计时长是否超过确认阈值,若是,将所述预设方向区域输出为眼球方向;
所述则采集预设时间内的脑电图包括如下步骤:
所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的起点相同;采集预设时间内的脑电图。
本发明通过采集眼球停滞时的起始时间,来作为采集脑电图的判断条件,可便于用户先看到第一按钮或第二按钮的文字数据,从而可在看到第一按钮对应的文字数据后,并且理解上述文字数据后,引发对其的想法,从而截取与上述眼球方向对应的预设时间内的脑电图,从而使采集的脑电图更加具备针对性,并且为脑电图的波形判断过滤了很多不必要的脑电图的时间段。
其中,所述问题图像中,可设置为,左侧是第一按钮,右侧是第二按钮,第一按钮内设有与其对应的文字数据,第二按钮内设有与其对应的文字数据。
其中,所述预设时间和确认阈值均相同,其均可为1秒、2秒、3秒、4秒或5秒,也就是说,眼球开始看之后的时间段有效。
当然,所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的起点相同,但是保持在预设方向区域内的时间可长于所述预设时间1秒或2秒或3秒,例如,所述预设时间为3秒,代表眼球看了三米秒,而保持在预设方向区域内的时间可为4秒或5秒或6秒,代表采集眼球开始看之后的4秒或5秒或6秒内的脑电图,从而增加采集的精度。
其中,预设方向区域可仅仅为左侧一个区域,右侧一个区域,共两个区域;或者,上下左右各一个区域,共4个区域。
当然,作为一种变形结构还可为,参见图1、3、4,所述采集眼球朝向方向,并输出为眼球方向包括如下步骤:
采集所述眼球朝向的实时方向;
判断所述眼球朝向处于预设方向区域的累计时长是否超过确认阈值,若是,将所述预设方向区域输出为眼球方向;
所述则采集预设时间内的脑电图包括如下步骤:
所述预设时间的时间轴的终点与保持在预设方向区域内的时间的时间轴的终点相同;采集预设时间内的脑电图。
本发明通过采集眼球停滞时的终止时间,来作为采集脑电图的判断条件,可便于用户先看到第一按钮或第二按钮的文字数据,从而可在看到第一按钮对应的文字数据后,并且理解上述文字数据后,引发对其的想法,从而截取与上述眼球方向对应的预设时间内的脑电图,从而使采集的脑电图更加具备针对性,并且为脑电图的波形判断过滤了很多不必要的脑电图的时间段。
其中,保持在预设方向区域内的时间的时间轴的终点可理解为,以保持在预设方向区域内的时间刚好超过确认阈值的时间点为终点。
其中,所述预设时间和保持在预设方向区域内的时间可相同,其均可为1秒、2秒、3秒、4秒或5秒,也就是说,眼球开始看之后的时间段有效。
当然,所述预设时间的时间轴的终点与保持在预设方向区域内的时间的时间轴的终点相同,但是保持在预设方向区域内的时间可长于所述预设时间1秒或2秒或3秒,例如,所述预设时间为3秒,代表眼球看了三米秒,而保持在预设方向区域内的时间可为4秒或5秒或6秒,代表采集想控制眼球开始看的1秒或2秒或3秒之前的脑电图,从而增加采集的精度。
其中,参见图2、3、4,所述判断脑电图的波形是否与预存的第一脑电波匹配包括:
预存与文字数据对应的第一脑电波;
将所述脑电图的波形以相邻的两个波峰至波峰为分割为第一片段,判断所述第一片段的波峰幅度或波谷幅度的其中之一是否大于第一预设阈值,若否,则删除该第一片段,若是,则将相邻的第一片段的波峰之间的横坐标作为第一长度,并删除第一长度中的被删除的第一片段的相邻两侧的第一长度;
判断最小的第一长度是否低于第二预设阈值,若是,则将所述脑电图的波形配置在网格内,并将所述第二预设阈值配置为单位网格长度,若否,则将所述最小的第一长度配置为单位网格长度;
将脑电图的波形的所有第一片段的波峰或波谷的最大幅度点和其中一个单位网格的左下角端点重合;
统计所述脑电图的波形与第一脑电波之间的未重合的面积所占网格数量,将所占网格数量最少的第一脑电图判定为与所述脑电图的波形匹配。
本发明通过上述网格匹配方式将第一脑电波与所述脑电图的波形进行匹配,从而找出数据库中预存的与现有的脑电图的波形最为匹配的第一脑电波。此外,本发明选择的网格方式是需要强调的,由于不同的人的神经的反应力不同或兴奋程度不同,检测出的脑电图的波形的波峰波谷也不同,而数据库中存储的仅仅是较长常规的兴奋程度或者反应力而预存的第一脑电波,并且所述第一脑电波含有与其对应的第一文字。那么,如果要找出与其最为匹配的第一脑电波,势必要考虑到目前人们的兴奋程度和反应力对目前的脑电图的波形的影响。因此,根据不同的脑电图的波峰之间的距离而配置相应大小的网格,从而进行网格数量的统计,会更加合理的统计出与其网格数量对应的、匹配的第一脑电波。
其中,所述第一阈值、第二阈值均可为以相同方式统计出的所有预存的第一脑电波的波峰和波峰之间的最小距离。
其中,统计所述脑电图的波形与第一脑电图之间的未重合的面积所占网格数量,这一数量可表示两个波形的波形差距是否较大还是较小,需要说明的是,所占网格数量按四舍五入计算,也就是说,占据一个网格不到一半,则不统计,若超过一半,则算作占据一个网格。
其中,所有第一片段的波峰或波谷的最大幅度点可理解为,若波峰为(1,10),波谷为(3,-20),则以波谷为最大幅度点,也就是说,所有第一片段的波峰或波谷的最大幅度点统计的是最大幅度的绝对值最大的点。
以所述脑电图的相邻的波峰的横坐标的最小间距配置为网格的长度,
其中,网格长度的平方可以理解为网格的面积,以上述方式配置的方格长度,可更好地适应于不同的人体。
其中,“则删除该第一片段可理解为”和“并删除第一长度中的被删除的第一片段的相邻两侧的第一长度”,波形图中直接删除该段第一片段,并且,其他的第一片段的位置不动,也就是说,如果删除了这一第一片段,则一般不能统计到这一第一片段的两侧相邻的波峰作为最小的第一长度。
若是,则判断所述眼球朝向方向朝向所述第一按钮或第二按钮的其中之一对应的第一位置数据的时间是否超过确认阈值。
当然,作为一种变形结构还可为,参见图1、3、4,所述判断脑电图的波形是否与预存的第一脑电波匹配包括:
预存与文字数据对应的第一脑电波;
将所述脑电图的波形以波峰至波谷为分割为第一片段,判断所述第一片段的波峰幅度或波谷幅度的其中之一是否大于第一预设阈值,若否,则删除该第一片段,若是,则将相邻的第一片段的波谷之间的横坐标作为第一长度,并删除第一长度中的被删除的第一片段的相邻两侧的第一长度;
判断最小的第一长度是否低于第二预设阈值,若是,则将所述脑电图的波形配置在网格内,并将所述第二预设阈值配置为单位网格长度,若否,则将所述最小的第一长度配置为单位网格长度;
将脑电图的波形的所有第一片段的波峰或波谷的最大幅度点和其中一个单位网格的左下角端点重合;
统计所述脑电图的波形与第一脑电波之间的未重合的面积所占网格数量,将所占网格数量最少的第一脑电图判定为与所述脑电图的波形匹配。
本发明通过上述网格匹配方式将第一脑电波与所述脑电图的波形进行匹配,从而找出数据库中预存的与现有的脑电图的波形最为匹配的第一脑电波。此外,本发明选择的网格方式是需要强调的,由于不同的人的神经的反应力不同或兴奋程度不同,检测出的脑电图的波形的波峰波谷也不同,而数据库中存储的仅仅是较长常规的兴奋程度或者反应力而预存的第一脑电波,并且所述第一脑电波含有与其对应的第一文字。那么,如果要找出与其最为匹配的第一脑电波,势必要考虑到目前人们的兴奋程度和反应力对目前的脑电图的波形的影响。因此,根据不同的脑电图的波谷之间的距离而配置相应大小的网格,从而进行网格数量的统计,会更加合理的统计出与其网格数量对应的、匹配的第一脑电波。
其中,所述第一阈值、第二阈值均可为以相同方式统计出的所有预存的第一脑电波的波峰和波谷之间的最小距离。
其中,统计所述脑电图的波形与第一脑电图之间的未重合的面积所占网格数量,这一数量可表示两个波形的波形差距是否较大还是较小,需要说明的是,所占网格数量按四舍五入计算,也就是说,占据一个网格不到一半,则不统计,若超过一半,则算作占据一个网格。
其中,所有第一片段的波峰或波谷的最大幅度点可理解为,若波峰为(1,10),波谷为(3,-20),则以波谷为最大幅度点,也就是说,所有第一片段的波峰或波谷的最大幅度点统计的是最大幅度的绝对值最大的点。
以所述脑电图的相邻的波谷的横坐标的最小间距配置为网格的长度,
其中,网格长度的平方可以理解为网格的面积,以上述方式配置的方格长度,可更好地适应于不同的人体。
其中,“则删除该第一片段可理解为”和“并删除第一长度中的被删除的第一片段的相邻两侧的第一长度”,波形图中直接删除该段第一片段,并且,其他的第一片段的位置不动,也就是说,如果删除了这一第一片段,则一般不能统计到这一第一片段的两侧相邻的波谷作为最小的第一长度。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种意识交互沟通方法,其特征在于,包括
显示问题图像,其中,所述问题图像包括文字数据、第一按钮符号和第二按钮符号;
采集眼球朝向方向,并输出为眼球方向;
判断所述眼球方向与预存的第一按钮或第二按钮的其中之一对应的第一位置数据是否一致,若是,则采集预设时间内的脑电图;判断脑电图的波形是否与预存的第一脑电波匹配,若匹配,则输出与所述第一位置数据对应的文字数据;
所述采集眼球朝向方向,并输出为眼球方向包括如下步骤:
采集所述眼球朝向的实时方向;
判断所述眼球朝向处于预设方向区域的累计时长是否超过确认阈值,若是,将所述预设方向区域输出为眼球方向;
所述采集预设时间内的脑电图包括:
所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的起点相同;
采集预设时间内的脑电图;
所述判断脑电图的波形是否与预存的第一脑电波匹配包括:
预存与文字数据对应的第一脑电波;
将所述脑电图的波形以相邻的两个波峰至波峰分割为第一片段,判断所述第一片段的波峰幅度或波谷幅度的其中之一是否大于第一预设阈值,若否,则删除该第一片段,若是,则将相邻的第一片段的波峰之间的横坐标作为第一长度;
判断最小的第一长度是否低于第二预设阈值,若是,则将所述脑电图的波形配置在网格内,并将所述第二预设阈值配置为单位网格长度,若否,则将所述最小的第一长度配置为单位网格长度;
将脑电图的波形的所有第一片段的波峰或波谷的最大幅度点和其中一个单位网格的左下角端点重合;
统计所述脑电图的波形与第一脑电波之间的未重合的面积所占网格数量,将所占网格数量最少的第一脑电图判定为与所述脑电图的波形匹配。
2.一种意识交互沟通方法的系统,其特征在于,包括
图像显示模块,其用于显示问题图像,其中,所述问题图像包括文字数据、第一按钮符号和第二按钮符号;
眼动仪,其用于采集眼球朝向方向,并输出为眼球方向;
处理器,其用于判断所述眼球方向与预存的第一按钮或第二按钮的其中之一对应的第一位置数据是否一致,若是,则采集预设时间内的脑电图;并且判断脑电图的波形是否与预存的第一脑电波匹配,若匹配,则输出与所述第一位置数据对应的文字数据;
所述采集眼球朝向方向,并输出为眼球方向包括如下步骤:
采集所述眼球朝向的实时方向;
判断所述眼球朝向处于预设方向区域的累计时长是否超过确认阈值,若是,将所述预设方向区域输出为眼球方向;
所述则采集预设时间内的脑电图包括:
所述预设时间的时间轴的起点与保持在预设方向区域内的时间的时间轴的起点相同;
采集预设时间内的脑电图;
所述判断脑电图的波形是否与预存的第一脑电波匹配包括:
预存与文字数据对应的第一脑电波;
将所述脑电图的波形以相邻的两个波峰至波峰分割为第一片段,判断所述第一片段的波峰幅度或波谷幅度的其中之一是否大于第一预设阈值,若否,则删除该第一片段,若是,则将相邻的第一片段的波峰之间的横坐标作为第一长度;
判断最小的第一长度是否低于第二预设阈值,若是,则将所述脑电图的波形配置在网格内,并将所述第二预设阈值配置为单位网格长度,若否,则将所述最小的第一长度配置为单位网格长度;
将脑电图的波形的所有第一片段的波峰或波谷的最大幅度点和其中一个单位网格的左下角端点重合;
统计所述脑电图的波形与第一脑电波之间的未重合的面积所占网格数量,将所占网格数量最少的第一脑电图判定为与所述脑电图的波形匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311338300.6A CN117075741B (zh) | 2023-10-17 | 2023-10-17 | 一种意识交互沟通方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311338300.6A CN117075741B (zh) | 2023-10-17 | 2023-10-17 | 一种意识交互沟通方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117075741A CN117075741A (zh) | 2023-11-17 |
CN117075741B true CN117075741B (zh) | 2023-12-12 |
Family
ID=88715624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311338300.6A Active CN117075741B (zh) | 2023-10-17 | 2023-10-17 | 一种意识交互沟通方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117075741B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109144238A (zh) * | 2018-05-14 | 2019-01-04 | 孙佳楠 | 一种基于眼电编码的人机交互系统及其交互方法 |
CN110837298A (zh) * | 2019-10-31 | 2020-02-25 | 福建心动生物科技有限公司 | 基于专注和视觉的脑电波遥控训练系统及方法 |
CN112034977A (zh) * | 2019-06-04 | 2020-12-04 | 陈涛 | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 |
CN112957014A (zh) * | 2021-02-07 | 2021-06-15 | 广州大学 | 一种基于脑电波与神经网络的疼痛检测定位方法及系统 |
CN113662563A (zh) * | 2021-09-02 | 2021-11-19 | 潍坊医学院 | 基于神经网络的脑电图数据存储和传输方法及系统 |
CN116098633A (zh) * | 2022-12-12 | 2023-05-12 | 首都医科大学附属北京天坛医院 | 一种意识障碍的微创介入脑机接口意念脑控系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105528084A (zh) * | 2016-01-21 | 2016-04-27 | 京东方科技集团股份有限公司 | 一种显示控制装置及其控制方法、显示控制系统 |
US11647956B2 (en) * | 2018-03-19 | 2023-05-16 | Neurofeedback-Partner GmbH | Electroencephalogram system and method |
-
2023
- 2023-10-17 CN CN202311338300.6A patent/CN117075741B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109144238A (zh) * | 2018-05-14 | 2019-01-04 | 孙佳楠 | 一种基于眼电编码的人机交互系统及其交互方法 |
CN112034977A (zh) * | 2019-06-04 | 2020-12-04 | 陈涛 | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 |
CN110837298A (zh) * | 2019-10-31 | 2020-02-25 | 福建心动生物科技有限公司 | 基于专注和视觉的脑电波遥控训练系统及方法 |
CN112957014A (zh) * | 2021-02-07 | 2021-06-15 | 广州大学 | 一种基于脑电波与神经网络的疼痛检测定位方法及系统 |
CN113662563A (zh) * | 2021-09-02 | 2021-11-19 | 潍坊医学院 | 基于神经网络的脑电图数据存储和传输方法及系统 |
CN116098633A (zh) * | 2022-12-12 | 2023-05-12 | 首都医科大学附属北京天坛医院 | 一种意识障碍的微创介入脑机接口意念脑控系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117075741A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11382561B2 (en) | In-ear sensing systems and methods for biological signal monitoring | |
US8979730B2 (en) | Method and system for providing behavioural therapy for insomnia | |
KR102100120B1 (ko) | 생체 신호를 모니터링하는 방법, 장치 및 컴퓨터 프로그램 | |
Navarro-Sune et al. | Riemannian geometry applied to detection of respiratory states from EEG signals: the basis for a brain–ventilator interface | |
CN111921161B (zh) | 一种颈椎康复训练监测方法及装置 | |
CN106377252A (zh) | 一种基于虚拟现实的生物信息反馈系统 | |
CN107463249A (zh) | 基于vr头显视觉诱发电位的脑机接口系统及控制方法 | |
CN107358041A (zh) | 一种基于脑‑机接口的运动想象疗法装置及其使用方法 | |
CN113633260B (zh) | 多导睡眠监测方法、监测仪、计算机设备及可读存储介质 | |
CN110464344A (zh) | 集脑电信号采集和音乐播放的装置及其播放音乐的方法 | |
US20200155023A1 (en) | Atrial flutter detection utilizing nonlinear dimension reduction | |
CN113974557A (zh) | 基于脑电奇异谱分析的深度神经网络麻醉深度分析方法 | |
WO2020133536A1 (zh) | 一种睡眠状态判断的方法及装置 | |
CN114343672A (zh) | 生物信号局部收集、基于生物电信号的言语辅助接口光标控制和基于生物电信号的觉醒检测 | |
CN206285117U (zh) | 智能审讯终端 | |
CN116649913A (zh) | 一种基于全局慢波的睡眠质量评估系统 | |
CN113855052A (zh) | 一种基于正念冥想的神经反馈干预系统及方法 | |
CN111857352B (zh) | 一种基于想象式脑机接口的手势识别方法 | |
CN105700687A (zh) | 基于folding HDCA算法的单试次脑电P300成分检测方法 | |
CN117075741B (zh) | 一种意识交互沟通方法及系统 | |
CN118356164B (zh) | 一种用于高龄患者的麻醉状态监测方法、系统及装置 | |
US20230118304A1 (en) | System, method, portable device, computer apparatus and computer program for monitoring, characterisation and assessment of a user's cough | |
CN211957134U (zh) | 一种睡眠质量监测及交互系统 | |
CN113208621A (zh) | 一种基于eeg信号的梦境交互方法、系统 | |
CN113729732B (zh) | 基于eeg信号的睡眠质量监测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |