[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110008874B - 数据处理方法及其装置、计算机系统及可读介质 - Google Patents

数据处理方法及其装置、计算机系统及可读介质 Download PDF

Info

Publication number
CN110008874B
CN110008874B CN201910231389.3A CN201910231389A CN110008874B CN 110008874 B CN110008874 B CN 110008874B CN 201910231389 A CN201910231389 A CN 201910231389A CN 110008874 B CN110008874 B CN 110008874B
Authority
CN
China
Prior art keywords
data
labeled
measured object
electroencephalogram
cognitive state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910231389.3A
Other languages
English (en)
Other versions
CN110008874A (zh
Inventor
龚江涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201910231389.3A priority Critical patent/CN110008874B/zh
Publication of CN110008874A publication Critical patent/CN110008874A/zh
Application granted granted Critical
Publication of CN110008874B publication Critical patent/CN110008874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本公开提供了一种数据处理方法,包括:采集被测对象的待标注数据,其中,待标注数据用于记录被测对象在采集时序中的行为状态;采集被测对象的脑电信号数据,其中,脑电信号数据用于表征被测对象在采集时序中的认知状态;以及基于脑电信号数据和待标注数据,生成被测对象的标注数据。本公开还提供了一种数据处理装置、计算机系统和计算机可读介质。

Description

数据处理方法及其装置、计算机系统及可读介质
技术领域
本公开涉及一种数据处理方法及其装置、计算机系统及可读介质。
背景技术
在感知识别被测对象认知状态(情绪、注意力等)的人工智能算法中,训练基于数据驱动的机器学习模型需要大量的标注数据,标注数据的可信度至关重要,在一定程度上决定了训练模型的准确度,直接影响对被测对象认知状态的识别结果。
在实现本公开构思的过程中,发明人发现相关技术中至少存在以下缺陷:目前业界的机器学习研究中使用的数据集(视频、音频、眼动、肌电等)数据量巨大,大部分都是由标注人员手工标注。然而人类的情感、注意力等心理、认知状态数据是标注人员很难通过使用的数据集(视频、音频、眼动、肌电等)进行准确标定的,常常会因为不同标注人员的个体偏差,造成多位标注人员的标注数据一致性差,标注结果可信度低,最终导致机器学习模型无法准确预测被测对象的认知状态的后果。
发明内容
本公开的一个方面提供了一种数据处理方法,包括:采集被测对象的待标注数据,其中,上述待标注数据用于记录上述被测对象在采集时序中的行为状态,采集上述被测对象的脑电信号数据,其中,上述脑电信号数据用于表征上述被测对象在上述采集时序中的认知状态,以及基于上述脑电信号数据和上述待标注数据,生成上述被测对象的标注数据。
可选地,上述基于上述脑电信号数据和上述待标注数据,生成上述被测对象的标注数据包括:检测上述待标注数据中是否存在符合预设条件的数据片段,在上述待标注数据中存在符合上述预设条件的数据片段的情况下,获取上述数据片段在上述采集时序中对应的脑电信号片段数据,以及基于上述脑电信号片段数据和上述待标注数据,生成上述被测对象的标注数据。
可选地,上述基于上述脑电信号片段数据和上述待标注数据,生成上述被测对象的标注数据包括:对上述脑电信号片段数据进行滤波校正,以获得校正后的脑电信号片段数据,识别上述校正后的脑电信号片段数据,以获得上述被测对象在上述采集时序中认知状态的识别结果,以及基于上述认知状态的识别结果和上述待标注数据,生成上述被测对象的标注数据。
可选地,上述基于上述认知状态的识别结果和上述待标注数据,生成上述被测对象的标注数据包括:对上述认知状态的识别结果进行聚类,以获得上述认知状态的聚类结果,以及基于上述认知状态的聚类结果分割上述待标注数据,以生成上述被测对象的标注数据。
本公开的另一个方面提供了一种数据处理装置,包括:第一采集模块,被配置为采集被测对象的待标注数据,其中,上述待标注数据用于记录上述被测对象在采集时序中的行为状态,第二采集模块,被配置为采集上述被测对象的脑电信号数据,其中,上述脑电信号数据用于表征上述被测对象在上述采集时序中的认知状态,以及处理模块,被配置为基于上述脑电信号数据和上述待标注数据,生成上述被测对象的标注数据。
可选地,上述处理模块包括:检测子模块,被配置为检测上述待标注数据中是否存在符合预设条件的数据片段,获取子模块,被配置为在上述待标注数据中存在符合上述预设条件的数据片段的情况下,获取上述数据片段在上述采集时序中对应的脑电信号片段数据,以及处理子模块,被配置为基于上述脑电信号片段数据和上述待标注数据,生成上述被测对象的标注数据。
可选地,上述处理子模块包括:校正单元,被配置为对上述脑电信号片段数据进行滤波校正,以获得校正后的脑电信号片段数据,识别单元,被配置为识别上述校正后的脑电信号片段数据,以获得上述被测对象在上述采集时序中认知状态的识别结果,以及处理单元,被配置为基于上述认知状态的识别结果和上述待标注数据,生成上述被测对象的标注数据。
可选地,上述处理单元包括:聚类子单元,被配置为对上述认知状态的识别结果进行聚类,以获得上述认知状态的聚类结果,以及处理子单元,被配置为基于上述认知状态的聚类结果分割上述待标注数据,以生成上述被测对象的标注数据。
本公开的另一个方面提供了一种计算机系统,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述任一项的方法。
本公开的另一个方面提供了一种计算机可读介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现上述任一项的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的数据处理方法及数据处理装置的应用场景;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3A示意性示出了根据本公开实施例的基于脑电信号数据和待标注数据,生成被测对象的标注数据的流程图;
图3B示意性示出了根据本公开实施例的基于脑电信号片段数据和待标注数据,生成被测对象的标注数据的流程图;
图3C示意性示出了根据本公开实施例的基于认知状态的识别结果和待标注数据,生成被测对象的标注数据的流程图;
图4示意性示出了根据本公开实施例的数据处理装置的框图;
图5A示意性示出了根据本公开实施例的处理模块的框图;
图5B示意性示出了根据本公开实施例的处理子模块的框图;
图5C示意性示出了根据本公开实施例的处理单元的框图;以及
图6示意性示出了根据本公开实施例的计算机系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开提供了一种数据处理方法,包括:采集被测对象的待标注数据,其中,所述待标注数据用于记录所述被测对象在采集时序中的行为状态;采集所述被测对象的脑电信号数据,其中,所述脑电信号数据用于表征所述被测对象在所述采集时序中的认知状态;以及基于所述脑电信号数据和所述待标注数据,生成所述被测对象的标注数据。
图1示意性示出了根据本公开实施例的数据处理方法及数据处理装置的应用场景100。需要注意的是,图1所示仅为可以应用本公开实施例的应用场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
由于情感、注意力等心理、认知状态可能会受到被测对象自身内在生理因素和被测对象所处环境等外部因素的共同影响,因此,认知状态数据是标注人员很难进行准确标定的。
大脑皮层是大脑处理信息的中枢,由神经元(神经系统的基本功能单位)细胞组成,脑电信号主要是由皮层内大量神经元突触后电位同步总和所形成的,是许多神经元共同活动的结果。尽管脑电信号是微弱的电生理信号,但其中包含大量的生理和疾病信息,在临床医学、人脑认知学研究中发挥着非常重要的作用。
随着技术的不断进步和发展,人们也研究出了多种方式来获得脑电信号,其中,通过头皮表面的电极记录脑电图谱(Electroencephalogram,EEG)的方式由于其记录技术简单、易操作,仍是目前EEG研究中所采用的最主要的脑电信号采集方式,其使用神经电生理的方法检测而得到的脑细胞群的自发性、节律性电活动。
如图1所示,本公开实施例的数据处理方法及数据处理装置可以应用于感知识别被测对象认知状态(情绪、注意力等)的人工智能算法中,例如监控智慧教育学生场景。脑机接口(Brain Computer Interface,BCI)是一种通过设备将人脑信号传递给计算机的方式,以达到人脑可以直接控制机器的目标。使用被动式BCI可以实时监测被测对象的心理、认知状态,例如警觉性、注意力、压力、认知负荷、情绪等。
在正式采集原始数据时,同时采集被测对象101的待标注数据102(视频、音频、眼动、肌电等)和脑电信号数据103,基于待标注数据102和脑电信号数据103,生成被测对象101的标注数据104,基于标注数据生成数据集,对数据集进行训练以得到用于预测被测对象的认知状态的机器训练模型,可以感知识别被测对象认知状态(情绪、注意力等)。
需要说明的是,对应用场景的上述描述并非对本公开可以应用的场景的具体限定。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该方法包括操作S210~操作S230。其中:
在操作S210,采集被测对象的待标注数据。
在操作S220,采集被测对象的脑电信号数据。
在操作S230,基于脑电信号数据和待标注数据,生成被测对象的标注数据。
根据本公开的实施例,可以通过传感器采集脑电信号数据和待标注数据,其中,待标注数据用于记录被测对象在采集时序中的行为状态,脑电信号数据用于表征被测对象在采集时序中的认知状态。
待标注数据和脑电信号数据可以从不同侧面反映出被测对象认知状态。具体地,待标注数据,可以表征被测对象更表象的认知状态,例如,可以是肢体活动、说话表现出来的语音、语调以及语速等。而脑电信号数据,表征被测对象更内在的认知状态,例如,情绪、注意力等。
待标注数据和脑电信号数据两者之间相互影响,相互约束。例如,被测对象的情绪比较激动时,可能表现出的肢体动作幅度较大,说话的语气、语调和语速可能较快,相反,被测对象的情绪比较平和时,可能表现出的肢体动作幅度较小,说话的语气、语调和语速可能较慢。
根据本公开的实施例,在正式采集时,采集被测对象的待标注数据(视频、音频、眼动、肌电等)的同时采集脑电信号数据。
需要说明的是,可以通过诱发素材采集,为了获得更加准确的脑电信号数据,在正式采集待标注数据前,可以计算被测对象的脑活动数据基线(Baseline),这样在后续数据处理时,可以利用该基线对脑电信号数据进行基线漂移,以消除采集设备给采集数据带来的系统误差。
通过本公开的实施例,在采集表征被测对象在采集时序中的行为状态的待标注数据的同时,还采集更能准确的表征被测对象心理认知状态数据的脑电信号数据,基于两种采集数据,自动生成被测对象的标注数据,不仅可以避免使用效率低下,成本较高的手工标注方法,实现自动标注、批量化标注,成本较低的技术效果,还可以克服人工标注准确率不高的技术问题,达到提高数据标注的准确度的技术效果。
图3A示意性示出了根据本公开实施例的基于脑电信号数据和待标注数据,生成被测对象的标注数据的流程图。
如图3A所示,前述操作S230(基于脑电信号数据和待标注数据,生成被测对象的标注数据)包括操作S311~操作S313。其中:
在操作S311,检测待标注数据中是否存在符合预设条件的数据片段。
在操作S312,在待标注数据中存在符合预设条件的数据片段的情况下,获取数据片段在采集时序中对应的脑电信号片段数据。
在操作S313,基于脑电信号片段数据和待标注数据,生成被测对象的标注数据。
需要说明的是,待标注数据可以包括但不限于音频、音频数据,相对于脑电信号数据,待标注数据可以更为直观的反映被测对象的情绪,是被测对象认知状态的宏观体现。待标注数据反映被测对象的语言行为和/或动作行为,是被测对象认知状态的微观体现。而被测对象表现在待标注数据中的上述行为,也将反映在与待标注数据采集时序同步采集得到的脑电信号数据中,即被测对象的语言行为和/或动作行为也可以在一定程序上反映被测对象的情感、注意力、认知状态等心理数据。
基于此,根据本公开的实施例,可以对待标注数据进行语言和/或动作的识别,检测待标注数据中是否存在符合预设条件的数据片段可以包括但不限于检测待标注数据中是否存在明显的语言和/或动作的数据片段。若有,则获取该数据片段在采集时序中对应的脑电信号片段数据,基于脑电信号片段数据和待标注数据,生成被测对象的标注数据。
例如,对一段采集时间为10秒的待标注数据进行语言和/或动作的识别,若识别出在3~7秒这段时间内,存在一明显动作,而在0~3秒以及7~10秒这两个时间段内,并无明显动作,则脑电信号片段数据为3~7秒这段时间内采集到的脑电信号数据;若识别出0~3秒以及7~10秒这两个时间段内,存在明显动作,而3~7秒这段时间内,无明显动作,则脑电信号片段数据为0~3秒以及7~10秒这两个时间段内采集到的脑电信号数据。
根据本公开的实施例,通过对待标注数据进行语言和/或动作的识别,获取有语言和/或动作的数据片段在采集时序中对应的脑电信号片段数据,可以有选择性的基于脑电信号片段数据和待标注数据,生成被测对象的标注数据,减少标注遍历的数据量,提高数据标注的效率和准确度。
图3B示意性示出了根据本公开实施例的基于脑电信号片段数据和待标注数据,生成被测对象的标注数据的流程图。
如图3B所示,前述操作S313(基于脑电信号片段数据和待标注数据,生成被测对象的标注数据)包括操作S321~操作S323。其中:
在操作S321,对脑电信号片段数据进行滤波校正,以获得校正后的脑电信号片段数据。
在操作S322,识别校正后的脑电信号片段数据,以获得被测对象在采集时序中认知状态的识别结果。
在操作S323,基于认知状态的识别结果和待标注数据,生成被测对象的标注数据。
需要说明的是,由于脑电信号是一种极其微弱的生理信号,其幅值在微伏级别,因此脑电信号极其容易被噪声所影响甚至湮没。除了环境中的电磁干扰,人体自身的一些因素也会对脑电产生影响,眼电(Electrooculography,EOG)和肌电(Electromyography,EMG)伪迹是存在于信号中的最主要的两种产生于人体自身的干扰成分。而EMG伪迹的成分要比EOG伪迹的成分复杂得多,由人体肌肉群的运动引起,其来源较多,以颈部和面部的肌肉所产生的影响最为显著。EMG对20赫兹以上的EEG频率成分产生影响,不同位置的肌肉运动所引起的EMG对头皮上各通道EEG的影响也不同。伪迹在处理时会遇到很大困难,由于其信号的频率范围与脑电的频率范围有重叠,因此简单的滤波方法可能会让我们丢失一部分有效信息。而且这些干扰很难通过硬件来实现自动的检测。
根据本公开的实施例,在进行复杂的脑电分析预处理之前,可以对有明显语言、动作片段的脑电信号数据进行肌电伪迹的滤波校正,以获得校正后的脑电信号片段数据。例如去除基线漂移,去除工频干扰,根据所需要的信号范围进行带通滤波,筛选信号的质量,观察信号中是否存在明显的眼电伪迹和肌电伪迹存在。相关技术提供了一些去除上述两种伪迹的方法,例如自适应滤波、空间滤波、盲源分离等,此处不再赘述,本领域技术人员可以根据实际需要和自己的业务经验选择适合的滤波校正方法,本公开不做限定。
通过本公开的实施例,对脑电信号片段数据进行校正等预处理,以获得被测对象在采集时序中认知状态的识别结果,基于认知状态的识别结果和待标注数据,生成被测对象的标注数据,可以提高脑电信号数据的数据质量,提高数据标注结果的精确度。
图3C示意性示出了根据本公开实施例的基于认知状态的识别结果和待标注数据,生成被测对象的标注数据的流程图。
如图3C所示,前述操作S323(基于认知状态的识别结果和待标注数据,生成被测对象的标注数据)包括操作S331和操作S332。其中:
在操作S331,对认知状态的识别结果进行聚类,以获得认知状态的聚类结果。
在操作S332,基于认知状态的聚类结果分割待标注数据,以生成被测对象的标注数据。
根据本公开的实施例,将校正后的脑电信号数据计算被试对象的当前心理、认知状态,并进行基于时序的聚类,并使用脑电信号数据的聚类结果对待标注数据进行分割,最终可以将认知状态标注在该片段中,以生成被测对象的标注数据。
例如,在一段0~10秒的脑电信号数据中,被测对象脑电信号数据的聚类结果分别为:0~3秒(思考),3~7秒(激动),7~10秒(失落)。将上述三种聚类结果标注在待标注数据对应的时序中。在一段0~10秒的待标注数据中被测对象的标注数据为:在0~3秒(思考),3~7秒(激动),7~10秒(失落)。
需要说明的是,可以采用任意公知的技术手段对认知状态的识别结果进行聚类,以获得认知状态的聚类结果,本公开不做具体限定。
通过本公开的实施例,基于待标注数据在脑电信号中确定脑电信号片段数据,再基于脑电片段数据识别获得的认知状态的聚类结果,对应的时序中去反向标注待标注数据,可以实现脑电信号数据和待标注数据的相互验证和校正,标注结果更加准确,效率更高。
图4示意性示出了根据本公开实施例的数据处理装置的框图。
如图4所示,该数据处理装置400包括第一采集模块410,第二采集模块420以及处理模块430。该信息处理系统400可以执行前文描述的数据处理方法,以基于脑电信号数据和待标注数据,生成被测对象的标注数据。其中:
第一采集模块410,被配置为采集被测对象的待标注数据。
第二采集模块420,被配置为采集被测对象的脑电信号数据。
处理模块430,被配置为基于脑电信号数据和待标注数据,生成被测对象的标注数据。
通过本公开的实施例,在采集表征被测对象在采集时序中的行为状态的待标注数据的同时,还采集更能准确的表征被测对象心理认知状态数据的脑电信号数据,基于两种采集数据,自动生成被测对象的标注数据,不仅可以避免使用效率低下,成本较高的手工标注方法,实现自动标注、批量化标注,成本较低的技术效果,还可以克服人工标注准确率不高的技术问题,达到提高数据标注的准确度的技术效果。
图5A示意性示出了根据本公开实施例的处理模块的框图。
如图5A所示,前述处理模块430包括检测子模块511,获取子模块512以及处理子模块513。其中:
检测子模块511,被配置为检测待标注数据中是否存在符合预设条件的数据片段。
获取子模块512,被配置为在待标注数据中存在符合预设条件的数据片段的情况下,获取数据片段在采集时序中对应的脑电信号片段数据。
处理子模块513,被配置为基于脑电信号片段数据和待标注数据,生成被测对象的标注数据。
通过本公开的实施例,通过对待标注数据进行语言和/或动作的识别,获取有语言和/或动作的数据片段在采集时序中对应的脑电信号片段数据,可以有选择性的基于脑电信号片段数据和待标注数据,生成被测对象的标注数据,提高数据标注的效率和准确度。
图5B示意性示出了根据本公开实施例的处理子模块的框图。
如图5B所示,前述处理子模块513包括校正单元521,识别单元522以及处理单元523。其中:
校正单元521,被配置为对脑电信号片段数据进行滤波校正,以获得校正后的脑电信号片段数据。
识别单元522,被配置为识别校正后的脑电信号片段数据,以获得被测对象在采集时序中认知状态的识别结果。
处理单元523,被配置为基于认知状态的识别结果和待标注数据,生成被测对象的标注数据。
通过本公开的实施例,对脑电信号片段数据进行校正等预处理,以获得被测对象在采集时序中认知状态的识别结果,基于认知状态的识别结果和待标注数据,生成被测对象的标注数据,可以提高脑电信号数据的数据质量,提高数据标注结果的精确度。
图5C示意性示出了根据本公开实施例的处理单元的框图。
如图5C所示,前述处理单元523包括聚类子单元531和处理子单元532。其中:
聚类子单元531,被配置为对认知状态的识别结果进行聚类,以获得认知状态的聚类结果。
处理子单元532,被配置为基于认知状态的聚类结果分割待标注数据,以生成被测对象的标注数据。
通过本公开的实施例,基于待标注数据在脑电信号中确定脑电信号片段数据,再基于脑电片段数据识别获得的认知状态的聚类结果,对应的时序中去反向标注待标注数据,可以实现脑电信号数据和待标注数据的相互验证和校正,标注结果更加准确,效率更高。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一采集模块410、第二采集模块420以及处理模块430中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一采集模块410、第二采集模块420以及处理模块430中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一采集模块410、第二采集模块420以及处理模块430中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图6示意性示出了根据本公开实施例的计算机系统的框图。图6示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括处理器610、计算机可读存储介质620。该计算机系统600可以执行根据本公开实施例的方法。
具体地,处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质620,例如可以是非易失性的计算机可读存储介质,具体示例包括但不限于:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;等等。
计算机可读存储介质620可以包括计算机程序621,该计算机程序621可以包括代码/计算机可执行指令,其在由处理器610执行时使得处理器610执行根据本公开实施例的方法或其任何变形。
计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序621中的代码可以包括一个或多个程序模块,例如包括621A、模块621B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器610执行时,使得处理器610可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例,第一采集模块410、第二采集模块420以及处理模块430中的至少一个可以实现为参考图6描述的计算机程序模块,其在被处理器610执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (8)

1.一种数据处理方法,包括:
采集被测对象的待标注数据,其中,所述待标注数据用于记录所述被测对象在采集时序中的行为状态;
采集所述被测对象的脑电信号数据,其中,所述脑电信号数据用于表征所述被测对象在所述采集时序中的认知状态;
对所述认知状态的识别结果进行聚类,以获得所述认知状态的聚类结果;
基于所述认知状态的聚类结果分割所述待标注数据,以生成所述被测对象的标注数据;以及
基于所述脑电信号数据和所述待标注数据,生成所述被测对象的标注数据。
2.根据权利要求1所述的方法,所述基于所述脑电信号数据和所述待标注数据,生成所述被测对象的标注数据包括:
检测所述待标注数据中是否存在符合预设条件的数据片段;
在所述待标注数据中存在符合所述预设条件的数据片段的情况下,获取所述数据片段在所述采集时序中对应的脑电信号片段数据;以及
基于所述脑电信号片段数据和所述待标注数据,生成所述被测对象的标注数据。
3.根据权利要求2所述的方法,其中,所述基于所述脑电信号片段数据和所述待标注数据,生成所述被测对象的标注数据包括:
对所述脑电信号片段数据进行滤波校正,以获得校正后的脑电信号片段数据;
识别所述校正后的脑电信号片段数据,以获得所述被测对象在所述采集时序中认知状态的识别结果;以及
基于所述认知状态的识别结果和所述待标注数据,生成所述被测对象的标注数据。
4.一种数据处理装置,包括:
第一采集模块,被配置为采集被测对象的待标注数据,其中,所述待标注数据用于记录所述被测对象在采集时序中的行为状态;
第二采集模块,被配置为采集所述被测对象的脑电信号数据,其中,所述脑电信号数据用于表征所述被测对象在所述采集时序中的认知状态;
聚类子单元,被配置为对所述认知状态的识别结果进行聚类,以获得所述认知状态的聚类结果;
处理子单元,被配置为基于所述认知状态的聚类结果分割所述待标注数据,以生成所述被测对象的标注数据;以及
处理模块,被配置为基于所述脑电信号数据和所述待标注数据,生成所述被测对象的标注数据。
5.根据权利要求4所述的装置,所述处理模块包括:
检测子模块,被配置为检测所述待标注数据中是否存在符合预设条件的数据片段;
获取子模块,被配置为在所述待标注数据中存在符合所述预设条件的数据片段的情况下,获取所述数据片段在所述采集时序中对应的脑电信号片段数据;以及
处理子模块,被配置为基于所述脑电信号片段数据和所述待标注数据,生成所述被测对象的标注数据。
6.根据权利要求5所述的装置,其中,所述处理子模块包括:
校正单元,被配置为对所述脑电信号片段数据进行滤波校正,以获得校正后的脑电信号片段数据;
识别单元,被配置为识别所述校正后的脑电信号片段数据,以获得所述被测对象在所述采集时序中认知状态的识别结果;以及
处理单元,被配置为基于所述认知状态的识别结果和所述待标注数据,生成所述被测对象的标注数据。
7.一种计算机系统,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现权利要求1至3中任一项的方法。
8.一种计算机可读介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至3中任一项的方法。
CN201910231389.3A 2019-03-25 2019-03-25 数据处理方法及其装置、计算机系统及可读介质 Active CN110008874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910231389.3A CN110008874B (zh) 2019-03-25 2019-03-25 数据处理方法及其装置、计算机系统及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910231389.3A CN110008874B (zh) 2019-03-25 2019-03-25 数据处理方法及其装置、计算机系统及可读介质

Publications (2)

Publication Number Publication Date
CN110008874A CN110008874A (zh) 2019-07-12
CN110008874B true CN110008874B (zh) 2021-05-18

Family

ID=67168185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910231389.3A Active CN110008874B (zh) 2019-03-25 2019-03-25 数据处理方法及其装置、计算机系统及可读介质

Country Status (1)

Country Link
CN (1) CN110008874B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383829B (zh) * 2019-11-06 2022-06-24 致讯科技(天津)有限公司 一种体验质量测评方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560765A (zh) * 2016-06-14 2017-04-12 深圳创达云睿智能科技有限公司 一种虚拟现实中内容交互的方法和装置
CN108492224A (zh) * 2018-03-09 2018-09-04 上海开放大学 基于深度学习在线教育学生综合画像标签管理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105105774A (zh) * 2015-10-09 2015-12-02 吉林大学 基于脑电信息的驾驶人警觉度监测方法及监测系统
CN105852831A (zh) * 2016-05-10 2016-08-17 华南理工大学 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
CN107374652B (zh) * 2017-07-20 2020-05-15 京东方科技集团股份有限公司 基于电子产品学习的质量监测方法、装置和系统
CN108205686A (zh) * 2017-12-06 2018-06-26 中国电子科技集团公司电子科学研究院 视频情感分类方法及装置
CN108201435A (zh) * 2017-12-06 2018-06-26 深圳和而泰数据资源与云技术有限公司 睡眠分期确定方法、相关设备及计算机可读介质
CN109035960A (zh) * 2018-06-15 2018-12-18 吉林大学 基于模拟驾驶平台的驾驶员驾驶模式分析系统及分析方法
CN108966013A (zh) * 2018-07-26 2018-12-07 北京理工大学 一种基于全景视频的观众反应评估方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560765A (zh) * 2016-06-14 2017-04-12 深圳创达云睿智能科技有限公司 一种虚拟现实中内容交互的方法和装置
CN108492224A (zh) * 2018-03-09 2018-09-04 上海开放大学 基于深度学习在线教育学生综合画像标签管理系统

Also Published As

Publication number Publication date
CN110008874A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
Gateau et al. Real-time state estimation in a flight simulator using fNIRS
CN107530012B (zh) 用于脑活动解析的系统
US20220139543A1 (en) Method and system for seizure detection
US9792823B2 (en) Multi-view learning in detection of psychological states
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
Rubin et al. Learned motor patterns are replayed in human motor cortex during sleep
Klug et al. The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data
Luca et al. Detecting rare events using extreme value statistics applied to epileptic convulsions in children
Liu et al. Taxonomy and real-time classification of artifacts during biosignal acquisition: A starter study and dataset of ECG
Norman et al. Neuronal baseline shifts underlying boundary setting during free recall
Dubarry et al. Estimating parallel processing in a language task using single-trial intracerebral electroencephalography
Tan Using a low-cost eeg sensor to detect mental states
Khamis et al. Detection of temporal lobe seizures and identification of lateralisation from audified EEG
CN115329818A (zh) 基于vr的多模态融合注意力评估方法、系统及存储介质
Newman et al. Automatic nystagmus detection and quantification in long-term continuous eye-movement data
Bridge et al. Active retrieval facilitates across-episode binding by modulating the content of memory
Orlandi et al. AVIM—A contactless system for infant data acquisition and analysis: Software architecture and first results
CN115299947B (zh) 基于多模态生理数据的心理量表置信度评估方法及系统
Qu Time Continuity Voting for Electroencephalography (EEG) Classification
CN110008874B (zh) 数据处理方法及其装置、计算机系统及可读介质
Puwakpitiyage et al. A proposed web based real time brain computer interface (BCI) system for usability testing
Mekruksavanich et al. Deep learning approaches for epileptic seizures recognition based on eeg signal
Patel et al. CNN-FEBAC: A framework for attention measurement of autistic individuals
El Haouij Biosignals for driver's stress level assessment: functional variable selection and fractal characterization
Mofrad et al. Waveform detection by deep learning reveals multi-area spindles that are selectively modulated by memory load

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant