[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113011330B - 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法 - Google Patents

一种基于多尺度神经网络和空洞卷积的脑电信号分类方法 Download PDF

Info

Publication number
CN113011330B
CN113011330B CN202110294362.6A CN202110294362A CN113011330B CN 113011330 B CN113011330 B CN 113011330B CN 202110294362 A CN202110294362 A CN 202110294362A CN 113011330 B CN113011330 B CN 113011330B
Authority
CN
China
Prior art keywords
time
spatial
sequence
scale
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110294362.6A
Other languages
English (en)
Other versions
CN113011330A (zh
Inventor
陈勋
高逸凯
刘爱萍
吴乐
梁邓
钱若兵
张勇东
吴枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110294362.6A priority Critical patent/CN113011330B/zh
Publication of CN113011330A publication Critical patent/CN113011330A/zh
Application granted granted Critical
Publication of CN113011330B publication Critical patent/CN113011330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于多尺度神经网络和空洞卷积的脑电信号分类方法，包括：1对数据集中的原始脑电信号进行预处理，包括通道选择、切片分割；2建立基于多尺度神经网络及空洞卷积的分类模型，初始化网络参数；3设计损失函数，建立分类模型优化目标；4输入数据对网络进行训练，优化网络参数，获得最优分类模型。本发明相对传统方法，能够显著提升脑电信号分类准确率，从而提升脑电信号在医疗等领域中的应用价值。

Description

一种基于多尺度神经网络和空洞卷积的脑电信号分类方法
技术领域
本发明属于脑电信号处理领域，具体的说是一种基于多尺度神经网络和空洞卷积的脑电信号分类方法。
背景技术
脑电信号(EEG，Electroencephalography)是记录脑电活动的有力工具，能够反映受试者的脑部状态，因此有效的脑电信号分类方法可以极大的提高脑电信号在医疗等领域中的应用价值，具有重大的研究意义。目前，脑电信号分类方法可分为两类：传统方法与基于深度学习的方法。
脑电信号分类的传统方法中，关键在于特征提取，它需要人工设计具有高区分度的特征。常用的脑电信号特征主要有三类：时域特征、频域特征与时频域特征。时域特征主要包括期望、方差、Hjorth描述符等，频域特征主要包括谱能量、小波能量等，时频域特征主要包括小波分解系数等。上述特征需要根据信号特性，人工设计有效的特征，这要求研究人员具有深入的生理学知识，且泛化能力有限。
近年来，由于深度学习能够自动提取具有高区分度的特征，人们将其广泛应用于脑电信号分类中。常见的脑电信号分类网络结构有卷积神经网络、循环神经网络等。深度学习通过数据驱动的方式，驱动人工神经网络自动提取信号中的特征，从而实现分类，并在脑电信号分类中取得了较好的分类效果。
脑电信号是一种具有多尺度性质的复杂电信号，这里的多尺度性是指，脑电信号包含了多种时间和空间成分，在时间维度，有的脑电波形时间尺度为毫秒级，但有的脑电波形长达数秒；在空间维度，神经元的异常放电可能只与一个电极通道相关，也有可能与多个电极通道相关。然而，目前的大多数脑电信号分类方法忽视了脑电信号的多尺度性质，采用的是单尺度的研究方法。而单尺度的方法难以充分的提取脑电信号的特征，限制了脑电信号分类的准确性。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于多尺度神经网络和空洞卷积的脑电信号分类方法，以期能考虑到脑电信号的多尺度特性，提取脑电信号的时空多尺度特征，从而能提升脑电信号分类的准确率。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于多尺度神经网络和空洞卷积的脑电信号分类方法的特点在于，包括以下步骤：
步骤1、获取有标注类别的脑电信号数据集，对数据集中的原始脑电信号进行预处理，包括通道选择、切片分割；
步骤1.1、从数据集中选择原始脑电信号中共有的C个通道上的脑电信号，并利用滑动窗方法划分为N段时长为t的脑电信号片段，记为训练样本集X＝{X1,X2,...,Xn,...,XN}；Xn表示第n个脑电信号样本，且Xn＝{Xn 1,Xn 2,…,Xn c,…,Xn C}，Xn c表示第n个脑电信号样本中第c个通道的脑电信号数据，且Xn c＝{x1 c,x2 c,...,xr c,...,xt×s c}；xr c表示第n个脑电信号样本中第c个通道的第r个数据点，s表示数据集中脑电信号的采样率；n＝1,2,...,N；c＝1,2,...,C；r＝1,2,...,t×s；
步骤2、建立基于多尺度神经网络及空洞卷积的分类模型，所述分类模型包括：由时间多尺度阶段、空间多尺度阶段组成的特征提取阶段，以及由分类模块构成的分类阶段；所述时间多尺度阶段、空间多尺度阶段均由多尺度神经网络模块、空洞卷积模块组成；
步骤2.1、初始化权重值：对分类模型的卷积层进行参数初始化；
步骤2.2、所述多尺度神经网络模块由三个并行的网络分支组成，每个分支包括两个卷积层与两个池化层，不同分支的卷积核尺寸大小不同，以提取不同尺度的特征；空洞卷积模块包括三个并行的网络分支以及用于特征融合的注意力机制模块，每个分支包括不同扩张率的空洞卷积层；
步骤2.2.1、所述训练样本集X输入时间多尺度阶段中，并经过时间多尺度阶段的多尺度神经网络模块，输出第一时间特征序列
Figure GDA0003683086670000021
第二时间特征序列
Figure GDA0003683086670000022
第三时间特征序列
Figure GDA0003683086670000023
其中，Fn 1表示第一时间特征序列F1中的第n张特征图，Fn 2表示第二时间特征序列F2中的第n张特征图，Fn 3表示第三时间特征序列F3中的第n张特征图；
步骤2.2.2、将三个时间特征序列F1,F2,F3分别送入时间多尺度阶段的空洞卷积模块，并经过不同扩张率的空洞卷积层，即第一时间空洞卷积层、第二时间空洞卷积层、第三时间空洞卷积层，从而输出时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}，其中，{Fi,1|i＝1,2,3}表示第i时间特征序列经过第一时间空洞卷积层得到的时间特征序列，{Fi,2|i＝1,2,3}表示第i时间特征序列经过第二时间空洞卷积层得到的时间特征序列，{Fi,3|i＝1,2,3}表示第i时间特征序列经过第三时间空洞卷积层得到的时间特征序列；
将时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}送入注意力机制模块进行特征融合：首先将所述时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}送入全局池化层后，再通过第一全连接层与第二全连接层得到时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}的时间权重系数{αi,1,αi,2,αi,3|i＝1,2,3}，将时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}与时间权重系数{αi,1,αi,2,αi,3|i＝1,2,3}对应相乘得到空洞卷积模块的三个输出时间特征序列Fd 1,Fd 2,Fd 3；其中，Fd 1，Fd 2，Fd 3分别表示脑电信号经过时间多尺度阶段得到的第一时间尺度特征序列、第二时间尺度特征序列、第三时间尺度特征序列；
步骤2.2.3、将所述输出时间特征序列Fd 1,Fd 2,Fd 3送入空间多尺度阶段的多尺度神经网络模块，并输出第一空间特征序列
Figure GDA0003683086670000031
第二空间特征序列
Figure GDA0003683086670000032
第三空间特征序列
Figure GDA0003683086670000033
其中，
Figure GDA0003683086670000034
表示第一空间特征序列G1中的第n′张特征图，
Figure GDA0003683086670000035
表示第二空间特征序列G2中的第n′张特征图，
Figure GDA0003683086670000036
表示第三空间特征序列G3中的第n′张特征图；
步骤2.2.4、将三个空间特征序列G1,G2,G3分别送入空间多尺度阶段的空洞卷积模块，并经过不同扩张率的空洞卷积层，即第一空间空洞卷积层、第二空间空洞卷积层、第三空间空洞卷积层，从而输出空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}，其中，{Gi′,1|i′＝1,2,3}表示第i′空间特征序列经过第一空间空洞卷积层得到的空间特征序列，{Gi′,2|i′＝1,2,3}表示第i′空间特征序列经过第二空间空洞卷积层得到的空间特征序列，{Gi′,3|i′＝1,2,3}表示第i′空间特征序列经过第三空间空洞卷积层得到的空间特征序列；
将空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}送入注意力机制模块进行特征融合：首先将所述空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}送入全局池化层后，再通过第三全连接层与第四全连接层得到空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}的空间权重系数{βi′,1,βi′,2,βi′,3|i′＝1,2,3}，将空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}与空间权重系数{βi′,1,βi′,2,βi′,3|i′＝1,2,3}对应相乘得到空洞卷积模块的三个输出空间特征序列Gd 1,Gd 2,Gd 3；其中，Gd 1，Gd 2，Gd 3分别表示脑电信号经过空间多尺度阶段得到的第一空间尺度特征序列、第二空间尺度特征序列、第三空间尺度特征序列；
步骤2.3、将三个输出空间特征序列Gd 1,Gd 2,Gd 3经过分类模块的卷积层、全局池化层与全连接层，得到每个脑电信号样本对应类别的概率；
步骤3、采用focal loss作为分类模型的损失函数，使用Adam优化算法以固定学习率更新分类模型中的每一个权值，使得所述损失函数趋于稳定，从而得到训练好的分类模型；
步骤4、利用训练好的分类模型对任一脑电信号样本进行分类，得到对应类别的概率值，按照所设的阈值，对所述概率值进行二值化分类，从而得到最终的分类结果。
与现有技术相比，本发明的有益效果在于：
1、本发明考虑到了脑电信号的时空多尺度特性，构建了基于多尺度神经网络与空洞卷积的脑电信号分类方法，充分挖掘脑电信号的时空多尺度特征。本发明提出的脑电信号分类方法与期刊报道的使用相同数据库的方法相比，大幅提升了脑电信号分类准确率；
2、本发明构建了多尺度神经网络模块，通过不同尺寸大小的卷积核从时间和空间两个维度提取脑电信号的时空多尺度特征，得到更有区分度的脑电信号特征；
3、本发明构建了基于注意力机制空洞卷积模块，在扩大网络的感受野的同时有效的整合了脑电信号的全局与局部信息。
附图说明
图1为本发明方法流程图；
图2为本发明分类模型的整体框架图；
图3为本发明方法的空洞卷积模块结构图；
图4为本发明方法的注意力机制模块结构图。
具体实施方式
本实施例中，一种基于多尺度神经网络和空洞卷积的脑电信号分类方法，如图1所示，其包括如下步骤：
步骤1、获取有标注类别的脑电信号数据集，对数据集中的原始脑电信号进行预处理，包括通道选择、切片分割；
步骤1.1、从数据集中选择原始脑电信号中共有的C个通道上的脑电信号，并利用滑动窗方法划分为N段时长为t的脑电信号片段，记为训练样本集X＝{X1,X2,...,Xn,...,XN}；Xn表示第n个脑电信号样本，且Xn＝{Xn 1,Xn 2,…,Xn c,…,Xn C}，Xn c表示第n个脑电信号样本中第c个通道的脑电信号数据，且Xn c＝{x1 c,x2 c,...,xr c,...,xt×s c}；xr c表示第n个脑电信号样本中第c个通道的第r个数据点，s表示数据集中脑电信号的采样率；n＝1,2,...,N；c＝1,2,...,C；r＝1,2,...,t×s；
具体实施中，对18导联脑电信号数据集，选取C＝18；对滑动窗方法，可取窗口长度为4秒，滑动步长为2秒；
步骤2、建立基于多尺度神经网络及空洞卷积的分类模型，整体框架图如图2所示，分类模型包括：由时间多尺度阶段、空间多尺度阶段组成的特征提取阶段，以及由分类模块构成的分类阶段；时间多尺度阶段、空间多尺度阶段均由多尺度神经网络模块、空洞卷积模块组成；
步骤2.1、初始化权重值：对分类模型的卷积层进行参数初始化；
具体实施中，使用均匀分布对分类模型中的权重初始化。
步骤2.2、多尺度神经网络模块由三个并行的网络分支组成，每个分支包括两个卷积层与两个池化层，不同分支的卷积核尺寸大小不同，以提取不同尺度的特征，示例性的，在时间多尺度阶段，二维卷积核的尺寸为：32×1，64×1，128×1，三个卷积核大小对应三种时间尺度；在空间多尺度阶段，二维卷积核的尺寸为：1×2，1×3，1×5，三个卷积核大小对应三种空间尺度。空洞卷积模块包括三个并行的网络分支以及用于特征融合的注意力机制模块，每个分支包括不同扩张率的空洞卷积层，示例性的，扩张率分别为1，2，5。具体地，空洞卷积模块的网络结构如图3所示，注意力机制模块网络结构图如图4所示；
步骤2.2.1、训练样本集X输入时间多尺度阶段中，并经过时间多尺度阶段的多尺度神经网络模块，输出第一时间特征序列
Figure GDA0003683086670000051
第二时间特征序列
Figure GDA0003683086670000052
第三时间特征序列
Figure GDA0003683086670000053
其中，Fn 1表示第一时间特征序列F1中的第n张特征图，Fn 2表示第二时间特征序列F2中的第n张特征图，Fn 3表示第三时间特征序列F3中的第n张特征图；
步骤2.2.2、将三个时间特征序列F1,F2,F3分别送入时间多尺度阶段的空洞卷积模块，并经过不同扩张率的空洞卷积层，即第一时间空洞卷积层、第二时间空洞卷积层、第三时间空洞卷积层，从而输出时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}，其中，{Fi,1|i＝1,2,3}表示第i时间特征序列经过第一时间空洞卷积层得到的时间特征序列，{Fi,2|i＝1,2,3}表示第i时间特征序列经过第二时间空洞卷积层得到的时间特征序列，{Fi,3|i＝1,2,3}表示第i时间特征序列经过第三时间空洞卷积层得到的时间特征序列；
将时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}送入注意力机制模块进行特征融合：首先将时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}送入全局池化层，再通过具有激活函数的第一全连接层与第二全连接层得到时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}的时间权重系数{αi,1,αi,2,αi,3|i＝1,2,3}，将时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}与时间权重系数{αi,1,αi,2,αi,3|i＝1,2,3}对应相乘得到空洞卷积模块的三个输出时间特征序列Fd 1,Fd 2,Fd 3；其中，Fd 1，Fd 2，Fd 3分别表示脑电信号经过时间多尺度阶段得到的第一时间尺度特征序列、第二时间尺度特征序列、第三时间尺度特征序列。
具体实施中，第一全连接层的激活函数为sigmoid函数，第二全连接层的激活函数为softmax函数。
步骤2.2.3、将输出时间特征序列Fd 1,Fd 2,Fd 3送入空间多尺度阶段的多尺度神经网络模块，并输出第一空间特征序列
Figure GDA0003683086670000061
第二空间特征序列
Figure GDA0003683086670000062
第三空间特征序列
Figure GDA0003683086670000063
其中，
Figure GDA0003683086670000064
表示第一空间特征序列G1中的第n′张特征图，
Figure GDA0003683086670000065
表示第二空间特征序列G2中的第n′张特征图，
Figure GDA0003683086670000066
表示第三空间特征序列G3中的第n′张特征图；
步骤2.2.4、将三个空间特征序列G1,G2,G3分别送入空间多尺度阶段的空洞卷积模块，并经过不同扩张率的空洞卷积层，即第一空间空洞卷积层、第二空间空洞卷积层、第三空间空洞卷积层，从而输出空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}，其中，{Gi′,1|i′＝1,2,3}表示第i′空间特征序列经过第一空间空洞卷积层得到的空间特征序列，{Gi′,2|i′＝1,2,3}表示第i′空间特征序列经过第二空间空洞卷积层得到的空间特征序列，{Gi′,3|i′＝1,2,3}表示第i′空间特征序列经过第三空间空洞卷积层得到的空间特征序列，i′＝1,2,3；
将空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}送入注意力机制模块进行特征融合：首先将空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}送入全局池化层，再通过具有激活函数的第三全连接层与第四全连接层得到空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}的空间权重系数{βi′,1,βi′,2,βi′,3|i′＝1,2,3}，将空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}与空间权重系数{βi′,1,βi′,2,βi′,3|i′＝1,2,3}对应相乘得到空洞卷积模块的三个输出空间特征序列Gd 1,Gd 2,Gd 3；其中，Gd 1，Gd 2，Gd 3分别表示脑电信号经过空间多尺度阶段得到的第一空间尺度特征序列、第二空间尺度特征序列、第三空间尺度特征序列。
具体实施中，第三全连接层的激活函数为sigmoid函数，第四全连接层的激活函数为softmax函数。
步骤2.3、将三个输出空间特征序列Gd 1,Gd 2,Gd 3经过分类模块的卷积层、全局池化层与全连接层，得到每个脑电信号样本对应类别的概率；
步骤3、采用focal loss作为分类模型的损失函数：
Figure GDA0003683086670000071
其中，n为样本个数，yi为样本的真实标签，yi′为分类模型对样本的预测值，α用于调整正负样本的不平衡，γ用于调整难易样本的不平衡。本实施例中，α＝0.5，γ＝2。
使用优化算法以固定学习率更新分类模型中的每一个权值，使得损失函数趋于稳定，从而得到训练好的分类模型；
具体实施中，采用的梯度下降方法为Adam方法。
步骤4、利用训练好的分类模型对任一脑电信号样本进行分类，得到对应类别的概率值，按照所设的阈值，对概率值进行二值化分类，从而得到最终的分类结果。
为了说明本发明上述方案的性能，使用近期期刊文献报道的脑电信号分类性能与本发明上述方案得到的性能进行了对比，对比的指标采用了脑电信号分类常用的评价指标，即灵敏度与误报率，灵敏度即正确预测的正类与所有正类之比，误报率即平均每小时将负类预测为正类的次数。
具体实施中，采用了期刊文献报道的四种方法进行对比，如表1所示：1.Truong等人采用短时傅里叶变换(STFT)提取脑电信号的时频表征，利用卷积神经网络(CNN)对其进行分类，取得了平均灵敏度81.2％，平均误报率0.160/小时的性能；2.Khan等人采用小波变换(WT)得到脑电信号的小波系数，利用卷积神经网络进行分类，取得了平均灵敏度87.8％，平均误报率0.147/小时的性能；3.Ozcan等人通过人工设计脑电信号的特征，并利用3D-CNN对特征进行分类，取得了平均灵敏度85.7％，平均误报率0.096/小时的性能；4.Zhang等人通过共空间模式(CSP)提取脑电信号的特征，利用CNN进行分类，取得了平均灵敏度92.2％，平均误报率0.120/小时的性能。
表1.不同方法在CHB-MIT数据集的预测性能
平均灵敏度(％) 平均误报率(/小时)
STFT-CNN 81.2 0.160
WT-CNN 87.8 0.147
3DCNN 85.7 0.096
CSP-CNN 92.2 0.120
本发明的方法 93.3 0.007
上述对比方法的数据来源均为公开的CHB-MIT数据集，表1展示了本发明与上述方法的对比结果，本发明的方法取得了93.3％的平均灵敏度，0.007/小时的平均误报率，性能优于上述所有对比方法。

Claims (1)

1.一种基于多尺度神经网络和空洞卷积的脑电信号分类方法，其特征在于，包括以下步骤：
步骤1、获取有标注类别的脑电信号数据集，对数据集中的原始脑电信号进行预处理，包括通道选择、切片分割；
步骤1.1、从数据集中选择原始脑电信号中共有的C个通道上的脑电信号，并利用滑动窗方法划分为N段时长为t的脑电信号片段，记为训练样本集X＝{X1,X2,...,Xn,...,XN}；Xn表示第n个脑电信号样本，且Xn＝{Xn 1,Xn 2,…,Xn c,…,Xn C}，Xn c表示第n个脑电信号样本中第c个通道的脑电信号数据，且Xn c＝{x1 c,x2 c,...,xr c,...,xt×s c}；xr c表示第n个脑电信号样本中第c个通道的第r个数据点，s表示数据集中脑电信号的采样率；n＝1,2,...,N；c＝1,2,...,C；r＝1,2,...,t×s；
步骤2、建立基于多尺度神经网络及空洞卷积的分类模型，所述分类模型包括：由时间多尺度阶段、空间多尺度阶段组成的特征提取阶段，以及由分类模块构成的分类阶段；所述时间多尺度阶段、空间多尺度阶段均由多尺度神经网络模块、空洞卷积模块组成；
步骤2.1、初始化权重值：对分类模型的卷积层进行参数初始化；
步骤2.2、所述多尺度神经网络模块由三个并行的网络分支组成，每个分支包括两个卷积层与两个池化层，不同分支的卷积核尺寸大小不同，以提取不同尺度的特征；空洞卷积模块包括三个并行的网络分支以及用于特征融合的注意力机制模块，每个分支包括不同扩张率的空洞卷积层；
步骤2.2.1、所述训练样本集X输入时间多尺度阶段中，并经过时间多尺度阶段的多尺度神经网络模块，输出第一时间特征序列
Figure FDA0003683086660000011
第二时间特征序列
Figure FDA0003683086660000012
第三时间特征序列
Figure FDA0003683086660000013
其中，Fn 1表示第一时间特征序列F1中的第n张特征图，Fn 2表示第二时间特征序列F2中的第n张特征图，Fn 3表示第三时间特征序列F3中的第n张特征图；
步骤2.2.2、将三个时间特征序列F1,F2,F3分别送入时间多尺度阶段的空洞卷积模块，并经过不同扩张率的空洞卷积层，即第一时间空洞卷积层、第二时间空洞卷积层、第三时间空洞卷积层，从而输出时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}，其中，{Fi,1|i＝1,2,3}表示第i时间特征序列经过第一时间空洞卷积层得到的时间特征序列，{Fi,2|i＝1,2,3}表示第i时间特征序列经过第二时间空洞卷积层得到的时间特征序列，{Fi,3|i＝1,2,3}表示第i时间特征序列经过第三时间空洞卷积层得到的时间特征序列；
将时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}送入注意力机制模块进行特征融合：首先将所述时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}送入全局池化层后，再通过第一全连接层与第二全连接层得到时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}的时间权重系数{αi,1,αi,2,αi,3|i＝1,2,3}，将时间特征序列{Fi,1,Fi,2,Fi,3|i＝1,2,3}与时间权重系数{αi,1,αi,2,αi,3|i＝1,2,3}对应相乘得到空洞卷积模块的三个输出时间特征序列Fd 1,Fd 2,Fd 3；其中，Fd 1，Fd 2，Fd 3分别表示脑电信号经过时间多尺度阶段得到的第一时间尺度特征序列、第二时间尺度特征序列、第三时间尺度特征序列；
步骤2.2.3、将所述输出时间特征序列Fd 1,Fd 2,Fd 3送入空间多尺度阶段的多尺度神经网络模块，并输出第一空间特征序列
Figure FDA0003683086660000021
第二空间特征序列
Figure FDA0003683086660000022
第三空间特征序列
Figure FDA0003683086660000023
其中，
Figure FDA0003683086660000024
表示第一空间特征序列G1中的第n′张特征图，
Figure FDA0003683086660000025
表示第二空间特征序列G2中的第n′张特征图，
Figure FDA0003683086660000026
表示第三空间特征序列G3中的第n′张特征图；
步骤2.2.4、将三个空间特征序列G1,G2,G3分别送入空间多尺度阶段的空洞卷积模块，并经过不同扩张率的空洞卷积层，即第一空间空洞卷积层、第二空间空洞卷积层、第三空间空洞卷积层，从而输出空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}，其中，{Gi′,1|i′＝1,2,3}表示第i′空间特征序列经过第一空间空洞卷积层得到的空间特征序列，{Gi′,2|i′＝1,2,3}表示第i′空间特征序列经过第二空间空洞卷积层得到的空间特征序列，{Gi′,3|i′＝1,2,3}表示第i′空间特征序列经过第三空间空洞卷积层得到的空间特征序列；
将空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}，送入注意力机制模块进行特征融合：首先将所述空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}，送入全局池化层后，再通过第三全连接层与第四全连接层得到空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}，的空间权重系数{βi′,1,βi′,2,βi′,3|i′＝1,2,3}，将空间特征序列{Gi′,1,Gi′,2,Gi′,3|i′＝1,2,3}，与空间权重系数{βi′,1,βi′,2,βi′,3|i′＝1,2,3}对应相乘得到空洞卷积模块的三个输出空间特征序列Gd 1,Gd 2,Gd 3；其中，Gd 1，Gd 2，Gd 3分别表示脑电信号经过空间多尺度阶段得到的第一空间尺度特征序列、第二空间尺度特征序列、第三空间尺度特征序列；
步骤2.3、将三个输出空间特征序列Gd 1,Gd 2,Gd 3经过分类模块的卷积层、全局池化层与全连接层，得到每个脑电信号样本对应类别的概率；
步骤3、采用focal loss作为分类模型的损失函数，使用Adam优化算法以固定学习率更新分类模型中的每一个权值，使得所述损失函数趋于稳定，从而得到训练好的分类模型；
步骤4、利用训练好的分类模型对任一脑电信号样本进行分类，得到对应类别的概率值，按照所设的阈值，对所述概率值进行二值化分类，从而得到最终的分类结果。
CN202110294362.6A 2021-03-19 2021-03-19 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法 Active CN113011330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110294362.6A CN113011330B (zh) 2021-03-19 2021-03-19 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110294362.6A CN113011330B (zh) 2021-03-19 2021-03-19 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法

Publications (2)

Publication Number Publication Date
CN113011330A CN113011330A (zh) 2021-06-22
CN113011330B true CN113011330B (zh) 2022-09-02

Family

ID=76402914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110294362.6A Active CN113011330B (zh) 2021-03-19 2021-03-19 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法

Country Status (1)

Country Link
CN (1) CN113011330B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564991B (zh) * 2022-02-28 2024-02-20 合肥工业大学 基于Transformer引导卷积神经网络的脑电信号分类方法
CN114595725B (zh) * 2022-03-15 2024-02-20 合肥工业大学 一种基于加法网络和监督对比学习的脑电信号分类方法
CN115474899A (zh) * 2022-08-17 2022-12-16 浙江大学 一种基于多尺度卷积神经网络的基本味觉感知识别方法
CN117995170B (zh) * 2024-03-04 2024-09-17 齐鲁工业大学(山东省科学院) 一种基于卷积与通道注意力机制的心音信号分类方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503799A (zh) * 2016-10-11 2017-03-15 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN109344883A (zh) * 2018-09-13 2019-02-15 西京学院 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN109871882A (zh) * 2019-01-24 2019-06-11 重庆邮电大学 基于高斯伯努利卷积深度置信网络的脑电信号分类方法
CN110522412A (zh) * 2019-03-20 2019-12-03 天津大学 基于多尺度脑功能网络分类脑电信号的方法
CN110929581A (zh) * 2019-10-25 2020-03-27 重庆邮电大学 一种基于时空特征加权卷积神经网络的脑电信号识别方法
CN111444747A (zh) * 2019-01-17 2020-07-24 复旦大学 一种基于迁移学习和空洞卷积的癫痫状态识别方法
CN111616701A (zh) * 2020-04-24 2020-09-04 杭州电子科技大学 基于多元变分模态分解的脑电多域特征提取方法
CN112001306A (zh) * 2020-08-21 2020-11-27 西安交通大学 基于深度卷积对抗生成神经网络的脑电信号解码方法
CN112465069A (zh) * 2020-12-15 2021-03-09 杭州电子科技大学 一种基于多尺度卷积核cnn的脑电情绪分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190336024A1 (en) * 2018-05-07 2019-11-07 International Business Machines Corporation Brain-based thought identifier and classifier

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503799A (zh) * 2016-10-11 2017-03-15 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN109344883A (zh) * 2018-09-13 2019-02-15 西京学院 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN111444747A (zh) * 2019-01-17 2020-07-24 复旦大学 一种基于迁移学习和空洞卷积的癫痫状态识别方法
CN109871882A (zh) * 2019-01-24 2019-06-11 重庆邮电大学 基于高斯伯努利卷积深度置信网络的脑电信号分类方法
CN110522412A (zh) * 2019-03-20 2019-12-03 天津大学 基于多尺度脑功能网络分类脑电信号的方法
CN110929581A (zh) * 2019-10-25 2020-03-27 重庆邮电大学 一种基于时空特征加权卷积神经网络的脑电信号识别方法
CN111616701A (zh) * 2020-04-24 2020-09-04 杭州电子科技大学 基于多元变分模态分解的脑电多域特征提取方法
CN112001306A (zh) * 2020-08-21 2020-11-27 西安交通大学 基于深度卷积对抗生成神经网络的脑电信号解码方法
CN112465069A (zh) * 2020-12-15 2021-03-09 杭州电子科技大学 一种基于多尺度卷积核cnn的脑电情绪分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multiclass Support Vector Machines for EEG-Signals Classification;Inan Guler 等;《IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE》;20070331;第11卷(第2期);第117-126页 *
基于卷积神经网络的脑电信号分类;李玉花 等;《科学技术与工程》;20201231;第20卷(第15期);第6135-6140页 *
基于多尺度特征提取与挤压激励模型的运动想象分类方法;贾子钰 等;《计算机研究与发展》;20201231;第57卷(第12期);第2481-2489页 *

Also Published As

Publication number Publication date
CN113011330A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113011330B (zh) 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法
CN110693493B (zh) 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测特征提取方法
CN109934089B (zh) 基于监督梯度提升器的多级癫痫脑电信号自动识别方法
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN114564991A (zh) 基于Transformer引导卷积神经网络的脑电信号分类方法
CN111898526B (zh) 基于多流卷积神经网络的肌电手势识别方法
CN109598222B (zh) 基于eemd数据增强的小波神经网络运动想象脑电分类方法
CN113554110B (zh) 一种基于二值胶囊网络的脑电情绪识别方法
CN108567418A (zh) 一种基于PCANet的脉搏信号亚健康检测方法及检测系统
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN112465069B (zh) 一种基于多尺度卷积核cnn的脑电情绪分类方法
CN113076878B (zh) 基于注意力机制卷积网络结构的体质辨识方法
CN113010013A (zh) 一种基于Wasserstein距离的运动想象脑电迁移学习方法
CN114091529A (zh) 一种基于生成对抗网络数据增强的脑电情感识别方法
CN112932501B (zh) 一种基于一维卷积神经网络自动识别失眠方法
CN113974655A (zh) 一种基于脑电信号的癫痫发作预测方法
CN114595725B (zh) 一种基于加法网络和监督对比学习的脑电信号分类方法
CN107045624B (zh) 一种基于最大加权团的脑电信号预处理与分类方法
CN110443276A (zh) 基于深度卷积网络与灰度递归图分析的时间序列分类方法
CN112084935B (zh) 一种基于扩充高质量脑电样本的情绪识别方法
CN115700104B (zh) 基于多尺度原型学习的本身可解释的脑电信号分类方法
CN114366038B (zh) 基于改进的深度学习算法模型的睡眠信号自动分期方法
CN115017960B (zh) 一种基于时空联合mlp网络的脑电信号分类方法及应用
CN116584956A (zh) 一种基于轻量级神经网络的单通道脑电瞌睡检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant