CN113925459B - 一种基于脑电特征融合的睡眠分期方法 - Google Patents

Abstract

一种基于脑电特征融合的睡眠分期方法，利用小波变换提取小波时频图像，并分别利用一维卷积神经网络和VGG网络提取原始信号特征和小波特征，然后进行特征融合并利用时序卷积网络进行睡眠分期，实现五分类的睡眠分期任；本发明克服了现有自动睡眠分期技术的缺点，降低了睡眠分期的复杂度和成本，同时提高了睡眠分期精准度，具有很广泛的适用场景，可以方便应用于监护病房、睡眠科室和家庭睡眠监测等领域，还可以方便移植于便携式设备中，促进移动医疗的发展，具有通用、易于实现、经济的特点。

Description

一种基于脑电特征融合的睡眠分期方法

技术领域

本发明属于生物医学信号处理技术领域，特别涉及一种基于脑电特征融合的睡眠分期方法，是一种基于脑电信号处理、小波变换和时序卷积网络的脑电特征融合的睡眠分期方法。

背景技术

睡眠是人类最重要的生理活动之一，人的一生有超过三分之一的时间处在睡眠状态中，睡眠的质量是人的生活质量的基础和前提，足够的睡眠对于大脑的充分休息和维持大脑的稳定十分重要。睡眠不足将会引发严重的健康问题，导致心血管疾病、肥胖症等身体疾病，此外睡眠问题还被证实与抑郁症、焦虑症等心理疾病有着密切联系。准确的睡眠分期能够量化睡眠质量，对于检测睡眠相关的疾病具有至关重要的作用。在临床上，通常使用多睡眠导图(PSG)来记录患者整晚的生理信号，并通过这些生理信号表现出的特点，进一步进行睡眠分期。PSG通常包括多通道脑电图(EEG)、心电图(ECG)、眼电图(EOG)、肌电图(EMG)以及胸腹呼吸信号等。经验丰富的睡眠专业医师会对这些信号以20或30秒进行分段标注，划分阶段。睡眠医学经过多年发展，已经形成一套分期标准体系，现在最为常用的是美国睡眠医学学会(American Academy of SleepMedicine,AASM)制定的睡眠分期标准，AASM标准以30s为周期划分PSG片段，将睡眠状态分为五种：清醒(Wake)、三类非快速眼动期(NREM)、快速眼动期(REM)，其中NREM包括3个阶段：N1、N2、N3。然而，以PSG为基础的睡眠分期技术在实际应用中往往复杂又昂贵。PSG信号需要在专业的睡眠实验室中采集，在采集过程中需要在受试者身体多数贴电极，降低了受试者睡眠的舒适度，进而使结果偏离受试者睡眠的真实情况，同时昂贵的检测费用也使得普通患者难以长期维持。所以探索一种可用于便携式家用设备的高精度睡眠分期方法是具有一定意义的。脑电信号由大脑活动产生，直接反映了人在睡眠期间的大脑状态，因此精度最高，使用单通道脑电同时也降低了信号采集的复杂程度。

已有的研究主要包括两类：第一，基于计算特征的机器学习方法。J.Zhou等人在EEG子频段上提取了包括统计特征和熵特征等109个特征，构建了一个以改良决策树和改良随机森林算法为主的分类器；C.Kuo等人从EEG中提取频域、时域、能量共24维特征后，使用多层双向LSTM构建了睡眠分期模型。基于计算特征的机器学习方法能达到一定的准确率，且提取的特征具有生理意义，这使得结果具有一定的可解释性，但是这类方法需要复杂的计算，耗时较长，这使得模型的计算成本高，且模型性能仍有不足。第二，基于原始信号的深度学习方法；A.Supratak等人构建了一个两阶段的深度神经网络模型，一阶段由大、小卷积网络组成，二阶段由双向LSTM和残差块组成，通过过采样和两阶段训练，构建了睡眠分期模型；Zhu,T等人使用Attention机制构建了一个神经网络，分为片段内和片段间注意力模块，同时学习每个片段内和片段间的时序特征，并进行睡眠分期。基于原始信号的深度学习的方法可以方便的使用原始脑电信号来构建模型，灵活性好，但由于提取的特征是无具体意义的抽象特征，难以从睡眠医学角度解释。

小波变换(Wavelet Transform,WT)是一种时频变换分析方法，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具。它的主要特点是通过变换能够充分突出问题某些方面的特征，能对时间(空间)频率的局部化分析，通过伸缩平移运算对信号逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。时序卷积网络(TemporalConvolution Network,TCN)是一种具有强大的时序数据处理能力的网络结构，不同于LSTM、GRU等RNN结构的时序网络，TCN跳出了RNN这个框架，利用CNN衍生出的TCN结构在很多任务中了取得超过LSTM、GRU的效果。TCN的设计十分巧妙，通过堆叠膨胀卷积层，使自身的结构具有因果卷积的性质，可以跨时间步提取特征。TCN主要包含若干个残差块，每个残差块的膨胀系数指数级增长，然后将对应位置的隐向量加起来得到时序隐向量。Colin Lea等人将TCN用于连续动作识别，证实了其处理时序数据的有效性。

综上所述，目前关于单通道脑电自动睡眠分期的研究方法都存在一定的局限性，模型性能和精度及可解释性上都有待提高，将两种研究思路结合起来，基于特征融合的模型具有巨大的探索价值，并且目前还没有将小波变换和TCN应用于睡眠分期的文献公开。

发明内容

为了克服现有自动睡眠分期技术的缺点，本发明的目的在于提供一种基于脑电特征融合的睡眠分期方法，基于小波变换和TCN利用单通道脑电信号的自动睡眠分期，即利用小波变换提取小波时频图像，并分别利用一维卷积神经网络1D-CNN(DimensionConvolutional Neural Network)和VGG(Visual Geometry Group)网络提取原始信号特征和小波特征，然后进行特征融合并利用TCN进行睡眠分期，实现五分类的睡眠分期任务，具有通用、易于实现、经济的特点。

为了达到上述目的，本发明采用的技术方案为：

一种基于脑电特征融合的睡眠分期方法，包括以下步骤：

步骤一：信号采集

利用脑电信号采集仪器，采集单通道脑电信号；

步骤二：信号处理

对采集得到的单通道脑电信号进行初步滤波，然后对信号进行分段；

步骤三：模型构建

模型的训练包括两步：首先分别以脑电信号作为输入，预训练卷积神经网络1D-CNN并提取原始脑电特征，以小波时频图作为输入，预训练VGG并提取小波时频特征；然后将两种特征融合作为时序卷积网络TCN的输入，最终经过微调得到睡眠分期模型；

步骤四：睡眠分期

使用步骤三中得到的睡眠分期模型，以待预测的脑电信号和对应的小波图像作为输入，对需要检测的睡眠脑电信号进行5分类：分为清醒(W)，非快速眼动1期(N1)，非快速眼动2期(N2)，非快速眼动3期(N3)，以及快速眼动期(R)，得到睡眠分期结果。

所述的步骤二具体为：

(1)原始脑电信号：

将连续的L个脑电信号片段序列作为第一种输入，即X_raw＝{x₁,x₂,x₃,…,x_L}；

(2)小波时频图像：

使用连续小波变换CWT计算每个片段的小波时频图，并缩小小波时频图的时间分辨率，x_wave＝CWT(x_raw,shape)；同样，将连续L个小波时频图像序列作为第二种输入，X_wave＝{x₁,x₂,x₃,…,x_L}。

所述的步骤三具体为：

(1)、使用均衡采样算法，将训练集中每一个类别的样本重复采样至数量相等，X_btran＝BalanceResample(X)；

(2)、卷积神经网络1D-CNN由四个卷积层和两个池化层组成，卷积层包括卷积、激活、批归一化操作，池化层包括做大池化和Dropout操作；以均衡采样的原始脑电信号作为输入，通过卷积神经网络1D-CNN提取原始脑电特征：A_raw＝1D-CNN(X_{raw_btran})；预训练阶段，在最后接全连接层输出睡眠分期结果进行训练，Class_raw＝Softmax(A_raw)；

(3)、VGG由五个卷积池化块组成，每个卷积池化块由两个卷积层和一个最大池化层组成，以均衡采样的小波时频图像作为输入，通过VGG提取小波特征：A_wave＝VGG(X_{wave_btran})。预训练阶段，在最后接全连接层输出睡眠分期结果进行训练，Class_wave＝Softmax(A_wave)；

(4)、在时序卷积网络TCN训练阶段，微调1D-CNN和VGG，将两者的中间输出拼接：A_cat＝Concatenate(A_raw,A_wave)；并将连续L个序列连接作为TCN的输入向量：A＝{A_cat1,A_cat2,A_cat3,…,A_catL}，进行特征融合和模型的第二步训练；TCN由连续的四个膨胀残差块组成，每个膨胀残差块又由两个膨胀卷积层和一个残差卷积层组成；通过四个膨胀残差块依次计算特征向量；最后将四个膨胀残差块的输出相加，并求全局平均池化，并接入全连接层得到分类结果。

本发明的优点是：为了克服现有自动睡眠分期技术的缺点，本发明提出了一种通用、易于实现、经济的睡眠分期方法。首先，本发明应用的生理信号仅有单通道脑电信号，易于获得且操作简洁。其次，本发明使用了小波变换，有效提取睡眠脑电信号的时频特征，并使用了TCN，高效利用了睡眠过程中生理信号作为时间序列前后的相关性，提高睡眠分期的精度。最后，本发明具有很广泛的适用场景，可以方便应用于监护病房、睡眠科室和家庭睡眠监测等领域，还可以方便移植于便携式设备中，促进移动医疗的发展。

附图说明

图1是本方法的整体框图。

图2是1D-CNN的网络结构。

图3是VGG的网络结构。

图4是TCN的网络结构。

图5是睡眠分期的混淆矩阵和评价指标。

具体实施方式

为了更加清楚说明本发明的操作过程，下面结合附图及实例对本发明做详细描述。

参照图1，一种基于脑电特征融合的睡眠分期方法，包括以下步骤：

步骤一：信号采集

利用脑电信号采集仪器，采集单通道脑电信号。

步骤二：信号处理

对采集得到的单通道脑电信号进行预处理，使用滤波器进行初步滤波，确定采样频率fs＝100Hz，然后将30s作为一个片段对信号进行分段。

(1)原始脑电信号：

将连续的50个脑电信号30s片段序列作为第一种输入，即

(2)小波时频图像：

以morlet作为小波母函数，使用连续小波变换(Continuous Wavelet TransformCWT)计算每个30s片段的小波时频图，得到30*3000大小的小波时频图像，即频率维大小30，时间维大小3000，并通过求15窗口均值的方式缩小时间分辨率至200，最终得到30*200的小波时频图像，同样将连续50个小波时频图像序列作为第二种输入。

步骤三：模型构建

模型的训练包括两步：首先分别以脑电信号作为输入，使用一维卷积神经网络1D-CNN提取原始脑电特征，以小波时频图作为输入，使用VGG提取小波时频特征；然后将两种特征融合作为时序卷积网络TCN的输入，最终经过微调得到睡眠分期模型。

(1)使用均衡采样算法，统计每条样本记录中各类别的数量，然后将训练集中每一个类别的样本随机重复采样至数量相等。

(2)参照图2，1D-CNN采用六层网络结构，包括4个卷积层和2个池化层。每个卷积层包括卷积、激活和批归一化操作，卷积核个数均为128，激活函数为ReLU。第一层卷积层卷积核大小为fs/2，步长为fs/4；后三层卷积层卷积核大小为8，步长为1。每个池化层包括最大池化和Dropout操作，Dropout概率为0.5，第一层池化大小为8，池化步长为8；第二层池化大小为4，池化步长为4。预训练阶段，将特征向量展平后接大小为5的全连接层输出睡眠分期结果，学习率设置为1e-5进行训练。

(3)参照图3，VGG共包含连续的五个卷积池化块，每个卷积池化块包括两个卷积层和一个最大池化层，前四个卷积池化块是二维的，卷积核大小为3*3，池化大小为2*2；最后一个卷积池化块只在时间维度上进行卷积和池化，卷积核大小为3，池化大小为2。预训练阶段，将特征向量展平后接大小为5的全连接层输出睡眠分期结果，学习率设置为1e-5进行训练。

(4)参照图4，在时序卷积网络TCN训练阶段，将预训练好的1D-CNN和VGG的特征向量拼接，作为TCN的输入；即微调1D-CNN和VGG，将两者的中间输出拼接：A_cat＝Concatenate(A_raw,A_wave)；并将连续L个序列连接作为TCN的输入向量：A＝{A_cat1,A_cat2,A_cat3,…,A_catL}，进行特征融合和模型的第二步训练。

TCN由连续的四个膨胀残差块(Dilation Residual Block,DR)组成，膨胀系数分别为1，2，4，8，卷积核个数均为128，每个膨胀残差块由两个膨胀卷积层和一个残差卷积层组成；通过四个膨胀残差块依次计算特征向量：D₁＝DR(A)，D₂＝DR(D₁),D₃＝DR(D₂),D₄＝DR(D₃)；最后将四个膨胀残差块的输出相加，并求全局平均池化(Global Average Pooling,GAP)：S＝GAP(Add(D₁,D₂,D₃,D₄))，并接入全连接层得到分类结果：Class＝Softmax(S)，即将特征向量展平后接大小为5的全连接层输出睡眠分期结果。此阶段1D-CNN和VGG的学习率设置为1e-7，TCN的学习率设置为1e-5进行训练。

步骤四：睡眠分期

使用步骤三中得到的睡眠分期模型，以待预测的脑电信号和对应的小波图像作为输入，将睡眠阶段分为清醒(W)，非快速眼动1期(N1)，非快速眼动2期(N2)，非快速眼动3期(N3)，以及快速眼动期(R)，得到结果。

使用Sleep Heart Health Study(SHHS)S1数据集5792个样本，按照8：1：1比例划分训练、验证、测试集，最终可得睡眠分期5分类准确率87.31％，混淆矩阵和评价参数参照图5。

其中Acc表示模型的准确率，即真阳性样本的在全部样本中的占比：

真阳性(True Postive，TP)，假阳性(False Positive，FP)，假阴性(FalseNegative，FN)，真阴性(True Negative，TN)。

MF1为每一类F1指标的平均值，其中F1、Pr、Re指标定义为：

Kappa系数的定义如下：

其中：p_o表示总体的准确率；

ti表示每一类真实的样本个数，p_i表示模型预测出来的每一类预测的样本个数，N为样本总数。

Claims (1)

1.一种基于脑电特征融合的睡眠分期方法，其特征在于，包括以下步骤：

步骤一：信号采集

利用脑电信号采集仪器，采集单通道脑电信号；

步骤二：信号处理

对采集得到的单通道脑电信号进行初步滤波，然后对信号进行分段；具体为：

(1)原始脑电信号：

将连续的L个脑电信号片段序列作为第一种输入，即X_raw＝{x₁,x₂,x₃,…,x_L}；

(2)小波时频图像：

使用连续小波变换CWT计算每个片段的小波时频图，并缩小小波时频图的时间分辨率，x_wave＝CWT(x_raw,shape)；同样将连续L个小波时频图像序列作为第二种输入，

步骤三：模型构建

模型的训练包括两步：首先分别以脑电信号作为输入，预训练卷积神经网络1D-CNN并提取原始脑电特征，以小波时频图作为输入，预训练VGG并提取小波时频特征；然后将两种特征融合作为时序卷积网络TCN的输入，最终经过微调得到睡眠分期模型，具体为：

(1)使用均衡采样算法，将训练集中每一个类别的样本重复采样至数量相等，X_btran＝BalanceResample(X)；

(2)卷积神经网络1D-CNN由四个卷积层和两个池化层组成，卷积层包括卷积、激活、批归一化操作，池化层包括做大池化和Dropout操作；以均衡采样的原始脑电信号作为输入，通过卷积神经网络1D-CNN提取原始脑电特征：A_raw＝1D-CNN(X_{raw_btran})；预训练阶段，在最后接全连接层输出睡眠分期结果进行训练，Class_raw＝Softmax(A_raw)；

(3)VGG由五个卷积池化块组成，每个卷积池化块由两个卷积层和一个最大池化层组成，以均衡采样的小波时频图像作为输入，通过VGG提取小波特征：A_wave＝VGG(X_{wave_btran})；预训练阶段，在最后接全连接层输出睡眠分期结果进行训练，Class_wave＝Softmax(A_wave)；

(4)在时序卷积网络TCN训练阶段，微调1D-CNN和VGG，将两者的中间输出拼接：A_cat＝Concatenate(A_raw,A_wave)；并将连续L个序列连接作为TCN的输入向量：A＝{A_cat1,A_cat2,A_cat3,…,A_catL}，进行特征融合和模型的第二步训练；TCN由连续的四个膨胀残差块组成，每个膨胀残差块又由两个膨胀卷积层和一个残差卷积层组成；通过四个膨胀残差块依次计算特征向量；最后将四个膨胀残差块的输出相加，并求全局平均池化，并接入全连接层得到分类结果；

步骤四：睡眠分期

使用步骤三中得到的睡眠分期模型，以待预测的脑电信号和对应的小波图像作为输入，对需要检测的睡眠脑电信号进行5分类：分为清醒(W)，非快速眼动1期(N1)，非快速眼动2期(N2)，非快速眼动3期(N3)，以及快速眼动期(R)，得到睡眠分期结果。

Images