CN114998229B - 一种基于深度学习与多参数融合的非接触式睡眠监测方法 - Google Patents

Abstract

本发明是一种基于深度学习与多参数融合的非接触式睡眠监测系统，属于图像处理领域和深度学习领域。该系统首先对获取到的睡眠视频图像进行分割，然后搭建生理信号提取与放大的深层卷积神经网络，通过设置网络不同的放大因子，对额头区域的心率信号和眼睛区域的眼动频率进行放大，得到放大心率信号的额头区域视频图像和放大眼动频率后的眼睛区域视频图像，再利用快速傅里叶变换提取相应频谱，找出频谱峰值对应的频率作为监测到的心率信号和眼动频率。对于三方位躯体视频图像，搭建基于深度学习的睡姿监测神经网络结构，将网络中提取的睡姿特征输入到全连接层进行六分类，分类结果对应为仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿，再通过六种睡姿中的不同睡姿的切换，统计翻身次数。最后综合上述监测到的生理信号，对睡眠质量进行综合评估。本发明具有高舒适度、多参数融合、高度自动化的特点，非接触性的实现了心率、呼吸频率、眼动频率、睡姿、翻身次数等生理参数的监测。

Description

一种基于深度学习与多参数融合的非接触式睡眠监测方法

技术领域

本发明属于图像处理领域和深度学习领域，具体涉及视频图像处理技术和深度卷积网络相结合实现多参数融合的非接触式睡眠监测系统。

技术背景

睡眠过程中，人体的大脑、肌肉、眼睛、心脏、呼吸等的一系列机能都会发生变化，监测这些变化可以促进对人体睡眠质量的判断。睡眠障碍通常是指睡眠量或质的异常或在睡眠时发生某些临床症状，如睡眠减少或睡眠过多，睡眠呼吸障碍，快速眼动睡眠行为障碍等。医学证明，长期具有睡眠障碍的人群会诱发多种疾病，因此及时诊断与治疗睡眠障碍对人类健康有着重要意义。

多导睡眠图被称为睡眠障碍诊断和治疗的金方法，主要监测患者的脑电图、心电图、眼电图、口鼻气流通量、血氧饱和度等通道的生理信号，根据收集到的信号进行诊断。利用多导睡眠图监测时需要在被测者身上安装多种传感器，给被测者带来极大的不舒适感，此外，即使其对很多参数进行监测，医生还是会根据被测者的既往病史和监测期间的主观感受作为评估的依据之一，判读结果带有较强的主观性。随着深度学习的发展，出现了许多小型化的睡眠监测设备，如智能枕头、床垫、手环等。智能枕头、床垫通过压力传感器监测睡眠过程中的压力变化，统计被测者的翻身次数。智能手环佩戴时可监测睡眠时的心率。虽然现有的睡眠监测设备降低了监测过程中佩戴传感器的不舒适感，但其仅能对单一生理参数进行监测，导致睡眠质量的评估结果不准确，不完整。

针对上述睡眠监测中的问题，我们设计了一种基于深度学习与多参数融合的非接触式睡眠监测系统。对于心率和眼动频率，通过深层卷积神经网络从睡眠视频中提取微小生理信号并进行放大，同时抑制伪影的产生，实现有效生理信号放大，最后对放大的生理信号进行频谱分析。对于睡姿和翻身次数，利用卷积神经网络自动提取三方位摄像头获取的视频帧的睡姿特征，并对其进行六分类，其中根据不同睡姿之间的切换可以监测睡眠过程中的翻身次数。

发明内容

本发明针对多导睡眠图的接触性监测给被测者带来不舒适感和人工判读的主观性以及其他睡眠监测设备监测生理参数的单一性等问题，设计了一种基于深度学习与多参数融合的非接触式睡眠监测系统，以实现对于心率、眼动频率、睡姿、翻身次数等多项生理参数的非接触式监测。

本发明技术方案是一种基于深度学习与多参数融合的非接触式睡眠监测方法，该方法包括以下步骤：

步骤1：搭建睡眠监测平台，在测试者身体的上、左、右三个位置分别放置三个摄像头，以获取测试者睡眠过程中的视频图像；

步骤2：对步骤1中位于测试者身体上方摄像头所获视频图像进行图像分割，得到测试者额头区域视频图像和眼睛区域视频图像；

步骤3：搭建生理信号提取与放大的深层卷积神经网络，利用其提取视频中微小的生理信号并进行放大；

步骤4：将步骤2所获额头区域视频图像和眼睛区域视频图像分别输入到步骤3搭建的深层卷积神经网络中，分别提取与放大额头区域的心率信号和眼睛区域的眼动信号，输出放大心率信号后的额头区域视频图像和放大眼动频率后的眼睛区域视频图像；

步骤5：对步骤4所获放大心率信号后的额头区域视频图像中的每一帧图像进行RGB三通道分离，对R、G、B三个通道内的像素点求平均值，然后进行时间序列堆叠，得到脉搏波信号；

步骤6：对步骤5得到的脉搏波信号通过快速傅里叶变换，得到人体脉搏波的时间序列频谱；

步骤7：对步骤6所获时间序列频谱进行频谱分析，选取频谱峰值对应的频率作为心率的监测结果；

步骤8：对步骤4所获放大眼动频率后的眼睛区域视频图像按照时间序列进行堆叠，并进行快速傅里叶变换，得到眼睛区域视频图像频谱；

步骤9：对步骤8所获眼睛区域视频图像频谱提取频谱峰值对应的频率作为眼动频率的监测结果；

步骤10：搭建基于深度学习的睡姿监测神经网络结构，若睡姿监测神经网络未训练完毕，则执行步骤11，若睡姿监测神经网络已经训练完毕，则执行步骤13；

步骤11：预先通过部署在人身体上、左、右的三个摄像头各收集1000张以上测试者睡眠时的图像，对所获图像进行特征标注，人工标注出测试者所处睡姿状态，对应仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿；

步骤12：将所获步骤11标注后的图像数据送入神经网络进行训练，按照8:2的比例划分训练集和验证集对网络进行训练，直至验证集准确度达到95％以上，网络训练完毕；

步骤13：将步骤1中三个摄像头中的测试者三方位躯体视频图像输入训练好的神经网络，并对其进行六分类输出，分类结果对应为仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿；

步骤14：若测试者发生所述步骤13中六种睡姿中任意两种睡姿的切换时，记为一次翻身，但是左侧直卧和左侧蜷卧的相互转换以及右侧直卧和右侧蜷卧的相互转换不计入翻身次数的统计；

步骤15：结合步骤7所获心率参数，步骤9所获眼动频率，步骤13所获睡姿状态，步骤14所获翻身次数，对测试者的睡眠质量结果进行综合评估。

其中，所述步骤2具体为：

步骤2.1：对位于测试者身体上方摄像头所获取的视频图像，调用python中的dlib库，分割出人脸所在区域，提取出测试者脸部视频图像；

步骤2.2：对步骤2.1所获脸部视频图像进行人脸关键点检测，调用python中的dlib库进行人脸关键点检测，得到测试者的人脸68个关键点所处位置；

步骤2.3：通过步骤2.2中所获人脸关键点位置对步骤2.1所获视频图像再次进行图像分割；通过标识人脸左右眼眉毛中心的关键点，以及通过dlib库识别到的人脸的上边界，分割出一块矩形区域的额头区域视频图像；

步骤2.4：通过标识人脸左右眼的关键点，找到代表左眼眼角、右眼眼角、眼眶最上方和眼眶最下方的关键点，通过上述四个关键点分割出一块矩形区域的眼睛区域视频图像；

其中，所述步骤3具体为：

步骤3.1：搭建生理信号提取与放大的深层卷积神经网络的编码器结构，其结构首先为：2个卷积层每个卷积层后均使用Relu激活函数，然后是3个残差网络，再通过一个卷积层提取睡眠视频中的生理信号，其步长设置为2，最后连接两个残差结构输出；

步骤3.2：搭建深层卷积神经网络的调制放大结构，先通过一个卷积层对两帧睡眠图像生理信号的差分进行卷积运算，激活函数为Relu函数，然后乘以放大因子α，再一次利用卷积层和残差结构对放大后的特征进行非线性变化，得到放大的生理信号差分特征；

步骤3.3：搭建深层卷积神经网络的解码器结构，将放大的生理信号差分特征叠加到初始睡眠图像上，再通过上采样和两个卷积层对放大的视频进行解码输出，实现睡眠视频中生理信号的放大。

其中，所述步骤4具体为：

步骤4.1：将步骤2中获得的额头区域视频图像输入到步骤3搭建的深层卷积神经网络中，设置放大因子α＝15，对额头区域的心率进行提取与放大，输出放大心率信号后的额头区域视频图像；

步骤4.2：将步骤2中获得的眼睛区域视频图像输入到步骤3搭建的深层卷积神经网络中，设置放大因子α＝30，对眼睛区域的眼动频率进行提取与放大，输出放大眼动频率后的眼睛区域视频图像；

其中，所述步骤10具体为：

步骤10.1：搭建神经网络结构，包括4个卷积层，3个最大池化层，1个全连接层和1个分类器；

步骤10.2：防止计算量过大，每隔1s提取一次视频当前时刻关键帧，分别从位于测试者身体上、左、右的摄像头中提取1帧图像，组成三通道图像数据输入到步骤10.1的神经网络中；

步骤10.3：步骤10.2中的三通道图像数据分别通过卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，进行图像特征的提取；

步骤10.4：对上述提取的特征输入到全连接层进行六分类，分类结果对应到六种睡姿：仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧。

其中，所述步骤15具体为：

步骤15.1：人在正常睡眠时的心率为每分钟60～100次，深睡时可降低至每分钟50次，对测试者睡眠时的心率进行监测，当心率明显下降时，认为测试者进入深睡期，而当心率逐渐上升时，则认为退出深睡期，最终统计测试者睡眠中深睡期所占比例，深睡期占比越大睡眠质量越高；

步骤15.2：处于睡眠分期中的快速眼动期时，眼球会快速转动，对测试者的眼动进行监测，若眼动频率出现明显变大，结合步骤14.1中的心率上升，可认为测试者进入快速眼动期，统计快速眼动期的持续时间，若快速眼动睡眠突然中断，往往是心绞痛、哮喘等疾病发作的信号；

步骤15.3：平卧被认为是睡眠期间比较好的一种睡姿，但不适合患有呼吸道疾病或是经常打呼噜的人群，而应采用侧卧睡姿；对测试者的睡姿进行监测，若测试者患有呼吸道疾病或是打呼噜，则在他们采用了非侧卧睡姿时对其进行睡姿调整建议；

步骤15.4：对测试者的翻身次数进行监测，若翻身次数过多，则提示测试者可能缺乏钙离子或精神压力大，睡眠质量差。

本发明是一种基于深度学习与多参数融合的非接触式睡眠监测系统，该系统首先对获取到的视频图像进行分割，分割出额头区域视频图像、眼睛区域视频图像、三方位躯体视频图像，然后搭建生理信号提取与放大的深层卷积神经网络，通过设置网络不同的放大因子，对额头区域的心率信号和眼睛区域的眼动频率进行放大，得到放大心率信号的额头区域视频图像和放大眼动频率后的眼睛区域视频图像，再利用快速傅里叶变换提取相应频谱，找出频谱峰值对应的频率作为监测到的心率信号和眼动频率。对于三方位躯体视频图像，搭建基于深度学习的睡姿监测神经网络结构，将网络中提取的睡姿特征输入到全连接层进行六分类，分类结果对应为仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿，再通过六种睡姿中的不同睡姿的切换，统计翻身次d数。最后综合上述监测到的生理信号，对睡眠质量进行综合评估。本发明为测试者提供了一种高舒适度、多参数融合、高度自动化的睡眠监测系统，非接触性的实现了心率、呼吸频率、眼动频率、睡姿、翻身次数等生理参数的监测，提高了监测的可靠性，对睡眠质量的临床诊断及对睡眠障碍患者或潜在患者的临床治疗和尽早干预具有关键作用。

附图说明

图1是生理信号提取与放大的深层卷积神经网络图

图2是心率监测流程图

图3是眼动监测流程图

图4是睡姿、翻身次数监测流程图

图5是睡姿监测神经网络结构图

具体实施方式

下面结合附图，对本发明一种基于深度学习与多参数融合的非接触式睡眠监测系统进行详细说明：

步骤1：搭建睡眠监测平台。在测试者身体的上、左、右三个位置分别放置三个摄像头，以获取测试者睡眠过程中的视频图像；

步骤2：对步骤1中位于测试者身体上方摄像头所获视频图像进行图像分割，得到测试者额头区域视频图像和眼睛区域视频图像；

步骤2.1：对位于测试者身体上方摄像头所获取的视频图像，调用python中的dlib库，分割出人脸所在区域，提取出测试者脸部视频图像；

步骤2.2：对步骤2.1所获脸部视频图像进行人脸关键点检测，调用python中的dlib库进行人脸关键点检测，得到测试者的人脸68个关键点所处位置；

步骤2.3：通过步骤2.2中所获人脸关键点位置对步骤2.1所获视频图像再次进行图像分割。通过标识人脸左右眼眉毛中心的关键点，以及通过dlib库识别到的人脸的上边界，分割出一块矩形区域的额头区域视频图像；

步骤2.4：通过标识人脸左右眼的关键点，找到代表左眼眼角、右眼眼角、眼眶最上方和眼眶最下方的关键点，通过上述四个关键点分割出一块矩形区域的眼睛区域视频图像。

步骤3：搭建生理信号提取与放大的深层卷积神经网络，利用其提取视频中微小的生理信号并进行放大；

步骤3.1：搭建生理信号提取与放大的深层卷积神经网络的编码器结构，其包括2个卷积层和3个残差网络，每个卷积层后均使用了Relu激活函数，然后再通过一个卷积层提取睡眠视频中的生理信号，其步长设置为2，最后连接两个残差结构输出；

步骤3.2：搭建深层卷积神经网络的调制放大结构，先通过一个卷积层对两帧睡眠图像生理信号的差分进行卷积运算，激活函数为Relu函数，然后乘以放大因子α，再利用卷积层和残差结构对放大后的特征进行非线性变化，得到放大的生理信号差分特征；

步骤3.3：搭建深层卷积神经网络的解码器结构，将放大的生理信号差分特征叠加到初始睡眠图像上，再通过上采样和两个卷积层对放大的视频进行解码输出，实现睡眠视频中生理信号的放大。

步骤4：将步骤2所获额头区域视频图像和眼睛区域视频图像分别输入到步骤3搭建的深层卷积神经网络中，分别提取与放大额头区域的心率信号和眼睛区域的眼动信号，输出放大心率信号后的额头区域视频图像和放大眼动频率后的眼睛区域视频图像；

步骤4.1：将步骤2中获得的额头区域视频图像输入到步骤3搭建的深层卷积神经网络中，设置放大因子α＝15，对额头区域的心率进行提取与放大，输出放大心率信号后的额头区域视频图像；

步骤4.2：将步骤2中获得的眼睛区域视频图像输入到步骤3搭建的深层卷积神经网络中，设置放大因子α＝30，对眼睛区域的眼动频率进行提取与放大，输出放大眼动频率后的眼睛区域视频图像；

步骤5：对步骤4所获放大心率信号后的额头区域视频图像中的每一帧图像进行RGB三通道分离，对R、G、B三个通道内的像素点求平均值，然后进行时间序列堆叠，得到脉搏波信号；

步骤6：对步骤5得到的脉搏波信号通过快速傅里叶变换，得到人体脉搏波的时间序列频谱；

步骤7：对步骤6所获时间序列频谱进行频谱分析，选取频谱峰值对应的频率作为心率的监测结果；

步骤8：对步骤4所获放大眼动频率后的眼睛区域视频图像按照时间序列进行堆叠，并进行快速傅里叶变换，得到眼睛区域视频图像频谱；

步骤9：对步骤8所获眼睛区域视频图像频谱提取频谱峰值对应的频率作为眼动频率的监测结果；

步骤10：搭建基于深度学习的睡姿监测神经网络结构，若睡姿监测神经网络未训练完毕，则执行步骤11。若睡姿监测神经网络已经训练完毕，则执行步骤13；

步骤10.1：搭建神经网络结构，包括4个卷积层，3个最大池化层，1个全连接层和1个分类器；

步骤10.2：防止计算量过大，每隔1s提取一次视频当前时刻关键帧，分别从位于测试者身体上、左、右的摄像头中提取1帧图像，组成三通道图像数据输入到步骤10.1的神经网络中；

步骤10.3：步骤10.2中的三通道图像数据分别通过卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，进行图像特征的提取；

步骤10.4：对上述提取的特征输入到全连接层进行六分类，分类结果对应到六种睡姿：仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧。

步骤11：预先通过部署在人身体上、左、右的三个摄像头各收集1000张以上测试者睡眠时的图像，对所获图像进行特征标注，人工标注出测试者所处睡姿状态，对应仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿；

步骤12：将所获步骤11标注后的图像数据送入神经网络进行训练，按照8:2的比例划分训练集和验证集对网络进行训练，直至验证集准确度达到95％以上，网络训练完毕；

步骤13：将步骤1中三个摄像头中的测试者三方位躯体视频图像输入训练好的神经网络，并对其进行六分类输出，分类结果对应为仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿；

步骤14：若测试者发生所述步骤13中六种睡姿中任意两种睡姿的切换时，记为一次翻身，但是左侧直卧和左侧蜷卧的相互转换以及右侧直卧和右侧蜷卧的相互转换不计入翻身次数的统计；

步骤15：结合步骤7所获心率参数，步骤9所获眼动频率，步骤13所获睡姿状态，步骤14所获翻身次数，对测试者的睡眠质量结果进行综合评估。

步骤15.1：人在正常睡眠时的心率为每分钟60～100次，深睡时可降低至每分钟50次。本发明对测试者睡眠时的心率进行监测，当心率明显下降时，认为测试者进入深睡期，而当心率逐渐上升时，则认为退出深睡期。最终统计测试者睡眠中深睡期所占比例，深睡期占比越大睡眠质量越高；

步骤15.2：处于睡眠分期中的快速眼动期时，眼球会快速转动。本发明对测试者的眼动进行监测，若眼动频率出现明显变大，结合步骤14.1中的心率上升，可认为测试者进入快速眼动期，统计快速眼动期的持续时间，若快速眼动睡眠突然中断，往往是心绞痛、哮喘等疾病发作的信号；

步骤15.3：平卧被认为是睡眠期间比较好的一种睡姿，但不适合患有呼吸道疾病或是经常打呼噜的人群，而应采用侧卧睡姿。本发明对测试者的睡姿进行监测，若测试者患有呼吸道疾病或是打呼噜，则在他们采用了非侧卧睡姿时对其进行睡姿调整建议；

步骤15.4：本发明对测试者的翻身次数进行监测，若翻身次数过多，则提示测试者可能缺乏钙离子或精神压力大，睡眠质量差。

Claims (6)

1.一种基于深度学习与多参数融合的非接触式睡眠监测方法，该方法包括以下步骤：

步骤1：搭建睡眠监测平台；在测试者身体的上、左、右三个位置分别放置三个摄像头，以获取测试者睡眠过程中的视频图像；

步骤2：对步骤1中位于测试者身体上方摄像头所获视频图像进行图像分割，得到测试者额头区域视频图像和眼睛区域视频图像；

步骤3：搭建生理信号提取与放大的深层卷积神经网络，利用其提取视频中微小的生理信号并进行放大；

步骤4：将步骤2所获额头区域视频图像和眼睛区域视频图像分别输入到步骤3搭建的深层卷积神经网络中，分别提取与放大额头区域的心率信号和眼睛区域的眼动信号，输出放大心率信号后的额头区域视频图像和放大眼动频率后的眼睛区域视频图像；

步骤5：对步骤4所获放大心率信号后的额头区域视频图像中的每一帧图像进行RGB三通道分离，对R、G、B三个通道内的像素点求平均值，然后进行时间序列堆叠，得到脉搏波信号；

步骤6：对步骤5得到的脉搏波信号通过快速傅里叶变换，得到人体脉搏波的时间序列频谱；

步骤7：对步骤6所获时间序列频谱进行频谱分析，选取频谱峰值对应的频率作为心率的监测结果；

步骤8：对步骤4所获放大眼动频率后的眼睛区域视频图像按照时间序列进行堆叠，并进行快速傅里叶变换，得到眼睛区域视频图像频谱；

步骤9：对步骤8所获眼睛区域视频图像频谱提取频谱峰值对应的频率作为眼动频率的监测结果；

步骤10：搭建基于深度学习的睡姿监测神经网络结构，若睡姿监测神经网络未训练完毕，则执行步骤11；若睡姿监测神经网络已经训练完毕，则执行步骤13；

步骤11：预先通过部署在人身体上、左、右的三个摄像头各收集1000张以上测试者睡眠时的图像，对所获图像进行特征标注，人工标注出测试者所处睡姿状态，对应仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿；

步骤12：将所获步骤11标注后的图像数据送入神经网络进行训练，按照8:2的比例划分训练集和验证集对网络进行训练，直至验证集准确度达到95％以上，网络训练完毕；

步骤13：将步骤1中三个摄像头中的测试者三方位躯体视频图像输入训练好的神经网络，并对其进行六分类输出，分类结果对应为仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿；

步骤14：若测试者发生所述步骤13中六种睡姿中任意两种睡姿的切换时，记为一次翻身，但是左侧直卧和左侧蜷卧的相互转换以及右侧直卧和右侧蜷卧的相互转换不计入翻身次数的统计；

步骤15：结合步骤7所获心率参数，步骤9所获眼动频率，步骤13所获睡姿状态，步骤14所获翻身次数，对测试者的睡眠质量结果进行综合评估。

2.如权利要求1所述一种基于深度学习与多参数融合的非接触式睡眠监测系统，其特征在于步骤2具体为：

步骤2.1：对位于测试者身体上方摄像头所获取的视频图像，调用python中的dlib库，分割出人脸所在区域，提取出测试者脸部视频图像；

步骤2.2：对步骤2.1所获脸部视频图像进行人脸关键点检测，调用python中的dlib库进行人脸关键点检测，得到测试者的人脸68个关键点所处位置；

步骤2.3：通过步骤2.2中所获人脸关键点位置对步骤2.1所获视频图像再次进行图像分割；通过标识人脸左右眼眉毛中心的关键点，以及通过dlib库识别到的人脸的上边界，分割出一块矩形区域的额头区域视频图像；

步骤2.4：通过标识人脸左右眼的关键点，找到代表左眼眼角、右眼眼角、眼眶最上方和眼眶最下方的关键点，通过上述四个关键点分割出一块矩形区域的眼睛区域视频图像。

3.如权利要求1所述一种基于深度学习与多参数融合的非接触式睡眠监测系统，其特征在于步骤3具体为：

步骤3.1：搭建生理信号提取与放大的深层卷积神经网络的编码器结构，其包括2个卷积层和3个残差网络，每个卷积层后均使用了Relu激活函数，然后再通过一个卷积层提取睡眠视频中的生理信号，其步长设置为2，最后连接两个残差结构输出；

步骤3.2：搭建深层卷积神经网络的调制放大结构，先通过一个卷积层对两帧睡眠图像生理信号的差分进行卷积运算，激活函数为Relu函数，然后乘以放大因子α，再利用卷积层和残差结构对放大后的特征进行非线性变化，得到放大的生理信号差分特征；

步骤3.3：搭建深层卷积神经网络的解码器结构，将放大的生理信号差分特征叠加到初始睡眠图像上，再通过上采样和两个卷积层对放大的视频进行解码输出，实现睡眠视频中生理信号的放大。

4.如权利要求1所述一种基于深度学习与多参数融合的非接触式睡眠监测系统，其特征在于步骤4具体为：

步骤4.1：将步骤2中获得的额头区域视频图像输入到步骤3搭建的深层卷积神经网络中，设置放大因子α＝15，对额头区域的心率进行提取与放大，输出放大心率信号后的额头区域视频图像；

步骤4.2：将步骤2中获得的眼睛区域视频图像输入到步骤3搭建的深层卷积神经网络中，设置放大因子α＝30，对眼睛区域的眼动频率进行提取与放大，输出放大眼动频率后的眼睛区域视频图像。

5.如权利要求1所述一种基于深度学习与多参数融合的非接触式睡眠监测系统，其特征在于步骤10具体为：

步骤10.1：搭建神经网络结构，包括4个卷积层，3个最大池化层，1个全连接层和1个分类器；

步骤10.2：防止计算量过大，每隔1s提取一次视频当前时刻关键帧，分别从位于测试者身体上、左、右的摄像头中提取1帧图像，组成三通道图像数据输入到步骤10.1的神经网络中；

步骤10.3：步骤10.2中的三通道图像数据分别通过卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，2×2的最大池化层，卷积核为10×10的卷积层，进行图像特征的提取；

步骤10.4：对上述提取的特征输入到全连接层进行六分类，分类结果对应到六种睡姿：仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧。

6.如权利要求1所述一种基于深度学习与多参数融合的非接触式睡眠监测系统，其特征在于步骤15具体为：

步骤15.1：人在正常睡眠时的心率为每分钟60～100次，深睡时可降低至每分钟50次；对测试者睡眠时的心率进行监测，当心率明显下降时，认为测试者进入深睡期，而当心率逐渐上升时，则认为退出深睡期；最终统计测试者睡眠中深睡期所占比例，深睡期占比越大睡眠质量越高；

步骤15.2：处于睡眠分期中的快速眼动期时，眼球会快速转动；对测试者的眼动进行监测，若眼动频率出现明显变大，结合步骤14.1中的心率上升，可认为测试者进入快速眼动期，统计快速眼动期的持续时间，若快速眼动睡眠突然中断，往往是心绞痛、哮喘等疾病发作的信号；

步骤15.3：平卧被认为是睡眠期间比较好的一种睡姿，但不适合患有呼吸道疾病或是经常打呼噜的人群，而应采用侧卧睡姿；对测试者的睡姿进行监测，若测试者患有呼吸道疾病或是打呼噜，则在他们采用了非侧卧睡姿时对其进行睡姿调整建议；

步骤15.4：对测试者的翻身次数进行监测，若翻身次数过多，则提示测试者可能缺乏钙离子或精神压力大，睡眠质量差。