CN110367934B - 一种基于非语音身体声音的健康监测方法及监测系统 - Google Patents

Abstract

本发明公开了一种基于非语音身体声音的健康监测方法及监测系统，利用人体非语音的声音信号与人体心理与生理状态的联系来对其进行识别与监测。该系统包括安装在身体各部位的声音采集装置和智能终端，其中可穿戴声音采集装置用来采集人体所发出的各部位非语音的身体声音，将采集到的数据传输到智能终端进行数据处理；终端对接收到的声音信号进行同步并进行数据处理，获取心理与生理健康监测结果反馈给用户并予以对应的处理措施。本发明的硬件成本低，携带及使用方便，能够实现对心理和生理健康随时随地的监控，不引起用户注意，适合日常及长期使用。

Description

一种基于非语音身体声音的健康监测方法及监测系统

技术领域

本发明属于健康监测装置及监测方法领域，具体涉及一种基于非语音身体声音的健康监测方法及监测系统。

背景技术

如今，随着时代的发展，人们的生活节奏越来越快，生活压力不断增大，越来越多的人出现情绪波动大，情绪长期低落压抑，而患上了抑郁症、焦虑症等，越来越多的人因为熬夜、精神压力大或过度焦虑，饮食不规律等而住进病房、患上各种疾病，甚至是猝死，因此能够及时而连续地监测心理与生理健康并予以情绪舒缓、健康诊断及提示就显得十分重要。

为了实现情绪的监测，目前现有技术主要有几种：

(1)基于面部表情的情绪识别，这种方法需要利用摄像头不断地跟踪面部表情变化，价格昂贵，需用户主动配合，存在隐私问题，且容易伪装无法测到真实的内部情绪。

(2)基于语音信号的情绪识别，该方法通过对语音的语义内容进行分析或者对说话者的说话韵律进行分析，同样有泄露用户语音内容的风险，且受个体表达情绪的习惯差异影响较大，同样容易伪装无法测到真实的内部情绪，需用户说话时才能进行监测，需用户配合才能使用。

(3)基于生理信号的情绪识别，如常见的生理信号有脑电信号、肌电信号，皮肤电信号，心电信号、脉搏信号、呼吸信号等，这种方法与人的内部情绪状态更相关，是因为人的生理信号只受自主神经系统和内分泌系统的支配，然而为测到精准的生理信号这种方案的设备通常较为笨重，不方便携带，有碍于用户的日常活动。

(4)基于身体移动/姿势/手势的情绪识别，通过摄像头获取人的动作图像或者通过IMU惯性单元对人体动作的速度、加速度、持续时间等物理信息进行分析，识别身体移动/姿势/手势各种情绪下的典型模式而得到情绪类别，该方法仍然具体隐私风险且受个体表达习惯差异影响。

(5)基于多模态的情绪识别，该方法综合以上技术的2种及以上的不同信号，虽然具有准确性的优越性，但是同时兼具了他们的缺点。

综上所述，几种监测方法具备如下的缺点：

设备较笨重繁琐，不方便日常随身携带，监测过程繁琐且不能够实时监测；

主观因素多，容易泄露隐私；

数据获取及数据处理不够精确，容易产生误差。

为实现生理健康数据的监测，目前主要由专业医生及医学仪器进行诊断，如心电图机等，而该方法无法做到及时且连续的监测，且便携式的相关仪器仍然笨重携带不方便，需用户主动去使用容易打击用户的积极性。以及还有一些其他的监测心率的手环、耳机等，功能较为单一。

发明内容

本发明所要解决的技术问题是：提供一种基于非语音身体声音的健康监测方法及监测系统，解决了现有技术中健康监测设备不能够随身携带，不能够实时监测且数据处理及识别不够精确的问题。

本发明为解决上述技术问题采用以下技术方案：

一种基于非语音身体声音的健康监测系统，包括设置在身体各部位的采集装置和监控终端；所述采集装置包括声音采集器、通信模块、电源模块、位置固定器件；其中，声音采集器用于采集声音信号，通信模块用于实现采集装置与监控终端之间的数据传输，位置固定器件用于固定采集装置；监控终端用于处理接收到的声音信号，并生成监控数据进行存储和显示。

声音采集器包括麦克风或振动模块。

所述采集装置设置在身体上任意一个或多个部位。

一种基于非语音身体声音的健康监测方法，包括如下步骤：

步骤1、应用安装在身体各部位的采集装置采集原始声音信号，并通过通信模块传输至监控终端；

步骤2、监控终端对接收到的原始声音信号进行同步并进行数据融合，获取同步声音信号；

步骤3、对同步声音信号进行数据处理，获取心理与生理健康判定结果，并将结果反馈给用户。

所述步骤3对同步声音信号进行数据处理的具体步骤如下：

步骤3-1、对同步声音信号使用窗函数进行分帧、加窗，将同步声音信号分割为多个窗口；

步骤3-2、对每个窗口内的数据进行滤波，根据预先训练好的声音二分类器，获取身体非语音声音信号；

步骤3-3、将获取的身体非语音声音信号与健康监测子模块里的信息对比，获取心理、生理特征；

步骤3-4、将得到的心理、生理特征生成健康报告，在监控终端显示并存档。

步骤3-2中的声音二分类器包括语音声音片段和非语音身体声音片段，根据如下方法建立：

步骤3-2a、收集一定数量的包含语音信息的语音声音片段和不包含语音信息的非语音身体声音片段；

步骤3-2b、分别为语音声音片段和非语音身体声音片段打上对应的标签；

步骤3-2c、从所有的声音数据中提取出数据特征信息；

步骤3-2d、应用声音特征和对应的标签，通过机器学习、深度学习的方法，训练出一个用来判断是否有无语音信息的二类分类器，即建立一个声音特征与该片段有无语音信息的映射关系。

步骤3-3中健康监测子模块根据如下方法建立：

步骤3-3a、收集一定数量的与健康相关的非语音声音数据；

步骤3-3b、为所有的非语音声音数据打上对应的标签；

步骤3-3c、从非语音声音数据中提取出声音特征信息；

步骤3-3d、应用提取出的声音特征信息和对应标签，通过机器学习、深度学习的方法，训练出健康相关数据分类器，即建立一个非语音声音特征与健康相关数据的映射关系；

步骤3-3e、实时获取健康相关的非语音声音特征信息，应用该健康相关数据分类器，获取健康监测数据。

所述健康监控子模块包括情绪监测模块，疾病监测模块、饮食监测模块、睡眠监测模块。

与现有技术相比，本发明具有以下有益效果：

1、该系统的各个数据获取终端做成可穿戴声音采集装置，用来采集人体所发出的各部位非语音的身体声音，包括但不限于喉咙、耳部、鼻腔、口腔等部位，在保护用户隐私的情况下，不受时间和地点的限制，连续且实时地对用户内在的心理和生理健康情况进行监测，并予以情绪舒缓及健康提醒等措施，并生成健康报告。

2、硬件成本低，携带及使用方便，适合日常及长期使用。

3、该方法采集与健康相关的一系列数据，并通过深度学习、机器学习训练成与健康相关的各类分类器，实时采集用户非语音身体声音数据，根据分类器的信息，获取健康相关数据，监测实时准确。

附图说明

图1为本发明安装在身体局部的采集声音装置示意图。

图2为本发明健康监测方法的工作流程图。

图3为本发明非语音身体声音处理流程图。

其中，图中的标识为：1-耳部采声装置；2-喉咙采声装置。

具体实施方式

下面结合附图对本发明的结构及工作过程作进一步说明。

一种基于非语音身体声音的健康监测系统，包括设置在身体各部位的采集装置和监控终端；所述采集装置包括声音采集器、通信模块、电源模块、位置固定器件；其中，声音采集器用于采集声音信号，通信模块用于实现采集装置与监控终端之间的数据传输，位置固定器件用于固定采集装置；监控终端用于处理接收到的声音信号，并生成监控数据进行存储和显示。

声音采集器包括麦克风或振动模块。

所述采集装置设置在身体上任意一个或多个部位。

该系统的启动可以采用系统自动或用户手动通过按钮将安装在身体各部位的采集装置打开，所述安装在身体各部位的采集装置包括但不限于安装在耳部、喉咙、鼻腔、口腔等部位。

具体实施例一，如图1所示：

一种基于非语音身体声音的健康监测系统，包括耳部采声装置1、喉咙采声装置2和监控终端；所述耳部采声装置为具有采声麦克风的入耳式耳机，喉咙采声装置为挂绳式佩戴于颈部的声音采集装置，采声装置包括声音采集器、通信模块、电源模块、位置固定器件；其中，耳部采声装置的声音采集器为安装在入耳式耳机壳体上的麦克风，用于采集耳道内的声音信号，喉咙采集装置用于采集喉咙部位的声音信号，包括咳嗽、气管音、呼吸音和鼾声等，通信模块用于实现采集装置与监控终端之间的数据传输，位置固定器件用于固定采集装置；监控终端可以为用户本身的手机、监护人的手机或者安装在家中的电脑等，用于处理接收到的声音信号，并生成监控数据进行存储和显示。

该健康监测系统的具体工作原理及工作过程如下：

将入耳式耳部采声装置塞入耳道内，喉咙采声装置佩戴于颈部，启动采声装置上声音监测的麦克风按钮键，利用采声装置上的麦克风或振动模块采集各部位的原始声音信号，在采集耳道声音的同时亦可通过耳机正常播放音乐等，耳部采声装置上的麦克风获取的耳道内的声音信号经过放大电路放大后输出至耳机控制器，耳机控制器控制通信模块发送获取的声音数据至外部监控终端,喉咙采声装置上的麦克风获取喉部的声音信号经过放大电路后输出至喉部控制器，喉部控制器控制通信模块发送获取的声音数据至外部监控终端，外部监控终端对收到的各处声音信号进行同步并进行数据融合，获取同步声音信号。外部监控终端对同步声音信号进行处理，包括分帧、滤波等，然后通过判断是否有无语音信息的二类分类器提取出非语音声音信号片段，并根据非语音声音数据获取情绪数据特征、疾病数据特征、饮食数据特征、睡眠数据特征，然后将数据特征输入至预先训练好的情绪监测模块、疾病监测模块、饮食监测模块、睡眠监测模块中，各模块根据输入的数据特征推理出情绪状态信息、疾病状态信息、饮食状态信息和睡眠状态信息，对得到的心理和生理健康状态进行显示并存档，生成健康报告并存档，并予以语音调节、歌曲推荐等措施。

基于上述系统，本发明还公开了一种基于非语音身体声音的健康监测方法，如图2所示，包括如下步骤：

步骤1、启动安装在身体各部位的采集装置，采集相应部位的原始声音信号，并通过通信模块传输至监控终端；

步骤2、监控终端对接收到的原始声音信号进行同步并进行数据融合，获取同步声音信号；

步骤3、对同步声音信号进行数据处理，获取心理与生理健康判定结果，并将结果反馈给用户。

所述步骤3对同步声音信号进行数据处理，如图3所示，其具体步骤如下：

步骤3-1、对同步声音信号使用窗函数进行分帧、加窗，将同步声音信号分割为多个窗口；可以采用但不限于汉明窗对数据进行分帧、加窗；

步骤3-2、由于所收集的声音信号还包含背景噪声及硬件噪声，包括但不限使用小波滤波、均值滤波、巴特沃斯滤波器等，对每个窗口内的数据进行滤波，根据预先训练好的判断是否有无语音信息的声音二分类器，获取身体非语音声音信号；

步骤3-3、将获取的身体非语音声音信号与健康监测子模块里的信息对比，获取心理、生理状态特征；通过特征提取、特征选择、模型训练等步骤建立心理与生理健康监测子模块；

步骤3-4、将得到的心理、生理状态特征生成健康报告，在监控终端显示并存档。

所述步骤3-2中的声音二分类器是用来区分获取的声音数据中是否包含语音信息的，因为传感器一直在采集数据，但是若采集的数据包含用户的语音信息，则有泄露用户隐私的风险，故只需提取出并利用非语音的身体声音数据片段来进行情绪、疾病、饮食、睡眠的监测，而包含语音信息的声音片段则被丢弃。因此该二分类器将传感器采集的声音数据分为两类：1.包含语音信息的语音声音片段；2.不包含语音信息的非语音身体声音片段。对每个窗口的数据进行分类，只保留非语音身体声音信号进行后续的处理以保证用户的隐私安全。所述非语音身体声音信号包括但不限于心脏跳动声、气管音、呼吸音、笑声、哭声、咳嗽音、叹气音等一切非语音的身体发出的声音。

具体的建立方法如下：

步骤3-2a、收集一定数量的包含语音信息的语音声音片段和不包含语音信息的非语音身体声音片段；

步骤3-2b、分别为语音声音片段和非语音身体声音片段打上对应的标签；

步骤3-2c、从所有的声音数据中提取出特征信息；

步骤3-2d、应用声音特征和对应的标签，通过机器学习、深度学习的方法，训练出一个用来判断是否有无语音信息的二类分类器，即建立一个声音特征与该片段有无语音信息的映射关系。

当进行健康监测时，将获取的声音数据通过特征提取，然后将特征输入到建立好的二分类器，二分类器根据训练好的映射关系自动推理出该声音片段是否包含语音信息，若包含语音信息则丢弃该片段，若不包含，则将该片段提取出来并输入到监测模块。

对于采集的声音信号，包括但不限于采用时频变换技术提取出时域与频域特征，包括但不限于使用快速傅里叶变换，短时傅里叶变换，维格纳-威尔分布Wigner-VilleDistribution(WVD)、小波变换等技术；提取出包括但不限于时频图、梅尔频谱系数、梅尔频率倒谱系数、均方根、过零率、频谱熵等特征，及原始声音信号等时域波形特征。

所述步骤3-3中健康监测子模块根据如下方法建立：

步骤3-3a、收集一定数量的与健康相关的非语音声音数据；

步骤3-3b、为所有的非语音声音数据打上对应的标签；

步骤3-3c、从非语音声音数据中提取出声音特征信息；

步骤3-3d、应用提取出的声音特征信息和对应标签，通过机器学习、深度学习的方法，训练出健康相关数据分类器，即建立一个非语音声音特征与健康相关数据的映射关系；

步骤3-3e、实时获取健康相关的非语音声音特征数据，应用该健康相关数据分类器，获取健康监测信息。

具体实施例二，以健康监控子模块包括情绪监测模块，疾病监测模块、饮食监测模块、睡眠监测模块为例，对本方案的健康监测子模块的建立以及应用做进一步的详细说明。

(1)情绪监测模块：

对不同的情绪进行识别，如快乐、悲伤、愤怒、恐惧、无情绪等，包括但不限于以上情绪，且长期对情绪进行追踪，监测是是否有心理疾病的发生如抑郁症等。

首先，在情绪分类器的建立阶段，通过收集一定数量的不同情绪下的非语音声音数据并为不同的情绪下的声音数据打上对应的情绪标签，情绪标签包括但不限于快乐、悲伤、恐惧、愤怒等(可参见普拉切克情绪模型)，情绪标签为普拉切克情绪模型中的至少一种；

然后，从声音数据中提取出特征，利用这些特征和对应的标签，通过机器学习、深度学习的方法，训练出情绪分类器，即建立一个非语音声音特征与情绪的映射关系；

当进行情绪监测时，将获取的非语音数据通过特征提取，然后将特征输入到建立好的情绪分类器中，分类器根据训练好的映射关系推理出对应的情绪。如将一张非语音信息的时频图(不仅限于时频图特征，还可以有更多的其他数据特征)作为特征图输入至预先训练好的卷积神经网络(不仅限于这一种网络结构，可以是单一或者复合的各种机器学习/深度学习分类算法及结构)情绪分类器中，分类器给出判定为各类别情绪的概率，选择最大概率对应的情绪作为结果输出，即得到该非语音片段对应的情绪状态。

(2)疾病监测模块：

对不同的疾病进行检测，包括但不限于帕金森症、肺炎、心律失常、感冒等疾病。

首先，在疾病分类器的建立阶段，通过收集一定数量的不同疾病下的非语音声音数据并为不同的疾病声音数据打上对应的疾病标签，疾病包括但不限于咳嗽、哮喘、肺炎等；

然后，从声音数据中提取出特征，利用这些特征和对应的标签，通过机器学习、深度学习的方法，训练出疾病分类器，即建立一个非语音声音特征与疾病的映射关系；

当进行疾病监测时，将获取的非语音数据通过特征提取，然后将特征输入到建立好的疾病分类器，分类器根据训练好的映射关系推理出分类结果。如将一张非语音信息的时频图(不仅限于时频图特征，还可以有更多的其他数据特征)作为特征图输入至预先训练好的卷积神经网络(不仅限于这一种网络结构，可以是单一或者复合的各种机器学习/深度学习分类算法及结构)疾病分类器中，分类器给出判定为各类别疾病的概率，选择最大概率对应的疾病作为结果输出，即得到该非语音片段对应的疾病状态。

(3)饮食监测模块：

对用户的日常饮食进行监测，包括但不限于记录何时进食及对所吃食物进行记录，用以提醒用户规律饮食及均衡饮食。

首先，在饮食分类器的建立阶段，收集一定数量的进食不同食物下(包括没有进食)的非语音声音数据并为进食不同食物下的声音数据打上对应的食物标签，食物包括但不限于液体饮料、饼干、苹果、香蕉、面包等；

然后，从声音数据中提取出特征，利用这些特征和对应的标签，通过机器学习、深度学习的方法，训练出食物分类器，建立一个非语音声音特征与食物的映射关系；如将一张非语音信息的波形图(不仅限于波形特征，还可以有更多的其他数据特征)作为特征输入至预先训练好的循环神经网络(不仅限于这一种网络结构，可以是单一或者复合的各种机器学习/深度学习分类算法及结构)食物分类器中，分类器给出判定为各类别食物的概率，选择最大概率对应的食物作为结果输出，即得到该非语音片段对应的饮食状态。

当进行饮食监测时，将获取的非语音数据通过特征提取，然后将特征输入到建立好的食物分类器，分类器根据训练好的映射关系推理出当前是否进食及进食的食物，以做到对用户日常饮食习惯及膳食均衡的监测。

(4)睡眠监测模块：

对用户的睡眠质量进行监测，包括但不限于对深浅睡眠、睡眠窒息情况的监测。

首先，在睡眠分类器的建立阶段，收集一定数量的不同睡眠状况下的非语音声音数据并为不同的睡眠状况数据打上对应的睡眠状况标签，睡眠状况包括但不限于浅睡眠、深睡眠、睡眠窒息等；

然后，从声音数据中提取出特征，利用这些特征和对应的标签，通过机器学习、深度学习的方法，训练出睡眠状况分类器，即建立一个非语音声音特征与睡眠状况的映射关系；

当进行睡眠监测时，将获取的非语音数据通过特征提取，然后将特征输入到建立好的睡眠状况分类器，分类器根据训练好的映射关系推理出睡眠状况。如将波形(不仅限于波形特征，还可以有更多的其他数据特征)作为特征输入至预先训练好的循环神经网络(不仅限于这一种网络结构，可以是单一或者复合的各种机器学习/深度学习分类算法及结构)睡眠分类器中，分类器给出判定为各类别睡眠状况的概率，选择最大概率对应的睡眠状况作为结果输出，即得到该非语音片段对应的睡眠状态。

Claims (5)

1.一种基于非语音身体声音的健康监测系统，其特征在于：包括设置在身体各部位的采集装置和监控终端；所述采集装置包括声音采集器、通信模块、电源模块、位置固定器件；其中，声音采集器用于采集声音信号，通信模块用于实现采集装置与监控终端之间的数据传输，位置固定器件用于固定采集装置；监控终端用于处理接收到的声音信号，并生成监控数据进行存储和显示；应用安装在身体各部位的采集装置采集原始声音信号，并通过通信模块传输至监控终端；监控终端对接收到的原始声音信号进行同步并进行数据融合，获取同步声音信号；对同步声音信号进行数据处理，获取心理与生理健康判定结果，并将结果反馈给用户；

其中，所述声音采集器包括耳部采声装置和喉咙采声装置，所述耳部采声装置是安装在入耳式耳机壳体上的麦克风，用于采集耳道内的声音信号，所述喉咙采声装置佩戴于颈部，用于采集喉咙部位的声音信号；

其中，所述对同步声音信号进行数据处理包括：

步骤1、对同步声音信号使用窗函数进行分帧、加窗，将同步声音信号分割为多个窗口；

步骤2、对每个窗口内的数据进行滤波，根据预先训练的声音二分类器，获取身体非语音声音信号；

步骤3、将获取的身体非语音声音信号与健康监测子模块里的信息对比，获取心理、生理特征；

步骤4、将得到的心理、生理特征生成健康报告，在监控终端显示并存档；

其中，所述声音二分类器用于区分语音声音片段和非语音身体声音片段；

其中，所述健康监测子模块包括情绪监测模块，疾病监测模块、饮食监测模块、睡眠监测模块，所述情绪监测模块用于将非语音声音数据的特征输入到经训练的情绪分类器以识别用户的情绪类型，所述疾病监测模块利用经训练的疾病分类器识别疾病类型，该疾病分类器反映非语音声音数据特征与疾病类型之间的对应关系；所述饮食监测模块利用经训练的饮食分类器识别用户的进食类型，该饮食分类器反映进食过程中的非语音声音数据特征与所进食的食物类型之间的对应关系；所述睡眠监测模块利用经训练的睡眠分类器识别用户的睡眠状况，该睡眠分类器反映睡眠过程的非语音声音数据特征与睡眠状况之间的映射关系。

2.根据权利要求1所述的基于非语音身体声音的健康监测系统，其特征在于：步骤2中的声音二分类器所区分的类别为语音声音片段和非语音身体声音片段，根据如下方法建立：

步骤2a、收集一定数量的包含语音信息的语音声音片段和不包含语音信息的非语音身体声音片段；

步骤2b、分别为语音声音片段和非语音身体声音片段打上对应的标签；

步骤2c、从所有的声音数据中提取出数据特征信息；

步骤2d、应用声音特征和对应的标签，通过机器学习、深度学习的方法，训练出一个用来判断是否有无语音信息的二类分类器，即建立一个声音特征与该片段有无语音信息的映射关系。

3.根据权利要求1所述的基于非语音身体声音的健康监测系统，其特征在于：步骤3中健康监测子模块根据如下方法建立：

步骤3a、收集一定数量的与健康相关的非语音声音数据；

步骤3b、为所有的非语音声音数据打上对应的标签；

步骤3c、从非语音声音数据中提取出声音特征信息；

步骤3d、应用提取出的声音特征信息和对应标签，通过机器学习、深度学习的方法，训练出健康相关数据分类器，即建立一个非语音声音特征与健康相关数据的映射关系；

步骤3e、实时获取健康相关的非语音声音特征信息，应用该健康相关数据分类器，获取健康监测数据。

4.根据权利要求1所述的基于非语音身体声音的健康监测系统，其特征在于：声音采集器包括麦克风或振动模块。

5.根据权利要求1所述的基于非语音身体声音的健康监测系统，其特征在于：所述采集装置设置在身体上任意一个或多个部位。

Images