CN108920993B - 一种基于雷达及多网络融合的行人姿态识别方法及系统 - Google Patents

Abstract

本发明涉及一种基于雷达及多网络融合的行人姿态识别方法及系统，其方法包括对雷达信号的回波信号进行预处理，得到输出信号；将输出信号中的静止目标进行抑制处理；搜索经过抑制处理后的输出信号中的行人所处距离单元；对行人所在距离单元对应的回波信号进行时频分析，得到回波信号时频图；利用多个卷积神经网络分别对回波信号时频图进行识别，得到每个卷积神经网络的识别结果；将每个卷积神经网络的识别结果进行融合，得到融合后的姿态识别结果。本发明的行人姿态识别方法，通过对雷达回波的分析，实时的给出行人姿态识别结果，通过多神经网络融合，能够保证较高的姿态识别准确率，不受光照条件、天气、烟雾等因素干扰，能够全天时、全天候工作。

Description

一种基于雷达及多网络融合的行人姿态识别方法及系统

技术领域

本发明涉及雷达信号处理及图像识别技术领域，尤其涉及一种基于雷达及多网络融合的行人姿态识别方法及系统。

背景技术

现有技术中对行人的姿态识别大多采用光学摄像机获取图像，然后对获取的图像进行图像识别处理，这样方式中由于受到光照条件、天气、烟雾等环境因素干扰，尤其是在夜间，其识别效果大大折扣，识别准确度不高，甚至出现无法识别的情况，稳定性非常差。因此，这种方式已经不能满足全天24小时等高要求的场合。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于雷达及多网络融合的行人姿态识别方法及系统。

本发明解决上述技术问题的技术方案如下：

依据本发明的一个方面，提供了一种基于雷达及多网络融合的行人姿态识别方法，包括如下步骤：

步骤1：对雷达信号的回波信号进行预处理，得到输出信号；

步骤2：将所述输出信号中的静止目标进行抑制处理；

步骤3：搜索经过抑制处理后的所述输出信号中的行人所处距离单元；

步骤4：对所述行人所在距离单元对应的回波信号进行时频分析，得到回波信号时频图；

步骤5：利用多个卷积神经网络分别对所述回波信号时频图进行识别，得到每个所述卷积神经网络的识别结果；

步骤6：将每个所述卷积神经网络的识别结果进行融合，得到融合后的姿态识别结果。

本发明的有益效果是：本发明的基于雷达及多网络融合的行人姿态识别方法，通过对雷达回波的分析，实时的给出行人姿态识别结果，通过多神经网络融合，能够保证较高的姿态识别准确率。同时，该方法基于雷达实现，相比于光学摄像机，该发明不受光照条件、天气、烟雾等因素干扰，能够全天时、全天候工作。本发明方法工程可实现性强，能够有效地对行人姿态进行高准确率识别，同时不易受各种环境因素影响，系统稳健性好。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步：所述步骤1中，所述对雷达信号的回波信号进行预处理具体包括：

步骤11：对所述对回波信号进行去调频处理，具体如下：

假设雷达信号s_t(τ)表示如下：

s_t(τ)＝exp{jπ(2f_cτ+γτ²)}

其中，f_c为发射频率，τ为快时间，t为慢时间，γ为调频频率；

所述雷达信号对应的回波信号s_r(t，τ)表示为：

s_r(t，τ)＝A_rmexp{jπ(2f_c(τ-t_d(t))+γ(τ-t_d(t))²)}τ∈(0，T_p]

其中，A_rm为一个幅值常数，T_p为一个频率调制周期，t_d(t)为时延，c为光速，a₀、a₁分别为目标的运动参数；

则对所述回波信号进行去调频处理，计算公式为：

s₀(t，τ)表示去调频处理后的回波信号，s_r(t，τ)表示所述雷达信号的回波信号，

表示去调频处理后的回波信号的快时间相位，

表示解调频参考信号s_ref(τ)的共轭信号；

步骤12：将经过去调频后的所述回波信号s₀(t，τ)进行傅里叶变换；

步骤13：对傅里叶变换后的所述回波信号s_rm(t，f)进行离散采样，得到所述输出信号，表示为s_rm(m，n)，令t＝mΔT，f＝nΔf，其中ΔT，Δf为采样间隔，m为慢时间索引，且m＝0，1，2，…M，M为慢时间采集脉冲数，n为快时间索引，且n＝0，1，2，…N，N为快时间采样点数。

上述进一步方案的有益效果是：通过对所述回波信号进行去调频处理，实现了射频信号向基带信号的转换，降低了信号采样率需求，进而使得采集硬件系统更加容易实现，通过对去调频处理后的回波信号进行傅里叶变换，实现了脉冲压缩处理，使单个脉冲的目标回波能量积累，进而可以获取雷达场景中物体的位置和回波能量信息。

进一步：所述步骤2中，对所述输出信号沿慢时间维度t采用三脉冲对消方法进行静止目标抑制，且经过抑制后的输出信号表示为s_bs(m′，n)；

其中，w_i(i＝0，1，2)为三阶脉冲对消器的权值，s_rm(m′，n)表示经过去调频后的输出信号，m′表示经过抑制后的输出信号的慢时间索引，且m′＝0，1，2，…M-2。

上述进一步方案的有益效果是：通过对所述输出信号进行静止目标抑制处理，可以对场景中不用于识别的静置物体(如墙壁等)的特征进行抑制，提高了信噪比，使得行人对应的回波能量的多脉冲积累，进一步提高信噪比，待识别的行人的特征凸显出来，便于后续进行姿态识别，提高识别精度和识别效率。

进一步：所述步骤3的具体实现为：

步骤31：将经过抑制后的输出信号s_bs(m′，n)沿慢时间维度求和，得到回波能量序列s_e(n)，计算公式为：

其中，M为回波的总脉冲数，

步骤32：选取所述回波能量序列s_e(n)中能量最大的距离单元n₀，并将第n₀个距离单元标记为行人所处距离单元。

上述进一步方案的有益效果是：通过搜索行人所处距离单元，可以便于后续将行人对应的回波信号从整个输出信号中提取出来。

进一步：所述步骤4的具体实现为：

选取行人所在的距离单元n₀对应的经过抑制后的所述输出信号s_bs(m′，n₀)，采用滑窗的方式，对经过抑制后的所述输出信号s_bs(m′，n₀)进行短时傅里叶变换处理，得到所述回波信号时频图。

上述进一步方案的有益效果是：通过对经过抑制后的所述输出信号进行短时傅里叶变换处理，可以实现行人微动特征信号的提取，以便后续根据行人的微动特征识别行人姿态。

进一步：所述步骤5具体包括：

步骤51：初始化所述多个卷积神经网络的参数和行人姿态分类信息；

步骤52：通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签，并利用所述行人姿态分类信息对所述多个卷积神经网络进行训练，采用批处理梯度下降法调整所述多个卷积神经网络参数，使得每个所述卷积神经网络的姿态分类结果与行人的姿态相吻合，并将每个所述卷积神经网络的参数保存；

步骤53：利用训练后的所述多个卷积神经网络对目标行人的所述回波信号时频图进行识别分类，获取每个所述卷积神经网络输出的行人姿态识别结果；

其中，所述卷积神经网络输出的行人姿态识别结果包括行人姿态类别及其对应的概率。

上述进一步方案的有益效果是：通过对所述多个卷积神经网络进行训练，实现对行人姿态样本库的学习和训练，获取并构建所述卷积神经网络的权系数，并通过对目标行人对应的回波信号时频图进行识别，可以实时获取人体微动时频特征信号，识别人体当前的运动姿态类别和对应的概率。

进一步：所述步骤6具体实现为：

读取每个所述卷积神经网络的行人姿态识别结果，并将概率最大值对应的所述行人姿态类别作为融合识别结果。

上述进一步方案的有益效果是：通过将每个所述卷积神经网络的行人姿态识别结果进行融合，能够保证较高的姿态识别准确率，大大提高系统的识别结果的稳定性和精确性。

依据本发明的另一个方面，提供了一种基于雷达及多网络融合的行人姿态识别系统，包括预处理模块，用于对雷达信号的回波信号进行预处理，得到输出信号；抑制模块，用于将所述输出信号中的静止目标进行抑制处理；搜索模块，用于搜索经过抑制处理后的所述输出信号中的行人所处距离单元；分析模块，用于对所述行人所在距离单元对应的回波信号进行时频分析，得到回波信号时频图；识别模块，用于利用多个卷积神经网络分别对所述回波信号时频图进行识别，得到每个所述卷积神经网络的识别结果；融合模块，用于将每个所述卷积神经网络的识别结果进行融合，得到融合后的姿态识别结果。

本发明的基于雷达及多网络融合的行人姿态识别系统，通过对雷达回波的分析，实时的给出行人姿态识别结果，通过多神经网络融合，能够保证较高的姿态识别准确率。同时，该方法基于雷达实现，相比于光学摄像机，该发明不受光照条件、天气、烟雾等因素干扰，能够全天时、全天候工作。本发明方法工程可实现性强，能够有效地对行人姿态进行高准确率识别，同时不易受各种环境因素影响，系统稳健性好。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步：所述识别模块包括：

初始化子模块，用于初始化所述卷积神经网络的参数和行人姿态分类信息；

训练子模块，用于通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签，并用所述行人姿态分类信息对所述卷积神经网络进行训练，采用批处理梯度下降法调整所述卷积神经网络参数，使得所述卷积神经网络的姿态分类结果与行人的姿态相吻合；

识别子模块，用于利用训练后的所述多个卷积神经网络对目标行人的所述回波信号时频图进行识别分类，获取每个所述卷积神经网络输出的行人姿态识别结果，其中所述卷积神经网络输出的行人姿态识别结果包括行人姿态类别及其对应的概率。

上述进一步方案的有益效果是：通过对所述多个卷积神经网络进行训练，实现对行人姿态样本库的学习和训练，获取并构建所述卷积神经网络的权系数，并通过对目标行人对应的回波信号时频图进行识别，可以实时获取人体微动时频特征信号，识别人体当前的行人姿态类别及其对应的概率。

进一步：所述融合模块具体用于：

读取每个所述卷积神经网络的行人姿态识别结果，并将概率最大值对应的所述行人姿态类别作为融合识别结果。

上述进一步方案的有益效果是：通过将每个所述卷积神经网络的行人姿态识别结果进行融合，能够保证较高的姿态识别准确率，大大提高系统的识别结果的稳定性和精确性。

附图说明

图1为本发明的基于雷达及多网络融合的行人姿态识别方法流程示意图；

图2a为本发明的样本行人正踏步姿态对应的时频图；

图2b为本发明的样本行人正常行走姿态对应的时频图；

图2c为本发明的样本行人摔倒姿态对应的时频图；

图2d为本发明的样本行人蹲下姿态对应的时频图；

图3a为本发明的第一个卷积神经网络识别得到的正常行走姿态对应的时频图；

图3b为本发明的第一个卷积神经网络识别得到的蹲下姿态对应的时频图；

图3c为本发明的第一个卷积神经网络识别得到的正踏步姿态对应的时频图；

图3d为本发明的第一个卷积神经网络识别得到的摔倒姿态对应的时频图；

图4为第二个卷积神经网络识别得到的目标行人姿态对应的时频图；

图5为本发明的基于雷达及多网络融合的行人姿态识别系统结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于雷达及多网络融合的行人姿态识别方法，包括如下步骤：

步骤1：对雷达信号的回波信号进行预处理，得到输出信号；

步骤2：将所述输出信号中的静止目标进行抑制处理；

步骤3：搜索经过抑制处理后的所述输出信号中的行人所处距离单元；

步骤4：对所述行人所在距离单元对应的回波信号进行时频分析，得到回波信号时频图；

步骤5：利用多个卷积神经网络分别对所述回波信号时频图进行识别，得到每个所述卷积神经网络的识别结果；

步骤6：将每个所述卷积神经网络的识别结果进行融合，得到融合后的姿态识别结果。

本发明的基于雷达及多网络融合的行人姿态识别方法，通过对雷达回波的分析，实时的给出行人姿态识别结果，通过多神经网络融合，能够保证较高的姿态识别准确率。同时，该方法基于雷达实现，相比于光学摄像机，该发明不受光照条件、天气、烟雾等因素干扰，能够全天时、全天候工作。本发明方法工程可实现性强，能够有效地对行人姿态进行高准确率识别，同时不易受各种环境因素影响，系统稳健性好。

在上述实施例中，所述步骤1中，所述对回波信号进行预处理具体包括：

步骤11：对所述对雷达信号的回波信号进行去调频处理，具体如下：

假设雷达信号s_t(τ)表示如下：

s_t(τ)＝exp{jπ(2f_cτ+γτ²)}

其中，f_c为发射频率，τ为快时间，t为慢时间，γ为调频频率；

所述雷达信号对应的回波信号s_r(t，τ)表示为：

s_r(t，τ)＝A_rmexp{jπ(2f_c(τ-t_d(t))+γ(τ-t_d(t))²)}τ∈(0，T_p]

其中，A_rm为一个幅值常数，T_p为一个频率调制周期，t_d(t)为时延，c为光速，a₀、a₁分别为目标的运动参数；

则对所述回波信号进行去调频处理，计算公式为：

s₀(t，τ)表示去调频处理后的回波信号，s_r(t，τ)表示所述雷达信号的回波信号，

表示去调频处理后的回波信号的快时间相位，

表示解调频参考信号s_ref(τ)的共轭信号；

步骤12：将经过去调频后的所述回波信号s₀(t，τ)进行傅里叶变换；

步骤13：对傅里叶变换后的所述回波信号s_rm(t，f)进行离散采样，得到所述输出信号，表示为s_rm(m，n)。令t＝mΔT，f＝nΔf，其中ΔT，Δf为采样间隔，m为慢时间索引，且m＝0，1，2，…M，M为慢时间采集脉冲数，n为快时间索引，且n＝0，1，2，…N，N为快时间采样点数。

通过对所述回波信号进行去调频处理，实现了射频信号向基带信号的转换，降低了信号采样率需求，进而使得采集硬件系统更加容易实现，通过对去调频处理后的回波信号进行傅里叶变换，实现了脉冲压缩处理，使单个脉冲的目标回波能量积累，进而可以获取雷达场景中物体的位置和回波能量信息。

在上述实施例中，所述步骤2中，对所述输出信号沿慢时间维度t采用三脉冲对消方法进行静止目标抑制，且经过抑制后的输出信号表示为s_bs(m′，n)；

其中，w_i(i＝0，1，2)为三阶脉冲对消器的权值，s_rm(m′，n)表示经过去调频后的输出信号，m′表示经过抑制后的输出信号的慢时间索引，且m′＝0，1，2，…M-2。

通过对所述输出信号进行静止目标抑制处理，可以对场景中不用于识别的静置物体(如墙壁等)的特征进行抑制，提高了信噪比，使得行人对应的回波能量的多脉冲积累，进一步提高信噪比，待识别的行人的特征凸显出来，便于后续进行姿态识别，提高识别精度和识别效率。

在上述实施例中，所述步骤3的具体实现为：

步骤31：将经过抑制后的输出信号s_bs(m′，n)沿慢时间维度求和，得到回波能量序列s_e(n)，计算公式为：

其中，M为回波的总脉冲数，

步骤32：选取所述回波能量序列s_e(n)中能量最大的距离单元n₀，并将第n₀个距离单元标记为行人所处距离单元。

上述进一步方案的有益效果是：通过搜索行人所处距离单元，可以便于后续将行人对应的回波信号从整个输出信号中提取出来。

在上述实施例中，所述步骤4的具体实现为：

选取行人所在的距离单元n₀对应的经过抑制后的所述输出信号s_bs(m′，n₀)，采用滑窗的方式，对经过抑制后的所述输出信号s_bs(m′，n₀)进行短时傅里叶变换处理，得到所述回波信号时频图。

实际中，对经过抑制后的所述输出信号s_bs(m′，n₀)进行短时傅里叶变换处理，得到时频输出信号s_tf(m″，l)，然后再根据时频输出信号s_tf(m″，l)绘制所述回波信号时频图。所述时频输出信号s_tf(m″，l)的表达式为：

其中，N_D为滑窗窗长，m″为短时傅里叶变换后的慢时间脉冲索引，l为短时傅里叶变换后的频率索引。

通过对经过抑制后的所述输出信号进行短时傅里叶变换处理，可以实现行人微动特征信号的提取，以便后续根据行人的微动特征识别行人姿态。

在上述实施例中，所述步骤5具体包括：

步骤51：初始化所述多个卷积神经网络的参数和行人姿态分类信息；

步骤52：通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签，并利用所述行人姿态分类信息对所述多个卷积神经网络进行训练，采用批处理梯度下降法调整所述多个卷积神经网络参数，使得每个所述卷积神经网络的姿态分类结果与行人的姿态相吻合，并将每个所述卷积神经网络的参数保存；

如图2a、2b、2c和2d所示，分别表示进行网络训练后的四种样本行人姿态对应的时频图，其中图2a表示正踏步姿态对应的时频图，图2b表示正常行走姿态对应的时频图，图2c表示摔倒姿态对应的时频图，图2d表示蹲下姿态对应的时频图。

步骤53：利用训练后的所述多个卷积神经网络对目标行人的所述回波信号时频图进行识别分类，获取每个所述卷积神经网络输出的行人姿态识别结果；

其中，所述卷积神经网络输出的行人姿态识别结果包括行人姿态类别及其对应的概率。

通过对所述多个卷积神经网络进行训练，实现对行人姿态样本库的学习和训练，获取并构建所述卷积神经网络的权系数，并通过对目标行人对应的回波信号时频图进行识别，可以实时获取人体微动时频特征信号，识别人体当前的运动姿态类别和对应的概率。

以两个所述卷积神经网络为例，在所述步骤51中，首先设置两种卷积神经网络的识别输出和输入参数，第一个卷积神经网络将所述回波信号时频图作为网络的输入，网络输出为判断的行人姿态分类类别和每种类别对应的概率；第二个卷积神经网络将所述回波信号时频图作为网络输入，网络输出为两部分；一部分是检测框信息，包括检测框的宽度、高度和中心，标注了姿态信息在所述回波信号时频图上的位置；另一部分是检测框中的分类信息，包括行人姿态分类类别和每种类别对应的概率。

本实施例中，所述卷积神经网络的参数和行人姿态分类信息具体为：设置所述卷积神经网络的层数和分类数，设置卷积神经网络由卷积层、全连接层和损失层组成，所述卷积层、全连接层和损失层的具体层数可以根据实际情况设置，比如，第一个卷积神经网络深度设置为7层，主要由卷积层和全连接层构成，整个网络深度较浅，网络参数少，网络训练时间短，网络处理速度较快，但对于视频图的特征提取不够充分，因此分类准确率不如第二个卷积神经网络；第二个卷积神经网络深度为22层，主要由卷积层和全连接层构成，整个网络深度足够深，能够充分提取图片各个尺度的特征信息，网络参数多，因此网络训练速度慢，网络处理速度比第一个卷积神经网络慢，但识别准确率要高于第一个卷积神经网络。当然也可以适时调整，行人姿态分类为无动作、蹲下、起立、摔倒、正踏步、侧踏步、正常走等多种类别。

如图3a、3b、3c和3d所示，分别表示第一个卷积神经网络识别得到的目标行人姿态类别，其中图3a表示第一个卷积神经网络识别得到的行人姿态对应的时频图，对应正常行走姿态，图3b表示第一个卷积神经网络识别得到的行人姿态对应的时频图，对应蹲下姿态，图3c表示第一个卷积神经网络识别得到的行人姿态对应的时频图，对应正踏步姿态，图3d表示第一个卷积神经网络识别得到的行人姿态对应的时频图，对应摔倒姿态。如图4所示，表示第二个卷积神经网络识别得到的目标行人姿态对应的时频图，图中的三个方框表示第二个卷积神经网络识别出的三个识别结果，包括行人姿态和对应的概率：正踏步，1.00；正踏步1.00；蹲下，0.66。

另外，这里，所述样本行人姿态实验即为采用步骤1至步骤4的方法，以样本行人为目标进行试验，分别获取样本行人姿态的时频图与样本行人当前姿态的标签，然后在利用训练好的所述卷积神经网络对目标行人的所述回波信号时频图进行识别，得到最终的动姿态类别和对应的概率，即行人姿态为无动作、蹲下、起立、摔倒、正踏步、侧踏步、正常走等多种类别，并且得到每一种类别对应的概率。

在上述实施例中，所述步骤6具体实现为：

读取每个所述卷积神经网络的行人姿态识别结果，并将概率最大值对应的所述行人姿态类别作为融合识别结果。

通过将每个所述卷积神经网络的行人姿态识别结果进行融合，能够保证较高的姿态识别准确率，大大提高系统的识别结果的稳定性和精确性。

实际中，以某个目标行人为例，分别通过第一卷积神经网络和第二卷积神经网络进行识别，得到的行人姿态类别以及每种姿态对应的概率如下表所示：

本发明中，采用多网络融合，可通过多种(本实施例中为两种)网络进行互补，对于简单的，特征明显的行人姿态，可通过第一个卷积神经网络的结果快速识别；对于复杂的，难以分辨的行人姿态，可结合第一个卷积神经网络及第二个卷积神经网络的输出，给出更加可信的识别结果。

如图5所示，一种基于雷达及多网络融合的行人姿态识别系统，包括预处理模块，用于对雷达信号的回波信号进行预处理，得到输出信号；抑制模块，用于将所述输出信号中的静止目标进行抑制处理；搜索模块，用于搜索经过抑制处理后的所述输出信号中的行人所处距离单元；分析模块，用于对所述行人所在距离单元对应的回波信号进行时频分析，得到回波信号时频图；识别模块，用于利用多个卷积神经网络分别对所述回波信号时频图进行识别，得到每个所述卷积神经网络的识别结果；融合模块，用于将每个所述卷积神经网络的识别结果进行融合，得到融合后的姿态识别结果。

本发明的基于雷达及多网络融合的行人姿态识别系统，通过对雷达回波的分析，实时的给出行人姿态识别结果，通过多神经网络融合，能够保证较高的姿态识别准确率。同时，该方法基于雷达实现，相比于光学摄像机，该发明不受光照条件、天气、烟雾等因素干扰，能够全天时、全天候工作。本发明方法工程可实现性强，能够有效地对行人姿态进行高准确率识别，同时不易受各种环境因素影响，系统稳健性好。

在上述实施例中，所述预处理模块包括：去调频子模块，用于对所述对回波信号s_r(t，τ)进行预处理；变换子模块，用于将经过去调频后的所述回波信号s₀(t，τ)进行傅里叶变换；采样子模块，用于对傅里叶变换后的所述回波信号s_rm(t，f)进行离散采样，得到所述输出信号。

通过对所述回波信号进行去调频处理，实现了射频信号向基带信号的转换，降低了信号采样率需求，进而使得采集硬件系统更加容易实现，通过对去调频处理后的回波信号进行傅里叶变换，实现了脉冲压缩处理，使单个脉冲的目标回波能量积累，进而可以获取雷达场景中物体的位置和回波能量信息。

在上述实施例中，所述搜索模块包括计算子模块，用于将经过抑制后的输出信号s_bs(m′，n)沿慢时间维度求和，得到回波能量序列s_e(n)；标记子模块，用于选取所述回波能量序列s_e(n)中能量最大的距离单元n₀，并将第n₀个距离单元标记为行人所处距离单元。通过搜索行人所处距离单元，可以便于后续将行人对应的回波信号从整个输出信号中提取出来。

在上述实施例中，所述识别模块包括：

初始化子模块，用于初始化所述卷积神经网络的参数和行人姿态分类信息；

训练子模块，用于通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签，并用所述行人姿态分类信息对所述卷积神经网络进行训练，采用批处理梯度下降法调整所述卷积神经网络参数，使得所述卷积神经网络的姿态分类结果与行人的姿态相吻合；

识别子模块，用于利用训练后的所述多个卷积神经网络对目标行人的所述回波信号时频图进行识别分类，获取每个所述卷积神经网络输出的行人姿态识别结果，其中所述卷积神经网络输出的行人姿态识别结果包括行人姿态类别及其对应的概率。

通过对所述多个卷积神经网络进行训练，实现对行人姿态样本库的学习和训练，获取并构建所述卷积神经网络的权系数，并通过对目标行人对应的回波信号时频图进行识别，可以实时获取人体微动时频特征信号，识别人体当前的行人姿态类别及其对应的概率。

本实施例中，所述卷积神经网络的参数和行人姿态分类信息具体为：设置所述卷积神经网络的层数和分类数，具体的，设置卷积神经网络由卷积层、全连接层和损失层组成，行人姿态分类为无动作、蹲下、起立、摔倒、正踏步、侧踏步、正常走等多种类别。

另外，这里，所述样本行人姿态实验即为采用步骤1至步骤4的方法，以样本行人为目标进行试验，分别获取样本行人姿态的时频图与样本行人当前姿态的标签，然后在利用训练好的所述卷积神经网络对目标行人的所述回波信号时频图进行识别，得到最终的动姿态类别和对应的概率，即行人姿态为无动作、蹲下、起立、摔倒、正踏步、侧踏步、正常走等多种类别，并且得到每一种类别对应的概率。

优选地，在上述实施例，所述融合模块具体用于：

读取每个所述卷积神经网络的行人姿态识别结果，并将概率最大值对应的所述行人姿态类别作为融合识别结果。

通过将每个所述卷积神经网络的行人姿态识别结果进行融合，能够保证较高的姿态识别准确率，大大提高系统的识别结果的稳定性和精确性。

本发明的实施例还提供了一种基于雷达及多网络融合的行人姿态识别装置，包括：存储器和处理器；

所述存储器，用于存储有计算机程序；

所述处理器，用于当读取所述存储器存储的所述计算机程序时，执行所述的行人姿态识别方法。

本发明的实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述的行人姿态识别方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于雷达及多网络融合的行人姿态识别方法，其特征在于，包括如下步骤：

步骤1：对雷达信号的回波信号进行预处理，得到输出信号；

步骤2：将所述输出信号中的静止目标进行抑制处理；

步骤3：搜索经过抑制处理后的所述输出信号中的行人所处距离单元；

步骤4：对所述行人所在距离单元对应的回波信号进行时频分析，得到回波信号时频图；

步骤5：利用多个卷积神经网络分别对所述回波信号时频图进行识别，得到每个所述卷积神经网络的识别结果；

步骤6：将每个所述卷积神经网络的识别结果进行融合，得到融合后的姿态识别结果；

所述步骤5具体包括：

步骤51：初始化所述多个卷积神经网络的参数和行人姿态分类信息；

步骤52：通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签，并利用所述行人姿态分类信息对所述多个卷积神经网络进行训练，采用批处理梯度下降法调整所述多个卷积神经网络参数，使得每个所述卷积神经网络的姿态分类结果与行人的姿态相吻合，并将每个所述卷积神经网络的参数保存；

步骤53：利用训练后的所述多个卷积神经网络对目标行人的所述回波信号时频图进行识别分类，获取每个所述卷积神经网络输出的行人姿态识别结果；

其中，所述卷积神经网络输出的行人姿态识别结果包括行人姿态类别及其对应的概率。

2.根据权利要求1所述的基于雷达及多网络融合的行人姿态识别方法，其特征在于，所述步骤1中，所述对雷达信号的回波信号进行预处理具体包括：

步骤11：对所述回波信号进行去调频处理，具体如下：

假设雷达信号s_t(τ)表示如下：

s_t(τ)＝exp{jπ(2f_cτ+γτ²)}

其中，f_c为发射频率，τ为快时间，t为慢时间，γ为调频频率；

所述雷达信号对应的回波信号s_r(t，τ)表示为：

s_r(t，τ)＝A_rmexp{jπ(2f_c(τ-t_d(t))+γ(τ-t_d(t))²)}τ∈(0，T_p]

其中，A_rm为一个幅值常数，T_p为一个频率调制周期，t_d(t)为时延，c为光速，a₀、a₁分别为目标的运动参数；

则对所述回波信号进行去调频处理，计算公式为：

s₀(t，τ)表示去调频处理后的回波信号，s_r(t，τ)表示所述雷达信号的回波信号，

表示去调频处理后的回波信号的快时间相位，

表示解调频参考信号s_ref(τ)的共轭信号；

步骤12：将经过去调频后的所述回波信号s₀(t，τ)进行傅里叶变换；

步骤13：对傅里叶变换后的所述回波信号s_rm(t，f)进行离散采样，得到所述输出信号，表示为s_rm(m，n)，令t＝mΔT，f＝nΔf，其中ΔT，Δf为采样间隔，m为慢时间索引，且m＝0，1，2，…M，M为慢时间采集脉冲数，n为快时间索引，且n＝0，1，2，…N，N为快时间采样点数。

3.根据权利要求2所述的基于雷达及多网络融合的行人姿态识别方法，其特征在于，所述步骤2中，对所述输出信号沿慢时间维度t采用三脉冲对消方法进行静止目标抑制，且经过抑制后的输出信号表示为s_bs(m′，n)；

其中，w_i(i＝0，1，2)为三阶脉冲对消器的权值，s_rm(m′，n)表示经过去调频后的输出信号，m′表示经过抑制后的输出信号的慢时间索引，且m′＝0，1，2，…M-2。

4.根据权利要求3所述的基于雷达及多网络融合的行人姿态识别方法，其特征在于，所述步骤3的具体实现为：

步骤31：将经过抑制后的输出信号s_bs(m′，n)沿慢时间维度求和，得到回波能量序列s_e(n)，计算公式为：

其中，M为回波的总脉冲数，

步骤32：选取所述回波能量序列s_e(n)中能量最大的距离单元n₀，并将第n₀个距离单元标记为行人所处距离单元。

5.根据权利要求1所述的基于雷达及多网络融合的行人姿态识别方法，其特征在于，所述步骤4的具体实现为：

选取行人所在的距离单元n₀对应的经过抑制后的所述输出信号s_bs(m′，n₀)，采用滑窗的方式，对经过抑制后的所述输出信号s_bs(m′，n₀)进行短时傅里叶变换处理，得到所述回波信号时频图。

6.根据权利要求1-5任一项所述的基于雷达及多网络融合的行人姿态识别方法，其特征在于，所述步骤6具体实现为：

读取每个所述卷积神经网络的行人姿态识别结果，并将概率最大值对应的所述行人姿态类别作为融合识别结果。

7.一种基于雷达及多网络融合的行人姿态识别系统，其特征在于，包括：

预处理模块，用于对雷达信号的回波信号进行预处理，得到输出信号；

抑制模块，用于将所述输出信号中的静止目标进行抑制处理；

搜索模块，用于搜索经过抑制处理后的所述输出信号中的行人所处距离单元；

分析模块，用于对所述行人所在距离单元对应的回波信号进行时频分析，得到回波信号时频图；

识别模块，用于利用多个卷积神经网络分别对所述回波信号时频图进行识别，得到每个所述卷积神经网络的识别结果；

融合模块，用于将每个所述卷积神经网络的识别结果进行融合，得到融合后的姿态识别结果；

所述融合模块具体用于：

初始化所述多个卷积神经网络的参数和行人姿态分类信息；

通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签，并利用所述行人姿态分类信息对所述多个卷积神经网络进行训练，采用批处理梯度下降法调整所述多个卷积神经网络参数，使得每个所述卷积神经网络的姿态分类结果与行人的姿态相吻合，并将每个所述卷积神经网络的参数保存；

利用训练后的所述多个卷积神经网络对目标行人的所述回波信号时频图进行识别分类，获取每个所述卷积神经网络输出的行人姿态识别结果；

其中，所述卷积神经网络输出的行人姿态识别结果包括行人姿态类别及其对应的概率。

8.根据权利要求7所述的基于雷达及多网络融合的行人姿态识别系统，其特征在于，所述识别模块包括：

初始化子模块，用于初始化所述卷积神经网络的参数和行人姿态分类信息；

训练子模块，用于通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签，并用所述行人姿态分类信息对所述卷积神经网络进行训练，采用批处理梯度下降法调整所述卷积神经网络参数，使得所述卷积神经网络的姿态分类结果与行人的姿态相吻合；

识别子模块，用于利用训练后的所述多个卷积神经网络对目标行人的所述回波信号时频图进行识别分类，获取每个所述卷积神经网络输出的行人姿态识别结果，其中所述卷积神经网络输出的行人姿态识别结果包括行人姿态类别及其对应的概率。

9.根据权利要求7或8所述的基于雷达及多网络融合的行人姿态识别系统，其特征在于，所述融合模块具体用于：

读取每个所述卷积神经网络的行人姿态识别结果，并将概率最大值对应的所述行人姿态类别作为融合识别结果。

Images