CN111401547B - 一种面向乘客流分析的基于循环学习单元的htm设计方法 - Google Patents

Abstract

本发明公开了一种面向乘客流分析的基于循环学习单元的HTM设计方法，面向乘客流分析应用，在使用HTM分析乘客流时，提出使用面向乘客流分析的基于循环学习单时间池方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元对序列数据的学习能力相互结合，加强HTM对同时蕴含时间跨度较短和较长规律的乘客流的学习功能；通过循环学习单元的训练方法，使得循环学习单元能学习乘客流数据中包含的特性，实现HTM对同时蕴含时间跨度较短和较长规律的乘客流更强的学习能力。本发明提高了HTM对同时蕴含时间跨度较短和较长规律的乘客流的学习功能，从而保证了在处理同时蕴含时间跨度较短和较长规律的乘客流时HTM的有效性和实用性。

Description

一种面向乘客流分析的基于循环学习单元的HTM设计方法

技术领域

本发明涉及人工智能深度学习领域,尤其涉及一种面向乘客流分析的基于循环学习单元的HTM设计方法。

背景技术

乘客流数据中既包含时间跨度较短的每天、每周的规律，也包含时间跨度很大的年或更长周期的规律，这给乘客流的分析带来了很大挑战。

近年来，深度学习算法在图像处理、语音处理、自然语言处理等多个领域得到广泛的应用并产生巨大的影响，这在很大程度上归功于各种新型神经网络模型以及高效的模型训练方法。随着生物神经科学的进步，越来越多的新型神经网络正在被研究。HTM(Hierarchical Temporal Memory)是一种模仿人脑中处理高级认知功能的新皮质部分运作原理的新型人工神经网络，其将接受到的各种模式与记忆中的模式进行匹配，并对下一刻将会接收到的信息作出预测与反应，如此循环往复，从而体现时效性(Temporal)。

当前训练HTM的方法还比较简单，通常使用Hebbian规则修改前后两次激活神经元之间的连接值，以此训练HTM；这种方法在处理同时蕴含时间跨度较短和较长规律的乘客流时难以获得理想的结果；因此需要针对乘客流数据中同时蕴含时间跨度较短和较长规律的特点，提出新的HTM设计方法，提高HTM对乘客流数据的学习能力。

发明内容

本发明的目的在于提供一种面向乘客流分析的基于循环学习单元的HTM设计方法，以解决现有HTM对同时蕴含时间跨度较短和较长规律的乘客流数据学习能力较差的问题。

一种面向乘客流分析的基于循环学习单元的HTM设计方法，包括以下步骤：

步骤1，采集某个较长时间段内，公共交通或出租车等的乘客数量信息，与当时的时间信息一起构建历史乘客数量数据集，使其包含历史乘客数量和时间则两方面的特性，构成具有时序特性的乘客数量流。

步骤2，针对乘客流分析应用，将具有时序特性的乘客数量流作为基于HTM分析方法的输入；

步骤3，使用面向乘客流分析的基于循环学习单时间池方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对同时蕴含时间跨度较短和较长规律的乘客流的学习功能；

步骤4，通过循环学习单元的训练方法，使得循环学习单元能学习乘客流数据中包含的特性，实现HTM对蕴含时序跨度大规律的乘客流数据更强的学习能力；

步骤5，完成对历史乘客流数据分析，输出在某种条件下对乘客流数据预测。

进一步，所述步骤3中，使用面向乘客流分析的基于循环学习单时间池方法主要包括以下步骤：

步骤3.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；

步骤3.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层作为当前循环学习单元的输入；

步骤3.3，计算循环学习单元在t时刻的隐藏层计算方法如下：

表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；/>表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；W_hx和W_hh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，b_h是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；

步骤3.4，计算循环学习单元在t时刻的输出计算方法如下：

σ表示循环学习单元输出层的激活函数，W_yh表示循环学习单元中隐藏层和输出层之间的权重矩阵；

步骤3.5，计算循环学习单元在t时刻的预测值计算方法如下：

步骤3.6，找出HTM在t时刻对t+1时刻的预测循环学习单元计算方法如下：

表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。

进一步，所述步骤4中，循环学习单元的训练方法主要包括以下步骤：

步骤4.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；

步骤4.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：

步骤4.3，调整循环学习单元中的权重和偏置参数，计算方法如下：

其中,θ为[W_hx,W_hh,W_yh,b_h-,θ_new表示θ经过训练后最小误差处理后的新值,λ是学习率,表示对函数的某个变量求偏导数。

本发明的有益效果：

1、本发明与现有HTM分析乘客流的方法不同，使用一种面向乘客流分析的基于循环学习单元的HTM设计方法，改进现有HTM，实现对蕴含时间跨度较短和较长规律的乘客流数据的更好的学习。

2、本发明与现有HTM在基本的构成方面存在不同，利用对同时蕴含时间跨度较短和较长规律的乘客流等较强学习能力的循环学习单元，替换HTM中现有的神经元，构建了能工作于HTM中的循环学习单元，改变现有HTM仅依靠调整HTM神经元中突触值学习的方式；与现有HTM在基本的构成方面存在不同。

3、利用循环学习单元在多个时间步上对序列的学习和反馈能力，改变现有HTM仅使用相邻两个时间步信息进行学习的机制，提高HTM对长序列的学习能力。

4、给出了HTM中循环学习单元的学习过程，利用HTM的输入和对预测出循环学习单元是否被激活的反馈训练循环学习单元，增强HTM对同时蕴含时间跨度较短和较长规律的乘客流的学习和检查能力。

附图说明

图1基于循环学习单元新型HTM的结构图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

一种面向乘客流分析的基于循环学习单元的HTM设计方法，包括以下步骤：

步骤1，采集某个较长时间段内，公共交通或出租车等的乘客数量信息，与当时的时间信息一起构建历史乘客数量数据集，使其包含历史乘客数量和时间则两方面的特性，构成具有时序特性的乘客数量流。

步骤2，针对乘客流分析应用，将具有时序特性的乘客数量流作为基于HTM分析方法的输入；

步骤3，使用面向乘客流分析的基于循环学习单时间池方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对同时蕴含时间跨度较短和较长规律的乘客流的学习功能；

步骤4，通过循环学习单元的训练方法，使得循环学习单元能学习乘客流数据中包含的特性，实现HTM对蕴含时序跨度大规律的乘客流数据更强的学习能力；

步骤5，完成对历史乘客流数据分析，输出在某种条件下对乘客流数据预测。

上述步骤1中主要包括以下步骤：

步骤1.1，通过公开数据集或实地，在某个较长时间段内，以公共交通或出租车等为对象，采集乘客的数量信息；

步骤1.2，将所采集的乘客数量信息按照采集时间顺序进行排列，构成具有时序特性的历史乘客数量数据集；

步骤1.3，依据乘客数量数据集，构建可以供一种面向乘客流分析的基于循环学习单元的HTM设计方法使用的具有时序特性的乘客数量流，包含历史乘客数量和时间则两方面的信息。

上述步骤3中主要包括以下步骤：

步骤3.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；

步骤3.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层作为当前循环学习单元的输入；

步骤3.3，计算循环学习单元在t时刻的隐藏层计算方法如下：

表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；/>表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；W_hx和W_hh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，b_h是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；

步骤3.4，计算循环学习单元在t时刻的输出计算方法如下：

σ表示循环学习单元输出层的激活函数，W_yh表示循环学习单元中隐藏层和输出层之间的权重矩阵；

步骤3.5，计算循环学习单元在t时刻的预测值计算方法如下：

步骤3.6，找出HTM在t时刻对t+1时刻的预测循环学习单元计算方法如下：

表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。

上述步骤4中主要包括以下步骤：

步骤4.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；

步骤4.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：

步骤4.3，调整循环学习单元中的权重和偏置参数，计算方法如下：

其中,θ为[W_hx,W_hh,W_yh,b_h],θ_new表示θ经过训练后最小误差处理后的新值,是学习率,表示对函数的某个变量求偏导数。

实施例1：

如图1所示，面向乘客流分析的基于循环学习单元的HTM设计方法的模型结构图，该方法总体思路是利用具有循环学习能力的循环学习单元代替现有HTM神经元，利用循环学习单元在多个时间步上对序列的学习和反馈能力，实现HTM对序列数据更强的学习能力。图1中右侧所示即为循环学习单元，其中包括输入单元(x_ij)、输出单元(y_ij)、隐藏单元(h_ij)。由图1可知，有一条单向流动的信息流是从输入单元到达隐藏单元的。与此同时，另一条单向流动的信息流从隐藏单元到达输出单元。即HTM中循环学习单元突触的连通值作为循环学习单元每一时刻的输入，循环学习单元隐藏层的输入还包含上一时刻隐藏层的状态，从而计算和/>最终训练并得到模型。

实施例2：

以一个HTM中循环学习单元的完整计算过程为例，它由多个时序关联的不同计算部分组成。首先，在输入时刻t，对于处于激活态的循环学习单元以及t-1时刻与之相连接的处于激活态的循环学习单元之间突触连通数值，其组成的向量为即为各个时刻HTM微柱上处于不同位置的循环学习单元的输入。

根据提出的HTM设计方法中，首先需要确定出各个时刻处于激活态循环学习单元。现假设j＝{1,2,3,..,m}表示的是HTM中的微柱编号，i＝{1,2,3,..,n}表示的是微柱中的循环学习单元编号。例如，使用c_1,2表示第2微柱中第1个循环学习单元，HTM神经元微柱有10个，经过HTM空间池计算过程后得到激活微柱3个，其中位于微柱2上的第1个循环学习单元(c_1,2)处于激活状态。另外确定出与之相连的激活循环学习单元有c_2,2和c_3,1，在实时接收到当前t时刻的他们之前的连通值组成的向量(0.4,0.6,0.3)和t-1时刻此循环学习单元的隐藏层输出结果带入公式中依次计算并最终得到此t刻输出为0.6。然后根据该循环学习单元输出预测值是否达到实验中设定的阈值(0.8)作为判断出t+1时刻预测循环学习单元。

具体而言，按照图1所示的基于循环学习单元的HTM结构图，根据输入编码和上一时刻隐藏层的输出/>计算循环学习单元的当前隐藏层输入/>输出/>和最终预测循环学习单元的训练过程在于最小化损失函数E,可采用随机梯度下降法更新参数。

计算方法分别如下所示：

其中，表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值。W_hx和W_hh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，b_h是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数。/>表示循环学习单元在t时刻的输出，/>表示循环学习单元在t时刻的预测值。/>表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。

最后，循环学习单元的训练过程在于最小化损失函数E，然后基于损失函数的梯度在循环学习单元中进行反向传播更新网络各层权值参数，正向输出和反向传播在训练数据上迭代进行，每个循环学习单元会采用随机梯度下降(SGD)修正参数，直到所有参数收敛或达到某些预设的终止条件为止。根据HTM时间池中t时刻这些循环学习单元是否被激活的信息，使用下面公式计算循环学习单元的误差值E。计算方法如下公式：

从而由下面公式调整循环学习单元中的权重和偏置参数。

其中,θ为[W_hx,W_hh,W_yh,b_h]是需要优化的参数,λ是循环学习单元的学习率，表示求偏导数。

综上，本发明的一种面向乘客流分析的基于循环学习单元的HTM设计方法，提出使用面向乘客流分析的基于循环学习单时间池方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元对序列数据的学习能力相互结合，加强HTM对同时蕴含时间跨度较短和较长规律的乘客流的学习功能；通过循环学习单元的训练方法，使得循环学习单元能学习乘客流数据中包含的特性，实现HTM对同时蕴含时间跨度较短和较长规律的乘客流更强的学习能力。本发明将对生物大脑新皮质功能的模拟和传统循环神经网络机制相结合，提高了HTM对同时蕴含时间跨度较短和较长规律的乘客流的学习功能，从而保证了在处理同时蕴含时间跨度较短和较长规律的乘客流时HTM的有效性和实用性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (1)

1.一种面向乘客流分析的基于循环学习单元的HTM设计方法，其特征在于，包括以下步骤：

步骤1，采集某个较长时间段内，公共交通或出租车等的乘客数量信息，与当时的时间信息一起构建历史乘客数量数据集，使其包含历史乘客数量和时间则两方面的特性，构成具有时序特性的乘客数量流；

步骤2，针对乘客流分析应用，将具有时序特性的乘客数量流作为基于HTM分析方法的输入；

步骤3，使用面向乘客流分析的基于循环学习单时间池方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对同时蕴含时间跨度较短和较长规律的乘客流的学习功能；

步骤4，通过循环学习单元的训练方法，使得循环学习单元能学习乘客流数据中包含的特性，实现HTM对蕴含时序跨度大规律的乘客流数据更强的学习能力；

步骤5，完成对历史乘客流数据分析，输出在某种条件下对乘客流数据预测；

所述步骤3中主要包括以下步骤：

步骤3.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；

步骤3.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层作为当前循环学习单元的输入；

步骤3.3，计算循环学习单元在t时刻的隐藏层计算方法如下：

表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；/>表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；W_hx和W_hh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，b_h是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；

步骤3.4，计算循环学习单元在t时刻的输出计算方法如下：

σ表示循环学习单元输出层的激活函数，W_yh表示循环学习单元中隐藏层和输出层之间的权重矩阵；

步骤3.5，计算循环学习单元在t时刻的预测值计算方法如下：

步骤3.6，找出HTM在t时刻对t+1时刻的预测循环学习单元计算方法如下：

表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数；

所述步骤4中主要包括以下步骤：

步骤4.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；

步骤4.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：

步骤4.3，调整循环学习单元中的权重和偏置参数，计算方法如下：

其中,θ为[W_hx,W_hh,W_yh,b_h],θ_new表示θ经过训练后最小误差处理后的新值,λ是学习率,表示对函数的某个变量求偏导数。