CN110428082A - 基于注意力神经网络的水质预测方法 - Google Patents

Abstract

基于注意力神经网络的水质预测方法，包括如下步骤：步骤1：采集某一水质指标的数据；步骤2：将该水质指标的数据进行z‑score标准化处理；步骤3：使用处理好的该水质指标的数据构造训练集Training；步骤4：构造基于注意力神经网络的水质预测模型；步骤5：使用构造的训练集Training训练构造的基于注意力神经网络的水质预测模型；步骤6：使用训练好的基于注意力神经网络的水质预测模型预测未来时刻的该水质指标的数据。本发明提出的水质预测方法，在双向LSTM神经网络中引入注意力机制，考虑每个时刻水质指标的数据对预测结果的重要程度不同，赋予每个时刻水质指标不同的权重，从而降低了水质预测时产生的相对误差，提高了预测精确度。

Description

基于注意力神经网络的水质预测方法

技术领域

本发明属于水质预测领域，具体为一种基于注意力神经网络的水质预测方法。

背景技术

近几年来，随着我国经济的快速发展，自然或人为因素导致天然的水体不断恶化，同时生活及工业用水量剧增导致陆地水逐渐枯竭，因此水问题俨然已经成为了我国最严重的环境问题。在水体中含有各种污染物，它们的浓度的高低直接影响水质的好坏，如果能够提前发现水质问题，分析原因，制定相应的预防措施，改善水体水质环境，从一定程度上可以缓解我国水资源不足问题，因此预测水质指标变化趋势的研究具有重要现实意义。

目前水质预测方法有很多，主流预测方法是神经网络方法。BP神经网络能够对水质指标的数据变化趋势进行预测，提高了水质预测精确度，但是BP神经网络容易陷入局部极小值，且收敛速度非常慢；LSTM循环神经网络解决了神经网络中的长期依赖问题，能够记住长期信息，而且预测水质指标的数据变化趋势相比于BP神经网络也更加准确。虽然LSTM在水质预测上取得较好的精确度，但是LSTM神经网络也存在一些局限性，如不同时刻水质指标对预测结果的影响程度是相同的，并没有考虑最近时刻水质指标可能会预测结果影响更大的问题。

发明内容

针对上述问题，本发明提出了一种基于注意力神经网络的水质预测方法。该方法在双向LSTM神经网络中引入注意力机制，考虑每个时刻水质指标的数据对预测结果的重要程度不同，赋予每个时刻水质指标不同的权重，从而降低了水质预测时产生的相对误差，提高了预测精确度。

基于注意力神经网络的水质预测方法，包括如下步骤：

步骤1：采集某一水质指标的数据；

步骤2：将步骤1采集到的该水质指标的数据进行z-score标准化处理；

步骤3：使用步骤2中处理好的该水质指标的数据构造训练集Training；

步骤4：构造基于注意力神经网络的水质预测模型；

步骤5：使用步骤3中构造的训练集Training训练步骤4中构造的基于注意力神经网络的水质预测模型；

步骤6：使用步骤5中训练好的基于注意力神经网络的水质预测模型预测未来时刻的该水质指标的数据。

进一步地，所述步骤1中，监测一定时间内某一水域，获得按时间排序的该水质指标的数据集合G，G＝{g₁,g₂,…g_i,…g_n}，其中n表示该水质指标的数据集合G中元素的数量，g_i为第i个时间节点的该水质指标的数据。

进一步地，所述步骤2中，使用z-score标准化方法对每个时间节点的该水质指标的数据进行标准化处理，通过下式计算

其中，g_i表示z-score标准化前第i个时间节点的该水质指标的数据，表示z-score标准化后第i个时间节点的该水质指标的数据，μ_x与σ_x分别表示该水质指标的数据集合的均值与标准差；

通过对采集到的该水质指标的数据进行z-score标准化，获得z-score标准化后的该水质指标的数据集合其中n表示z-score标准化后该水质指标的数据集合G^*中元素的数量，g_i ^*为第i个时间节点z-score标准化后的该水质指标的数据。

进一步地，所述步骤3中，将处理好的该水质指标的数据集合G^*用于构造训练集Training，构造训练集Training的具体步骤如下：

构造训练集Training＝{{x_i,y_i}}，0<i≤m，其中，m表示水质指标训练样本数量；设置d为窗口大小，x_i表示第i个训练样本的输入，其中x_i中包含d个时间节点的该水质指标的数据；y_i表示第i个训练样本输出，表示z-score标准化后第i+d个时间节点的该水质指标的数据。

进一步地，所述步骤4中，构造双向LSTM神经网络模型和前馈注意力模型，将二种模型构造为基于注意力神经网络的水质预测模型，具体步骤如下：

步骤4-1：构造双向LSTM神经网络模型，具体步骤如下：

步骤4-1-1：使用向前和向后两个结构相同的LSTM神经网络，输出隐状态矩阵H：

H＝(h₁,h₂,...,h_q)

其中，h_q表示双向LSTM神经网络在第q个时间节点输出的隐状态向量；设置q的值等于d的值，设置单向LSTM神经网络隐状态单元数为u，h_q为长度u的向量；

步骤4-1-2：设置双向LSTM神经网络输入层到隐含层的连接权重矩阵U、隐含层到隐含层的连接权重矩阵W、隐含层到输出层的连接权重矩阵V均为随机小实数；

步骤4-1-3：设置双向LSTM神经网络激活函数；将双向LSTM神经网络中的输入门、遗忘门和输出门的激活函数为sigmoid函数，候选门中的激活函数为tanh函数；

步骤4-2：构造前馈注意力模型，具体步骤如下：

步骤4-2-1：使用两层感知器作为前馈注意力模型的内部隐含层；设置两层感知器第一层单元数为d_a，设置两层感知器第二层单元数为1，其中，双向LSTM神经网络模型到前馈注意力模型中的第一层感知器的连接权重矩阵为w_a1，w_a1为大小d_a×u的连接权重矩阵，前馈注意力模型中的第一层感知器到第二层感知器的连接权重向量为w_a2，w_a2为长度d_a的连接权重向量；

步骤4-2-2：设置前馈注意力模型初始权重参数为随机小实数；

步骤4-3：使用全连接层作为基于注意力神经网络的水质预测模型的输出层；设置全连接层单元数为1，其中，前馈注意力模型到全连接层之间的连接权重向量为W_y，W_y是长度为μ的连接权重向量；设置全连接层初始权重参数为随机小实数；

步骤4-4：将步骤4-1构造好的双向LSTM神经网络模型和步骤4-2构造好的前馈注意力模型构造为基于注意力神经网络的水质预测模型；具体步骤如下：

步骤4-4-1：使用步骤4-1中构造好的双向LSTM神经网络模型作为基于注意力神经网络的水质预测模型的输入层，双向LSTM神经网络模型的输出为隐状态矩阵H；

步骤4-4-2：使用步骤4-2中构造好的前馈注意力模型作为基于注意力神经网络的水质预测模型的隐含层，将步骤4-4-1中输出的隐状态矩阵H作为前馈注意力模型的输入，前馈注意力模型的输出为上下文向量c；

步骤4-4-3：使用步骤4-2中构造好的全连接层作为基于注意力神经网络的水质预测模型的输出层，将步骤4-4-2中输出的上下文向量c作为全连接层的输入，全连接层的输出为预测值；

步骤4-4-4：基于注意力神经网络的水质预测模型选用均方误差作为损失函数。

进一步地，所述步骤5中，训练基于注意力神经网络的水质预测模型具体步骤如下：

步骤5-1：将训练集Training中输入到注意力神经网络的水质预测模型，通过模型得到与x_i对应的实际输出

步骤5-2：使用均方误差公式计算实际预测值与期望输出值的误差；利用反向传播算法将误差反向传递给每一个神经元，然后每个神经元会采用随机梯度下降更新每条连接线的连接权重；其中，在双向LSTM神经网络模型中需要更新的连接权重矩阵为输入层到隐含层的连接权重矩阵U、隐含层到隐含层的连接权重矩阵W、隐含层到输出层的连接权重矩阵V；在前馈注意力模型中需要更新的连接权重是双向LSTM神经网络模型到前馈注意力模型中的第一层感知器的连接权重矩阵w_a1和前馈注意力模型中的第一层感知器到第二层感知器的连接权重向量w_a2；在全连接层中需要更新的连接权重是前馈注意力模型到全连接层之间的连接权重向量W_y；

步骤5-3：设置迭代100次，在迭代过程中不断更新基于注意力神经网络预测模型中的连接权重。

进一步地，所述步骤6中，预测未来时刻的该水质指标的数据具体步骤如下：

步骤6-1：获得该水质指标的当前数据，并将其进行z-score标准化，得到z-score标准化后该水质指标的当前数据：

步骤6-2：将输入到训练好的基于注意力神经网络的水质预测模型的输入层中，即双向LSTM神经网络模型中，其中，前向LSTM神经网络通过下式计算隐状态向量

其中，i_t表示该水质指标当前数据中的第t个时间节点的需要更新的信息，f_t表示该水质指标当前数据中的第t个时间节点的需要丢弃的信息，o_t表示该水质指标当前数据中的第t个时间节点的需要输出的信息；表示该水质指标当前数据中的第t个时间节点的候选门，候选门是备选更新内容的神经元；c_t表示该水质指标当前数据中的第t个时间节点的细胞状态，细胞状态是决定了需要输出信息内容的神经元；表示该水质指标当前数据中的第t个时间节点的输出的隐状态向量，h_t-1表示该水质指标当前数据中的第t-1个时间节点的输出的隐状态向量，c_t-1表示该水质指标当前数据中的第t-1个时间节点的细胞状态；

x_t ^*是长度为θ的向量，w_ix、w_fx、w_ox和w_cx是大小为u×θ的连接权重矩阵，其中w_ix、w_fx、w_ox和w_cx是输入数据分别到输入门、遗忘门、输出门和候选门的连接权重矩阵；w_ih、w_fh、w_oh和w_oh是大小为u×u的连接权重矩阵，其中w_ih、w_fh、w_oh和w_oh是输入门、遗忘门、输出门和候选门分别到隐层单元的连接矩阵权重；w_ic、w_fc、w_oc和w_cc是大小为u×u的连接权重矩阵，其中w_ic、w_fc、w_oc和w_cc是输入门、遗忘门、输出门和候选门分别到细胞状态的连接权重矩阵；b_i、b_f、b_o和b_c分别是输入门、遗忘门、输出门和候选门的偏置向量，b_i、b_f、b_o和b_c是长度为θ的偏置向量；

同理，通过相似前向LSTM神经网络公式计算后向LSTM神经网络隐状态向量

步骤6-3：两个单向LSTM神经网络分别得到隐状态向量和通过下式计算隐状态向量h_t：

其中，表示前向LSTM神经网络的隐状态向量，表示后向LSTM神经网络的隐状态向量，表示将前向和后向的LSTM神经网络的隐状态向量进行拼接，得到长度为2u的向量，W_hh是大小u×2u的连接权重矩阵；

步骤6-4：将h_t输入到基于注意力神经网络的水质预测模型的隐含层中，即前馈注意力模型，通过下式计算上下文向量c；

β_t＝tanh(w_a1h_t)

e_t＝w_a2β_t

a_t＝softmax(e_t)

其中，w_a1为大小为d_a×u的连接权重矩阵，w_a2为长度为d_a的连接权重向量。h_t表示第t个时间节点双向LSTM神经网络模型输出的隐状态向量，β_t表示第t个时间节点第一层感知器输出的长度为d_a的连接权重向量，e_t表示第t个时间节点隐状态向量的相似度权重，a_t表示第t个时间节点的隐状态向量归一化后的相似度权重，C为长度u的向量；

步骤6-5：使用全连接层作为输出层，将步骤6-4输出上下文向量c作为输入，输出预测值通过下式计算：

其中，W_y表示前馈注意力模型到全连接层长度为μ的连接权重向量。

本发明达到的有益效果为：本发明针对LSTM神经网络不考虑每个时刻水质指标的数据对预测结果有着不同重要程度，即不考虑赋予每个时刻水质指标的数据不同的权重，提出一种基于注意力神经网络的水质预测方法，该方法考虑水质样本中每个时刻水质指标的数据对预测结果的重要程度不同，赋予水质样本中每个时刻水质指标的数据不同的权重，从而降低了水质预测时产生的相对误差，提高预测精确度，使得水体水质的预测具有更高实时性和广泛的实用性。

附图说明

图1为基于注意力神经网络的水质预测方法流程图。

图2为注意力神经网络的水质预测模型图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

基于注意力神经网络的水质预测方法，包括如下步骤：

步骤1：采集某一水质指标的数据。

所述步骤1中，监测一定时间内某一水域，获得按时间排序的该水质指标的数据集合G，G＝{g₁,g₂,…g_i,…g_n}，其中n表示该水质指标的数据集合G中元素的数量，g_i为第i个时间节点的该水质指标的数据。

步骤2：将步骤1采集到的该水质指标的数据进行z-score标准化处理。

所述步骤2中，使用z-score标准化方法对每个时间节点的该水质指标的数据进行标准化处理，通过下式计算

其中，g_i表示z-score标准化前第i个时间节点的该水质指标的数据，表示z-score标准化后第i个时间节点的该水质指标的数据，μ_x与σ_x分别表示该水质指标的数据集合的均值与标准差。

通过对采集到的该水质指标的数据进行z-score标准化，获得z-score标准化后的该水质指标的数据集合其中n表示z-score标准化后该水质指标的数据集合G^*中元素的数量，g_i ^*为第i个时间节点z-score标准化后的该水质指标的数据。

步骤3：使用步骤2中处理好的该水质指标的数据构造训练集Training。

所述步骤3中，将处理好的该水质指标的数据集合G^*用于构造训练集Training，构造训练集Training的具体步骤如下：

构造训练集Training＝{{x_i,y_i}}，0<i≤m，其中，m表示水质指标训练样本数量；设置d为窗口大小，x_i表示第i个训练样本的输入，其中x_i中包含d个时间节点的该水质指标的数据；y_i表示第i个训练样本输出，表示z-score标准化后第i+d个时间节点的该水质指标的数据。

步骤4：构造基于注意力神经网络的水质预测模型。

所述步骤4中，构造双向LSTM神经网络模型和前馈注意力模型，将二种模型构造为基于注意力神经网络的水质预测模型，具体步骤如下：

步骤4-1：构造双向LSTM神经网络模型，具体步骤如下：

步骤4-1-1：使用向前和向后两个结构相同的LSTM神经网络，输出隐状态矩阵H：

H＝(h₁,h₂,...,h_q)

其中，h_q表示双向LSTM神经网络在第q个时间节点输出的隐状态向量；设置q的值等于d的值，设置单向LSTM神经网络隐状态单元数为u，h_q为长度u的向量。

步骤4-1-2：设置双向LSTM神经网络输入层到隐含层的连接权重矩阵U、隐含层到隐含层的连接权重矩阵W、隐含层到输出层的连接权重矩阵V均为随机小实数。

步骤4-1-3：设置双向LSTM神经网络激活函数；将双向LSTM神经网络中的输入门、遗忘门和输出门的激活函数为sigmoid函数，候选门中的激活函数为tanh函数。

步骤4-2：构造前馈注意力模型，具体步骤如下：

步骤4-2-1：使用两层感知器作为前馈注意力模型的内部隐含层；设置两层感知器第一层单元数为d_a，设置两层感知器第二层单元数为1，其中，双向LSTM神经网络模型到前馈注意力模型中的第一层感知器的连接权重矩阵为w_a1，w_a1为大小d_a×u的连接权重矩阵，前馈注意力模型中的第一层感知器到第二层感知器的连接权重向量为w_a2，w_a2为长度d_a的连接权重向量。

步骤4-2-2：设置前馈注意力模型初始权重参数为随机小实数。

步骤4-3：使用全连接层作为基于注意力神经网络的水质预测模型的输出层；设置全连接层单元数为1，其中，前馈注意力模型到全连接层之间的连接权重向量为W_y，W_y是长度为μ的连接权重向量；设置全连接层初始权重参数为随机小实数。

步骤4-4：将步骤4-1构造好的双向LSTM神经网络模型和步骤4-2构造好的前馈注意力模型构造为基于注意力神经网络的水质预测模型；具体步骤如下：

步骤4-4-1：使用步骤4-1中构造好的双向LSTM神经网络模型作为基于注意力神经网络的水质预测模型的输入层，双向LSTM神经网络模型的输出为隐状态矩阵H。

步骤4-4-2：使用步骤4-2中构造好的前馈注意力模型作为基于注意力神经网络的水质预测模型的隐含层，将步骤4-4-1中输出的隐状态矩阵H作为前馈注意力模型的输入，前馈注意力模型的输出为上下文向量c。

步骤4-4-3：使用步骤4-2中构造好的全连接层作为基于注意力神经网络的水质预测模型的输出层，将步骤4-4-2中输出的上下文向量c作为全连接层的输入，全连接层的输出为预测值。

步骤4-4-4：基于注意力神经网络的水质预测模型选用均方误差作为损失函数。

步骤5：使用步骤3中构造的训练集Training训练步骤4中构造的基于注意力神经网络的水质预测模型。

所述步骤5中，训练基于注意力神经网络的水质预测模型具体步骤如下：

步骤5-1：将训练集Training中输入到注意力神经网络的水质预测模型，通过模型得到与x_i对应的实际输出

步骤5-2：使用均方误差公式计算实际预测值与期望输出值的误差；利用反向传播算法将误差反向传递给每一个神经元，然后每个神经元会采用随机梯度下降更新每条连接线的连接权重；其中，在双向LSTM神经网络模型中需要更新的连接权重矩阵为输入层到隐含层的连接权重矩阵U、隐含层到隐含层的连接权重矩阵W、隐含层到输出层的连接权重矩阵V；在前馈注意力模型中需要更新的连接权重是双向LSTM神经网络模型到前馈注意力模型中的第一层感知器的连接权重矩阵w_a1和前馈注意力模型中的第一层感知器到第二层感知器的连接权重向量w_a2；在全连接层中需要更新的连接权重是前馈注意力模型到全连接层之间的连接权重向量W_y。

步骤5-3：设置迭代100次，在迭代过程中不断更新基于注意力神经网络预测模型中的连接权重。

步骤6：使用步骤5中训练好的基于注意力神经网络的水质预测模型预测未来时刻的该水质指标的数据。

所述步骤6中，预测未来时刻的该水质指标的数据具体步骤如下：

步骤6-1：获得该水质指标的当前数据，并将其进行z-score标准化，得到z-score标准化后该水质指标的当前数据：

步骤6-2：将输入到训练好的基于注意力神经网络的水质预测模型的输入层中，即双向LSTM神经网络模型中，其中，前向LSTM神经网络通过下式计算隐状态向量

其中，i_t表示该水质指标当前数据中的第t个时间节点的需要更新的信息，f_t表示该水质指标当前数据中的第t个时间节点的需要丢弃的信息，o_t表示该水质指标当前数据中的第t个时间节点的需要输出的信息；表示该水质指标当前数据中的第t个时间节点的候选门，候选门是备选更新内容的神经元；c_t表示该水质指标当前数据中的第t个时间节点的细胞状态，细胞状态是决定了需要输出信息内容的神经元；表示该水质指标当前数据中的第t个时间节点的输出的隐状态向量，h_t-1表示该水质指标当前数据中的第t-1个时间节点的输出的隐状态向量，c_t-1表示该水质指标当前数据中的第t-1个时间节点的细胞状态。

x_t ^*是长度为θ的向量，w_ix、w_fx、w_ox和w_cx是大小为u×θ的连接权重矩阵，其中w_ix、w_fx、w_ox和w_cx是输入数据分别到输入门、遗忘门、输出门和候选门的连接权重矩阵；w_ih、w_fh、w_oh和w_oh是大小为u×u的连接权重矩阵，其中w_ih、w_fh、w_oh和w_oh是输入门、遗忘门、输出门和候选门分别到隐层单元的连接矩阵权重；w_ic、w_fc、w_oc和w_cc是大小为u×u的连接权重矩阵，其中w_ic、w_fc、w_oc和w_cc是输入门、遗忘门、输出门和候选门分别到细胞状态的连接权重矩阵；b_i、b_f、b_o和b_c分别是输入门、遗忘门、输出门和候选门的偏置向量，b_i、b_f、b_o和b_c是长度为θ的偏置向量。

同理，通过相似前向LSTM神经网络公式计算后向LSTM神经网络隐状态向量

步骤6-3：两个单向LSTM神经网络分别得到隐状态向量和通过下式计算隐状态向量h_t：

其中，表示前向LSTM神经网络的隐状态向量，表示后向LSTM神经网络的隐状态向量，表示将前向和后向的LSTM神经网络的隐状态向量进行拼接，得到长度为2u的向量，W_hh是大小u×2u的连接权重矩阵。

步骤6-4：将h_t输入到基于注意力神经网络的水质预测模型的隐含层中，即前馈注意力模型，通过下式计算上下文向量c：

β_t＝tanh(w_a1h_t)

e_t＝w_a2β_t

a_t＝softmax(e_t)

其中，w_a1为大小为d_a×u的连接权重矩阵，w_a2为长度为d_a的连接权重向量。h_t表示第t个时间节点双向LSTM神经网络模型输出的隐状态向量，β_t表示第t个时间节点第一层感知器输出的长度为d_a的连接权重向量，e_t表示第t个时间节点隐状态向量的相似度权重，a_t表示第t个时间节点的隐状态向量归一化后的相似度权重，C为长度u的向量。

步骤6-5：使用全连接层作为输出层，将步骤6-4输出上下文向量c作为输入，输出预测值通过下式计算：

其中，W_y表示前馈注意力模型到全连接层长度为μ的连接权重向量。

本发明针对LSTM神经网络不考虑每个时刻水质指标的数据对预测结果有着不同重要程度，即不考虑赋予每个时刻水质指标的数据不同的权重，提出一种基于注意力神经网络的水质预测方法，该方法考虑水质样本中每个时刻水质指标的数据对预测结果的重要程度不同，赋予水质样本中每个时刻水质指标的数据不同的权重，从而降低了水质预测时产生的相对误差，提高预测精确度，使得水体水质的预测具有更高实时性和广泛的实用性。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (7)

1.基于注意力神经网络的水质预测方法，其特征在于：包括如下步骤：

步骤1：采集某一水质指标的数据；

步骤2：将步骤1采集到的该水质指标的数据进行z-score标准化处理；

步骤3：使用步骤2中处理好的该水质指标的数据构造训练集Training；

步骤4：构造基于注意力神经网络的水质预测模型；

步骤5：使用步骤3中构造的训练集Training训练步骤4中构造的基于注意力神经网络的水质预测模型；

步骤6：使用步骤5中训练好的基于注意力神经网络的水质预测模型预测未来时刻的该水质指标的数据。

2.根据权利要求1所述的基于注意力神经网络的水质预测方法，其特征在于：所述步骤1中，监测一定时间内某一水域，获得按时间排序的该水质指标的数据集合G，G＝{g₁,g₂,…g_i,…g_n}，其中n表示该水质指标的数据集合G中元素的数量，g_i为第i个时间节点的该水质指标的数据。

3.根据权利要求1所述的基于注意力神经网络的水质预测方法，其特征在于：所述步骤2中，使用z-score标准化方法对每个时间节点的该水质指标的数据进行标准化处理，通过下式计算

其中，g_i表示z-score标准化前第i个时间节点的该水质指标的数据，表示z-score标准化后第i个时间节点的该水质指标的数据，μ_x与σ_x分别表示该水质指标的数据集合的均值与标准差；

通过对采集到的该水质指标的数据进行z-score标准化，获得z-score标准化后的该水质指标的数据集合其中n表示z-score标准化后该水质指标的数据集合G^*中元素的数量，g_i ^*为第i个时间节点z-score标准化后的该水质指标的数据。

4.根据权利要求1所述的基于注意力神经网络的水质预测方法，其特征在于：所述步骤3中，将处理好的该水质指标的数据集合G^*用于构造训练集Training，构造训练集Training的具体步骤如下：

构造训练集Training＝{{x_i,y_i}}，0<i≤m，其中，m表示水质指标训练样本数量；设置d为窗口大小，x_i表示第i个训练样本的输入，其中x_i中包含d个时间节点的该水质指标的数据；y_i表示第i个训练样本输出，表示z-score标准化后第i+d个时间节点的该水质指标的数据。

5.根据权利要求1所述的基于注意力神经网络的水质预测方法，其特征在于：所述步骤4中，构造双向LSTM神经网络模型和前馈注意力模型，将二种模型构造为基于注意力神经网络的水质预测模型，具体步骤如下：

步骤4-1：构造双向LSTM神经网络模型，具体步骤如下：

步骤4-1-1：使用向前和向后两个结构相同的LSTM神经网络，输出隐状态矩阵H：

H＝(h₁,h₂,...,h_q)

其中，h_q表示双向LSTM神经网络在第q个时间节点输出的隐状态向量；设置q的值等于d的值，设置单向LSTM神经网络隐状态单元数为u，h_q为长度u的向量；

步骤4-1-2：设置双向LSTM神经网络输入层到隐含层的连接权重矩阵U、隐含层到隐含层的连接权重矩阵W、隐含层到输出层的连接权重矩阵V均为随机小实数；

步骤4-1-3：设置双向LSTM神经网络激活函数；将双向LSTM神经网络中的输入门、遗忘门和输出门的激活函数为sigmoid函数，候选门中的激活函数为tanh函数；

步骤4-2：构造前馈注意力模型，具体步骤如下：

步骤4-2-1：使用两层感知器作为前馈注意力模型的内部隐含层；设置两层感知器第一层单元数为d_a，设置两层感知器第二层单元数为1，其中，双向LSTM神经网络模型到前馈注意力模型中的第一层感知器的连接权重矩阵为w_a1，w_a1为大小d_a×u的连接权重矩阵，前馈注意力模型中的第一层感知器到第二层感知器的连接权重向量为w_a2，w_a2为长度d_a的连接权重向量；

步骤4-2-2：设置前馈注意力模型初始权重参数为随机小实数；

步骤4-3：使用全连接层作为基于注意力神经网络的水质预测模型的输出层；设置全连接层单元数为1，其中，前馈注意力模型到全连接层之间的连接权重向量为W_y，W_y是长度为μ的连接权重向量；设置全连接层初始权重参数为随机小实数；

步骤4-4：将步骤4-1构造好的双向LSTM神经网络模型和步骤4-2构造好的前馈注意力模型构造为基于注意力神经网络的水质预测模型；具体步骤如下：

步骤4-4-1：使用步骤4-1中构造好的双向LSTM神经网络模型作为基于注意力神经网络的水质预测模型的输入层，双向LSTM神经网络模型的输出为隐状态矩阵H；

步骤4-4-2：使用步骤4-2中构造好的前馈注意力模型作为基于注意力神经网络的水质预测模型的隐含层，将步骤4-4-1中输出的隐状态矩阵H作为前馈注意力模型的输入，前馈注意力模型的输出为上下文向量c；

步骤4-4-3：使用步骤4-2中构造好的全连接层作为基于注意力神经网络的水质预测模型的输出层，将步骤4-4-2中输出的上下文向量c作为全连接层的输入，全连接层的输出为预测值；

步骤4-4-4：基于注意力神经网络的水质预测模型选用均方误差作为损失函数。

6.根据权利要求1所述的基于注意力神经网络的水质预测方法，其特征在于：所述步骤5中，训练基于注意力神经网络的水质预测模型具体步骤如下：

步骤5-1：将训练集Training中输入到注意力神经网络的水质预测模型，通过模型得到与x_i对应的实际输出

步骤5-2：使用均方误差公式计算实际预测值与期望输出值的误差；利用反向传播算法将误差反向传递给每一个神经元，然后每个神经元会采用随机梯度下降更新每条连接线的连接权重；其中，在双向LSTM神经网络模型中需要更新的连接权重矩阵为输入层到隐含层的连接权重矩阵U、隐含层到隐含层的连接权重矩阵W、隐含层到输出层的连接权重矩阵V；在前馈注意力模型中需要更新的连接权重是双向LSTM神经网络模型到前馈注意力模型中的第一层感知器的连接权重矩阵w_a1和前馈注意力模型中的第一层感知器到第二层感知器的连接权重向量w_a2；在全连接层中需要更新的连接权重是前馈注意力模型到全连接层之间的连接权重向量W_y；

步骤5-3：设置迭代100次，在迭代过程中不断更新基于注意力神经网络预测模型中的连接权重。

7.根据权利要求1所述的基于注意力神经网络的水质预测方法，其特征在于：所述步骤6中，预测未来时刻的该水质指标的数据具体步骤如下：

步骤6-1：获得该水质指标的当前数据，并将其进行z-score标准化，得到z-score标准化后该水质指标的当前数据：

步骤6-2：将输入到训练好的基于注意力神经网络的水质预测模型的输入层中，即双向LSTM神经网络模型中，其中，前向LSTM神经网络通过下式计算隐状态向量

其中，i_t表示该水质指标当前数据中的第t个时间节点的需要更新的信息，f_t表示该水质指标当前数据中的第t个时间节点的需要丢弃的信息，o_t表示该水质指标当前数据中的第t个时间节点的需要输出的信息；表示该水质指标当前数据中的第t个时间节点的候选门，候选门是备选更新内容的神经元；c_t表示该水质指标当前数据中的第t个时间节点的细胞状态，细胞状态是决定了需要输出信息内容的神经元；表示该水质指标当前数据中的第t个时间节点的输出的隐状态向量，h_t-1表示该水质指标当前数据中的第t-1个时间节点的输出的隐状态向量，c_t-1表示该水质指标当前数据中的第t-1个时间节点的细胞状态；

x_t ^*是长度为θ的向量，w_ix、w_fx、w_ox和w_cx是大小为u×θ的连接权重矩阵，其中w_ix、w_fx、w_ox和w_cx是输入数据分别到输入门、遗忘门、输出门和候选门的连接权重矩阵；w_ih、w_fh、w_oh和w_oh是大小为u×u的连接权重矩阵，其中w_ih、w_fh、w_oh和w_oh是输入门、遗忘门、输出门和候选门分别到隐层单元的连接矩阵权重；w_ic、w_fc、w_oc和w_cc是大小为u×u的连接权重矩阵，其中w_ic、w_fc、w_oc和w_cc是输入门、遗忘门、输出门和候选门分别到细胞状态的连接权重矩阵；b_i、b_f、b_o和b_c分别是输入门、遗忘门、输出门和候选门的偏置向量，b_i、b_f、b_o和b_c是长度为θ的偏置向量；

同理，通过相似前向LSTM神经网络公式计算后向LSTM神经网络隐状态向量

步骤6-3：两个单向LSTM神经网络分别得到隐状态向量和通过下式计算隐状态向量h_t：

其中，表示前向LSTM神经网络的隐状态向量，表示后向LSTM神经网络的隐状态向量，表示将前向和后向的LSTM神经网络的隐状态向量进行拼接，得到长度为2u的向量，W_hh是大小u×2u的连接权重矩阵；

步骤6-4：将h_t输入到基于注意力神经网络的水质预测模型的隐含层中，即前馈注意力模型，通过下式计算上下文向量c；

β_t＝tanh(w_a1h_t)

e_t＝w_a2β_t

a_t＝softmax(e_t)

其中，w_a1为大小为d_a×u的连接权重矩阵，w_a2为长度为d_a的连接权重向量。h_t表示第t个时间节点双向LSTM神经网络模型输出的隐状态向量，β_t表示第t个时间节点第一层感知器输出的长度为d_a的连接权重向量，e_t表示第t个时间节点隐状态向量的相似度权重，a_t表示第t个时间节点的隐状态向量归一化后的相似度权重，C为长度u的向量；

步骤6-5：使用全连接层作为输出层，将步骤6-4输出上下文向量c作为输入，输出预测值通过下式计算：

其中，W_y表示前馈注意力模型到全连接层长度为μ的连接权重向量。