CN113392100A - 基于粒子群算法优化神经网络的系统智能校验方法、装置和系统 - Google Patents
基于粒子群算法优化神经网络的系统智能校验方法、装置和系统 Download PDFInfo
- Publication number
- CN113392100A CN113392100A CN202110939821.1A CN202110939821A CN113392100A CN 113392100 A CN113392100 A CN 113392100A CN 202110939821 A CN202110939821 A CN 202110939821A CN 113392100 A CN113392100 A CN 113392100A
- Authority
- CN
- China
- Prior art keywords
- neural network
- particle
- model
- value
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002245 particle Substances 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 39
- 238000012795 verification Methods 0.000 title claims abstract description 27
- 238000005457 optimization Methods 0.000 title claims abstract description 24
- 230000003044 adaptive effect Effects 0.000 claims description 59
- 238000003062 neural network model Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 13
- 238000010845 search algorithm Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于粒子群算法优化神经网络的系统智能校验方法、装置和系统，基于粒子群搜索算法，自适应找寻最优神经网络拓扑结构，并通过神经网络算法学些历史数据中系统输入与系统输出的逻辑关系，然后通过神经网络模拟系统输出并与真实输出值进行对比，通过设置置信区间决策系统输出的是否正确，实现线上数据核对、“无人参与”智能测试、全链路用例校验的智能测试技术。用于全链路用例智能校验、线上数据库数据智能核对、“无人参与”智能测试等场景。
Description
技术领域
本发明涉及人工智能和数据库技术领域，尤其涉及一种基于粒子群算法优化神经网络的系统智能校验方法、装置和系统。
背景技术
随着大数据时代的来临，万物互联和数字化转型的升级，数据的挖掘和应用走向智能化，基于数据的应用场景越来越多，传统的基于数据挖掘、清洗和统计分析已经不能满足对场景的智能化需求。
发明内容
针对上述缺陷，本发明要解决的技术问题是如何借助人工智能技术对数据进行智能化的挖掘和应用，用于新业务场景的决策。
针对上述缺陷，本发明的目的在于提供一种基于粒子群算法优化神经网络的系统智能校验方法、系统及电子设备、计算机存储介质和程序产品，应用在服务器端，通过搜索算法寻找最适合业务场景的神经网络模型拓扑结构；通过历史数据，根据误差反向传播算法计算网络模型拓扑结构下的神经网络模型参数，包括神经网络模型中各个节点的权值和偏置值，完成模型的训练；使用训练好的模型，用于新业务场景中的校验；根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败。
优选的，上述神经网络模型中，设网络拓扑结构包括多个网络层数，定义每一层的节点数，通过粒子群算法搜索神经网络模型拓扑结构算法以寻找最适合业务场景的神经网络模型拓扑结构。
优选的，算法包括以下步骤：
S1、初始化粒子群，给每个粒子赋予随机的初始位置和速度；
S2、根据适应度函数，计算每个粒子的适应值；
S3、对每一个粒子，将其当前位置的适应值与历史最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置；
S4、对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置；
S5、计算并更新每个粒子的速度与位置；
S6、若未满足结束条件，则返回S2，若满足结束条件则算法结束，全局最佳位置即全局最优解。
优选的，训练神经网络模型获取数据后通过特征工程进行数据处理，选择模型后调整学习率动态，在进行模型训练。
优选的，上述数据处理包括对连续值、离散值、枚举值进行数据归一化处理。
优选的，上述数据处理包括对连续值、离散值、枚举值进行数据方差缩放处理。
优选的，神经网络模型生成后，用生成好的模型对新的业务流量根据输入进行预测输出值，当网络模型的输出与业务实际输出值不一样时，通过设置置信区间来对模型预测值和业务实际相同值进行决策。
本发明提供一种基于粒子群算法优化神经网络的系统智能校验系统，包括至少一数据库以及至少一服务器，所述数据库RPC请求的入参和出参数据通过在RPC请求中打日志，然后通过日志服务去获取RPC请求的入参和出参值，所述服务器通过DRC进行获取，线下数据通过直接链接数据库进行获取，通过搜索算法寻找最适合业务场景的神经网络模型拓扑结构；通过历史数据，根据误差反向传播算法计算网络模型拓扑结构下的神经网络模型参数，包括神经网络模型中各个节点的权值和偏置值，完成模型的训练；使用训练好的模型，用于新业务场景中的校验；根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败。
优选的，上述算法包括以下步骤：
S1、初始化粒子群，给每个粒子赋予随机的初始位置和速度；
S2、根据适应度函数，计算每个粒子的适应值；
S3、对每一个粒子，将其当前位置的适应值与历史最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置；
S4、对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置；
S5、计算并更新每个粒子的速度与位置；
S6、若未满足结束条件，则返回S2，若满足结束条件则算法结束，全局最佳位置即全局最优解。。
优选的，训练神经网络模型获取数据后通过特征工程进行数据处理，选择模型后调整学习率动态，在进行模型训练，所述数据处理包括对连续值、离散值、枚举值进行数据归一化或方差缩放处理，神经网络模型生成后，用生成好的模型对新的业务流量根据输入进行预测输出值，当网络模型的输出与业务实际输出值不一样时，通过设置置信区间来对模型预测值和业务实际相同值进行决策。
本发明提供一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述方法的步骤。
本发明提供一种计算机程序产品，包括计算机程序 /指令，其特征在于，该计算机程序/指令被处理器执行时实现上述方法的步骤。
本发明提供一种电子设备，包括：
处理器；以及
被设置成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
通过搜索算法寻找最适合业务场景的神经网络模型拓扑结构；通过历史数据，根据误差反向传播算法计算网络模型拓扑结构下的神经网络模型参数，包括神经网络模型中各个节点的权值和偏置值，完成模型的训练；使用训练好的模型，用于新业务场景中的校验；根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败；
算法包括以下步骤：
S1、初始化粒子群，给每个粒子赋予随机的初始位置和速度；
S2、根据适应度函数，计算每个粒子的适应值；
S3、对每一个粒子，将其当前位置的适应值与历史最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置；
S4、对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置；
S5、计算并更新每个粒子的速度与位置；
S6、若未满足结束条件，则返回S2，若满足结束条件则算法结束，全局最佳位置即全局最优解。
相对于现有技术，本发明该方案具有方案实现流程自动化，算法召回率和精确率更高的优点，同时克服了直接搜索神经网络拓扑结构产生的NP-hard问题，在当前业务实践中具有很好的适应性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明基于粒子群算法优化神经网络的系统智能校验方法一实施例结构示意图；
图2示出了本发明基于粒子群算法优化神经网络的系统智能校验方法另一实施例结构示意图；
图3示出了本发明基于粒子群算法优化神经网络的系统智能校验方法另一实施例结构示意图；
图4示出了本发明基于粒子群算法优化神经网络的系统智能校验方法一实施例流程示意图；
图5示出了本发明基于粒子群算法优化神经网络的系统智能校验方法另一实施例流程示意图；
图6示出了本发明基于粒子群算法优化神经网络的系统智能校验方法中的算法流程示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1-4所示，本说明书的一个实施例提供的一种基于粒子群算法优化神经网络的系统智能校验方法，包括：
步骤一、通过粒子群搜索算法寻找最适合业务场景的神经网络模型拓扑结构；
步骤二、通过历史数据，根据误差反向传播算法计算第一步骤中网络模型拓扑结构下的神经网络模型参数（网络中各个节点的权值、偏置值），完成模型的训练。
步骤三、使用训练好的模型，用于新业务场景中的校验。根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败。
在一些实施例中，步骤一具体为：
神经网络模型中，网络拓扑结构可以由网络的层数（设为n），每一层的节点数（设第一层节点数是s_1，第二层节点数是s_2，第n层节点数是s_n）来定义。因此，对于一个n层的神经网络，通过粒子群算法搜索神经网络模型拓扑结构算法步骤如下：
1、初始化
初始化粒子群（粒子群共有m个粒子）：给每个粒子赋予随机的初始位置和速度。例如：
粒子位置（8，4，16，3）表示第一层节点数是8，第二层节点数是4，第三层节点数是16，第四层节点数是3的神经网络结构。
粒子位置（5，3，32，5）表示第一层节点数是5，第二层节点数是3，第三层节点数是32，第四层节点数是5的神经网络结构。
2、计算适应值
根据适应度函数，计算每个粒子的适应值
粒子的适应值用训练神经网络的损失函数表示：
例如：粒子位置（5，3，32，5）对应的神经网络损失值为0.006，该粒子位置优于（8，4，16，3）粒子。
3、求个体最佳适应值
对每一个粒子，将其当前位置的适应值与历史最佳位置（pbest）对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置。
4、求个体最佳适应值
对每一个粒子，将其当前位置的适应值与其全局最佳位置（gbest）对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置。
5、更新粒子位置和速度
根据以下公式更新每个粒子的速度与位置
本次迭代速度=上次迭代速度+权重1*（单体历史最佳位置-当前位置）+权重2*（群体历史最佳位置-当前位置）
本次迭代后位置=当前迭代位置+本次迭代速度。
对应的数学公式：
其中，
为权重1，
为权重2，
为单体历史最佳位置，
为群体历史最
佳位置，
为本次迭代后位置，
为上次迭代后位置（当前位置），
为本次迭代速度，
为上次迭代速度。
6、判断算法是否结束
若未满足结束条件，则返回步骤2，若满足结束条件则算法结束，全局最佳位置（gbest）即全局最优解。
本说明书的一个实施例提供的一种基于粒子群算法优化神经网络的系统智能校验方法，应用在服务器端，通过搜索算法寻找最适合业务场景的神经网络模型拓扑结构；通过历史数据，根据误差反向传播算法计算网络模型拓扑结构下的神经网络模型参数，包括神经网络模型中各个节点的权值和偏置值，完成模型的训练；使用训练好的模型，用于新业务场景中的校验；根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败。
在一些实施例中，神经网络模型中，设网络拓扑结构包括多个网络层数，定义每一层的节点数，通过粒子群算法搜索神经网络模型拓扑结构算法以寻找最适合业务场景的神经网络模型拓扑结构。
在一些实施例中，如图6所示，算法包括以下步骤：
S1、初始化粒子群，给每个粒子赋予随机的初始位置和速度；
S2、根据适应度函数，计算每个粒子的适应值；
S3、对每一个粒子，将其当前位置的适应值与历史最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置；
S4、对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置；
S5、计算并更新每个粒子的速度与位置；
S6、若未满足结束条件，则返回S2，若满足结束条件则算法结束，全局最佳位置即全局最优解。
在一些实施例中，训练神经网络模型获取数据后通过特征工程进行数据处理，选择模型后调整学习率动态，在进行模型训练。
在一些实施例中，数据处理包括对连续值、离散值、枚举值进行数据归一化处理。
在一些实施例中，数据处理包括对连续值、离散值、枚举值进行数据方差缩放处理。
在一些实施例中，神经网络模型生成后，用生成好的模型对新的业务流量根据输入进行预测输出值，当网络模型的输出与业务实际输出值不一样时，通过设置置信区间来对模型预测值和业务实际相同值进行决策。
本发明提供一种基于粒子群算法优化神经网络的系统智能校验系统实施例，包括至少一数据库以及至少一服务器，所述数据库RPC请求的入参和出参数据通过在RPC请求中打日志，然后通过日志服务去获取RPC请求的入参和出参值，所述服务器通过DRC进行获取，线下数据通过直接链接数据库进行获取，通过搜索算法寻找最适合业务场景的神经网络模型拓扑结构；通过历史数据，根据误差反向传播算法计算网络模型拓扑结构下的神经网络模型参数，包括神经网络模型中各个节点的权值和偏置值，完成模型的训练；使用训练好的模型，用于新业务场景中的校验；根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败。
如图6所示，在一些实施例中算法包括以下步骤：
S1、初始化粒子群，给每个粒子赋予随机的初始位置和速度；
S2、根据适应度函数，计算每个粒子的适应值；
S3、对每一个粒子，将其当前位置的适应值与历史最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置；
S4、对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置；
S5、计算并更新每个粒子的速度与位置；
S6、若未满足结束条件，则返回S2，若满足结束条件则算法结束，全局最佳位置即全局最优解。。
在一些实施例中，训练神经网络模型获取数据后通过特征工程进行数据处理，选择模型后调整学习率动态，在进行模型训练，所述数据处理包括对连续值、离散值、枚举值进行数据归一化或方差缩放处理，神经网络模型生成后，用生成好的模型对新的业务流量根据输入进行预测输出值，当网络模型的输出与业务实际输出值不一样时，通过设置置信区间来对模型预测值和业务实际相同值进行决策。
本发明提供一种计算机可读存储介质实施例，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的操作。
本发明提供一种计算机程序产品实施例，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的操作。
本发明提供一种电子设备实施例，包括：
处理器；以及
被设置成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法的操作。
如图3所示，本发明提供一种训练神经网络模型的实施例，其中数据来源是数据库RPC (远程过程调用协议Remote Procedure Call Protocol)请求的入参和出参数据可以通过在RPC请求中打日志，然后通过日志服务(Log Service,SLS)去获取RPC请求的入参和出参值。DB数据上通过DRC（基于数据库bingo日志获取增量数据）进行获取，线下DB数据通过直接链接数据库进行获取。
在一些实施例中，数据包括互联网医疗平台或者医疗大数据库，比如用户的某种精神疾病、心理疾病或者其他疾病数据等。经过用户授权，通过PC或者手机终端，用户通过交互授权的数据沉淀后形成数据源。
再比如，在一些财务场景中，数据可能是理财数据、会计数据、税务数据、审计数据等等。
还有一些场景中，数据是非结构化的，比如图像数据、心电图数据等，这些数据需要经过数据结构化处理，有些数据是离散的非连续的。
因此对数据处理非常必要，本发明提供了基于特征工程对数据的处理，处理的数据包括：
1.金额类型的连续值
金额类型字段值本身就是数值连续型的，无需再进行特殊处理，只需在进行模型训练前进行归一化操作即可。
2.字符串类型的离散值
字符串类型的离散值，比如ip_id、身份证这种，这些值是离散的、不可枚举的。需要设计一个哈希函数，将字符串转化为一个具体的数值。哈希函数的范围大小通过评估字符串可能的数量来决定。例如身份证这个字段，假设用户量级大致是1亿，因此可以设置哈希函数的范围是0到1亿。
3.状态类型枚举值
对于状态类型，这些值是离散的，可枚举的，直接进行独热编码（One-Hot）即可。例如初始化、进行中、成功、失败这四个状态可以编码成0001、0010、0100、1000。
4.数据归一化
数据归一化方法用的较多的有两种，第一种是特征缩放法，设x是一个特征值，min(x)和max(x)分别是这个特征在数据集中的最小值和最大值，因此特征缩放法的公式如下：
或者采用方差缩放法，方差缩放后，会把数据集分布变成均值为0，方差值为1的分布。
在本实施例中，选择方差缩放法。通过神经网络预测出的值，会通过置信区间与实际值进行决策。方差缩放法利于更好的区分不同值之间的置信区间范围。
如图5所示，在一些实施例中，对模型选择，将业务数据转化为数学向量后，将历史数据分成训练集和测试集两组后，开始对模型进行训练。在不同的业务场景中，选择不同的网络模型会提高算法的进度。本实施例选择前馈神经网络去拟合业务输入与输出关系。
在一些实施例中，学习率动态调整，将输入数据进行归一化操作后，设置初始学习率为0.1。然后根据迭代次数，设置每迭代n次，将学习率下降10倍（学习率*0.1）。
在一些实施例中，模型训练，最后通过误差反向传播算法进行模型训练。
在一些实施例中，通过置信区间决策校验结果，神经网络模型生成后，即可用生成好的模型对新的业务流量根据输入进行预测输出值。网络模型的输出与业务实际输出值是会不一样的，例如实际业务输出的是35，网络模型可能预测输出的是34.995或者35.2。这时需要通过设置置信区间来对模型预测值和业务实际相同值进行决策。置信区间可以设置当两者误差小于3%时，认为这两者是一致的，即对业务校验正确；否则，认为业务报错。
本发明通过基于粒子群搜索算法，自适应找寻最优神经网络拓扑结构，并通过神经网络算法学些历史数据中系统输入与系统输出的逻辑关系，然后通过神经网络模拟系统输出并与真实输出值进行对比，通过设置置信区间决策系统输出的是否正确，实现线上数据核对、灰度环境“无人参与”智能测试、全链路用例校验的智能测试技术。该方案相比于目前学术上已有的通过神经网络解决Test Oracle问题，具有方案实现流程自动化，算法召回率和精确率更高的优点，同时克服了直接搜索神经网络拓扑结构产生的NP-hard问题，在当前业务实践中具有很好的适应性。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种基于粒子群算法优化神经网络的系统智能校验方法，应用在服务器端，通过搜索算法寻找最适合业务场景的神经网络模型拓扑结构；通过历史数据，根据误差反向传播算法计算网络模型拓扑结构下的神经网络模型参数，包括神经网络模型中各个节点的权值和偏置值，完成模型的训练；使用训练好的模型，用于新业务场景中的校验；根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败。
2.根据权利要求1所述的基于粒子群算法优化神经网络的系统智能校验方法，所述神经网络模型中，设网络拓扑结构包括多个网络层数，定义每一层的节点数，通过粒子群算法搜索神经网络模型拓扑结构算法以寻找最适合业务场景的神经网络模型拓扑结构。
3.根据权利要求1或2所述的基于粒子群算法优化神经网络的系统智能校验方法，算法包括以下步骤：
S1、初始化粒子群，给每个粒子赋予随机的初始位置和速度；
S2、根据适应度函数，计算每个粒子的适应值；
S3、对每一个粒子，将其当前位置的适应值与历史最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置；
S4、对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置；
S5、计算并更新每个粒子的速度与位置；
S6、若未满足结束条件，则返回S2，若满足结束条件则算法结束，全局最佳位置即全局最优解。
4.根据权利要求1或2所述的基于粒子群算法优化神经网络的系统智能校验方法，训练神经网络模型获取数据后通过特征工程进行数据处理，选择模型后调整学习率动态，在进行模型训练。
5.根据权利要求4所述的基于粒子群算法优化神经网络的系统智能校验方法，所述数据处理包括对连续值、离散值、枚举值进行数据归一化处理。
6.根据权利要求4所述的基于粒子群算法优化神经网络的系统智能校验方法，所述数据处理包括对连续值、离散值、枚举值进行数据方差缩放处理。
7.根据权利要求1或2所述的基于粒子群算法优化神经网络的系统智能校验方法，神经网络模型生成后，用生成好的模型对新的业务流量根据输入进行预测输出值，当网络模型的输出与业务实际输出值不一样时，通过设置置信区间来对模型预测值和业务实际相同值进行决策。
8.一种基于粒子群算法优化神经网络的系统智能校验系统，包括至少一数据库以及至少一服务器，所述数据库RPC请求的入参和出参数据通过在RPC请求中打日志，然后通过日志服务去获取RPC请求的入参和出参值，所述服务器通过DRC进行获取，线下数据通过直接链接数据库进行获取，通过搜索算法寻找最适合业务场景的神经网络模型拓扑结构；通过历史数据，根据误差反向传播算法计算网络模型拓扑结构下的神经网络模型参数，包括神经网络模型中各个节点的权值和偏置值，完成模型的训练；使用训练好的模型，用于新业务场景中的校验；根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败。
9.根据权利要求8所述的系统，所述算法包括以下步骤：
S1、初始化粒子群，给每个粒子赋予随机的初始位置和速度；
S2、根据适应度函数，计算每个粒子的适应值；
S3、对每一个粒子，将其当前位置的适应值与历史最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置；
S4、对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置；
S5、计算并更新每个粒子的速度与位置；
S6、若未满足结束条件，则返回S2，若满足结束条件则算法结束，全局最佳位置即全局最优解。
10.根据权利要求8或9所述的系统，训练神经网络模型获取数据后通过特征工程进行数据处理，选择模型后调整学习率动态，在进行模型训练，所述数据处理包括对连续值、离散值、枚举值进行数据归一化或方差缩放处理，神经网络模型生成后，用生成好的模型对新的业务流量根据输入进行预测输出值，当网络模型的输出与业务实际输出值不一样时，通过设置置信区间来对模型预测值和业务实际相同值进行决策。
11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求 1-7之一所述方法的步骤。
12.一种计算机程序产品，包括计算机程序 /指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求 1-7之一所述方法的步骤。
13.一种电子设备，包括：
处理器；以及
被设置成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
通过搜索算法寻找最适合业务场景的神经网络模型拓扑结构；通过历史数据，根据误差反向传播算法计算网络模型拓扑结构下的神经网络模型参数，包括神经网络模型中各个节点的权值和偏置值，完成模型的训练；使用训练好的模型，用于新业务场景中的校验；根据算法模型的预测值和业务实际输出值进行对比，判断是否在置信区间中，如果在，则校验正确；反之，则校验失败；
算法包括以下步骤：
S1、初始化粒子群，给每个粒子赋予随机的初始位置和速度；
S2、根据适应度函数，计算每个粒子的适应值；
S3、对每一个粒子，将其当前位置的适应值与历史最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置；
S4、对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置；
S5、计算并更新每个粒子的速度与位置；
S6、若未满足结束条件，则返回S2，若满足结束条件则算法结束，全局最佳位置即全局最优解。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110939821.1A CN113392100A (zh) | 2021-08-17 | 2021-08-17 | 基于粒子群算法优化神经网络的系统智能校验方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110939821.1A CN113392100A (zh) | 2021-08-17 | 2021-08-17 | 基于粒子群算法优化神经网络的系统智能校验方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113392100A true CN113392100A (zh) | 2021-09-14 |
Family
ID=77622874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110939821.1A Pending CN113392100A (zh) | 2021-08-17 | 2021-08-17 | 基于粒子群算法优化神经网络的系统智能校验方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392100A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114374636A (zh) * | 2021-12-21 | 2022-04-19 | 航天科工网络信息发展有限公司 | 一种智能路由方法、装置及网络设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334059A (zh) * | 2018-02-26 | 2018-07-27 | 上海理工大学 | 基于粒子群算法优化bp神经网络模型故障诊断方法 |
| CN109146121A (zh) * | 2018-06-25 | 2019-01-04 | 华北电力大学 | 基于pso-bp模型的停限产情况下的电量预测方法 |
| CN111210082A (zh) * | 2020-01-13 | 2020-05-29 | 东南大学 | 一种基于优化的bp神经网络算法的降水量预测方法 |
| CN111882041A (zh) * | 2020-07-31 | 2020-11-03 | 国网重庆市电力公司电力科学研究院 | 一种基于改进rnn神经网络的电网攻击检测方法及装置 |
-
2021
- 2021-08-17 CN CN202110939821.1A patent/CN113392100A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334059A (zh) * | 2018-02-26 | 2018-07-27 | 上海理工大学 | 基于粒子群算法优化bp神经网络模型故障诊断方法 |
| CN109146121A (zh) * | 2018-06-25 | 2019-01-04 | 华北电力大学 | 基于pso-bp模型的停限产情况下的电量预测方法 |
| CN111210082A (zh) * | 2020-01-13 | 2020-05-29 | 东南大学 | 一种基于优化的bp神经网络算法的降水量预测方法 |
| CN111882041A (zh) * | 2020-07-31 | 2020-11-03 | 国网重庆市电力公司电力科学研究院 | 一种基于改进rnn神经网络的电网攻击检测方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114374636A (zh) * | 2021-12-21 | 2022-04-19 | 航天科工网络信息发展有限公司 | 一种智能路由方法、装置及网络设备 |
| CN114374636B (zh) * | 2021-12-21 | 2024-04-02 | 航天科工网络信息发展有限公司 | 一种智能路由方法、装置及网络设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109408731B (zh) | 一种多目标推荐方法、多目标推荐模型生成方法以及装置 | |
| CN112181666A (zh) | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质 | |
| KR102472800B1 (ko) | 인공지능 기반 기업 등급 평가 방법, 장치 및 시스템 | |
| CN115130536A (zh) | 特征提取模型的训练方法、数据处理方法、装置及设备 | |
| CN114511063A (zh) | 电力数据预测模型构建方法、装置、设备、介质及程序 | |
| CN113342474A (zh) | 客户流量的预测、模型训练的方法、设备及存储介质 | |
| CN113392100A (zh) | 基于粒子群算法优化神经网络的系统智能校验方法、装置和系统 | |
| CN111461353A (zh) | 一种模型训练的方法和系统 | |
| CN114185761B (zh) | 日志采集方法、装置及设备 | |
| CN114580546A (zh) | 基于联邦学习框架的工业机泵类故障预测方法及系统 | |
| CN117668622B (zh) | 设备故障诊断模型的训练方法、故障诊断方法及装置 | |
| CN112905987B (zh) | 账号识别方法、装置、服务器及存储介质 | |
| CN114092162B (zh) | 推荐质量确定方法、推荐质量确定模型的训练方法及装置 | |
| CN117492993A (zh) | 边缘无服务平台中基于函数特征信息的资源配置方法 | |
| CN113239077B (zh) | 一种基于神经网络的搜索方法、系统和计算机可读存储介质 | |
| CN110889316A (zh) | 一种目标对象识别方法、装置及存储介质 | |
| Altay et al. | Chaos numbers based a new representation scheme for evolutionary computation: applications in evolutionary association rule mining | |
| CN113723593B (zh) | 一种基于神经网络的切负荷预测方法及系统 | |
| WO2023082045A1 (zh) | 一种神经网络架构搜索的方法和装置 | |
| CN116958608A (zh) | 对象识别模型的更新方法、装置、设备、介质及程序产品 | |
| CN114548382A (zh) | 迁移训练方法、装置、设备、存储介质及程序产品 | |
| CN117560162A (zh) | 网络安全防护方法、设备、存储介质及装置 | |
| CN115102868A (zh) | 一种基于SOM聚类与深度自编码器的web服务QoS预测方法 | |
| CN113553270B (zh) | 目标对象确定方法及装置 | |
| Su et al. | Neural network based fusion of global and local information in predicting time series |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Rooms 1601 and 1602, 16th floor, No. 52, North Fourth Ring West Road, Haidian District, Beijing 100080 Applicant after: Good Feeling Health Industry Group Co.,Ltd. Address before: Rooms 1601 and 1602, 16th floor, No. 52, North Fourth Ring West Road, Haidian District, Beijing 100080 Applicant before: BEIJING HAOXINQING MOBILE MEDICAL TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information |