CN113806188B - 一种数据同步告警的方法、装置、设备及可读介质 - Google Patents
一种数据同步告警的方法、装置、设备及可读介质 Download PDFInfo
- Publication number
- CN113806188B CN113806188B CN202111369657.1A CN202111369657A CN113806188B CN 113806188 B CN113806188 B CN 113806188B CN 202111369657 A CN202111369657 A CN 202111369657A CN 113806188 B CN113806188 B CN 113806188B
- Authority
- CN
- China
- Prior art keywords
- synchronization
- information
- objects
- difference
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims description 33
- 239000012634 fragment Substances 0.000 claims description 30
- 230000007704 transition Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 description 32
- 238000013467 fragmentation Methods 0.000 description 8
- 238000006062 fragmentation reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供了一种基于马尔科夫预测模型的数据同步告警的方法、装置、设备及可读介质,该方法包括:按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断对象个数差值是否为0;响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值;将对象个数差值与计算得到的阈值进行比较;响应于对象个数差值大于计算得到的阈值,发出同步异常的告警。通过使用本发明的方案,能够有效地监控数据同步过程,能够实现更准确地告警,便于问题的定位与解决。
Description
技术领域
本领域涉及计算机领域,并且更具体地涉及一种基于马尔科夫预测模型的数据同步告警的方法、装置、设备及可读介质。
背景技术
分布式对象存储已经成为应对海量非结构化数据增长的首选,在满足存储需求的同时,又需要满足对关键数据的容灾备份。比如:当某个集群发生故障时,需要保障用户业务继续运行。基于以上需求多站点功能就应运而生,主从站点同步使得数据可以从一个数据库服务器复制到其他服务器上,在复制数据时,一个服务器充当主服务器(master),其余的服务器充当从服务器(slave)。而网络状态又很在很大程度上影响了某段时间的同步效率,如何有效地、及时地结合当前网络状态对该时间段的对象同步个数的差额阈值进行预测,进而与真正差额检测结果进行对比,判断该段时间是否存在漏传或传输问题,对整个同步流程中问题的定位与解决有着重要的意义。
马尔可夫(Markov)预测法,是一种关于事件发生的概率预测方法。它是根据事件的目前状况来预测其将来各个时刻(或时期)变动状况的一种预测方法。对于一个系统,由一个状态转至另一个状态的转换过程中,存在着转移概率,并且这种转移概率可以依据其紧接的前一种状态推算出来,与该系统的原始状态和此次转移前的过程无关。
在主从站点的数据同步中,如果不能及时准确的判断出某个时间段的同步出现了问题,需要整个同步结束进行判断,那么将很难定位出问题的现场及原因。
发明内容
有鉴于此,本发明实施例的目的在于提出一种基于马尔科夫预测模型的数据同步告警的方法、装置、设备及可读介质,通过使用本发明的技术方案,能够有效地监控数据同步过程,能够实现更准确地告警,便于问题的定位与解决。
基于上述目的,本发明的实施例的一个方面提供了一种基于马尔科夫预测模型的数据同步告警的方法,包括以下步骤:
按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;
每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断对象个数差值是否为0;
响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;
响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值;
将对象个数差值与计算得到的阈值进行比较;
响应于对象个数差值大于计算得到的阈值,发出同步异常的告警。
根据本发明的一个实施例,计算参数信息包括网络初始时刻状态概率、状态转移矩阵和影响因子。
根据本发明的一个实施例,响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值包括:
使用如下公式计算当前时刻网络状态的阈值:
P(t)=P(0)At和,其中,P(t)表示t时刻的状
态概率,P(0)表示网络初始时刻状态概率,At表示通过t时刻的状态转移矩阵相乘,thj(t)表
示t时刻网络状态的阈值,Pi(t-1)表示t-1时刻到t时刻状态转移矩阵,μj表示影响因子,TH
表示设置的参数值。
根据本发明的一个实施例,在每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值前还包括:
获取主站点业务网关的状态信息和从站点同步网关的状态信息;
判断业务网关的状态信息和同步网关的状态信息是否存在异常;
响应于业务网关的状态信息异常和/或同步网关的状态信息异常,发出网关状态异常的告警。
根据本发明的一个实施例,响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常包括:
响应于对象个数差值不为0,获取数据同步过程中落后的分片数和重传的分片数;
判断落后的分片数和重传的分片数是否为0;
响应于落后的分片数不为0和/或重传的分片数不为0,确定同步信息正常。
根据本发明的一个实施例,还包括:
响应于落后的分片数和重传的分片数全都为0,发出同步异常的告警。
根据本发明的一个实施例,阈值时间为15分钟。
本发明的实施例的另一个方面,还提供了一种基于马尔科夫预测模型的数据同步告警的装置,装置包括:
训练模块,训练模块配置为按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;
获取模块,获取模块配置为每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断对象个数差值是否为0;
判断模块,判断模块配置为响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;
计算模块,计算模块配置为响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值;
比较模块,比较模块配置为将对象个数差值与计算得到的阈值进行比较;
告警模块,告警模块配置为响应于对象个数差值大于计算得到的阈值,发出同步异常的告警。
本发明的实施例的另一个方面,还提供了一种计算机设备,该计算机设备包括:
至少一个处理器;以及
存储器,存储器存储有可在处理器上运行的计算机指令,指令由处理器执行时实现上述任意一项方法的步骤。
本发明的实施例的另一个方面,还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述任意一项方法的步骤。
本发明具有以下有益技术效果:本发明实施例提供的基于马尔科夫预测模型的数据同步告警的方法,通过按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断对象个数差值是否为0;响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值;将对象个数差值与计算得到的阈值进行比较;响应于对象个数差值大于计算得到的阈值,发出同步异常的告警的技术方案,能够有效地监控数据同步过程,能够实现更准确地告警,便于问题的定位与解决。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为根据本发明一个实施例的基于马尔科夫预测模型的数据同步告警的方法的示意性流程图;
图2为根据本发明一个实施例的基于马尔科夫预测模型的数据同步告警的装置的示意图;
图3为根据本发明一个实施例的计算机设备的示意图;
图4为根据本发明一个实施例的计算机可读存储介质的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
基于上述目的,本发明的实施例的第一个方面,提出了一种基于马尔科夫预测模型的数据同步告警的方法的一个实施例。图1示出的是该方法的示意性流程图。
如图1中所示,该方法可以包括以下步骤:
S1按照前向算法对数据同步的历史数据进行训练以得到计算参数信息。
S2每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断对象个数差值是否为0。
S3响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常。
S4响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值。
S5将对象个数差值与计算得到的阈值进行比较。
S6响应于对象个数差值大于计算得到的阈值,发出同步异常的告警。
本发明将在数据同步过程中每15分钟的网络状态作为马尔可夫模型的转移状态
Ei=0,1,其中,0代表着网络状态健康,1代表着网络状态较差,用,
表示网络状态的的初始概率。在第t个15分钟时的网络状态处于Ej的概率可以表示为:,从初始状态开始,经过t个15分钟的传输后,状态转移到Ej的过程可以看作
首先经过(t-1)次状态转移后到达状态Ei,i=1,2,…,n,然后再由Ei经过一次状态转移到状
态Ej。根据马尔可夫的无后效性有:
因此可逐次计算状态概率的递推公式为:
在大批历史实际数据的训练推导下,通过前向算法可得出状态间的状态转移矩阵及初始概率,以及网络状态对阈值大小的影响因子μ。可得在t个15分钟网络状态为j时的阈值计算公式为:
其中TH为目前根据经验设置的阈值,同时在主从站点数据同步的过程中,设置检测脚本为每15分钟对主从站点的配额差,即主从站点之间的对象个数间的差值进行检测,并同时与通过马尔可夫预测得到的该时段的阈值进行对比,超过阈值则进行告警。
通过本发明的技术方案,能够有效地监控数据同步过程,能够实现更准确地告警,便于问题的定位与解决。
在本发明的一个优选实施例中,计算参数信息包括网络初始时刻状态概率、状态转移矩阵和影响因子。
在本发明的一个优选实施例中,响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值包括:
使用如下公式计算当前时刻网络状态的阈值:
P(t)=P(0)At和,其中,P(t)表示t时刻的状
态概率,P(0)表示网络初始时刻状态概率,At表示通过t时刻的状态转移矩阵相乘,thj(t)表
示t时刻网络状态的阈值,Pi(t-1)表示t-1时刻到t时刻状态转移矩阵,μj表示影响因子,TH
表示设置的参数值。其中第一个公式为通过上述逐次计算状态概率的递推公式推导而得
出,影响因子通常设置为0.65,TH通常设置为5000。
在本发明的一个优选实施例中,在每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值前还包括:
获取主站点业务网关的状态信息和从站点同步网关的状态信息;
判断业务网关的状态信息和同步网关的状态信息是否存在异常;
响应于业务网关的状态信息异常和/或同步网关的状态信息异常,发出网关状态异常的告警。还需要获取主从站点的网络状态的信息,如果主从站点网关状态的信息中的任何一个出现异常,则数据同步过程中一定会出现异常,需要向管理员发出相应的告警。
在本发明的一个优选实施例中,响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常包括:
响应于对象个数差值不为0,获取数据同步过程中落后的分片数和重传的分片数;
判断落后的分片数和重传的分片数是否为0;
响应于落后的分片数不为0和/或重传的分片数不为0,确定同步信息正常。当对象个数差值为0时,则表示同步正常,所有的数据都能够正常进行同步,当对象个数差值不为0时,则表示一定有数据没有能够进行同步,此时,一定会存在落后的分片数或者重传的分片数,在检测到落后的分片数不为0和/或重传的分片数不为0时,确定为同步信息正常。
在本发明的一个优选实施例中,还包括:
响应于落后的分片数和重传的分片数全都为0,发出同步异常的告警。如上述,当对象个数差值不为0时,则表示一定有数据没有能够进行同步,此时,在这种情况下,如果检测到落后的分片数和重传的分片数全都为0,则确定同步信息异常,需要向管理员发出相应的告警。
在本发明的一个优选实施例中,阈值时间为15分钟。
通过本发明的技术方案,能够有效地监控数据同步过程,能够实现更准确地告警,便于问题的定位与解决。
需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,上述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储器(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,RAM)等。上述计算机程序的实施例,可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外,根据本发明实施例公开的方法还可以被实现为由CPU 执行的计算机程序,该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU 执行时,执行本发明实施例公开的方法中限定的上述功能。
基于上述目的,本发明的实施例的第二个方面,提出了一种基于马尔科夫预测模型的数据同步告警的装置,如图2所示,装置200包括:
训练模块201,训练模块201配置为按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;
获取模块202,获取模块202配置为每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断对象个数差值是否为0;
判断模块203,判断模块203配置为响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;
计算模块204,计算模块204配置为响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值;
比较模块205,比较模块205配置为将对象个数差值与计算得到的阈值进行比较;
告警模块206,告警模块206配置为响应于对象个数差值大于计算得到的阈值,发出同步异常的告警。
基于上述目的,本发明实施例的第三个方面,提出了一种计算机设备。图3示出的是本发明提供的计算机设备的实施例的示意图。如图3所示,本发明实施例包括如下装置:至少一个处理器21;以及存储器22,存储器22存储有可在处理器上运行的计算机指令23,指令由处理器执行时实现以下方法:
按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;
每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断对象个数差值是否为0;
响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;
响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值;
将对象个数差值与计算得到的阈值进行比较;
响应于对象个数差值大于计算得到的阈值,发出同步异常的告警。
在本发明的一个优选实施例中,计算参数信息包括网络初始时刻状态概率、状态转移矩阵和影响因子。
在本发明的一个优选实施例中,响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值包括:
使用如下公式计算当前时刻网络状态的阈值:
P(t)=P(0)At和,其中,P(t)表示t时刻的状
态概率,P(0)表示网络初始时刻状态概率,At表示通过t时刻的状态转移矩阵相乘,thj(t)表
示t时刻网络状态的阈值,Pi(t-1)表示t-1时刻到t时刻状态转移矩阵,μj表示影响因子,TH
表示设置的参数值。
在本发明的一个优选实施例中,在每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值前还包括:
获取主站点业务网关的状态信息和从站点同步网关的状态信息;
判断业务网关的状态信息和同步网关的状态信息是否存在异常;
响应于业务网关的状态信息异常和/或同步网关的状态信息异常,发出网关状态异常的告警。
在本发明的一个优选实施例中,响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常包括:
响应于对象个数差值不为0,获取数据同步过程中落后的分片数和重传的分片数;
判断落后的分片数和重传的分片数是否为0;
响应于落后的分片数不为0和/或重传的分片数不为0,确定同步信息正常。
在本发明的一个优选实施例中,还包括:
响应于落后的分片数和重传的分片数全都为0,发出同步异常的告警。
在本发明的一个优选实施例中,阈值时间为15分钟。
基于上述目的,本发明实施例的第四个方面,提出了一种计算机可读存储介质。图4示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图4所示,计算机可读存储介质31存储有被处理器执行时执行如下方法的计算机程序32:
按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;
每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断对象个数差值是否为0;
响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;
响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值;
将对象个数差值与计算得到的阈值进行比较;
响应于对象个数差值大于计算得到的阈值,发出同步异常的告警。
在本发明的一个优选实施例中,计算参数信息包括网络初始时刻状态概率、状态转移矩阵和影响因子。
在本发明的一个优选实施例中,响应于当前的同步信息正常,基于计算参数信息计算当前时刻网络状态的阈值包括:
使用如下公式计算当前时刻网络状态的阈值:
P(t)=P(0)At和,其中,P(t)表示t时刻的状
态概率,P(0)表示网络初始时刻状态概率,At表示通过t时刻的状态转移矩阵相乘,thj(t)表
示t时刻网络状态的阈值,Pi(t-1)表示t-1时刻到t时刻状态转移矩阵,μj表示影响因子,TH
表示设置的参数值。
在本发明的一个优选实施例中,在每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值前还包括:
获取主站点业务网关的状态信息和从站点同步网关的状态信息;
判断业务网关的状态信息和同步网关的状态信息是否存在异常;
响应于业务网关的状态信息异常和/或同步网关的状态信息异常,发出网关状态异常的告警。
在本发明的一个优选实施例中,响应于对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常包括:
响应于对象个数差值不为0,获取数据同步过程中落后的分片数和重传的分片数;
判断落后的分片数和重传的分片数是否为0;
响应于落后的分片数不为0和/或重传的分片数不为0,确定同步信息正常。
在本发明的一个优选实施例中,还包括:
响应于落后的分片数和重传的分片数全都为0,发出同步异常的告警。
在本发明的一个优选实施例中,阈值时间为15分钟。
此外,根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序,该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时,执行本发明实施例公开的方法中限定的上述功能。
此外,上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
在一个或多个示例性设计中,功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现,则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质,该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的,该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备,或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外,任何连接都可以适当地称为计算机可读介质。例如,如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件,则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的,磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘,其中磁盘通常磁性地再现数据,而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (8)
1.一种基于马尔科夫预测模型的数据同步告警的方法,其特征在于,包括以下步骤:
按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;
获取主站点业务网关的状态信息和从站点同步网关的状态信息;
判断所述业务网关的状态信息和同步网关的状态信息是否存在异常;
响应于所述业务网关的状态信息异常和/或同步网关的状态信息异常,发出网关状态异常的告警;
每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断所述对象个数差值是否为0;
响应于所述对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;
响应于当前的同步信息正常,基于所述计算参数信息计算当前时刻网络状态的阈值;
将所述对象个数差值与计算得到的所述阈值进行比较;
响应于所述对象个数差值大于计算得到的所述阈值,发出同步异常的告警。
2.根据权利要求1所述的方法,其特征在于,所述计算参数信息包括网络初始时刻状态概率、状态转移矩阵和影响因子。
3.根据权利要求1所述的方法,其特征在于,响应于所述对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常包括:
响应于所述对象个数差值不为0,获取数据同步过程中落后的分片数和重传的分片数;
判断落后的分片数和重传的分片数是否为0;
响应于落后的分片数不为0和/或重传的分片数不为0,确定同步信息正常。
4.根据权利要求3所述的方法,其特征在于,还包括:
响应于落后的分片数和重传的分片数全都为0,发出同步异常的告警。
5.根据权利要求1所述的方法,其特征在于,所述阈值时间为15分钟。
6.一种基于马尔科夫预测模型的数据同步告警的装置,其特征在于,所述装置包括:
训练模块,所述训练模块配置为按照前向算法对数据同步的历史数据进行训练以得到计算参数信息;
获取模块,所述获取模块配置为获取主站点业务网关的状态信息和从站点同步网关的状态信息,判断所述业务网关的状态信息和同步网关的状态信息是否存在异常,响应于所述业务网关的状态信息异常和/或同步网关的状态信息异常,发出网关状态异常的告警,每经过阈值时间获取数据同步的主站点和从站点之间的对象个数差值,并判断所述对象个数差值是否为0;
判断模块,所述判断模块配置为响应于所述对象个数差值不为0,获取当前的同步信息并判断当前的同步信息是否正常;
计算模块,所述计算模块配置为响应于当前的同步信息正常,基于所述计算参数信息计算当前时刻网络状态的阈值;
比较模块,所述比较模块配置为将所述对象个数差值与计算得到的所述阈值进行比较;
告警模块,所述告警模块配置为响应于所述对象个数差值大于计算得到的所述阈值,发出同步异常的告警。
7.一种计算机设备,其特征在于,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机指令,所述指令由所述处理器执行时实现权利要求1-5任意一项所述方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111369657.1A CN113806188B (zh) | 2021-11-18 | 2021-11-18 | 一种数据同步告警的方法、装置、设备及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111369657.1A CN113806188B (zh) | 2021-11-18 | 2021-11-18 | 一种数据同步告警的方法、装置、设备及可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113806188A CN113806188A (zh) | 2021-12-17 |
CN113806188B true CN113806188B (zh) | 2022-02-22 |
Family
ID=78938338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111369657.1A Active CN113806188B (zh) | 2021-11-18 | 2021-11-18 | 一种数据同步告警的方法、装置、设备及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113806188B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003215841A1 (en) * | 2002-04-30 | 2003-11-17 | International Business Machines Corporation | Method and arrangement for local synchronization in master-slave distributed communication systems |
JPWO2012132089A1 (ja) * | 2011-03-25 | 2014-07-24 | 日本電気株式会社 | 同期装置および同期方法 |
CN111586129A (zh) * | 2020-04-28 | 2020-08-25 | 北京奇艺世纪科技有限公司 | 针对数据同步的报警方法、装置、电子设备及存储介质 |
CN112272106B (zh) * | 2020-09-28 | 2023-01-10 | 苏州浪潮智能科技有限公司 | 一种多站点数据同步异常告警方法、装置、设备、产品 |
-
2021
- 2021-11-18 CN CN202111369657.1A patent/CN113806188B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113806188A (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931860A (zh) | 异常数据检测方法、装置、设备及存储介质 | |
CN107644194B (zh) | 提供监控数据的系统和方法 | |
CN113259168B (zh) | 一种故障根因分析方法及装置 | |
CN107566163A (zh) | 一种用户行为分析关联的告警方法及装置 | |
CN104065526B (zh) | 一种服务器故障报警的方法和装置 | |
CN104639368A (zh) | 通信网络设备的故障处理方法及装置 | |
CN104734871A (zh) | 一种实现故障定位的方法及装置 | |
CN113032412B (zh) | 数据同步方法、装置、电子设备和计算机可读介质 | |
WO2015171860A1 (en) | Automatic alert generation | |
CN107592199B (zh) | 一种数据同步的方法和系统 | |
CN111400114A (zh) | 基于深度递归网络大数据计算机系统故障检测方法及系统 | |
US10805186B2 (en) | Mobile communication network failure monitoring system and method | |
CN113806188B (zh) | 一种数据同步告警的方法、装置、设备及可读介质 | |
CN104539449B (zh) | 一种故障信息处理方法与相关装置 | |
CN114298533A (zh) | 性能指标处理方法、装置、设备和存储介质 | |
CN114296979A (zh) | 一种检测物联网设备异常状态的方法及装置 | |
CN113360752A (zh) | 一种消息推送的方法、装置、设备及可读介质 | |
CN113254313A (zh) | 一种监控指标异常检测方法、装置、电子设备及存储介质 | |
CN113010375A (zh) | 设备告警方法及相关设备 | |
CN108833414B (zh) | 一种在线服务异常监控方法 | |
CN117851195A (zh) | 一种基于数据分析的电脑主机运行风险监测管控系统 | |
CN115102862B (zh) | 一种用于sdn设备的自动同步方法及装置 | |
CN117880254A (zh) | 一种实时通讯的重连方法 | |
JP6819357B2 (ja) | 稼動確認装置、稼動確認プログラム、稼動確認方法、及び稼動確認システム | |
CN115277362A (zh) | 故障诊断方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |