CN108205569A - 用于更新配置管理数据库的方法和装置 - Google Patents
用于更新配置管理数据库的方法和装置 Download PDFInfo
- Publication number
- CN108205569A CN108205569A CN201611181170.XA CN201611181170A CN108205569A CN 108205569 A CN108205569 A CN 108205569A CN 201611181170 A CN201611181170 A CN 201611181170A CN 108205569 A CN108205569 A CN 108205569A
- Authority
- CN
- China
- Prior art keywords
- resource
- cmdb
- resource information
- resources
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
提供了一种用于更新配置管理数据库的方法和装置。该方法包括:从网络流量数据中提取设备资源信息;基于设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与设备资源信息相对应的资源配置对象,资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及把生成的资源配置对象同步更新至CMDB。该方法将网络流量系统与CMDB资源自动化管理相结合,解决了CMDB资源自动化管理的问题,实现CMDB资源及关系的动态更新维系。
Description
技术领域
本发明涉及通信领域,更具体地涉及一种用于更新配置管理数据库的方法和装置。
背景技术
配置管理数据库(Configuration Management Database,CMDB)作为中国移动业务支撑网运营管理系统(BOMC)系统的核心管理模块,提供对业务支撑网内部的业务、应用、逻辑、物理等资源数据的管理功能和展现功能。因此CMDB资源数据量的多少,资源颗粒度的粗细,资源的种类多少对于CMDB所提供的服务能力以及整个BOMC系统的性能具有较大影响。
目前CMDB实现的平台资源及其关系的自动发现和自动化管理主要是基于简单网络管理协议(Simple Network Management Protocol,SNMP)的自动发现方式。然而,由于SNMP服务的轮询查询机制具有造成网络通信堵塞等风险,因此对网络安全环境要求严格的网段中的设备大多都关闭SNMP服务。基于SNMP协议的自动发现方式对于未开通SNMP服务的网络环境显得无能无力。
另外,现有的CMDB资源管理系统还存在诸如资源模型范围覆盖不全面、无法及时清除CMDB中的无效资源对象等等问题。
发明内容
本发明提供了一种新颖的配置管理数据库CMDB更新方法以及其装置。
根据本发明实施例的配置管理数据库CMDB更新方法,包括:从网络流量数据中提取设备资源信息;基于设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与设备资源信息相对应的资源配置对象,资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及把生成的资源配置对象同步更新至CMDB。
根据本发明实施例的用于更新配置管理数据库CMDB的装置,包括:信息提取单元,用于从网络流量数据中提取设备资源信息;对象生成单元,用于基于设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与设备资源信息相对应的资源配置对象,该资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及更新单元,用于把生成的资源配置对象同步更新至CMDB。
根据本发明实施例的资源接口设备,包括:存储器,用于存储程序代码;处理器;通信接口;以及总线,其中,存储器、处理器和通信接口通过总线连接并完成相互间的通信,处理器通过读取存储器中存储的程序代码来运行与程序代码对应的程序以用于执行一种用于更新配置管理数据库CMDB的方法,方法包括:从网络流量数据中提取设备资源信息;基于设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与设备资源信息相对应的资源配置对象,资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及把生成的资源配置对象同步更新至CMDB。
根据本发明实施例的配置管理数据库CMDB更新方法以及其装置可以挖掘网络流量系统的更大价值,将网络流量系统与CMDB资源自动化管理相结合,解决核心网段资源自动化管理的问题,实现核心网段资源及关系的动态更新维系。本说明所记载的改进后的CMDB模型中新增逻辑层的IP地址、物理层的MAC地址及设备的高可用关系,同时扩展了关系类型,丰富了CMDB的资源模型,提升CMDB对外提供消费服务能力,有利于实现业务端到端全方位分析监控,提升业务故障分析定位的准确性能力,降低告警数量与告警等级。
附图说明
通过阅读以下参照附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显,其中,相同或相似的附图标记表示相同或相似的特征。
图1是示出根据本发明实施例的CMDB更新方法的示例性流程图;
图2是根据本发明实施例示出设备资源信息与资源配置对象之间的映射关系图的示例性图示;
图3是根据本发明实施例的CMDB资源管理系统的示例结构图;
图4是根据本发明实施例示出在大数据storm流计算框架中实现的CMDB更新方法的示例性流程图;
图5是根据本发明实施例的资源接口服务与CMDB同步更新的示例性处理流程图;
图6是根据本发明实施例的改进后的CMDB架构模型的示例性图示;
图7是图6中所示的改进后的CMDB架构模型在中间件横向扩容场景的示例性图示;
图8是示出根据本发明实施例的CMDB更新方法在中间件横向扩容场景中的具体操作的示例性流程图;
图9是示出图2中所示的设备资源信息与资源配置对象之间的映射关系在中间件横向扩容场景中的具体实现的示例性图示;
图10是示出根据本发明实施例的用于更新配置管理数据库CMDB的装置的示意性框图;以及
图11是示出能够实现根据本发明实施例的CMDB更新方法和装置的计算设备的示例性硬件架构的结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的实施方式;相反,提供这些实施方式使得本发明更全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。在图中,为了清晰,可能夸大了区域和层的厚度。在图中相同的附图标记表示相同或类似的结构,因而将省略它们的详细描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有所述特定细节中的一个或更多,或者可以采用其它的方法、组元、材料等。在其它情况下,不详细示出或描述公知结构、材料或者操作以避免模糊本发明的主要技术创意。
传统的基于SNMP协议的自动发现技术以及CMDB资源管理和更新方案存在以下缺陷:1)CMDB系统的资源自动化管理能力不足,资源及资源间关系动态更新维系受网络环境限制较多,在未开通SNMP服务的网络环境中,网络资源的动态维系功能几乎失去作用;2)CMDB系统的资源模型范围覆盖不全面,比如目前物理层资源无法体现出设备的高可用关系类型(负载均衡、主备、双实例等)等;3)对于CMDB中存在的大量无效网络关系无法进行及时有效的反馈处理,如网络环境发生变化后,采用SNMP协议的自动更新机制无法及时有效的感知到网络环境的关系变更。
鉴于以上存在的一个或多个问题,本发明提供了一种新颖的基于网络流量的配置管理数据库CMDB更新方法及装置、基于该CMDB更新方法的CMDB资源关系系统、以及CMDB数据库系统,从而能够不受网络安全要求限制地发现网络中的设备资源信息,扩展了资源的高可用关系类型,并且通过冗余校对及时清除CMDB中的无效资源关系。
图1示出了根据本发明实施例的CMDB更新方法100的示例性流程图。如图1所示,该方法100包括:S102,从网络流量数据中提取设备资源信息;S104,基于设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与设备资源信息相对应的资源配置对象,资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及S106,把生成的资源配置对象同步更新至CMDB。
这里,设备资源信息包括以下各项中的一项或多项:网络流量数据中的网络请求方设备的MAC地址、IP地址、或端口号,网络接收方设备的MAC地址、IP地址、或端口号,以及设备之间的调用关系,并且MAC地址被映射至CMDB模型中的物理层的资源对象,IP地址和端口号被映射至CMDB模型中的逻辑层的资源对象。在一个实施例中,物理层的资源对象包括主机、网络设备和存储设备中的至少一者,逻辑层的资源对象包括进程、中间件服务、数据库对象、IP地址中的至少一者。
从图1中可以看出,该CMDB更新方法没有采用基于简单网络管理协议SNMP的自动发现方式,而是基于网络流量数据来发现流量数据中的设备资源信息。因此,图1中的CMDB更新方法能够应用于未开放简单网络管理协议SNMP服务的核心网段。
在图1的实施例中,网络流量数据可以通过流量采集装置或系统来获取。例如,网络流量数据是由基于流量采集机的网络流量采集跟踪系统采集的。该网络流量采集跟踪系统通过监控网元设备间网络流量可以对在网络中传送的数据包进行采集和镜像。网络流量采集跟踪系统可以统计分析流量中的MAC、IP、端口(Port)等信息,从而可以分析得出全网有效被访问的服务清单、服务间的访问依赖关系、网络设备之间的访问依赖关系等,从而为CMDB信息自动更新和维系提供数据支撑。在其它实施例中,网络流量采集跟踪系统也可以直接把采集的流量数据(例如,数据包形式)作为网络流量数据发送至其它模块或设备(例如,资源接口模块)来进一步对网络流量数据进行解析以从中提取设备资源信息。
在一些实施例中,通过网络流量采集系统采集到海量的网络流量数据,并通过网络流量数据中的MAC、IP、端口等信息组合找到不同资源配置项间的关系。通过将大量一致配置项和配置项关系分析整合,抽象出与CMDB对应的资源配置项模型,能够分别提取到逻辑层的资源对象(如数据库对象、中间件实例、IP地址)、物理层的资源对象(如主机、交换机、路由器、MAC地址)及资源关系的配置项信息,然后周期性(例如,每小时一次)同步到CMDB中。在另一实施例中,CMDB可以结合库中数据进行冗余分析后进行入库及关系解除等操作,达到自动更新维系CMDB资源及关系的目的。
下面将结合图2至图6来对图1的流程图中的各步骤进行详细描述以及进一步展开说明。
图2是根据本发明实施例示出设备资源信息与资源配置对象之间的映射关系图200的示例性图示。如图2所示,网络流量中包含的设备资源信息,经过对字段提取处理、分析配置后是可以和CMDB四层架构模型中的资源配置对象相映射对应的。在一些实施例中,网络流量中包含的设备资源信息与CMDB四层架构模型中的资源配置对象之间的映射关系具体说明如下:
1、网络流量中网络层的IP、端口组合对应的是逻辑层的资源对象,例如进程、中间件服务、数据库对象、IP地址等等。资源对象的具体字段值可以根据网络流量中IP、端口组合来确定。系统内部可以经由服务端口来自动识别服务器上运行的通用应用协议(例如,SSH、LDAP、DNS、FTP、HTTP、Oracle等等),从而确定对应的资源对象类型。
2、通过IP、端口组合分析来识别高可用架构。例如,如果某个应用固定访问几台相同的中间件服务器,则可以认为这几台中间件服务器属于高可用架构。
3、网络流量中链路层的MAC地址对应的是物理层的资源对象,例如主机、路由器、交换机、磁盘阵列等等。物理层资源对象的具体字段值可以根据从链路层数据包中获取MAC信息来确定。
4、网络流量中的网络发起端ID和网络接收端ID可以用于确定CMDB模型中的资源关系对象,其可以指示节点设备在网络流量环节中所处的位置,并通过两个ID形成服务环节的调用关系,也就是映射到CMDB四层架构模型的资源之间的调用关系。在一个实施例中,物理层资源对象可以通过MAC的通信对来识别网络设备之间的访问依赖关系;而网络层资源对象可以通过IP和端口组合来识别服务间的访问依赖关系。
由此可见,将网络流量采集系统采集到的网络流量信息加以处理后分析出相关的设备资源信息,正好与改进后的CMDB四层架构模型的资源配置对象(例如,物理层和逻辑层的资源对象)映射对应,并由此产生了全新的CMDB四层架构模型。
图3是根据本发明实施例的CMDB资源管理系统300的示例结构图。如图3中所示,该CMDB资源管理系统300包括三部分:虚线框之外的组件构成的流量采集装置、虚线框内的资源接口模块以及配置管理数据库CMDB。
在图3所示的实施例中,资源接口模块负责从流量采集装置获取网络流量数据或者设备资源信息,并且与CMDB资源管理对接,实现网络流量信息的分析整合(例如,通过MAC唯一确认链路层的设备资源信息,通过IP、端口信息组合唯一确认网络层的设备资源信息)、资源配置项的抽象提取以及冗余关系的分析和标识、周期性(例如,每小时)将新发现的资源对象及资源关系对象注入到CMDB中。资源接口模块包括两个服务接口CMDB服务接口301和流量服务接口302来分别负责与流量采集装置和CMDB的通信。
配置管理数据库CMDB在收到资源接口模块自动同步的资源对象及资源关系对象之后,进行入库及关系解除等操作,从而不断丰富更新CMDB四层架构模型中的资源数据。
图4是根据本发明实施例示出在大数据storm流计算框架中实现的CMDB更新方法400的示例性流程图。在一些实施例中,基于网络流量的资源配置项信息丰富、提取发现的过程是在基于大数据storm流计算框架中的bolt单元中实现的,具体处理流程如图4所示。在大数据storm流计算框架中实现的CMDB更新方法400包括:S402,从storm流计算框架的上一个bolt中获取网络流量信息流,即网络流量数据;S404,对流量信息流进行处理以提取网络流量数据中的设备资源信息,这包括提取资源信息字段MAC(物理地址)/IP(网络层传输IP)/PORT(服务端端口号);S406,根据提取的MAC/IP/PORT,采用MD5算法生成此条设备资源信息记录的唯一资源标识符(即,ID);S408,根据生成的ID,查询缓存中存储的基线资源中的资源信息和资源关系;S410,确定缓存中存储的基线资源是否存在与该唯一ID相对应的资源信息和资源关系,如果不存在,则步骤前进至步骤S412,如果存在,则步骤前进至步骤S414;S412,在缓存中写入与该唯一ID对应的资源信息和资源关系,并返回至步骤S408;S414,利用对应的资源信息和资源关系把此条设备资源信息转换成与CMDB模型相一致的资源信息和资源关系;S416,对于基线资源中未在网络流量数据中发现与其相对应的设备资源信息的资源信息或资源关系,在日志中记录该资源信息或资源关系的冗余校对次数;以及S418,把处理好的日志发送到下一个bolt以继续分析处理。
尽管图4中所获取的网络流量信息是以大数据storm流计算框架中的bolt单元为单位进行处理的,然而,图4仅仅是示例。这并不表示图4中的CMDB更新方法必须在大数据storm流计算框架中实现。本领域技术人员容易想到可以在其它各种系统框架中实现图4中所述的CMDB更新方法。
在图4的实施例中,步骤S404中提取的资源信息字段MAC(物理地址)/IP(网络层传输IP)/PORT(服务端端口号)隐含了网络中的资源配置信息。在本发明描述的实施例中,这些资源信息字段可以通过图2所示的映射关系图被映射至CMDB模型的各层资源配置对象中。在一些实施例中,步骤S402至步骤S418可以由图3中所示的资源接口模块或资源接口设备来实现,并且其中的缓存可以是redis缓存。例如,资源接口模块从CMDB中获取其中存在的资源配置对象,对获取的资源配置对象进行预处理以得到相应的资源信息和资源关系,并且把得到的资源信息和资源关系作为基线资源存储在缓存中。
在一些实施例中,这些基线资源可以用于与从网络流量数据中提取的信息进行比较,从而确定基线资源中的哪一资源信息或资源关系没有在网络流量数据中发现与其相对应的设备资源信息。在一些实施例中,针对发现没有对应的设备资源信息的资源信息或资源关系,资源接口模块在日志中记录这一情况(包括冗余校对时间),并且增加它们的冗余校对次数。如果针对一资源信息或资源关系发现了对应的设备资源信息,则它的冗余校对次数被重置为零。对于连续校对N次以上也没有发现匹配的资源信息或资源关系(即,冗余校对次数大于等于N),资源接口模块把它标记为冗余关系。例如,N可以等于10、15、20等等。在一个实施例中,与被标记为冗余关系的资源信息或资源关系相对应的资源配置对象在CMDB数据库中被清除。
图5是根据本发明实施例的资源接口服务与CMDB同步更新的示例性处理流程图。如图5中所示,资源接口服务与CMDB同步更新的具体处理流程包括以下步骤:步骤1:图4中所示的网络流量信息处理可以与缓存中的资源数据信息(例如,基线资源)进行交换(参见步骤S402至S414);步骤2:利用缓存数据库缓存资源信息及资源关系数据;步骤3:定时资源消费线程定时从CMDB中获取资源配置对象、对其进行预处理以得到资源信息及资源关系数据并保存到缓存中,从而定时对缓存中的基线资源进行更新;步骤4:定时资源同步线程从缓存中提取经网络流量信息处理而新发现的资源信息及资源关系数据,转换成CMDB架构模型各层资源类对象及关系对象,调用CMDB资源管理服务接口,将数据上报给CMDB资源管理,完成新资源信息及资源关系的发现同步过程;以及步骤5:CMDB资源管理服务是对CMDB四层架构模型的开放能力封装,对外提供资源信息的查询消费及资源信息发现确认入库及冗余关系解除能力,分别提供对应的restful接口,与步骤3、步骤4交互。
图6是根据本发明实施例的改进后的CMDB架构模型的示例性图示。图6中所示的诸如“依赖”、“基于”、“运行在”、“使用”、“绑定”等等标示均代表CMDB模型中的资源关系对象,它们表示CMDB模型中的各个资源对象之间的关系。图6中所示的改进后的CMDB架构模型具有以下特点:
1)通过设备资源信息中的IP、PROT组合分析可识别高可用架构。例如如果某个应用固定访问几台相同的中间件服务器,则可以认为这几台中间件服务器为高可用架构。图6中物理类资源框图里的数据库双实例、主机集群、中间件集群是对现有CMDB四层架构模型物理类资源类型和关系的一种扩展,使得资源类型得以按服务能力进行聚集,以便能够对单一设备故障告警影响度降级提供必要的资源数据基础支撑。例如当主机集群中的一台主机出现严重故障时,监控告警分析平台会根据此主机在集群节点中的权重自动进行级别调整。如果此主机虽然处于集群节点中但是即使宕机也不影响集群节点的能力提供,则监控告警分析平台可针对该主机故障报警进行降级(例如,严重告警降为一般告警,一般告警降为普通告警)。
2)物理类资源框图里的MAC地址是对现有CMDB四层架构模型物理类资源类型的一种扩展。例如,通过MAC地址库,可以识别这些MAC对应设备所属的厂商。图6中所示的CMDB模型中指示CMDB中的应用-IP-MAC-设备的关系绑定的资源关系对象也是对现有四层模型的一种创新,其通过IP实现应用-IP-MAC-设备之间的关系绑定。
3)图中的虚线框内所包括的各类资源组件、资源和箭头表示的资源对象及其关系对象都是可以通过本公开所描述的CMDB更新方法进行自动同步获取和更新维系的。
下面以中间件集群横向扩容设备为例说明扩容造成网络环境变化后所产生的网络流量涉及的各种资源信息,与资源拓扑图中的资源进行比较,以验证本专利提出的处理方法的合理性。
图7是图6中所示的改进后的CMDB架构模型在中间件横向扩容场景的示例性图示。在图7中,灰色方框所覆盖的两台机架式服务器表示新扩展的中间件集群。CMDB模型中新发现的这两台服务器是通过核心交换机及流量采集机采集到网络流量交给流量采集分析系统分析处理,通过资源接口模块将网络流量相关的资源信息内容提取后丰富到CMDB四层架构模型中来实现的。
图7中所示的过程的数据处理逻辑在图8中示出。图8是示出根据本发明实施例的CMDB更新方法在中间件横向扩容场景中的具体操作的示例性流程图。从图8中可以看出中间件集群扩容后数据经过分析处理后同步到CMDB的整个过程。
下面结合图9具体说明从这个过程中得到的资源信息是如何与CMDB四层架构模型资源进行同步的。
图9是示出图2中所示的设备资源信息与资源配置对象之间的映射关系在中间件横向扩容场景中的具体实现的示例性图示。从图9可以看出网络流量字段中包含的设备资源信息是如何与CMDB四层架构模型各层映射、再通过本公开提出的同步更新方法实现同步的。
如图9所示,图中左半部分代表是一个网络流量环节的流量信息里面包含的设备资源信息,与图2中的字段映射说明相对应。这些设备资源信息例如可以通过图4描述的方法中的字段分析配置步骤(S402和S404),对这些字段分析处理后得到的设备资源信息。网络发起端ID指的是此环节网络流量的发起方ID(pid),而网络接收端ID指的是一次网络调用中接被动接收的资源ID(qpid)。在一个实施例中,网络发起端ID和网络接收端ID可以通过使用IP/MAC/PORT等信息字段采用MD5算法产生唯一不重复的ID来生成。
图9中中间部分代表的是同步过程,具体的实现方法可参考图5所描述的相关步骤,通过资源接口服务与CMDB资源管理服务进行同步更新操作,实现资源对象及资源关系对象到CMDB中的同步。
图9中右半部分示出了CMDB模型中包括的各层资源对象,从图中可以看出主要涉及到中间件服务、集群、主机、MAC、IP等逻辑层和物理层资源类型。图9中左边部分与右半部分相结合地示出了网络流量信息提取的资源信息如何与CMDB四层架构模型中的各层具体哪些资源类型相映射的。图中的资源关系可以包括通过左半部分流量里面的发起端ID和接收端ID之间的关系形成了资源配置项之间的调用关系,从而就形成了资源对象之间的关系。
图10是示出了根据本发明实施例的用于更新配置管理数据库CMDB的装置1000的示意性框图。
如图10中所示,据本发明实施例的用于更新配置管理数据库CMDB的装置1000包括:信息提取单元1002,用于从网络流量数据中提取设备资源信息;对象生成单元1004,用于基于设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与设备资源信息相对应的资源配置对象,资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及更新单元1006,用于把生成的资源配置对象同步更新至CMDB。
这里,设备资源信息包括在网络流量数据中发现的网络请求方和接收方设备的MAC地址、IP地址、和端口号,以及设备之间的调用关系,并且MAC地址被映射至CMDB模型中的物理层的资源对象,IP地址和端口号被映射至CMDB模型中的逻辑层的资源对象。在一个实施例中,物理层的资源对象包括主机、网络设备和存储设备中的至少一者,逻辑层的资源对象包括进程、中间件服务、数据库对象、IP地址中的至少一者。
在一些替换性实施例中,图10所示的用于更新配置管理数据库CMDB的装置1000可选地还包括:对象获取单元1008,用于在把生成的资源配置对象同步更新至CMDB之前,获取CMDB中存在的资源配置对象;预处理单元1010,用于对获取的资源配置对象进行预处理以得到相应的资源信息和资源关系;以及缓存单元1012,用于把得到的资源信息和资源关系作为基线资源存储在缓存中。此时,装置1000中的对象生成单元1004进一步用于进行以下操作:利用设备资源信息中包括的各个设备的MAC地址、IP地址、和端口号,生成各个设备的唯一资源标识符;确定缓存中的基线资源中是否存在与该唯一资源标识符对应的资源信息和资源关系;如果缓存中的基线资源中存在对应的资源信息和资源关系,则利用对应的资源信息和资源关系把设备资源信息生成为与CMDB模型相一致的资源信息和资源关系;如果缓存中的基线资源中不存在对应的资源信息和资源关系,则在缓存中创建与唯一资源标识符对应的资源信息和资源关系并且利用创建的资源信息和资源关系把设备资源信息生成为与CMDB模型相一致的资源信息和资源关系;以及把与CMDB模型相一致的资源信息和资源关系转换成资源配置对象。在可选的实施例中,装置1000还包括:记录单元1014,用于对于基线资源中未在网络流量数据中发现与其相对应的设备资源信息的资源信息或资源关系,记录该资源信息或资源关系的冗余校对次数;以及冗余关系标记单元1016,用于如果资源信息或资源关系的冗余校对次数大于等于预定次数,则将该资源信息或资源关系标记为冗余关系。例如,该预定次数可被设为10。
综上所述,网络流量系统的资源信息能与CMDB四层架构模型实现映射(图中各层资源组件及关系),特别是还提供了物理层的高可用资源及关系的发现,补充了CMDB四层架构模型的空白,通过此种方式,就可以将大量网络流量数据采用大数据技术进行分析处理,经过分析配置,不断提取资源配置项信息注入到CMDB库中,实现对CMDB的四层架构模型的动态更新维系,构建与业务系统同步的BOMC业务支撑网拓扑,并通过对外提供资源及关系的消费,来不断自我验证资源拓扑的准确性,达到资源及关系动态维系的目的。
本发明可以用于挖掘网络流量系统的更大价值,将网络流量系统与CMDB资源自动化管理相结合,解决核心网段资源自动化管理的问题,实现核心网段资源及关系的动态更新维系。本说明所记载的改进后的CMDB模型中新增逻辑层的IP地址、物理层的MAC地址及设备的高可用关系,同时扩展了关系类型,丰富了CMDB的资源模型,提升CMDB对外提供消费服务能力,有利于实现业务端到端全方位分析监控,提升业务故障分析定位的准确性能力,降低告警数量与告警等级。
结合图1至图6以及图10描述的CMDB更新方法和装置的至少一部分可以由计算设备实现。图11是示出能够实现根据本发明实施例的CMDB更新方法和装置的计算设备1100的示例性硬件架构的结构图。如图11所示,计算设备1100包括输入设备1101、输入接口1102、中央处理器1103、存储器1104、输出接口1105、以及输出设备1106。其中,输入接口1102、中央处理器1103、存储器1104、以及输出接口1105通过总线1110相互连接,输入设备1101和输出设备1106分别通过输入接口1102和输出接口1105与总线1110连接,进而与计算设备1100的其他组件连接。具体地,输入设备1101接收来自外部的输入信息,并通过输入接口1102将输入信息传送到中央处理器1103;中央处理器1103基于存储器1104中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器1104中,然后通过输出接口1105将输出信息传送到输出设备1106;输出设备1106将输出信息输出到计算设备1100的外部供用户使用。
也就是说,图10所示的装置也可以被实现为包括:存储有计算机可执行指令的存储器;以及处理器,该处理器在执行计算机可执行指令时可以实现结合图1描述的CMDB更新方法。这里,处理器可以基于来自例如,基站的输入信息执行计算机可执行指令,从而实现结合图1描述的CMDB更新方法和装置。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
本发明可以以其他的具体形式实现,而不脱离其精神和本质特征。例如,特定实施例中所描述的算法可以被修改,而系统体系结构并不脱离本发明的基本精神。因此,当前的实施例在所有方面都被看作是示例性的而非限定性的,本发明的范围由所附权利要求而非上述描述定义,并且,落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本发明的范围之中。
Claims (13)
1.一种用于更新配置管理数据库CMDB的方法,其特征在于,所述方法包括:
从网络流量数据中提取设备资源信息;
基于所述设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与所述设备资源信息相对应的资源配置对象,所述资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及
把生成的资源配置对象同步更新至CMDB。
2.根据权利要求1所述的方法,其中,所述设备资源信息包括以下各项中的一项或多项:所述网络流量数据中的网络请求方设备的MAC地址、IP地址、或端口号,网络接收方设备的MAC地址、IP地址、或端口号,以及设备之间的调用关系,并且其中所述MAC地址被映射至CMDB模型中的物理层的资源对象,所述IP地址和端口号被映射至CMDB模型中的逻辑层的资源对象。
3.根据权利要求2所述的方法,其中,所述物理层的资源对象包括主机、网络设备和存储设备中的至少一者,所述逻辑层的资源对象包括进程、中间件服务、数据库对象、IP地址中的至少一者。
4.根据权利要求1所述的方法,其中,在把生成的资源配置对象同步更新至CMDB之前,所述方法还包括:
获取所述CMDB中存在的资源配置对象;
对获取的资源配置对象进行预处理以得到相应的资源信息和资源关系;以及
把得到的资源信息和资源关系作为基线资源存储在缓存中。
5.根据权利要求4所述的方法,其中,基于所述设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与所述设备资源信息相对应的资源配置对象包括:
利用所述设备资源信息中包括的各个设备的MAC地址、IP地址、和端口号,生成各个设备的唯一资源标识符;
确定所述缓存中的基线资源中是否存在与该唯一资源标识符对应的资源信息和资源关系;
如果所述缓存中的基线资源中存在对应的资源信息和资源关系,则利用所述对应的资源信息和资源关系把所述设备资源信息生成为与CMDB模型相一致的资源信息和资源关系;
如果所述缓存中的基线资源中不存在对应的资源信息和资源关系,则在所述缓存中创建与所述唯一资源标识符对应的资源信息和资源关系并且利用创建的资源信息和资源关系把所述设备资源信息生成为与CMDB模型相一致的资源信息和资源关系;以及
把所述与CMDB模型相一致的资源信息和资源关系转换成所述资源配置对象。
6.根据权利要求5所述的方法,其中,所述方法还包括:
对于所述基线资源中未在网络流量数据中发现与其相对应的设备资源信息的资源信息或资源关系,记录该资源信息或资源关系的冗余校对次数;以及
如果资源信息或资源关系的冗余校对次数大于等于预定次数,则将该资源信息或资源关系标记为冗余关系。
7.一种用于更新配置管理数据库CMDB的装置,其特征在于,所述装置包括:
信息提取单元,用于从网络流量数据中提取设备资源信息;
对象生成单元,用于基于所述设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与所述设备资源信息相对应的资源配置对象,所述资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及
更新单元,用于把生成的资源配置对象同步更新至CMDB。
8.根据权利要求7所述的装置,其中,所述设备资源信息包括以下各项中的一项或多项:所述网络流量数据中的网络请求方设备的MAC地址、IP地址、或端口号,网络接收方设备的MAC地址、IP地址、或端口号,以及设备之间的调用关系,并且其中所述MAC地址被映射至CMDB模型中的物理层的资源对象,所述IP地址和端口号被映射至CMDB模型中的逻辑层的资源对象。
9.根据权利要求8所述的装置,其中,所述物理层的资源对象包括主机、网络设备和存储设备中的至少一者,所述逻辑层的资源对象包括进程、中间件服务、数据库对象、IP地址中的至少一者。
10.根据权利要求7所述的装置,其中,所述装置还包括:
对象获取单元,用于在把生成的资源配置对象同步更新至CMDB之前,获取所述CMDB中存在的资源配置对象;
预处理单元,用于对获取的资源配置对象进行预处理以得到相应的资源信息和资源关系;以及
缓存单元,用于把得到的资源信息和资源关系作为基线资源存储在缓存中。
11.根据权利要求10所述的装置,其中,所述对象生成单元还用于进行以下操作:
利用所述设备资源信息中包括的各个设备的MAC地址、IP地址、和端口号,生成各个设备的唯一资源标识符;
确定所述缓存中的基线资源中是否存在与该唯一资源标识符对应的资源信息和资源关系;
如果所述缓存中的基线资源中存在对应的资源信息和资源关系,则利用所述对应的资源信息和资源关系把所述设备资源信息生成为与CMDB模型相一致的资源信息和资源关系;
如果所述缓存中的基线资源中不存在对应的资源信息和资源关系,则在所述缓存中创建与所述唯一资源标识符对应的资源信息和资源关系并且利用创建的资源信息和资源关系把所述设备资源信息生成为与CMDB模型相一致的资源信息和资源关系;以及
把所述与CMDB模型相一致的资源信息和资源关系转换成所述资源配置对象。
12.根据权利要求11所述的装置,其中,所述装置还包括:
记录单元,用于对于所述基线资源中未在网络流量数据中发现与其相对应的设备资源信息的资源信息或资源关系,记录该资源信息或资源关系的冗余校对次数;以及
冗余关系标记单元,用于如果资源信息或资源关系的冗余校对次数大于等于预定次数,则将该资源信息或资源关系标记为冗余关系。
13.一种资源接口设备,包括:存储器,用于存储程序代码;处理器;通信接口;以及总线,
其中,所述存储器、处理器和通信接口通过所述总线连接并完成相互间的通信,所述处理器通过读取所述存储器中存储的程序代码来运行与所述程序代码对应的程序以用于执行一种用于更新配置管理数据库CMDB的方法,所述方法包括:
从网络流量数据中提取设备资源信息;
基于所述设备资源信息与CMDB模型中的资源配置对象之间的映射关系,生成与所述设备资源信息相对应的资源配置对象,所述资源配置对象包括CMDB模型中的物理层和逻辑层的资源对象和资源关系对象;以及
把生成的资源配置对象同步更新至CMDB。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611181170.XA CN108205569B (zh) | 2016-12-19 | 2016-12-19 | 用于更新配置管理数据库的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611181170.XA CN108205569B (zh) | 2016-12-19 | 2016-12-19 | 用于更新配置管理数据库的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108205569A true CN108205569A (zh) | 2018-06-26 |
CN108205569B CN108205569B (zh) | 2020-09-11 |
Family
ID=62603001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611181170.XA Active CN108205569B (zh) | 2016-12-19 | 2016-12-19 | 用于更新配置管理数据库的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108205569B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614190A (zh) * | 2018-12-06 | 2019-04-12 | 成都载信智能科技有限公司 | 资源配置管理方法及平台 |
CN109683911A (zh) * | 2018-12-26 | 2019-04-26 | 上海金融期货信息技术有限公司 | 一种实现自动化应用部署及影响分析的系统 |
CN109802953A (zh) * | 2018-12-29 | 2019-05-24 | 北京奇安信科技有限公司 | 一种工控资产的识别方法及装置 |
CN110943867A (zh) * | 2019-12-05 | 2020-03-31 | 上交所技术有限责任公司 | 一种通过网络关系推演应用架构信息的系统及方法 |
CN111147312A (zh) * | 2019-12-31 | 2020-05-12 | 深圳云天励飞技术有限公司 | 资源配置的管理方法及装置、资源配置缓存的管理方法及装置、配置管理系统 |
CN112417213A (zh) * | 2020-12-07 | 2021-02-26 | 上海轻维软件有限公司 | 一种关于VMware自发现监控和实例拓扑自发现方法 |
CN112764874A (zh) * | 2020-12-28 | 2021-05-07 | 中国人寿保险股份有限公司上海数据中心 | 一种基于cmdb配置管理系统的虚拟机服务器信息采集方法 |
CN116401319A (zh) * | 2023-06-09 | 2023-07-07 | 建信金融科技有限责任公司 | 数据同步方法及装置、电子设备和计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100179945A1 (en) * | 2009-01-15 | 2010-07-15 | Bmc Software, Inc. | Normalization Engine to Manage Configuration Management Database Integrity |
CN103593804A (zh) * | 2013-10-29 | 2014-02-19 | 国网辽宁省电力有限公司信息通信分公司 | 一种电力信息通信调度监控平台 |
CN104113579A (zh) * | 2014-02-13 | 2014-10-22 | 西安未来国际信息股份有限公司 | 一种基于udp的业务系统数据采集与实现 |
CN105490826A (zh) * | 2014-09-16 | 2016-04-13 | 钛马信息网络技术有限公司 | 基于自动发现的配置管理系统及方法 |
-
2016
- 2016-12-19 CN CN201611181170.XA patent/CN108205569B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100179945A1 (en) * | 2009-01-15 | 2010-07-15 | Bmc Software, Inc. | Normalization Engine to Manage Configuration Management Database Integrity |
CN103593804A (zh) * | 2013-10-29 | 2014-02-19 | 国网辽宁省电力有限公司信息通信分公司 | 一种电力信息通信调度监控平台 |
CN104113579A (zh) * | 2014-02-13 | 2014-10-22 | 西安未来国际信息股份有限公司 | 一种基于udp的业务系统数据采集与实现 |
CN105490826A (zh) * | 2014-09-16 | 2016-04-13 | 钛马信息网络技术有限公司 | 基于自动发现的配置管理系统及方法 |
Non-Patent Citations (1)
Title |
---|
高亮: "基于ITIL的配置管理数据库研究与设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614190A (zh) * | 2018-12-06 | 2019-04-12 | 成都载信智能科技有限公司 | 资源配置管理方法及平台 |
CN109683911A (zh) * | 2018-12-26 | 2019-04-26 | 上海金融期货信息技术有限公司 | 一种实现自动化应用部署及影响分析的系统 |
CN109802953A (zh) * | 2018-12-29 | 2019-05-24 | 北京奇安信科技有限公司 | 一种工控资产的识别方法及装置 |
CN109802953B (zh) * | 2018-12-29 | 2022-03-22 | 奇安信科技集团股份有限公司 | 一种工控资产的识别方法及装置 |
CN110943867B (zh) * | 2019-12-05 | 2022-08-16 | 上交所技术有限责任公司 | 一种通过网络关系推演应用架构信息的系统及方法 |
CN110943867A (zh) * | 2019-12-05 | 2020-03-31 | 上交所技术有限责任公司 | 一种通过网络关系推演应用架构信息的系统及方法 |
CN111147312A (zh) * | 2019-12-31 | 2020-05-12 | 深圳云天励飞技术有限公司 | 资源配置的管理方法及装置、资源配置缓存的管理方法及装置、配置管理系统 |
CN111147312B (zh) * | 2019-12-31 | 2022-11-22 | 深圳云天励飞技术股份有限公司 | 资源配置的管理方法及装置、资源配置缓存的管理方法及装置、配置管理系统 |
CN112417213B (zh) * | 2020-12-07 | 2022-11-04 | 上海轻维软件有限公司 | 一种关于VMware自发现监控和实例拓扑自发现方法 |
CN112417213A (zh) * | 2020-12-07 | 2021-02-26 | 上海轻维软件有限公司 | 一种关于VMware自发现监控和实例拓扑自发现方法 |
CN112764874A (zh) * | 2020-12-28 | 2021-05-07 | 中国人寿保险股份有限公司上海数据中心 | 一种基于cmdb配置管理系统的虚拟机服务器信息采集方法 |
CN112764874B (zh) * | 2020-12-28 | 2024-03-12 | 中国人寿保险股份有限公司上海数据中心 | 一种基于cmdb配置管理系统的虚拟机服务器信息采集方法 |
CN116401319A (zh) * | 2023-06-09 | 2023-07-07 | 建信金融科技有限责任公司 | 数据同步方法及装置、电子设备和计算机可读存储介质 |
CN116401319B (zh) * | 2023-06-09 | 2023-09-12 | 建信金融科技有限责任公司 | 数据同步方法及装置、电子设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108205569B (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108205569A (zh) | 用于更新配置管理数据库的方法和装置 | |
US10528579B2 (en) | Method, system, and apparatus for enterprise wide storage and retrieval of large amounts of data | |
CN100405784C (zh) | 用于监控网络流量的方法和设备 | |
EP2429120A1 (en) | Distributed network management system, network element management server, and data configuration management method | |
CN112506659A (zh) | 一种边缘设备的管理方法以及相关装置 | |
CN111355816B (zh) | 服务器选取方法、装置、设备及分布式服务系统 | |
US10956501B2 (en) | Network-wide, location-independent object identifiers for high-performance distributed graph databases | |
CN107085552A (zh) | 测试方法及装置 | |
CN101442558A (zh) | 一种为p2sp网络提供索引服务的方法和系统 | |
CN102202087A (zh) | 一种标识存储设备的方法及系统 | |
CN104486116A (zh) | 多维度查询流量数据的方法及系统 | |
CN107040576A (zh) | 信息推送方法及装置、通讯系统 | |
CN116760834A (zh) | 一种负载均衡方法、系统、设备以及存储介质 | |
CN109992279A (zh) | 配置数据更新方法、装置、计算设备及存储介质 | |
CN113672692B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
US20170235785A1 (en) | Systems and Methods for Robust, Incremental Data Ingest of Communications Networks Topology | |
US10102286B2 (en) | Local object instance discovery for metric collection on network elements | |
CN113259470B (zh) | 一种数据同步的方法及数据同步系统 | |
US8954445B2 (en) | System and method for efficiently representing and managing a computer facility | |
CN113965538B (zh) | 设备状态消息处理方法、装置及存储介质 | |
CN106603418B (zh) | 一种网络拓扑更新方法及流量分析设备 | |
CN115658742A (zh) | 一种现场级主动标识载体的标识解析方法及系统 | |
CN115426356A (zh) | 一种分布式定时任务锁更新控制执行方法和装置 | |
CN110935168A (zh) | 用于全球同服架构的分布式id生成方法、装置及设备 | |
WO2014176954A1 (zh) | 分布式存储系统的数据的处理方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |