CN104506663B - 一种智能云计算运行管理系统 - Google Patents
一种智能云计算运行管理系统 Download PDFInfo
- Publication number
- CN104506663B CN104506663B CN201510032891.3A CN201510032891A CN104506663B CN 104506663 B CN104506663 B CN 104506663B CN 201510032891 A CN201510032891 A CN 201510032891A CN 104506663 B CN104506663 B CN 104506663B
- Authority
- CN
- China
- Prior art keywords
- data
- circuit
- information
- unit
- summarizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 87
- 238000011084 recovery Methods 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000012217 deletion Methods 0.000 claims description 18
- 230000037430 deletion Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 17
- 238000004806 packaging method and process Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 4
- 238000012856 packing Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明的智能云计算运行管理系统，通过设置数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元，实现了对整个云计算系统的运算量的精确调节和能耗的准确控制，同时增强了数据抗失效的水平，提高了整个系统的运行效率。
Description
技术领域
本发明涉及云计算领域，尤其涉及一种智能云计算运行管理系统。
背景技术
云计算(cloud computing)，分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术，网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的网络服务。
一个基于云计算技术的计算机运行管理称为“云”。云计算具有以下特点：
(1)超大规模。“云”具有相当的规模，企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力；
(2)模拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置；
(3)高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠；
(4)通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行；
(5)高可扩展性。“云”的规模可以动态伸缩，满足应用和用户规模增长的需要；
(6)极其廉价。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云。
然而现有的云计算系统，在整体资源或系统整体运算量调配方面依然存在效率低、能耗高的缺陷，以及系统分布式终端机数据获取的可靠性低的问题，这导致整个云计算系统无法发挥其巨大高效的计算能力。
发明内容
本发明的目的是通过以下技术方案实现的。
根据本发明的实施方式，提出一种智能云计算运行管理系统，所述系统包括：中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元；其中，
所述多个数据获得单元，分别设置并运行于所述运行管理系统中的各个分布式计算机上，用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的即时运行信息；
所述多个数据汇总中继单元，用于汇总各数据获得单元获得的即时运行信息，并将汇总的即时运行信息发送至第一资源调节单元以及第二资源调节单元；
所述第一资源调节单元，用于接收各个数据汇总中继单元传送的即时运行信息，依据预设的第一资源调节准则对系统资源的分配进行第一类型调整；
所述第二资源调节单元，用于接收各个数据汇总中继单元传送的即时运行信息，依据预设的第二资源调节准则对系统资源的分配进行第二类型调整；以及
所述数据协助处理单元，用于对需要进行云计算处理的中间数据进行协助处理。
根据本发明的实施方式，所述数据获得单元具体包括：
数据接收电路，用于接收获得中央处理单元指令，通过模拟机定位器获得运行在分布式计算机上的模拟机的即时运行信息，再将获得的信息发送到数据冗余删减电路；
数据冗余删减电路，用于接收获得中央处理单元的指令，对所获取的数据接收电路传来的模拟机即时运行信息，使用数据冗余删减算法进行冗余删减处理，并将冗余删减后的信息存入本机存储器中；
本机存储器，运行在分布式计算机上，用于存储冗余删减后的模拟机即时运行信息；
信息访问电路，用于在中央处理单元的控制下，从本机存储器中读取模拟机即时运行信息，并将所述信息传输到第一串口电路中；以及
第一串口电路，负责提供数据通信的通道，用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输；接收信息访问电路传输的模拟机即时运行信息，并将这些信息发送到数据汇总中继单元中。
根据本发明的实施方式，所述数据汇总中继单元具体包括：
程控I/O序列电路，用于接收序列管理电路传送来的分布式计算机的MAC地址，并将所述地址存入程控I/O序列中，再在打包处理电路控制下，将程控I/O序列中的MAC地址传输到打包处理电路；
序列管理电路，从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址，并将所述MAC地址传送给程控I/O序列电路；当程控I/O序列中的MAC地址无效时，所述电路负责删除程控I/O序列中的无效MAC地址；
打包处理电路，负责从程控I/O序列电路中周期地获取MAC地址，并对所述MAC地址进行处理，打包为数据传输指令后，将所述指令发送至第二串口电路；
第二串口电路，用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路；同时接收打包处理电路传输来的数据传输指令，再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元；
数据汇总电路，作为数据汇总中继单元的核心，接收多个数据获得单元上传的模拟机的即时运行信息，并对这些信息进行组合、汇总后，发送至第一资源调节单元以及第二资源调节单元。
根据本发明的实施方式，所述第一资源调节单元具体包括：
运算量获得电路，用于周期地接收来自数据汇总中继单元所汇总的数据获得单元数量和数据获得单元获得频率的运算量信息，再把这些运算量信息传输到运算量计算电路；
运算量计算电路，用于对来自运算量获得电路的运算量信息进行处理，并使用处理后的信息周期更新运算量信息表，以使运算量信息表能实时反映分布式计算机的运算量状况；
运算量信息表，用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息，使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息；
运算量适配电路，用于读取运算量信息表，并按照所述电路存储的处理数据汇总请求的调节方案，将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
根据本发明的实施方式，所述第二资源调节单元包括：
信息接收电路，用于接收数据汇总中继单元发送的系统即时运行信息；
第一模拟机统计电路，用于根据系统即时运行信息获取当前云计算系统中所具有的模拟机个数；
第二模拟机统计电路，用于根据系统即时运行信息统计当前云计算系统中每台分布式计算机上的模拟机个数，并根据所述每台分布式计算机上的模拟机个数进行排列；
阈值判断电路，用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n；
目标组确定电路，用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组；
数据搬移组确定电路，用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组，并根据除去所述目标组外的分布式计算机的模拟机数目进行排列；
数据搬移电路，用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择，并将选择的当前模拟机与所述目标组进行对应，直至数据搬移组中所有模拟机均与所述目标组对应后，根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
根据本发明的实施方式，所述数据协助处理单元具体包括：第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路；其中，
所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据；
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理；
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断，所述格式包括标准化格式和非标准化格式；
所述标准化数据预处理电路用于对标准化格式数据进行预处理，包括将获得的多种标准化格式数据转换为统一的格式化数据；
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理；其包括获取所述非标准化格式的特征数据，并将所述特征数据进行存储，然后将存储地址发送至中央处理单元；
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
本发明的智能云计算运行管理系统，通过设置数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元，实现了对整个云计算系统的运算量的精确调节和能耗的准确控制，同时增强了数据抗失效的水平，提高了整个系统的运行效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1示出了根据本发明实施方式的智能云计算运行管理系统结构示意图；
附图2示出了根据本发明实施方式的数据获得单元结构示意图；
附图3示出了根据本发明实施方式的数据汇总中继单元结构示意图；
附图4示出了根据本发明实施方式的第一资源调节单元结构示意图；
附图5示出了根据本发明实施方式的第二资源调节单元结构示意图；
附图6示出了根据本发明实施方式的数据协助处理单元结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式，提出一种智能云计算运行管理系统，如附图1所示，所述系统包括：中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元；其中，
所述多个数据获得单元，分别设置并运行于所述运行管理系统中的各个分布式计算机上，用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的即时运行信息；所述即时运行信息可以包括，但不限于，计算机MAC地址、获得单元数量、数据获得频率、各模拟机工作状态等；
所述多个数据汇总中继单元，用于汇总各数据获得单元获得的即时运行信息，并将汇总的即时运行信息发送至第一资源调节单元以及第二资源调节单元；
所述第一资源调节单元，用于接收各个数据汇总中继单元传送的即时运行信息，依据预设的第一资源调节准则对系统资源的分配进行第一类型调整；
所述第二资源调节单元，用于接收各个数据汇总中继单元传送的即时运行信息，依据预设的第二资源调节准则对系统资源的分配进行第二类型调整；以及
所述数据协助处理单元，用于对需要进行云计算处理的中间数据进行协助处理。
根据本发明的实施方式，如附图2所示，所述数据获得单元具体包括：
数据接收电路，用于接收获得中央处理单元指令，通过模拟机定位器获得运行在分布式计算机上的模拟机的即时运行信息，再将获得的信息发送到数据冗余删减电路；
数据冗余删减电路，用于接收获得中央处理单元的指令，对所获取的数据接收电路传来的模拟机即时运行信息，使用数据冗余删减算法进行冗余删减处理，并将冗余删减后的信息存入本机存储器中；
本机存储器，运行在分布式计算机上，用于存储冗余删减后的模拟机即时运行信息；
信息访问电路，用于在中央处理单元的控制下，从本机存储器中读取模拟机即时运行信息，并将所述信息传输到第一串口电路中；以及
第一串口电路，负责提供数据通信的通道，用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输；接收信息访问电路传输的模拟机即时运行信息，并将这些信息发送到数据汇总中继单元中。
根据本发明的实施方式，如附图3所示，所述数据汇总中继单元具体包括：
程控I/O序列电路，用于接收序列管理电路传送来的分布式计算机的MAC地址，并将所述地址存入程控I/O序列中，再在打包处理电路控制下，将程控I/O序列中的MAC地址传输到打包处理电路；
序列管理电路，从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址，并将所述MAC地址传送给程控I/O序列电路；当程控I/O序列中的MAC地址无效时，所述电路负责删除程控I/O序列中的无效MAC地址；
打包处理电路，负责从程控I/O序列电路中周期地获取MAC地址，并对所述MAC地址进行处理，打包为数据传输指令后，将所述指令发送至第二串口电路；
第二串口电路，用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路；同时接收打包处理电路传输来的数据传输指令，再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元；
数据汇总电路，作为数据汇总中继单元的核心，接收多个数据获得单元上传的模拟机的即时运行信息，并对这些信息进行组合、汇总后，发送至第一资源调节单元以及第二资源调节单元。
根据本发明的实施方式，所述数据汇总中继单元具体运行步骤包括：
A1、先确定数据汇总中继单元的汇总数据周期：设定每个数据获得单元的数据获得周期时间跨度和其向数据汇总中继单元发送数据的时间跨度；
A2、数据获得单元通过第一串口电路将分布式计算机地址发MAC送到数据汇总中继单元，数据汇总中继单元使用第二串口电路将所述地址通过序列管理电路添加到程控I/O序列电路中；
A3、数据汇总中继单元的打包处理电路周期访问程控I/O序列电路，获取其中的分布式计算机MAC地址后，将所述MAC地址处理为一条数据传输指令，再将所述指令通过第二串口电路发送给数据获得单元；打包处理电路获取分布式计算机MAC地址的同时，数据汇总电路准备接收数据获得单元传输的模拟机即时运行信息；
A4、数据汇总中继单元开始接收数据后，将当前接收的数据作为一个数据块存入缓存，并赋予所述数据块一个唯一的标识符，用于表明当前汇总的是哪个数据获得单元的获得数据；
A5、因设置的数据传输时间跨度是确定的，当所述数据获得单元结束数据传输时，数据汇总中继单元就将其缓存中的数据块直接传送到分布式存储器，从而完成一个数据获得单元的数据汇总；
A6、打包处理电路开始访问程控I/O序列电路，开始汇总下一个数据获得单元的获得数据，即返回执行步骤A2。
根据本发明的实施方式，如附图4所示，所述第一资源调节单元具体包括：
运算量获得电路，用于周期地接收来自数据汇总中继单元所汇总的数据获得单元数量和数据获得单元获得频率的运算量信息，再把这些运算量信息传输到运算量计算电路；
运算量计算电路，用于对来自运算量获得电路的运算量信息进行处理，并使用处理后的信息周期更新运算量信息表，以使运算量信息表能实时反映分布式计算机的运算量状况；
运算量信息表，用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息，使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息；
运算量适配电路，用于读取运算量信息表，并按照所述电路存储的处理数据汇总请求的调节方案，将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
根据本发明的实施方式，所述第一资源调节单元具体运行步骤包括：
B1、第一资源调节单元依据数据汇总中继单元的运算量计算公式
获得每个数据汇总中继单元的运算量；式中，Lc是数据汇总中继单元c的运算量，host1,host2，...,hostn是数据汇总中继单元c所汇总管理的n个数据获得单元；数据汇总点c的运算量因子αc是表征所述数据汇总点c处理能力的经验值，其数值是在系统运行过程中根据运行维护经验进行调整设置的，且0<αc≤1；counti(vm)为第i个数据获得单元负责获得的模拟机总数；fi是第i个数据获得单元获得数据的周期频率，即第i个数据获得单元部署在hosti上，并以频率fi获得hosti上部署的模拟机的状态信息；
B2、运算量计算电路对每个数据汇总点获得的运算量进行计算后，将计算结果直接加载到运算量信息表中；使得用于表征当前系统中数据汇总点的实时运算量情况的运算量信息表得到实时更新；
B3、运算量适配电路访问运算量信息表获取每个数据汇总点的运算量信息，再根据所述电路提供的运算量调节方案将新的运算量分配给相应的数据汇总中继单元。
根据本发明的实施方式，如附图5所示，所述第二资源调节单元包括：
信息接收电路，用于接收数据汇总中继单元发送的系统即时运行信息；
第一模拟机统计电路，用于根据系统即时运行信息获取当前云计算系统中所具有的模拟机个数；
第二模拟机统计电路，用于根据系统即时运行信息统计当前云计算系统中每台分布式计算机上的模拟机个数，并根据所述每台分布式计算机上的模拟机个数进行排列；
阈值判断电路，用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n，n为正整数；
目标组确定电路，用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组；
数据搬移组确定电路，用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组，并根据除去所述目标组外的分布式计算机的模拟机数目进行排列；
数据搬移电路，用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择，并将选择的当前模拟机与所述目标组进行对应，直至数据搬移组中所有模拟机均与所述目标组对应后，根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
根据本发明的实施方式，所述数据搬移电路具体包括：
数据搬移代价计算电路，用于将选择的当前模拟机与目标组中模拟机个数最多的分布式计算机对应，并计算出相应的总数据搬移代价，并将所述数据搬移代价作为最小代价；
穷尽电路，用于穷尽所述目标组中的其它分布式计算机，计算对应的当前总数据搬移代价，并将当前数据搬移总代价与所述最小代价进行比较，若当前数据搬移总代价大于等于所述最小代价，则重复执行穷尽电路，否则将当前数据搬移总代价作为最小代价，将当前模拟机与当前分布式计算机对应。
根据本发明的实施方式，所述数据搬移总代价通过如下公式计算，
Cost(Vi，Ph)＝mig×D(Vi，Ph)+∑[W(Vi，Vj)×D′(Ph，Vj)]
其中，Cost(Vi，Ph)为当前模拟机Vi数据搬移到当前分布式计算机Ph的总数据搬移代价，mig为常数，D(Vi，Ph)为当前模拟机Vi到当前分布式计算机Ph的拓扑步数，W(Vi，Vj)为当前模拟机Vi与云计算系统中其它模拟机Vj之间的通信流量，D′(Ph，Vj)为当前模拟机Vi数据搬移到分布式计算机Ph后，分布式计算机Ph到云计算系统中其它模拟机Vj的距离。
根据本发明的实施方式，如附图6所示，所述数据协助处理单元具体包括：第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路；其中，
所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据；
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理；
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断，所述格式包括标准化格式和非标准化格式；所述标准化格式包括，例如，可以用二维表结构表达的数据，所述非标准化格式包括，例如，文本，图片，音频等；
所述标准化数据预处理电路用于对标准化格式数据进行预处理，包括将获得的多种标准化格式数据转换为统一的格式化数据；
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理；其包括获取所述非标准化格式的特征数据，并将所述特征数据进行存储，然后将存储地址发送至中央处理单元；
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
根据本发明的实施方式，所述数据灾备电路对接收的数据获得单元发送的数据进行灾备处理具体包括：
D1、所述中央处理单元获取系统运算量信息，任务执行进度以及位置信息，确定灾备方案；
D2、所述数据灾备电路对任务输入数据进行判断和划分，以确定数据是否需要灾备，并向中央处理单元提出灾备申请；
D3、根据中央处理单元的灾备命令的返回，计算利用空闲带宽，考虑比较资源消耗、灾备时间等因素，进行数据灾备；
D4、向中央处理单元返回灾备情况，更新数据灾备信息；
其中，所述D1所述的系统运算量信息主要包括往返延迟和丢包率，即在当前时段网络中以往返延迟增加和丢包率增加衡量系统运算量情况，以避免因灾备占用网络资源过多而导致整体性能下降；所述的任务执行进度、位置是根据当前正在执行任务，接收任务的MAC地址、任务执行模拟机位置、任务已执行时间、任务进度评分信息，以预判任务完整执行所需的最长时间和灾备存储位置；
其中，所述D3所述的数据灾备主要涉及利用空闲带宽灾备，考虑资源消耗比较和灾备时间比较因素；根据D1接收到的系统运算量信息，分析其先前系统运算量规律，考虑模拟机位置、资源使用状况，进一步计算出未来1分钟内网络空闲情况，并在此段时间进行数据灾备；
其中，所述D4所述灾备情况是指通过系统运算量预判及灾备方案成功灾备后的信息：数据灾备电路在中间数据灾备成功后，以心跳信息的形式发送给中央处理单元，通知中央处理单元所述数据灾备成功和存储位置，以供当前数据无效后使用；中央处理单元接收到数据灾备电路的灾备信息后，更新数据位置信息。
其中，所述D3中，灾备时间比较是指数据灾备灾备时间需比任务执行时间短，即中央处理单元收到数据灾备电路的返回信息来控制数据灾备速率和计算节点监控任务执行进度两方面保证数据灾备时间，如果灾备时间超过任务完成时间，则放弃灾备；资源消耗比较主要通过中央处理单元记录任务实际执行的先前时间作为任务执行资源消耗和中间数据的灾备时间作为灾备资源消耗进行比较，如执行资源消耗大于灾备资源消耗，则放弃灾备。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (5)
1.一种智能云计算运行管理系统，所述系统包括：中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元；其中，
所述多个数据获得单元，分别设置并运行于所述运行管理系统中的各个分布式计算机上，用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的即时运行信息；
所述多个数据汇总中继单元，用于汇总各数据获得单元获得的即时运行信息，并将汇总的即时运行信息发送至第一资源调节单元以及第二资源调节单元；
所述第一资源调节单元，用于接收各个数据汇总中继单元传送的即时运行信息，依据预设的第一资源调节准则对系统资源的分配进行第一类型调整；
所述第二资源调节单元，用于接收各个数据汇总中继单元传送的即时运行信息，依据预设的第二资源调节准则对系统资源的分配进行第二类型调整；以及
所述数据协助处理单元，用于对需要进行云计算处理的中间数据进行协助处理；
所述数据获得单元具体包括：
数据接收电路，用于接收获得中央处理单元指令，通过模拟机定位器获得运行在分布式计算机上的模拟机的即时运行信息，再将获得的信息发送到数据冗余删减电路；
数据冗余删减电路，用于接收获得中央处理单元的指令，对所获取的数据接收电路传来的模拟机即时运行信息，使用数据冗余删减算法进行冗余删减处理，并将冗余删减后的信息存入本机存储器中；
本机存储器，运行在分布式计算机上，用于存储冗余删减后的模拟机即时运行信息；
信息访问电路，用于在中央处理单元的控制下，从本机存储器中读取模拟机即时运行信息，并将所述信息传输到第一串口电路中；以及
第一串口电路，负责提供数据通信的通道，用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输；接收信息访问电路传输的模拟机即时运行信息，并将这些信息发送到数据汇总中继单元中。
2.一种如权利要求1所述的系统，所述数据汇总中继单元具体包括：
程控I/O序列电路，用于接收序列管理电路传送来的分布式计算机的MAC地址，并将所述地址存入程控I/O序列中，再在打包处理电路控制下，将程控I/O序列中的MAC地址传输到打包处理电路；
序列管理电路，从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址，并将所述MAC地址传送给程控I/O序列电路；当程控I/O序列中的MAC地址无效时，删除程控I/O序列中的无效MAC地址；
打包处理电路，负责从程控I/O序列电路中周期地获取MAC地址，并对所述MAC地址进行处理，打包为数据传输指令后，将所述指令发送至第二串口电路；
第二串口电路，用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路；同时接收打包处理电路传输来的数据传输指令，再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元；
数据汇总电路，接收多个数据获得单元上传的模拟机的即时运行信息，并对这些信息进行组合、汇总后，发送至第一资源调节单元以及第二资源调节单元。
3.一种如权利要求2所述的系统，所述第一资源调节单元具体包括：
运算量获得电路，用于周期地接收来自数据汇总中继单元所汇总的数据获得单元数量和数据获得单元获得频率的运算量信息，再把这些运算量信息传输到运算量计算电路；
运算量计算电路，用于对来自运算量获得电路的运算量信息进行处理，并使用处理后的信息周期更新运算量信息表，以使运算量信息表能实时反映分布式计算机的运算量状况；
运算量信息表，用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息，使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息；
运算量适配电路，用于读取运算量信息表，并按照所述电路存储的处理数据汇总请求的调节方案，将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
4.一种如权利要求3所述的系统，所述第二资源调节单元包括：
信息接收电路，用于接收数据汇总中继单元发送的系统即时运行信息；
第一模拟机统计电路，用于根据系统即时运行信息获取当前云计算系统中所具有的模拟机个数；
第二模拟机统计电路，用于根据系统即时运行信息统计当前云计算系统中每台分布式计算机上的模拟机个数，并根据所述每台分布式计算机上的模拟机个数进行排列；
阈值判断电路，用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n；
目标组确定电路，用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组；
数据搬移组确定电路，用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组，并根据除去所述目标组外的分布式计算机的模拟机数目进行排列；
数据搬移电路，用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择，并将选择的当前模拟机与所述目标组进行对应，直至数据搬移组中所有模拟机均与所述目标组对应后，根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
5.一种如权利要求4所述的系统，所述数据协助处理单元具体包括：第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路；其中，
所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据；
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理；
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断，所述格式包括标准化格式和非标准化格式；
所述标准化数据预处理电路用于对标准化格式数据进行预处理，包括将获得的多种标准化格式数据转换为统一的格式化数据；
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理；其包括获取所述非标准化格式的特征数据，并将所述特征数据进行存储，然后将存储地址发送至中央处理单元；
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510032891.3A CN104506663B (zh) | 2015-01-22 | 2015-01-22 | 一种智能云计算运行管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510032891.3A CN104506663B (zh) | 2015-01-22 | 2015-01-22 | 一种智能云计算运行管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104506663A CN104506663A (zh) | 2015-04-08 |
| CN104506663B true CN104506663B (zh) | 2018-03-13 |
Family
ID=52948378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510032891.3A Active CN104506663B (zh) | 2015-01-22 | 2015-01-22 | 一种智能云计算运行管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104506663B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905348A (zh) * | 2021-03-09 | 2021-06-04 | 国网河北省电力有限公司信息通信分公司 | 一种智能云计算管理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104216782A (zh) * | 2014-08-19 | 2014-12-17 | 东南大学 | 高性能计算和云计算混合环境中的动态资源管理方法 |
| CN104283964A (zh) * | 2014-10-22 | 2015-01-14 | 国网上海市电力公司 | 电力客户智能交互终端系统 |
| CN104298339A (zh) * | 2014-10-11 | 2015-01-21 | 东北大学 | 一种面向最小能耗的服务器整合方法 |
| CN104301403A (zh) * | 2014-09-26 | 2015-01-21 | 东北大学 | 基于组件服务副本增删的云服务资源动态配置系统及方法 |
| CN104301389A (zh) * | 2014-09-19 | 2015-01-21 | 华侨大学 | 一种云计算系统的能效监控和管理方法与系统 |
-
2015
- 2015-01-22 CN CN201510032891.3A patent/CN104506663B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104216782A (zh) * | 2014-08-19 | 2014-12-17 | 东南大学 | 高性能计算和云计算混合环境中的动态资源管理方法 |
| CN104301389A (zh) * | 2014-09-19 | 2015-01-21 | 华侨大学 | 一种云计算系统的能效监控和管理方法与系统 |
| CN104301403A (zh) * | 2014-09-26 | 2015-01-21 | 东北大学 | 基于组件服务副本增删的云服务资源动态配置系统及方法 |
| CN104298339A (zh) * | 2014-10-11 | 2015-01-21 | 东北大学 | 一种面向最小能耗的服务器整合方法 |
| CN104283964A (zh) * | 2014-10-22 | 2015-01-14 | 国网上海市电力公司 | 电力客户智能交互终端系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104506663A (zh) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10133606B2 (en) | Application scaling management method and apparatus that uses distances between data centers and network resources of data centers to select a data center for expansion | |
| CN104170323B (zh) | 基于网络功能虚拟化的故障处理方法及装置、系统 | |
| CN103761309B (zh) | 一种运营数据处理方法及系统 | |
| CN103152393B (zh) | 一种云计算的计费方法和计费系统 | |
| KR20210042161A (ko) | 분산 시스템을 위한 데이터 동기화 방법 및 장치, 매체, 및 전자 디바이스 | |
| CN110995513B (zh) | 物联网系统中的数据发送、接收方法、物联网设备及平台 | |
| WO2017092582A1 (zh) | 一种数据处理方法和装置 | |
| CN105357296A (zh) | 一种Docker云平台下弹性缓存系统 | |
| CN111966289B (zh) | 基于Kafka集群的分区优化方法和系统 | |
| US10740198B2 (en) | Parallel partial repair of storage | |
| CN103685368A (zh) | 用于迁移数据的方法及系统 | |
| CN112121413B (zh) | 功能服务的响应方法、系统、装置、终端及介质 | |
| US8458379B2 (en) | Information processing program, method, and transfer processing device | |
| CN111181800A (zh) | 测试数据处理方法、装置、电子设备及存储介质 | |
| CN109728981A (zh) | 一种云平台故障监测方法及装置 | |
| CN110765092A (zh) | 分布式搜索系统、索引分发方法及存储介质 | |
| US11526784B2 (en) | Real-time server capacity optimization tool using maximum predicted value of resource utilization determined based on historica data and confidence interval | |
| CN105450784A (zh) | 向mq中的消息分配消费节点的装置及方法 | |
| CN104503846B (zh) | 一种基于云计算系统的资源管理系统 | |
| CN104506663B (zh) | 一种智能云计算运行管理系统 | |
| CN104580498B (zh) | 一种自适应云管理平台 | |
| CN117332881B (zh) | 分布式训练方法及电子设备 | |
| CN104850431A (zh) | 基于fota升级的稳定处理方法和装置 | |
| US10572486B2 (en) | Data communication in a distributed data grid | |
| CN112905348A (zh) | 一种智能云计算管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 610000 Tianfu Software Park Area C, 219 Tianhua Road, Chengdu High-tech Zone, Sichuan Province, 12 buildings and 14 floors Patentee after: Chengdu Peiwat Technology Co., Ltd. Address before: 610000 Tianfu Software Park Area C, 219 Tianhua Road, Chengdu High-tech Zone, Sichuan Province, 12 buildings and 14 floors Patentee before: CHENGDU PVIRTECH TECHNOLOGY CO., LTD. |
|
| CP01 | Change in the name or title of a patent holder | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Intelligent cloud computing operation management system Effective date of registration: 20191120 Granted publication date: 20180313 Pledgee: China Minsheng Banking Corp Chengdu branch Pledgor: Chengdu Peiwat Technology Co., Ltd. Registration number: Y2019510000054 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210226 Granted publication date: 20180313 Pledgee: China Minsheng Banking Corp Chengdu branch Pledgor: CHENGDU PVIRTECH Co.,Ltd. Registration number: Y2019510000054 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |