CN108924217A - 一种分布式云系统自动化部署方法 - Google Patents

Abstract

本发明属于云计算领域，具体为分布式云系统自动化部署方法，用于解决分布式云系统部署易出错、集群标准化管理困难以及资源利用率低的问题；所部署的分布式云系统，包括一个中央管理节点、若干个云集群和云集群间资源自动调度模块，中央管理节点分别与若干个云集群连接，若干个云集群之间通过云集群间资源自动调度模块连接；在每个云集群中设有一个部署节点，并设有多个分别与部署节点连接的服务节点，部署节点上设有容器仓库，每个服务节点上均设有容器；分布式云系统自动化部署方法通过web页面引导用户进行云集群的定制化配置和自动部署，收集和发布集群的配置信息，执行自动安装操作。

Description

一种分布式云系统自动化部署方法

技术领域

本发明属于云计算领域，具体涉及一种分布式云系统自动化部署方法。

背景技术

部署云服务环境是一项非常繁琐而易出错的任务，其部署过程需考虑服务器硬件的区别、操作系统的不同需求、实际网络环境的复杂性，还涉及到应用软件的安装以及与软件相关的配置参数和服务。另外，实际环境中需要配置的机器需要落地到不同的数据中心，数量少则几十台，多达几千上万台。这些机器的配置大部分是标准化的，也有少量参数需要手工配置。如果只使用人工管理，存在以下问题：(1)要配置这些机器，不仅应用上线时间久，而且对那些标准化配置的高度重复手工操作会致使失败的概率增加；(2)系统的后续使用过程中，服务器节点可能会因硬件损坏或性能问题，需要定期更换；(3)日常的系统维护也需要投入具备专业的IT管理知识的运维人员，造成企业投入的人力成本较大，效率不高。

因此很有必要设计一套自动化部署与运维管理技术，实现批量化快速部署大规模的生产系统，在少人或无人干预下，完成服务器注册、系统部署、系统配置、系统运维，并根据业务需求进行网络、存储、计算等业务软件组件推送、安装和配置等工作。

发明内容

本发明提供了一种分布式云系统自动化部署方法，用于解决现有分布式云系统部署易出错、集群标准化管理困难以及资源利用率低的问题。

为了解决上述问题，本发明采用的技术方案如下：一种分布式云系统自动化部署方法，所部署的分布式云系统，包括一个中央管理节点、若干个云集群和云集群间资源自动调度模块，中央管理节点分别与若干个云集群连接，若干个云集群之间通过云集群间资源自动调度模块连接；在每个云集群中设有一个部署节点，并设有多个分别与部署节点连接的服务节点，部署节点上设有容器仓库，每个服务节点上均设有容器；分布式云系统自动化部署方法通过web页面引导用户进行云集群的定制化配置和自动部署，收集和发布集群的配置信息，执行自动安装操作。

在一个优选的实施例中，所述分布式云系统自动化部署方法包括：

主机发现步骤：收集和存储云集群待部署节点的硬件信息，审核待部署节点能否接入云集群，为云集群部署模块提供必要的信息参考；

云集群部署步骤：进行云集群配置、云集群部署和服务验证；对部署节点执行多个任务，包括操作系统的自动部署，云服务容器定制化制作和云操作系统的自动部署；在部署完成后提供对云集群服务的验证，并向中央管理节点反馈部署的结果；

云集群管理步骤：对部署完成的云集群提供可视化的管理，定时检测云集群服务的状态，进行部署节点远程管理和运维。

在一个优选的实施例中，所述云集群部署步骤包括如下：

a)为云集群添加云节点作为部署节点，并提交云集群的全局配置信息；

b)利用存储的配置信息，根据模板文件以及生成的容器镜像所需的配置文件，定制生成对应的容器定制的脚本文件；

c)部署节点利用上一步定制的脚本文件生成各个服务的容器镜像，并将容器镜像推送到本地容器仓库保存；

d)服务节点安装相关的依赖包，准备部署的环境，并设置容器私有仓库的源；

e)检查待部署节点上的环境配置；

f)如果待部署节点的环境检查无报错，即可启动部署任务；

g)服务节点根据集群角色的分配从部署节点的容器仓库中拉取对应的云计算服务的容器镜像，并启动容器；

h)待部署任务完成，部署节点主动向部署服务器汇报容器的启动情况；

i)部署任务安装成功后，对云集群的云服务进行验证，更新任务状态，并汇报到中央管理节点上。

在一个优选的实施例中，所述云集群管理步骤包括云集群间资源互借与共享步骤；云集群间资源互借与共享步骤包括:

a)中央管理节点维护每个云集群的计算资源、存储资源信息，以及每个云集群与其它云计算的网络链接拓扑图信息；

b)云集群按需配置资源互借服务要求及服务的配置服务层面要求，并将前述要求自动发送给中央管理节点；

c)中央管理节点维护每个云集群的实时计算资源及存储资源信息，以及每个云集群与其它云计算的网络实时带宽信息；

d)云集群需要从其它云集群调借资源时，如果该云集群不支持对等服务调借模式，它将向中央管理节点发送请求，中央管理节点选择其它云集群服务该云集群；如果该云集群支持对等服务调借模式，向其对等云集群直接发送调借请求；

e)受调借云集群收到资源调借请求时，自动配置系统，安排资源服务调借云集群；

f)资源调借结束时，相关云集群发送更新信息给中央管理节点更新相关信息，自动回收原分配的调借资源，完成资源自动调借。

在一个优选的实施例中，所述主机发现步骤采用自动发现模式；自动发现模式由物理机通过部署网络下载一个定制的镜像，镜像通过网络启动后与部署节点进行通信，主动向部署节点推送自身的硬件资源检测信息，如果硬件条件满足系统部署的要求，物理机将该镜像作为待部署节点自动加入到云集群中。

与现有技术相比，本发明技术方案的有益效果是：本发明中分布式云系统包括一个中央管理节点和若干个落地云集群，分离了控制面、服务面和数据面；其落地云集群可由一个业主统一建设，也可以由多个业主各自独立建设。如果分布式云系统由多个业主各自独立建设，业主的资源可以按照预定的服务层面协议(SLA)原则，按需动态地提供资源给其它业主使用。系统中的中央管理节点对云资源进行统一管理，设定云集群间资源互借与共享原则，实现资源调配及资源回收，提高资源利用率。该方法提供一个Web页面引导用户对分布式云系统进行定制化配置、自动部署和自动资源调度，实现在各个落地的服务集中点自动构建和安装云集群，实现服务器即插即用，降低集群部署的出错率，加速设备上线，支持资源的共享。

附图说明

图1为本发明的总体架构图。

图2为本发明自动化部署方法的总流程图。

图3为云集群自动部署的流程图。

图4为云集群间资源互借与共享的流程图。

具体实施方式

以下结合附图和实施例对本发明做进一步的阐述，但本发明的实施方式不限于此。

实施例

如图1-4所示，本发明一种分布式云系统自动化部署方法所部署的分布式云系统，包括一个中央管理节点、若干个落地的云集群和云集群间资源自动调度模块，中央管理节点分别与若干个云集群连接，若干个云集群之间通过云集群间资源自动调度模块连接，云集群间资源自动调度模块通过高速网络互联来实现。云集群利用云操作系统对于自身的计算、存储和网络等资源进行池化并由中央管理节点统一管理，提供实际需要使用的云计算资源。其中，云集群是一个可独立运行的云系统，可以隶属于不同的运营商或业主，位于不同的地理位置，但受中央管理节点统一管理，可按照相关的管理规则及云集群间资源共享的规则实现资源互借和共享，提高资源利用率。落地的云集群在中央管理节点离线的情况下可自主独立运作，为本地用户或者已经配置好的远程用户提供服务。

在具体实施过程中，所述的分布式云系统分离了控制面、数据面和服务面，云集群会在各个服务集中点进行构建，提供用户实际使用所需要的大部分计算、存储资源，快速实现了本地服务提供、资源全局控制以及资源可调度共享。这些离散的云集群在控制面上，又结合起来成为一个耦合性相对较强的紧密整体，受中央管理节点自动、安全和高效地管理。必要时，某一云集群可以向其他云集群借用计算、存储等资源，由中央管理节点提供数据资源，极大地利用本地资源来提升云服务整体性能，降低网络带宽。而中央管理节点负责云资源的统一管理，收集云集群中服务节点的状态信息，用于集群自动部署的决策参考。

在每个云集群中设有一个部署节点，并设有多个分别与部署节点连接的服务节点，部署节点上设有容器仓库，每个服务节点上均设有容器；容器是直接运行在操作系统内核之上的用户空间，也是轻量级的操作系统级虚拟化，可以在一个资源隔离的进程中运行应用及其依赖项。容器中，运行应用程序所必需的组件都将打包成一个镜像并可以复用，具有可移植性和一致性。

本发明自动化部署方法，根据中央管理节点的决策和全局配置信息自动部署云集群，部署完成后提供集群节点的可视化管理，简化云集群上线和维护的过程。在具体实施过程中，通过web页面引导用户进行云集群的定制化配置和自动部署，收集和发布集群的配置信息，执行自动安装操作，实现服务器即插即用，降低集群部署的出错率，加速设备上线；自动化部署方法主要包括：

主机发现步骤：负责收集和存储云集群待部署节点的硬件信息，审核待部署节点能否接入云集群，为云集群部署模块提供必要的信息参考；

云集群部署步骤：负责进行云集群配置、云集群部署和服务验证。对节点执行多个任务，包括操作系统的自动部署，云服务容器定制化制作和云操作系统的自动部署；在部署完成后提供对云集群服务的验证，并向中央管理节点反馈部署的结果；

云集群管理步骤：负责对部署完成的云集群提供可视化的管理，定时检测云集群服务的状态，通过web-ssh和电源管理等操作进行部署节点远程管理和运维。

在具体实施过程中，所述的主机发现步骤分为人工发现模式和自动发现模式。人工发现模式是由运维人员手动输入已知的物理机资源信息，并将物理机接入到云集群中；自动发现模式是由物理机通过部署网络下载一个定制的微型镜像，镜像通过网络启动后与部署节点进行通信，主动向部署节点推送自身的硬件资源检测信息，如果硬件条件满足系统部署的要求，物理机会将该镜像作为待部署节点自动加入到云集群中。

其中，微型镜像采用常用的操作系统作为基础镜像(例如ubuntu、centos)，利用busybox删减不必要的软件以及配置文件，以减小镜像大小，加速镜像传送以及启动。镜像中会添加自定制的代理服务(agent)和必需的驱动，用于通过裸机网络启动进行服务器的发现和注册。制作完成的微型镜像会被上传到工作站提供下载。新增节点从工作站下载微型镜像后，通过dhcp获取IP地址，然后在内存展开镜像，加载各项硬件驱动，启动agent服务，并获取中央管理节点的IP地址和本机的硬件资源检测信息，定时向中央管理节点汇报信息。微型镜像中的agent通过工具(如lshw、dmidecode)以及物理机上的配置文件收集物理机的硬件资源信息，包括主机名称、生产商、uuid、序列号、内存槽、网卡配置、硬盘配置和处理器配置等一系列信息，并通过xml解析处理后发送给中央管理节点。

在具体实施过程中，所述的云集群部署步骤根据中央管理节点的部署决策对云集群进行自动化部署。该步骤提供多个任务的自动执行，包含操作系统的自动安装，云服务容器定制化制作和云操作系统的自动安装。云集群部署步骤所实现的功能包括系统配置信息、镜像管理、任务管理等，并对集群节点提供两个层级的部署：1)操作系统的自动安装，2)云操作系统的自动安装。

云集群的自动化部署包括步骤如下：

a)为云集群添加云节点作为部署节点，并提交云集群的全局配置信息；

b)利用存储的配置信息，根据模板文件以及生成的容器镜像所需的配置文件，定制生成对应的容器定制的脚本文件；

c)部署节点利用上一步定制的脚本文件生成各个服务的容器镜像，并将容器镜像推送到本地容器仓库保存；

d)服务节点安装相关的依赖包，准备部署的环境，并设置容器私有仓库的源；

e)检查待部署节点上的环境配置；

f)如果待部署节点的环境检查无报错，即可启动部署任务；

g)服务节点根据集群角色的分配从部署节点的容器仓库中拉取对应的云计算服务的容器镜像，并启动容器；

h)待部署任务完成，部署节点主动向部署服务器汇报容器的启动情况；

i)部署任务安装成功后，对云集群的云服务进行验证，更新任务状态，并汇报到中央管理节点上。

其中，操作系统自动安装的步骤包括：

a)业主进行镜像的制作，安装相关的软件依赖，设置部署的环境，并将定制的镜像上传到工作站；

b)业主填写操作系统的配置信息，其中包括镜像选择、网络配置、用户名密码、SSH公钥等信息，并提交到部署服务器后端进行处理；

c)根据用户提交的信息，查询镜像，如果镜像不存在，提示管理员上传部署镜像；

d)如果镜像查询成功，根据配置信息、jinja2模板制作操作系统自动安装的应答文件，并开始部署；

e)待部署的节点通过网络启动(例如PXE启动)部署任务，待dhcp获取ip；

f)待部署的节点通过http协议向部署服务器请求加载定制的操作系统；

g)操作系统安装过程中会直接使用定制的自动应答文件进行交互，无需人为干预即可完成操作系统的配置；

h)安装成功后向部署服务器请求更新任务状态，并且等待下一步任务执行。

其中，云操作系统(例如openstack)的自动安装的步骤包括：

a)根据中央管理节点的决策，配置集群节点的角色，并提交云集群的全局配置信息；

b)利用存储的配置信息，根据jinja2模板文件以及生成的容器镜像所需的配置文件，定制生成对应的模板文件；

c)部署节点利用上一步定制的模板文件生成各个服务的容器镜像，并将容器镜像推送到本地仓库保存；

d)部署节点上利用远程运维工具(如ansible)管理服务节点和容器，并且执行云操作系统的远程部署；

e)检查待部署节点上的环境配置；

f)如果待部署节点的环境检查无报错，即可启动部署任务；如果环境检查报错，会重新安装操作系统；

g)服务节点根据云集群全局配置从部署节点的仓库中拉取对应的云计算服务的容器镜像，并启动容器；

h)待部署任务完成，云集群主动向部署服务器汇报容器的拉取和启动情况；

i)部署服务器对集群的云服务进行验证，更新集群节点列表以及任务状态，并将云集群状态汇报给中央管理节点。

在具体实施过程中，所述的云集群管理步骤负责对部署完成的云集群提供可视化的管理和运维，包括落地云集群间资源互借与共享。中央管理节点长期维护落地云集群的计算资源、存储资源，以及落地云集群与其他云计算的网络连接拓扑图信息，业主可在web页面上使用远程运维工具(如ansible、web-ssh等)以及远程电源控制(WakeOnLAN、SSH、IPMI)对云集群节点进行管理。落地云集群中通过自启动的agent服务收集集群内所有节点的硬件资源监测信息以及集群中计算、存储和网络资源信息，定时向中央管理节点汇报。

在具体实施过程中，落地云集群间资源互借与共享的步骤包括:

a)中央管理节点维护每个落地云集群的计算资源、存储资源信息，以及每个落地云集群与其它云计算的网络链接拓扑图信息；

b)落地云集群按需配置资源互借服务要求及服务的配置服务层面要求(SLA)，并将前述要求自动发送给中央管理节点；

c)中央管理节点维护每个落地云集群的实时计算资源及存储资源信息，以及每个落地云集群与其它云计算的网络实时带宽信息；

d)落地云集群需要从其它落地云集群调借资源时，如果该落地云集群不支持对等服务(P2P)调借模式，它将向中央管理节点发送请求，中央管理节点按其掌握的分布式云系统实时信息依据SLA自动选择其它落地云集群服务该落地云集群；如果该落地云集群支持对等服务(P2P)调借模式，它也可以向其对等云集群直接发送调借请求；

e)受调借落地云集群收到资源调借请求时，自动配置系统，安排资源服务调借落地云集群；

f)资源调借结束时，相关落地云集群发送更新信息给中央管理节点更新相关信息，自动回收原分配的调借资源，完成资源自动调借。

显然，本发明的上述实施案例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属技术领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种分布式云系统自动化部署方法，其特征在于，所部署的分布式云系统，包括一个中央管理节点、若干个云集群和云集群间资源自动调度模块，中央管理节点分别与若干个云集群连接，若干个云集群之间通过云集群间资源自动调度模块连接；在每个云集群中设有一个部署节点，并设有多个分别与部署节点连接的服务节点，部署节点上设有容器仓库，每个服务节点上均设有容器；分布式云系统自动化部署方法通过web页面引导用户进行云集群的定制化配置和自动部署，收集和发布集群的配置信息，执行自动安装操作。

2.根据权利要求1所述的分布式云系统自动化部署方法，其特征在于，所述分布式云系统自动化部署方法包括：

主机发现步骤：收集和存储云集群待部署节点的硬件信息，审核待部署节点能否接入云集群，为云集群部署模块提供必要的信息参考；

云集群部署步骤：进行云集群配置、云集群部署和服务验证；对部署节点执行多个任务，包括操作系统的自动部署，云服务容器定制化制作和云操作系统的自动部署；在部署完成后提供对云集群服务的验证，并向中央管理节点反馈部署的结果；

云集群管理步骤：对部署完成的云集群提供可视化的管理，定时检测云集群服务的状态，进行部署节点远程管理和运维。

3.根据权利要求2所述的分布式云系统自动化部署方法，其特征在于，所述云集群部署步骤包括如下：

a)为云集群添加云节点作为部署节点，并提交云集群的全局配置信息；

b)利用存储的配置信息，根据模板文件以及生成的容器镜像所需的配置文件，定制生成对应的容器定制的脚本文件；

c)部署节点利用上一步定制的脚本文件生成各个服务的容器镜像，并将容器镜像推送到本地容器仓库保存；

d)服务节点安装相关的依赖包，准备部署的环境，并设置容器私有仓库的源；

e)检查待部署节点上的环境配置；

f)如果待部署节点的环境检查无报错，即可启动部署任务；

g)服务节点根据集群角色的分配从部署节点的容器仓库中拉取对应的云计算服务的容器镜像，并启动容器；

h)待部署任务完成，部署节点主动向部署服务器汇报容器的启动情况；

i)部署任务安装成功后，对云集群的云服务进行验证，更新任务状态，并汇报到中央管理节点上。

4.根据权利要求2所述的分布式云系统自动化部署方法，其特征在于，所述云集群管理步骤包括云集群间资源互借与共享步骤；云集群间资源互借与共享步骤包括:

a)中央管理节点维护每个云集群的计算资源、存储资源信息，以及每个云集群与其它云计算的网络链接拓扑图信息；

b)云集群按需配置资源互借服务要求及服务的配置服务层面要求，并将前述要求自动发送给中央管理节点；

c)中央管理节点维护每个云集群的实时计算资源及存储资源信息，以及每个云集群与其它云计算的网络实时带宽信息；

d)云集群需要从其它云集群调借资源时，如果该云集群不支持对等服务调借模式，它将向中央管理节点发送请求，中央管理节点选择其它云集群服务该云集群；如果该云集群支持对等服务调借模式，向其对等云集群直接发送调借请求；

e)受调借云集群收到资源调借请求时，自动配置系统，安排资源服务调借云集群；

f)资源调借结束时，相关云集群发送更新信息给中央管理节点更新相关信息，自动回收原分配的调借资源，完成资源自动调借。

5.根据权利要求2所述的分布式云系统自动化部署方法，其特征在于，所述主机发现步骤采用自动发现模式；自动发现模式由物理机通过部署网络下载一个定制的镜像，镜像通过网络启动后与部署节点进行通信，主动向部署节点推送自身的硬件资源检测信息，如果硬件条件满足系统部署的要求，物理机将该镜像作为待部署节点自动加入到云集群中。

6.根据权利要求1所述的分布式云系统自动化部署方法，其特征在于，所述云集群为独立运行的云系统，隶属于不同的运营商或业主，位于不同的地理位置，受中央管理节点统一管理，按照相关的管理规则及云集群间资源共享的规则实现资源互借和共享。

7.根据权利要求1所述的分布式云系统自动化部署方法，其特征在于，所述中央管理节点负责云资源的统一管理，收集云集群中服务节点的状态信息，用于集群自动部署的决策参考。