CN115174644B - 容器集群服务启停控制方法、装置、设备及存储介质 - Google Patents
容器集群服务启停控制方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115174644B CN115174644B CN202210751234.4A CN202210751234A CN115174644B CN 115174644 B CN115174644 B CN 115174644B CN 202210751234 A CN202210751234 A CN 202210751234A CN 115174644 B CN115174644 B CN 115174644B
- Authority
- CN
- China
- Prior art keywords
- service
- pod
- detection module
- control
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Programmable Controllers (AREA)
Abstract
本发明公开了一种容器集群服务启停控制方法、装置、设备及存储介质，所述方法通过服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；服务控制模块定时接收服务健康状态后，根据预设启动顺序或预设停止顺序向所述服务检测模块下发控制指令；服务检测模块根据控制指令启动或停止与服务检测模块处于同一pod中的服务，能够实现软件系统在pod上部署后能按序进行服务的启动和停止；通过控制模块与检测模块的设计可以实现更多灵活的服务控制功能；以检测模块的状态表示pod状态，检测模块本身启动迅速、资源占用极少，提高了判断服务是否真实可用的准确性，避免了对pod资源的无意义消耗。
Description
技术领域
本发明涉及计算机软件容器集群技术领域，尤其涉及一种容器集群服务启停控制方法、装置、设备及存储介质。
背景技术
容器集群是对容器进行编排和管理的系统；容器技术采用虚拟化技术封装了应用的运行环境和资源，极大的提高了应用的部署能力，当容器应用越来越广泛时，容器集群为大规模的容器编排和管理提供了支撑。
采用容器方式运行的软件系统一般部署在容器集群中，比如kubernates，每个服务在容器集群中被封装为一个独立的对象，比如kubernates中的pod，服务在pod中以容器形式运行；pod由容器集群进行调度和启动控制，一旦pod被创建，pod中的容器即被启动；如果软件系统包含多个服务，分布在不同的pod中，并且这些服务在启动时存在一定的顺序要求，那么这种控制方式就不能很好的支持按序启动的要求，一般情况下当需要先启动的服务被部署了再部署下一个服务，但这仍然存在下面的问题：1.服务启动完成并不代表服务真正的完成了初始化，可以对外提供服务了，如果此时马上启动依赖该服务的其它服务，可能导致其它服务启动失败；2.有些服务启动耗时较长，或者在服务启动过程中出现问题导致进程挂住；那么此时pod会一直处于pedding状态，消耗系统资源。
发明内容
本发明的主要目的在于提供一种容器集群服务启停控制方法、装置、设备及存储介质，旨在解决现有技术中容器服务启动过程中出现问题导致进程挂住，容易导致服务启动失败，服务启动耗时较长，浪费大量系统资源的技术问题。
第一方面，本发明提供一种容器集群服务启停控制方法，所述容器集群服务启停控制方法包括以下步骤：
在容器集群中设置服务控制模块，在pod中设置服务检测模块，所述服务检测模块以容器方式独立运行；
所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；
所述服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；
所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务。
可选地，所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息，包括：
所述服务检测模块定时对pod中的服务进行扫描，根据所述服务提供的状态接口获得反映服务当前是否可用的标识；
根据所述标识确定各服务的服务健康状态。
可选地，所述服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令，包括：
所述服务控制模块从预设启动顺序文件中查找到对应所述服务健康状态和所述服务信息的启动顺序作为预设启动顺序，根据预设停止顺序描述文件获得预设停止顺序；
所述服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息；
所述服务控制模块根据所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发控制指令，在当前启停服务完成启停动作后进行下一个服务的启停过程。
可选地，所述服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息，包括：
所述服务控制模块定时与每个pod中的服务检测模块通信，所述服务检测模块将各服务对应的服务描述文件进行分析获得其所在pod中的服务信息；
所述服务控制模块接收所述服务检测模块发送的所述服务健康状态和各pod中的服务信息。
可选地，所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务，包括：
在所述控制指令为启动指令时，所述服务检测模块根据所述启动指令启动与其处于同一pod中的服务；
在所述控制指令为停止指令时，所述服务检测模块根据所述停止指令停止与其处于同一pod中的服务。
可选地，所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务之后，所述容器集群服务启停控制方法还包括：
所述服务控制模块检测到当前服务启动超时时，根据预设超时控制策略进行处理，所述预设超时控制策略包括重启所述当前服务、销毁pod、重启pod或者跳过所述当前超时服务启动下一服务；
所述服务控制模块在检测到所述服务健康状态为不健康时，根据预设异常控制策略进行处理，所述预设异常控制策略包括不处理异常服务、重启所述异常服务或者重启所述异常服务所在pod。
可选地，所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息之前，所述容器集群服务启停控制方法还包括：
pod以所述检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态。
第二方面，为实现上述目的，本发明还提出一种容器集群服务启停控制装置，所述容器集群服务启停控制装置包括：
服务检测模块设置在pod中，所述服务检测模块以容器方式独立运行，用于定时对pod中的服务进行扫描，生成服务状态信息；
服务控制模块设置在容器集群中，用于根据预设的启动顺序或停止顺序来执行服务的启动或停止，执行过程中通过检测模块定时接收服务状态信息来判断服务健康状态并向所述服务检测模块下发控制指令；
所述服务检测模块，还用于根据所述控制指令启动或停止与其处于同一pod中的服务。
第三方面，为实现上述目的，本发明还提出一种容器集群服务启停控制设备，所述容器集群服务启停控制设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的容器集群服务启停控制程序，所述容器集群服务启停控制程序配置为实现如上文所述的容器集群服务启停控制方法的步骤。
第四方面，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有容器集群服务启停控制程序，所述容器集群服务启停控制程序被处理器执行时实现如上文所述的容器集群服务启停控制方法的步骤。
本发明提出的容器集群服务启停控制方法，通过服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务，能够实现软件系统在pod上部署后能按序进行服务的启动和停止；通过控制模块与检测模块的设计可以实现更多灵活的服务控制功能；以检测模块的状态表示pod状态，检测模块本身启动迅速、资源占用极少，避免了服务启动时间过长带来的pod长期处于填充pedding状态的问题，对现有的系统改造影响小，提高了判断服务是否真实可用的准确性，避免了对pod资源的无意义消耗，提升了容器集群服务启停控制的速度和效率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明容器集群服务启停控制方法第一实施例的流程示意图；
图3为本发明容器集群服务启停控制方法第二实施例的流程示意图；
图4为本发明容器集群服务启停控制方法第三实施例的流程示意图；
图5为本发明容器集群服务启停控制方法第四实施例的流程示意图；
图6为本发明容器集群服务启停控制方法第五实施例的流程示意图；
图7为本发明容器集群服务启停控制方法第六实施例的流程示意图；
图8为本发明容器集群服务启停控制装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：通过服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务，能够实现软件系统在pod上部署后能按序进行服务的启动和停止；通过控制模块与检测模块的设计可以实现更多灵活的服务控制功能；以检测模块的状态表示pod状态，检测模块本身启动迅速、资源占用极少，避免了服务启动时间过长带来的pod长期处于填充pedding状态的问题，对现有的系统改造影响小，提高了判断服务是否真实可用的准确性，避免了对pod资源的无意义消耗，提升了容器集群服务启停控制的速度和效率，解决了现有技术中容器服务启动过程中出现问题导致进程挂住，容易导致服务启动失败，服务启动耗时较长，浪费大量系统资源的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(Non-Volatile Memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及容器集群服务启停控制程序。
本发明设备通过处理器1001调用存储器1005中存储的容器集群服务启停控制程序，并执行以下操作：
在容器集群中设置服务控制模块，在pod中设置服务检测模块，所述服务检测模块以容器方式独立运行；
所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；
所述服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；
所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务。
本发明设备通过处理器1001调用存储器1005中存储的容器集群服务启停控制程序，还执行以下操作：
所述服务检测模块定时对pod中的服务进行扫描，根据所述服务提供的状态接口获得反映服务当前是否可用的标识；
根据所述标识确定各服务的服务健康状态。
本发明设备通过处理器1001调用存储器1005中存储的容器集群服务启停控制程序，还执行以下操作：
所述服务控制模块从预设启动顺序文件中查找到对应所述服务健康状态和所述服务信息的启动顺序作为预设启动顺序，根据预设停止顺序描述文件获得预设停止顺序；
所述服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息；
所述服务控制模块根据所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发控制指令，在当前启停服务完成启停动作后进行下一个服务的启停过程。
本发明设备通过处理器1001调用存储器1005中存储的容器集群服务启停控制程序，还执行以下操作：
所述服务控制模块定时与每个pod中的服务检测模块通信，所述服务检测模块将各服务对应的服务描述文件进行分析获得其所在pod中的服务信息；
所述服务控制模块接收所述服务检测模块发送的所述服务健康状态和各pod中的服务信息。
本发明设备通过处理器1001调用存储器1005中存储的容器集群服务启停控制程序，还执行以下操作：
在所述控制指令为启动指令时，所述服务检测模块根据所述启动指令启动与其处于同一pod中的服务；
在所述控制指令为停止指令时，所述服务检测模块根据所述停止指令停止与其处于同一pod中的服务。
本发明设备通过处理器1001调用存储器1005中存储的容器集群服务启停控制程序，还执行以下操作：
所述服务控制模块检测到当前服务启动超时时，根据预设超时控制策略进行处理，所述预设超时控制策略包括重启所述当前服务、销毁pod、重启pod或者跳过所述当前超时服务启动下一服务；
所述服务控制模块在检测到所述服务健康状态为不健康时，根据预设异常控制策略进行处理，所述预设异常控制策略包括不处理异常服务、重启所述异常服务或者重启所述异常服务所在pod。
本发明设备通过处理器1001调用存储器1005中存储的容器集群服务启停控制程序，还执行以下操作：
pod以所述检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态。
本实施例通过上述方案，通过服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务，能够实现软件系统在pod上部署后能按序进行服务的启动和停止；通过控制模块与检测模块的设计可以实现更多灵活的服务控制功能；以检测模块的状态表示pod状态，检测模块本身启动迅速、资源占用极少，避免了服务启动时间过长带来的pod长期处于填充pedding状态的问题，对现有的系统改造影响小，提高了判断服务是否真实可用的准确性，避免了对pod资源的无意义消耗，提升了容器集群服务启停控制的速度和效率。
基于上述硬件结构，提出本发明容器集群服务启停控制方法实施例。
参照图2，图2为本发明容器集群服务启停控制方法第一实施例的流程示意图。
在第一实施例中，所述容器集群服务启停控制方法包括以下步骤：
步骤S10、在容器集群中设置服务控制模块，在pod中设置服务检测模块，所述服务检测模块以容器方式独立运行。
可以理解的是，在进行容器集群服务启停控制之前需要设置服务控制模块和服务检测模块，一般在容器集群中设置服务控制模块，在pod中设置服务检测模块，所述服务检测模块以容器方式独立运行；即在每个服务的pod中上部署检测模块，检测模块以容器方式独立运行，pod以该检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态。
步骤S20、所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息。
需要说明的是，所述服务检测模块为用于对pod中服务进行扫描和检测的模块，通过服务检测模块可以定时对pod中的服务进行扫描，从而获得服务的自身健康状态，当然也可以实时对pod中的服务进行扫描，本实施例对此不加以限制。
步骤S30、所述服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令。
可以理解的是，所述服务检测模块启动服务后可以周期性的获取服务状态，并上报给服务控制模块，服务控制模块为用于控制服务检测模块，服务控制模块定时接收所述服务健康状态后，可以根据预先设置的启动顺序或停止顺序向所述服务检测模块下发对应的控制指令。
步骤S40、所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务。
应当理解的是，所述服务检测模块可以根据所述控制指令的不同启动或停止与其处于同一pod中的服务；本实施例能够实现软件系统在pod上部署后能按序进行服务的启动和停止；通过控制模块与检测模块的设计可以实现更多灵活的服务控制功能；以检测模块的状态表示pod状态，检测模块本身启动迅速、资源占用极少，避免了服务启动时间过长带来的pod长期处于pedding状态的问题；通过控制模块在pod中引入超时机制处理服务进程挂住的情况，避免对pod资源的无意义消耗；对现有的系统改造影响小，即使现有系统服务的健康检查接口不支持pod的检查机制也不需要修改。
本实施例通过上述方案，通过服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务，能够实现软件系统在pod上部署后能按序进行服务的启动和停止；通过控制模块与检测模块的设计可以实现更多灵活的服务控制功能；以检测模块的状态表示pod状态，检测模块本身启动迅速、资源占用极少，避免了服务启动时间过长带来的pod长期处于填充pedding状态的问题，对现有的系统改造影响小，提高了判断服务是否真实可用的准确性，避免了对pod资源的无意义消耗，提升了容器集群服务启停控制的速度和效率。
进一步地，图3为本发明容器集群服务启停控制方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明容器集群服务启停控制方法第二实施例，在本实施例中，所述步骤S20具体包括以下步骤：
步骤S21、所述服务检测模块定时对pod中的服务进行扫描，根据所述服务提供的状态接口获得反映服务当前是否可用的标识。
需要说明的是，服务检测模块定时对pod中的服务进行扫描，可以根据服务对外提供表示自身健康状态的接口，即状态接口获得反映服务当前是否可用的标识。
步骤S22、根据所述标识确定各服务的服务健康状态。
可以理解的是，服务对外提供表示自身健康状态的接口，该健康状态是能反映服务当前是否可用的准确标识，通过所述标识可以确定各服务的服务健康状态。
本实施例通过上述方案，通过服务检测模块定时对pod中的服务进行扫描，根据所述服务提供的状态接口获得反映服务当前是否可用的标识；根据所述标识确定各服务的服务健康状态，能够准确生成服务状态信息，提高了判断服务是否真实可用的准确性，避免了对pod资源的无意义消耗。
进一步地，图4为本发明容器集群服务启停控制方法第三实施例的流程示意图，如图4所示，基于第一实施例提出本发明容器集群服务启停控制方法第三实施例，在本实施例中，所述步骤S30具体包括以下步骤：
步骤S31、所述服务控制模块从预设启动顺序文件中查找到对应所述服务健康状态和所述服务信息的启动顺序作为预设启动顺序，根据预设停止顺序描述文件获得预设停止顺序。
可以理解的是，从预设启动顺序文件中可以查找到对应服务健康状态和服务信息的启动顺序作为预设启动顺序，并且可以根据预设停止顺序描述文件获得预设停止顺序。
在具体实现中，可以编写一个服务启动顺序文件，该文件中按服务名称列出软件系统中服务的启动顺序。
步骤S32、所述服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息。
需要说明的是，服务控制模块定时与每个pod中的服务检测模块通信，服务控制模块单独部署在pod中，并与软件系统中每个pod中的检测模块通信，获取pod中的服务信息，例如：服务名称等。
进一步的，所述步骤S32具体包括以下步骤：
所述服务控制模块定时与每个pod中的服务检测模块通信，所述服务检测模块将各服务对应的服务描述文件进行分析获得其所在pod中的服务信息；
所述服务控制模块接收所述服务检测模块发送的所述服务健康状态和各pod中的服务信息。
应当理解的是，检测模块可以定时扫描自己pod中的服务，通过健康状态接口来获取服务的健康状态，所述服务检测模块将各服务对应的服务描述文件进行分析获得其所在pod中的服务信息，所述服务描述文件包括但不限于：服务的名称、路径、启动方式及启动脚本路径；所述服务控制模块接收所述服务检测模块发送的所述服务健康状态和各pod中的服务信息。
步骤S33、所述服务控制模块根据所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发控制指令，在当前启停服务完成启停动作后进行下一个服务的启停过程。
应当理解的是，通过所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发对应不同启动顺序或停止顺序的相应控制指令。
本实施例通过上述方案，通过服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息；服务控制模块从预设启动顺序文件中查找到对应所述服务健康状态和所述服务信息的启动顺序作为预设启动顺序，根据预设停止顺序描述文件获得预设停止顺序；所述服务控制模块根据所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发控制指令，在当前启停服务完成启停动作后进行下一个服务的启停过程，能够准确下发对应的控制指令，提升了容器集群服务启停控制的速度和效率。
进一步地，图5为本发明容器集群服务启停控制方法第四实施例的流程示意图，如图5所示，基于第一实施例提出本发明容器集群服务启停控制方法第四实施例，在本实施例中，所述步骤S40具体包括以下步骤：
步骤S41、在所述控制指令为启动指令时，所述服务检测模块根据所述启动指令启动与其处于同一pod中的服务。
需要说明的是，在所述控制指令为启动指令时，可以根据启动指令和所述预设启动顺序依次启动与其处于同一pod中的服务。
步骤S42、在所述控制指令为停止指令时，所述服务检测模块根据所述停止指令停止与其处于同一pod中的服务。
可以理解的是，在所述控制指令为停止指令时，可以根据所述停止指令停止与其处于同一pod中的服务。
在具体实现中，在整个应用系统停止时，由控制模块按制定好的停止顺序向每个服务的检测模块下发停止指令，检测模块收到制定后停止自己pod内的服务并将服务状态上报控制模块，控制模块收到当前需停止服务已停止的状态后再停止下一服务。
应当理解的是，通过pod中服务启停控制系统将分散在不同pod上的服务的启动和停止操作汇集到一个节点来控制，实现了在pod系统中对服务启停顺序进行控制的要求；将服务启停顺序通过文件来进行描述，直观、可扩展性好、兼容性好；本实施例对服务健康状态的检测，可以提高判断服务是否真实可用的准确性；通过外部模块在pod中引入对pod检查的超时机制，避免集群资源无意义消耗。
本实施例通过上述方案，通过在所述控制指令为启动指令时，所述服务检测模块根据所述启动指令启动与其处于同一pod中的服务；在所述控制指令为停止指令时，所述服务检测模块根据所述停止指令停止与其处于同一pod中的服务；避免了对pod资源的无意义消耗，提升了容器集群服务启停控制的速度和效率。
进一步地，图6为本发明容器集群服务启停控制方法第五实施例的流程示意图，如图6所示，基于第一实施例提出本发明容器集群服务启停控制方法第五实施例，在本实施例中，步骤S40之后，所述容器集群服务启停控制方法还包括以下步骤：
步骤S50、所述服务控制模块检测到当前服务启动超时时，根据预设超时控制策略进行处理，所述预设超时控制策略包括重启所述当前服务、销毁pod、重启pod或者跳过所述当前超时服务启动下一服务。
需要说明的是，服务控制模块可以设置服务启动的超时时间并与pod通信，当服务启动超时时，可以根据策略选择重启服务、销毁/重启pod、跳过超时服务启动下一服务。
在具体实现中，服务控制模块从检测模块获取当前正在启动的服务的状态，只有当服务状态为启动完成时才按顺序启动接下来的服务；服务控制模块可以设置超时机制，当某服务长时间无法达到完成启动的状态并超时时，控制模块可以按事先制定好的规则进行处理，处理的选项包括：跳过该服务启动下一服务、重启该服务、重启该服务所在pod。
步骤S60、所述服务控制模块在检测到所述服务健康状态为不健康时，根据预设异常控制策略进行处理，所述预设异常控制策略包括不处理异常服务、重启所述异常服务或者重启所述异常服务所在pod。
可以理解的是，所述服务控制模块在检测到所述服务健康状态为不健康时，可以根据预设异常控制策略进行处理，在实际操作中，当整个应用系统在运行时，如果pod中的服务出现异常导致服务状态不正常，也由控制模块按事先制定的规则进行处理，规则包括：不处理、重启该服务、重启该服务所在pod。
在具体实现中，服务控制模块在所有服务启动完成后仍对服务的健康状态进行周期性的检查，当检测到服务状态不健康时下发指令给检测模块，检测模块收到指令重新拉起服务。
本实施例通过上述方案，通过所述服务控制模块检测到当前服务启动超时时，根据预设超时控制策略进行处理，所述预设超时控制策略包括重启所述当前服务、销毁pod、重启pod或者跳过所述当前超时服务启动下一服务；所述服务控制模块在检测到所述服务健康状态为不健康时，根据预设异常控制策略进行处理，所述预设异常控制策略包括不处理异常服务、重启所述异常服务或者重启所述异常服务所在pod，能够以检测模块的状态表示pod状态，检测模块本身启动迅速、资源占用极少，避免了服务启动时间过长带来的pod长期处于填充pedding状态的问题，对现有的系统改造影响小，提高了判断服务是否真实可用的准确性，避免了对pod资源的无意义消耗。
进一步地，图7为本发明容器集群服务启停控制方法第六实施例的流程示意图，如图7所示，基于第一实施例提出本发明容器集群服务启停控制方法第六实施例，在本实施例中，所述步骤S20之前，所述容器集群服务启停控制方法包括以下步骤：
步骤S01、pod以所述检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态。
需要说明的是，在所述服务检测模块运行检测之前，pod以所述检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态。
可以理解的是，在每个服务的pod中上部署检测模块，服务检测模块以容器方式独立运行，pod以该服务检测模块的状态作为自己的状态，服务检测模块启动完成即表示pod处于running状态。
在具体实现中，以Kubernatespod管理系统为例，当应用系统需要以容器的形式部署在Kubernates中时，将应用系统的每个服务单独部署，每个服务单独运行在kubernates集群的一个pod中；开发一个应用程序作为检测模块，与每个服务一起部署，在同一个pod中启动，且该应用程序作为pod的门面进程，以该应用程序的进程状态作为pod的状态；开发一个应用程序作为控制模块，该应用单独部署,且该应用需要先于应用系统的所有服务启动，控制模块启动后即读取服务启动顺序的描述文件，该文件描述了应用系统中各个服务的启动顺序；控制模块在pod中需要被声明为一个Service，在pod中有域名；检测模块启动后，在自己的pod中读取服务的声明文件，取得服务名称、启动方式、启动脚本、停止脚本等信息，并将服务名称上报给控制模块，检测模块通过域名向控制模块上报信息；应用系统所有的pod启动后控制模块可以获取到应用系统所有服务的信息，通过服务名称对照启动顺序的描述文件整理出启动顺序清单；控制模块按启动顺序清单向每个pod中的检测模块下发启动指令；检测模块收到启动指令后按已经获取的启动方式和启动脚本来启动与自己处于同一pod的服务。
本实施例通过上述方案，通过在pod中的各服务的pod中部署服务检测模块，pod以所述检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态，能够以容器方式独立运行服务检测模块，提升了容器集群服务启停控制的速度和效率，。
相应地，本发明进一步提供一种容器集群服务启停控制装置。
参照图8，图8为本发明容器集群服务启停控制装置第一实施例的功能模块图。
本发明容器集群服务启停控制装置第一实施例中，该容器集群服务启停控制装置包括：
服务检测模块10设置在pod中，所述服务检测模块以容器方式独立运行，用于定时对pod中的服务进行扫描，生成服务状态信息；
服务控制模块20设置在容器集群中，用于根据预设的启动顺序或停止顺序来执行服务的启动或停止，执行过程中通过检测模块定时接收服务状态信息来判断服务健康状态并向所述服务检测模块下发控制指令；
所述服务检测模块10，还用于根据所述控制指令启动或停止与其处于同一pod中的服务。
所述服务检测模块10，还用于定时对pod中的服务进行扫描，根据所述服务提供的状态接口获得反映服务当前是否可用的标识；根据所述标识确定各服务的服务健康状态。
所述服务控制模块20，还用于从预设启动顺序文件中查找到对应所述服务健康状态和所述服务信息的启动顺序作为预设启动顺序，根据预设停止顺序描述文件获得预设停止顺序；所述服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息；所述服务控制模块根据所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发控制指令，在当前启停服务完成启停动作后进行下一个服务的启停过程。
所述服务控制模块20，还用于定时与每个pod中的服务检测模块通信，所述服务检测模块将各服务对应的服务描述文件进行分析获得其所在pod中的服务信息；所述服务控制模块接收所述服务检测模块发送的所述服务健康状态和各pod中的服务信息。
所述服务检测模块10，还用于在所述控制指令为启动指令时，所述服务检测模块根据所述启动指令启动与其处于同一pod中的服务；在所述控制指令为停止指令时，所述服务检测模块根据所述停止指令停止与其处于同一pod中的服务。
所述服务检测模块10，还用于检测到当前服务启动超时时，根据预设超时控制策略进行处理，所述预设超时控制策略包括重启所述当前服务、销毁pod、重启pod或者跳过所述当前超时服务启动下一服务；所述服务控制模块在检测到所述服务健康状态为不健康时，根据预设异常控制策略进行处理，所述预设异常控制策略包括不处理异常服务、重启所述异常服务或者重启所述异常服务所在pod。
所述服务检测模块10，还用于在pod中的各服务的pod中部署服务检测模块，pod以所述检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态。
其中，容器集群服务启停控制装置的各个功能模块实现的步骤可参照本发明容器集群服务启停控制方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有容器集群服务启停控制程序，所述容器集群服务启停控制程序被处理器执行时实现如下操作：
在容器集群中设置服务控制模块，在pod中设置服务检测模块，所述服务检测模块以容器方式独立运行；
所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；
所述服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；
所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务。
进一步地，所述容器集群服务启停控制程序被处理器执行时还实现如下操作：
所述服务检测模块定时对pod中的服务进行扫描，根据所述服务提供的状态接口获得反映服务当前是否可用的标识；
根据所述标识确定各服务的服务健康状态。
进一步地，所述容器集群服务启停控制程序被处理器执行时还实现如下操作：
所述服务控制模块从预设启动顺序文件中查找到对应所述服务健康状态和所述服务信息的启动顺序作为预设启动顺序，根据预设停止顺序描述文件获得预设停止顺序；
所述服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息；
所述服务控制模块根据所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发控制指令，在当前启停服务完成启停动作后进行下一个服务的启停过程。
进一步地，所述容器集群服务启停控制程序被处理器执行时还实现如下操作：
所述服务控制模块定时与每个pod中的服务检测模块通信，所述服务检测模块将各服务对应的服务描述文件进行分析获得其所在pod中的服务信息；
所述服务控制模块接收所述服务检测模块发送的所述服务健康状态和各pod中的服务信息。
进一步地，所述容器集群服务启停控制程序被处理器执行时还实现如下操作：
在所述控制指令为启动指令时，所述服务检测模块根据所述启动指令启动与其处于同一pod中的服务；
在所述控制指令为停止指令时，所述服务检测模块根据所述停止指令停止与其处于同一pod中的服务。
进一步地，所述容器集群服务启停控制程序被处理器执行时还实现如下操作：
所述服务控制模块检测到当前服务启动超时时，根据预设超时控制策略进行处理，所述预设超时控制策略包括重启所述当前服务、销毁pod、重启pod或者跳过所述当前超时服务启动下一服务；
所述服务控制模块在检测到所述服务健康状态为不健康时，根据预设异常控制策略进行处理，所述预设异常控制策略包括不处理异常服务、重启所述异常服务或者重启所述异常服务所在pod。
进一步地，所述容器集群服务启停控制程序被处理器执行时还实现如下操作：
pod以所述检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态。
本实施例通过上述方案，通过服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务，能够实现软件系统在pod上部署后能按序进行服务的启动和停止；通过控制模块与检测模块的设计可以实现更多灵活的服务控制功能；以检测模块的状态表示pod状态，检测模块本身启动迅速、资源占用极少，避免了服务启动时间过长带来的pod长期处于填充pedding状态的问题，对现有的系统改造影响小，提高了判断服务是否真实可用的准确性，避免了对pod资源的无意义消耗，提升了容器集群服务启停控制的速度和效率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种容器集群服务启停控制方法，其特征在于，所述容器集群服务启停控制方法包括：
在容器集群中设置服务控制模块，在pod中设置服务检测模块，所述服务检测模块以容器方式独立运行；
所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息；
所述服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令；
所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务；
其中，所述服务控制模块接收所述服务状态信息来判断服务健康状态，并根据预设的启动或停止规则，向所述服务检测模块下发控制指令，包括：
所述服务控制模块从预设启动顺序文件中查找到对应所述服务健康状态和服务信息的启动顺序作为预设启动顺序，根据预设停止顺序描述文件获得预设停止顺序；
所述服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息；
所述服务控制模块根据所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发控制指令，在当前启停服务完成启停动作后进行下一个服务的启停过程。
2.如权利要求1所述的容器集群服务启停控制方法，其特征在于，所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息，包括：
所述服务检测模块定时对pod中的服务进行扫描，根据所述服务提供的状态接口获得反映服务当前是否可用的标识；
根据所述标识确定各服务的服务健康状态。
3.如权利要求1所述的容器集群服务启停控制方法，其特征在于，所述服务控制模块定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息，包括：
所述服务控制模块定时与每个pod中的服务检测模块通信，所述服务检测模块将各服务对应的服务描述文件进行分析获得其所在pod中的服务信息；
所述服务控制模块接收所述服务检测模块发送的所述服务健康状态和各pod中的服务信息。
4.如权利要求1所述的容器集群服务启停控制方法，其特征在于，所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务，包括：
在所述控制指令为启动指令时，所述服务检测模块根据所述启动指令启动与其处于同一pod中的服务；
在所述控制指令为停止指令时，所述服务检测模块根据所述停止指令停止与其处于同一pod中的服务。
5.如权利要求1-4中任一项所述的容器集群服务启停控制方法，其特征在于，所述服务检测模块根据所述控制指令启动或停止与其处于同一pod中的服务之后，所述容器集群服务启停控制方法还包括：
所述服务控制模块检测到当前服务启动超时时，根据预设超时控制策略进行处理，所述预设超时控制策略包括重启所述当前服务、销毁pod、重启pod或者跳过所述当前超时服务启动下一服务；
所述服务控制模块在检测到所述服务健康状态为不健康时，根据预设异常控制策略进行处理，所述预设异常控制策略包括不处理异常服务、重启所述异常服务或者重启所述异常服务所在pod。
6.如权利要求1-4中任一项所述的容器集群服务启停控制方法，其特征在于，所述服务检测模块定时对pod中的服务进行扫描，生成服务状态信息之前，所述容器集群服务启停控制方法还包括：
pod以所述检测模块的状态作为自己的状态，检测模块启动完成即表示pod处于running状态。
7.一种容器集群服务启停控制装置，其特征在于，所述容器集群服务启停控制装置包括：
服务检测模块设置在pod中，所述服务检测模块以容器方式独立运行，用于定时对pod中的服务进行扫描，生成服务状态信息；
服务控制模块设置在容器集群中，用于根据预设的启动顺序或停止顺序来执行服务的启动或停止，执行过程中通过检测模块定时接收服务状态信息来判断服务健康状态并向所述服务检测模块下发控制指令；
所述服务检测模块，还用于根据所述控制指令启动或停止与其处于同一pod中的服务；
所述服务控制模块，还用于从预设启动顺序文件中查找到对应所述服务健康状态和服务信息的启动顺序作为预设启动顺序，根据预设停止顺序描述文件获得预设停止顺序；定时与每个pod中的服务检测模块通信，接收所述服务健康状态并获得其所在pod中的服务信息；根据所述预设启动顺序或所述预设停止顺序向所述服务检测模块下发控制指令，在当前启停服务完成启停动作后进行下一个服务的启停过程。
8.一种容器集群服务启停控制设备，其特征在于，所述容器集群服务启停控制设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的容器集群服务启停控制程序，所述容器集群服务启停控制程序配置为实现如权利要求1至6中任一项所述的容器集群服务启停控制方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有容器集群服务启停控制程序，所述容器集群服务启停控制程序被处理器执行时实现如权利要求1至6中任一项所述的容器集群服务启停控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751234.4A CN115174644B (zh) | 2022-06-28 | 2022-06-28 | 容器集群服务启停控制方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751234.4A CN115174644B (zh) | 2022-06-28 | 2022-06-28 | 容器集群服务启停控制方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115174644A CN115174644A (zh) | 2022-10-11 |
| CN115174644B true CN115174644B (zh) | 2023-09-12 |
Family
ID=83489666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210751234.4A Active CN115174644B (zh) | 2022-06-28 | 2022-06-28 | 容器集群服务启停控制方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115174644B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609324A (zh) * | 2012-01-09 | 2012-07-25 | 华为技术有限公司 | 一种虚拟机死锁后的恢复方法、装置及系统 |
| CN104657150A (zh) * | 2015-03-13 | 2015-05-27 | 浪潮集团有限公司 | 一种集群环境下的自动化运维方法 |
| CN106227524A (zh) * | 2016-07-18 | 2016-12-14 | 北京妙医佳信息技术有限公司 | 一种用于健康管理的PaaS平台架构及其实现方法 |
| CN107395735A (zh) * | 2017-08-03 | 2017-11-24 | 成都精灵云科技有限公司 | 一种容器集群的延时缩容调度方法及系统 |
| CN108737215A (zh) * | 2018-05-29 | 2018-11-02 | 郑州云海信息技术有限公司 | 一种云数据中心Kubernetes集群容器健康检查的方法和装置 |
| CN109032806A (zh) * | 2018-07-30 | 2018-12-18 | 华为技术有限公司 | 容器的服务调度方法和装置 |
| CN110798375A (zh) * | 2019-09-29 | 2020-02-14 | 烽火通信科技股份有限公司 | 一种增强容器集群高可用性的监控方法、系统及终端设备 |
| CN111371696A (zh) * | 2020-03-24 | 2020-07-03 | 广西梯度科技有限公司 | 一种在Kubernetes中实现Pod网络流控的方法 |
| CN111427944A (zh) * | 2020-03-27 | 2020-07-17 | 中核武汉核电运行技术股份有限公司 | 一种核电工业互联网平台的微服务架构及方法 |
| CN111522622A (zh) * | 2020-04-14 | 2020-08-11 | 上海仪电（集团）有限公司中央研究院 | 一种基于云平台的k8s快速启动方法 |
| CN112486629A (zh) * | 2020-11-27 | 2021-03-12 | 成都新希望金融信息有限公司 | 微服务状态检测方法、装置、电子设备和存储介质 |
| CN113626044A (zh) * | 2021-08-13 | 2021-11-09 | 中国工商银行股份有限公司 | 服务管理方法及装置 |
| CN113918407A (zh) * | 2021-09-03 | 2022-01-11 | 北京天融信网络安全技术有限公司 | 一种管理服务进程的方法、装置及可读存储介质 |
| CN113965576A (zh) * | 2021-11-19 | 2022-01-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 基于容器的大数据采集方法、装置、存储介质和设备 |
| CN114064208A (zh) * | 2021-11-10 | 2022-02-18 | 北京百度网讯科技有限公司 | 检测应用服务状态的方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11175939B2 (en) * | 2019-05-09 | 2021-11-16 | International Business Machines Corporation | Dynamically changing containerized workload isolation in response to detection of a triggering factor |
| US12066804B2 (en) * | 2020-09-22 | 2024-08-20 | Rockwell Automation Technologies, Inc. | Integrating container orchestration systems with operational technology devices |
-
2022
- 2022-06-28 CN CN202210751234.4A patent/CN115174644B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609324A (zh) * | 2012-01-09 | 2012-07-25 | 华为技术有限公司 | 一种虚拟机死锁后的恢复方法、装置及系统 |
| CN104657150A (zh) * | 2015-03-13 | 2015-05-27 | 浪潮集团有限公司 | 一种集群环境下的自动化运维方法 |
| CN106227524A (zh) * | 2016-07-18 | 2016-12-14 | 北京妙医佳信息技术有限公司 | 一种用于健康管理的PaaS平台架构及其实现方法 |
| CN107395735A (zh) * | 2017-08-03 | 2017-11-24 | 成都精灵云科技有限公司 | 一种容器集群的延时缩容调度方法及系统 |
| CN108737215A (zh) * | 2018-05-29 | 2018-11-02 | 郑州云海信息技术有限公司 | 一种云数据中心Kubernetes集群容器健康检查的方法和装置 |
| CN109032806A (zh) * | 2018-07-30 | 2018-12-18 | 华为技术有限公司 | 容器的服务调度方法和装置 |
| CN110798375A (zh) * | 2019-09-29 | 2020-02-14 | 烽火通信科技股份有限公司 | 一种增强容器集群高可用性的监控方法、系统及终端设备 |
| CN111371696A (zh) * | 2020-03-24 | 2020-07-03 | 广西梯度科技有限公司 | 一种在Kubernetes中实现Pod网络流控的方法 |
| CN111427944A (zh) * | 2020-03-27 | 2020-07-17 | 中核武汉核电运行技术股份有限公司 | 一种核电工业互联网平台的微服务架构及方法 |
| CN111522622A (zh) * | 2020-04-14 | 2020-08-11 | 上海仪电（集团）有限公司中央研究院 | 一种基于云平台的k8s快速启动方法 |
| CN112486629A (zh) * | 2020-11-27 | 2021-03-12 | 成都新希望金融信息有限公司 | 微服务状态检测方法、装置、电子设备和存储介质 |
| CN113626044A (zh) * | 2021-08-13 | 2021-11-09 | 中国工商银行股份有限公司 | 服务管理方法及装置 |
| CN113918407A (zh) * | 2021-09-03 | 2022-01-11 | 北京天融信网络安全技术有限公司 | 一种管理服务进程的方法、装置及可读存储介质 |
| CN114064208A (zh) * | 2021-11-10 | 2022-02-18 | 北京百度网讯科技有限公司 | 检测应用服务状态的方法、装置、电子设备及存储介质 |
| CN113965576A (zh) * | 2021-11-19 | 2022-01-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 基于容器的大数据采集方法、装置、存储介质和设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于作战任务优先级的容器云弹性伸缩系统;尚小东;张煜;郭成昊;;指挥信息系统与技术(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115174644A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7020797B2 (en) | Automated software testing management system | |
| US9274776B2 (en) | Product, method, and apparatus for installing a second program based on a call from a first program | |
| CN102289398A (zh) | 重启测试方法 | |
| US20080184079A1 (en) | Tracking down elusive intermittent failures | |
| CN105302722B (zh) | Cts自动测试方法及装置 | |
| CN108763089B (zh) | 一种测试方法、装置及系统 | |
| CN111726818B (zh) | 无线芯片的测试方法、装置、计算机设备和存储介质 | |
| CN111324423A (zh) | 容器内进程的监控方法、装置、存储介质和计算机设备 | |
| CN113254331A (zh) | 模型测试方法、设备、存储介质及程序产品 | |
| CN103064705B (zh) | 计算机系统启动处理方法与装置 | |
| CN110650138A (zh) | 服务器管理方法、装置、设备及计算机可读存储介质 | |
| CN115174644B (zh) | 容器集群服务启停控制方法、装置、设备及存储介质 | |
| CN110569140A (zh) | 一种运维方法及装置 | |
| CN111506388B (zh) | 容器性能探测方法、容器管理平台及计算机存储介质 | |
| CN113127329B (zh) | 脚本调试方法、装置及计算机存储介质 | |
| US20050204180A1 (en) | Stack-based callbacks for diagnostic data generation | |
| CN111414306A (zh) | 测试报告的批量化生成发送方法、装置和计算机设备 | |
| US8667335B2 (en) | Information processing apparatus and method for acquiring information for hung-up cause investigation | |
| CN106161050B (zh) | 问题资源指示装置及问题资源指示方法 | |
| CN110535717B (zh) | 一种容器检测方法及装置 | |
| CN113010422A (zh) | 一种镜像文件测试方法、装置、电子设备及可读存储介质 | |
| CN111367796B (zh) | 应用程序调试方法及装置 | |
| CN113176913B (zh) | Java代理的处理方法、装置、终端设备以及存储介质 | |
| CN117707609B (zh) | 一种基于容器编排管理工具管理脚本任务的方法及装置 | |
| US11397572B2 (en) | Image forming apparatus capable of executing extension application, method of controlling same, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |