[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4998455B2 - Failure recovery apparatus, failure recovery method and program - Google Patents

Failure recovery apparatus, failure recovery method and program Download PDF

Info

Publication number
JP4998455B2
JP4998455B2 JP2008325500A JP2008325500A JP4998455B2 JP 4998455 B2 JP4998455 B2 JP 4998455B2 JP 2008325500 A JP2008325500 A JP 2008325500A JP 2008325500 A JP2008325500 A JP 2008325500A JP 4998455 B2 JP4998455 B2 JP 4998455B2
Authority
JP
Japan
Prior art keywords
operation state
command
failure
state
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008325500A
Other languages
Japanese (ja)
Other versions
JP2009076103A (en
JP2009076103A5 (en
Inventor
清志 加藤
龍一 平池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008325500A priority Critical patent/JP4998455B2/en
Publication of JP2009076103A publication Critical patent/JP2009076103A/en
Publication of JP2009076103A5 publication Critical patent/JP2009076103A5/ja
Application granted granted Critical
Publication of JP4998455B2 publication Critical patent/JP4998455B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Description

本発明は、WEBサービスや業務サービスといった情報通信サービスを提供する情報処理
装置に関し、特に、障害状態を検知して対処コマンドを実行する耐障害機能を有する障害
復旧装置に関する。
The present invention relates to an information processing apparatus that provides an information communication service such as a WEB service or a business service, and more particularly, to a failure recovery apparatus having a fault tolerance function that detects a fault state and executes a countermeasure command.

通信網を介した情報提供や商品販売といった情報通信サービスは、時間や距離の制約をあ
まり受けずに業務効率化やきめ細かいユーザサービスを提供できることから、急速に利用
範囲が拡大している。このような利用範囲の拡大に伴い、これらのサービスを提供するコ
ンピュータが障害に陥った場合の影響も大きくなり、その耐障害性が大きな課題となって
いる。
Information communication services such as information provision and product sales via a communication network are rapidly expanding their use because they can provide business efficiency and detailed user services without much time and distance restrictions. As the range of use expands, the impact when a computer that provides these services falls into a fault has increased, and its fault tolerance has become a major issue.

第1の従来技術として、サービスを実行する装置の状態を検出して、予め決められた状態
になった場合を障害とみなして自動的に対処コマンドを実行する障害復旧装置では、特定
の障害を自動的に復旧または回避することが可能である。しかし、検知状態や対処コマン
ドが固定されているため、実際のサービス実行環境毎の特性の違いに対応できず、連続運
用に伴って装置の状態が徐々に変化してしまう場合や、他の装置との組合せにより装置の
状態が変化してしまう場合には、適切な対処が行われないという問題があった。また、こ
のような状態の変化に対応するためには、頻繁に検出状態や対処コマンドを変更する必要
があり、管理コストが増大するという問題があった。
As a first conventional technique, a failure recovery device that detects a state of a device that executes a service, automatically considers a failure when the state is in a predetermined state, and automatically executes a response command, detects a specific failure. It can be automatically recovered or avoided. However, because the detection status and response commands are fixed, it is not possible to cope with the difference in characteristics for each actual service execution environment, and the status of the device gradually changes with continuous operation, or other devices When the state of the apparatus changes due to the combination, there is a problem that appropriate measures cannot be taken. Further, in order to cope with such a change in state, it is necessary to frequently change the detection state and the countermeasure command, and there is a problem that the management cost increases.

第2の従来技術として、同じ検出状態に対する対処コマンドを複数用意し、予め決められ
た優先度順に順次対処コマンドを試行する障害復旧装置がある(例えば特許文献1参照)
。この従来の障害復旧装置では、サービス実行環境毎の特性が違う場合でも、複数の対処
コマンドを順次実行することで効果のある対処を行うことができる。しかし、対処コマン
ドの適用順序が固定されているため、最初から個々のサービス実行環境に適した対処が行
われるわけではなく、何度か対処に失敗してから正しい対処が行われることになり、対処
時間が増大するとともに、間違った対処を行ってしまうことで別の障害を引き起こす可能
性があるという問題があった。また、このような問題を避けるためには、別の障害を引き
起こす可能性のある対処コマンドを制限したり、個々のサービス実行環境毎に適切な優先
度を設定する必要があり、障害に対する対処の幅が制限され、システムが大規模/複雑化
するに従って管理コストが増大するという問題があった。
As a second conventional technique, there is a failure recovery device that prepares a plurality of countermeasure commands for the same detection state and sequentially tries the countermeasure commands in a predetermined priority order (see, for example, Patent Document 1).
. In this conventional failure recovery apparatus, even when the characteristics of each service execution environment are different, effective countermeasures can be performed by sequentially executing a plurality of countermeasure commands. However, since the application order of the response commands is fixed, the correct response is not performed from the beginning for each service execution environment. As the handling time increases, there is a problem that wrong handling may cause another failure. In addition, in order to avoid such problems, it is necessary to limit the troubleshooting commands that may cause another failure, or to set an appropriate priority for each service execution environment. There is a problem that the management cost increases as the width is limited and the system becomes larger / complex.

第3の従来技術として、復旧処理を行うオペレータの作業を支援するために、過去の障害
の状況および対処法を記載したナレッジ情報をオペレータに提示する障害復旧装置がある
(例えば特許文献2参照)、この従来の障害復旧装置では、障害時に検出された障害状態
と過去の障害状態との類似度に応じて提示するナレッジ情報の優先度を変化させることに
よって、より適切な作業支援を行うことができる。しかし、検出された状態のみで優先度
を制御するため、提示されたナレッジ情報が現在の症状に類似しているかどうかは判断で
きても、このナレッジ情報に従って実行された対処コマンドで障害が復旧するのかどうか
は判断できず、復旧効率の向上が期待できないという問題があった。また、このような実
行の成否をオペレータに入力させる機能を新たに有する従来の障害復旧装置では、対処コ
マンドの実行がオペレータの判断によって行われるため、提示された情報通りに実行され
たのかどうかが検出できず、提示したナレッジ情報に記載されている対処コマンド自体の
有効性を検証できないという問題があった。
As a third conventional technique, there is a failure recovery device that presents knowledge information describing the past failure situation and countermeasures to the operator in order to support the operator's work for recovery processing (see, for example, Patent Document 2). In this conventional failure recovery apparatus, more appropriate work support can be performed by changing the priority of the knowledge information to be presented according to the similarity between the failure state detected at the time of the failure and the past failure state. it can. However, since priority is controlled only by the detected state, even if it can be determined whether the presented knowledge information is similar to the current symptom, the failure can be recovered by a countermeasure command executed according to this knowledge information. There was a problem that it was not possible to determine whether or not the recovery efficiency could not be improved. Further, in the conventional failure recovery apparatus newly having a function of allowing the operator to input the success or failure of execution, since the execution of the countermeasure command is performed based on the operator's judgment, it is determined whether or not the execution is performed according to the presented information. There was a problem that the effectiveness of the countermeasure command itself described in the presented knowledge information could not be verified.

特公平7−54474号公報Japanese Patent Publication No. 7-54474 特開2002ー251295号公報Japanese Patent Laid-Open No. 2002-251295

これらの従来の障害復旧装置では、以下の課題がある。 These conventional failure recovery apparatuses have the following problems.

第1の課題として、第1の従来技術では、連続運用に伴って装置の状態が徐々に変化して
しまう場合や、他の装置との組合せにより装置の状態が変化してしまう場合には、適切な
対処が行われないという問題があった。また、頻繁に検出状態や対処コマンドを変更する
必要があり、管理コストが増大するという問題があった。
As a first problem, in the first prior art, when the state of the apparatus gradually changes with continuous operation, or when the state of the apparatus changes due to a combination with other apparatuses, There was a problem that proper measures were not taken. In addition, it is necessary to frequently change the detection state and the countermeasure command, which increases the management cost.

第2の課題として、第2の従来技術では、何度か対処に失敗してから正しい対処が行われ
ることによって対処時間が増大するとともに、間違った対処を行ってしまうことで別の障
害を引き起こす可能性があるという問題があった。また、障害に対する対処の幅が制限さ
れ、システムが大規模/複雑化するに従って管理コストが増大するという問題があった。
As a second problem, in the second conventional technique, the corrective action is taken after some failure in the action, and the time taken for the action is increased, and another trouble is caused by performing the wrong action. There was a problem that there was a possibility. In addition, there is a problem that the management cost increases as the range of dealing with a failure is limited and the system becomes larger / complex.

第3の課題として、第3の従来技術では、検出された状態のみで優先度を制御するため、
復旧効率の向上が期待できないという問題があった。また、対処コマンドの実行がオペレ
ータの判断によって行われるため、提示したナレッジ情報に記載されている対処コマンド
自体の有効性を検証できないという問題があった。
As a third problem, in the third prior art, the priority is controlled only by the detected state.
There was a problem that improvement in recovery efficiency could not be expected. In addition, since execution of the countermeasure command is performed at the operator's discretion, there is a problem that the validity of the countermeasure command itself described in the presented knowledge information cannot be verified.

本発明は、これらの従来の課題を解決する障害復旧装置を提供することを目的とする。ま
た本発明の別の目的は、管理コストを増大させることなく、対処時間を減少させ、広い範
囲の障害に対してきめ細かな障害対策が可能な障害復旧装置を提供することにある。
An object of the present invention is to provide a failure recovery apparatus that solves these conventional problems. Another object of the present invention is to provide a failure recovery apparatus capable of reducing the response time without increasing the management cost and capable of performing detailed failure countermeasures for a wide range of failures.

本発明の第1の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力する対処方法検索手段と、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正する効果判定手段と、を含んで構成される。 The first failure recovery apparatus according to the present invention includes an operation state detection unit that detects an operation state of a service execution unit, and an operation state when a failure occurs in the service execution unit or an operation state estimated as a precursor of a failure. A rule accumulating unit for accumulating a plurality of fault handling rules including a conditional expression for determination and a handling command for recovering or avoiding a fault when the operation state is reached and priority information of an application order between rules; The rule storage means retrieves a rule having a conditional expression that matches the current operation state of the service execution means detected by the operation state detection means, and sequentially tries according to the priority information, and the current pair for outputting a change information of the operating conditions that are expected to change after the negation of the condition matching the operating state executing the Action command status register The method search means compares the operation state change information held in the state register with the operation state of the service execution means after execution of the response command which is the output of the operation state detection means, Effect determination means for determining success or failure of the avoidance and correcting the priority information according to the result.

本発明の第2の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手
段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測さ
れる動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数
とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避する
ための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示
す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄
積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態
に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマ
ンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行す
るとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力す
る対処方法検索手段と、前記状態レジスタに保持された前記対処コマンドを実行する前の
前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サ
ービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正
する効果判定手段と、を含んで構成される。
The second failure recovery apparatus of the present invention includes an operation state detection unit that detects an operation state of the service execution unit, an operation state when a failure occurs in the service execution unit, or an operation state estimated as a precursor of the failure. A conditional expression for determining, a conditional expression defining one or more state variables of the operation state and a threshold value thereof, a countermeasure command for recovering or avoiding a failure when the operation state is reached, A rule accumulating unit that accumulates a plurality of fault handling rules including actual value information indicating a value of the state variable that is changed by execution of the coping command; and the rule accumulating unit that detects the operation state detecting unit from the rule accumulating unit The operation state after execution of the coping command has a conditional expression that matches the current operation state of the service execution means and is estimated from the current operation state and the actual value information. Taking out a rule that does not satisfy the conditional expression that has been satisfied and trying it, and outputting a value of the state variable before executing the handling command to a status register, and a handling command stored in the status register The actual value information is corrected by comparing the value of the state variable before execution of the state variable with the value of the state variable in the operation state of the service execution unit after execution of the handling command, which is the output of the operation state detection unit. Effect determining means.

本発明の第3の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、を含んで構成される。 The third failure recovery apparatus of the present invention includes an operation state detection unit that detects an operation state of the service execution unit, an operation state when a failure occurs in the service execution unit, or an operation state estimated as a precursor of the failure. A conditional expression for determining, a conditional expression defining one or more state variables of the operation state and a threshold value thereof, a countermeasure command for recovering or avoiding a failure when the operation state is reached, A rule accumulating unit for accumulating a plurality of failure coping rules including actual value information indicating the value of the state variable that is changed by execution of the coping command, and priority information of an application order between rules; And having a conditional expression that matches the current operation state of the service execution means detected by the operation state detection means, and is inferred from the current operation state and the actual value information With attempts to retrieve the rules operating state after the execution processing command does not satisfy the matched condition in order of priority according to the priority information, and executes the Action command from negative condition that matches the current operating state Change information of an operation state expected to change later and coping method search means for outputting the value of the state variable before execution of the coping command to a state register; change information of the operation state held in the state register; The operation status of the service execution means after execution of the handling command, which is the output of the operating status detection means, is compared to determine whether recovery or avoidance by the handling command is correct or not, and the priority information is corrected according to the result In addition, the value of the state variable before the execution of the handling command held in the state register and the operation state detection are performed. By comparing the values of the state variables in the operation state of the service execution means after an output run the address command means, configured to include a, and effects determining means for correcting the actual value information.

本発明の第4の障害復旧装置は、第1ないし第3の障害復旧装置において、前記動作状態
検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる
条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式
を有するルール群から優先度または実績値に応じて対処コマンドを1つづつ選択して対処
コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度または実
績値の高い順に試行する。
According to a fourth failure recovery apparatus of the present invention, in the first to third failure recovery apparatuses, among the conditional expressions in which the operation state of the service execution unit, which is an output of the operation state detection unit, is included in the failure handling rule When a plurality of different conditional expressions are matched, the coping method search means selects a coping command one by one from the rule group having the same conditional expression according to the priority or the actual value, and generates a coping command group. The countermeasure commands included in the countermeasure command group are tried in descending order of priority or actual value.

本発明の第5の障害復旧装置は、第1ないし第4の障害復旧装置において、前記動作状態
検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる
条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる
条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試
行する。
According to a fifth failure recovery apparatus of the present invention, in the first to fourth failure recovery apparatuses, the operation state of the service execution unit, which is an output of the operation state detection unit, is a conditional expression included in the failure handling rule. When a plurality of different conditional expressions are matched, the coping method search means preferentially tries a common coping command when there are coping commands common to the different conditional expressions.

本発明の第1の障害復旧方法は、a)動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力するステップ、c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ、d)効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正するステップ、を含んで構成される。 The first failure recovery method of the present invention includes: a) an operation state detection unit detecting an operation state of a service execution unit; b) an operation when a coping method search unit has a failure in the service execution unit. Contains a conditional expression for determining an operating state that is presumed to be a state or a precursor to a failure, a countermeasure command for recovering or avoiding a failure when the operating state is reached, and priority information on the order of application between rules A rule having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit is extracted from the rule storage unit that stores a plurality of failure handling rules, and sequentially according to the priority information. with attempts, the status register to change information in the operating state in which the negative condition that matches the current operating state is expected to change after performing the addressed command C) a step in which the operation state detection means detects an operation state of the service execution means after execution of the coping command; d) an effect determination means in the operation state held in the state register; The change information is compared with the operation state of the service execution means after execution of the countermeasure command which is the output of the operation state detection means, and the success or failure of the recovery by the countermeasure command is determined, and the priority is determined according to the result Modifying the information.

本発明の第2の障害復旧方法は、a)動作状態検出手段が、サービス実行手段の動作状態
を検出するステップ、b)対処方法検索手段が、前記サービス実行手段で障害が発生した
場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって
、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態
になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実
行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを
蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段
の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推
測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを
取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態
レジスタに出力するステップ、c)前記動作状態検出手段が、前記対処コマンド実行後の
前記サービス実行手段の動作状態を検出するステップ、d)効果判定手段が、前記状態レ
ジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検
出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における
前記状態変数の値を比較して、前記実績値情報を修正するステップ、を含んで構成される
In the second failure recovery method of the present invention, a) the operation state detecting means detects the operation state of the service execution means; b) the coping method search means operates when a failure occurs in the service execution means. A conditional expression for determining an operational state that is presumed to be a precursor of a state or a failure, wherein the conditional expression defines one or more state variables of the operational state and their thresholds, and when the operational state is reached The operation state detection from a rule storage means for storing a plurality of failure handling rules including a handling command for recovering or avoiding a failure and actual value information indicating a value of the state variable that changes by execution of the handling command After executing a coping command having a conditional expression that matches the current operation state of the service execution means detected by the means and inferred from the current operation state and the actual value information A step of extracting and trying a rule whose operation state does not satisfy the matched conditional expression, and outputting a value of the state variable before executing the coping command to a state register; c) the operation state detection means; A step of detecting an operation state of the service execution means after execution of a countermeasure command; d) a value of the state variable before the execution of the countermeasure command held in the state register by the effect determination means and the operation state detection means; And comparing the value of the state variable in the operation state of the service execution means after execution of the handling command, which is an output of the command, and correcting the result value information.

本発明の第3の障害復旧方法は、a)動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ、c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ、d)効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップ、を含んで構成される。 In the third failure recovery method of the present invention, a) the operation state detecting means detects the operation state of the service execution means; b) the coping method search means is an operation when a failure occurs in the service execution means. A conditional expression for determining an operational state that is presumed to be a precursor of a state or a failure, wherein the conditional expression defines one or more state variables of the operational state and their thresholds, and when the operational state is reached A plurality of failure handling rules including a handling command for recovering or avoiding a failure, actual value information indicating the value of the state variable that changes by execution of the handling command, and priority information on the application order between rules The rule storage means stores the conditional expression that matches the current operation state of the service execution means detected by the operation state detection means, and the current operation state and the actual value information The Action rules operating state after the execution address command does not satisfy the matched condition inferred with attempts removed in order of priority according to the priority information, the negation of the condition that matches the current operating state from A step of outputting to the state register the change information of the operation state expected to change after executing the command and the value of the state variable before executing the countermeasure command; c) the operation state detecting means executing the countermeasure command A step of detecting an operation state of the subsequent service execution unit; and d) an effect determination unit after the execution of the coping command that is the change information of the operation state held in the state register and the output of the operation state detection unit Comparing the operating status of the service execution means to determine the correctness of recovery or avoidance by the countermeasure command, and responding to the result The service execution means after executing the countermeasure command which is the value of the state variable before executing the countermeasure command held in the state register and the output of the operation state detection means, while correcting the priority information And comparing the value of the state variable in the operation state, and correcting the result value information.

本発明の第4の障害復旧方法は、第1ないし第3の障害復旧方法において、前記動作状態
検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる
条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式
を有するルール群から優先度または実績値に応じて対処コマンドを1つづつ選択して対処
コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度または実
績値の高い順に試行する。
According to a fourth failure recovery method of the present invention, in the first to third failure recovery methods, the operation state of the service execution unit, which is an output of the operation state detection unit, is a conditional expression included in the failure handling rule. When a plurality of different conditional expressions are matched, the coping method search means selects a coping command one by one from the rule group having the same conditional expression according to the priority or the actual value, and generates a coping command group. The countermeasure commands included in the countermeasure command group are tried in descending order of priority or actual value.

本発明の第5の障害復旧方法は、第1ないし第4の障害復旧方法において、前記動作状態
検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる
条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる
条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試
行する。
According to a fifth failure recovery method of the present invention, in the first to fourth failure recovery methods, the operation state of the service execution unit, which is an output of the operation state detection unit, is a conditional expression included in the failure handling rule. When a plurality of different conditional expressions are matched, the coping method search means preferentially tries a common coping command when there are coping commands common to the different conditional expressions.

本発明の第1の障害復旧装置および方法にあっては、対処方法検索手段によって対処方法が同じ条件式に対する複数の対処コマンドを優先度情報に応じて順次試行する。さらに、前記現在の動作状態に合致した条件式の否定からこの対処コマンドを実行した後に変化すると予想される動作状態の変化情報を出力することで、効果判定手段が現在の動作状態がこの変化と合致しているか否かによって対処コマンドの成否を判定し、その成否に応じて優先度情報を修正する。これにより、個々のサービス実行環境に適した対処コマンドを探し出して実行することができるため、第1の課題を解決する。
In the first failure recovery apparatus and method of the present invention, a plurality of coping commands for the conditional expressions having the same coping method are sequentially tried by the coping method retrieval unit according to the priority information. Further, by outputting the change information of the operation state that is expected to change after executing the coping command from the negation of the conditional expression that matches the current operation state , the effect determination means causes the current operation state to be changed. The success / failure of the handling command is determined based on whether or not they match, and the priority information is corrected according to the success / failure. As a result, a countermeasure command suitable for each service execution environment can be found and executed, so that the first problem is solved.

また、成功した対処コマンドの優先度を上昇させることで、予め個々のサービス実行環境
の特性に合わせた優先度を提供できない場合でも、障害への対処が継続されるに従って自
動的に適切な優先度へと修正されるため、対処時間が短縮され、誤った対処によって別の
障害を引き起こす確率を低下させることができる。さらに、与えられた対処コマンドに適
切なものが含まれていれば、失敗によって優先度の低下した対処コマンドが実行される前
に障害への対処が完了することになることから、サービス実行環境の特性によっては別の
障害を引き起こす可能性の高い危険な対処コマンドを混在させた障害対処ルール群を用い
た場合にも、悪影響を抑えた適切な障害対策が可能となり、第2の課題を解決する。
In addition, by increasing the priority of successful response commands, even if priorities that match the characteristics of individual service execution environments cannot be provided in advance, the appropriate priority is automatically set as response to failures continues. Therefore, the handling time is shortened, and the probability of causing another failure due to wrong handling can be reduced. Furthermore, if an appropriate response command is included, the response to the failure will be completed before the response command whose priority has been lowered due to the failure is executed. Depending on the characteristics, even when using a failure handling rule group in which dangerous handling commands that are likely to cause another failure are used, appropriate failure countermeasures with reduced adverse effects are possible, and the second problem is solved. .

さらに、これらの優先度制御は、実際に実行された対処コマンドの成否を判定することに
よって行われるため、成功率の高い対処コマンドを優先的に実行することができる。また
、自動実行によって検証されるため、オペレータの主観に依らず、ルールの有効性を統一
した基準で正確に判定することが可能となり、第3の課題を解決する。
Furthermore, since these priority controls are performed by determining the success / failure of the actually executed countermeasure command, the countermeasure command having a high success rate can be preferentially executed. Further, since verification is performed by automatic execution, it becomes possible to accurately determine the effectiveness of the rule based on a unified standard regardless of the subjectivity of the operator, thereby solving the third problem.

本発明の第2の障害復旧装置および方法にあっては、対処方法検索手段によって対処方法
が同じ条件式に対する複数の対処コマンドのうち、サービス実行手段の現在の動作状態と
ルールの実績値情報とから推測される対処コマンド実行後の動作状態が前記条件式を満た
さなくなるルールを選択して試行する。さらに、この対処コマンドを実行する前の状態変
数の値を保存しておき、その対処コマンド実行後のサービス実行手段の動作状態における
状態変数の値と比較して、前記実績値情報を修正する。これにより、個々のサービス実行
環境に適した対処コマンドを探し出して実行することができるため、第1の課題を解決す
る。
In the second failure recovery apparatus and method of the present invention, the current operation state of the service execution means and the actual record value information of the rule among a plurality of response commands for the conditional expression having the same response method by the response method search means The rule after the execution of the coping command inferred from the rule is selected and tried so that the conditional expression is not satisfied. Further, the value of the state variable before execution of the handling command is saved, and the result value information is corrected by comparing with the value of the state variable in the operating state of the service execution means after execution of the handling command. As a result, a countermeasure command suitable for each service execution environment can be found and executed, so that the first problem is solved.

また、サービス実行手段の現在の動作状態とルールの実績値情報とから推測される対処コ
マンド実行後の動作状態が条件式を満たさなくなるルールを選択して実行するため、対処
時間が短縮され、誤った対処によって別の障害を引き起こす確率を低下させることができ
る。さらに、実行しても条件式を満たさなくできないルールの実行を防止できるため、サ
ービス実行環境の特性によっては別の障害を引き起こす可能性の高い危険な対処コマンド
を混在させた障害対処ルール群を用いた場合にも、悪影響を抑えた適切な障害対策が可能
となり、第2の課題を解決する。
In addition, since the operation state after execution of the coping command estimated from the current operation state of the service execution means and the actual value information of the rule is selected and executed, the coping time is shortened. Coping can reduce the probability of causing another failure. Furthermore, because it can prevent the execution of rules that cannot be executed without satisfying the conditional expression even if they are executed, a failure handling rule group that contains a mixture of dangerous response commands that are likely to cause other failures depending on the characteristics of the service execution environment is used. Even in the case of failure, it is possible to take appropriate measures against failure with reduced adverse effects, thereby solving the second problem.

さらに、これらの実績値情報の更新は、実際に実行された対処コマンドの結果に基づいて
機械的に実行されるため、オペレータの主観に依らず、ルールの有効性を統一した基準で
正確に判定することが可能となり、第3の課題を解決する。
In addition, the update of the actual value information is performed mechanically based on the result of the actually executed countermeasure command, so that the rule effectiveness is accurately determined regardless of the subjectivity of the operator. It becomes possible to solve the third problem.

本発明の第3の障害復旧装置および方法にあっては、第1および第2の障害復旧装置およ
び方法の効果をあわせ持つことにより、第1ないし第3の課題を解決する。
The third failure recovery apparatus and method of the present invention solves the first to third problems by combining the effects of the first and second failure recovery apparatuses and methods.

本発明の第1の障害復旧装置および方法では、対処方法検索手段によって対処方法が同じ
条件式に対する複数の対処コマンドを優先度情報に応じて順次試行する。さらに、この対
処コマンドを実行した後に変化すると予想される動作状態の変化情報を出力することで、
効果判定手段が現在の動作状態がこの変化と合致しているか否かによって対処コマンドの
成否を判定し、その成否に応じて優先度情報を修正する。これにより、個々のサービス実
行環境に適した対処コマンドを探し出して実行することができる。また、成功した対処コ
マンドの優先度を上昇させることで、予め個々のサービス実行環境の特性に合わせた優先
度を提供できない場合でも、障害への対処が継続されるに従って自動的に適切な優先度へ
と修正されるため、対処時間が短縮され、誤った対処によって別の障害を引き起こす確率
を低下させるという効果がある。さらに、与えられた対処コマンドに適切なものが含まれ
ていれば、失敗によって優先度の低下した対処コマンドが実行される前に障害への対処が
完了することになることため、サービス実行環境の特性によっては別の障害を引き起こす
可能性の高い危険な対処コマンドを混在させた障害対処ルール群を用いた場合にも、悪影
響を抑えた適切な障害対策が可能となるという効果がある。
In the first failure recovery apparatus and method of the present invention, the coping method search means sequentially tries a plurality of coping commands for the conditional expressions having the same coping method according to the priority information. Furthermore, by outputting the change information of the operating state that is expected to change after executing this coping command,
The effect determination means determines whether or not the countermeasure command is successful depending on whether or not the current operation state matches this change, and corrects the priority information according to the success or failure. Thereby, it is possible to find and execute a countermeasure command suitable for each service execution environment. In addition, by increasing the priority of successful response commands, even if priorities that match the characteristics of individual service execution environments cannot be provided in advance, the appropriate priority is automatically set as response to failures continues. As a result, the handling time is shortened, and the probability of causing another failure due to wrong handling is reduced. Furthermore, if an appropriate response command is included, the response to the failure will be completed before the response command whose priority has been lowered due to the failure is executed. Even when a failure handling rule group in which dangerous handling commands that are likely to cause another failure depending on characteristics are used, an appropriate failure countermeasure with reduced adverse effects can be achieved.

本発明の第2の障害復旧装置および方法では、対処方法検索手段によって対処方法が同じ
条件式に対する複数の対処コマンドのうち、サービス実行手段の現在の動作状態とルール
の実績値情報とから推測される対処コマンド実行後の動作状態が前記条件式を満たさなく
なるルールを選択して試行する。さらに、この対処コマンドを実行する前の状態変数の値
を保存しておき、その対処コマンド実行後のサービス実行手段の動作状態における状態変
数の値と比較して、前記実績値情報を修正する。これにより、個々のサービス実行環境に
適した対処コマンドを探し出して実行することができる。また、サービス実行手段の現在
の動作状態とルールの実績値情報とから推測される対処コマンド実行後の動作状態が条件
式を満たさなくなるルールを選択して実行するため、対処時間が短縮され、誤った対処に
よって別の障害を引き起こす確率を低下させることができる。さらに、実行しても条件式
を満たさなくできないルールの実行を防止できるため、サービス実行環境の特性によって
は別の障害を引き起こす可能性の高い危険な対処コマンドを混在させた障害対処ルール群
を用いた場合にも、悪影響を抑えた適切な障害対策が可能となるとういう効果がある。
In the second failure recovery apparatus and method of the present invention, the coping method search unit is inferred from the current operation state of the service execution unit and the rule actual value information among a plurality of coping commands for the conditional expression having the same coping method. A rule that does not satisfy the conditional expression after the operation command is executed is selected and tried. Further, the value of the state variable before execution of the handling command is saved, and the result value information is corrected by comparing with the value of the state variable in the operating state of the service execution means after execution of the handling command. Thereby, it is possible to find and execute a countermeasure command suitable for each service execution environment. In addition, since the operation state after execution of the coping command estimated from the current operation state of the service execution means and the actual value information of the rule is selected and executed, the coping time is shortened. Coping can reduce the probability of causing another failure. Furthermore, because it can prevent the execution of rules that cannot be executed without satisfying the conditional expression even if they are executed, a failure handling rule group that contains a mixture of dangerous response commands that are likely to cause other failures depending on the characteristics of the service execution environment is used. In the case of failure, it is possible to take appropriate countermeasures against failures with reduced adverse effects.

本発明の第3の障害復旧装置および方法では、第1および第2の障害復旧装置および方法
の効果をあわせ奏することが可能となる。
In the third failure recovery apparatus and method of the present invention, it is possible to combine the effects of the first and second failure recovery apparatuses and methods.

本発明の第4の障害復旧装置および方法では、複数の障害が同時発生した場合にも、対処
コマンドの成否に応じて関連するルールの優先度、実績値が適切に修正されるという効果
を得ることができる。
According to the fourth failure recovery apparatus and method of the present invention, even when a plurality of failures occur at the same time, there is an effect that the priority and the actual value of the related rule are appropriately corrected according to the success or failure of the handling command. be able to.

本発明の第5の障害復旧装置および方法では、共通する対処コマンドが存在する場合には
、対処方法検索手段が共通する対処コマンドを優先的に試行することで、復旧時間を短縮
しつつ着実に障害復旧できるという効果がある。
In the fifth failure recovery apparatus and method of the present invention, when there is a common handling command, the handling method search means preferentially tries the common handling command, thereby steadily reducing the recovery time. There is an effect that the failure can be recovered.

本発明の実施の形態を説明する前に、図1、図2、図3を用いて本発明の前提となる障害
復旧装置について説明する。
Before describing the embodiment of the present invention, a failure recovery apparatus as a premise of the present invention will be described with reference to FIG. 1, FIG. 2, and FIG.

図1を参照すると、本発明の前提となる障害復旧装置は、サービス実行手段10に接続さ
れた動作状態検出手段1およびコマンド実行手段4と、ルール蓄積手段2と、これらに接
続された対処方法検索手段3とを含んで構成される。
Referring to FIG. 1, a failure recovery apparatus as a premise of the present invention includes an operation state detection unit 1 and a command execution unit 4 connected to a service execution unit 10, a rule storage unit 2, and a coping method connected thereto. And the search means 3.

サービス実行手段10は、WEBサービスや業務サービスといった情報通信サービスを提
供する。ルール蓄積手段2は、障害対処ルールを蓄積する。図2に障害対処ルールの例を
示す。障害対処ルールは、障害が発生した場合の動作状態または障害の前兆と推測される
動作状態を判定するための条件式と、その動作状態になった場合に障害を復旧または回避
するための対処コマンドと、同じ条件式に対する対処コマンドの適用順序を示す優先度で
構成される。図2の番号1および2のルールは、サービス実行手段10のメモリ残量の数
値が20以下となった状態を障害とみなすための条件式と、その状態で実行すべき対処コ
マンドとしてアプリケーション(AP)再起動コマンドおよびオペレーティングシステム
(OS)再起動コマンドがそれぞれ優先度80、50として定義されている。同様に、番
号3〜5のルールは、APの出力が異常の場合に、AP再起動、OS再起動、ディスク切
り替えがそれぞれ優先度80、40、30で定義されている。
The service execution means 10 provides information communication services such as a WEB service and a business service. The rule accumulation unit 2 accumulates failure handling rules. FIG. 2 shows an example of the failure handling rule. The failure handling rule is a conditional expression for determining the operating state when a failure occurs or the operating state presumed to be a precursor to the failure, and a response command for recovering or avoiding the failure when that failure occurs And the priority indicating the application order of the countermeasure commands for the same conditional expression. The rules numbered 1 and 2 in FIG. 2 are based on a conditional expression for considering a state in which the memory remaining value of the service execution means 10 is 20 or less as a failure, and an application (AP ) A restart command and an operating system (OS) restart command are defined as priorities 80 and 50, respectively. Similarly, in the rules of numbers 3 to 5, when the output of the AP is abnormal, AP restart, OS restart, and disk switching are defined with priorities 80, 40, and 30, respectively.

図3は、図1の障害復旧装置における動作のフローチャートを示す。動作状態検出手段1
は、サービス実行手段10の動作状態を検出する(図3のステップ101)。動作状態は
、障害対処ルールの条件式に沿った形で検出される。図2の例では、メモリ残量やAP出
力の正常/異常等が検出される。対処方法探索手段3は、動作状態検出手段1から現在の
動作状態を受け取り、ルール蓄積手段2に蓄積されている障害対処ルールの条件式に合致
するものがあるかどうかを探索する(ステップ102)。合致する条件式が無い場合は、
障害が発生していないものとして、ステップ101に戻る。合致する条件があった場合は
、障害発生とみなして対応する対処コマンド探索する。例えば、検出された動作状態のう
ち、メモリ残量が20未満であった場合は、図2の番号1および番号2の条件式に合致す
るため、対処コマンドとしてAP再起動とOS再起動が候補となるが、AP再起動の優先
度の方が高いため、対処コマンドとしてAP再起動を選択して出力する。この対処コマン
ドをコマンド実行手段4が受け取り、サービス実行手段10にその実行を指示することで
、サービス実行環境上のアプリケーションが再起動される(ステップ103)。この後、
ステップ101に戻って動作状態検出手段1が、対処コマンド実行後の動作状態を検出す
る。ここで、メモリ残量が20未満のままであれば(ステップ102)、次の対処コマン
ドとしてOS再起動が実行される(ステップ103)。メモリ残量が20以上になってい
れば、合致する条件式がなくなり、障害への対処が完了する。
FIG. 3 shows a flowchart of the operation in the failure recovery apparatus of FIG. Operating state detection means 1
Detects the operating state of the service execution means 10 (step 101 in FIG. 3). The operation state is detected in a form according to the conditional expression of the failure handling rule. In the example of FIG. 2, the remaining memory capacity, normal / abnormal AP output, and the like are detected. The coping method search unit 3 receives the current operation state from the operation state detection unit 1 and searches whether there is a condition that matches the conditional expression of the failure coping rule stored in the rule storage unit 2 (step 102). . If there is no matching conditional expression,
Returning to step 101, assuming that no failure has occurred. If there is a matching condition, it is determined that a failure has occurred and a corresponding command is searched. For example, if the remaining memory capacity is less than 20 among the detected operation states, the condition commands of No. 1 and No. 2 in FIG. However, since the priority of AP restart is higher, AP restart is selected and output as a countermeasure command. The command execution means 4 receives this handling command and instructs the service execution means 10 to execute the command, whereby the application on the service execution environment is restarted (step 103). After this,
Returning to step 101, the operation state detection means 1 detects the operation state after execution of the countermeasure command. If the remaining memory capacity is less than 20 (step 102), the OS is restarted as the next countermeasure command (step 103). If the remaining memory capacity is 20 or more, there is no matching conditional expression, and the handling of the fault is completed.

このように、図1に示す障害復旧装置では、予め決められた条件で対処コマンドを自動的
に実行するため、障害対処ルールに記述された障害に関してはサービス実行手段10の障
害を自動的に復旧または回避することができる。この場合、優先度として予め決められた
順序で対処コマンドが実行されることになり、一般的に成功する可能性の高い対処コマン
ドに高い優先度をつけることで、対処の効率を制御することができる。しかし、対処コマ
ンドのうちどれが有効であるかは、サービス実行手段10のハードウェア構成や実行ソフ
トウェアの種類の他、提供するサービスの内容や、運用継続によって変化する内部状態に
も依存するものであり、常に効率的な優先度を定義することは困難である。このため、例
えば図2の例でAP再起動が常に失敗するようなサービス実行手段10では、OS再起動
の実行前に常にAP再起動が失敗するのを待つ必要があり、対処にかかる時間が増大して
しまう。また、AP再起動が失敗する理由によっては別の障害を引き起こす場合があり、
対処自体ができなくなる可能性もある。
As described above, since the failure recovery apparatus shown in FIG. 1 automatically executes the response command under predetermined conditions, the failure of the service execution means 10 is automatically recovered with respect to the failure described in the failure handling rule. Or it can be avoided. In this case, the countermeasure commands are executed in a predetermined order as priorities, and the countermeasure efficiency can be controlled by giving a high priority to the countermeasure commands that are generally likely to succeed. it can. However, which of the countermeasure commands is valid depends on the hardware configuration of the service execution means 10 and the type of execution software, as well as the contents of the provided service and the internal state that changes as the operation continues. Yes, it is always difficult to define efficient priorities. For this reason, for example, in the service execution unit 10 in which AP restart always fails in the example of FIG. 2, it is necessary to always wait for AP restart to fail before the OS restart is executed, It will increase. Also, depending on the reason why AP restart fails, it may cause another failure,
There is a possibility that it will not be possible to deal with it.

次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.

(第1の実施の形態)
先ず、図4、図5、図6、図7を用いて、本発明の第1の実施の形態について説明する。
(First embodiment)
First, the first embodiment of the present invention will be described with reference to FIG. 4, FIG. 5, FIG. 6, and FIG.

図4は、本発明の第1の実施の形態の構成を示すブロック図である。この実施の形態の障
害復旧装置では、図1の構成に加えて、対処コマンドを実行した後に変化すると予想され
る動作状態の変化情報を保持する状態レジスタ5と、この動作状態の変化情報と動作状態
検出手段1の出力である動作状態を比較して、対処コマンドによる復旧または回避の成否
を判定し、その結果に応じて優先度を修正する効果判定手段6を新たに有する。また、対
処方法検索手段3は、現在の状態値に合致した対処コマンドを出力する際に、その対処コ
マンドを実行した後に変化すると予想される動作状態の変化情報を出力する機能を新たに
有する。
FIG. 4 is a block diagram showing a configuration of the first exemplary embodiment of the present invention. In the failure recovery apparatus of this embodiment, in addition to the configuration of FIG. 1, the status register 5 that holds the change information of the operation state that is expected to change after executing the countermeasure command, the change information of the operation state, and the operation The operation state which is the output of the state detection means 1 is compared, the success or failure of the recovery by the countermeasure command is determined, and the effect determination means 6 for correcting the priority according to the result is newly provided. In addition, the coping method retrieval unit 3 newly has a function of outputting change information of an operation state that is expected to change after executing the coping command when outputting a coping command that matches the current state value.

動作状態検出手段1、対処方法検索手段3、コマンド実行手段4および効果判定手段6の
各機能手段は、例えばコンピュータと障害復旧プログラムとで実現することができる。障
害復旧プログラムは、磁気ディスク等のコンピュータ可読記録媒体に記録されて提供され
、コンピュータの立ち上げ時などにコンピュータに読み取られ、コンピュータの動作を制
御することにより、そのコンピュータ上に動作状態検出手段1、対処方法検索手段3、コ
マンド実行手段4および効果判定手段6の各機能手段を実現する。また、ルール蓄積手段
2および状態レジスタ5は、コンピュータに備わる主記憶や外部記憶装置で実現可能であ
る。
The functional units of the operation state detection unit 1, the coping method search unit 3, the command execution unit 4, and the effect determination unit 6 can be realized by a computer and a failure recovery program, for example. The failure recovery program is provided by being recorded on a computer-readable recording medium such as a magnetic disk, read by the computer when the computer is started up, and the operation state detecting means 1 on the computer by controlling the operation of the computer. The function means of the coping method search means 3, the command execution means 4 and the effect determination means 6 is realized. The rule storage unit 2 and the status register 5 can be realized by a main memory or an external storage device provided in the computer.

図5は、図4に示した障害復旧装置の動作のフローチャートを示す。図6、図7は、本実
施の形態における障害対処ルールの優先度の変化例を示した図である。まず、初期状態と
して図2のような優先度である場合を例に本実施の形態の動作を説明する。
FIG. 5 shows a flowchart of the operation of the failure recovery apparatus shown in FIG. FIGS. 6 and 7 are diagrams showing an example of a change in the priority of the failure handling rule in the present embodiment. First, the operation of the present embodiment will be described by taking the case of the priority as shown in FIG. 2 as an initial state.

動作状態検出手段1は、サービス実行手段10の動作状態を検出する(図5のステップ2
01)。次に、効果判定手段6が状態レジスタ5を参照し、既に実行された対処コマンド
があるかどうかを判定する(ステップ202)。実行された対処コマンドが無い場合には
効果判定手段6は何もしない。対処方法探索手段3は、動作状態検出手段1から現在の動
作状態を受け取り、ルール蓄積手段2に蓄積されている障害対処ルールの条件式に合致す
るものがあるかどうかを探索する(ステップ205)。例えば、メモリ残量が20未満で
あった場合、図2の番号1および番号2の条件式に合致し、優先度の高いAP再起動が選
択される。この時、対処方法探索手段3は対処コマンドの出力と同時に、この対処コマン
ドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタにセットする
。この場合、対処コマンドの実行によってルール内の条件式で示される障害状態が回避さ
れること、つまり、動作状態の1つであるメモリ残量が条件式に示される閾値である20
を超えることが予想されることから、実行する対処コマンドと対処が成功した場合の条件
として「メモリ残量が20以上」という条件を状態レジスタ5にセットする(ステップ2
06)。対処コマンドは、コマンド実行手段4を介してサービス実行手段10上で実行さ
れる(ステップ207)。
The operation state detection unit 1 detects the operation state of the service execution unit 10 (step 2 in FIG. 5).
01). Next, the effect determination means 6 refers to the status register 5 and determines whether there is a countermeasure command that has already been executed (step 202). If there is no executed countermeasure command, the effect determination means 6 does nothing. The coping method search unit 3 receives the current operation state from the operation state detection unit 1 and searches whether there is a condition that matches the conditional expression of the failure coping rule stored in the rule storage unit 2 (step 205). . For example, when the remaining memory capacity is less than 20, the AP restart with high priority that matches the conditional expressions of No. 1 and No. 2 in FIG. 2 is selected. At this time, simultaneously with the output of the countermeasure command, the countermeasure method searching means 3 sets the change information of the operation state that is expected to change after executing the countermeasure command in the state register. In this case, the failure state indicated by the conditional expression in the rule is avoided by the execution of the countermeasure command, that is, the remaining memory capacity that is one of the operation states is the threshold value indicated by the conditional expression.
Is set in the status register 5 as a condition when the countermeasure command to be executed and the countermeasure is successful (step 2).
06). The coping command is executed on the service execution means 10 via the command execution means 4 (step 207).

この後、ステップ201に戻って動作状態検出手段1が、対処コマンド実行後のサービス
実行手段10の動作状態を検出する。効果判定手段6は、対処コマンドが実行されている
ことを検知して(ステップ202)、現在の動作状態と状態レジスタ5の「メモリ残量が
20以上」という条件を比較して効果を判定し(ステップ203)、対応する番号1のル
ールの優先度を修正する(ステップ204)。図6のルール群301は、AP再起動によ
る復旧に失敗し、OS再起動による復旧に成功した場合の変化を示す。図6では、優先度
の修正方法の一例として、成功した場合に優先度を10増やし、失敗した場合に10減ら
す例を示す。この場合、AP再起動後のステップ203で条件が満たされない(メモリ残
量が閾値である20未満であり障害状態が継続している)ことを判定して、番号1の優先
度を80から10減らした70とする。続いて、ステップ205からステップ207を経
てOS再起動を実行し、その後のステップ203で条件が満たされた(メモリ残量が閾値
である20を超え障害状態が回避された)ことを判定して、番号2の優先度を50から1
0増やした60とする。
Thereafter, returning to step 201, the operation state detection unit 1 detects the operation state of the service execution unit 10 after execution of the countermeasure command. The effect determination means 6 detects that the countermeasure command is being executed (step 202), and compares the current operation state with the condition “the remaining memory capacity is 20 or more” in the status register 5 to determine the effect. (Step 203), the priority of the rule with the corresponding number 1 is corrected (Step 204). A rule group 301 in FIG. 6 shows a change when recovery by AP restart fails and recovery by OS restart succeeds. FIG. 6 shows an example of a priority correction method in which the priority is increased by 10 when successful and decreased by 10 when unsuccessful. In this case, it is determined that the condition is not satisfied in step 203 after the AP is restarted (the remaining amount of memory is less than the threshold value 20 and the failure state continues), and the priority of number 1 is set to 80 to 10 Reduced to 70. Subsequently, the OS is restarted from step 205 to step 207, and it is determined in the subsequent step 203 that the condition is satisfied (the remaining amount of memory exceeds the threshold value of 20 and the failure state has been avoided). , The priority of number 2 from 50 to 1
60 is increased by 0.

同様に、図6のルール群302では、同じメモリ残量の障害が発生し、AP再起動、OS
再起動共に復旧に失敗した場合の優先度の変化を示す。番号1のルールの優先度は、さら
に10減った60になり、番号2の優先度は、10減った50に戻っている。この時点で
は、まだ番号1のルールの方が優先度が高いため、新たな障害が発生した場合は、AP再
起動が先に実行されることになる。次に、再度同じ障害が発生し、AP再起動による復旧
が失敗、OS再起動による復旧が成功した場合を図6のルール群303に示す。この場合
、番号1のルールはさらに10減った50になり、番号2のルールは10増えて60とな
る。ここで、2回成功した番号2のルールの優先度は、3回とも失敗した番号1よりも高
くなり、次回同じ障害が発生した場合は、OS再起動が先に実行されることになる。
Similarly, in the rule group 302 of FIG. 6, a failure with the same remaining memory capacity occurs, the AP restarts, the OS
Indicates the change in priority when recovery fails for both restarts. The priority of the number 1 rule is 60 which is further reduced by 10 and the priority of the number 2 is returned to 50 which is 10 decreased. At this time, the rule with number 1 is still higher in priority, so that when a new failure occurs, AP restart is executed first. Next, a rule group 303 in FIG. 6 shows a case where the same failure occurs again, recovery by AP restart fails, and recovery by OS restart succeeds. In this case, the number 1 rule is further reduced by 10 to 50, and the number 2 rule is increased by 10 to 60. Here, the priority of the rule No. 2 that succeeded twice becomes higher than the number 1 that failed three times, and when the same failure occurs next time, the OS restart is executed first.

図7は、同様にしてAP出力異常の障害が発生した場合の優先度の変化を示す。ルール群
304は、図6のルール群303の状態で、AP出力が異常であることを検出し、番号3
、4、5のルールが順に実行された例を示す。この場合、番号3、4の対処コマンドであ
るAP再起動、OS再起動は共に復旧に失敗したため、優先度が10づつ減っており、番
号5のディスク切り替えによる復旧に成功したため、優先度が10増えている。この時点
で、番号4と番号5の優先度は逆転しており、次に、同じAP出力異常が発生した場合、
まず番号3のルールが適用されAP再起動が行われるが、AP再起動による復旧に失敗し
た場合は、ディスク切り替えが実行される。ディスク切り替えによる復旧に成功した場合
には、ここで対処が完了するため、番号4のOS再起動が実行されることはない。このよ
うにして、番号3の優先度が10減り、番号5の優先度が10増えると、図7のルール3
05のようになる。次に同じ障害で、またディスク切り替えによる復旧に成功する場合を
考えると、やはり、AP再起動が試されて、次にディスク切り替えによる復旧が成功する
。その後は、ルール群306に示すように、ディスク切り替えの優先度が最も高くなるた
め、同じ障害に対してはディスク切り替えが最初に実行されることになり、これが成功し
た場合には、他の対処コマンドが実行されることはなくなるため、不要な処理によって別
の障害が引き起こされることを防止できる。
FIG. 7 shows a change in priority when an AP output abnormality failure occurs in the same manner. The rule group 304 detects that the AP output is abnormal in the state of the rule group 303 in FIG.
An example is shown in which the rules 4 and 5 are executed in order. In this case, both the AP restart and OS restart, which are the countermeasure commands of Nos. 3 and 4, have failed to recover, so the priority is decreased by 10 and the recovery by switching the disk of No. 5 has succeeded, so the priority is 10 is increasing. At this point, the priorities of numbers 4 and 5 are reversed, and if the same AP output abnormality occurs next,
First, the rule of number 3 is applied and AP restart is performed. However, when recovery by AP restart fails, disk switching is executed. When the recovery by the disk switching is successful, the countermeasure is completed here, and the OS restart of No. 4 is not executed. In this way, when the priority of number 3 decreases by 10 and the priority of number 5 increases by 10, rule 3 in FIG.
It becomes like 05. Next, considering the case where recovery is successful by the same failure and disk switching, AP restart is tried again, and recovery by disk switching is then succeeded. After that, as shown in the rule group 306, the priority of disk switching becomes the highest, so that the disk switching is executed first for the same failure. Since the command is not executed, it is possible to prevent another failure from being caused by unnecessary processing.

以上述べたように、第1の実施の形態にかかる障害復旧装置では、対処コマンドによる復
旧または回避の成否を判定し、その結果に応じて優先度を修正する効果判定手段6を有す
ることにより、特性の異なるサービス実行手段10に同じルール群を適用した場合にも効
率的な運用が可能になるという効果を得ることができる。
As described above, the failure recovery apparatus according to the first embodiment has the effect determination means 6 that determines success or failure of recovery or avoidance by the handling command and corrects the priority according to the result. Even when the same rule group is applied to the service execution means 10 having different characteristics, it is possible to obtain an effect that efficient operation becomes possible.

例えば図6は、継続運用でメモリ残量が減るような障害にAPプログラムのバグによるメ
モリリークが原因であるものが多いため、AP再起動の優先度を高くしておくといった運
用効率化の例である。しかし、サービス実行手段10の特性によっては、通常は問題とな
らないOSのバグが何らかの状態で発現している場合もあり、このような状況では、AP
再起動の優先度が高いことが運用効率の低下を招く可能性もある。本実施の形態では、前
述した通り、実際のサービス実行手段10の特性に応じて優先度が自動的に最適化される
ことから、同じルール群を適用していても個々のサービス実行手段10に適した障害対策
を実現することができる。図7は、AP出力の異常がディスクにより引き起こされるよう
な例である。AP出力の異常がAP再起動で復旧できていたサービス実行手段10であっ
ても、例えばディスク交換等の修理を行った後に特性が変わってしまうといったように、
新たなルールを適用しなければ効率的な運用が出来ない場合がある。従来の障害復旧装置
では、このような状況をオペレータが把握し、その都度ルールを修正する必要があったが
、本実施の形態では、このような場合でも適切な優先度に修正されるため、管理コストを
増大させることなく、対処時間を減少させ、広い範囲の障害に対して決め細かな障害対策
を行うことができる。
For example, FIG. 6 shows an example of operational efficiency in which the priority of restarting the AP is increased because many failures due to the AP program bug are caused by failures that reduce the remaining memory capacity in continuous operation. It is. However, depending on the characteristics of the service execution means 10, an OS bug that does not normally cause a problem may appear in some state.
Higher restart priority may lead to lower operational efficiency. In the present embodiment, as described above, since the priority is automatically optimized according to the characteristics of the actual service execution means 10, even if the same rule group is applied, the individual service execution means 10 Appropriate failure countermeasures can be realized. FIG. 7 shows an example in which an abnormality in AP output is caused by the disk. Even if the service execution means 10 has recovered from an AP output abnormality by restarting the AP, for example, the characteristics may change after repair such as disk replacement.
Efficient operation may not be possible without applying new rules. In the conventional failure recovery apparatus, the operator has to grasp such a situation, and it is necessary to correct the rule each time, but in this embodiment, even in such a case, it is corrected to an appropriate priority. Without increasing the management cost, it is possible to reduce the handling time and to take detailed measures against failures over a wide range of failures.

尚、本実施の形態で例に挙げた動作状態や対処コマンドについては、この例に限定される
ものではなく、本発明の構成に従ってサービス実行手段10で検出できる動作状態や実行
可能な対処コマンドであれば同様の効果が得られるものである。また、優先度の数値や計
算方法についても、対処コマンドの実行結果に従った修正を行うものであれば、対処コマ
ンドを効率的に実行することができる。
Note that the operation states and countermeasure commands given as examples in the present embodiment are not limited to this example, and are the operation states that can be detected by the service execution means 10 according to the configuration of the present invention and executable countermeasure commands. If there is, the same effect can be obtained. In addition, regarding the numerical value of the priority and the calculation method, if the correction is performed according to the execution result of the countermeasure command, the countermeasure command can be executed efficiently.

(第2の実施の形態)
本実施の形態では、第1の実施の形態で説明した構成および動作に加えて、図8を用いて
複数の障害が同時に発生した場合の動作の例を示す。対処方法検索手段3は、第1の実施
の形態の機能に加えて、同じ条件式を有するルール群から優先度に応じて対処コマンドを
1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマ
ンドを優先度の高い順に試行する機能を有する。
(Second Embodiment)
In this embodiment, in addition to the configuration and operation described in the first embodiment, an example of operation in the case where a plurality of faults occur at the same time is shown using FIG. In addition to the function of the first embodiment, the handling method search unit 3 selects a handling command one by one from the rule group having the same conditional expression according to the priority and generates a handling command group. It has a function to try the countermeasure commands included in the countermeasure command group in descending order of priority.

図8のルール群307は、図7のルール群306の状態からAP出力異常が発生して番号
5のルールによる復旧が成功し優先度が70となった例を示す。この状態で、メモリ残量
不足とAP出力異常が同時に発生した場合、番号1ないし5の条件式がすべて有効となり
、対処コマンドとして最大の優先度を持つ番号5のルールが適用され、対処コマンドとし
てディスク切り替えが実行される。ルール群308は、ディスク切り替えによる復旧が失
敗した場合の例を示し、番号5の優先度が10減っている。この場合、障害は継続してい
るため、次の対処コマンドを探索することになり、候補として優先度が60である番号2
と番号5のルールが挙げられる。ここで、番号順に対処コマンドを実行するとすると、番
号2のルールが適用され、OS再起動が実行される。ルール群309は、OS再起動によ
る復旧が成功した場合の例を示し、番号2の優先度が10増加している。
The rule group 307 in FIG. 8 shows an example in which the AP output abnormality has occurred from the state of the rule group 306 in FIG. In this state, if a memory shortage and an AP output abnormality occur simultaneously, all conditional expressions of numbers 1 to 5 are valid, and the rule of number 5 having the highest priority is applied as a countermeasure command. A disk switch is performed. A rule group 308 shows an example of a case where recovery by disk switching has failed, and the priority of number 5 is reduced by 10. In this case, since the failure continues, the next countermeasure command is searched, and number 2 having a priority of 60 as a candidate.
And the number 5 rule. Here, if the countermeasure command is executed in the order of numbers, the rule of number 2 is applied and the OS is restarted. A rule group 309 shows an example of a case where recovery by OS restart is successful, and the priority of number 2 is increased by 10.

一般に、複数の障害が発生している場合、ある障害が派生して別の障害が併発した後に状
態が検出されることが多い。このような状態から復旧するためには、それらの障害の根本
原因となる障害に対処することが必要となる。図8のルール群307において、ディスク
切り替えはAP出力異常特有の対処コマンドであり、複合障害の場合にこのような対処コ
マンドを選択することは最適とは言えず、このような対処コマンドを実行している間にさ
らに状態を悪化させることもあり得る。本実施の形態では、このような対処コマンドを実
行して失敗した場合、ルール群308、ルール群309に示すように、失敗したルールの
優先度が低下し、結果的に条件式の異なるOS再起動が実行されることになる。この結果
、同時発生する障害に対応する条件式を持つ複数のルールの間で、同時発生時に優先すべ
きルールの優先度が相対的に増加し、次回以降同じ障害が発生した場合に効果の高いルー
ルが先に選択されることになる。
In general, when a plurality of failures occur, a state is often detected after a certain failure is derived and another failure occurs simultaneously. In order to recover from such a state, it is necessary to deal with failures that are the root causes of these failures. In the rule group 307 in FIG. 8, disk switching is a response command specific to AP output abnormality, and it is not optimal to select such a response command in the case of a complex failure. The condition may be further deteriorated during In the present embodiment, when such a countermeasure command is executed and fails, as shown in the rule group 308 and the rule group 309, the priority of the failed rule is lowered, and as a result, the OS re-establishment with different conditional expressions is performed. Startup will be executed. As a result, the priority of rules that should be prioritized at the time of simultaneous occurrence among multiple rules with conditional expressions corresponding to simultaneous failures is relatively increased, which is highly effective when the same failure occurs from the next time The rule will be selected first.

さらに、対処方法検索手段3は、異なる条件式に共通する対処コマンドが存在する場合に
は、共通する対処コマンドを優先的に試行する機能を有することができる。図9、図10
を用いてこの例の障害復旧装置の動作を説明する。
Further, the coping method search means 3 can have a function of preferentially trying a common coping command when there are coping commands common to different conditional expressions. 9 and 10
The operation of the failure recovery apparatus of this example will be described using FIG.

図10のルール群320は、図8のルール群307に相当する状態を示す。この時、動作
状態検出手段1がサービス実行手段10の動作状態からメモリ残量不足とAP出力異常の
両方が発生していることを検出する(ステップ211)。対処方法検索手段3は、ルール
群320に示す番号1ないし5のルールの条件式に合致していることを知り(ステップ2
15)、異なる条件式を持つルールのうち共通する対処コマンドを有するルールを探索す
る(ステップ216)。ルール群320では、番号1と2のルールは同じ条件式を持ち、
対処コマンドはAP再起動とOS再起動となる。同様に、番号3ないし5のルールの対処
コマンドはAP再起動、OS再起動、ディスク切り替えとなる。番号1と2のルール群、
番号3ないし5のルール群に共通する対処コマンドはOS再起動であり、対処方法検索手
段3は、「メモリ残量が20以上」と「AP出力が正常」という状態を予測して状態レジ
スタをセットし(ステップ217)、OS再起動を実行する(ステップ218)。
A rule group 320 in FIG. 10 shows a state corresponding to the rule group 307 in FIG. At this time, the operation state detection unit 1 detects from the operation state of the service execution unit 10 that both the memory remaining shortage and the AP output abnormality have occurred (step 211). The coping method search means 3 knows that it matches the conditional expressions of the rules numbered 1 to 5 shown in the rule group 320 (step 2).
15) Search for a rule having a common handling command among rules having different conditional expressions (step 216). In rule group 320, rules numbered 1 and 2 have the same conditional expression,
The countermeasure commands are AP restart and OS restart. Similarly, the countermeasure commands for the rules of numbers 3 to 5 are AP restart, OS restart, and disk switching. Rules 1 and 2;
The coping command common to the rule groups of numbers 3 to 5 is OS restart, and the coping method search means 3 predicts the states “the remaining memory is 20 or more” and “AP output is normal” and stores the status register. It is set (step 217) and the OS is restarted (step 218).

この後、ステップ211の状態検出を経て対処コマンドの終了を検出すると(ステップ2
12)、効果が判定され(ステップ213)、ルールの優先度が修正される(ステップ2
14)。ルール群321は、メモリ残量とAP出力の両方が改善された場合の例を示し、
対処コマンドがOS再起動である番号2と4のルールの優先度が上昇する。ルール群32
2は、メモリ残量のみが改善された場合の例を示し、番号2のルールの優先度は上昇する
が、番号4のルールの優先度は低下する。この場合、AP出力異常は継続しているため、
さらに次の対処コマンドとして番号3ないし5のルールから優先度の高い番号5のルール
が選択され、ディスク切り替えが行われることになる。このように、対処方法検索手段3
が同時に状態を改善できる対処コマンドを優先的に実行することにより、複数の障害が同
時に発生した場合でも短時間で復旧できる確率が増加し、さらに、継続して次の対処を行
うことで着実に状態を改善することができる。
Thereafter, when the end of the countermeasure command is detected through the state detection in step 211 (step 2).
12) The effect is determined (step 213), and the priority of the rule is corrected (step 2).
14). The rule group 321 shows an example in which both the remaining memory capacity and the AP output are improved,
The priority of rules 2 and 4 whose response command is OS restart increases. Rule group 32
2 shows an example in which only the remaining memory capacity is improved. The priority of the rule with the number 2 increases, but the priority of the rule with the number 4 decreases. In this case, since the AP output abnormality continues,
Further, the rule 5 with higher priority is selected from the rules 3 to 5 as the next countermeasure command, and the disk is switched. In this way, coping method search means 3
By preferentially executing the coping commands that can improve the status at the same time, even if multiple failures occur at the same time, the probability that it can be recovered in a short time will increase, and moreover, the next countermeasures will continue to steadily The condition can be improved.

以上述べたように、本実施の形態の障害復旧装置では、複数の障害が同時に発生した場合
にも、対処コマンドの成否に応じて、関連するルールの優先度が適切に修正されるという
効果を得ることができる。また、共通する対処コマンドが存在する場合には、共通する対
処コマンドを優先的に試行することで、復旧時間を短縮しつつ着実に障害復旧できる。
As described above, in the failure recovery apparatus according to the present embodiment, even when a plurality of failures occur at the same time, the priority of related rules is appropriately corrected according to the success or failure of the handling command. Obtainable. Also, when there is a common handling command, it is possible to steadily recover from a failure while shortening the recovery time by preferentially trying the common handling command.

(第3の実施の形態)
本実施の形態では、第1の実施の形態で説明した優先度に変えて、過去の対処コマンド実
行の結果として得られた状態変数の変化量を表す実績値を用いてルールの探索を行う例を
示す。図11のルール群400は、本発明の前提例における図2のルール群300におい
て優先度が実績値に、番号3、4、5の条件式が変数とその閾値で構成される「CPU使
用率が50より大きい」に置き換わったものを示す。つまり、本実施の形態においては、
ルール蓄積手段2に蓄積されている障害対処ルールの条件式は、1または複数の状態変数
とその閾値を規定する条件式となっている。以下、対処実行前後の状態変数の値の変化を
実績値とした場合を例に、図12、図13、図14を用いて本実施の形態の動作を説明す
る。
(Third embodiment)
In this embodiment, instead of the priority described in the first embodiment, an example of performing a rule search using an actual value that represents a change amount of a state variable obtained as a result of past response command execution. Indicates. The rule group 400 of FIG. 11 is a “CPU usage rate” in which the priority is the actual value in the rule group 300 of FIG. Is replaced by “greater than 50”. In other words, in this embodiment,
The conditional expression of the failure handling rule stored in the rule storage unit 2 is a conditional expression that defines one or a plurality of state variables and their threshold values. Hereinafter, the operation of the present embodiment will be described with reference to FIGS. 12, 13, and 14, taking as an example the case where the change in the value of the state variable before and after the execution of the countermeasure is the actual value.

図13は、図11のルール群400の状態において、メモリ残量不足が発生した場合の実
績値の変化を示す。動作状態検出手段1がサービス実行手段10の動作状態からメモリ残
量不足を検出すると(ステップ501)、対処方法検索手段3が番号1と2のルールが条
件に合致することを知り(ステップ504)、現在のメモリ残量に各々のルールの実績値
を加えて条件式を満たさなくなるルールを探索する(ステップ505)。図11のルール
群400は、対処コマンドを実行した実績がない状態であり、実績値は不明であるため番
号の小さいルールとして番号1を選択する。さらに、現在のメモリ量が18であった場合
、「現在のメモリ残量が18」および対処が成功した場合の条件として「メモリ残量が2
0以上」という条件をルール番号1と共に状態レジスタ5にセットし(ステップ506)
、AP再起動を実行する(ステップ507)。その後、ステップ501を経て、効果判定
手段6が対処コマンドの終了を検知し(ステップ502)、現在状態から実績値が算出さ
れる(ステップ503)。図13のルール群401では、メモリ残量が18から25に増
えた例であり、番号1のルールの実績値として7が設定される。この場合、メモリ残量が
25であれば条件式を満たさなくなるため(ステップ504)、障害復旧が成功したもの
として次の障害状態検出に戻る(ステップ501)。
FIG. 13 shows a change in the actual value when the memory remaining shortage occurs in the state of the rule group 400 of FIG. When the operation state detection unit 1 detects a shortage of remaining memory from the operation state of the service execution unit 10 (step 501), the coping method search unit 3 knows that the rules of numbers 1 and 2 match the conditions (step 504). Then, a rule value that does not satisfy the conditional expression is searched by adding the actual value of each rule to the current remaining memory (step 505). The rule group 400 in FIG. 11 is in a state where there is no record of executing the handling command, and the record value is unknown, so the number 1 is selected as the rule with a small number. Further, when the current memory amount is 18, “current memory remaining amount is 18” and the condition for successful handling is “memory remaining amount is 2
The condition “0 or more” is set in the status register 5 together with the rule number 1 (step 506).
AP restart is executed (step 507). Thereafter, through step 501, the effect determination means 6 detects the end of the countermeasure command (step 502), and the actual value is calculated from the current state (step 503). The rule group 401 in FIG. 13 is an example in which the remaining memory capacity is increased from 18 to 25, and 7 is set as the actual value of the rule of number 1. In this case, if the remaining memory capacity is 25, the conditional expression is not satisfied (step 504), so that the failure recovery is successful and the process returns to the next failure state detection (step 501).

同様に、ルール群402は、新たにメモリ残量が15となった場合を示す。ステップ50
5において、番号1のルールの実績値6と現在のメモリ量15を加えると条件式を満たさ
なくなることを知り、番号1のルールが実行される。この後、メモリ残量が21になった
ことを検知すると(ステップ501)、対処コマンド実行前後の差分から実績値が6に変
更される。ルール群403は、さらにメモリ残量が12となった場合を示す。この場合、
ステップ505において番号1のルールの実績値である6では障害を回避できないことを
判断し、実績値が不明な番号2のルールが選択され、OS再起動が実行される。この後、
メモリ残量が50になった場合、番号2のルールの実績値として38が設定される。
Similarly, the rule group 402 indicates a case where the remaining memory capacity is 15. Step 50
5, when the result value 6 of the rule No. 1 and the current memory amount 15 are added, it is known that the conditional expression is not satisfied, and the rule No. 1 is executed. Thereafter, when it is detected that the remaining memory capacity is 21 (step 501), the actual value is changed to 6 from the difference before and after execution of the handling command. A rule group 403 indicates a case where the remaining memory capacity becomes 12. in this case,
In Step 505, it is determined that the failure cannot be avoided with the actual value 6 of the rule with the number 1, the rule with the number 2 with the unknown actual value is selected, and the OS is restarted. After this,
When the remaining memory capacity reaches 50, 38 is set as the actual value of the rule of number 2.

同様に、図14は、メモリ残量不足が何度か発生した例を示す。ルール群404は、メモ
リ残量が18となった場合であり、番号1のルールの実績値である7で障害復旧できるこ
とから番号1のルールが実行され、実績値が修正される。さらに、ルール群405では、
メモリ残量が8となった場合を示し、番号1と番号2のルールの実績値から、障害を回避
できるルールとして番号2のルールが選択される。ルール群406では、メモリ残量が1
5であり、番号1のルールが選択される。このように、対処コマンドを実行した結果によ
って変化するメモリの増加量を実績値として保持することにより、障害時に条件式の閾値
からどれだけ離れているかに応じて適用するルールを変化させることができる。
Similarly, FIG. 14 shows an example in which the memory remaining shortage has occurred several times. The rule group 404 is a case where the remaining memory capacity is 18, and since the failure recovery can be performed with the actual value 7 of the rule No. 1, the rule No. 1 is executed and the actual value is corrected. Furthermore, in the rule group 405,
The case where the remaining memory capacity is 8 is shown, and the rule of number 2 is selected from the actual values of the rules of number 1 and number 2 as a rule that can avoid a failure. In the rule group 406, the remaining memory capacity is 1
The rule number 1 is selected. In this way, by holding the amount of increase in memory that changes according to the execution result of the countermeasure command as the actual value, it is possible to change the rule to be applied according to how far from the threshold value of the conditional expression at the time of failure. .

尚、本実施の形態では、適用したルールの実績値のみを修正する例で説明したが、これに
限定されるものではなく、同じ対処コマンドを持つルールの実績値を同時に修正すること
もできる。例えば、図13では、番号1のルールを選択してAP再起動を実行する場合に
、コマンド実行前後のCPU使用量を検出することで、同じ対処コマンドを持つ番号3の
ルールの実績値を算出することができる。この場合、同じ対処コマンドを持つルールを探
索する処理は増加するが、効率的な実績値の算出が可能となる。
In the present embodiment, the example is described in which only the actual value of the applied rule is corrected. However, the present invention is not limited to this example, and the actual value of the rule having the same coping command can be corrected at the same time. For example, in FIG. 13, when the rule of number 1 is selected and AP restart is executed, the actual value of the rule of number 3 having the same handling command is calculated by detecting the CPU usage before and after command execution. can do. In this case, the processing for searching for rules having the same handling command increases, but it is possible to efficiently calculate the actual value.

以上説明したように、本実施の形態によれば、実際のサービス運用の結果に応じて対処方
法検索手段が各々の対処コマンドの実績値を算出することにより、同じ条件式に合致する
ルールであっても効果のあるルールを優先的に選択することができ、復旧時間が短縮し確
実性が向上する。
As described above, according to the present embodiment, the coping method search means calculates the actual value of each coping command according to the actual service operation result, so that the rule that matches the same conditional expression is satisfied. However, it is possible to preferentially select an effective rule, shortening the recovery time and improving the certainty.

以上、単一の障害が発生した場合の動作を説明したが、複数の障害が同時に発生した場合
には、対処方法検索手段3は、同じ条件式を有するルール群から実績値に応じて対処コマ
ンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対
処コマンドを、例えば実績値の高い順に試行する。また、対処方法検索手段3は、異なる
条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試
行する。
The operation when a single failure has been described has been described above. However, when a plurality of failures occur simultaneously, the handling method search unit 3 can deal with the handling command according to the actual value from the rule group having the same conditional expression. Are selected one by one and a countermeasure command group is generated, and then the countermeasure commands included in the countermeasure command group are tried, for example, in descending order of performance values. The coping method search means 3 preferentially tries a common coping command when there is a coping command common to different conditional expressions.

(第4の実施の形態)
本実施の形態は、第1の実施の形態で説明した優先度と第3の実施の形態で説明した実績
値とを用いてルールの探索を行う例を示す。図15のルール群600は、第3の実施の形
態における図14のルール群406に優先度を追加したものを示す。図16は本実施の形
態の動作のフローチャートを示す。
(Fourth embodiment)
This embodiment shows an example in which a rule is searched using the priority described in the first embodiment and the actual value described in the third embodiment. A rule group 600 in FIG. 15 shows a rule group added with a priority to the rule group 406 in FIG. 14 in the third embodiment. FIG. 16 shows a flowchart of the operation of the present embodiment.

第1の実施の形態と同様に、動作状態検出手段1はサービス実行手段10の動作状態を検
出し(ステップ701)、効果判定手段6は状態レジスタ5を参照し、既に実行された対
処コマンドがあるかどうかを判定する(ステップ702)。実行された対処コマンドが無
い場合には効果判定手段6は何もしない。対処方法探索手段3は、動作状態検出手段1か
ら現在の動作状態を受け取り、ルール蓄積手段2に蓄積されている障害対処ルールの条件
式に合致するものがあるかどうかを探索する(ステップ705)。
As in the first embodiment, the operation state detection unit 1 detects the operation state of the service execution unit 10 (step 701), the effect determination unit 6 refers to the state register 5, and the already executed countermeasure command is found. It is determined whether or not there is (step 702). If there is no executed countermeasure command, the effect determination means 6 does nothing. The coping method search unit 3 receives the current operation state from the operation state detection unit 1 and searches whether there is a condition that matches the conditional expression of the failure coping rule stored in the rule storage unit 2 (step 705). .

例えば、メモリ残量が10であった場合、図15の番号1および番号2の条件式に合致す
る。第1の実施の形態では、優先度の高い番号1のルールのAP再起動を選択し、第3の
実施の形態では、現在のメモリ残量10に各々のルールの実績値を加えると条件式を満た
さなくなるルールを選択した。これに対し本実施の形態では、優先度および実績値の双方
を考慮し、より優先度が高く且つ条件式を満たさなくなる実績値を持つルールを選択する
(ステップ706)。図15の場合、番号1のルールは、その優先度は80で、番号2の
ルールの優先度50より高いが、実績値が8であるため、現在のメモリ残量10に8を足
してもメモリ残量20未満の条件が依然として成立するため、第1候補から除外され、メ
モリ残量20未満という条件を満たさなくなる実績値40を持つ番号2のルールが選択さ
れる。他方、現在のメモリ残量が15であった場合、番号1のルールが、より優先度が高
く且つ条件式を満たさなくなる実績値を持つルールとして選択される。各ルールの優先度
の修正は第1の実施の形態と同様に効果判定手段6で行われ、各ルールの実績値の算出は
第3の実施の形態と同様に効果判定手段6で行われる(ステップ703、704)。
For example, when the remaining memory capacity is 10, the conditional expressions No. 1 and No. 2 in FIG. In the first embodiment, the AP restart of the rule of number 1 having a high priority is selected, and in the third embodiment, when the actual value of each rule is added to the current remaining memory capacity 10, the conditional expression A rule that does not meet the criteria was selected. On the other hand, in the present embodiment, considering both the priority and the actual value, a rule having a higher actual value that does not satisfy the conditional expression is selected (step 706). In the case of FIG. 15, the priority of the rule No. 1 is 80, which is higher than the priority 50 of the rule No. 2, but the actual value is 8; Since the condition that the remaining memory capacity is less than 20 still holds, the rule No. 2 having the actual value 40 that is excluded from the first candidate and does not satisfy the condition that the remaining memory capacity is less than 20 is selected. On the other hand, when the current remaining memory capacity is 15, the rule with the number 1 is selected as a rule having a higher priority and a record value that does not satisfy the conditional expression. The priority of each rule is corrected by the effect determination means 6 as in the first embodiment, and the actual value of each rule is calculated by the effect determination means 6 as in the third embodiment ( Steps 703 and 704).

以上述べたように、第4の実施の形態にかかる障害復旧装置では、対処コマンドによる復
旧または回避の成否を判定し、その結果に応じて優先度を修正することにより、特性の異
なるサービス実行手段10に同じルール群を適用した場合にも効率的な運用が可能となる
という効果と、実際のサービス運用の結果に応じて対処方法検索手段3が各々の対処コマ
ンドの実績値を算出することにより、同じ条件式に合致するルールであっても効果のある
ルールを優先的に選択することができ、復旧時間が短縮し確実性が向上するという効果と
を得ることができる。
As described above, in the failure recovery apparatus according to the fourth embodiment, service execution means having different characteristics are determined by determining the success or failure of recovery or avoidance by the handling command and correcting the priority according to the result. When the same rule group is applied to 10, the effective operation is possible, and the countermeasure search means 3 calculates the actual value of each countermeasure command according to the actual service operation result. Even if the rules satisfy the same conditional expression, an effective rule can be preferentially selected, and the recovery time can be shortened and the reliability can be improved.

以上、単一の障害が発生した場合の動作を説明したが、複数の障害が同時に発生した場合
には、対処方法検索手段3は、同じ条件式を有するルール群から優先度および実績値に応
じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群
に含まれる対処コマンドを、例えば優先度の高い順に試行する。また、対処方法検索手段
3は、異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンド
を優先的に試行する。
The operation when a single failure has been described above. However, when multiple failures occur at the same time, the handling method search unit 3 responds to the priority and the actual value from the rule group having the same conditional expression. After selecting a countermeasure command one by one and generating a countermeasure command group, the countermeasure commands included in the countermeasure command group are tried in the order of, for example, the highest priority. The coping method search means 3 preferentially tries a common coping command when there is a coping command common to different conditional expressions.

本発明の前提となる障害復旧装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the failure recovery apparatus used as the premise of this invention. ルール蓄積手段に蓄積される障害対処ルールの一例を示す図である。It is a figure which shows an example of the failure handling rule accumulate | stored in a rule storage means. 本発明の前提となる障害復旧装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the failure recovery apparatus used as the premise of this invention. 本発明の第1の実施の形態の構成例を示すブロック図である。It is a block diagram which shows the structural example of the 1st Embodiment of this invention. 本発明の第1の実施の形態の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the 1st Embodiment of this invention. 本発明の第1の実施の形態における障害対処ルールにおける優先度の変化の一例を示す図である。It is a figure which shows an example of the change of the priority in the failure handling rule in the 1st Embodiment of this invention. 本発明の第1の実施の形態における障害対処ルールにおける優先度の変化の別の例を示す図である。It is a figure which shows another example of the change of the priority in the failure handling rule in the 1st Embodiment of this invention. 本発明の第2の実施の形態における障害対処ルールにおける優先度の変化の別の例を示す図である。It is a figure which shows another example of the change of the priority in the failure handling rule in the 2nd Embodiment of this invention. 本発明の第2の実施の形態の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the 2nd Embodiment of this invention. 本発明の第2の実施の形態における障害対処ルールにおける優先度の変化の別の例を示す図である。It is a figure which shows another example of the change of the priority in the failure handling rule in the 2nd Embodiment of this invention. 本発明の第3の実施の形態におけるルール蓄積手段に蓄積される障害対処ルールの例を示す図である。It is a figure which shows the example of the failure handling rule accumulate | stored in the rule storage means in the 3rd Embodiment of this invention. 本発明の第3の実施の形態の動作の例を示すフローチャートである。It is a flowchart which shows the example of operation | movement of the 3rd Embodiment of this invention. 本発明の第3の実施の形態の障害対処ルールにおける実績値の変化例を示す図である。It is a figure which shows the example of a change of the track record value in the failure handling rule of the 3rd Embodiment of this invention. 本発明の第3の実施の形態の障害対処ルールにおける実績値の別の変化例を示す図である。It is a figure which shows another example of a change of the track record value in the failure handling rule of the 3rd Embodiment of this invention. 本発明の第4の実施の形態におけるルール蓄積手段に蓄積される障害対処ルールの例を示す図である。It is a figure which shows the example of the failure handling rule accumulate | stored in the rule storage means in the 4th Embodiment of this invention. 本発明の第4の実施の形態の動作の例を示すフローチャートである。It is a flowchart which shows the example of operation | movement of the 4th Embodiment of this invention.

符号の説明Explanation of symbols

1 動作状態検出手段
2 ルール蓄積手段
3 対処方法検索手段
4 コマンド実行手段
5 状態レジスタ
6 効果判定手段
10 サービス実行手段
DESCRIPTION OF SYMBOLS 1 Operation | movement state detection means 2 Rule accumulation means 3 Coping method search means 4 Command execution means 5 Status register 6 Effect determination means 10 Service execution means

Claims (14)

サービス実行手段の動作状態を検出する動作状態検出手段と、
前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を生成して状態レジスタに出力する対処方法検索手段と、
前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正する効果判定手段と、を含み、
前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度に応じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする障害復旧装置。
An operation state detection unit for detecting an operation state of the service execution unit;
A conditional expression for determining an operation state when a failure occurs in the service execution means or an operation state presumed to be a precursor to the failure, and a countermeasure command for recovering or avoiding the failure when the operation state is reached; Rule accumulation means for accumulating a plurality of failure handling rules including priority information on the application order between rules;
A rule having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit is extracted from the rule storage unit, and the rule is sequentially tried according to the priority information, and the current Coping method search means for generating operating state change information expected to change after execution of the coping command from negation of a conditional expression that matches the operating state, and outputting the information to the state register;
Compare the operation state change information held in the state register with the operation state of the service execution means after execution of the countermeasure command, which is the output of the operation state detection means, and determine the success or failure of the recovery or avoidance by the countermeasure command And an effect determination means for correcting the priority information according to the result,
When the operation state of the service execution unit, which is an output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit has the same conditional expression A failure recovery apparatus characterized in that after selecting a countermeasure command from a rule group one by one according to priority and generating a countermeasure command group, the countermeasure commands included in the countermeasure command group are tried in descending order of priority. .
サービス実行手段の動作状態を検出する動作状態検出手段と、
前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、
前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、を含むことを特徴とする障害復旧装置。
An operation state detection unit for detecting an operation state of the service execution unit;
A conditional expression for determining an operation state when a failure occurs in the service execution unit or an operation state presumed to be a precursor of the failure, and defines one or more state variables of the operation state and a threshold value thereof A plurality of failure handling rules including a conditional expression, a handling command for recovering or avoiding a fault when the operation state is reached, and actual value information indicating the value of the state variable that changes due to execution of the handling command Rule accumulation means for accumulating
Execution of coping command having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit and inferred from the current operation state and the actual value information from the rule storage unit Retrieval method search means for extracting and trying a rule that causes a later operation state not to satisfy the matched conditional expression, and outputting the value of the state variable before executing the countermeasure command to a state register;
The value of the state variable before executing the countermeasure command held in the state register and the value of the state variable in the operation state of the service execution means after execution of the countermeasure command which is the output of the operation state detection means A failure recovery apparatus comprising: an effect determination means for correcting the result value information in comparison.
前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から実績値情報に応じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを実績値の高い順に試行することを特徴とする請求項2記載の障害復旧装置。   When the operation state of the service execution unit, which is an output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit has the same conditional expression The response command group is selected one by one from the rule group according to the actual value information to generate the response command group, and the response commands included in the response command group are tried in descending order of the actual value. The failure recovery apparatus according to 2. サービス実行手段の動作状態を検出する動作状態検出手段と、
前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、
前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、を含むことを特徴とする障害復旧装置。
An operation state detection unit for detecting an operation state of the service execution unit;
A conditional expression for determining an operation state when a failure occurs in the service execution unit or an operation state presumed to be a precursor of the failure, and defines one or more state variables of the operation state and a threshold value thereof Conditional expression, countermeasure command for recovering or avoiding a failure when the operation state is reached, actual value information indicating the value of the state variable that changes due to execution of the countermeasure command, and the order of application between rules Rule storage means for storing a plurality of failure handling rules including priority information;
Execution of coping command having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit and inferred from the current operation state and the actual value information from the rule storage unit When a later operation state does not satisfy the matched conditional expression, the rule is extracted in order of priority based on the priority information, and is changed after execution of the coping command from the negation of the conditional expression that matches the current operation state. Coping method search means for outputting expected change information of the operating state and a value of the state variable before executing the coping command to a state register;
The operation status change information held in the status register is compared with the operation status of the service execution means after execution of the response command, which is the output of the operation status detection means, to determine whether the recovery by the response command is correct or not. The priority information is modified according to the result, and the value of the state variable before execution of the countermeasure command held in the state register and the output of the operation state detecting means after execution of the countermeasure command The failure recovery apparatus comprising: an effect determination unit that compares the value of the state variable in the operation state of the service execution unit and corrects the actual value information.
前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度および実績値に応じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする請求項4記載の障害復旧装置。   When the operation state of the service execution unit, which is an output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit has the same conditional expression A response command group is generated by selecting a response command one by one from the rule group according to the priority and the actual value, and then the response commands included in the response command group are tried in descending order of priority. The failure recovery apparatus according to claim 4. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行することを特徴とする請求項1ないし5の何れか1項に記載の障害復旧装置。   When the operation state of the service execution unit, which is the output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit uses the different conditional expressions. 6. The failure recovery apparatus according to claim 1, wherein when there is a common handling command, the common handling command is preferentially tried. a)動作状態検出手段が、サービス実行手段の動作状態を検出するステップ
b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を生成して状態レジスタに出力するステップ
c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
d)効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正するステップを含み、
前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度に応じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする障害復旧方法。
a) The operation state detection means detects the operation state of the service execution means. b) The coping method search means indicates an operation state when a failure occurs in the service execution means or an operation state presumed to be a precursor of the failure. From a rule accumulation means for accumulating a plurality of failure handling rules including a conditional expression for determination and a handling command for recovering or avoiding a failure when the operation state is reached and priority information on the order of application between rules Then, a rule having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit is taken out, tried in accordance with the priority information, and matched with the current operation state. Step c of generating change information of an operation state expected to change after execution of the coping command from negation of a conditional expression and outputting the change information to the state register A step of detecting an operation state of the service execution unit after the execution of the coping command; d) an effect determination unit including change information of the operation state held in the state register and the operation state detection unit; Comparing the operation state of the service execution means after execution of the countermeasure command as an output, determining success or failure of recovery or avoidance by the countermeasure command, and correcting the priority information according to the result,
When the operation state of the service execution unit, which is an output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit has the same conditional expression A failure recovery method comprising: selecting a countermeasure command one by one from a rule group according to priority and generating a countermeasure command group; and then trying the countermeasure commands included in the countermeasure command group in descending order of priority .
a)動作状態検出手段が、サービス実行手段の動作状態を検出するステップ
b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ
c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
d)効果判定手段が、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップを含むことを特徴とする障害復旧方法。
a) The operation state detection means detects the operation state of the service execution means. b) The coping method search means indicates an operation state when a failure occurs in the service execution means or an operation state presumed to be a precursor of the failure. A conditional expression for determining, a conditional expression defining one or more state variables of the operation state and a threshold value thereof, a countermeasure command for recovering or avoiding a failure when the operation state is reached, From a rule accumulating unit that accumulates a plurality of fault handling rules including actual value information indicating the value of the state variable that is changed by execution of the coping command, a current execution of the service executing unit detected by the operation state detecting unit A conditional expression that matches the operating state, and the operating condition after execution of the coping command estimated from the current operating state and the actual value information A step of taking out a rule that will be lost and trying it, and outputting the value of the state variable before execution of the handling command to a status register; c) the service execution means after execution of the handling command; D) detecting the operation state of the state d) after the execution of the coping command, which is the value of the state variable before the execution of the coping command held in the state register and the output of the operation state detecting unit Comparing the value of the state variable in the operating state of the service execution means and correcting the actual value information, a failure recovery method characterized by comprising:
前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から実績値情報に応じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを実績値の高い順に試行することを特徴とする請求項8記載の障害復旧方法。   When the operation state of the service execution unit, which is an output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit has the same conditional expression The response command group is selected one by one from the rule group according to the actual value information to generate the response command group, and the response commands included in the response command group are tried in descending order of the actual value. 8. The failure recovery method according to 8. a)動作状態検出手段が、サービス実行手段の動作状態を検出するステップ
b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ
c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
d)効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップを含むことを特徴とする障害復旧方法。
a) The operation state detection means detects the operation state of the service execution means. b) The coping method search means indicates an operation state when a failure occurs in the service execution means or an operation state presumed to be a precursor of the failure. A conditional expression for determining, a conditional expression defining one or more state variables of the operation state and a threshold value thereof, a countermeasure command for recovering or avoiding a failure when the operation state is reached, From the rule accumulation means for accumulating a plurality of failure handling rules including actual value information indicating the value of the state variable that changes by execution of the handling command, and priority information of the application order between the rules, the operation state detection means Execution of a coping command having a conditional expression that matches the current operation state of the service execution means detected in step 1 and inferred from the current operation state and the actual value information With the state of operation tries taking out the rules no longer satisfy the matched condition in order of priority according to the priority information, expected changes after executing the Action command from negative condition that matches the current operating state A step of outputting to the status register the change information of the operating status to be executed and the value of the status variable before executing the handling command; c) the operating status of the service executing means after the handling command is executed; D) The effect determining means compares the operating state change information held in the status register with the operating status of the service execution means after execution of the coping command, which is the output of the operating status detecting means. Determine whether the recovery or avoidance is correct by the response command, and correct the priority information according to the result. The value of the state variable before executing the countermeasure command held in the state register and the value of the state variable in the operation state of the service execution means after execution of the countermeasure command which is the output of the operation state detection means A failure recovery method comprising the step of correcting the result value information in comparison.
前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度および実績値に応じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする請求項10記載の障害復旧方法。   When the operation state of the service execution unit, which is an output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit has the same conditional expression A response command group is generated by selecting a response command one by one from the rule group according to the priority and the actual value, and then the response commands included in the response command group are tried in descending order of priority. The failure recovery method according to claim 10. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行することを特徴とする請求項7ないし11の何れか1項に記載の障害復旧方法。   When the operation state of the service execution unit, which is the output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit uses the different conditional expressions. 12. The failure recovery method according to claim 7, wherein when there is a common handling command, the common handling command is preferentially tried. コンピュータを、サービス実行手段の動作状態を検出する動作状態検出手段、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数に対する閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段、として機能させるプログラム。   An operational state detection unit for detecting an operational state of a service execution unit, a conditional expression for determining an operation state when a failure occurs in the service execution unit or an operation state presumed to be a precursor of a failure. , A conditional expression that defines a threshold value for one or more state variables of the operation state, a countermeasure command for recovering or avoiding a failure when the operation state is reached, and the state that is changed by execution of the countermeasure command From a rule storage unit that stores a plurality of failure handling rules including actual value information indicating a value of a variable, and having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit The rule that the operation state after execution of the coping command estimated from the current operation state and the actual value information does not satisfy the matched conditional expression Coping method search means for extracting and trying and outputting the value of the state variable before executing the coping command to the status register, value of the state variable before executing the coping command held in the state register And an effect determination unit that corrects the actual value information by comparing the value of the state variable in the operation state of the service execution unit after execution of the coping command, which is the output of the operation state detection unit. コンピュータを、サービス実行手段の動作状態を検出する動作状態検出手段、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数に対する閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段、として機能させるプログラム。 An operational state detection unit for detecting an operational state of a service execution unit, a conditional expression for determining an operation state when a failure occurs in the service execution unit or an operation state presumed to be a precursor of a failure. , A conditional expression that defines a threshold value for one or more state variables of the operation state, a countermeasure command for recovering or avoiding a failure when the operation state is reached, and the state that is changed by execution of the countermeasure command The current state of the service execution means detected by the operation state detection means from a rule storage means for storing a plurality of failure handling rules including actual value information indicating variable values and priority information of the application order between rules And the operation state after execution of the coping command estimated from the current operation state and the actual value information is With the rules no longer satisfy the conditional expressions attempts removed in order of priority according to the priority information, the change in the operating state expected from negative condition that matches the current operating state changes after executing the Action command The coping method search means for outputting the information and the value of the state variable before execution of the coping command to the status register, the action status change information held in the status register and the coping status detection means output The operation state of the service execution means after command execution is compared to determine whether recovery by the countermeasure command is correct or not, correct the priority information according to the result, and the countermeasure stored in the status register Execution of the countermeasure command which is the value of the state variable before execution of the command and the output of the operation state detection means The service by comparing the value of the state variable in the operation status of the execution unit, the effect determination means for correcting the actual value information, a program to function as a.
JP2008325500A 2008-12-22 2008-12-22 Failure recovery apparatus, failure recovery method and program Expired - Fee Related JP4998455B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008325500A JP4998455B2 (en) 2008-12-22 2008-12-22 Failure recovery apparatus, failure recovery method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008325500A JP4998455B2 (en) 2008-12-22 2008-12-22 Failure recovery apparatus, failure recovery method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003275107A Division JP4728565B2 (en) 2003-07-16 2003-07-16 Failure recovery apparatus, failure recovery method and program

Publications (3)

Publication Number Publication Date
JP2009076103A JP2009076103A (en) 2009-04-09
JP2009076103A5 JP2009076103A5 (en) 2011-06-16
JP4998455B2 true JP4998455B2 (en) 2012-08-15

Family

ID=40610937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008325500A Expired - Fee Related JP4998455B2 (en) 2008-12-22 2008-12-22 Failure recovery apparatus, failure recovery method and program

Country Status (1)

Country Link
JP (1) JP4998455B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018006911T5 (en) * 2018-01-22 2020-10-01 Nec Corporation ANOMALY DETECTION DEVICE

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02137035A (en) * 1988-11-18 1990-05-25 Hitachi Ltd Trouble diagnostic devices for computer system
JPH02194437A (en) * 1989-01-24 1990-08-01 Nippondenso Co Ltd Inference device using knowledge base
JPH03144831A (en) * 1989-10-31 1991-06-20 Matsushita Electric Ind Co Ltd System restoring method
JP2000293451A (en) * 1999-04-06 2000-10-20 Mitsubishi Electric Corp Distributed data distribution control system and distribution monitoring method
JP2002342184A (en) * 2001-05-16 2002-11-29 Matsushita Electric Ind Co Ltd Retry processor and retry processing program
US7194445B2 (en) * 2002-09-20 2007-03-20 Lenovo (Singapore) Pte. Ltd. Adaptive problem determination and recovery in a computer system
US7089450B2 (en) * 2003-04-24 2006-08-08 International Business Machines Corporation Apparatus and method for process recovery in an embedded processor system
JP2005018179A (en) * 2003-06-24 2005-01-20 Hitachi Ltd Obstacle monitoring device

Also Published As

Publication number Publication date
JP2009076103A (en) 2009-04-09

Similar Documents

Publication Publication Date Title
JP4728565B2 (en) Failure recovery apparatus, failure recovery method and program
JP3826940B2 (en) Failure recovery device, failure recovery method, manager device, and program
US8140914B2 (en) Failure-model-driven repair and backup
JP4313823B2 (en) Fault response system and fault response method
US8789045B2 (en) Rejuvenation processing device, rejuvenation processing system, computer program, and data processing method
CN103116532B (en) Damage in fault from the storehouse embedded software system and recover
JP5093259B2 (en) Communication path strengthening method between BIOS and BMC, apparatus and program thereof
CN103152419A (en) High availability cluster management method for cloud computing platform
JP2008009842A (en) Control method of computer system, and computer system
US9244773B2 (en) Apparatus and method for handling abnormalities occurring during startup
CN108255576B (en) Virtual machine live migration exception handling method and device and storage medium
CN102369513A (en) Method for improving stability of computer system and computer system
JP7387469B2 (en) Communication equipment, monitoring server and log collection method
CN105335244B (en) Method for application recovery
JP4998455B2 (en) Failure recovery apparatus, failure recovery method and program
JP4239989B2 (en) Fault recovery system, fault recovery device, rule creation method, and fault recovery program
CN112650624B (en) Cluster upgrading method, device, equipment and computer readable storage medium
JP2007249663A (en) Transaction device, delay failure detection device and method, and program
US11595244B2 (en) Recovery support apparatus, recovery support method and program
CN109859755B (en) Voice recognition method, storage medium and terminal
JP7000797B2 (en) Startup management device, startup management system, startup management method, and startup management program
JP5601587B2 (en) Process restart device, process restart method, and process restart program
JP5018140B2 (en) Multiprocessor system, task scheduling method, and task scheduling program
JP7331935B2 (en) Abnormality handling support device, method and program
WO2024135322A1 (en) Failure handling device, system, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081222

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110421

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120430

R150 Certificate of patent or registration of utility model

Ref document number: 4998455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees