JP4998455B2 - Failure recovery apparatus, failure recovery method and program - Google Patents
Failure recovery apparatus, failure recovery method and program Download PDFInfo
- Publication number
- JP4998455B2 JP4998455B2 JP2008325500A JP2008325500A JP4998455B2 JP 4998455 B2 JP4998455 B2 JP 4998455B2 JP 2008325500 A JP2008325500 A JP 2008325500A JP 2008325500 A JP2008325500 A JP 2008325500A JP 4998455 B2 JP4998455 B2 JP 4998455B2
- Authority
- JP
- Japan
- Prior art keywords
- operation state
- command
- failure
- state
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
本発明は、WEBサービスや業務サービスといった情報通信サービスを提供する情報処理
装置に関し、特に、障害状態を検知して対処コマンドを実行する耐障害機能を有する障害
復旧装置に関する。
The present invention relates to an information processing apparatus that provides an information communication service such as a WEB service or a business service, and more particularly, to a failure recovery apparatus having a fault tolerance function that detects a fault state and executes a countermeasure command.
通信網を介した情報提供や商品販売といった情報通信サービスは、時間や距離の制約をあ
まり受けずに業務効率化やきめ細かいユーザサービスを提供できることから、急速に利用
範囲が拡大している。このような利用範囲の拡大に伴い、これらのサービスを提供するコ
ンピュータが障害に陥った場合の影響も大きくなり、その耐障害性が大きな課題となって
いる。
Information communication services such as information provision and product sales via a communication network are rapidly expanding their use because they can provide business efficiency and detailed user services without much time and distance restrictions. As the range of use expands, the impact when a computer that provides these services falls into a fault has increased, and its fault tolerance has become a major issue.
第1の従来技術として、サービスを実行する装置の状態を検出して、予め決められた状態
になった場合を障害とみなして自動的に対処コマンドを実行する障害復旧装置では、特定
の障害を自動的に復旧または回避することが可能である。しかし、検知状態や対処コマン
ドが固定されているため、実際のサービス実行環境毎の特性の違いに対応できず、連続運
用に伴って装置の状態が徐々に変化してしまう場合や、他の装置との組合せにより装置の
状態が変化してしまう場合には、適切な対処が行われないという問題があった。また、こ
のような状態の変化に対応するためには、頻繁に検出状態や対処コマンドを変更する必要
があり、管理コストが増大するという問題があった。
As a first conventional technique, a failure recovery device that detects a state of a device that executes a service, automatically considers a failure when the state is in a predetermined state, and automatically executes a response command, detects a specific failure. It can be automatically recovered or avoided. However, because the detection status and response commands are fixed, it is not possible to cope with the difference in characteristics for each actual service execution environment, and the status of the device gradually changes with continuous operation, or other devices When the state of the apparatus changes due to the combination, there is a problem that appropriate measures cannot be taken. Further, in order to cope with such a change in state, it is necessary to frequently change the detection state and the countermeasure command, and there is a problem that the management cost increases.
第2の従来技術として、同じ検出状態に対する対処コマンドを複数用意し、予め決められ
た優先度順に順次対処コマンドを試行する障害復旧装置がある(例えば特許文献1参照)
。この従来の障害復旧装置では、サービス実行環境毎の特性が違う場合でも、複数の対処
コマンドを順次実行することで効果のある対処を行うことができる。しかし、対処コマン
ドの適用順序が固定されているため、最初から個々のサービス実行環境に適した対処が行
われるわけではなく、何度か対処に失敗してから正しい対処が行われることになり、対処
時間が増大するとともに、間違った対処を行ってしまうことで別の障害を引き起こす可能
性があるという問題があった。また、このような問題を避けるためには、別の障害を引き
起こす可能性のある対処コマンドを制限したり、個々のサービス実行環境毎に適切な優先
度を設定する必要があり、障害に対する対処の幅が制限され、システムが大規模/複雑化
するに従って管理コストが増大するという問題があった。
As a second conventional technique, there is a failure recovery device that prepares a plurality of countermeasure commands for the same detection state and sequentially tries the countermeasure commands in a predetermined priority order (see, for example, Patent Document 1).
. In this conventional failure recovery apparatus, even when the characteristics of each service execution environment are different, effective countermeasures can be performed by sequentially executing a plurality of countermeasure commands. However, since the application order of the response commands is fixed, the correct response is not performed from the beginning for each service execution environment. As the handling time increases, there is a problem that wrong handling may cause another failure. In addition, in order to avoid such problems, it is necessary to limit the troubleshooting commands that may cause another failure, or to set an appropriate priority for each service execution environment. There is a problem that the management cost increases as the width is limited and the system becomes larger / complex.
第3の従来技術として、復旧処理を行うオペレータの作業を支援するために、過去の障害
の状況および対処法を記載したナレッジ情報をオペレータに提示する障害復旧装置がある
(例えば特許文献2参照)、この従来の障害復旧装置では、障害時に検出された障害状態
と過去の障害状態との類似度に応じて提示するナレッジ情報の優先度を変化させることに
よって、より適切な作業支援を行うことができる。しかし、検出された状態のみで優先度
を制御するため、提示されたナレッジ情報が現在の症状に類似しているかどうかは判断で
きても、このナレッジ情報に従って実行された対処コマンドで障害が復旧するのかどうか
は判断できず、復旧効率の向上が期待できないという問題があった。また、このような実
行の成否をオペレータに入力させる機能を新たに有する従来の障害復旧装置では、対処コ
マンドの実行がオペレータの判断によって行われるため、提示された情報通りに実行され
たのかどうかが検出できず、提示したナレッジ情報に記載されている対処コマンド自体の
有効性を検証できないという問題があった。
As a third conventional technique, there is a failure recovery device that presents knowledge information describing the past failure situation and countermeasures to the operator in order to support the operator's work for recovery processing (see, for example, Patent Document 2). In this conventional failure recovery apparatus, more appropriate work support can be performed by changing the priority of the knowledge information to be presented according to the similarity between the failure state detected at the time of the failure and the past failure state. it can. However, since priority is controlled only by the detected state, even if it can be determined whether the presented knowledge information is similar to the current symptom, the failure can be recovered by a countermeasure command executed according to this knowledge information. There was a problem that it was not possible to determine whether or not the recovery efficiency could not be improved. Further, in the conventional failure recovery apparatus newly having a function of allowing the operator to input the success or failure of execution, since the execution of the countermeasure command is performed based on the operator's judgment, it is determined whether or not the execution is performed according to the presented information. There was a problem that the effectiveness of the countermeasure command itself described in the presented knowledge information could not be verified.
これらの従来の障害復旧装置では、以下の課題がある。 These conventional failure recovery apparatuses have the following problems.
第1の課題として、第1の従来技術では、連続運用に伴って装置の状態が徐々に変化して
しまう場合や、他の装置との組合せにより装置の状態が変化してしまう場合には、適切な
対処が行われないという問題があった。また、頻繁に検出状態や対処コマンドを変更する
必要があり、管理コストが増大するという問題があった。
As a first problem, in the first prior art, when the state of the apparatus gradually changes with continuous operation, or when the state of the apparatus changes due to a combination with other apparatuses, There was a problem that proper measures were not taken. In addition, it is necessary to frequently change the detection state and the countermeasure command, which increases the management cost.
第2の課題として、第2の従来技術では、何度か対処に失敗してから正しい対処が行われ
ることによって対処時間が増大するとともに、間違った対処を行ってしまうことで別の障
害を引き起こす可能性があるという問題があった。また、障害に対する対処の幅が制限さ
れ、システムが大規模/複雑化するに従って管理コストが増大するという問題があった。
As a second problem, in the second conventional technique, the corrective action is taken after some failure in the action, and the time taken for the action is increased, and another trouble is caused by performing the wrong action. There was a problem that there was a possibility. In addition, there is a problem that the management cost increases as the range of dealing with a failure is limited and the system becomes larger / complex.
第3の課題として、第3の従来技術では、検出された状態のみで優先度を制御するため、
復旧効率の向上が期待できないという問題があった。また、対処コマンドの実行がオペレ
ータの判断によって行われるため、提示したナレッジ情報に記載されている対処コマンド
自体の有効性を検証できないという問題があった。
As a third problem, in the third prior art, the priority is controlled only by the detected state.
There was a problem that improvement in recovery efficiency could not be expected. In addition, since execution of the countermeasure command is performed at the operator's discretion, there is a problem that the validity of the countermeasure command itself described in the presented knowledge information cannot be verified.
本発明は、これらの従来の課題を解決する障害復旧装置を提供することを目的とする。ま
た本発明の別の目的は、管理コストを増大させることなく、対処時間を減少させ、広い範
囲の障害に対してきめ細かな障害対策が可能な障害復旧装置を提供することにある。
An object of the present invention is to provide a failure recovery apparatus that solves these conventional problems. Another object of the present invention is to provide a failure recovery apparatus capable of reducing the response time without increasing the management cost and capable of performing detailed failure countermeasures for a wide range of failures.
本発明の第1の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力する対処方法検索手段と、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正する効果判定手段と、を含んで構成される。 The first failure recovery apparatus according to the present invention includes an operation state detection unit that detects an operation state of a service execution unit, and an operation state when a failure occurs in the service execution unit or an operation state estimated as a precursor of a failure. A rule accumulating unit for accumulating a plurality of fault handling rules including a conditional expression for determination and a handling command for recovering or avoiding a fault when the operation state is reached and priority information of an application order between rules; The rule storage means retrieves a rule having a conditional expression that matches the current operation state of the service execution means detected by the operation state detection means, and sequentially tries according to the priority information, and the current pair for outputting a change information of the operating conditions that are expected to change after the negation of the condition matching the operating state executing the Action command status register The method search means compares the operation state change information held in the state register with the operation state of the service execution means after execution of the response command which is the output of the operation state detection means, Effect determination means for determining success or failure of the avoidance and correcting the priority information according to the result.
本発明の第2の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手
段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測さ
れる動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数
とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避する
ための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示
す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄
積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態
に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマ
ンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行す
るとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力す
る対処方法検索手段と、前記状態レジスタに保持された前記対処コマンドを実行する前の
前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サ
ービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正
する効果判定手段と、を含んで構成される。
The second failure recovery apparatus of the present invention includes an operation state detection unit that detects an operation state of the service execution unit, an operation state when a failure occurs in the service execution unit, or an operation state estimated as a precursor of the failure. A conditional expression for determining, a conditional expression defining one or more state variables of the operation state and a threshold value thereof, a countermeasure command for recovering or avoiding a failure when the operation state is reached, A rule accumulating unit that accumulates a plurality of fault handling rules including actual value information indicating a value of the state variable that is changed by execution of the coping command; and the rule accumulating unit that detects the operation state detecting unit from the rule accumulating unit The operation state after execution of the coping command has a conditional expression that matches the current operation state of the service execution means and is estimated from the current operation state and the actual value information. Taking out a rule that does not satisfy the conditional expression that has been satisfied and trying it, and outputting a value of the state variable before executing the handling command to a status register, and a handling command stored in the status register The actual value information is corrected by comparing the value of the state variable before execution of the state variable with the value of the state variable in the operation state of the service execution unit after execution of the handling command, which is the output of the operation state detection unit. Effect determining means.
本発明の第3の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、を含んで構成される。 The third failure recovery apparatus of the present invention includes an operation state detection unit that detects an operation state of the service execution unit, an operation state when a failure occurs in the service execution unit, or an operation state estimated as a precursor of the failure. A conditional expression for determining, a conditional expression defining one or more state variables of the operation state and a threshold value thereof, a countermeasure command for recovering or avoiding a failure when the operation state is reached, A rule accumulating unit for accumulating a plurality of failure coping rules including actual value information indicating the value of the state variable that is changed by execution of the coping command, and priority information of an application order between rules; And having a conditional expression that matches the current operation state of the service execution means detected by the operation state detection means, and is inferred from the current operation state and the actual value information With attempts to retrieve the rules operating state after the execution processing command does not satisfy the matched condition in order of priority according to the priority information, and executes the Action command from negative condition that matches the current operating state Change information of an operation state expected to change later and coping method search means for outputting the value of the state variable before execution of the coping command to a state register; change information of the operation state held in the state register; The operation status of the service execution means after execution of the handling command, which is the output of the operating status detection means, is compared to determine whether recovery or avoidance by the handling command is correct or not, and the priority information is corrected according to the result In addition, the value of the state variable before the execution of the handling command held in the state register and the operation state detection are performed. By comparing the values of the state variables in the operation state of the service execution means after an output run the address command means, configured to include a, and effects determining means for correcting the actual value information.
本発明の第4の障害復旧装置は、第1ないし第3の障害復旧装置において、前記動作状態
検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる
条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式
を有するルール群から優先度または実績値に応じて対処コマンドを1つづつ選択して対処
コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度または実
績値の高い順に試行する。
According to a fourth failure recovery apparatus of the present invention, in the first to third failure recovery apparatuses, among the conditional expressions in which the operation state of the service execution unit, which is an output of the operation state detection unit, is included in the failure handling rule When a plurality of different conditional expressions are matched, the coping method search means selects a coping command one by one from the rule group having the same conditional expression according to the priority or the actual value, and generates a coping command group. The countermeasure commands included in the countermeasure command group are tried in descending order of priority or actual value.
本発明の第5の障害復旧装置は、第1ないし第4の障害復旧装置において、前記動作状態
検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる
条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる
条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試
行する。
According to a fifth failure recovery apparatus of the present invention, in the first to fourth failure recovery apparatuses, the operation state of the service execution unit, which is an output of the operation state detection unit, is a conditional expression included in the failure handling rule. When a plurality of different conditional expressions are matched, the coping method search means preferentially tries a common coping command when there are coping commands common to the different conditional expressions.
本発明の第1の障害復旧方法は、a)動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力するステップ、c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ、d)効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正するステップ、を含んで構成される。 The first failure recovery method of the present invention includes: a) an operation state detection unit detecting an operation state of a service execution unit; b) an operation when a coping method search unit has a failure in the service execution unit. Contains a conditional expression for determining an operating state that is presumed to be a state or a precursor to a failure, a countermeasure command for recovering or avoiding a failure when the operating state is reached, and priority information on the order of application between rules A rule having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit is extracted from the rule storage unit that stores a plurality of failure handling rules, and sequentially according to the priority information. with attempts, the status register to change information in the operating state in which the negative condition that matches the current operating state is expected to change after performing the addressed command C) a step in which the operation state detection means detects an operation state of the service execution means after execution of the coping command; d) an effect determination means in the operation state held in the state register; The change information is compared with the operation state of the service execution means after execution of the countermeasure command which is the output of the operation state detection means, and the success or failure of the recovery by the countermeasure command is determined, and the priority is determined according to the result Modifying the information.
本発明の第2の障害復旧方法は、a)動作状態検出手段が、サービス実行手段の動作状態
を検出するステップ、b)対処方法検索手段が、前記サービス実行手段で障害が発生した
場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって
、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態
になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実
行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを
蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段
の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推
測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを
取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態
レジスタに出力するステップ、c)前記動作状態検出手段が、前記対処コマンド実行後の
前記サービス実行手段の動作状態を検出するステップ、d)効果判定手段が、前記状態レ
ジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検
出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における
前記状態変数の値を比較して、前記実績値情報を修正するステップ、を含んで構成される
。
In the second failure recovery method of the present invention, a) the operation state detecting means detects the operation state of the service execution means; b) the coping method search means operates when a failure occurs in the service execution means. A conditional expression for determining an operational state that is presumed to be a precursor of a state or a failure, wherein the conditional expression defines one or more state variables of the operational state and their thresholds, and when the operational state is reached The operation state detection from a rule storage means for storing a plurality of failure handling rules including a handling command for recovering or avoiding a failure and actual value information indicating a value of the state variable that changes by execution of the handling command After executing a coping command having a conditional expression that matches the current operation state of the service execution means detected by the means and inferred from the current operation state and the actual value information A step of extracting and trying a rule whose operation state does not satisfy the matched conditional expression, and outputting a value of the state variable before executing the coping command to a state register; c) the operation state detection means; A step of detecting an operation state of the service execution means after execution of a countermeasure command; d) a value of the state variable before the execution of the countermeasure command held in the state register by the effect determination means and the operation state detection means; And comparing the value of the state variable in the operation state of the service execution means after execution of the handling command, which is an output of the command, and correcting the result value information.
本発明の第3の障害復旧方法は、a)動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ、c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ、d)効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップ、を含んで構成される。 In the third failure recovery method of the present invention, a) the operation state detecting means detects the operation state of the service execution means; b) the coping method search means is an operation when a failure occurs in the service execution means. A conditional expression for determining an operational state that is presumed to be a precursor of a state or a failure, wherein the conditional expression defines one or more state variables of the operational state and their thresholds, and when the operational state is reached A plurality of failure handling rules including a handling command for recovering or avoiding a failure, actual value information indicating the value of the state variable that changes by execution of the handling command, and priority information on the application order between rules The rule storage means stores the conditional expression that matches the current operation state of the service execution means detected by the operation state detection means, and the current operation state and the actual value information The Action rules operating state after the execution address command does not satisfy the matched condition inferred with attempts removed in order of priority according to the priority information, the negation of the condition that matches the current operating state from A step of outputting to the state register the change information of the operation state expected to change after executing the command and the value of the state variable before executing the countermeasure command; c) the operation state detecting means executing the countermeasure command A step of detecting an operation state of the subsequent service execution unit; and d) an effect determination unit after the execution of the coping command that is the change information of the operation state held in the state register and the output of the operation state detection unit Comparing the operating status of the service execution means to determine the correctness of recovery or avoidance by the countermeasure command, and responding to the result The service execution means after executing the countermeasure command which is the value of the state variable before executing the countermeasure command held in the state register and the output of the operation state detection means, while correcting the priority information And comparing the value of the state variable in the operation state, and correcting the result value information.
本発明の第4の障害復旧方法は、第1ないし第3の障害復旧方法において、前記動作状態
検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる
条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式
を有するルール群から優先度または実績値に応じて対処コマンドを1つづつ選択して対処
コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度または実
績値の高い順に試行する。
According to a fourth failure recovery method of the present invention, in the first to third failure recovery methods, the operation state of the service execution unit, which is an output of the operation state detection unit, is a conditional expression included in the failure handling rule. When a plurality of different conditional expressions are matched, the coping method search means selects a coping command one by one from the rule group having the same conditional expression according to the priority or the actual value, and generates a coping command group. The countermeasure commands included in the countermeasure command group are tried in descending order of priority or actual value.
本発明の第5の障害復旧方法は、第1ないし第4の障害復旧方法において、前記動作状態
検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる
条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる
条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試
行する。
According to a fifth failure recovery method of the present invention, in the first to fourth failure recovery methods, the operation state of the service execution unit, which is an output of the operation state detection unit, is a conditional expression included in the failure handling rule. When a plurality of different conditional expressions are matched, the coping method search means preferentially tries a common coping command when there are coping commands common to the different conditional expressions.
本発明の第1の障害復旧装置および方法にあっては、対処方法検索手段によって対処方法が同じ条件式に対する複数の対処コマンドを優先度情報に応じて順次試行する。さらに、前記現在の動作状態に合致した条件式の否定からこの対処コマンドを実行した後に変化すると予想される動作状態の変化情報を出力することで、効果判定手段が現在の動作状態がこの変化と合致しているか否かによって対処コマンドの成否を判定し、その成否に応じて優先度情報を修正する。これにより、個々のサービス実行環境に適した対処コマンドを探し出して実行することができるため、第1の課題を解決する。
In the first failure recovery apparatus and method of the present invention, a plurality of coping commands for the conditional expressions having the same coping method are sequentially tried by the coping method retrieval unit according to the priority information. Further, by outputting the change information of the operation state that is expected to change after executing the coping command from the negation of the conditional expression that matches the current operation state , the effect determination means causes the current operation state to be changed. The success / failure of the handling command is determined based on whether or not they match, and the priority information is corrected according to the success / failure. As a result, a countermeasure command suitable for each service execution environment can be found and executed, so that the first problem is solved.
また、成功した対処コマンドの優先度を上昇させることで、予め個々のサービス実行環境
の特性に合わせた優先度を提供できない場合でも、障害への対処が継続されるに従って自
動的に適切な優先度へと修正されるため、対処時間が短縮され、誤った対処によって別の
障害を引き起こす確率を低下させることができる。さらに、与えられた対処コマンドに適
切なものが含まれていれば、失敗によって優先度の低下した対処コマンドが実行される前
に障害への対処が完了することになることから、サービス実行環境の特性によっては別の
障害を引き起こす可能性の高い危険な対処コマンドを混在させた障害対処ルール群を用い
た場合にも、悪影響を抑えた適切な障害対策が可能となり、第2の課題を解決する。
In addition, by increasing the priority of successful response commands, even if priorities that match the characteristics of individual service execution environments cannot be provided in advance, the appropriate priority is automatically set as response to failures continues. Therefore, the handling time is shortened, and the probability of causing another failure due to wrong handling can be reduced. Furthermore, if an appropriate response command is included, the response to the failure will be completed before the response command whose priority has been lowered due to the failure is executed. Depending on the characteristics, even when using a failure handling rule group in which dangerous handling commands that are likely to cause another failure are used, appropriate failure countermeasures with reduced adverse effects are possible, and the second problem is solved. .
さらに、これらの優先度制御は、実際に実行された対処コマンドの成否を判定することに
よって行われるため、成功率の高い対処コマンドを優先的に実行することができる。また
、自動実行によって検証されるため、オペレータの主観に依らず、ルールの有効性を統一
した基準で正確に判定することが可能となり、第3の課題を解決する。
Furthermore, since these priority controls are performed by determining the success / failure of the actually executed countermeasure command, the countermeasure command having a high success rate can be preferentially executed. Further, since verification is performed by automatic execution, it becomes possible to accurately determine the effectiveness of the rule based on a unified standard regardless of the subjectivity of the operator, thereby solving the third problem.
本発明の第2の障害復旧装置および方法にあっては、対処方法検索手段によって対処方法
が同じ条件式に対する複数の対処コマンドのうち、サービス実行手段の現在の動作状態と
ルールの実績値情報とから推測される対処コマンド実行後の動作状態が前記条件式を満た
さなくなるルールを選択して試行する。さらに、この対処コマンドを実行する前の状態変
数の値を保存しておき、その対処コマンド実行後のサービス実行手段の動作状態における
状態変数の値と比較して、前記実績値情報を修正する。これにより、個々のサービス実行
環境に適した対処コマンドを探し出して実行することができるため、第1の課題を解決す
る。
In the second failure recovery apparatus and method of the present invention, the current operation state of the service execution means and the actual record value information of the rule among a plurality of response commands for the conditional expression having the same response method by the response method search means The rule after the execution of the coping command inferred from the rule is selected and tried so that the conditional expression is not satisfied. Further, the value of the state variable before execution of the handling command is saved, and the result value information is corrected by comparing with the value of the state variable in the operating state of the service execution means after execution of the handling command. As a result, a countermeasure command suitable for each service execution environment can be found and executed, so that the first problem is solved.
また、サービス実行手段の現在の動作状態とルールの実績値情報とから推測される対処コ
マンド実行後の動作状態が条件式を満たさなくなるルールを選択して実行するため、対処
時間が短縮され、誤った対処によって別の障害を引き起こす確率を低下させることができ
る。さらに、実行しても条件式を満たさなくできないルールの実行を防止できるため、サ
ービス実行環境の特性によっては別の障害を引き起こす可能性の高い危険な対処コマンド
を混在させた障害対処ルール群を用いた場合にも、悪影響を抑えた適切な障害対策が可能
となり、第2の課題を解決する。
In addition, since the operation state after execution of the coping command estimated from the current operation state of the service execution means and the actual value information of the rule is selected and executed, the coping time is shortened. Coping can reduce the probability of causing another failure. Furthermore, because it can prevent the execution of rules that cannot be executed without satisfying the conditional expression even if they are executed, a failure handling rule group that contains a mixture of dangerous response commands that are likely to cause other failures depending on the characteristics of the service execution environment is used. Even in the case of failure, it is possible to take appropriate measures against failure with reduced adverse effects, thereby solving the second problem.
さらに、これらの実績値情報の更新は、実際に実行された対処コマンドの結果に基づいて
機械的に実行されるため、オペレータの主観に依らず、ルールの有効性を統一した基準で
正確に判定することが可能となり、第3の課題を解決する。
In addition, the update of the actual value information is performed mechanically based on the result of the actually executed countermeasure command, so that the rule effectiveness is accurately determined regardless of the subjectivity of the operator. It becomes possible to solve the third problem.
本発明の第3の障害復旧装置および方法にあっては、第1および第2の障害復旧装置およ
び方法の効果をあわせ持つことにより、第1ないし第3の課題を解決する。
The third failure recovery apparatus and method of the present invention solves the first to third problems by combining the effects of the first and second failure recovery apparatuses and methods.
本発明の第1の障害復旧装置および方法では、対処方法検索手段によって対処方法が同じ
条件式に対する複数の対処コマンドを優先度情報に応じて順次試行する。さらに、この対
処コマンドを実行した後に変化すると予想される動作状態の変化情報を出力することで、
効果判定手段が現在の動作状態がこの変化と合致しているか否かによって対処コマンドの
成否を判定し、その成否に応じて優先度情報を修正する。これにより、個々のサービス実
行環境に適した対処コマンドを探し出して実行することができる。また、成功した対処コ
マンドの優先度を上昇させることで、予め個々のサービス実行環境の特性に合わせた優先
度を提供できない場合でも、障害への対処が継続されるに従って自動的に適切な優先度へ
と修正されるため、対処時間が短縮され、誤った対処によって別の障害を引き起こす確率
を低下させるという効果がある。さらに、与えられた対処コマンドに適切なものが含まれ
ていれば、失敗によって優先度の低下した対処コマンドが実行される前に障害への対処が
完了することになることため、サービス実行環境の特性によっては別の障害を引き起こす
可能性の高い危険な対処コマンドを混在させた障害対処ルール群を用いた場合にも、悪影
響を抑えた適切な障害対策が可能となるという効果がある。
In the first failure recovery apparatus and method of the present invention, the coping method search means sequentially tries a plurality of coping commands for the conditional expressions having the same coping method according to the priority information. Furthermore, by outputting the change information of the operating state that is expected to change after executing this coping command,
The effect determination means determines whether or not the countermeasure command is successful depending on whether or not the current operation state matches this change, and corrects the priority information according to the success or failure. Thereby, it is possible to find and execute a countermeasure command suitable for each service execution environment. In addition, by increasing the priority of successful response commands, even if priorities that match the characteristics of individual service execution environments cannot be provided in advance, the appropriate priority is automatically set as response to failures continues. As a result, the handling time is shortened, and the probability of causing another failure due to wrong handling is reduced. Furthermore, if an appropriate response command is included, the response to the failure will be completed before the response command whose priority has been lowered due to the failure is executed. Even when a failure handling rule group in which dangerous handling commands that are likely to cause another failure depending on characteristics are used, an appropriate failure countermeasure with reduced adverse effects can be achieved.
本発明の第2の障害復旧装置および方法では、対処方法検索手段によって対処方法が同じ
条件式に対する複数の対処コマンドのうち、サービス実行手段の現在の動作状態とルール
の実績値情報とから推測される対処コマンド実行後の動作状態が前記条件式を満たさなく
なるルールを選択して試行する。さらに、この対処コマンドを実行する前の状態変数の値
を保存しておき、その対処コマンド実行後のサービス実行手段の動作状態における状態変
数の値と比較して、前記実績値情報を修正する。これにより、個々のサービス実行環境に
適した対処コマンドを探し出して実行することができる。また、サービス実行手段の現在
の動作状態とルールの実績値情報とから推測される対処コマンド実行後の動作状態が条件
式を満たさなくなるルールを選択して実行するため、対処時間が短縮され、誤った対処に
よって別の障害を引き起こす確率を低下させることができる。さらに、実行しても条件式
を満たさなくできないルールの実行を防止できるため、サービス実行環境の特性によって
は別の障害を引き起こす可能性の高い危険な対処コマンドを混在させた障害対処ルール群
を用いた場合にも、悪影響を抑えた適切な障害対策が可能となるとういう効果がある。
In the second failure recovery apparatus and method of the present invention, the coping method search unit is inferred from the current operation state of the service execution unit and the rule actual value information among a plurality of coping commands for the conditional expression having the same coping method. A rule that does not satisfy the conditional expression after the operation command is executed is selected and tried. Further, the value of the state variable before execution of the handling command is saved, and the result value information is corrected by comparing with the value of the state variable in the operating state of the service execution means after execution of the handling command. Thereby, it is possible to find and execute a countermeasure command suitable for each service execution environment. In addition, since the operation state after execution of the coping command estimated from the current operation state of the service execution means and the actual value information of the rule is selected and executed, the coping time is shortened. Coping can reduce the probability of causing another failure. Furthermore, because it can prevent the execution of rules that cannot be executed without satisfying the conditional expression even if they are executed, a failure handling rule group that contains a mixture of dangerous response commands that are likely to cause other failures depending on the characteristics of the service execution environment is used. In the case of failure, it is possible to take appropriate countermeasures against failures with reduced adverse effects.
本発明の第3の障害復旧装置および方法では、第1および第2の障害復旧装置および方法
の効果をあわせ奏することが可能となる。
In the third failure recovery apparatus and method of the present invention, it is possible to combine the effects of the first and second failure recovery apparatuses and methods.
本発明の第4の障害復旧装置および方法では、複数の障害が同時発生した場合にも、対処
コマンドの成否に応じて関連するルールの優先度、実績値が適切に修正されるという効果
を得ることができる。
According to the fourth failure recovery apparatus and method of the present invention, even when a plurality of failures occur at the same time, there is an effect that the priority and the actual value of the related rule are appropriately corrected according to the success or failure of the handling command. be able to.
本発明の第5の障害復旧装置および方法では、共通する対処コマンドが存在する場合には
、対処方法検索手段が共通する対処コマンドを優先的に試行することで、復旧時間を短縮
しつつ着実に障害復旧できるという効果がある。
In the fifth failure recovery apparatus and method of the present invention, when there is a common handling command, the handling method search means preferentially tries the common handling command, thereby steadily reducing the recovery time. There is an effect that the failure can be recovered.
本発明の実施の形態を説明する前に、図1、図2、図3を用いて本発明の前提となる障害
復旧装置について説明する。
Before describing the embodiment of the present invention, a failure recovery apparatus as a premise of the present invention will be described with reference to FIG. 1, FIG. 2, and FIG.
図1を参照すると、本発明の前提となる障害復旧装置は、サービス実行手段10に接続さ
れた動作状態検出手段1およびコマンド実行手段4と、ルール蓄積手段2と、これらに接
続された対処方法検索手段3とを含んで構成される。
Referring to FIG. 1, a failure recovery apparatus as a premise of the present invention includes an operation
サービス実行手段10は、WEBサービスや業務サービスといった情報通信サービスを提
供する。ルール蓄積手段2は、障害対処ルールを蓄積する。図2に障害対処ルールの例を
示す。障害対処ルールは、障害が発生した場合の動作状態または障害の前兆と推測される
動作状態を判定するための条件式と、その動作状態になった場合に障害を復旧または回避
するための対処コマンドと、同じ条件式に対する対処コマンドの適用順序を示す優先度で
構成される。図2の番号1および2のルールは、サービス実行手段10のメモリ残量の数
値が20以下となった状態を障害とみなすための条件式と、その状態で実行すべき対処コ
マンドとしてアプリケーション(AP)再起動コマンドおよびオペレーティングシステム
(OS)再起動コマンドがそれぞれ優先度80、50として定義されている。同様に、番
号3〜5のルールは、APの出力が異常の場合に、AP再起動、OS再起動、ディスク切
り替えがそれぞれ優先度80、40、30で定義されている。
The service execution means 10 provides information communication services such as a WEB service and a business service. The
図3は、図1の障害復旧装置における動作のフローチャートを示す。動作状態検出手段1
は、サービス実行手段10の動作状態を検出する(図3のステップ101)。動作状態は
、障害対処ルールの条件式に沿った形で検出される。図2の例では、メモリ残量やAP出
力の正常/異常等が検出される。対処方法探索手段3は、動作状態検出手段1から現在の
動作状態を受け取り、ルール蓄積手段2に蓄積されている障害対処ルールの条件式に合致
するものがあるかどうかを探索する(ステップ102)。合致する条件式が無い場合は、
障害が発生していないものとして、ステップ101に戻る。合致する条件があった場合は
、障害発生とみなして対応する対処コマンド探索する。例えば、検出された動作状態のう
ち、メモリ残量が20未満であった場合は、図2の番号1および番号2の条件式に合致す
るため、対処コマンドとしてAP再起動とOS再起動が候補となるが、AP再起動の優先
度の方が高いため、対処コマンドとしてAP再起動を選択して出力する。この対処コマン
ドをコマンド実行手段4が受け取り、サービス実行手段10にその実行を指示することで
、サービス実行環境上のアプリケーションが再起動される(ステップ103)。この後、
ステップ101に戻って動作状態検出手段1が、対処コマンド実行後の動作状態を検出す
る。ここで、メモリ残量が20未満のままであれば(ステップ102)、次の対処コマン
ドとしてOS再起動が実行される(ステップ103)。メモリ残量が20以上になってい
れば、合致する条件式がなくなり、障害への対処が完了する。
FIG. 3 shows a flowchart of the operation in the failure recovery apparatus of FIG. Operating state detection means 1
Detects the operating state of the service execution means 10 (
Returning to step 101, assuming that no failure has occurred. If there is a matching condition, it is determined that a failure has occurred and a corresponding command is searched. For example, if the remaining memory capacity is less than 20 among the detected operation states, the condition commands of No. 1 and No. 2 in FIG. However, since the priority of AP restart is higher, AP restart is selected and output as a countermeasure command. The command execution means 4 receives this handling command and instructs the service execution means 10 to execute the command, whereby the application on the service execution environment is restarted (step 103). After this,
Returning to step 101, the operation state detection means 1 detects the operation state after execution of the countermeasure command. If the remaining memory capacity is less than 20 (step 102), the OS is restarted as the next countermeasure command (step 103). If the remaining memory capacity is 20 or more, there is no matching conditional expression, and the handling of the fault is completed.
このように、図1に示す障害復旧装置では、予め決められた条件で対処コマンドを自動的
に実行するため、障害対処ルールに記述された障害に関してはサービス実行手段10の障
害を自動的に復旧または回避することができる。この場合、優先度として予め決められた
順序で対処コマンドが実行されることになり、一般的に成功する可能性の高い対処コマン
ドに高い優先度をつけることで、対処の効率を制御することができる。しかし、対処コマ
ンドのうちどれが有効であるかは、サービス実行手段10のハードウェア構成や実行ソフ
トウェアの種類の他、提供するサービスの内容や、運用継続によって変化する内部状態に
も依存するものであり、常に効率的な優先度を定義することは困難である。このため、例
えば図2の例でAP再起動が常に失敗するようなサービス実行手段10では、OS再起動
の実行前に常にAP再起動が失敗するのを待つ必要があり、対処にかかる時間が増大して
しまう。また、AP再起動が失敗する理由によっては別の障害を引き起こす場合があり、
対処自体ができなくなる可能性もある。
As described above, since the failure recovery apparatus shown in FIG. 1 automatically executes the response command under predetermined conditions, the failure of the service execution means 10 is automatically recovered with respect to the failure described in the failure handling rule. Or it can be avoided. In this case, the countermeasure commands are executed in a predetermined order as priorities, and the countermeasure efficiency can be controlled by giving a high priority to the countermeasure commands that are generally likely to succeed. it can. However, which of the countermeasure commands is valid depends on the hardware configuration of the service execution means 10 and the type of execution software, as well as the contents of the provided service and the internal state that changes as the operation continues. Yes, it is always difficult to define efficient priorities. For this reason, for example, in the
There is a possibility that it will not be possible to deal with it.
次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
(第1の実施の形態)
先ず、図4、図5、図6、図7を用いて、本発明の第1の実施の形態について説明する。
(First embodiment)
First, the first embodiment of the present invention will be described with reference to FIG. 4, FIG. 5, FIG. 6, and FIG.
図4は、本発明の第1の実施の形態の構成を示すブロック図である。この実施の形態の障
害復旧装置では、図1の構成に加えて、対処コマンドを実行した後に変化すると予想され
る動作状態の変化情報を保持する状態レジスタ5と、この動作状態の変化情報と動作状態
検出手段1の出力である動作状態を比較して、対処コマンドによる復旧または回避の成否
を判定し、その結果に応じて優先度を修正する効果判定手段6を新たに有する。また、対
処方法検索手段3は、現在の状態値に合致した対処コマンドを出力する際に、その対処コ
マンドを実行した後に変化すると予想される動作状態の変化情報を出力する機能を新たに
有する。
FIG. 4 is a block diagram showing a configuration of the first exemplary embodiment of the present invention. In the failure recovery apparatus of this embodiment, in addition to the configuration of FIG. 1, the
動作状態検出手段1、対処方法検索手段3、コマンド実行手段4および効果判定手段6の
各機能手段は、例えばコンピュータと障害復旧プログラムとで実現することができる。障
害復旧プログラムは、磁気ディスク等のコンピュータ可読記録媒体に記録されて提供され
、コンピュータの立ち上げ時などにコンピュータに読み取られ、コンピュータの動作を制
御することにより、そのコンピュータ上に動作状態検出手段1、対処方法検索手段3、コ
マンド実行手段4および効果判定手段6の各機能手段を実現する。また、ルール蓄積手段
2および状態レジスタ5は、コンピュータに備わる主記憶や外部記憶装置で実現可能であ
る。
The functional units of the operation
図5は、図4に示した障害復旧装置の動作のフローチャートを示す。図6、図7は、本実
施の形態における障害対処ルールの優先度の変化例を示した図である。まず、初期状態と
して図2のような優先度である場合を例に本実施の形態の動作を説明する。
FIG. 5 shows a flowchart of the operation of the failure recovery apparatus shown in FIG. FIGS. 6 and 7 are diagrams showing an example of a change in the priority of the failure handling rule in the present embodiment. First, the operation of the present embodiment will be described by taking the case of the priority as shown in FIG. 2 as an initial state.
動作状態検出手段1は、サービス実行手段10の動作状態を検出する(図5のステップ2
01)。次に、効果判定手段6が状態レジスタ5を参照し、既に実行された対処コマンド
があるかどうかを判定する(ステップ202)。実行された対処コマンドが無い場合には
効果判定手段6は何もしない。対処方法探索手段3は、動作状態検出手段1から現在の動
作状態を受け取り、ルール蓄積手段2に蓄積されている障害対処ルールの条件式に合致す
るものがあるかどうかを探索する(ステップ205)。例えば、メモリ残量が20未満で
あった場合、図2の番号1および番号2の条件式に合致し、優先度の高いAP再起動が選
択される。この時、対処方法探索手段3は対処コマンドの出力と同時に、この対処コマン
ドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタにセットする
。この場合、対処コマンドの実行によってルール内の条件式で示される障害状態が回避さ
れること、つまり、動作状態の1つであるメモリ残量が条件式に示される閾値である20
を超えることが予想されることから、実行する対処コマンドと対処が成功した場合の条件
として「メモリ残量が20以上」という条件を状態レジスタ5にセットする(ステップ2
06)。対処コマンドは、コマンド実行手段4を介してサービス実行手段10上で実行さ
れる(ステップ207)。
The operation
01). Next, the effect determination means 6 refers to the
Is set in the
06). The coping command is executed on the service execution means 10 via the command execution means 4 (step 207).
この後、ステップ201に戻って動作状態検出手段1が、対処コマンド実行後のサービス
実行手段10の動作状態を検出する。効果判定手段6は、対処コマンドが実行されている
ことを検知して(ステップ202)、現在の動作状態と状態レジスタ5の「メモリ残量が
20以上」という条件を比較して効果を判定し(ステップ203)、対応する番号1のル
ールの優先度を修正する(ステップ204)。図6のルール群301は、AP再起動によ
る復旧に失敗し、OS再起動による復旧に成功した場合の変化を示す。図6では、優先度
の修正方法の一例として、成功した場合に優先度を10増やし、失敗した場合に10減ら
す例を示す。この場合、AP再起動後のステップ203で条件が満たされない(メモリ残
量が閾値である20未満であり障害状態が継続している)ことを判定して、番号1の優先
度を80から10減らした70とする。続いて、ステップ205からステップ207を経
てOS再起動を実行し、その後のステップ203で条件が満たされた(メモリ残量が閾値
である20を超え障害状態が回避された)ことを判定して、番号2の優先度を50から1
0増やした60とする。
Thereafter, returning to step 201, the operation
60 is increased by 0.
同様に、図6のルール群302では、同じメモリ残量の障害が発生し、AP再起動、OS
再起動共に復旧に失敗した場合の優先度の変化を示す。番号1のルールの優先度は、さら
に10減った60になり、番号2の優先度は、10減った50に戻っている。この時点で
は、まだ番号1のルールの方が優先度が高いため、新たな障害が発生した場合は、AP再
起動が先に実行されることになる。次に、再度同じ障害が発生し、AP再起動による復旧
が失敗、OS再起動による復旧が成功した場合を図6のルール群303に示す。この場合
、番号1のルールはさらに10減った50になり、番号2のルールは10増えて60とな
る。ここで、2回成功した番号2のルールの優先度は、3回とも失敗した番号1よりも高
くなり、次回同じ障害が発生した場合は、OS再起動が先に実行されることになる。
Similarly, in the
Indicates the change in priority when recovery fails for both restarts. The priority of the
図7は、同様にしてAP出力異常の障害が発生した場合の優先度の変化を示す。ルール群
304は、図6のルール群303の状態で、AP出力が異常であることを検出し、番号3
、4、5のルールが順に実行された例を示す。この場合、番号3、4の対処コマンドであ
るAP再起動、OS再起動は共に復旧に失敗したため、優先度が10づつ減っており、番
号5のディスク切り替えによる復旧に成功したため、優先度が10増えている。この時点
で、番号4と番号5の優先度は逆転しており、次に、同じAP出力異常が発生した場合、
まず番号3のルールが適用されAP再起動が行われるが、AP再起動による復旧に失敗し
た場合は、ディスク切り替えが実行される。ディスク切り替えによる復旧に成功した場合
には、ここで対処が完了するため、番号4のOS再起動が実行されることはない。このよ
うにして、番号3の優先度が10減り、番号5の優先度が10増えると、図7のルール3
05のようになる。次に同じ障害で、またディスク切り替えによる復旧に成功する場合を
考えると、やはり、AP再起動が試されて、次にディスク切り替えによる復旧が成功する
。その後は、ルール群306に示すように、ディスク切り替えの優先度が最も高くなるた
め、同じ障害に対してはディスク切り替えが最初に実行されることになり、これが成功し
た場合には、他の対処コマンドが実行されることはなくなるため、不要な処理によって別
の障害が引き起こされることを防止できる。
FIG. 7 shows a change in priority when an AP output abnormality failure occurs in the same manner. The
An example is shown in which the
First, the rule of
It becomes like 05. Next, considering the case where recovery is successful by the same failure and disk switching, AP restart is tried again, and recovery by disk switching is then succeeded. After that, as shown in the
以上述べたように、第1の実施の形態にかかる障害復旧装置では、対処コマンドによる復
旧または回避の成否を判定し、その結果に応じて優先度を修正する効果判定手段6を有す
ることにより、特性の異なるサービス実行手段10に同じルール群を適用した場合にも効
率的な運用が可能になるという効果を得ることができる。
As described above, the failure recovery apparatus according to the first embodiment has the effect determination means 6 that determines success or failure of recovery or avoidance by the handling command and corrects the priority according to the result. Even when the same rule group is applied to the service execution means 10 having different characteristics, it is possible to obtain an effect that efficient operation becomes possible.
例えば図6は、継続運用でメモリ残量が減るような障害にAPプログラムのバグによるメ
モリリークが原因であるものが多いため、AP再起動の優先度を高くしておくといった運
用効率化の例である。しかし、サービス実行手段10の特性によっては、通常は問題とな
らないOSのバグが何らかの状態で発現している場合もあり、このような状況では、AP
再起動の優先度が高いことが運用効率の低下を招く可能性もある。本実施の形態では、前
述した通り、実際のサービス実行手段10の特性に応じて優先度が自動的に最適化される
ことから、同じルール群を適用していても個々のサービス実行手段10に適した障害対策
を実現することができる。図7は、AP出力の異常がディスクにより引き起こされるよう
な例である。AP出力の異常がAP再起動で復旧できていたサービス実行手段10であっ
ても、例えばディスク交換等の修理を行った後に特性が変わってしまうといったように、
新たなルールを適用しなければ効率的な運用が出来ない場合がある。従来の障害復旧装置
では、このような状況をオペレータが把握し、その都度ルールを修正する必要があったが
、本実施の形態では、このような場合でも適切な優先度に修正されるため、管理コストを
増大させることなく、対処時間を減少させ、広い範囲の障害に対して決め細かな障害対策
を行うことができる。
For example, FIG. 6 shows an example of operational efficiency in which the priority of restarting the AP is increased because many failures due to the AP program bug are caused by failures that reduce the remaining memory capacity in continuous operation. It is. However, depending on the characteristics of the service execution means 10, an OS bug that does not normally cause a problem may appear in some state.
Higher restart priority may lead to lower operational efficiency. In the present embodiment, as described above, since the priority is automatically optimized according to the characteristics of the actual service execution means 10, even if the same rule group is applied, the individual service execution means 10 Appropriate failure countermeasures can be realized. FIG. 7 shows an example in which an abnormality in AP output is caused by the disk. Even if the service execution means 10 has recovered from an AP output abnormality by restarting the AP, for example, the characteristics may change after repair such as disk replacement.
Efficient operation may not be possible without applying new rules. In the conventional failure recovery apparatus, the operator has to grasp such a situation, and it is necessary to correct the rule each time, but in this embodiment, even in such a case, it is corrected to an appropriate priority. Without increasing the management cost, it is possible to reduce the handling time and to take detailed measures against failures over a wide range of failures.
尚、本実施の形態で例に挙げた動作状態や対処コマンドについては、この例に限定される
ものではなく、本発明の構成に従ってサービス実行手段10で検出できる動作状態や実行
可能な対処コマンドであれば同様の効果が得られるものである。また、優先度の数値や計
算方法についても、対処コマンドの実行結果に従った修正を行うものであれば、対処コマ
ンドを効率的に実行することができる。
Note that the operation states and countermeasure commands given as examples in the present embodiment are not limited to this example, and are the operation states that can be detected by the service execution means 10 according to the configuration of the present invention and executable countermeasure commands. If there is, the same effect can be obtained. In addition, regarding the numerical value of the priority and the calculation method, if the correction is performed according to the execution result of the countermeasure command, the countermeasure command can be executed efficiently.
(第2の実施の形態)
本実施の形態では、第1の実施の形態で説明した構成および動作に加えて、図8を用いて
複数の障害が同時に発生した場合の動作の例を示す。対処方法検索手段3は、第1の実施
の形態の機能に加えて、同じ条件式を有するルール群から優先度に応じて対処コマンドを
1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマ
ンドを優先度の高い順に試行する機能を有する。
(Second Embodiment)
In this embodiment, in addition to the configuration and operation described in the first embodiment, an example of operation in the case where a plurality of faults occur at the same time is shown using FIG. In addition to the function of the first embodiment, the handling
図8のルール群307は、図7のルール群306の状態からAP出力異常が発生して番号
5のルールによる復旧が成功し優先度が70となった例を示す。この状態で、メモリ残量
不足とAP出力異常が同時に発生した場合、番号1ないし5の条件式がすべて有効となり
、対処コマンドとして最大の優先度を持つ番号5のルールが適用され、対処コマンドとし
てディスク切り替えが実行される。ルール群308は、ディスク切り替えによる復旧が失
敗した場合の例を示し、番号5の優先度が10減っている。この場合、障害は継続してい
るため、次の対処コマンドを探索することになり、候補として優先度が60である番号2
と番号5のルールが挙げられる。ここで、番号順に対処コマンドを実行するとすると、番
号2のルールが適用され、OS再起動が実行される。ルール群309は、OS再起動によ
る復旧が成功した場合の例を示し、番号2の優先度が10増加している。
The
And the
一般に、複数の障害が発生している場合、ある障害が派生して別の障害が併発した後に状
態が検出されることが多い。このような状態から復旧するためには、それらの障害の根本
原因となる障害に対処することが必要となる。図8のルール群307において、ディスク
切り替えはAP出力異常特有の対処コマンドであり、複合障害の場合にこのような対処コ
マンドを選択することは最適とは言えず、このような対処コマンドを実行している間にさ
らに状態を悪化させることもあり得る。本実施の形態では、このような対処コマンドを実
行して失敗した場合、ルール群308、ルール群309に示すように、失敗したルールの
優先度が低下し、結果的に条件式の異なるOS再起動が実行されることになる。この結果
、同時発生する障害に対応する条件式を持つ複数のルールの間で、同時発生時に優先すべ
きルールの優先度が相対的に増加し、次回以降同じ障害が発生した場合に効果の高いルー
ルが先に選択されることになる。
In general, when a plurality of failures occur, a state is often detected after a certain failure is derived and another failure occurs simultaneously. In order to recover from such a state, it is necessary to deal with failures that are the root causes of these failures. In the
さらに、対処方法検索手段3は、異なる条件式に共通する対処コマンドが存在する場合に
は、共通する対処コマンドを優先的に試行する機能を有することができる。図9、図10
を用いてこの例の障害復旧装置の動作を説明する。
Further, the coping method search means 3 can have a function of preferentially trying a common coping command when there are coping commands common to different conditional expressions. 9 and 10
The operation of the failure recovery apparatus of this example will be described using FIG.
図10のルール群320は、図8のルール群307に相当する状態を示す。この時、動作
状態検出手段1がサービス実行手段10の動作状態からメモリ残量不足とAP出力異常の
両方が発生していることを検出する(ステップ211)。対処方法検索手段3は、ルール
群320に示す番号1ないし5のルールの条件式に合致していることを知り(ステップ2
15)、異なる条件式を持つルールのうち共通する対処コマンドを有するルールを探索す
る(ステップ216)。ルール群320では、番号1と2のルールは同じ条件式を持ち、
対処コマンドはAP再起動とOS再起動となる。同様に、番号3ないし5のルールの対処
コマンドはAP再起動、OS再起動、ディスク切り替えとなる。番号1と2のルール群、
番号3ないし5のルール群に共通する対処コマンドはOS再起動であり、対処方法検索手
段3は、「メモリ残量が20以上」と「AP出力が正常」という状態を予測して状態レジ
スタをセットし(ステップ217)、OS再起動を実行する(ステップ218)。
A
15) Search for a rule having a common handling command among rules having different conditional expressions (step 216). In
The countermeasure commands are AP restart and OS restart. Similarly, the countermeasure commands for the rules of
The coping command common to the rule groups of
この後、ステップ211の状態検出を経て対処コマンドの終了を検出すると(ステップ2
12)、効果が判定され(ステップ213)、ルールの優先度が修正される(ステップ2
14)。ルール群321は、メモリ残量とAP出力の両方が改善された場合の例を示し、
対処コマンドがOS再起動である番号2と4のルールの優先度が上昇する。ルール群32
2は、メモリ残量のみが改善された場合の例を示し、番号2のルールの優先度は上昇する
が、番号4のルールの優先度は低下する。この場合、AP出力異常は継続しているため、
さらに次の対処コマンドとして番号3ないし5のルールから優先度の高い番号5のルール
が選択され、ディスク切り替えが行われることになる。このように、対処方法検索手段3
が同時に状態を改善できる対処コマンドを優先的に実行することにより、複数の障害が同
時に発生した場合でも短時間で復旧できる確率が増加し、さらに、継続して次の対処を行
うことで着実に状態を改善することができる。
Thereafter, when the end of the countermeasure command is detected through the state detection in step 211 (step 2).
12) The effect is determined (step 213), and the priority of the rule is corrected (step 2).
14). The
The priority of
2 shows an example in which only the remaining memory capacity is improved. The priority of the rule with the
Further, the
By preferentially executing the coping commands that can improve the status at the same time, even if multiple failures occur at the same time, the probability that it can be recovered in a short time will increase, and moreover, the next countermeasures will continue to steadily The condition can be improved.
以上述べたように、本実施の形態の障害復旧装置では、複数の障害が同時に発生した場合
にも、対処コマンドの成否に応じて、関連するルールの優先度が適切に修正されるという
効果を得ることができる。また、共通する対処コマンドが存在する場合には、共通する対
処コマンドを優先的に試行することで、復旧時間を短縮しつつ着実に障害復旧できる。
As described above, in the failure recovery apparatus according to the present embodiment, even when a plurality of failures occur at the same time, the priority of related rules is appropriately corrected according to the success or failure of the handling command. Obtainable. Also, when there is a common handling command, it is possible to steadily recover from a failure while shortening the recovery time by preferentially trying the common handling command.
(第3の実施の形態)
本実施の形態では、第1の実施の形態で説明した優先度に変えて、過去の対処コマンド実
行の結果として得られた状態変数の変化量を表す実績値を用いてルールの探索を行う例を
示す。図11のルール群400は、本発明の前提例における図2のルール群300におい
て優先度が実績値に、番号3、4、5の条件式が変数とその閾値で構成される「CPU使
用率が50より大きい」に置き換わったものを示す。つまり、本実施の形態においては、
ルール蓄積手段2に蓄積されている障害対処ルールの条件式は、1または複数の状態変数
とその閾値を規定する条件式となっている。以下、対処実行前後の状態変数の値の変化を
実績値とした場合を例に、図12、図13、図14を用いて本実施の形態の動作を説明す
る。
(Third embodiment)
In this embodiment, instead of the priority described in the first embodiment, an example of performing a rule search using an actual value that represents a change amount of a state variable obtained as a result of past response command execution. Indicates. The
The conditional expression of the failure handling rule stored in the
図13は、図11のルール群400の状態において、メモリ残量不足が発生した場合の実
績値の変化を示す。動作状態検出手段1がサービス実行手段10の動作状態からメモリ残
量不足を検出すると(ステップ501)、対処方法検索手段3が番号1と2のルールが条
件に合致することを知り(ステップ504)、現在のメモリ残量に各々のルールの実績値
を加えて条件式を満たさなくなるルールを探索する(ステップ505)。図11のルール
群400は、対処コマンドを実行した実績がない状態であり、実績値は不明であるため番
号の小さいルールとして番号1を選択する。さらに、現在のメモリ量が18であった場合
、「現在のメモリ残量が18」および対処が成功した場合の条件として「メモリ残量が2
0以上」という条件をルール番号1と共に状態レジスタ5にセットし(ステップ506)
、AP再起動を実行する(ステップ507)。その後、ステップ501を経て、効果判定
手段6が対処コマンドの終了を検知し(ステップ502)、現在状態から実績値が算出さ
れる(ステップ503)。図13のルール群401では、メモリ残量が18から25に増
えた例であり、番号1のルールの実績値として7が設定される。この場合、メモリ残量が
25であれば条件式を満たさなくなるため(ステップ504)、障害復旧が成功したもの
として次の障害状態検出に戻る(ステップ501)。
FIG. 13 shows a change in the actual value when the memory remaining shortage occurs in the state of the
The condition “0 or more” is set in the
AP restart is executed (step 507). Thereafter, through
同様に、ルール群402は、新たにメモリ残量が15となった場合を示す。ステップ50
5において、番号1のルールの実績値6と現在のメモリ量15を加えると条件式を満たさ
なくなることを知り、番号1のルールが実行される。この後、メモリ残量が21になった
ことを検知すると(ステップ501)、対処コマンド実行前後の差分から実績値が6に変
更される。ルール群403は、さらにメモリ残量が12となった場合を示す。この場合、
ステップ505において番号1のルールの実績値である6では障害を回避できないことを
判断し、実績値が不明な番号2のルールが選択され、OS再起動が実行される。この後、
メモリ残量が50になった場合、番号2のルールの実績値として38が設定される。
Similarly, the
5, when the
In
When the remaining memory capacity reaches 50, 38 is set as the actual value of the rule of
同様に、図14は、メモリ残量不足が何度か発生した例を示す。ルール群404は、メモ
リ残量が18となった場合であり、番号1のルールの実績値である7で障害復旧できるこ
とから番号1のルールが実行され、実績値が修正される。さらに、ルール群405では、
メモリ残量が8となった場合を示し、番号1と番号2のルールの実績値から、障害を回避
できるルールとして番号2のルールが選択される。ルール群406では、メモリ残量が1
5であり、番号1のルールが選択される。このように、対処コマンドを実行した結果によ
って変化するメモリの増加量を実績値として保持することにより、障害時に条件式の閾値
からどれだけ離れているかに応じて適用するルールを変化させることができる。
Similarly, FIG. 14 shows an example in which the memory remaining shortage has occurred several times. The
The case where the remaining memory capacity is 8 is shown, and the rule of
The
尚、本実施の形態では、適用したルールの実績値のみを修正する例で説明したが、これに
限定されるものではなく、同じ対処コマンドを持つルールの実績値を同時に修正すること
もできる。例えば、図13では、番号1のルールを選択してAP再起動を実行する場合に
、コマンド実行前後のCPU使用量を検出することで、同じ対処コマンドを持つ番号3の
ルールの実績値を算出することができる。この場合、同じ対処コマンドを持つルールを探
索する処理は増加するが、効率的な実績値の算出が可能となる。
In the present embodiment, the example is described in which only the actual value of the applied rule is corrected. However, the present invention is not limited to this example, and the actual value of the rule having the same coping command can be corrected at the same time. For example, in FIG. 13, when the rule of
以上説明したように、本実施の形態によれば、実際のサービス運用の結果に応じて対処方
法検索手段が各々の対処コマンドの実績値を算出することにより、同じ条件式に合致する
ルールであっても効果のあるルールを優先的に選択することができ、復旧時間が短縮し確
実性が向上する。
As described above, according to the present embodiment, the coping method search means calculates the actual value of each coping command according to the actual service operation result, so that the rule that matches the same conditional expression is satisfied. However, it is possible to preferentially select an effective rule, shortening the recovery time and improving the certainty.
以上、単一の障害が発生した場合の動作を説明したが、複数の障害が同時に発生した場合
には、対処方法検索手段3は、同じ条件式を有するルール群から実績値に応じて対処コマ
ンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対
処コマンドを、例えば実績値の高い順に試行する。また、対処方法検索手段3は、異なる
条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試
行する。
The operation when a single failure has been described has been described above. However, when a plurality of failures occur simultaneously, the handling
(第4の実施の形態)
本実施の形態は、第1の実施の形態で説明した優先度と第3の実施の形態で説明した実績
値とを用いてルールの探索を行う例を示す。図15のルール群600は、第3の実施の形
態における図14のルール群406に優先度を追加したものを示す。図16は本実施の形
態の動作のフローチャートを示す。
(Fourth embodiment)
This embodiment shows an example in which a rule is searched using the priority described in the first embodiment and the actual value described in the third embodiment. A
第1の実施の形態と同様に、動作状態検出手段1はサービス実行手段10の動作状態を検
出し(ステップ701)、効果判定手段6は状態レジスタ5を参照し、既に実行された対
処コマンドがあるかどうかを判定する(ステップ702)。実行された対処コマンドが無
い場合には効果判定手段6は何もしない。対処方法探索手段3は、動作状態検出手段1か
ら現在の動作状態を受け取り、ルール蓄積手段2に蓄積されている障害対処ルールの条件
式に合致するものがあるかどうかを探索する(ステップ705)。
As in the first embodiment, the operation
例えば、メモリ残量が10であった場合、図15の番号1および番号2の条件式に合致す
る。第1の実施の形態では、優先度の高い番号1のルールのAP再起動を選択し、第3の
実施の形態では、現在のメモリ残量10に各々のルールの実績値を加えると条件式を満た
さなくなるルールを選択した。これに対し本実施の形態では、優先度および実績値の双方
を考慮し、より優先度が高く且つ条件式を満たさなくなる実績値を持つルールを選択する
(ステップ706)。図15の場合、番号1のルールは、その優先度は80で、番号2の
ルールの優先度50より高いが、実績値が8であるため、現在のメモリ残量10に8を足
してもメモリ残量20未満の条件が依然として成立するため、第1候補から除外され、メ
モリ残量20未満という条件を満たさなくなる実績値40を持つ番号2のルールが選択さ
れる。他方、現在のメモリ残量が15であった場合、番号1のルールが、より優先度が高
く且つ条件式を満たさなくなる実績値を持つルールとして選択される。各ルールの優先度
の修正は第1の実施の形態と同様に効果判定手段6で行われ、各ルールの実績値の算出は
第3の実施の形態と同様に効果判定手段6で行われる(ステップ703、704)。
For example, when the remaining memory capacity is 10, the conditional expressions No. 1 and No. 2 in FIG. In the first embodiment, the AP restart of the rule of
以上述べたように、第4の実施の形態にかかる障害復旧装置では、対処コマンドによる復
旧または回避の成否を判定し、その結果に応じて優先度を修正することにより、特性の異
なるサービス実行手段10に同じルール群を適用した場合にも効率的な運用が可能となる
という効果と、実際のサービス運用の結果に応じて対処方法検索手段3が各々の対処コマ
ンドの実績値を算出することにより、同じ条件式に合致するルールであっても効果のある
ルールを優先的に選択することができ、復旧時間が短縮し確実性が向上するという効果と
を得ることができる。
As described above, in the failure recovery apparatus according to the fourth embodiment, service execution means having different characteristics are determined by determining the success or failure of recovery or avoidance by the handling command and correcting the priority according to the result. When the same rule group is applied to 10, the effective operation is possible, and the countermeasure search means 3 calculates the actual value of each countermeasure command according to the actual service operation result. Even if the rules satisfy the same conditional expression, an effective rule can be preferentially selected, and the recovery time can be shortened and the reliability can be improved.
以上、単一の障害が発生した場合の動作を説明したが、複数の障害が同時に発生した場合
には、対処方法検索手段3は、同じ条件式を有するルール群から優先度および実績値に応
じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群
に含まれる対処コマンドを、例えば優先度の高い順に試行する。また、対処方法検索手段
3は、異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンド
を優先的に試行する。
The operation when a single failure has been described above. However, when multiple failures occur at the same time, the handling
1 動作状態検出手段
2 ルール蓄積手段
3 対処方法検索手段
4 コマンド実行手段
5 状態レジスタ
6 効果判定手段
10 サービス実行手段
DESCRIPTION OF
Claims (14)
前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を生成して状態レジスタに出力する対処方法検索手段と、
前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正する効果判定手段と、を含み、
前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度に応じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする障害復旧装置。 An operation state detection unit for detecting an operation state of the service execution unit;
A conditional expression for determining an operation state when a failure occurs in the service execution means or an operation state presumed to be a precursor to the failure, and a countermeasure command for recovering or avoiding the failure when the operation state is reached; Rule accumulation means for accumulating a plurality of failure handling rules including priority information on the application order between rules;
A rule having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit is extracted from the rule storage unit, and the rule is sequentially tried according to the priority information, and the current Coping method search means for generating operating state change information expected to change after execution of the coping command from negation of a conditional expression that matches the operating state, and outputting the information to the state register;
Compare the operation state change information held in the state register with the operation state of the service execution means after execution of the countermeasure command, which is the output of the operation state detection means, and determine the success or failure of the recovery or avoidance by the countermeasure command And an effect determination means for correcting the priority information according to the result,
When the operation state of the service execution unit, which is an output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit has the same conditional expression A failure recovery apparatus characterized in that after selecting a countermeasure command from a rule group one by one according to priority and generating a countermeasure command group, the countermeasure commands included in the countermeasure command group are tried in descending order of priority. .
前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、
前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、を含むことを特徴とする障害復旧装置。 An operation state detection unit for detecting an operation state of the service execution unit;
A conditional expression for determining an operation state when a failure occurs in the service execution unit or an operation state presumed to be a precursor of the failure, and defines one or more state variables of the operation state and a threshold value thereof A plurality of failure handling rules including a conditional expression, a handling command for recovering or avoiding a fault when the operation state is reached, and actual value information indicating the value of the state variable that changes due to execution of the handling command Rule accumulation means for accumulating
Execution of coping command having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit and inferred from the current operation state and the actual value information from the rule storage unit Retrieval method search means for extracting and trying a rule that causes a later operation state not to satisfy the matched conditional expression, and outputting the value of the state variable before executing the countermeasure command to a state register;
The value of the state variable before executing the countermeasure command held in the state register and the value of the state variable in the operation state of the service execution means after execution of the countermeasure command which is the output of the operation state detection means A failure recovery apparatus comprising: an effect determination means for correcting the result value information in comparison.
前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、
前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、を含むことを特徴とする障害復旧装置。 An operation state detection unit for detecting an operation state of the service execution unit;
A conditional expression for determining an operation state when a failure occurs in the service execution unit or an operation state presumed to be a precursor of the failure, and defines one or more state variables of the operation state and a threshold value thereof Conditional expression, countermeasure command for recovering or avoiding a failure when the operation state is reached, actual value information indicating the value of the state variable that changes due to execution of the countermeasure command, and the order of application between rules Rule storage means for storing a plurality of failure handling rules including priority information;
Execution of coping command having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit and inferred from the current operation state and the actual value information from the rule storage unit When a later operation state does not satisfy the matched conditional expression, the rule is extracted in order of priority based on the priority information, and is changed after execution of the coping command from the negation of the conditional expression that matches the current operation state. Coping method search means for outputting expected change information of the operating state and a value of the state variable before executing the coping command to a state register;
The operation status change information held in the status register is compared with the operation status of the service execution means after execution of the response command, which is the output of the operation status detection means, to determine whether the recovery by the response command is correct or not. The priority information is modified according to the result, and the value of the state variable before execution of the countermeasure command held in the state register and the output of the operation state detecting means after execution of the countermeasure command The failure recovery apparatus comprising: an effect determination unit that compares the value of the state variable in the operation state of the service execution unit and corrects the actual value information.
b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を生成して状態レジスタに出力するステップ
c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
d)効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正するステップを含み、
前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度に応じて対処コマンドを1つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする障害復旧方法。 a) The operation state detection means detects the operation state of the service execution means. b) The coping method search means indicates an operation state when a failure occurs in the service execution means or an operation state presumed to be a precursor of the failure. From a rule accumulation means for accumulating a plurality of failure handling rules including a conditional expression for determination and a handling command for recovering or avoiding a failure when the operation state is reached and priority information on the order of application between rules Then, a rule having a conditional expression that matches the current operation state of the service execution unit detected by the operation state detection unit is taken out, tried in accordance with the priority information, and matched with the current operation state. Step c of generating change information of an operation state expected to change after execution of the coping command from negation of a conditional expression and outputting the change information to the state register A step of detecting an operation state of the service execution unit after the execution of the coping command; d) an effect determination unit including change information of the operation state held in the state register and the operation state detection unit; Comparing the operation state of the service execution means after execution of the countermeasure command as an output, determining success or failure of recovery or avoidance by the countermeasure command, and correcting the priority information according to the result,
When the operation state of the service execution unit, which is an output of the operation state detection unit, matches a plurality of different conditional expressions among the conditional expressions included in the failure handling rule, the coping method search unit has the same conditional expression A failure recovery method comprising: selecting a countermeasure command one by one from a rule group according to priority and generating a countermeasure command group; and then trying the countermeasure commands included in the countermeasure command group in descending order of priority .
b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ
c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
d)効果判定手段が、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップを含むことを特徴とする障害復旧方法。 a) The operation state detection means detects the operation state of the service execution means. b) The coping method search means indicates an operation state when a failure occurs in the service execution means or an operation state presumed to be a precursor of the failure. A conditional expression for determining, a conditional expression defining one or more state variables of the operation state and a threshold value thereof, a countermeasure command for recovering or avoiding a failure when the operation state is reached, From a rule accumulating unit that accumulates a plurality of fault handling rules including actual value information indicating the value of the state variable that is changed by execution of the coping command, a current execution of the service executing unit detected by the operation state detecting unit A conditional expression that matches the operating state, and the operating condition after execution of the coping command estimated from the current operating state and the actual value information A step of taking out a rule that will be lost and trying it, and outputting the value of the state variable before execution of the handling command to a status register; c) the service execution means after execution of the handling command; D) detecting the operation state of the state d) after the execution of the coping command, which is the value of the state variable before the execution of the coping command held in the state register and the output of the operation state detecting unit Comparing the value of the state variable in the operating state of the service execution means and correcting the actual value information, a failure recovery method characterized by comprising:
b)対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の1または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記現在の動作状態に合致した条件式の否定から前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ
c)前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
d)効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップを含むことを特徴とする障害復旧方法。 a) The operation state detection means detects the operation state of the service execution means. b) The coping method search means indicates an operation state when a failure occurs in the service execution means or an operation state presumed to be a precursor of the failure. A conditional expression for determining, a conditional expression defining one or more state variables of the operation state and a threshold value thereof, a countermeasure command for recovering or avoiding a failure when the operation state is reached, From the rule accumulation means for accumulating a plurality of failure handling rules including actual value information indicating the value of the state variable that changes by execution of the handling command, and priority information of the application order between the rules, the operation state detection means Execution of a coping command having a conditional expression that matches the current operation state of the service execution means detected in step 1 and inferred from the current operation state and the actual value information With the state of operation tries taking out the rules no longer satisfy the matched condition in order of priority according to the priority information, expected changes after executing the Action command from negative condition that matches the current operating state A step of outputting to the status register the change information of the operating status to be executed and the value of the status variable before executing the handling command; c) the operating status of the service executing means after the handling command is executed; D) The effect determining means compares the operating state change information held in the status register with the operating status of the service execution means after execution of the coping command, which is the output of the operating status detecting means. Determine whether the recovery or avoidance is correct by the response command, and correct the priority information according to the result. The value of the state variable before executing the countermeasure command held in the state register and the value of the state variable in the operation state of the service execution means after execution of the countermeasure command which is the output of the operation state detection means A failure recovery method comprising the step of correcting the result value information in comparison.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008325500A JP4998455B2 (en) | 2008-12-22 | 2008-12-22 | Failure recovery apparatus, failure recovery method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008325500A JP4998455B2 (en) | 2008-12-22 | 2008-12-22 | Failure recovery apparatus, failure recovery method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003275107A Division JP4728565B2 (en) | 2003-07-16 | 2003-07-16 | Failure recovery apparatus, failure recovery method and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009076103A JP2009076103A (en) | 2009-04-09 |
JP2009076103A5 JP2009076103A5 (en) | 2011-06-16 |
JP4998455B2 true JP4998455B2 (en) | 2012-08-15 |
Family
ID=40610937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008325500A Expired - Fee Related JP4998455B2 (en) | 2008-12-22 | 2008-12-22 | Failure recovery apparatus, failure recovery method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4998455B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112018006911T5 (en) * | 2018-01-22 | 2020-10-01 | Nec Corporation | ANOMALY DETECTION DEVICE |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02137035A (en) * | 1988-11-18 | 1990-05-25 | Hitachi Ltd | Trouble diagnostic devices for computer system |
JPH02194437A (en) * | 1989-01-24 | 1990-08-01 | Nippondenso Co Ltd | Inference device using knowledge base |
JPH03144831A (en) * | 1989-10-31 | 1991-06-20 | Matsushita Electric Ind Co Ltd | System restoring method |
JP2000293451A (en) * | 1999-04-06 | 2000-10-20 | Mitsubishi Electric Corp | Distributed data distribution control system and distribution monitoring method |
JP2002342184A (en) * | 2001-05-16 | 2002-11-29 | Matsushita Electric Ind Co Ltd | Retry processor and retry processing program |
US7194445B2 (en) * | 2002-09-20 | 2007-03-20 | Lenovo (Singapore) Pte. Ltd. | Adaptive problem determination and recovery in a computer system |
US7089450B2 (en) * | 2003-04-24 | 2006-08-08 | International Business Machines Corporation | Apparatus and method for process recovery in an embedded processor system |
JP2005018179A (en) * | 2003-06-24 | 2005-01-20 | Hitachi Ltd | Obstacle monitoring device |
-
2008
- 2008-12-22 JP JP2008325500A patent/JP4998455B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009076103A (en) | 2009-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4728565B2 (en) | Failure recovery apparatus, failure recovery method and program | |
JP3826940B2 (en) | Failure recovery device, failure recovery method, manager device, and program | |
US8140914B2 (en) | Failure-model-driven repair and backup | |
JP4313823B2 (en) | Fault response system and fault response method | |
US8789045B2 (en) | Rejuvenation processing device, rejuvenation processing system, computer program, and data processing method | |
CN103116532B (en) | Damage in fault from the storehouse embedded software system and recover | |
JP5093259B2 (en) | Communication path strengthening method between BIOS and BMC, apparatus and program thereof | |
CN103152419A (en) | High availability cluster management method for cloud computing platform | |
JP2008009842A (en) | Control method of computer system, and computer system | |
US9244773B2 (en) | Apparatus and method for handling abnormalities occurring during startup | |
CN108255576B (en) | Virtual machine live migration exception handling method and device and storage medium | |
CN102369513A (en) | Method for improving stability of computer system and computer system | |
JP7387469B2 (en) | Communication equipment, monitoring server and log collection method | |
CN105335244B (en) | Method for application recovery | |
JP4998455B2 (en) | Failure recovery apparatus, failure recovery method and program | |
JP4239989B2 (en) | Fault recovery system, fault recovery device, rule creation method, and fault recovery program | |
CN112650624B (en) | Cluster upgrading method, device, equipment and computer readable storage medium | |
JP2007249663A (en) | Transaction device, delay failure detection device and method, and program | |
US11595244B2 (en) | Recovery support apparatus, recovery support method and program | |
CN109859755B (en) | Voice recognition method, storage medium and terminal | |
JP7000797B2 (en) | Startup management device, startup management system, startup management method, and startup management program | |
JP5601587B2 (en) | Process restart device, process restart method, and process restart program | |
JP5018140B2 (en) | Multiprocessor system, task scheduling method, and task scheduling program | |
JP7331935B2 (en) | Abnormality handling support device, method and program | |
WO2024135322A1 (en) | Failure handling device, system, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081222 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110421 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4998455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |