JP2002505768A - 計算の状態を再構成する方法ならびにシステム - Google Patents

Abstract

(57)【要約】 システムで使用されたプログラムを修正する必要も基礎オペレーティングシステムに変更を加える必要もない並列および分散式アプリケーションを実行しチェックポインティングを実行する方法とシステムを提供する。本発明の１つの実施例は、以下に示す概略工程から成る。並列処理システムにおいてアプリケーションを開始する工程（４０）、複数のコマンドと応答の記録などアプリケーションの複数プロセスを制御する工程（４１，４２，４３）、アプリケーションの障害を検出する工程（４５，４６）、記録されたコマンドと応答を「再生」した後で最近コミットされたトランザクションからアプリケーションの実行を継続する工程（４７）である。

Description

【発明の詳細な説明】 発明の名称 計算の状態を再構成する方法ならびにシステム 発明の背景 １． 発明の分野 本発明はコンピュータ処理システムに関し、なかでも、並列処理コンピュータ 環境において割り込まれた計算の状態を再構成する方法とシステムに関する。 ２． 関連技術の説明 単一プロセッサ式コンピュータの計算速度は過去３０年にわたって飛躍的に速 くなった。しかし、多くの分野で、最速の単一プロセッサ式コンピュータをも越 える計算容量が要求されている。一例がトランザクション処理で挙げられる。こ の分野では、複数のユーザが同時にコンピュータ資源にアクセスしており、シス テムが市場で受け入れられるには応答時間が短くなければならない。データベー ス検索で他の例が見いだせる。この分野では、数百ギガバイトの情報を処理せね ばならず、直列式コンピュータでデータを処理すると数日または数週間かかる。 したがって、こうした問題を処理するために多様な「並列処理」システムが開発 されてきた。この説明のために、並列処理システムには、複数の中央演算処理装 置（ＣＰＵ）を用いたコンピュータシステム構成が含まれている。こうしたコン ピュータシステムには、構内型（たとえば、ＳＭＰコンピュータなどのマルチプ ロセッサシステム）、構内分散型（たとえばクラスタまたはＭＰＰ（高度並列計 算機）として接続された複数のプロセッサ）、または遠隔型、または遠隔分散型 （たとえば、ＬＡＮまたはＷＡＮネットワークを介して接続された複数のプロセ ッサ）が挙げられる。 並列処理システムで動作する複数の複雑なデータ処理アプリケーションは通常 、様々な外部のデータ収集（ファイル、データベースなど）に変更を加える。こ うしたアプリケーションは、１つまたは複数のプログラムを同時または連続して 動作させることで変更を加える。障害が発生すると、外部のデータ収集に部分的 な変更を加える。このため現行または他のアプリケーションではデータが使用で きなくなる。並列処理システムでは、データ収集がしばしば様々なノードや記憶 装置（たとえば、磁気ディスク）にわたって拡がっているので問題が複雑になり 、データの状態を「元に戻す（ロールバック（roll back））」のに必要な仕事 は記憶装置の数に比例して増加する。同様に、終了しなければならないプログラ ムの数も増大する。 こうした障害から回復するためには、現行の（すなわち、障害のある）アプリ ケーションを閉じて、 （１）開始時からそのアプリケーションにより加えられたすべての変更を元に 戻す（「完全な復帰」）または （２）システムの状態を中間の「チェックポイント」まで回復して、その点か ら実行を再起動する（「部分復帰」） チェックポイントからの部分原状復帰（「チェックポインティング」としても 知られている）は完全原状復帰より有益である。というのは、障害が発生しても 喪失する仕事が少ないし、部分復帰では保持する情報は少なくてすむからである 。しかし、チェックポインティングは複雑な技術的問題である。というのは、（ １）実行中のプログラムの状態を捕捉することと、（２）修正中のすべてのデー タファイルの状態を一貫して元に戻すことと、（３）プログラム間で移送される データ（たとえば、ネットワークを介して送られるデータ）を捕捉することが困 難なためである。アプリケーションプログラムはチェックポインティングを実行 するために特に書き込まなければならないことが多いことにより問題はいっそう 複雑になる。一般に、チェックポインティング動作がチェックポインティングソ フトウェアプログラムに明示呼出しを追加するときには必ずプログラムのソース コードを実質的に変えることになるように作成されているプログラムを修正する ことはできない。さらに、大半のオペレーティングシステムはプログラム間移送 データを捕捉する手段を備えてはいない。 したがって、特にチェックポインティングを備えてないアプリケーションにチ ェックポインティングを備える方法が必要である。本発明は、並列処理システム において実行中のアプリケーションに特に有益で、分散処理システムにおいて実 行中のアプリケーションでも有益なこうした方法を提供するものである。 発明の要約 本発明は、システムで使用されるプログラムを修正する必要もなく、基本オペ レーティングシステムを変更する必要もない並列および分散アプリケーションを 実行しチェックポイントまで戻す方法とシステムである。本発明には、２つの個 別の実施例が含まれる。第１の好ましい実施例は以下の概略工程を含む。 （１）並列処理システム上でアプリケーションを起動する。 （２）複数のコマンドおよび応答の記録を含むアプリケーションの処理を制御す る。 （３）コミット規約を制御する。 （４）アプリケーションの障害を検出する。 （５）記録されたコマンドおよび応答を「再生した」後で最近にコミットされた トランザクションからアプリケーションの実行を継続する。 第２の好ましい実施例は以下の概略工程を含む。 （１）並列処理システム上でアプリケーションを起動する。 （２）アプリケーションを制御するドライバプログラムのメモリイメージの再帰 記録を含むアプリケーションの処理を制御する。 （３）コミット規約を制御する。 （４）アプリケーションの障害を検出する。 （５）ドライバアプリケーションの記録メモリイメージを「再生した」後で最近 コミットされたトランザクションからアプリケーションの実行を続ける。 進歩的アーキテクチャの主要な特色は以下の通りである。 （１）中央制御：複数のアプリケーションを制御の中心点から実行する。好まし い実施例では、単一の制御スレッドを備えた単一「ドライバ」プログラムが、ア プリケーションを形成するすべてのプログラムとデータ収集をインスタンス生成 し監視する。 （２）ホストおよびエージェントを介した制御：複数のノード上で処理を分散さ せるために、「エージェント」と呼ばれるプログラムがリモートノードで変更を 実行するために使用される。好ましい実施例では、個々のエージェントが各ノー ドでインスタンス生成される。システムの全体制御は「上位」プログラムにより 維持される。このプログラムは、ドライバプログラムとエージェントを介した通 信を管理して、グローバルシステム状態を維持する。 （３）単一コマンドチャンネル：「コマンドチャンネル」はドライバプログラム とホストプログラム間で維持される。好ましい実施例では、ドライバプログラム が、一連のコマンドと応答を介してのみシステムに変更を加える。 （４）コマンドチャンネルの通信量またはメモリイメージの記録：第１実施例で は、コマンドチャンネルを介して送られるコマンドと応答のすべてはホストプロ グラムにより記録され、不揮発性記憶装置に保存される。第２実施例では、アプ リケーションを制御するドライバプログラムのメモリイメージは、ホストプログ ラムにより再帰的に記録され、不揮発性記憶装置に保存される。 （５）トランザクション準拠制御：好ましい実施例では、コマンドチャンネルを 介して実行された動作のすべては、グローバルアトミシティを確保するためにコ ミット規約（好ましくは、２相コミット規約）を使用する。 （６）反復による回復：上記のメカニズムを用いて、本発明は、障害のあるアプ リケーションを、単純に再実行することで「回復」する機能を備えている。要約 すると、すべてのデータの状態をコミット規約を介して回復して、コマンドチャ ンネル上の記録された通信量が、ドライバプログラムを「だまして」、ドライバ プログラムが新しいアプリケーションを実行していると信じさせるか、またはド ライバプログラムの最後の良好な状態のメモリイメージを回復する。単一スレッ ド式コンピュータプログラムの決定論的な特質のために、ドライバプログラムは 、最後の良好な状態の時点では、プログラムが実行された最初の時と同じ状態で 、終了されなければならない。 本発明は主に、従来のデータ処理アプリケーション（たとえば、アカウントシ ステム、バッチトランザクションシステムなど）に用いられるが、本発明は、フ ァイルまたはデータベースに変更を加える大半のコンピュータアプリケーション に適用可能である。 本発明の好ましい実施例の詳細は、添付図面ならびに以下の説明に詳述される 。本発明の詳細が分かると、付随する多くの新規技術や変更が当業者には明らか になるであろう。 図面の簡単な説明 図１は、本発明によるチェックポインティングシステムのソフトウェア構成要 素と制御の流れを示す構成図である。 図２Ａは、本発明によるチェックポイントされたプログラムの通常の実行を示 す構成図である。 図２Ｂは、図２Ａのチェックポイントされたプログラムの実行中の障害を示す 構成図である。 図２Ｃは、図２Ｂの障害からの回復を示す構成図である。 図３は、本発明による障害からの回復中のチェックポインティングシステムの ソフトウェア構成要素と制御の流れを示す構成図である。 図４は、本発明の反復実施例の基本的な機能動作を要約して示す流れ図である 。 図５は、本発明の回復実施例の基本的な機能動作を要約して示す流れ図である 。 上記様々な図面の同じ参照番号と指示は同じ要素を示している。 発明の詳細な説明 本説明を通して、図示の好ましい実施例と例は、本発明を制限するものではな く例示するものとして考慮すべきである。 概観 図１は、本発明によるチェックポインティングシステムのソフトウェア構成要 素と制御の流れを示す構成図である。ホストシステム１０は、ホストプログラム １２と、ドライバプログラム１４と、コマンドと応答を記録するデータ記憶シス テム１６とを備える。ホストプログラム１２とドライバプログラム１４はコマン ドチャンネル１８（たとえば、物理的バス上の論理チャンネル）により相互接続 される。好ましい実施例では、ホストプログラム１２は実際は、ドライバプログ ラム１４のアドレス空間内のオブジェクトである。ホストプログラムを実行する 個別プロセスを代りに実行することもできる。ただし、「ホストプログラム」と 「ドライバプログラム」への分割は、本発明のアーキテクチャを記載する便宜的 な方法である。 ホストシステム１０は、エージェント通信チャンネル２２（たとえば、従来の 物理的データリンク２２）により少なくとも１つのリモートシステム２０に接続 されている。各リモートシステム２０内には、リモートデータ記憶装置２６に接 続されたエージェント２４がある。 図１に示す構成要素すべてが通常の実行中には動作中である。ドライバプログ ラム１４は複数のコマンドをホストプログラム１２に発行して、様々なリモート システム２０上のアプリケーションの動作を実行する。ホストプログラム１２は 、複数のコマンドを１つまたは複数のエージェント２４に発行して要求された動 作を実行することでこうしたコマンドに応答する。動作が完了するとエージェン ト２４はホストプログラム１２に戻り、次に、ホストプログラム１２はドライバ プログラム１４に戻る。ドライバプログラム１４とホストプログラム１２の間の コマンドと応答のすべてはデータ記憶システム１６に記録される。 図２Ａは、本発明によるチェックポイントされたシステムの通常の実行を示す 。図示の例では、アプリケーションは３つの段階で実行される、初期状態０で始 まり、段階０を介してチェックポイント１状態に進み、段階１を介してチェック ポイント２状態に進み、段階２を介して最終状態に進む。 図２Ｂは、図２Ａのチェックポイントされたプログラムの実行中に障害を示す 構成図である。例えばノードの１つが「クラッシュ」して、再起動しなければな らない場合には障害が発生する場合がある。図示の例では、チェックポイント１ 状態に到達した後で、しばしば、障害が発生する。段階１の真ん中で実行が停止 し、並列処理システムの外部状態が不本意な障害状態になる。 図２Ｃは、本発明を用いて図２Ｂに示す障害からの回復を示す構成図である。 アプリケーションが再実行されることで回復されると、障害段階１で実行された 動作が元に戻り、処理システムの外部状態をチェックポイント１状態の状態に戻 す。すべての完了段階（この例では、段階０）は「反復」または「回復」される 。反復では、ドライバプログラム１４はその初期状態から再起動され、通常に機 能する。しかし、ドライバプログラム１４はチェックポイント１状態にある同じ 状態に到達するまでは外部状態変化は発生しない。回復においては、ドライバプ ログラム１４の保存イメージが回復され、その点から通常に機能する。その後、 障害段階（この例では段階１）ならびにその後のすべての段階が通常に実行され て、チェックポイント２の状態を介して最終状態に至るまでアプリケーションが 実行される。 図３は、反復中の本発明によるチェックポインティングシステムのアーキテク チャを示す構成図である。反復モード中には、ドライバプログラム１４は初期状 態から開始する。ドライバプログラム１４からの各コマンドはホストプログラム １２に再発行される。ホストプログラム１２は、そのコマンドを、データ記憶シ ステム１６に以前記憶された記録コマンドおよび応答と突き合わせる。ドライバ プログラム１４からのコマンド列が記録コマンドと一致している限り、対応する 記録応答がホストプログラム１２によりドライバプログラム１４に送られる。実 際には、ドライバプログラム１４を「だまして」、反復中の複数段階が通常に実 行中であると思わせる。しかし、データは実際には変形されたり、移動されたり することはない。したがって、反復段階は、ドライバプログラム１４が最後の良 好なチェックポイント状態に到達するまで、極めて迅速に遂行される。このチェ ックポイントで、ホストプログラム１２は、反復モードから切り替えられて、通 常の動作モードに戻されて、ドライバプログラム１４からのコマンドをリモート システム２０のエージェント２４に通常の方式で供給する。 本発明は、ハードウェアまたはソフトウェアまたは両者の組合せにより実施可 能である。しかし、好ましくは、本発明は、プロセッサ、データ記憶システム（ 揮発性メモリおよび不揮発性メモリおよび／または記憶要素を含む）、少なくと も１台の入力装置、および少なくとも１台の出力装置とをそれぞれ含む複数台の プログラム式コンピュータで実行されるコンピュータプログラムで実施される。 プログラムコードは、入力データに適用されて、本明細書に記載の機能を実行し 、出力情報を生成する。出力情報は、周知の方式で、１つまたは複数の出力装置 に送られる。 各プログラムは、コンピュータシステムとやり取りするために高レベル手続き 形プログラミング言語またはオブジェクト指向プログラミング言語で実施される のが好ましい。しかし、望ましければ、アセンブリー言語または機械言語で実施 することも可能である。いかなる場合でも、言語はコンパイル済みまたは翻訳済 み言語である。 こうしたコンピュータプログラムはそれぞれ、汎用または特定目的プログラム 式コンピュータにより読み取り可能なそれぞれ記憶媒体または装置（たとえば、 ＲＯＭまたは磁気ディスク）に記憶されるのが好ましく、記憶媒体または装置が コンピュータにより読み取られるとコンピュータが構成され動作して、本明細書 に記載された処理手順を実行する。本発明のシステムは、コンピュータプログラ ムで構成されるコンピュータ読取可能な記憶媒体として実施することも可能であ る。この場合、このように構成された記憶媒体によりコンピュータは特定かつ事 前定義方式で動作して、本明細書に記載された機能を実行する。 ドライバプログラム 本発明は、１つまたは複数の従来の非チェックポインティングプログラムの実 行をセットアップし制御する監視機能を備えたドライバプログラム１４を使用す る。望まれれば追加機能も加えられる。好ましい実施例では、ドライバプログラ ム１４は少なくとも以下に定義した機能を実行する。 （ａ）起動ジョブ：ドライバプログラム１４が起動するときに、プログラム１４ は、ホストシステム１０がホストプログラム１２をインスタント生成するよう要 請する。ホストシステム１０は、ホストプログラム１２およびデータ記憶システ ム１６とやり取りをするために、コマンドチャンネル１８の識別子またはポイン タをドライバプログラム１４に備えることで応答する。ドライバプログラム１４ は、コマンドチャンネル１８を介してホストプログラム１２に接続され、「開始 ジョブ」コマンドをホストプログラム１２に発行する。このコマンドは、データ 記憶システム１６にホストシステム１０により確立される「回復ファイル」の名 前を含む。（実施例によっては、「接続」は個別のプロセスの開始を要求するも のもあり、内部データ構造の初期化を要求するものもある。どちらの場合でも、 第１動作は常に上記のジョブを開始することである。 （ｂ）コマンド：コマンドチャンネル１８は少なくとも以下のコマンドをドライ バプログラム１４から受け取る。 （１）遠隔手続呼出し：この呼出しによりコマンドがリモートエージェント２ ４により実行される。遠隔手続呼出し（ＲＰＣ）コマンドは、コマンドが実行さ れるノードを指定する。そのノードで現在実行中のエージェントがない場合、ホ ストプログラム１２はそのノードでリモートエージェント２４を起動する。 （２）開始プロセス：このコマンドによりプロセスがエージェント２４により 起動される。再び、このコマンドはプロセスが実行されるノードを指定する。そ のノードに現在実行中のエージェントがない場合、ホストプログラム１２はその ノードでリモートエージェント２４を起動する。 （３）待機：このコマンドは、すべてのプロセスが実行を終えるまでドライバ プログラム１４の機能実行を中止させる。 （４）準備：コミット：ロールバック：これら３つのコマンドは、従来の２相 コミットトランザクション処理プロトコルに関して通常の従来技術の意味である 。 （ｃ）応答の受信：各コマンドの実行の結果、正確に１つのメッセージが返され る。コマンドおよび応答は恣意的に混合できる（たとえば、複数のコマンドを発 行して、その後対応する応答が返ってくる。）ドライバプログラム１４はホスト プログラム１２から少なくとも以下に示す応答を受け取る。 （１）遠隔手順呼出し応答：このメッセージの内容は、ＲＰＣコマンドにより 引き起こされた処理手順にのみ対応する。 （２）プロセスＩＤ：プロセスがシステム（ホスト１０またはリモート２０） で実行されると、システムはそのプロセス用の識別子で応答する。 （３）待機状況：様々なプロセスが首尾よく終了したかどうかについての指示 。 （４）準備／コミット／ロールバック状況：成功または失敗状況指標。 （ｄ）中止：このコマンドは実行が停止されることを意味する。ホストプログラ ム１２はロールバックの実行を企てる（たとえば、計算に関わるノードの１つが クラッシュするとこの企ては失敗することがある）。ロールバックが成功しても しなくても、コマンドチャンネル１８は通常壊される。中止コマンドは、たとえ ば、ドライバプログラム１４が実行障害を検出するとドライバプログラム１４に より手動で発行される。中止コマンドは、ドライバプログラム１４に障害が発生 すると暗示的に発行される場合もある。 （ｅ）ジョブ終了：このコマンドは実行する仕事が残ってないことを示す。コマ ンドチャンネル１８は通常壊され、アプリケーションにより成された変更はすべ て取り消せなくなる。 （ｆ）追加コマンド：追加コマンドは望ましければ追加可能であるが、本開示の ためには重要ではない。 重要なことは、ドライバプログラム１４がアプリケーションの実行を一連の「 段階」に分割して、すべてのプロセスが段階の間で静止するよう要求される（た とえば、未実行のデータ転送を残してないアイドル状態からの脱出またはその状 態への到達）。段階は以下に示す工程から構成される。 （１）ドライバプログラム１４は一連のＲＰＣ（たとえば、データファイルなど のセットアップ）を発行する。これら一連のＲＰＣは１つまたは複数のアプリケ ーションプログラムにより必要とされる。 （２）オプションとして、ドライバプログラム１４は一連の起動プロセスコマン ドを発行する。 （３）任意のプロセスが起動した場合、望ましい数のプロセスが起動した後で、 ドライバプログラム１４は待機コマンドを発行して、待機が完了するまで動作を 中止して、プロセスが完了する時間を確保する。一般に、他のプロセスと相互交 信する必要のあるすべてのプロセスは同時に開始されるべきである。 （４）工程（１）−（３）のシーケンスは望まれれば数回繰り返すことができる 。 （５）ドライバプログラム１４は準備およびコミットコマンドを発行して、現ト ランザクションがコミットされ、現トランザクション中に成された変更を永続的 なものにする。 （６）更なる実行段階が続く。 主要な工程は、再帰的に待機コマンドを発行している。というのはこのコマン ドが終了した後で、このシステムには活動状態のアプリケーションプログラムが ないことと、通信チャンネルに移送データがないことが保証されるからである。 この特徴により本発明は、プログラムの実行状態と通信チャンネルの移送データ を捕捉する際の固有の困難に対処できる。 こうした設計の結果、プログラムの実行中にはチェックポイントは作成されな い。アプリケーションプログラムの１つが数時間実行されている場合、チェック ポイントを作成できない数時間の期間が必要となる。任意の段階の実行時間が過 剰にならないように保証するのはドライバプログラム１４の責任である。このド ライバプログラム１４はこのシステムのユーザによりしばしば書き込まれるもの である。 段階の持続時間を削減するのに使用できる従来の２つの技術がある。第１の技 術は、１段階内の処理の連続工程の間で「パイプライン化」の使用を削減するこ とである。特に、通常の実施では、通信チャンネルを介して構成プログラムを連 結することでこれらの構成プログラムからアプリケーションを構成する。これは 「パイプライン」と呼ばれる技術である。両構成プログラムは同じ段階で実行さ れなければならない。この結果、段階が長くなりすぎる場合には、ドライバのラ イターが一次ファイルを通信チャンネルと代替することができ、個々の実行段階 で各構成プログラムを実行できる。第２技術は、データをいっそう細かく分割す ることである。たとえば、１０ギガバイトの単一ファイルを処理しないで、それ ぞれ１ギガバイトの１０のサブファイルに分割し、単一実行段階で各サブファイ ルを処理することもできる。大半のアプリケーションの実行時間はそれらの入力 ファイルの長さにほぼ比例しているという事実のために、この方法は、たとえば 、段階の持続時間を１０分の１に減らすことができ、チェックポイントが作成で きる周波数をいっそう改良する。（従来技術では、この追加部分分割が特別に実 施され、通常はプログラムの修正と、おそらく追加ソフトウェアの書込が必要と なる。本発明の譲渡人に譲渡された「構成要素準拠並列アプリケーションのチェ ックポイントを増加させる分割増加システムならびに方法（Overpartitioning S ystem and Method for Increasing Checkpoints in Component-based Parallel Applications）」の名称の共同出願を参照のこと。一般的な方法では、元のプロ グラムを修正することなく部分分割が実行できると説明されている。） 状態データベース（ＳＤＢ） ホストシステム１０はそれ自体のために状態データベース（「ホストＳＤＢ」 ）を作成する。各エージェント２４はそれ自体の状態データベース（「エージェ ントＳＤＢ」）も作成する。ホストＳＤＢは、本発明の反復実施例を使用すると きにコマンドチャンネル通信量を記録し、どの段階が実行中かを記録し、コミッ ト処理のために必要な情報を記録するのに使用される。エージェントＳＤＢは、 回復処理およびコミット処理のための情報を記録するのに使用される。好ましい 実施例では、ＳＤＢは、ＳＤＢにアクセスするプログラムの寿命の間だけメモリ にある。しかし、ＳＤＢへの変更すべてが、データ記憶システム１６など不揮発 性記憶機構の順序づけられたジャーナルファイル（「ログ」）に連続して記録さ れる。任意の時点で、ＳＤＢは対応するログからメモリに再構成可能である。好 ましい実施例では、ログはＳＤＢに関連する唯一の一貫した記録機構である。Ｓ ＤＢの再構成は空のデータベースから始まりログからデータベースへの一連の変 更を読み取り、メモリ内データベース内容の変更を反映させることにより実行さ れる。 好ましい実施例では、ＳＤＢへの入力はすべてテキスト列の対、キーと値の形 である。入力（「Put」）を書き込むと、呼出しプログラムが、データベースに 記憶されているキー／値入力を供給する。put動作の前に同一のキーをもつ入力 がある場合、それは置換される。入力（「Get」）を読み取ると、呼出しプログ ラムはキーを供給し、そのキーをもつ入力がある場合、その値列が戻される。さ らに、好ましい実施例では、ＳＤＢインターフェースはリストの作成が可能であ る。リストは、キーによるのではなく連続してアクセス可能な入力の連続である 。リスト入力は通常の列値である。 ユーザは、ログファイルの名前を付与することでＳＤＢを「開く」。ログファ イルがある場合、それが読み取られ、対応するＳＤＢがログ内容から再構成され る。ログファイルが存在しない場合、ログファイルが作成され、ＳＤＢは空のデ ータ構造としてメモリに作成される。次いで、ＳＤＢは、それが閉じられるまで PutおよびGet動作を利用可能である。データベースの閉鎖は、閉鎖動作を用いれ ば明示的に実行され、アクセスプログラムが終了すると暗示的に実行される。 好ましい実施例では、ＳＤＢ上のすべての動作が「トランザクション」に分類 される。GetまたはPutは、進行中のトランザクションがない場合新しいトランザ クションを起動する。トランザクションは、以後のPutsまたはGetsを通して以下 のようになるまで継続する。 （１）ＳＤＢコミット動作が実行されるまで。 （２）ＳＤＢロールバック動作が実行されるまで。この動作はＳＤＢ上の全トラ ンザクションの効果を無効にする。 （３）ＳＤＢが閉鎖されるまで。この場合には判明している最後の良好な状態ま で任意の活動中のトランザクションを暗示的に戻す。 好ましい実施例では、ＳＤＢ上のトランザクションは全体的なコミットアーキ テクチャの一部ではなく、いっそう細かく細分できる。 ホストプログラム ドライバプログラム１４がジョブを始めると、ホストシステム１０はコマンド チャンネル１８を作成して、ドライバプログラム１４とホストプログラム１２の 間でデータのやり取りを可能にする。ホストプログラム１２は、コマンドチャン ネル１８のホストシステム１０の端末でデータを処理する。各アプリケーション 当たりのホストプログラム１２が１つある。ホストプログラム１２は以下のよう に動作する。 （ａ）ジョブの開始：好ましい実施例では、以下の機能がアプリケーションの始 めにホストプログラム１２により実行される。 （１）ジョブＩＤ：ホストプログラム１２は、ホストプログラム１２が実行中 のシステムのインターネットアドレスを用いて「ジョブＩＤ」と呼ばれる固有識 別子と、タイムスタンプと、ホストプログラム１２のプロセスＩＤを作成する。 （２）ホストＳＤＢ：ホストプログラム１２は、ジョブＩＤを識別子として使 用することでホストＳＤＢを作成する。好ましい実施例では、ジョブＩＤはホス トＳＤＢに記憶される。 （３）回復ファイル：ホストプログラム１２はその実行の開始時に「回復ファ イル」と呼ばれるファイルをデータ記憶システム１６にも書き込む。このファイ ルはジョブＩＤも含んでいる。このジョブＩＤはホストＳＤＢを開くために使用 される。 （ｂ）リモートノードおよびエージェント：ホストプログラム１２は複数のプロ セスを開始させ、１つまたは複数のエージェント２４を介してファイル／データ ベース上で動作する。各エージェント２４はホストプログラムとの双方向に接続 （エージェントコマンドチャンネル２２）を確立して、コマンドをエージェント ２４に送信し、エージェント２４から応答を受けとる。エージェント２４は、ア プリケーションプログラムが実行されるかまたはファイルまたは他のデータ収集 が配置されている各リモートシステム２０で起動する。好ましい実施例では、複 数のエージェント２４が、アプリケーションの開始時に一度にすべてが起動せず に、必要に応じて起動される。 （ｃ）段階の実行：ホストプログラム１２は複数のエージェント２４を使用して 、ドライバプログラム１４により指示された通りに、非チェックポインティング アプリケーションの実行を複数段階に分割する。ホストプログラム１２は、この 分割を実施するトランザクションメカニズムを制御し、以下に記載のように簿記 および調整機能を実行する。 好ましい実施例では、各段階はゼロから番号が振られる。１つの段階は常に４ つの状態「実行中、エラー、準備完了またはコミット中」の１つである。新しい 段階が始まると、それは実行状態である。遠隔動作がその段階中に実行されてい るのでこの段階は実行状態で継続する。 現在の段階番号とその状態はホストＳＤＢに記録されている。この情報はあら ゆる状態遷移で記録される。段階中の任意の時点で、ドライバプログラム１４は ロールバック機能を呼び出すことができる。この機能により現段階中にこれまで 実行されたすべての動作の実行が無効になり、すべての変更された状態が段階の 開始時の状態まで戻され、その段階を実行状態にする。 各段階中に、実行状態の間、ドライバプログラム１４が開始プロセスおよび遠 隔処理手順呼出し（ＲＰＣ）コマンドをホストプログラム１２に発行する。ホス トプログラム１２はこうしたコマンドを適切なエージェント２４に送り、各エー ジェント２４からの応答をまとめて、その応答をドライバプログラム１４に送る 。本発明の反復実施例では、こうしたコマンドと対応する応答のすべてがホスト ＳＤＢに記録されている。この情報は、以下に記載したように「反復モード」で 使用される。 ドライバプログラム１４により起動されたプロセスすべてが終了すると、ドラ イバプログラム１４は準備機能を呼び出して、アプリケーションの現段階を準備 完了状態にする。この後で、ドライバプログラム１４はコミット機能を呼び出す 。この機能は段階中に実行された動作すべてを完全、正確かつ改変不能に実行し て、この段階を終える。ロールバック機能は準備完了状態でも呼び出せ、準備機 能の前に呼びだされたのと同じ効果をもたらすことができる。 本発明の好ましい実施例は従来の２相コミットプロトコルを使用する。好まし い反復実施例では、２相コミットプロトコルは以下のようなものである。 （１）準備：準備コマンドは以下の動作によりホストプログラム１２により実行 される。 ｌ）現段階番号を含むキーにより、ホストＳＤＢの現段階から記録されたコマ ンドチャンネルデータを記憶する。こうした情報がすでにある場合には（たとえ ば、コミット処理中に障害が発生した同じ段階の前の実行によるもの）、重ね書 きされる。 ２）現段階中に複数のコマンドを実行した各エージェント２４にホストプログ ラム１２から準備コマンドを送る。各エージェントは、従来の２相コミット規約 に応じて、以後の任意の時点で、エージェント２４の制御下ですべての資源の状 態を回復するロールバックコマンドを実行するかまたは、エージェント２４の制 御下ですべての資源の変更を永続的なものにするコミットコマンドを実行するよ うに、準備完了状態を入力する。この準備完了状態は持続可能でなければならな い。すなわち、システム障害の後で準備完了状態を再構成し、ロールバックまた はコミット動作を実行することが可能でなければならない。準備完了状態に達す ると、各エージェント２４は、準備コマンドに応答することでこのことを知らせ ることになる。 ３）すべてのエージェント２４は準備コマンドが首尾よく完了したことを示す まで待機する。 ４）ホストプログラム１２の状態を準備完了状態に設定し、ホストＳＤＢの変 更を通知する。 （２）コミット：コミットコマンドは以下のようにして実行される。 １）ホストプログラム１２の状態をコミット状態に設定し、ホストＳＤＢの変 更を通知する。 ２）段階中に複数のコマンドを実行した各エージェント２４にコミットコマン ドを送る。次に、各エージェント２４は、その制御下にあるすべての資源に加え られた変更が永続的になり、ロールバック時に必要とされたかもしれない情報を 除去する。こうした処理が完了すると、各エージェント２４は、コミットコマン ドに応答することによりこのことを合図する。 ３）すべてのエージェント２４はコミットコマンドが首尾よく完了したことを 示すまで待機する。 ４）ホストプログラム１２の状態を実行状態に設定し、段階番号を増分し、ホ ストＳＤＢの変更を通知する。 実行状態または準備完了状態中に、エラー状態がオペレーティングシステムま たはアプリケーションにより検出される場合には、その段階はエラー状態となる 。好ましい実施例では、この状態の間には、さらに遠隔動作を実行することはで きないし、段階の状態を変更することもできないし、新しい段階を開始すること もできない。好ましい実施例では、この時点での規約による動作は以下のものだ けである。 （１）デバッギング：ドライバプログラム１４は、周知の方式で、複数の通報コ マンドを使用して、アプリケーションをデバッグしたり、さらに／または診断情 報を収集することができる。 （２）イグジット（退出）：ドライバプログラム１４が出ていくと、ホストプロ グラム１２は、ドライバプログラム１４に代わってロールバックコマンドを発行 できる。 （３）ロールバック：ドライバプログラム１４はロールバックコマンドを発行で きる。このコマンドは、現段階の開始時の状態にシステムを戻し、上記のように ファイル／データベースに加えられた変更を元に戻す。 要約すると、ホストプログラム１２の規約状態変化は以下の通りである。 （１）初期状態：実行中 （２）コミット状態以外の任意の状態においては、エラー条件によりエラー状態 に遷移する。ロールバックコマンドによりまたはドライバプログラム１４が出た 場合にはこの状態から脱出できる。このロールバックコマンドによりシステムは 実行状態になる。 （３）実行状態では、準備動作により準備完了状態に遷移する。実行状態または 準備完了状態中に、ロールバック動作により段階が元に戻され、その場合には段 階番号は同じであり、システムは実行状態に戻る。 （４）準備完了状態では、コミット動作によりコミット状態に遷移される。この 状態はコミット動作の持続中続き、段階番号を進め、現段階を終了し、実行状態 の新しい段階を始める。一旦ホストＳＤＢがコミット状態への遷移を記録すると 、エラーの検出によりシステムは打ち切られる。システムが再起動すると、コミ ット動作が完了する。コミット状態中にはロールバックは不可能である。 アプリケーションの全段階を完了（コミット）すると、ドライバプログラム１ ４は閉鎖コマンドを発行する。このコマンドはアプリケーションが首尾よく完了 したことを示している。この動作は回復ファイルとホストＳＤＢを除去する。 本発明の回復実施例では、処理手順は同様であるが、例外点がいくつかある。 第１に、コマンドと応答がホストＳＤＢに記憶されない。逆に、準備コマンドが ドライバプログラム１４により発行されホストプログラム１２と複数のエージェ ント２４により実行されると、ドライバプログラム１４のメモリイメージファイ ルが、周知の方式で、ディスクドライブなどの不揮発性記憶機構に記憶されるの が好ましい。メモリイメージは、ドライバプログラム１４の（交換ファイル等を 含む）アドレス空間全体、またはドライバプログラム１４の保存状態を再創造す るのに必要な（ドライバプログラム１４の特定の実施用のプログラマにより決定 された）ドライバプログラム１４の臨界データ構造だけを含む。（たとえば、メ モリのプログラム静止画を記憶されているイメージファイルと比較することによ り）ホストプログラム１２およびデータ記憶システム１６とやり取りをするため に、メモリイメージファイルの書込みが確認されシステムが準備完了状態に入る と、コミットコマンドは、上記のように、ドライバプログラム１４により発行さ れホストプログラム１２と複数のエージェント２４により実行される。好ましい 実施例では、以前のメモリイメージファイルが削除する前に（すなわち、「Ａ」 と「Ｂ」コピーが周知の方式で維持される）次のメモリイメージファイルが書き 込まれ確認される。以前のメモリイメージファイルは、コミット動作が完了しな ければ削除されない。 （ｄ）回復：閉鎖動作を実行することなく終了したアプリケーションは障害が発 生したと考えられる。アプリケーションが再起動されると、回復を起動する。好 ましい実施例では、ホストプログラム１２が開始するときは常に、ホストプログ ラム１２は回復ファイルがあるかどうかを検査する。好ましい実施例では、ファ イルがあると、ホストプログラム１２は、前の障害が発生したと仮定して、前の ジョブを再度開始しようとする。 回復の第１工程は、すべてのファイルとデータベースをそれらの最近コミット した状態に回復することである。ホストＳＤＢが実行、エラーまたは準備完了の 状態を指示する場合、ホストプログラム１２はロールバックコマンドを発行し、 すべてのコミットされていない動作を周知の方式で元に戻す。ホストＳＤＢがコ ミット状態を示す場合、ホストプログラム１２はコミットコマンドを再発行し、 割り込まれたコミット動作であるのが明らかな動作を完了する。 本発明の反復実施例では、ホストプログラム１２は反復モードを入力する。上 記したように、ドライバプログラム１４は、適切な段階番号を含むキーを用いて 、単一コマンドチャンネル１８を介してシステムの残りと相互に作用する。その 通信量はコミット処理中にホストＳＤＢに自動的に記憶される。段階を反復する ときには、ホストプログラム１２はホストＳＤＢから保存されたコマンドチャン ネル通信量を検索することにより開始する。反復のために、ドライバプログラム １４はその初期状態から再起動され、通常に機能する。反復期間中に、ドライバ プログラム１４により送られたすべてのコマンドがホストプログラム１２により 捨てられる。（安全のために、記録されたコマンドメッセージ通信量とそれらの コマンドを比較した後に行われる。ただし、これはオプションである。）ドライ バプログラム１４がコマンドチャンネル１８を介して応答メッセージを受け取ろ うとするときは常に、データ記憶システム１６に記録された到来応答通信量から ホストプログラム１２により応答が取り出され、即座にドライバプログラム１４ に送られる。単一スレッド式コンピュータプログラムの決定特性のために、この プロセスの結果、ドライバプログラム１４は障害のある実行中に行われたのと同 じコマンド列を実行する。制御されたアプリケーションプログラムは以前の実行 で実行されたのと同じ状態で終了することになる。 すべてのコミットされた段階からの記録されたコマンドチャンネル通信量が再 生されると、以下のことが保証される。 （１）ドライバプログラム１４が、最近のコミット動作までその状態を（反復に より）回復されたこと。 （２）すべてのファイルとデータベースが、最近のコミット動作までそれらの状 態を（２相コミットプロトコルにより）回復されたこと。 したがって、システムの状態は回復され、実行が通常通り進む。 本発明の回復実施例では、処理手順はいくぶん異なる。 （１）ホストＳＤＢが準備完了状態を示し２つのメモリイメージファイル（Ａと Ｂ）が保存されていると、ホストプログラム１２はより新しいファイルを削除す る（したがって、２重コミットが阻止される）、ロールバックコマンドを発行し 、より古いイメージファイル（すなわち、ドライバプログラム１４の最後に知ら れた良好な保存されたイメージ）をメモリに再ロードする。ホストＳＤＢが準備 完了状態を示し１つのメモリイメージファイル（ＡまたはＢ）が保存される場合 、ホストプログラム１２がロールバックコマンドを発行し、そのイメージファイ ルをメモリに再ロードする。 （２）ホストＳＤＢがコミット状態を示している場合、ホストプログラム１２は コミットコマンドを発行し、最新のイメージファイルをメモリに再ロードする。 （３）ホストＳＤＢが実行中またはエラー状態を示し、メモリイメージファイル が２つ保存されている場合、ホストプログラム１２はロールバックコマンドを発 行し、より新しいイメージファイルをメモリに再ロードする。メモリイメージフ ァイルが１つ保存されている場合、ホストプログラム１２はロールバックコマン ドを発行しそのイメージファイルをメモリに再ロードする。 どの場合でも、ホストプログラム１２はコマンドチャンネル１８を再設定し、 ドライバプログラム１４の実行を再開する。 回復プロトコルは以下のことを保証する。 （１）コミット状態に入る前に障害が発生すると、ロールバックが実行され、最 も古い（前準備状態）メモリイメージが使用される。コミット状態中に障害が発 生すると、コミット動作は終了して、最新の（後準備状態）メモリイメージが使 用される。コミット状態に入った後で障害が発生すると、ロールバックが実行さ れ最新の（後準備状態）メモリイメージが使用される。 （２）ファイルとデータベースもすべて最新のコミット動作までそれらの状態に （たとえば、２相コミットプロトコルにより）回復される。 したがって、システムの状態が回復され、実行は通常通り進む。 エージェント 以下の説明はホストプログラム１２に起動される各エージェント２４に適用さ れる。用語「ローカルノード」は、特定のエージェント２４が実行中のシステム を示すのに使用される。 各エージェント２４はアプリケーションを実行するのに必要な実際の動作を実 行する。エージェント２４の役割は、それが実行中のリモートシステム２０での み複数の動作を実行することである。これらの動作には遠隔処理手順呼出しの実 行、こうした動作のコミットとロールバック、ならびに複数のプロセスの作成と 監視が含まれる。エージェント２４は、アプリケーションが実行可能な時と方法 を制御しているので、アプリケーションとオペレーティングシステムの「間に」 あると考えることができる。 遠隔手続き呼出し（ＲＰＣ）の形で複数のコマンドがドライバプログラム１４ によりエージェント２４にホストプログラム１２を介して送られている。好まし い実施例では、ＲＰＣコマンドはコマンド識別子とその後に続く一連の引数から 構成され、引数はすべてテキスト列である。エージェント２４は、ＲＰＣコマン ド識別子を「ＲＰＣハンドラ」にマッピングするテーブルを含む。ハンドラはサ ブルーチンを呼び出してＲＰＣを実行し、ＲＰＣをコミットし、ＲＰＣをロール バックするオブジェクトである。したがって、エージェント２４は適切なＲＰＣ ハンドラを探しだして、そのＲＰＣハンドラにＲＰＣの引数を与えることにより ＲＰＣを処理する。ＲＰＣハンドラルーチンは引数列を解析して、要求された動 作を実行する。この後で、ＲＰＣハンドラルーチンは応答列を作成し、この応答 列はホストプログラム１２を介してドライバプログラム１４に送り返される。各 応答列にはコマンドの成功についての情報と要求された戻りデータが含まれてい る。好ましい実施例には、以下に説明するように、複数のプロセスを開始するた めに特殊なＲＰＣが使用されている。 エージェント２４が起動すると、それが受信する第ＩＲＰＣコマンドは開始エ ージェントコマンドである。このコマンドはエージェント２４にアプリケーショ ン用のジョブＩＤを通知して、ローカルノードに固有の「ノードＩＤ」を指定す る。次に、エージェント２４は「エージェントＳＤＢ」と呼ばれる状態データベ ースを開く。エージェントＳＤＢの名前はジョブＩＤとノードＩＤから誘導され るので、アプリケーションを通して固有である。 各エージェント２４はホストプログラム１２に沿ってアプリケーションの複数 の段階を追跡する。ホストプログラム１２が準備またはコミット動作を実行する ときには、準備ノードとコミットノードＲＰＣコマンドをエージェント２４のそ れぞれに送ることで実行される。好ましい実施例では、一旦エージェント２４が すべて首尾よくそれら固有の準備ノードコマンドに応答すると、ドライバプログ ラム１４はアプリケーション全体が準備完了状態にあるとしか考えられないこと になる。同様に、エージェント２４がすべてそれらのコミットノードコマンドに 首尾よく応答した場合には、アプリケーションは遂行された段階を考慮し次の段 階に進むだけである。 各エージェント２４は現段階とその状態をエージェントＳＤＢに記録する。４ つの定義された状態と可能な状態変化はホストプログラム１２と同じであり、通 常の場合には、ホストプログラム１２のこれらの状態と状態変化に追随する。現 段階状態（および現段階番号）は「ノード状態」ＲＰＣコマンドによりドライバ プログラム１４により検索できる。 ドライバプログラム１４が閉鎖機能を呼び出すと、閉鎖コマンドが各エージェ ント２４に発行される。各エージェント２４は、ローカル段階状態が実行中で実 行中のプロセスがないことを検査することで応答して、その関連するエージェン トＳＤＢを削除する。 好ましい実施例では、各エージェント２４は複数のＲＰＣ動作を実行する。こ れらのＲＰＣ動作は段階の一部なので、コミット／ロールバックトランザクショ ンアーキテクチャに応じている。これを実行するには、各エージェント２４はそ のエージェントＳＤＢを使用する。特に、各段階では、エージェント２４はその エージェントＳＤＢに「ＣＲ＿ＬＩＳＴ」と呼ばれるリストを作成し、各動作毎 にデータが入力される。各入力は、周知の方式で、動作を元に戻すのに十分な情 報を保持している。このリストは、動作が実行されたのと逆の順序でそれらの動 作は元に戻されるよう順序づけられるのが好ましい。 好ましい実施例では、統一するために、ＲＰＣすべてが以下の制限に従うよう になっている。 （１）ＲＰＣがファイル／データベースの状態を変える場合、そのファイル／デ ータベースに加える変更をロールバックするのに必要な情報をそのＲＰＣは保存 し、ＣＲ＿ＬＩＳＴの入力を作成しなければならない。この入力は実行中のＲＰ Ｃコマンドの識別を備えてなければならないので、適切なＲＰＣハンドラはコミ ット／ロールバック処理中に配置できる。 （２）各ＲＰＣハンドラは、（ＲＰＣがデータベースまたはファイルへの変更を 加えない場合には空白動作となる）準備、コミットおよびロールバック動作を実 施する手段を備えてなければならない。 （３）各ＲＰＣハンドラはオプションで、各エージェント２４のＳＤＢを使用し て、用件を充足するのに必要な情報を記憶することができる。 （４）ファイル／データベースの状態に変更を加えないＲＰＣに特殊な動作は不 必要である。 好ましい実施例では、アプリケーションプログラムは以下に示す規則に従わな ければならない。 （１）プロセスがファイル／データベースを修正する場合、変更をロールバック し準備／コミット／ロールバック動作を実施する手段を備えてなければならない 。エージェント２４の制御下での複数のプロセスは、エージェントＳＤＢにもア クセスする。たとえば、アプリケーションプログラムはＣＲ＿ＬＩＳＴに複数の 入力を作成可能である。こうした入力は、適切なコミット／ロールバック動作を 実施するＲＰＣコマンド用の識別子を含んでなければならない。しかし、この場 合には、ＲＰＣは実際には発生しないので、「ダミーＲＰＣ」の識別子が入力さ れる。 （２）代りに、ドライバプログラム１４は、同じ効果をもつプロセスのために複 数のＲＰＣを発行することができる。 エージェント２４への開始プロセスコマンドによりエージェント２４は特殊な アプリケーションプログラムイメージファイルを実行させて、ローカルノードで 「プロセス」を開始する。好ましい実施例では、このコマンドへの引数は以下を 供給する。 （１）プログラム用の実行可能イメージファイル （２）プログラムの引数リスト （３）プログラムが必要とする任意のオペレーティングシステム環境情報 （４）標準入出力およびエラーチャンネルとして使用されるプロセスに対して開 かれるファイルまたはパス名 （５）実行が成功したことを示す、プログラムを終了させる出口状況コード （６）デバッグモード（デバッギングは以下に記載される） 各エージェント２４はその制御下ですべてのプロセスのリストを維持する。プ ロセスが始まると、これらのプロセスの識別子がこのリストに追加される。 好ましい実施例では、各エージェント２４は、ドライバプログラム１４に応答 して初めてプロセスの終了を待機する。各エージェント２４によりプロセスは、 そのプロセスの実行を監視しながらエージェント２４と同時に実行される。常に 、エージェント２４はプロセスの「プロセス状態」を知っている。この状態は、 好ましい実施例ではＰＳ＿ＲＵＮＮＩＮＧ，ＰＳ＿ＥＲＲＯＲ，ＰＳ＿ＤＥＢＵ ＧまたはＰＳ＿ＥＸＩＴＥＤの１つである。 ＰＳ＿ＲＵＮＮＩＮＧ状態は周知の問題なしにプログラムプロセスが実行中で あることを示す。ＰＳ＿ＥＲＲＯＲ状態は、プロセスが解決不可能な問題に遭遇 したことが判明したことを示し、さらに（１）プロセスがエラー条件（信号また はエラートラップ）を合図するか、（２）障害を示すエラー状況で終了したか、 または（３）通常ではない方式で終了したか（たとえば、中止またはオペレータ による手段終了など）を示している。ＰＳ＿ＥＸＩＴＥＤ状態は、プロセスが首 尾よく実行を完了し、通常の方式で終了したことを示している。ＰＳ＿ＤＥＢＵ Ｇ状態は以下の「デバッギング」で説明される。 好ましい実施例では、ドライバプログラム１４は「ProcState」ＲＰＣコマン ドを使用してプロセスの状態を尋ねることができる。各エージェント２４は、集 合プロセス状態も維持し、エージェントが全体として開始するよう指令されたす べてのプロセスの状態を示す。この集合状態は「ノードプロセス状態」と呼ばれ 、ノードのコミット／ロールバック状態（実行中、準備完了、コミット中、エラ ー）から離れている。ノードプロセス状態はこれら４つのプロセス状態と同じで あり、以下のように定義される。 （１）任意のプロセスがＰＳ＿ＤＥＢＵＧ状態にある場合、集合状態はＰＳ＿Ｄ ＥＢＵＧである。そうでない場合、 （２）任意のプロセスがＰＳ＿ＥＲＲＯＲ状態にある場合、集合状態がＰＳ＿Ｅ ＲＲＯＲである。そうでない場合、 （３）任意のプロセスがＰＳ＿ＲＵＮＮＩＮＧ状態にある場合、集合状態はＰＳ ＿ＲＵＮＮＩＮＧである。そうでない場合、 （４）集合状態はＰＳ＿ＥＸＩＴＥＤである（すべてのプロセスは通常に終了し た）。 ノードプロセス状態の遷移はノードのコミット／ロールバック状態に影響を及 ぼす。特に、ノードプロセス状態がＰＳ＿ＥＲＲＯＲ状態に遷移する場合、ノー ドのコミット／ロールバック状態は自動的にエラー状態に遷移する。さらに、プ ロセス状態がＰＳ＿ＥＸＩＴＥＤの場合には、実行中状態から準備完了状態また は準備完了状態からコミット状態への遷移だけが唯一つの規約順守である。 集合プロセス状態はノード状態エージェントコマンドによりドライバプログラ ム１４により検索可能である。 好ましい実施例では、複数のプロセスは標準エラー入出力チャンネルを介して エラーメッセージを発する。たとえば、ＵＮＩＸでは、これは「stderr」入出力 ファイルである。こうした出力はオプションとして、任意のプロセスからエージ ェント２４に経路設定可能であり、「Eread」ＲＰＣコマンドを介してドライバ プログラム１４に利用可能である。 ドライバプログラム１４は、１つのノードまたはノードのセットにおいて始ま ったすべてのプロセスが実行を完了するまで実行を継続できない環境にしばしば 入る。この環境に適応するには、エージェント２４はドライバプログラム１４か ら「待機」コマンドを指示する。待機コマンドにより、ノードプロセス状態がＰ Ｓ＿ＲＵＮＮＩＮＧ状態を終えるまで（すなわち、状態はＰＳ＿ＤＥＢＵＧ，Ｐ Ｓ＿ＥＲＲＯＲまたはＰＳ＿ＥＸＩＴＥＤ）エージェント２４はその応答を遅延 させる。待機コマンドへの応答は、待機状態を終了させる処理を示している。ド ライバプログラム１４は、待機状態中にエージェント２４に「sync」ＲＰＣコマ ンドを送ることで待機状態を取り消すこともできる。介入待機応答が偶然受信さ れてもされなくてもSync（同期）コマンドは動作する（とういのは、待機応答お よび同期コマンドがコマンドチャンネル１８で交差しているからである）。 プロセスデバッギング 時には、ドライバプログラム１４によりユーザがシステムの特定のプロセスを デバッグできるようにすることが有益である。デバッギングは、特定のオペレー ティングシステムの元で利用可能な標準デバッガの制御下でのプロセスの実行を 必要とする。ユーザは実行の最初からプロセスのデバッグを希望できる。代りに 、プロセスがエラー状態に遭遇する場合、すなわち、プロセスがＰＳ＿ＥＲＲＯ Ｒプロセス状態に遷移するときのみに、ユーザはそのプロセスのデバッグを希望 できる。 好ましい実施例では、あるプロセスが（開始プロセスコマンドを用いて）始め られる場合、そのプロセスは、ＤＥＢＵＧ＿ＮＯＮＥ，ＤＥＢＵＧ＿ＳＴＡＲＴ 及びＤＥＢＵＧ＿ＴＲＡＣＥの３つのデバッグモードの任意のもので実行可能に なるように指定できる。ＤＥＢＵＧ＿ＮＯＮＥデバッグモードのプロセスではデ バッガを動作させる必要はない。ＤＥＢＵＧ＿ＳＴＡＲＴモードで指定された処 理は関連するデバッガにより始めから実行されることになる。ＤＥＢＵＧ＿ＴＲ ＡＣＥモードで指定された処理はエージェント２４により監視され、こうした処 理が様々な検出可能エラー状態（エラートラップ、信号または打切りなど）の任 意の状態に入る場合、こうした状態は停止され、デバッガは障害プロセスに接続 された状態で実行される。 好ましい実施例では、エージェント２４はデバッガを自主的に起動しない。代 りに、プロセスが（デバッグモードにより指示されたように）デバッギングが必 要な場合には、エージェント２４はプロセスをＰＳ＿ＤＥＢＵＧプロセス状態に 遷移する。これにより集合プロセス状態はＰＳ＿ＤＥＢＵＧに遷移する。この状 態はドライバプログラム１４に伝えられる（たとえば、この状態は待機状態を終 了させることになる）。この時点で、ドライバプログラム１４は「デバッグ」Ｒ ＰＣコマンドを用いてプロセス用のデバッガを呼び出すことができる。このコマ ンドは実行すべきプログラム、おそらくはシェルスクリプトを指定し、選択のデ バッガを起動するのに十分な情報が（引数リストを介して）そのプログラムに送 られる。 回復 各エージェントは、そのエージェントＳＤＢに記憶されているローカル段階番 号と状態を維持する。段階番号は準備／コミットプロトコルを介してホストプロ グラム１２のそれと同期する。段階状態は、プロセス状態から主に誘導され、ア プリケーション用の現段階の状態を全体的に計算するためにドライバプログラム １４により使用される。 ドライバプログラム１４は、障害により再呼出しに失敗すると、ホストプログ ラム１２にジョブを開始するよう伝える。「回復ファイル」が発見されると、ホ ストプログラム１２は「回復モード」に入り、以下のようにエージェント２４の 状態を回復する。 （１）ホストＳＤＢは、障害時に実行中の一連のエージェント２４のプロセスを 判定するのに使用される。 （２）新しいエージェント２４は各ノードで作成される。 （３）新しいエージェント２４には、ジョブＩＤをもつ「エージェント開始」コ マンドが付与される。 （４）エージェントＳＤＢは依然として存在しているから（その名前はジョブＩ Ｄから誘導される）、エージェント２４はこのジョブＩＤを従来のアプリケーシ ョンとして認識する。 （５）各エージェント２４はそのログから再構成されたＳＤＢを開き、現段階番 号、状態およびコミット−ロールバックリストを抽出する。 （６）ホストプログラム１２は、コミット中以外の状態にある場合、エージェン ト２４にロールバックコマンドを送る。このコマンドによりエージェント２４は その段階で実行された動作すべてを逆の順序で以前の状態に戻す。他方、ホスト プログラム１２は、コミット状態にある場合には、エージェント２４にコミット コマンドを再発行する。コミット状態にあることが判明しているエージェント２ ４は、コミット−ロールバックリストを準方向に横切り、すべての入力のコミッ ト方法を実行することで明らかに割り込みコミット動作であるものを完了するこ とになる。実行状態にあることが判明しているエージェント２４は、コミットコ マンドを空コマンドとして処理することになる（というのは、以前のコミット動 作が他のノードではまだだがそのノードでは明らかに完了しているからである） 。 （７）その時点では、エージェント２４は実行状態にあるその段階の開始時にあ ると考えて、ドライバプログラム１４からの複数のコマンドの取出しを開始する 。 要約 図４は、本発明の反復実施例の基本機能動作を要約形式で示す流れ図である。 ドライバプログラム１４はリモートシステム２０で複数のプロセスを開始する（ ステップ４０）。ホストプログラム１２は、ドライバプログラム１４からのすべ ての制御コマンドを、ドライバプログラム１４へのすべての応答と同様に（ステ ップ４２）、記録する（ステップ４１）。各エージェント２４は、その各リモー トシステム２０の各段階でアプリケーションを実行する（ステップ４３）。アプ リケーションは準備−コミットプロトコルを実行して、システムの一貫性を維持 しながらシステムおよびファイルの状態を記憶する（ステップ４４）。障害が発 生すると、システムの状態が回復され、ドライバプログラム１４が再起動し、ホ ストプログラム１２にコマンドを発行する（ステップ４５）。ホストプログラム １２は各コマンドに対する応答を読み取り、実行されるまで、反復モードでドラ イバプログラム１４に応答を送る（ステップ４６）。次いで、ドライバプログラ ム１４は、最後の良好なチェックポイントからアプリケーションプロセスの制御 を続ける。 図５は、本発明の回復実施例の基本機能動作を要約形式で示す流れ図である。 ドライバプログラム１４はリモートシステム２０でプロセスを開始する（ステッ プ５０）。各エージェント２４は、その各リモートシステム２０で各段階のアプ リケーションを実行する（ステップ５１）。アプリケーションはコミットプロト コルの準備部分を実行して、システムおよびファイルの状態を記憶する（ステッ プ５２）。準備プロトコルが実行されるとドライバメモリ１４のメモリイメージ が記憶される（ステップ５３）。アプリケーションがコミットプロトコルを実行 して、システムの一貫性を維持しながらシステムおよびファイル状態の保存を完 了する（ステップ５４）。障害が発生すると、システムの状態が回復して、ドラ イバプログラム１４の記憶メモリイメージがメモリに再ロードされる（ステップ ５５）。次いで、ドライバプログラム１４は、最後の良好なチェックポイントか らアプリケーションプロセスの制御を続ける（ステップ５６）。 本発明について多くの実施例が説明されてきた。しかし、本発明の精神と範囲 から逸脱することなく様々な修正を加えることが可能なことを理解すべきである 。たとえば、本発明はＣＰＵが１つのシステムに適用可能である。さらに、２相 コミットプロトコルが好ましいが、システム一貫性を維持しながらシステムの状 態を安全に保存する他のコミットプロトコルが使用できる。したがって、本発明 は特定の例示実施例によって制限されるものではなく、添付の請求の範囲によっ てのみ制限されるものであることを理解すべきである。

【手続補正書】 【提出日】平成１０年７月７日（１９９８．７．７） 【補正内容】 請求の範囲（１９条補正） １． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行する方法であって、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る工程と、 （ｂ）複数のコマンドを発行し、こうしたコマンドに応答することで前記アプ リケーションの各実行段階の処理を制御する工程と、 （ｃ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する工程 と、 （ｄ）首尾よく完了した実行段階それぞれの終了状態を保存する工程と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する工程と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する工程と、 （ｇ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する工程と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 工程と、から成る前記方法。 ２． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム であって、該コンピュータプログラムはコンピュータシステムにより読取可能な 媒体に記憶されており、前記コンピュータシステムにより読み取られ実行される と、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行し 、 （ｂ）複数のコマンドとそれらのコマンドへの応答を発行することで前記アプ リケーションの各実行段階の処理を制御し、 （ｃ）こうしたコマンドとこれらコマンドに対する応答すべてを記録し、 （ｄ）首尾よく完了した実行段階それぞれの終了状態を保存し、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出し 、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復し、 （ｇ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復し、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する、よ うに前記コンピュータシステムを構成するコンピュータプログラム。 ３． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム により構成され、コンピュータを特定の事前に定義された方式で動作させて、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る機能と、 （ｂ）複数のコマンドとこうしたコマンドへの応答を発行することで前記アプ リケーションの各実行段階の処理を制御する機能と、 （ｃ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する機能 と、 （ｄ）首尾よく終了した実行段階それぞれの終了状態を保存する機能と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｇ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する機能と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行させるように構成されたコンピュータ読取可能な記憶媒体。 ４． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行する方法であって、 （ａ）アプリケーションを個々の実行段階に分割する工程と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する工程と、 （ｃ）複数のコマンドを発行し、こうしたコマンドに応答することで前記アプ リケーションの各実行段階の処理を制御する工程と、 （ｄ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する工程 と、 （ｅ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する工程と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する工程と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する工程と、 （ｈ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する工程と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 工程と、から成る前記方法。 ５． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム であって、該コンピュータプログラムはコンピュータシステムにより読取可能な 媒体に記憶されており、前記コンピュータシステムにより読み取られ実行される と、 （ａ）アプリケーションを個々の実行段階に分割し、 （ｂ）並列処理システムで前記アプリケーションの実行を開始し、 （ｃ）複数のコマンドを発行し、こうしたコマンドに応答することで前記アプ リケーションの各実行段階の処理を制御し、 （ｄ）こうしたコマンドとこれらコマンドに対する応答すべてを記録し、 （ｅ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存し、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出し 、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復し、 （ｈ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復し、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する、よ うに前記コンピュータシステムを構成するコンピュータプログラム。 ６． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム により構成され、コンピュータを特定の事前に定義された方式で動作させて、 （ａ）アプリケーションを個々の実行段階に分割する機能と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する機能と、 （ｃ）複数のコマンドを発行し、こうしたコマンドに応答することで前記アプ リケーションの各実行段階の処理を制御する機能と、 （ｄ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する機能 と、 （ｅ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する機能と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｈ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する機能と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行させるように構成されたコンピュータ読取可能な記録媒体。 ７． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行する方法であって、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る工程と、 （ｂ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する工程と、 （ｃ）首尾よく完了した実行段階それぞれの終了状態を保存する工程と、 （ｄ）首尾よく完了した実行段階それぞれの終了時において、少なくとも前記 ドライバプログラムが保存状態を再作成するのに必要な前記ドライバプログラム のデータ構造 を保存する工程と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する工程と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する工程と、 （ｇ）前記ドライバプログラムの保存データ構造をメモリに再ロードすること で、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプログ ラムを回復する工程と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 工程と、から成る前記方法。 ８． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム であって、該コンピュータプログラムはコンピュータシステムにより読取可能な 媒体に記憶されており、前記コンピュータシステムにより読み取られ実行される と、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行し 、 （ｂ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御し、 （ｃ）首尾よく完了した実行段階それぞれの終了状態を保存し、 （ｄ）首尾よく完了した実行段階それぞれの終了時において、少なくとも前記 ドライバプログラムが保存状態を再作成するのに必要な前記ドライバプログラム のデータ構造 を保存し、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出し 、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復し、 （ｇ）前記ドライバプログラムの保存データ構造をメモリに再ロードすること で、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプログ ラムを回復し、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する、よ うに前記コンピュータシステムを構成するコンピュータプログラム。 ９． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム により構成され、コンピュータを特定の事前に定義された方式で動作させて、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る機能と、 （ｂ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する機能と、 （ｃ）首尾よく完了した実行段階それぞれの終了状態を保存する機能と、 （ｄ）首尾よく完了した実行段階それぞれの終了時において、少なくとも前記 ドライバプログラムが保存状態を再作成するのに必要な前記ドライバプログラム のデータ構造 を保存する機能と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｇ）前記ドライバプログラムの保存データ構造をメモリに再ロードすること で、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプログ ラムを回復する機能と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行させるように構成されたコンピュータ読取可能な記憶媒体。 １０． 並列処理システムにおいて事前プログラム式チェックポインティング機 能を備えてないコンピュータアプリケーションを実行する方法であって、 （ａ）アプリケーションを個々の実行段階に分割する工程と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する工程と、 （ｃ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する工程と、 （ｄ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する工程と、 （ｅ）首尾よく完了した実行段階それぞれの終了時において、少なくとも前記 ドライバプログラムが保存状態を再作成するのに必要な前記ドライバプログラム のデータ構造 を保存する工程と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する工程と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する工程と、 （ｈ）前記ドライバプログラムの保存データ構造をメモリに再ロードすること で、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプログ ラムを回復する工程と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 工程と、から成る前記方法。 １１． 並列処理システムにおいて事前プログラム式チェックポインティング機 能を備えてないコンピュータアプリケーションを実行するコンピュータプログラ ムであって、該コンピュータプログラムはコンピュータシステムにより読取可能 な媒体に記憶されており、前記コンピュータシステムにより読み取られ実行され ると、 （ａ）アプリケーションを個々の実行段階に分割し、 （ｂ）並列処理システムで前記アプリケーションの実行を開始し、 （ｃ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御し、 （ｄ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存し、 （ｅ）首尾よく完了した実行段階それぞれの終了時において、少なくとも前記 ドライバプログラムが保存状態を再作成するのに必要な前記ドライバプログラム のデータ構造 を保存し、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出し 、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復し、 （ｈ）前記ドライバプログラムの保存データ構造をメモリに再ロードすること で、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプログ ラムを回復し、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する、よ うに前記コンピュータシステムを構成するコンピュータプログラム。 １２． 並列処理システムにおいて事前プログラム式チェックポインティング機 能を備えてないコンピュータアプリケーションを実行するコンピュータプログラ ムにより構成され、コンピュータを特定の事前に定義された方式で動作させて、 （ａ）アプリケーションを個々の実行段階に分割する機能と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する機能と、 （ｃ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する機能と、 （ｄ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する機能と、 （ｅ）首尾よく完了した実行段階それぞれの終了時において、少なくとも前記 ドライバプログラムが保存状態を再作成するのに必要な前記ドライバプログラム のデータ構造 を保存する機能と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｈ）前記ドライバプログラムの保存データ構造をメモリに再ロードすること で、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプログ ラムを回復する機能と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行させるように構成されたコンピュータ読取可能な記憶媒体。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ， ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，Ｇ Ｅ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ， ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，Ｐ Ｔ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 レッサー，クリフ アメリカ合衆国 02139 マサチューセッ ツ州，ケンブリッジ，リー ストリート 15，アパートメント ナンバー１ (72)発明者 ローディ，ロバート アメリカ合衆国 01778 マサチューセッ ツ州，ウェイランド，バウ ロード 33

Claims (1)

1. 【特許請求の範囲】 １． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行する方法であって、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る工程と、 （ｂ）複数のコマンドを発行し、こうしたコマンドに応答することで前記アプ リケーションの各実行段階の処理を制御する工程と、 （ｃ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する工程 と、 （ｄ）首尾よく完了した実行段階それぞれの終了状態を保存する工程と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する工程と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する工程と、 （ｇ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する工程と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 工程と、から成る前記方法。 ２． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム であって、該コンピュータプログラムはコンピュータシステムにより読取可能な 媒体に記憶されており、前記コンピュータシステムにより読み取られ実行される と、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る機能と、 （ｂ）複数のコマンドとそれらのコマンドへの応答を発行することで前記アプ リケーションの各実行段階の処理を制御する機能と、 （ｃ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する機能 と、 （ｄ）首尾よく完了した実行段階それぞれの終了状態を保存する機能と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｇ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する機能と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行するように前記コンピュータシステムを構成するコンピュータプ ログラム。 ３． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム により構成され、コンピュータを特定の事前に定義された方式で動作させて、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る機能と、 （ｂ）複数のコマンドとこうしたコマンドへの応答を発行することで前記アプ リケーションの各実行段階の処理を制御する機能と、 （ｃ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する機能 と、 （ｄ）首尾よく終了した実行段階それぞれの終了状態を保存する機能と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｇ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する機能と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行させるように構成されたコンピュータ読取可能な記憶媒体。 ４． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行する方法であって、 （ａ）アプリケーションを個々の実行段階に分割する工程と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する工程と、 （ｃ）複数のコマンドを発行し、こうしたコマンドに応答することで前記アプ リケーションの各実行段階の処理を制御する工程と、 （ｄ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する工程 と、 （ｅ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する工程と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する工程と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する工程と、 （ｈ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する工程と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 工程と、から成る前記方法。 ５． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム であって、該コンピュータプログラムはコンピュータシステムにより読取可能な 媒体に記憶されており、前記コンピュータシステムにより読み取られ実行される と、 （ａ）アプリケーションを個々の実行段階に分割する機能と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する機能と、 （ｃ）複数のコマンドを発行し、こうしたコマンドに応答することで前記アプ リケーションの各実行段階の処理を制御する機能と、 （ｄ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する機能 と、 （ｅ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する機能と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｈ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する機能と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行するように前記コンピュータシステムを構成するコンピュータプ ログラム。 ６． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム により構成され、コンピュータを特定の事前に定義された方式で動作させて、 （ａ）アプリケーションを個々の実行段階に分割する機能と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する機能と、 （ｃ）複数のコマンドを発行し、こうしたコマンドに応答することで前記アプ リケーションの各実行段階の処理を制御する機能と、 （ｄ）こうしたコマンドとこれらコマンドに対する応答すべてを記録する機能 と、 （ｅ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する機能と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｈ）前記アプリケーションの実行の開始から障害が検出された実行段階の前 の実行段階の最後に保存された終了状態までの記録コマンドおよびこうしたコマ ンドに対する応答すべてを反復する機能と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行させるように構成されたコンピュータ読取可能な記録媒体。 ７． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行する方法であって、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る工程と、 （ｂ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する工程と、 （ｃ）首尾よく完了した実行段階それぞれの終了状態を保存する工程と、 （ｄ）首尾よく完了した実行段階それぞれの終了時における前記ドライバプロ グラムのメモリイメージを保存する工程と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する工程と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する工程と、 （ｇ）前記ドライバプログラムの保存メモリイメージをメモリに再ロードする ことで、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプ ログラムを回復する工程と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 工程と、から成る前記方法。 ８． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム であって、該コンピュータプログラムはコンピュータシステムにより読取可能な 媒体に記憶されており、前記コンピュータシステムにより読み取られ実行される と、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る機能と、 （ｂ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する機能と、 （ｃ）首尾よく完了した実行段階それぞれの終了状態を保存する機能と、 （ｄ）首尾よく完了した実行段階それぞれの終了時における前記ドライバプロ グラムのメモリイメージを保存する機能と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｇ）前記ドライバプログラムの保存メモリイメージをメモリに再ロードする ことで、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプ ログラムを回復する機能と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行するように前記コンピュータシステムを構成するコンピュータプ ログラム。 ９． 並列処理システムにおいて事前プログラム式チェックポインティング機能 を備えてないコンピュータアプリケーションを実行するコンピュータプログラム により構成され、コンピュータを特定の事前に定義された方式で動作させて、 （ａ）並列処理システムにおいて個々の実行段階でアプリケーションを実行す る機能と、 （ｂ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する機能と、 （ｃ）首尾よく完了した実行段階それぞれの終了状態を保存する機能と、 （ｄ）首尾よく完了した実行段階それぞれの終了時における前記ドライバプロ グラムのメモリイメージを保存する機能と、 （ｅ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｆ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｇ）前記ドライバプログラムの保存メモリイメージをメモリに再ロードする ことで、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプ ログラムを回復する機能と、 （ｈ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行させるように構成されたコンピュータ読取可能な記憶媒体。 １０． 並列処理システムにおいて事前プログラム式チェックポインティング機 能を備えてないコンピュータアプリケーションを実行する方法であって、 （ａ）アプリケーションを個々の実行段階に分割する工程と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する工程と、 （ｃ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する工程と、 （ｄ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する工程と、 （ｅ）首尾よく完了した実行段階それぞれの終了時における前記ドライバプロ グラムのメモリイメージを保存する工程と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する工程と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する工程と、 （ｈ）前記ドライバプログラムの保存メモリイメージをメモリに再ロードする ことで、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプ ログラムを回復する工程と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 工程と、から成る前記方法。 １１． 並列処理システムにおいて事前プログラム式チェックポインティング機 能を備えてないコンピュータアプリケーションを実行するコンピュータプログラ ムであって、該コンピュータプログラムはコンピュータシステムにより読取可能 な媒体に記憶されており、前記コンピュータシステムにより読み取られ実行され ると、 （ａ）アプリケーションを個々の実行段階に分割する機能と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する機能と、 （ｃ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する機能と、 （ｄ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する機能と、 （ｅ）首尾よく完了した実行段階それぞれの終了時における前記ドライバプロ グラムのメモリイメージを保存する機能と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｈ）前記ドライバプログラムの保存メモリイメージをメモリに再ロードする ことで、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプ ログラムを回復する機能と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行するように前記コンピュータシステムを構成するコンピュータプ ログラム。 １２． 並列処理システムにおいて事前プログラム式チェックポインティング機 能を備えてないコンピュータアプリケーションを実行するコンピュータプログラ ムにより構成され、コンピュータを特定の事前に定義された方式で動作させて、 （ａ）アプリケーションを個々の実行段階に分割する機能と、 （ｂ）並列処理システムで前記アプリケーションの実行を開始する機能と、 （ｃ）ドライバプログラムにより前記アプリケーションの各実行段階の処理を 制御する機能と、 （ｄ）２相コミットプロトコルにより首尾よく完了した実行段階それぞれの終 了状態を保存する機能と、 （ｅ）首尾よく完了した実行段階それぞれの終了時における前記ドライバプロ グラムのメモリイメージを保存する機能と、 （ｆ）こうした実行段階の任意の段階での前記アプリケーションの障害を検出 する機能と、 （ｇ）障害が検出された実行段階の前の実行段階の最後に保存された終了状態 を回復する機能と、 （ｈ）前記ドライバプログラムの保存メモリイメージをメモリに再ロードする ことで、障害が検出された実行段階の前の実行段階の終わりまで前記ドライバプ ログラムを回復する機能と、 （ｉ）障害が検出された実行段階の開始から前記アプリケーションを再開する 機能と、を実行させるように構成されたコンピュータ読取可能な記憶媒体。