JP4597888B2 - 分散処理方法、マスタサーバ - Google Patents

Description

本発明は、複数のパーソナルコンピュータに並列処理を行わせて高速に大量なジョブを実行できるようにする分散処理方法に関し、特に、マスタとなるサーバにより各パーソナルコンピュータでのジョブを管理する分散処理方法に関する。

近年、大量のジョブを処理する方法として、複数のパーソナルコンピュータ（ＰＣ）に並列処理を行わせることで、高速に大量なジョブを実行できるようにする分散処理形態が注目されてきている（例えば、特許文献１参照）。

具体的なシステム形態としては、ＰＣクラスタシステムやオフィス設置のパーソナルコンピュータの夜間利用などがある。

このようなシステムでは、複数のＰＣから共用のファイルシステムに常時入出力を行うと、ＰＣクラスタシステムではファイルシステムへの集中アクセスでの性能問題を招き、オフィス設置のＰＣの夜間利用ではネットワークトラフィック増大での性能問題を招くため、プログラム実行中の入出力は、それぞれのＰＣに接続されているローカルな記憶装置などに出力し、最終結果のみを共用のファイルシステムに転送する形態を採っている。
特開２００５−３８３３９号公報

このため、共用のファイルシステムを保有しジョブ全体の管理を行うマスタサーバからは各ＰＣ（計算ノード）で動作中のプログラムの作業領域などを知ることができず、大量なジョブの処理には優れているものの、以下の点で操作性を犠牲としていた。
ア）出力ファイルのサイズなどを参照することができず、実行状態を知ることができないため、プログラムの処理に異常があった場合でもジョブが終了するまで分からない。
イ）長時間のジョブの場合、マシンダウンに備えてチェックポイントの採取を設定することはできるが、いったんジョブが開始されてしまうとチェックポイントの採取を設定することができない。

なお、リモートログインによって計算ノードにログインし、ローカルな記憶装置の内容を表示することも考えられるが、オフィス設置のＰＣの夜間利用などの一般利用端末を使う場合には、セキュリティ面から好ましい運用とはいえない。

そこで、本発明は、マスタサーバから計算ノードのローカルな記憶装置の情報を参照できるようにし、また、実行中のプログラムへの指示を可能とすることにより、計算ノードでのジョブの実行状態を知ることができる分散処理システムを提供することを目的とする。

上記課題を解決する発明は、複数の計算ノードと、各計算ノードにジョブを割り当てるマスタサーバとを備える分散処理システムにおいて、前記各計算ノードが、該計算ノード毎の作業用ディレクトリへのアクセスのための情報と、該各計算ノードを識別するためのノード情報と、を含むアクセス情報を、前記マスタサーバに出力し、前記マスタサーバにより割り当てられたジョブの実行中に出力されている出力ファイルの情報を、前記作業用ディレクトリに格納すること、および、前記マスタサーバが、前記各計算ノードから受信した前記アクセス情報を、該マスタサーバ内の、該各計算ノードに割り当てたジョブに対応する実行ディレクトリに記憶し、前記実行ディレクトリに記憶された前記アクセス情報に基づいて、前記作業用ディレクトリへアクセスして、前記出力ファイルの情報を収集することを特徴とするものである。

この発明では、各計算ノードから受信したアクセス情報を、マスタサーバ内の各計算ノードに割り当てたジョブに対応する実行ディレクトリに記憶し、実行ディレクトリに記憶されたアクセス情報に基づいて、各計算ノードの作業用ディレクトリへアクセスして、出力ファイルの情報を収集するので、能動的に途中経過ファイルにアクセスすることができ、ジョブの実行中に事後の判断を行うことができる。

ここで、前記出力ファイルの情報には、前記ジョブにより出力されているファイルのファイル名と、ファイルサイズとが含まれることを特徴とするものである。
また、前記出力ファイルの情報には、時刻ごとに、該時刻の時点で前記ジョブにより出力されたファイルのファイル名と、該ファイルのファイルサイズとが含まれ、前記マスタサーバは、過去の時点の出力ファイルの情報を要求された場合、対応する時刻の前記出力ファイルの情報の前記ファイルサイズに基づいて、前記ジョブにより出力された出力ファイルの先頭から該ファイルサイズの情報で示されるサイズのデータを取り出すことを特徴とするものである。

このようにすれば、各計算ノードの作業用ディレクトリに格納した出力ファイルの情報に、ファイル名が含まれているので、各計算ノードが実行しているジョブの状況を容易に把握することができる。また、時刻ごとに出力されたファイル名とファイルサイズとが格納されているので、所定の時点でのファイルを再現することができ、各時点での出力ファイルを全て保存することなく、過去のファイルを再現させることができる。

また、前記マスタサーバが、前記ジョブに対応した前記実行ディレクトリに、前記計算ノードにおけるジョブの残時間の算出処理の指示を記述した制御ファイルを格納し、前記計算ノードが、該計算ノードに割り振られたジョブに対応した前記実行ディレクトリに前記制御ファイルが存在する場合に、該制御ファイルを取得して前記作業用ディレクトリに格納し、該作業用ディレクトリに該ジョブの残り時間の情報を出力して、前記マスタサーバが、前記作業用ディレクトリに格納されている前記ジョブの残り時間の情報を取得して表示を行う。

このようにすれば、マスタサーバの実行ディレクトリに格納された制御ファイルにしたがって、計算ノードが処理を行うので、ジョブの残時間の算出処理の指示を記述した制御ファイルをマスタサーバに格納して、ジョブの残り時間の情報を取得することができる。

本発明によれば、各計算ノードから受信したアクセス情報を、マスタサーバ内の各計算ノードに割り当てたジョブに対応する実行ディレクトリに記憶し、実行ディレクトリに記憶されたアクセス情報に基づいて、各計算ノードの作業用ディレクトリへアクセスして、出力ファイルの情報を収集するので、能動的に途中経過ファイルにアクセスすることができ、ジョブの実行中に事後の判断を行うことができる。

また、時刻ごとに出力されたファイル名とファイルサイズとが格納されているので、所定の時点でのファイルを再現することができ、各時点での出力ファイルを全て保存することなく、過去のファイルを再現させることができる。

また、マスタサーバの実行ディレクトリに格納された制御ファイルにしたがって、計算ノードが処理を行うので、ジョブの残時間の算出処理の指示を記述した制御ファイルをマスタサーバに格納して、ジョブの残り時間の情報を取得することができる。

以下、本発明を図面を参照して説明する。

図１は本発明の一実施形態の分散処理システムを示す図である。

図１において、本実施形態の分散処理システムは、大量のジョブを分担して処理する計算ノード２と、ジョブを計算ノード２に分配し管理するマスタサーバ１と、マスタサーバ１にアクセスしてジョブの結果やジョブの実行状態を表示する端末装置３とを備えている。

マスタサーバ１と計算ノード２との間は、高速ネットワーク４で接続され、マスタサーバ１と端末装置３との間は、ネットワーク５で接続されている。

マスタサーバ１は、Ｗｅｂサーバとしての機能を持ち、端末装置３は、Ｗｅｂブラウザによりマスタサーバ１のホームページを参照してジョブの結果やジョブの実行状態を参照することができるようになっている。

マスタサーバ１は、ハードディスクなどの記憶装置１１（図示せず）を内蔵し、この記憶装置１１は共用のファイルシステムとしてジョブの結果などが格納される。

このような分散処理システムにおいて、マスタサーバ１は、大量のジョブを各計算ノード２に分配して処理させる。

計算ノード２は、マスタサーバ１からのジョブの要求（バッチリクエスト）を受け付けると、ジョブ実行のための環境設定を行う。この中で、ジョブ実行のためにメッセージを蓄積したファイルや途中経過のファイルなどを格納する作業用ディレクトリ（カレントディレクトリ）の情報と計算ノード２を識別するノード情報を含むアクセス情報ファイルを記憶装置１１の共用ファイルの当該ジョブの実行結果などを格納する実行ディレクトリに出力するようになっている。

マスタサーバ１は、このアクセス情報ファイルの情報に基づいて実行中のジョブの出力ファイルのファイルリストなどの情報を入手することができる。

また、計算ノード２は、実行ディレクトリを定期的に参照し、実行ディレクトリ上に所定の制御ファイル（例えば、所定のファイル名のファイル）が存在すると、該制御ファイルを取得し、ファイル内の情報に従って処理を行い、実行結果を所定のファイル名で当該ジョブのカレントディレクトリ上に格納するようになっている。

このような分散処理システムにおいて、図２に示すように、マスタサーバ１は、定期的に各計算ノード２で実行中のジョブのカレントディレクトリのファイルリスト（実行中出力ファイルを対象として得たファイル名、更新日時、ファイルサイズ）と、実行情報ファイルに含まれる各ジョブの残時間を取得し、記憶装置１１の共用ファイルのジョブ毎の実行ディレクトリに実行履歴ファイルとして格納するようになっている。

具体的には、図３のフローチャートに示すように、マスタサーバ１は、対応するジョブのアクセス情報ファイルを読み込み、ファイル内のアクセス情報を取得する（Ｓ１１）。

次いで、取得したアクセス情報の計算ノード２の識別情報とカレントディレクトリの情報に基づいて、該カレントディレクトリのファイルリストを計算ノード２から入手する（Ｓ１２）。

これと同時に、マスタサーバ１は、図４のフローチャートに示すようなプログラムを実行し、ジョブに対応した実行ディレクトリに、残り時間を算出することを指示するための制御ファイルを作成し、計算ノード２に残時間を算出する指示を行う。

図４に示すように、マスタサーバ１は、ジョブの残り時間の算出を指示する制御ファイルを作成し、記憶装置１１のアクセス情報ファイルから求めた計算ノード２のカレントディレクトリに転送し（Ｓ２１）、対応するジョブが実行中かを判定する（Ｓ２２）。

ジョブが実行中であれば、一定時間待ち合わせ（Ｓ２３）、Ｓ２１に戻って制御ファイルを作成し計算ノード２に転送する。ジョブが実行中でなければ、処理を終了する。

このように、一定時間間隔で制御ファイルを作成することで、計算ノード２が制御ファイルの転送までに時間が掛かった場合でも、確実に制御ファイルを転送させることができる。

計算ノード２は、カレントディレクトリに制御ファイルがあると、制御ファイルの内容に対応した処理を行い、処理結果を実行情報ファイルとしてカレントディレクトリに作成する。

図３に戻り、マスタサーバ１は、対応する計算ノード２のカレントディレクトリの実行情報ファイルの作成日時を参照し、作成日時が現在日時に最も近い実行情報ファイルを転送して取得し（Ｓ１３）、取得した実行情報ファイルからジョブの残り時間を抽出し（Ｓ１４）、図４のプログラムを終了させる。

なお、実行情報ファイルの作成日時が現在日時と所定値以上に離れている場合、待ち合わせを行って、再度実行情報ファイルの作成日時を参照するようにしてもよい。

次いで、マスタサーバ１は、現在の時刻、ジョブ開始からの経過時間、ジョブの残り時間、実行中の出力ファイルのファイルリスト情報を実行履歴ファイルとして記憶装置１１の対応する実行ディレクトリに保存する（Ｓ１５）。

図５は、実行履歴ファイルのフォーマットを示す図である。図５（ａ）に示すように、実行履歴ファイルは、実行履歴ファイルの開始を示すヘッダレコード、ファイルリスト情報が格納されたファイルリストレコード、実行履歴ファイルの終了を示すトレーラレコードに分けられ、ヘッダレコード、トレーラレコードはそれぞれ１行で、ファイルリストレコードは１行以上になってもよい。

ヘッダレコードは、図５（ｂ）に示すように、ヘッダレコードであることを示す識別子、この情報が定期的な起動により収集したものかユーザからの要求で収集したものかを示す種別、ファイルを作成した日時を示す処理日時、ジョブ開始からの経過時間を示す経過時間、ジョブの残り時間を示す残り時間が格納されている。

ファイルリストレコードは、図５（ｃ）に示すように、カレントディレクトリ上の各ファイルのファイル名、更新日時、ファイルサイズが１行に１ファイルで格納されている。

トレーラレコードは、図５（ｄ）に示すように、トレーラレコードであることを示す識別子が格納されている。

図５（ｅ）は、実行履歴ファイルのデータイメージを示す図である。

図３に戻り、マスタサーバ１は、対応するジョブが実行中であるか判定し（Ｓ１６）、実行中であれば、所定の時間待ち合わせ（Ｓ１７）、Ｓ１２に戻り再度情報を収集して実行履歴ファイルとして保存することを繰り返す。実行中でなければ、終了する。

このようにして収集した情報は、端末装置３のＷｅｂブラウザから、マスタサーバ１のホームページを参照することで確認することができる。

図６に示すように、端末装置３からマスタサーバ１のホームページにアクセスし、ジョブ状態の表示を選択（図７の左側メニュー「状態表示」の「ジョブ状態」を選択）すると、図７に示すような画面の実行中のジョブの一覧が表示される。

ここで、図７の矢印で示した、ジョブＮｏ０１２４の右側の「操作」欄の「途中結果」と表示されたボタンがクリックされると、図８のフローチャートに示すように、マスタサーバ１は、対応するジョブのアクセス情報ファイルを読み込み、ファイル内のアクセス情報を取得し（Ｓ３１）、また、対応するジョブの実行履歴ファイルを読み込み、実行履歴ごとに日時、経過時間、残時間などの経過状態情報を抽出し、図９に示すような過去に収集された情報の一覧を表示する（Ｓ３２）。

ここで、図９の矢印で示した、「過去の状態を見る」の「定期」の「日時」2005/11/26 12:40:00の部分がクリックされると、マスタサーバ１は、これを検知し（Ｓ３３）、実行履歴ファイルから該当時間のファイルリスト情報を抽出し、図１０に示すようにファイルリストの情報を表示する（Ｓ３４）。

ここで、図１０の矢印で示した、「ファイル名」Sample.messageの「操作」欄の「表示」と表示されたボタンがクリックされると、マスタサーバ１は、これを検知し（Ｓ３５）、選択されたファイルを実行履歴ファイルのファイルリストレコードから得た当該時間のファイルサイズの分だけ対応する計算ノード２のカレントディレクトリから取得し、記憶装置１１の共用ファイルの対応する実行ディレクトリに選択ファイルとして保存する（Ｓ３６）。

次いで、選択されたファイル操作を判定し（Ｓ３７）、表示処理であれば、選択ファイルの内容を図１１に示すように表示する（Ｓ３８）。

「操作」欄の「ダウンロード」と表示されたボタンがクリックされた場合は、Ｓ３７でダウンロード処理に進み、図１２に示すようなメッセージを表示し、選択ファイルを端末装置３にダウンロードさせる（Ｓ３９）。

また、図９の画面で、３行目の「現在の状態を見る」がクリックされると、図１３のフローチャートに示すように、マスタサーバ１は、これを検知し（Ｓ４１）、対応する計算ノード２のカレントディレクトリのファイルリストを入手し、上述の図１０と同様に表示する（Ｓ４２）。

これと同時に、マスタサーバ１は、図４のフローチャートに示すようなプログラムを実行し、ジョブに対応した実行ディレクトリに残り時間を算出することを指示するための制御ファイルを作成し、計算ノード２に残時間を算出する指示を行う。

ここで、図１０の矢印で示した、「ファイル名」Sample.messageの「操作」欄の「表示」と表示されたボタンがクリックされると、マスタサーバ１は、これを検知し（Ｓ４３）、対応する計算ノード２のカレントディレクトリの実行情報ファイルの作成日時を参照し、作成日時が現在日時に最も近い実行情報ファイルを転送して取得し（Ｓ４４）、取得した実行情報ファイルからジョブの残り時間を抽出し（Ｓ４５）、図４のプログラムを終了させる。

次いで、マスタサーバ１は、Ｓ４３で選択されたファイルを対応する計算ノード２のカレントディレクトリから取得し、記憶装置１１の共用ファイルの対応する実行ディレクトリに選択ファイルとして保存する（Ｓ４６）。

次いで、マスタサーバ１は、今回取得した時刻、経過時間、残時間、ファイルリスト情報を、種別を要求として実行履歴ファイルとして対応する実行ディレクトリに格納する（Ｓ４７）。

そして、選択されたファイル操作を判定し（Ｓ４８）、表示処理であれば、選択ファイルを上述の図１１と同様に表示する（Ｓ４９）。

「操作」欄の「ダウンロード」と表示されたボタンがクリックされた場合は、Ｓ４８でダウンロード処理に進み、上述の図１２と同様なメッセージを表示し、選択ファイルを端末装置３にダウンロードさせる（Ｓ５０）。

図１４は、このときのデータの流れを示した図である。

また、図７の右側の「操作」欄の「チェックポイント」と表示されたボタンがクリックされると、図１５のフローチャートに示すように、マスタサーバ１は、対応するジョブのアクセス情報ファイルを読み込み、ファイル内のアクセス情報を取得し（Ｓ６１）、チェックポイントの設定を指示する制御ファイルを作成し、Ｓ６１で求めた計算ノード２のカレントディレクトリに転送する（Ｓ６２）。

計算ノード２は、カレントディレクトリに制御ファイルがあると、制御ファイルの内容に対応した処理を行い、制御ファイルの内容がチェックポイントの設定であれば、ジョブ実行中のプログラムにチェックポイント設定の指示を行う。

図１６は、このときのデータの流れを示した図である。

次に、ジョブの実行が終了しているジョブの場合、図１７に示すように、端末装置３からマスタサーバ１のホームページにアクセスし、経過再表示を選択（図７の左側メニュー「結果操作」の「経過再表示」を選択）すると、図１８に示すような画面が表示される。

ここで、図１８の「ディレクトリ一覧」欄は、記憶装置１１に存在するディレクトリ階層を表示しており、過去に実行したジョブの結果が格納されている。例えば、「Case_007」の部分にマウスカーソルを重ねると、右側の「ファイル表示」欄に実行結果のファイルの一覧が表示される。

図１８の矢印で示した「ディレクトリ一覧」欄の「Case_007」がクリックされると、図１９のフローチャートに示すように、マスタサーバ１は、記憶装置１１上の選択された実行ディレクトリから実行履歴ファイルを取得し、種別、日時、経過時間、残時間を抽出し、図２０に示すように、収集日時毎の一覧を表示する（Ｓ７１）。

ここで、図２０の矢印で示した、「経過状態を見る」の「定期」の「日時」2005/11/26 12:40:00の部分がクリックされると、マスタサーバ１は、これを検知し（Ｓ７２）、実行履歴ファイルから該当時間のファイルリスト情報を抽出し、図２１に示すようにファイルリストの情報を表示する（Ｓ７３）。

ここで、図２１の矢印で示した、「ファイル名」Sample.messageの「操作」欄の「表示」と表示されたボタンがクリックされると、マスタサーバ１は、これを検知し（Ｓ７４）、選択されたファイルを実行履歴ファイルのファイルリストレコードから得た当該時間のファイルサイズの分だけＳ７１で特定された記憶装置１１上の実行ディレクトリから取得し、同一実行ディレクトリ内に選択ファイルとして保存する（Ｓ７５）。

次いで、選択されたファイル操作を判定し（Ｓ７６）、表示処理であれば、選択ファイルの内容を図２２に示すように表示する（Ｓ７７）。

「操作」欄の「ダウンロード」と表示されたボタンがクリックされた場合は、Ｓ７６でダウンロード処理に進み、図２３に示すようなメッセージを表示し、選択ファイルを端末装置３にダウンロードさせる（Ｓ７８）。

また、図２０の画面で、３行目の「最終状態を見る」がクリックされると、図２４のフローチャートに示すように、マスタサーバ１は、これを検知し（Ｓ８１）、Ｓ７１で特定された実行ディレクトリの実行結果のファイルリスト情報を取得し、上述の図２１と同様にファイルリストの情報を表示する（Ｓ８２）。

ここで、図２１の矢印で示した、「ファイル名」Sample.messageの「操作」欄の「表示」と表示されたボタンがクリックされると、マスタサーバ１は、これを検知し（Ｓ８３）、選択されたファイル操作を判定し（Ｓ８４）、表示処理であれば、実行結果のファイルの内容を、上述の図２２と同様に表示する（Ｓ８５）。

「操作」欄の「ダウンロード」と表示されたボタンがクリックされた場合は、Ｓ８４でダウンロード処理に進み、上述の図２３と同様なメッセージを表示し、選択ファイルを端末装置３にダウンロードさせる（Ｓ８６）。

このように本実施形態においては、計算ノード２が、ジョブ実行のための環境設定時に、カレントディレクトリの情報と計算ノード２を識別するノード情報を含むアクセス情報ファイルをマスタサーバ１の記憶装置１１の共用ファイルの実行ディレクトリに出力し、マスタサーバ１がアクセス情報ファイルの内容に基づいて、定期的に計算ノード２で実行中のジョブの出力ファイルのサイズ等を収集しているので、一定時間間隔毎の出力ファイルの変化を確認することができ、実行中ジョブの状態を確認することができる。

また、計算ノード２が、カレントディレクトリに所定のファイルが存在するとき、そのファイルを制御ファイルとして認識し、ファイル内容に従って処理を行うので、ジョブ実行中でも、ジョブの残時間の算出や、チェックポイントの設定などを計算ノード２に行わせることができる。

また、マスタサーバ１が、過去の状態の出力ファイルの表示やダウンロードを要求された場合、その時点に対応する実行履歴ファイルから当該出力ファイルのサイズを参照し、現時点の当該出力ファイルから、該時点でのサイズ分だけ切り出して、該時点での出力ファイルを再現させているので、各時点での出力ファイルを全て保存することなく、過去のファイル内容を再現させることができる。

（付記１）
計算処理を行う複数の計算ノードと、該計算ノードにジョブを割り当てて実行させるマスタサーバとを備える分散処理システムにおいて、
前記計算ノードが、ジョブ実行の環境設定時に、ジョブ実行のための作業用ディレクトリの情報と自装置を識別するノード情報を含むアクセス情報ファイルを前記マスタサーバのジョブに対応したディレクトリに出力する出力ステップと、
前記マスタサーバが、前記ノード情報と作業用ディレクトリの情報に基づき、定期的にまたは要求時点の少なくともいずれかのタイミングで実行中のジョブの出力ファイルの情報を収集する収集ステップと
を実行することを特徴とする分散処理方法。

（付記２）
前記マスタサーバが、過去の状態の出力ファイルを要求された場合、対応する時点の前記出力ファイルの情報に基づいて、現時点の出力ファイルから対応する時点での出力ファイルを再現する再現ステップ
を更に実行することを特徴とする付記１に記載の分散処理方法。

（付記３）
前記マスタサーバが、前記ジョブに対応したディレクトリに、前記計算ノードに指示する処理内容を記述した所定のファイルを作成する作成ステップと、
前記計算ノードが、前記ジョブに対応したディレクトリに前記所定のファイルが存在した場合、該ファイルを取得し、該ファイルの内容に従って処理を行い前記作業用ディレクトリに出力を行う処理実行ステップと
を更に実行することを特徴とする付記１または２に記載の分散処理方法。

（付記４）
前記マスタサーバが、前記ジョブに対応したディレクトリに、前記計算ノードに指示する処理内容を記述した所定のファイルを作成するステップと、
前記計算ノードが、前記ジョブに対応したディレクトリに前記所定のファイルが存在した場合、該ファイルを取得し、該ファイルの内容に従ってアプリケーションの振る舞いを指定するステップと
を更に実行することを特徴とする付記１または２に記載の分散処理方法。

（付記５）
前記マスタサーバが、前記収集ステップで収集した出力ファイルの表示またはダウンロードを制御する制御ステップ
を更に実行することを特徴とする付記１から４のいずれかに記載の分散処理方法。

（付記６）
計算処理を行う複数の計算ノードと、該計算ノードにジョブを割り当てて実行させるマスタサーバとを備える分散処理システムであって、
前記計算ノードは、ジョブ実行の環境設定時に、ジョブ実行のための作業用ディレクトリの情報と自装置を識別するノード情報を含むアクセス情報ファイルを前記マスタサーバのジョブに対応したディレクトリに出力する手段、
前記マスタサーバは、前記ノード情報と作業用ディレクトリの情報に基づき、定期的または要求辞典の少なくともいずれかのタイミングで、実行中のジョブの出力ファイルの情報を収集する手段
を備えることを特徴とする分散処理システム。

（付記７）
計算処理を行う複数の計算ノードにジョブを割り当てて実行させるマスタサーバであって、
定期的または要求時点の少なくともいずれかのタイミングで、実行中のジョブを実行する前記計算ノードにより、ジョブ実行の環境設定時に、該マスタサーバのジョブに対応したディレクトリに出力された、ジョブ実行のための作業用ディレクトリの情報と自装置を識別するノード情報を含むアクセス情報からなる出力ファイルの情報を収集する手段
を備えることを特徴とするマスタサーバ。

（付記８）
計算処理を行う複数の計算ノードにジョブを割り当てて実行させるマスタサーバに、
定期的または要求時点の少なくともいずれかのタイミングで、実行中のジョブを実行する前記計算ノードにより、ジョブ実行の環境設定時に、該マスタサーバのジョブに対応したディレクトリに出力された、ジョブ実行のための作業用ディレクトリの情報と自装置を識別するノード情報を含むアクセス情報からなる出力ファイルの情報を収集するステップ
を実行させることを特徴とする分散処理プログラム。

本発明の一実施形態の分散処理システムを示す図であり、その全体構成図である。 本実施形態の実行履歴ファイル作成時のデータの流れを示した図である。 本実施形態の実行履歴ファイル作成処理を説明するためのフローチャートである。 本実施形態の残り時間算出指示処理を説明するためのフローチャートである。 本実施形態の実行履歴ファイルの構成を示した図である。 本実施形態の経過状態表示時のデータの流れを示した図である。 本実施形態のジョブ状態一覧画面を示した図である。 本実施形態の経過状態表示処理を説明するためのフローチャートである。 本実施形態の経過状態一覧画面を示した図である。 本実施形態のファイル一覧画面を示した図である。 本実施形態のファイル内容表示画面を示した図である。 本実施形態のダウンロード画面を示した図である。 本実施形態の現在状態表示処理を説明するためのフローチャートである。 本実施形態の現在状態表示時のデータの流れを示した図である。 本実施形態のチェックポイント指示処理を説明するためのフローチャートである。 本実施形態のチェックポイント指示時のデータの流れを示した図である。 本実施形態のジョブ結果の経過状態表示時のデータの流れを示した図である。 本実施形態のジョブ結果指定画面を示した図である。 本実施形態のジョブ結果の経過状態表示処理を説明するためのフローチャートである。 本実施形態のジョブ結果の経過状態一覧画面を示した図である。 本実施形態のジョブ結果のファイル一覧画面を示した図である。 本実施形態のジョブ結果のファイル内容表示画面を示した図である。 本実施形態のジョブ結果のダウンロード画面を示した図である。 本実施形態の最終状態表示処理を説明するためのフローチャートである。

符号の説明

１ マスタサーバ
１１ 記憶装置
２ 計算ノード
３ 端末装置
４ 高速ネットワーク
５ ネットワーク

Claims (5)

1. 複数の計算ノードと、各計算ノードにジョブを割り当てるマスタサーバとを備える分散処理システムにおいて、
   前記各計算ノードが、
   該計算ノード毎の作業用ディレクトリへのアクセスのための情報と、該各計算ノードを識別するためのノード情報と、を含むアクセス情報を、前記マスタサーバに出力するステップと、
   前記マスタサーバにより割り当てられたジョブの実行中に出力されている出力ファイルの情報を、前記作業用ディレクトリに格納するステップと、を実行すること、および、
   前記マスタサーバが、
   前記各計算ノードから受信した前記アクセス情報を、該マスタサーバ内の、該各計算ノードに割り当てたジョブに対応する実行ディレクトリに記憶するステップと、
   前記実行ディレクトリに記憶された前記アクセス情報に基づいて、前記作業用ディレクトリへアクセスして、前記出力ファイルの情報を収集するステップと、
   を実行することを特徴とする分散処理方法。
2. 前記出力ファイルの情報には、前記ジョブにより出力されているファイルのファイル名と、ファイルサイズとが含まれることを特徴とする請求項１に記載の分散処理方法。
3. 前記出力ファイルの情報には、時刻ごとに、該時刻の時点で前記ジョブにより出力されたファイルのファイル名と、該ファイルのファイルサイズとが含まれ、
   前記マスタサーバは、過去の時点の出力ファイルの情報を要求された場合、対応する時刻の前記出力ファイルの情報の前記ファイルサイズに基づいて、前記ジョブにより出力された出力ファイルの先頭から該ファイルサイズの情報で示されるサイズのデータを取り出すステップ
   を更に実行することを特徴とする請求項２に記載の分散処理方法。
4. 前記マスタサーバが、前記ジョブに対応した前記実行ディレクトリに、前記計算ノードにおけるジョブの残時間の算出処理の指示を記述した制御ファイルを格納するステップと、
   前記計算ノードが、該計算ノードに割り振られたジョブに対応した前記実行ディレクトリに前記制御ファイルが存在する場合に、該制御ファイルを取得して前記作業用ディレクトリに格納し、該作業用ディレクトリに該ジョブの残り時間の情報を出力するステップと、
   前記マスタサーバが、前記作業用ディレクトリに格納されている前記ジョブの残り時間の情報を取得して表示を行うステップと、
   を更に実行することを特徴とする請求項１から請求項３のいずれか１項に記載の分散処理方法。
5. 複数の各計算ノードにジョブを割り当てて実行させるマスタサーバであって、
   前記計算ノード毎の作業用ディレクトリへのアクセスのための情報と、各計算ノードを識別させるためのノード情報と、を含むアクセス情報を各計算ノードから受信する手段と、
   受信した前記アクセス情報を、各計算ノードに割り当てたジョブに対応する、該マスタサーバ内の実行ディレクトリに記憶する記憶手段と、
   前記実行ディレクトリに記憶された、前記ノード情報と前記作業用ディレクトリへのアクセスのための情報に基づいて、該作業用ディレクトリへアクセスし、前記ジョブの実行中に出力されている出力ファイルの情報を収集する収集手段と、
   を備えることを特徴とするマスタサーバ。

Images