JP3169856B2

JP3169856B2 - マルチノード情報処理システム

Info

Publication number: JP3169856B2
Application number: JP13998197A
Authority: JP
Inventors: 聡神宮寺
Original assignee: 甲府日本電気株式会社
Priority date: 1997-05-29
Filing date: 1997-05-29
Publication date: 2001-05-28
Anticipated expiration: 2017-05-29
Also published as: JPH10336175A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はマルチノード情報処
理システムに関し、特にノード構成を持つマルチノード
情報処理システムに関する。

【０００２】

【従来の技術】従来のマルチノード情報処理システム
は、ノード間で１対１にデータ転送を行うことを目的と
して用いられている。すなわち、複数のノードをノード
間ネットワークで接続したシステムでは、ノード間（実
際にはメモリ間）でデータ転送を行う場合、まず転送元
となるノードの演算処理装置から転送命令を発行し、こ
の演算処理装置の所属するノードのメモリから転送先と
なるノードのメモリへデータ転送を行っている。そし
て、もし複数のノードに同一のデータを転送（以下マル
チキャストと記す）する場合には、転送元ノードの演算
処理装置が、転送先となる各ノードと同数の転送命令を
発行し、この同数の転送に関する必要情報と転送データ
を自己の所属するノードのメモリから読み出し、転送先
ノードに対しシリアルに転送を行うようにしている。こ
の様子をタイムチャートに表示したものが図１７であ
る。説明に使用するシステムの構成は、本発明の原理図
である図１を準用する。但しマルチキャスト制御部は使
用されない。ここでは、２つのノード１ａ，１ｂに対
し、５回の転送を行う場合のタイムチャートを示す。ま
ず、演算処理装置６１のマルチキャスト命令の発行から
転送制御装置３の命令識別までにかかる時間をＴi、パ
ラメータを共有メモリから読み出しローカルネットワー
クを介して転送制御装置３に転送する時間をＴp、デー
タを共有メモリから読み出しローカルネットワークを介
して転送制御装置３に転送する時間をＴd0、パラメータ
及びデータを転送元ノード１からノード間クロスバネッ
トワーク５に転送する時間をＴd1、パラメータ及びデー
タをノード間クロスバネットワーク５から転送先ノード
２の転送制御装置４に転送する時間をＴd2、転送先ノー
ド２において、データを共有メモリに書き込むまでに要
する時間をＴd3、転送元ノードに終了報告を行うのに要
する時間をＴe とする。

【０００３】また、これを改良したものとして、例え
ば、特開平０８−０８８６２７号公報に示されるもので
は、並列計算機システム内のプロセッサ間通信ネットワ
ークでの転送を行っており、まず、ネットワークを構成
する全てのノードをグループ化し、グループ内では自グ
ループ内のノードを経由し通信することで、複数のグル
ープに対し階層的にアドレスを付与する方法により目的
を達成する技術が記載されている。

【０００４】

【発明が解決しようとする課題】上述した従来のマルチ
ノード情報処理システムは、ノード間のマルチキャスト
を行う場合、転送先となる各ノードと同数の転送命令を
発行し、この命令と同数の転送に関する必要情報と転送
データを所属するノードのメモリから読み出すことが必
要となり、転送元の演算処理装置とメモリとこれらを接
続するネットワークとに、多くのオーバーヘッドを必要
とするため、システムとして性能低下を引き起こす可能
性があるという問題点がある。また、特開平０８−０８
８６２７号公報に示されるものでは、ネットワークに接
続されているノードがグループによる制約を受け、それ
ぞれのグループ単位に階層的にアドレスが付与されてい
るので、ノード間の通信で任意のノードにアクセスする
際に、対象のノードが属さないグループを経由する場合
があり、これがアクセス時間の増加及びネットワークの
負荷の増加を招き、これらがシステムの性能低下につな
がる可能性があるという問題点もある。

【０００５】本発明の目的は、複数のノードの共有メモ
リに同一データの転送する場合に、演算処理装置に対す
る負荷の少ないマルチノード情報処理システムを提供す
ることにある。

【０００６】また、他の目的は、複数のノードの共有メ
モリに同一データの転送する場合に、任意のノードに対
しマルチキャストを可能にすることである。

【０００７】

【課題を解決するための手段】本発明のマルチノード情
報処理システムは、複数の演算処理装置と、前記演算処
理装置が共有し使用する共有メモリと、前記演算処理装
置のデータ転送要求に従ってデータ転送動作を制御する
転送制御装置と、前記演算処理装置と前記共有メモリと
前記転送制御装置とを相互に接続するローカルネットワ
ークとから成るノードの複数個を、ノード間クロスバネ
ットワークで相互に接続し任意のノード間でデータ転送
を行うマルチノード情報処理システムにおいて、前記任
意のノード内の演算処理装置から同一ノード内の転送制
御装置に対して送られてくる転送命令であるノード間デ
ータ転送命令内に自ノードから他の複数のノードへのデ
ータ転送を行うマルチキャスト命令を含むと共に、前記
マルチキャスト命令を受け複数のノードに対するマルチ
キャストを制御するマルチキャスト制御部を前記転送制
御装置内に設け、前記転送制御装置内に、前記演算処理
装置から送られてくる前記転送命令を解読する命令解読
部と、前記共有メモリに対するアクセスの際に論理アド
レスから物理アドレス変換を行うアドレス変換手段を含
み前記共有メモリへのアクセスを行う共有メモリアクセ
ス部と、前記共有メモリアクセス部から送られるシング
ルキャストおよびマルチキャストの転送制御用のデータ
を保持するデータ保持手段と前記共有メモリアクセス部
から送られる転送に必要な前記ノード数分の動作パラメ
ータを保持しアドレス生成を行うパラメータ保持手段と
自己の所属するノードが発行したマルチキャスト命令の
終了を監視するマルチキャスト終了監視手段および前記
データ保持手段と前記パラメータ保持手段と前記マルチ
キャスト終了監視手段とを制御するマルチキャスト制御
手段を含み複数のノードのに対するマルチキャストを制
御するマルチキャスト制御部と、シングルキャストおよ
びマルチキャストのノード間データ転送を行う際に論理
ノード番号から物理ノード番号に変換するノード番号変
換手段と他ノードからの自ノード内の前記共有メモリに
対するアクセスの終了を監視する共有メモリアクセス終
了監視手段と前記ノード間クロスバネットワークに対し
データを送出する転送手段および前記ノード番号変換手
段と前記共有メモリアクセス終了監視手段と前記転送手
段とを制御するデータ転送制御手段を含み自ノードと前
記ノード間クロスバネットワーク間のデータ転送を制御
するデータ転送制御部と、他ノードからのノード間デー
タ転送の情報を一時的に退避させる一時退避部と、前記
命令解読部と前記共有メモリアクセス部と前記マルチキ
ャスト部と前記データ転送制御部と前記一時退避部とを
制御する転送制御部とを設け、前記ノード間クロスバネ
ットワーク内に、転送先ノードへのデータ転送を制御す
るクロスバ制御部を設ける構成である。

【０００８】

【０００９】

【００１０】

【００１１】本発明のマルチノード情報処理システム
は、前記パラメータ保持手段が、パラメータを保持する
１ワードのパラメータレジスタとアドレス生成を行う回
路とを有してもよい。

【００１２】本発明のマルチノード情報処理システム
は、複数の演算処理装置と、前記演算処理装置が共有し
使用する共有メモリと、前記演算処理装置のデータ転送
要求に従ってデータ転送動作を制御する転送制御装置
と、前記演算処理装置と前記共有メモリと前記転送制御
装置とを相互に接続するローカルネットワークとから成
るノードの複数個を、ノード間クロスバネットワークで
相互に接続し任意のノード間でデータ転送を行うマルチ
ノード情報処理システムにおいて、前記任意のノード内
の演算処理装置から同一ノード内の転送制御装置に対し
て送られてくる転送命令であるノード間データ転送命令
内に自ノードから他の複数のノードへのデータ転送を行
うマルチキャスト命令を含むと共に、前記マルチキャス
ト命令を受け複数のノードに対するマルチキャストを制
御するマルチキャスト制御部を前記ノード間クロスバネ
ットワーク内に設け、前記転送制御装置内に、前記演算
処理装置から送られてくる前記転送命令を解読する命令
解読部と、前記共有メモリに対するアクセスの際に論理
アドレスから物理アドレス変換を行うアドレス変換手段
を含み前記共有メモリへのアクセスを行う共有メモリア
クセス部と、他ノードからの自ノード内の前記共有メモ
リに対するアクセスの終了を監視する共有メモリアクセ
ス終了監視手段と前記ノード間クロスバネットワークに
対しデータを送出する転送手段および前記共有メモリア
クセス終了監視手段と前記転送手段とを制御するデータ
転送制御手段を含み自ノードと前記ノード間クロスバネ
ットワーク間のデータ転送を制御するデータ転送制御部
と、他ノードからのノード間データ転送の情報を一時的
に退避させる一時退避部と、前記命令解読部と前記共有
メモリアクセス部と前記データ転送制御部と前記退避手
段とを制御する転送制御部とを設け、前記ノード間クロ
スバネットワーク内に、各ノードに１対１に対応する各
々のノードとのインタフェースを持つ複数のノード間転
送制御装置と、全てのノード間転送制御装置をクロスバ
接続し前記ノード間転送制御装置間のデータ転送を行う
ノード間データ転送部と、前記ノード間転送制御部およ
び前記ノード間データ転送部を制御するネットワーク制
御部とを設ける構成である。

【００１３】本発明のマルチノード情報処理システム
は、前記ノード間転送制御装置内に、前記ノードから送
られてくるノード間のデータ転送の指示を解読する解読
部と、シングルキャストおよびマルチキャストのノード
間データ転送を行う際に論理ノード番号を受け物理ノー
ド番号に変換するノード番号変換部と、前記ノード間転
送制御装置内の転送データを対応するノードまたは前記
ノード間データ転送部に送る転送部と、対応するノード
から送られてくるデータを保持するためのデータ保持手
段と前記対応するノードから送られる転送データに必要
な相手ノード数分のパラメータを保持しアドレス生成を
行うパラメータ保持手段と前記対応するノードが発行し
たマルチキャストの終了を監視するマルチキャスト終了
監視手段および前記データ保持手段と前記パラメータ保
持手段と前記マルチキャスト終了監視手段とを制御する
マルチキャスト制御手段を含み複数のノードのに対する
マルチキャストを制御するマルチキャスト制御部と、前
記解読部と前記ノード番号変換部と前記転送部と前記マ
ルチキャスト制御部とを制御する転送制御部とを設けて
もよい。

【００１４】本発明のマルチノード情報処理システム
は、前記パラメータ保持手段が、パラメータを保持する
１ワードのパラメータレジスタとアドレス生成を行う回
路とを有してもよい。

【００１５】［作用］本発明のマルチノード情報処理シ
ステムは、図１のマルチノード情報処理システムの原理
図に示すように、ノード１からノード２および図示して
いない複数のノードに対してデータ転送を行う場合に対
応して、信号としてノード１内の演算処理装置６１，６
Ｎから同一ノード内の転送制御装置３に対して与えられ
るノード間データ転送命令内に、自ノードから他の複数
のノードへのデータ転送を指示する場合に使用するマル
チキャスト命令を設け、転送制御装置３，４あるいはノ
ード間クロスバネットワーク５内に、データと転送に必
要な動作パラメータを保持し、マルチキャスト命令の終
了を監視し、複数のノードに対するマルチキャストを制
御するマルチキャスト制御部６，７あるいはマルチキャ
スト制御部８を設けることにより、複数のノードに対し
同一のデータを転送する場合、マルチキャスト命令の発
行動作を１回で済ませることが可能となる。

【００１６】

【発明の実施の形態】次に、本発明の第１の実施の形態
について図面を参照して説明する。

【００１７】図２は本発明の第１および第２の実施の形
態を示すブロック図である。

【００１８】本発明のマルチノード情報処理システム１
０は、全て同型のノード１１，１２および図示されてい
ない複数のノードと、これらを接続するノード間クロス
バネットワーク１３とで構成し、各ノード（代表として
ノード１１で説明）は、Ｎ個の演算処理装置６１〜６Ｎ
と、演算処理装置６１〜６Ｎが共有する共有メモリ１４
と、演算処理装置６１〜６Ｎと共有メモリ１４とのイン
タフェースを持つローカルネットワーク１５と、ローカ
ルネットワーク１５とノード間クロスバネットワーク１
３の間に位置し、ノード１１の共有メモリ１４と他ノー
ドの共有メモリ間のデータ転送を制御する転送制御装置
１６とで構成する。

【００１９】さらに転送制御装置１６は、転送元である
ノード１１内の共有メモリ１４内のデータを転送先であ
る他ノードの共有メモリに転送するための転送命令を、
ローカルネットワーク１５を介して演算処理装置６１〜
６Ｎから受け取りかつ解読する命令解読部１７と、命令
解読部１７で解読した命令に従い、ノード間のデータ転
送を制御する転送制御部１８と、転送制御部１８の指示
に従い、ノード間データ転送の際にローカルネットワー
ク１５を介しノード１１の共有メモリ１４に対するアク
セスを行う共有メモリアクセス部１９と、転送制御部１
８の指示に従い、共有メモリアクセス部１９または後述
のマルチキャスト制御部２０とノード間ネットワーク１
３の間のデータ転送を行うデータ転送制御部２１と、ノ
ード１１からマルチキャストを行う場合、動作パラメー
タ（有効ビット、動作指示コマンド、最終転送フラグ、
転送先ノード番号、転送元ノード番号、転送先ノード内
共有メモリ論理アドレス、アドレス生成情報）および転
送データを保持し、マルチキャストを制御するマルチキ
ャスト制御部２０と、転送元ノードと転送先ノードが１
対１で対応しているノード間の１対１転送（以下１：１
転送と記す）と、ノード間のマルチキャストの転送先ノ
ードが同一のノードの場合、ノード１１が転送先ノード
である際に１：１転送の情報を一時的に退避させる一時
退避部２２とで構成している。

【００２０】共有メモリアクセス部１９は、ノード間の
データ転送によりノード１１内の共有メモリ１４に対す
るアクセスの際、論理アドレスから物理アドレス変換を
行うアドレス変換手段２３を備える。データ転送制御部
２１は、ノード１１から他ノードへデータ転送を行う
際、論理ノード番号から物理ノード番号に変換するノー
ド番号変換手段２４と、他ノードからの自ノード内の共
有メモリ１４に対するデータ転送の際、終了報告に必要
な情報（以下持ち回り情報と記す）を保持し、共有メモ
リ１４へのアクセスの終了を監視し、ノード１１に対す
る転送の最終のデータが共有メモリ１４へのアクセスの
終了を識別すると持ち回り情報から転送元のノードに対
しデータ転送の終了を報告する共有メモリアクセス終了
監視手段２５と、ノード間クロスバネットワーク１３に
対しデータを送出するデータ転送手段２６と、ノード番
号変換手段２４と共有メモリアクセス終了監視手段２５
とデータ転送手段２６とを制御するデータ転送制御手段
２７とで構成する。

【００２１】マルチキャスト制御部２０は、共有メモリ
アクセス部１９から送られるマルチキャストするデータ
を保持するデータバッファで構成されたデータ保持手段
２８と、共有メモリアクセス部１９から送られる動作パ
ラメータを保持するパラメータバッファとアドレスを生
成する回路で構成されたパラメータ保持手段２９と、ノ
ード１１から発行したマルチキャスト命令の終了を監視
するマルチキャスト終了監視手段３０と、データ保持手
段２８とパラメータ保持手段２９とマルチキャスト終了
監視手段３０とを制御するマルチキャスト制御手段３１
とで構成する。

【００２２】ノード間クロスバネットワーク１３は、ノ
ード間のデータ転送時に、転送元ノードからのパラメー
タ中にある転送先ノード番号を参照し、転送先ノードへ
のデータ転送を制御するクロスバ制御部３２を含む。

【００２３】次に第１の実施の形態の動作について図３
および図４に基づいて説明する。図３は第１および第２
の実施の形態のマルチキャスト動作の流れ図（その
１）、図４は第１および第２の実施の形態のマルチキャ
スト動作の流れ図（その２）である。説明には図２の名
称と符号とを使用する。

【００２４】まず、転送命令を発行する演算処理装置６
１〜６Ｎを含むノード１１（以下転送元ノード）の共有
メモリ１４から他の複数のノード（以下転送先ノー
ド）の共有メモリへのデータ転送を、演算処置装置２１
が指示するものとする。

【００２５】最初に、ステップ（以下Ｓと記す）１で演
算処理装置６１が発行する転送命令には、ノード間のマ
ルチキャスト命令コマンド（図中ではＭＣと記載）とな
るべきフィールドが含まれる（但し命令フォーマットは
図示せず）。また、システム内のメモリは一つの論理ア
ドレス空間に定義され、論理アドレスは論理ノード番号
とノード内の共有メモリの論理アドレスによって構成さ
れる。マルチキャストされるデータは、それぞれのノー
ド内の共有メモリの論理アドレスが異なるアドレスに転
送される。転送制御装置１６は、演算処理装置６１が発
行した転送命令をローカルネットワーク１５を介して、
命令解読部１７に受け取る。命令解読部１７は、Ｓ２で
転送命令を解析し受け取った転送命令がノード間のマル
チキャスト命令コマンドであれば、マルチキャストを行
うように指示と共に、制御情報を転送制御部１８に渡
す。転送制御部１８は、この制御情報を受け取り、Ｓ３
で共有メモリアクセス部１９に対して、ローカルネット
ワーク１５を介して共有メモリ１４から動作パラメータ
を読み出し、マルチキャスト制御部２０に転送するよう
に指示を出す。指示を受けた共有メモリアクセス部１９
は、自ノードの共有メモリ１４をアクセスする際に、ア
ドレス変換手段２３により論理アドレスから物理アドレ
スにアドレス変換し、Ｓ４で共有メモリ１４から動作パ
ラメータを読み出しマルチキャスト制御部２０に送り、
マルチキャスト制御手段３１にて、共有メモリアクセス
部１９から送られてくる動作パラメータを識別し、Ｓ５
で動作パラメータをパラメータ保持手段２９に保持し、
Ｓ６でパラメータのセットが終了したか否かを識別す
る。セットが終了していれば、次に、Ｓ７で共有メモリ
アクセス部１９に対して、ローカルネットワーク１５を
介して共有メモリ１４から転送するデータを読み出し、
マルチキャスト制御部２０に転送するように指示を出
す。指示を受けた共有メモリアクセス部１９は、Ｓ８で
共有メモリ１４から転送するデータを読み出しマルチキ
ャスト制御部２０に送り、マルチキャスト制御手段３１
にて、共有メモリアクセス部１９から送られてくるデー
タを識別し、Ｓ９でデータをデータ保持手段２８に保持
し、Ｓ１０でデータのセットが終了したか否かを識別す
る。セットが終了していれば、次に、Ｓ１１で転送制御
部１８の指示により転送すべき動作パラメータとデータ
とを読み出し、データ転送制御部２１のデータ転送制御
手段２７に送る。

【００２６】ここで、マルチキャスト制御部２０の動作
について更に詳細に説明すると、マルチキャスト制御部
２０では、マルチキャスト対象のノード数の動作パラメ
ータがパラメータ保持手段２９に保持され、マルチキャ
スト制御手段３１の制御により、パラメータ保持手段２
９において次のような転送先ノード内の共有メモリのア
ドレス生成処理が行われる。一番目のノードにはパラメ
ータ保持手段２９内にあるパラメータバッファから一番
目のノードに対応するパラメータを読み出す。これと同
時にデータ保持手段２８のデータバッファから一回目の
転送データを読み出す。読み出されたパラメータとデー
タを結合し、一番目のノードに対する一回目の転送デー
タとして、データ転送制御部２１に送る。ここまでが、
先に説明したＳ１１の動作である。

【００２７】図５はマルチキャスト制御部内のデータ保
持手段とパラメータ保持手段の構成を示すブロック図で
ある。パラメータ保持手段２９は、アドレス生成回路３
３と複数のワードを持つパラメータバッファ３４とを備
えている。

【００２８】Ｓ１１に続き、パラメータ保持手段２９で
は、アドレス生成回路３３が、Ｓ１２で一番目のノード
内の共有メモリに対する二回目の転送データを格納する
論理アドレスを、一番目のノードの動作パラメータ内の
アドレスとアドレス生成情報から生成し、Ｓ１３で次ア
ドレスが転送先ノードに対する最終転送か否かを判別
し、最終転送でなければＳ１４でパラメータバッファ３
４に再格納し（以下アドレス再セットと記す）、再度Ｓ
１１に戻る。二番目のノードには、一番目のノードと同
様に二番目のノードに対応する動作パラメータを読み出
し、一回目の転送データと結合しデータ転送制御部２１
に送り、アドレス再セットを行う。マルチキャスト対象
の全ノード数について同様に一回目の転送データを送
る。二回目以降の転送データについては、データ保持手
段２８から二回目以降の転送データを読み出し一回目の
転送データと同様にデータ転送制御部２１に送る。アド
レス再セットの際、Ｓ１３で次アドレスの転送データが
マルチキャストの最終の転送データと識別された場合、
Ｓ１５でアドレス再セットと同時に最終転送フラグをセ
ットする。

【００２９】先にＳ１１でマルチキャスト制御部２０か
ら送られた動作パラメータとデータとを受け取ったデー
タ転送制御部２１のデータ転送制御手段２７は、Ｓ１６
でノード番号変換手段２４に動作パラメータの転送先ノ
ード番号を論理ノード番号から物理ノード番号に変換さ
せ、Ｓ１７でデータ転送手段２６に動作パラメータとデ
ータとをノード間クロスバネットワーク１３に送出させ
る。このとき送出するデータフォーマットは、図６のノ
ードからノード間クロスバネットワークに送出するデー
タのデータフォーマットを説明する説明図に示すような
形態である。

【００３０】ノード間クロスバネットワーク１３では、
転送制御装置１６からの動作パラメータとデータを受け
取ると、クロスバ制御部３２が、Ｓ１８で動作パラメー
タに指定されたノード番号に動作パラメータ及びデータ
を送出する。このとき送出するデータフォーマットは、
図７のノード間クロスバネットワークからノードに送出
するデータのデータフォーマットを説明する説明図に示
すような形態である。

【００３１】次ぎに図４を用いて転送先ノード（ここで
はノード１２とする）の動作について説明する。

【００３２】転送先ノード１２では、Ｓ１９で転送され
てきた動作パラメータとデータを図示していない転送制
御装置で受ける。転送制御装置では、Ｓ２０で命令解読
手段が転送された動作パラメータを解読し、ＭＣ転送で
ありかつ自ノードの共有メモリに対するライトを指示し
ていた場合、転送制御部は、Ｓ２１で共有メモリに対し
パラメータ中のＡＤＤにデータのライトを指示し、Ｓ２
２でデータ転送制御部に対し動作パラメータから転送元
ノードに転送の終了報告を通知するための情報（転送元
ノード番号、最終転送フラグ）（以下持ち回り情報と記
す）を送り、共有メモリアクセス部に動作パラメータと
データを送る。データ転送制御部では、持ち回り情報を
共有メモリアクセス終了監視手段に格納する。共有メモ
リアクセス部は、動作パラメータ内の共有メモリに対す
るアドレスをアドレス変換手段により、論理アドレスか
ら物理アドレスに変換し、ローカルネットワークを介し
共有メモリに書き込む。共有メモリは、データの書き込
みが終了すると、共有メモリへのデータの書き込みが終
了したことを示す共有メモリアクセス終了報告を、ロー
カルネットワークを介し、転送制御装置に対し通知す
る。転送制御装置では、転送制御部の制御により前述の
終了報告を命令解読部にて解読し、データ転送制御部に
送り、Ｓ２３で終了報告を共有メモリアクセス終了監視
手段に送る。共有メモリアクセス終了監視手段では、Ｓ
２４で前述の終了報告に対応する転送データが、ノード
１２に対するデータ転送の最終の転送データか否かを持
ち回り情報の最終転送フラグから識別する。前述の終了
報告に対応する転送データが最終の転送でない場合に
は、共有メモリアクセス監視手段は、Ｓ２５で持ち回り
情報を無効にすると共に引き続き対応する転送データの
終了報告の監視を行うため、Ｓ２４に戻る。前述の終了
報告に対応する転送データが最終の転送である場合、Ｓ
２６で同様に持ち回り情報を無効にし、持ち回り情報の
転送元ノード番号の示すノードに対し、論理ノード番号
から物理ノード番号に変換するノード番号変換手段２４
とノード間クロスバネットワーク１３を介し、自ノード
に対するデータ転送が終了したことを示すノード間デー
タ転送終了報告を通知する。転送元ノードでは、転送制
御装置１６が、Ｓ２７で転送先ノードからの終了報告を
受ける。転送制御装置１６では、Ｓ２８で受け取ったも
のが終了報告か否かを判別し、終了報告であれば、転送
制御部１８の制御により、転送先ノードからの終了報告
を命令解読部１７にて解読し、Ｓ２９でマルチキャスト
制御部２０に送る。続いてマルチキャスト制御部２０で
は、Ｓ３０で終了報告をマルチキャスト終了監視手段３
０に送り、終了報告された転送先ノードを識別して対応
する動作パラメータを無効にし、Ｓ３１でマルチキャス
トが終了したか否かを判別し、もしもマルチキャストが
終了していなければ、Ｓ３２で引き続き対応する転送デ
ータの終了報告の監視を行うためＳ３１に戻る。最後
に、Ｓ３１で全てのノードから終了報告がされたと判別
すれば、マルチキャストを行う全てのノードからの終了
報告を受け対応する動作パラメータを全て無効にすると
共に、Ｓ３３でマルチキャストが終了したことを示すマ
ルチキャスト終了報告を、ローカルネットワーク１５を
介し、マルチキャスト命令を発行した演算処理装置６１
に対して通知する。演算処理装置６１は、Ｓ３４で終了
報告によりマルチキャスト命令の終了を識別して一連の
動作を終了する。

【００３３】次に第１の実施の形態で、ノード間クロス
バネットワーク１３内において、マルチキャストと１：
１転送の転送先ノードが同一のノードである場合につい
て説明する。

【００３４】この場合には、マルチキャストと１：１転
送との間で転送先ノードの競合が発生する。競合調停は
クロスバ制御部３１にて行われ、マルチキャストが優先
的に処理される。マルチキャスト同志の競合調停は、い
ずれかのマルチキャストが優先順位に従って処理され
る。

【００３５】マルチキャストと１：１転送のそれぞれの
先頭の転送データの競合の場合には、１：１転送の処理
を一時的に中断し、マルチキャストの終了後、１：１転
送を再開する。マルチキャストの処置中に１：１転送と
競合した場合も同様に、１：１転送の処理を一時的に中
断し、マルチキャストの終了後、１：１転送を再開す
る。１：１転送中にマルチキャストが発生し競合した場
合、クロスバ制御部３１は、１：１転送の転送元及び転
送先ノードに対し、転送の一時中断を指示する中断指示
を通知する。転送元ノードでは、中断指示を受けると、
１：１転送のデータ転送を一時的に中断し、転送先のノ
ード１２（ここでは、マルチキャストと１：１転送が転
送先のノード１２で競合したとする）では、中断指示を
受けると、転送制御装置内の転送制御部の制御により、
命令解読部で解読され、データ転送制御部内にある共有
メモリアクセス終了監視手段の１：１転送に関する持ち
回り情報を一時待避部に一時的に待避させる。マルチキ
ャスト命令によるデータ転送が終了すると、一時待避部
の持ち回り情報を共有メモリアクセス終了監視手段に再
格納する。クロスバ制御部３１は、マルチキャストの終
了後、転送元ノードに対し中断されていた１：１転送の
再開を指示する再開指示を通知する。再開指示を受けた
転送元ノードは、１：１転送を再開する。

【００３６】この様に、ノード１１内にある転送命令を
発行する演算処理装置６１は、複数のノードに同一デー
タを転送する際、マルチキャスト命令を発行することに
より、命令発行動作と共有メモリ１４から転送データを
読み出す動作とを各々１回ですませることが可能とな
る。また、転送元ノードからノード間クロスバネットワ
ーク１３を介して行う転送先ノードへのデータ転送は、
転送先ノードの個数分シリアルに行われることになる。

【００３７】図８は本発明の第１および第２の実施の形
態のタイムチャートである。演算処理装置６１のマルチ
キャスト命令の発行から転送制御装置１６の命令識別ま
でにかかる時間をＴi、パラメータを共有メモリ１４か
ら読み出しローカルネットワーク１５を介してパラメー
タ保持手段２９（３５）に転送する時間をＴp、データ
を共有メモリ１４から読み出しローカルネットワーク１
５を介してデータ保持手段２８に転送する時間をＴd0、
パラメータ及びデータを転送元ノード１１からノード間
クロスバネットワーク１３に転送する時間をＴd1、パラ
メータ及びデータをノード間クロスバネットワーク１３
から転送先ノードの転送制御装置に転送する時間をＴd
2、転送先ノードにおいて、データを共有メモリに書き
込むまでに要する時間をＴd3、転送元ノードに終了報告
を行うのに要する時間をＴe とする（ここでは、２つの
ノード１ａ，１ｂに対し、５回の転送を行うマルチキャ
ストのタイムチャートである）。

【００３８】次に、本発明の第２の実施の形態について
図面を参照して説明する。

【００３９】図２は本発明の第１および第２の実施の形
態を示すブロック図である。

【００４０】第１および第２の実施の形態の違いは、マ
ルチキャスト制御部のパラメータ保持手段の構成が異な
るのみである。従って、図２中の符号および名称中で、
パラメータ保持手段の符号のみ３５に読み替えるものと
する。なお、説明には使用しないが、図３および図４も
適用可能である。

【００４１】図１３は第２の実施の形態で使用するパラ
メータ保持手段のブロック図である。ここで使用するパ
ラメータ保持手段３５の構成は、パラメータ１ワード分
の大きさを持つパラメータレジスタ３６とアドレス生成
回路３７とを一組として、ノード数−１個を並列に接続
したものである。

【００４２】まず、転送命令を発行する演算処理装置６
１〜６Ｎを含むノード１１（以下転送元ノードと記す）
の共有メモリ１４から他の複数のノード（以下転送先ノ
ードと記す）の共有メモリへのデータ転送を演算処置装
置２１が指示する場合について説明する。演算処理装置
６１により発行される転送命令にはノード間のマルチキ
ャスト命令コマンドをなるべきフィールドが含まれる
（命令フォーマットは図示せず）。また、システム内の
メモリは、一つの論理アドレス空間に定義され、論理ア
ドレスは論理ノード番号とノード内の共有メモリの論理
アドレスによって構成される。マルチキャストされるデ
ータは、それぞれのノード内の共有メモリの論理アドレ
スにおいて同一アドレスに転送される。

【００４３】第２の実施の形態は、第１の実施の形態と
同様な動作を行い、マルチキャスト制御部２０内のパラ
メータ保持手段３５にパラメータを格納する。第２の実
施の形態では、パラメータは１ワード分の大きさを持つ
パラメータレジスタ３６に格納され、アドレス再セット
は次のように行われる。一番目のノードにはパラメータ
保持手段３５内にあるパラメータレジスタ３６にある一
番目のノードのパラメータと、データ保持手段２８のデ
ータバッファから一回目の転送データを読み出したデー
タを結合し、一番目のノードに対する一回目の転送デー
タとして、データ転送制御部２１に送る。パラメータ保
持手段３５では、アドレス生成回路３７において、二番
目のノード番号をパラメータ内の転送先ノード番号から
生成し、二番目のノードに対するパラメータとし、パラ
メータレジスタに再格納する（以下ノード番号再セット
と記す）。二番目のノードには、一番目のノードと同様
にパラメータレジスタ３６のから二番目のノードのパラ
メータと、一回目の転送データと結合しデータ転送制御
部２１に送り、ノード番号再セットを行う。マルチキャ
スト対象の全ノードについて同様に一回目の転送データ
を送る。一回目の転送データをマルチキャスト対象の全
ノード分転送後、アドレス生成回路３７は、アドレス生
成情報から一番目のノード番号と二回目の転送データの
格納アドレスを生成し、パラメータレジスタに再格納す
る（以下アドレス再セットと記す）。二回目以降の転送
データについては、データ保持手段から二回目以降の転
送データを読み出し一回目の転送データと同様にデータ
転送制御部２１に送り、ノード番号再セットとアドレス
再セットを繰り返す。アドレス再セットの際、次転送デ
ータがマルチキャストの最終の転送データと識別された
場合、前記アドレス再セットと同時に最終転送フラグを
セットする。以降、同様な動作を行う。

【００４４】第２の実施の形態では、以下のように終了
報告を行う。第１の実施の形態と同様に転送元ノードが
転送先のノードからノード間データ転送終了報告を受け
ると、転送制御装置１６では、転送制御部１８の制御に
より、転送先ノードからの終了報告を命令解読部１７に
て解読し、マルチキャスト制御部２０に送る。マルチキ
ャスト制御部２０では、終了報告をマルチキャスト終了
監視手段３０に送り、終了報告された転送先ノードを識
別する。マルチキャストを行う全てのノードからの終了
報告を受けると、パラメータを無効にし、マルチキャス
トが終了したことを示すマルチキャスト終了報告を、ロ
ーカルネットワークを介し、マルチキャスト命令を発行
した演算処理装置６１に対して通知する。演算処理装置
６１は、終了報告によりマルチキャスト命令の終了を識
別する。

【００４５】また、ノード間クロスバネットワーク１３
における競合調停は第１の実施の形態と同様である。

【００４６】この様に、ノード１１内にある転送命令を
発行する演算処理装置６１は、複数のノードに同一デー
タを転送する際、マルチキャスト命令を発行することに
より、命令発行動作と、共有メモリからパラメータの読
み出しと転送データを読み出し動作とを各々１回ですま
せることが可能となる。また、転送元ノードからノード
間クロスバネットワーク１３を介して転送先ノードへの
データ転送は、転送先ノードの個数分シリアルに行われ
ることになる。

【００４７】次に、本発明の第３の実施の形態について
図面を参照して説明する。なお、第１および第２の実施
の形態と共通に使用できるものについては、同一の名称
および符号を使用するものとする。

【００４８】図１０は本発明の第３および第４の実施の
形態を示すブロック図である。

【００４９】本発明のマルチノード情報処理システム４
０は、全て同型のノード４１，４２および図示されてい
ない複数のノードと、これらを接続するノード間クロス
バネットワーク４３とで構成し、各ノード（代表として
ノード４１で説明）は、Ｎ個の演算処理装置６１〜６Ｎ
と、演算処理装置６１〜６Ｎが共有する共有メモリ１４
と、演算処理装置６１〜６Ｎと共有メモリ１４とのイン
タフェースを持つローカルネットワーク１５と、ローカ
ルネットワーク１５とノード間クロスバネットワーク４
３との間に位置し、ノード４１の共有メモリ１４と他ノ
ードの共有メモリ間のデータ転送を制御する転送制御装
置４４とで構成する。

【００５０】さらに転送制御装置４４は、転送元である
ノード４１内の共有メモリ１４に記憶するデータを転送
先である他ノードの共有メモリに転送するための転送命
令を、ローカルネットワーク１５を介して演算処理装置
６１〜６Ｎから受け取りかつ解読する命令解読部１７
と、命令解読部１７で解読した命令に従い、ノード間の
データ転送を制御する転送制御部１８と、転送制御部１
８の指示に従い、ノード間データ転送の際にローカルネ
ットワーク１５を介しノード１１の共有メモリ１４に対
するアクセスを行う共有メモリアクセス部１９と、転送
制御部１８の指示に従い、共有メモリアクセス部１９と
ノード間ネットワーク４３の間のデータ転送を行うデー
タ転送部４５と、転送元ノードと転送先ノードが１対１
で対応しているノード間の１：１転送と、ノード間のマ
ルチキャストの転送先ノードが同一のノードの場合、ノ
ード４１が転送先ノードである際に１：１転送の情報を
一時的に退避させる一時退避部２２とで構成している。

【００５１】共有メモリアクセス部１９は、ノード間の
データ転送によりノード１１内の共有メモリ１４に対す
るアクセスの際、論理アドレスから物理アドレス変換を
行うアドレス変換手段２３を備える。データ転送部４５
は、他ノードからの自ノード内の共有メモリ１４に対す
るデータ転送の際、終了報告に必要な持ち回り情報を保
持し、共有メモリ１４へのアクセスの終了を監視し、ノ
ード４１に対する転送の最終のデータが共有メモリ１４
へのアクセスの終了を識別すると持ち回り情報から転送
元のノードに対しデータ転送の終了を報告する共有メモ
リアクセス終了監視手段２５と、ノード間クロスバネッ
トワーク４３に対しデータを送出するデータ転送手段２
６と、共有メモリアクセス終了監視手段２５とデータ転
送手段２６とを制御するデータ転送制御手段２７とで構
成する。

【００５２】ノード間クロスバネットワーク４３は、全
て同型で各ノードに１対１に対応し、対応する各々のノ
ードとのインタフェースを持つノード間転送制御装置４
６，４７および図示していないノード間転送制御装置
と、これらのノード間転送制御装置をクロスバ接続し、
各ノード間転送制御装置の間のデータ転送を行うノード
間データ転送部４８と、ノード間転送制御装置４６，４
７および図示していないノード間転送制御装置とノード
間転送部４８とを制御するネットワーク制御部４９とを
設ける。

【００５３】ここでノード間転送制御装置４６は、ノー
ド４１から送られる他のノードへのノード間のデータ転
送の動作指示を解読する解読部５０と、ノード間データ
転送を行う際にパラメータ内にあるノード番号を論理ノ
ード番号から物理ノード番号に変換するノード番号変換
部５１と、ノード間転送制御装置４６内のノード間の転
送データを、ノード４１または後述のノード間データ転
送部４８に送る転送部５２と、ノード４１から送られて
くるパラメータとデータとを保持し、マルチキャストの
制御を行うマルチキャスト制御部５３と、ノード間転送
制御装置４６を構成する各部を制御するデータ転送制御
部５４とで構成している。

【００５４】さらにマルチキャスト制御部５３は、マル
チキャストするデータを保持するデータバッファで構成
されたデータ保持手段５５と、マルチキャストするパラ
メータを保持するシステム内にあるノードの個数分−１
個のパラメータレジスタと各パラメータレジスタに対応
したアドレスを生成する回路で構成されたパラメータ保
持手段５６と、ノード４１が発行したマルチキャスト命
令の終了を監視するマルチキャスト終了監視手段５７を
有し、データ保持手段５５とパラメータ保持手段５６と
マルチキャスト終了監視手段５７とを制御するマルチキ
ャスト制御手段５８とで構成する。

【００５５】次に第３の実施の形態の動作について図１
１および図１２に基づいて説明する。図１１は第３およ
び第４の実施の形態のマルチキャスト動作の流れ図（そ
の１）、図１２は第３および第４の実施の形態のマルチ
キャスト動作の流れ図（その２）である。図９は第３の
実施の形態で使用するパラメータ保持手段のブロック図
である。ここで使用するパラメータ保持手段５６の構成
は、パラメータ１ワード分の大きさを持つパラメータレ
ジスタ５９とアドレス生成回路６０とをそれぞれ一組ず
つで構成したものである。なお、説明には図１０の名称
と符号とを使用する。

【００５６】まず、転送命令を発行する演算処理装置６
１，６Ｎを含むノード４１（以下転送元ノードと記す）
の共有メモリ１４から他の複数の転送先ノードの共有メ
モリへのデータ転送を、演算処置装置２１が指示するも
のとする。

【００５７】最初に、Ｓ４１で演算処理装置６１が発行
する転送命令には、ノード間のマルチキャスト命令コマ
ンドとなるべきフィールドが含まれる（命令フォーマッ
トは図示せず）。また、システム内のメモリは、一つの
論理アドレス空間に定義され、論理アドレスは論理ノー
ド番号とノード内の共有メモリの論理アドレスによって
構成される。マルチキャストされるデータは、それぞれ
のノード内の共有メモリの論理アドレスが異なるアドレ
スに転送される。転送制御装置４４は、演算処理装置６
１が発行した転送命令をローカルネットワーク１５を介
して、命令解読部１７で受け取る。命令解読部１７は、
Ｓ４２で転送命令を解析し受け取った転送命令がノード
間のマルチキャスト命令コマンドであれば、マルチキャ
ストを行うように指示すると共に、制御情報を転送制御
部１８に渡す。転送制御部１８は、この制御情報を受け
取り、Ｓ４３で共有メモリアクセス部１９に対して、ロ
ーカルネットワーク１５を介して共有メモリ１４から動
作パラメータとデータとを読み出し、データ転送部４５
に転送するよう指示を出す。指示を受けた共有メモリア
クセス部１９は、動作パラメータとデータを読み出しデ
ータ転送部４５に転送する。動作パラメータとデータを
受け取ったデータ転送部４５は、Ｓ４４でデータ転送制
御手段２７の制御を受けたデータ転送手段２６が、動作
パラメータとデータをノード間クロスバネットワーク４
３に送る。このときの転送データのデータフォーマット
は、第１および第２の実施の形態と同様で、図６で示さ
れる。

【００５８】ノード間クロスバネットワーク１３では、
ノード間転送制御装置４６がノード４１から動作パラメ
ータとデータとを受け取り、データ転送制御部５４の制
御により、Ｓ４５で受け取った動作パラメータを解読部
５０を使用して解読し、動作パラメータがマルチキャス
トの対象か否かを識別し、対象であると識別すると、Ｓ
４６で動作パラメータとデータとをマルチキャスト制御
部５３に送る。マルチキャスト制御部５３では、マルチ
キャスト制御手段５８の制御により、Ｓ４７で動作パラ
メータをパラメータ保持手段５６に保持し、動作パラメ
ータ以外のデータは、Ｓ４８でマルチキャストの対象の
データであるか否かを識別し、マルチキャストの対象の
データであれば、Ｓ５０でデータをデータ保持手段５５
に保持する。マルチキャスト制御部５３では、Ｓ５１で
マルチキャスト対象のノード数のパラメータがパラメー
タ保持手段５６に保持されたか否かを識別し、すべて保
持されれば、Ｓ５２でデータ転送制御部５４指示により
マルチキャストの対象であるノード全てのパラメータと
１回目の転送データを読み出して転送部５２に送り、パ
ラメータ内の転送先ノード番号をノード番号変換部５１
に送る。

【００５９】続いてマルチキャスト制御手段５８の制御
により、Ｓ５３で一番目のノード内の共有メモリに対す
る二回目の転送データを格納する論理アドレスを、一番
目のノードの動作パラメータ内のアドレスとアドレス生
成情報から生成し、Ｓ５４で次アドレスが転送先ノード
に対する最終転送か否かを判別し、最終転送でなければ
Ｓ５５でパラメータ保持手段５６に送り、Ｓ４７でパラ
メータバッファ５９に再格納し（以下アドレス再セット
と記す）すると共に再度Ｓ５２に戻る。アドレス再セッ
トの際、Ｓ５４で次アドレスの転送データがマルチキャ
ストの最終の転送データと識別された場合は、Ｓ５６で
アドレス再セットと同時に最終転送フラグをセットす
る。

【００６０】ノード番号変換部５１では、Ｓ５７でパラ
メータ中にあるノード番号を、マルチキャスト対象の全
てのノード分同時に論理ノード番号から物理ノード番号
に変換し、転送部５２に送る。転送部５２は、Ｓ５８で
マルチキャスト制御部５３より送られたパラメータから
このパラメータに対応するデータがマルチキャストデー
タである事を示す情報とノード番号変換部５１より送ら
れた転送先ノード番号を、ネットワーク制御情報とし
て、ネットワーク制御部４９に送り、パラメータとデー
タとをノード間データ転送部４８に送る。ネットワーク
制御部４９では、ノード間転送制御装置４６より送られ
たネットワーク制御情報により、Ｓ５９でネットワーク
制御情報に対応するパラメータとデータを指定されたノ
ードに転送するようにノード間データ転送部４８に制御
情報を送る。

【００６１】図１４にノード間転送制御装置４６とネッ
トワーク制御部４９間のデータフォーマットを示す。ノ
ード間データ転送部４８では、ネットワーク制御部４９
から送られた制御情報に基づき、Ｓ６０でネットワーク
制御情報に対応するパラメータとデータを転送先ノード
（ここでは、ノード４２について説明する）に対応する
ノード間転送制御装置４７に送る。このとき、マルチキ
ャスト対象の全てのノードに対し同時にパラメータとデ
ータを送る。データ保持手段５５から読み出された一回
目の転送データは、ノード間データ転送部４８内で、マ
ルチキャスト対象の全てのノード数に複製され、転送先
のノード間転送制御装置にパラメータと共に送られる。

【００６２】図７にノード間転送制御装置４６とノード
間データ転送部４８間のデータフォーマットを示す。ノ
ード間転送制御装置４７（ここでは、転送先ノードをノ
ード４２とする）では、Ｓ６１でパラメータとデータを
受け取ると、データ転送制御部の制御により、Ｓ６２で
受け取ったパラメータを解読部で解読し、その結果がノ
ード４２への転送であれば、パラメータとデータを転送
部に送り、転送部は、Ｓ６３でパラメータとデータとを
ノード４２に送出する。

【００６３】図７にノード間クロスバネットワーク４３
とノード４２との間のデータフォーマットを示す。ノー
ド４２では、パラメータとデータとを受信すると、Ｓ６
４で命令解読手段が転送された動作パラメータを解読
し、ＭＣ転送でありかつ自ノードの共有メモリに対する
ライトを指示していた場合、転送制御部は、Ｓ６５で共
有メモリに対しパラメータ中のＡＤＤにデータのライト
を指示し、Ｓ６６でデータ転送制御部に対し動作パラメ
ータから転送元ノードに転送の終了報告を通知するため
の情報（転送元ノード番号、最終転送フラグ）（以下持
ち回り情報と記す）を送り、共有メモリアクセス部に動
作パラメータとデータを送る。データ転送制御部では、
持ち回り情報を共有メモリアクセス終了監視手段に格納
する。共有メモリアクセス部は、動作パラメータ内の共
有メモリに対するアドレスをアドレス変換手段により、
論理アドレスから物理アドレスに変換し、ローカルネッ
トワークを介し共有メモリに書き込む。共有メモリは、
データの書き込みが終了すると、共有メモリへのデータ
の書き込みが終了したことを示す共有メモリアクセス終
了報告を、ローカルネットワークを介し、転送制御装置
に対し通知する。転送制御装置では、転送制御部の制御
により前述の終了報告を命令解読部にて解読し、データ
転送制御部に送り、Ｓ６７で終了報告を共有メモリアク
セス終了監視手段に送る。共有メモリアクセス終了監視
手段では、Ｓ６８で前述の終了報告に対応する転送デー
タが、ノード４２に対するデータ転送の最終の転送デー
タか否かを持ち回り情報の最終転送フラグから識別す
る。前述の終了報告に対応する転送データが最終の転送
でない場合には、共有メモリアクセス監視手段は、Ｓ６
９で持ち回り情報を無効にすると共に引き続き対応する
転送データの終了報告の監視を行うため、Ｓ６８に戻
る。前述の終了報告に対応する転送データが最終の転送
である場合、Ｓ７０で同様に持ち回り情報を無効にし、
持ち回り情報の転送元ノード番号の示すノードに対応す
るノード間転送制御装置４６に自ノードに対するデータ
転送が終了したことを示すノード間データ転送終了報告
を通知する。転送元ノードでは、転送制御装置４６が、
Ｓ７１で転送先ノードからの終了報告を受ける。転送制
御装置４６では、Ｓ７２で受け取ったものが終了報告か
否かを判別し、終了報告であれば、データ転送制御部５
４の制御により、転送先ノードからの終了報告を解読部
５０にて解読し、Ｓ７３でマルチキャスト制御部５３に
送る。続いてマルチキャスト制御部５３では、Ｓ７４で
終了報告をマルチキャスト終了監視手段５７に送り、終
了報告された転送先ノードを識別して対応する動作パラ
メータを無効にし、Ｓ７５でマルチキャストが終了した
か否かを判別し、もしもマルチキャストが終了していな
ければ、Ｓ７６で引き続き対応する転送データの終了報
告の監視を行うためＳ７５に戻る。最後に、Ｓ７５で全
てのノードから終了報告がされたと判別すれば、マルチ
キャストを行う全てのノードからの終了報告を受け対応
する動作パラメータを全て無効にすると共に、Ｓ７７で
マルチキャストが終了したことを示すマルチキャスト終
了報告を、ローカルネットワーク１５を介し、マルチキ
ャスト命令を発行した演算処理装置６１に対して通知す
る。演算処理装置６１は、Ｓ７８で終了報告によりマル
チキャスト命令の終了を識別して一連の動作を終了す
る。

【００６４】第１の実施の形態と同様に共有メモリに転
送データの書き込みを行い、共有メモリが共有メモリア
クセス終了報告、共有メモリアクセス終了監視手段９４
１の通知する。共有メモリアクセス終了監視手段９４１
は、第１の実施の形態と同様に、前記終了報告を識別
し、ノード間クロスバネットワーク１３に、ノード間デ
ータ転送終了報告を送る。

【００６５】次ぎに第３の実施の形態で、ノード間クロ
スバネットワーク４３内において、第一の実施の形態と
同様にマルチキャストと１：１転送の転送先ノードが同
一のノードである場合、転送先ノードの競合が発生す
る。競合調停はネットワーク制御部４９にて行われ、マ
ルチキャストが優先的に処理される。マルチキャストと
１：１転送のそれぞれの先頭の転送データの競合の場
合、マルチキャストの処置中の１：１転送との競合の場
合は、マルチキャスト同志の競合の場合は、第一の実施
の形態と同様の処理が行われる。１：１転送中にマルチ
キャストが発生し競合した場合ネットワーク制御部４９
は、１：１転送の転送元及び転送先ノードに対応するノ
ード間転送制御手段に対し、転送の一時中断を指示する
中断指示を通知する。転送元ノード対応するノード間転
送制御手段では、中断指示を受けると、１：１転送のデ
ータ転送を一時的に中断する。転送先ノードに対応する
ノード間転送制御装置４７（ここでは、マルチキャスト
と１：１転送の転送先ノードが４２で競合したとする）
では、中断指示を受けると、データ転送制御部の制御に
より、前記中断指示は、解読部で解読され、転送部を介
しノード４２に送られる。ノード４２では、この指示を
転送制御装置内の転送制御部の制御により、中断指示を
命令解読部で解読し、データ転送部内にある共有メモリ
アクセス終了監視手段の持ち回り情報を一時待避部に一
時的に待避させる。マルチキャスト命令によるデータ転
送が終了すると、一時待避部の持ち回り情報を共有メモ
リアクセス終了監視手段に再格納する。ネットワーク制
御部４９は、マルチキャストの終了後、転送元ノードに
対応するノード間転送制御手段に対し中断されていた
１：１転送の再開を指示する再開指示を通知する。再開
指示を受けた転送元ノードは、１：１転送を再開する。

【００６６】この様に、ノード４１内にある転送命令を
発行する演算処理装置６１は、複数のノードに同一デー
タを転送する際、マルチキャスト命令を発行することに
より、命令発行動作と共有メモリから転送データを読み
出しノード間クロスバネットワーク間の転送動作とを、
各々１回ですませることが可能となる。また、ノード間
クロスバネットワークから転送先ノードへのデータ転送
は、転送先ノード全てに対して同時に行われる。

【００６７】図１５は本発明の第３および第４の実施の
形態についてのタイムチャートである。演算処理装置６
１のマルチキャスト命令の発行から転送制御装置４４の
命令識別までにかかる時間をＴi、パラメータを共有メ
モリ１４から読み出しローカルネットワーク１５を介し
て転送制御装置に転送する時間をＴp0、転送制御装置４
４からパラメータ保持手段５６までにかかる時間をＴp
1、データを共有メモリ１４から読み出しローカルネッ
トワーク１５を介して転送制御装置４４に転送する時間
をＴd0、データを転送制御装置４４からデータ保持手段
５５に転送する時間をＴd1、パラメータ及びデータをノ
ード間クロスバネットワーク４３から転送先ノードの転
送制御装置に転送する時間をＴd2、転送先ノードにおい
て、データを共有メモリに書き込むまでに要する時間を
Ｔd3、転送元ノードに終了報告行うのに要する時間をＴ
e、とする（ここでは、第１の実施の形態と同様に、２
つのノード１ａ，１ｂに対し、５回転送を行うマルチキ
ャストのタイムチャートである）。

【００６８】次に、本発明の第４の実施の形態について
説明する。

【００６９】図１０は本発明の第３および第４の実施の
形態を示すブロック図である。

【００７０】第３および第４の実施の形態の違いは、マ
ルチキャスト制御部のパラメータ保持手段の構成が異な
るのみである。従って、図１０中の符号および名称中
で、パラメータ保持手段の符号のみ３５に読み替えるも
のとする。なお、パラメータ保持手段の構成は、図９に
示される。また、説明には使用しないが、図１１および
図１２も適用可能である。

【００７１】まず、転送命令を発行する演算処理装置６
１〜６Ｎを含むノード４１（以下転送元ノード）の共有
メモリ１４から他の複数のノード（以下転送先ノー
ド）の共有メモリへのデータ転送を演算処置装置２１が
指示するケースについて動作説明する。演算処理装置６
１により発行される転送命令にはノード間のマルチキャ
スト命令コマンドをなるべきフィールドが含まれる（命
令フォーマットは図示せず）。また、システム内のメモ
リは、一つの論理アドレス空間に定義され、論理アドレ
スは論理ノード番号とノード内の共有メモリの論理アド
レスによって構成される。マルチキャストされるデータ
は、それぞれのノード内の共有メモリの論理アドレスに
おいて同一アドレスに転送される。

【００７２】第４の実施の形態では、第３の実施の形態
と同様な動作を行い、マルチキャスト制御部５３内のパ
ラメータ保持手段５６にパラメータを格納する。第４の
実施の形態では、パラメータは１ワードのみ格納され、
アドレス再セットは次のように行われる。一回目の転送
データに対応するパラメータを転送後、パラメータ生成
回路は、アドレス生成情報から二回目の転送データの格
納アドレスを生成し、パラメータレジスタに再格納す
る。二回目以降の転送データに対応するパラメータにつ
いては、一回目の転送データと同様にアドレス再セット
を繰り返す。アドレス再セットの際、次転送データがマ
ルチキャストの最終の転送データと識別された場合、前
記アドレス再セットと同時に最終転送フラグをセットす
る。以降、第３の実施の形態と同様な動作を行う。図１
６にノード４１とノード間クロスバネットワーク４３間
の、図７にノード間クロスバネットワーク４３とノード
４２間の、図１４にノード間転送制御装置４６とノード
間データ転送部４８の、図７にノード間転送制御装置４
６とネットワーク制御部４９の各データフォーマットを
示す。第４の実施の形態では、以下のように終了報告を
行う。第３の実施の形態と同様にノード間転送終了報告
を受けたマルチキャスト終了監視手段５７は、マルチキ
ャスト対象の全てのノードから終了報告を受けたことを
識別すると、パラメータ保持手段５６のパラメータを無
効にし、マルチキャストが終了したことを示すマルチキ
ャスト終了報告を転送部５２を介しノード４１に送る。
以降は第３の実施の形態と同様に行う。ノード間クロス
バネットワーク４３における競合調停は、第３の実施の
形態と同様である。

【００７３】この様に、ノード４１内にある転送命令を
発行する演算処理装置６１は、複数のノードに同一デー
タを転送する際、マルチキャスト命令を発行することに
より、命令発行動作と共有メモリからノード間クロスバ
ネットワーク間のパラメータとデータを読み出し動作と
を各々１回ですませることが可能となる。また、ノード
間クロスバネットワークを介して転送先ノードへのデー
タ転送は、全ての転送先ノードに対して同時に行われる
ことになる。

【００７４】

【発明の効果】以上説明したように、本発明は、任意の
ノード内の演算処理装置から同一ノード内の転送制御装
置に対して送出する転送命令であるノード間データ転送
命令内に自ノードから他の複数のノードへのデータ転送
を行うマルチキャスト命令を含めると共に、転送制御装
置内にマルチキャスト命令を受け複数のノードに対する
マルチキャストを制御するマルチキャスト制御部を備え
ることにより、複数のノードの共有メモリに同一データ
の転送する場合に、演算処理装置に対する負荷を減ずる
ことができるという効果が有る。また、複数のノードの
共有メモリに同一データの転送する場合に、任意のノー
ドに対しマルチキャストを可能にすることができるとい
う効果も有る。

【図面の簡単な説明】

【図１】本発明のマルチノード情報処理システムの原理
図である。

【図２】第１および第２の実施の形態を示すブロック図
である。

【図３】第１および第２の実施の形態のマルチキャスト
動作の流れ図（その１）である。

【図４】第１および第２の実施の形態のマルチキャスト
動作の流れ図（その２）である。

【図５】マルチキャスト制御部内のデータ保持手段とパ
ラメータ保持手段の構成を示すブロック図である。

【図６】ノードからノード間クロスバネットワークに送
出するデータのデータフォーマットを説明する説明図で
ある。

【図７】ノード間クロスバネットワークからノードに送
出するデータのデータフォーマットおよび第３および第
４の実施の形態でのノード間転送制御装置とノード間デ
ータ転送部間のデータフォーマットを説明する説明図で
ある。

【図８】第１および第２の実施の形態のタイムチャート
である。

【図９】第２の実施の形態で使用するパラメータ保持手
段のブロック図である。

【図１０】第３および第４の実施の形態を示すブロック
図である。

【図１１】第３および第４の実施の形態のマルチキャス
ト動作の流れ図（その１）である。

【図１２】第３および第４の実施の形態のマルチキャス
ト動作の流れ図（その２）である。

【図１３】第３の実施の形態で使用するパラメータ保持
手段のブロック図である。

【図１４】ノード間転送制御装置とネットワーク制御部
間のデータフォーマットを説明する説明図である。

【図１５】第３および第４の実施の形態についてのタイ
ムチャートである。

【図１６】第４の実施の形態のノードとノード間クロス
バネットワーク間のデータフォーマットを説明する説明
図である。

【図１７】従来の技術の動作を示すタイムチャートであ
る。

【符号の説明】

１，２，１１，１２，４１，４２ノード３，４，１６，４４転送制御装置５，１３，４３ノード間クロスバネットワーク６，７，８，２０，５３マルチキャスト制御部１０，４０マルチノード情報処理システム１４共有メモリ１５ローカルネットワーク１７命令解読部１８転送制御部１９共有メモリアクセス部２１，５４データ転送制御部２２一時退避部２３アドレス変換手段２４ノード番号変換手段２５共有メモリアクセス終了監視手段２６データ転送手段２７データ転送制御手段２８，５５データ保持手段２９，３５パラメータ保持手段３０マルチキャスト終了監視手段３１マルチキャスト制御手段３２クロスバ制御部３３，３７，６０アドレス生成回路３４パラメータバッファ３６，５９パラメータレジスタ４５データ転送部４６，４７ノード間転送制御装置４８ノード間データ転送部４９ネットワーク制御部５０解読部５１ノード番号変換部５２転送部５６パラメータ保持手段５７マルチキャスト終了監視手段５８マルチキャスト制御手段６１，６Ｎ演算処理装置

Claims

(57)【特許請求の範囲】

【請求項１】複数の演算処理装置と、前記演算処理装
置が共有し使用する共有メモリと、前記演算処理装置の
データ転送要求に従ってデータ転送動作を制御する転送
制御装置と、前記演算処理装置と前記共有メモリと前記
転送制御装置とを相互に接続するローカルネットワーク
とから成るノードの複数個を、ノード間クロスバネット
ワークで相互に接続し任意のノード間でデータ転送を行
うマルチノード情報処理システムにおいて、前記任意のノード内の演算処理装置から同一ノード内の
転送制御装置に対して送られてくる転送命令であるノー
ド間データ転送命令内に自ノードから他の複数のノード
へのデータ転送を行うマルチキャスト命令を含むと共
に、前記マルチキャスト命令を受け複数のノードに対す
るマルチキャストを制御するマルチキャスト制御部を前
記転送制御装置内に設け、前記転送制御装置内に、前記演算処理装置から送られて
くる前記転送命令を解読する命令解読部と、前記共有メ
モリに対するアクセスの際に論理アドレスから物理アド
レス変換を行うアドレス変換手段を含み前記共有メモリ
へのアクセスを行う共有メモリアクセス部と、前記共有
メモリアクセス部から送られるシングルキャストおよび
マルチキャストの転送制御用のデータを保持するデータ
保持手段と前記共有メモリアクセス部から送られる転送
に必要な前記ノード数分の動作パラメータを保持しアド
レス生成を行うパラメータ保持手段と自己の所属するノ
ードが発行したマルチキャスト命令の終了を監視するマ
ルチキャスト終了監視手段および前記データ保持手段と
前記パラメータ保持手段と前記マルチキャスト終了監視
手段とを制御するマルチキャスト制御手段を含み複数の
ノードのに対するマルチキャストを制御するマルチキャ
スト制御部と、シングルキャストおよびマルチキャスト
のノード間データ転送を行う際に論理ノード番号から物
理ノード番号に変換するノード番号変換手段と他ノード
からの自ノード内の前記共有メモリに対するアクセスの
終了を監視する共有メモリアクセス終了監視手段と前記
ノード間クロスバネットワークに対しデータを送出する
転送手段および前記ノード番号変換手段と前記共有メモ
リアクセス終了監視手段と前記転送手段とを制御するデ
ータ転送制御手段を含み自ノードと前記ノード間クロス
バネットワーク間のデータ転送を制御するデータ転送制
御部と、他ノードからのノード間データ転送の情報を一
時的に退避させる一時退避部と、前記命令解読部と前記
共有メモリアクセス部と前記マルチキャスト部と前記デ
ータ転送制御部と前記一時退避部とを制御する転送制御
部とを設け、前記ノード間クロスバネットワーク内に、
転送先ノードへのデータ転送を制御するクロスバ制御部
を設けることを特徴とするマルチノード情報処理システ
ム。
【請求項２】前記パラメータ保持手段が、パラメータ
を保持する１ワードのパラメータレジスタとアドレス生
成を行う回路とを有することを特徴とする請求項１記載
のマルチノード情報処理システム。
【請求項３】複数の演算処理装置と、前記演算処理装
置が共有し使用する共有メモリと、前記演算処理装置の
データ転送要求に従ってデータ転送動作を制御する転送
制御装置と、前記演算処理装置と前記共有メモリと前記
転送制御装置とを相互に接続するローカルネットワーク
とから成るノードの複数個を、ノード間クロスバネット
ワークで相互に接続し任意のノード間でデータ転送を行
うマルチノード情報処理システムにおいて、前記任意のノード内の演算処理装置から同一ノード内の
転送制御装置に対して送られてくる転送命令であるノー
ド間データ転送命令内に自ノードから他の複数のノード
へのデータ転送を行うマルチキャスト命令を含むと共
に、前記マルチキャスト命令を受け複数のノードに対す
るマルチキャストを制御するマルチキャスト制御部を前
記ノード間クロスバネットワーク内に設け、前記転送制御装置内に、前記演算処理装置から送られて
くる前記転送命令を解読する命令解読部と、前記共有メ
モリに対するアクセスの際に論理アドレスから物理アド
レス変換を行うアドレス変換手段を含み前記共有メモリ
へのアクセスを行う共有メモリアクセス部と、他ノード
からの自ノード内の前記共有メモリに対するアクセスの
終了を監視する共有メモリアクセス終了監視手段と前記
ノード間クロスバネットワークに対しデータを送出する
転送手段および前記共有メモリアクセス終了監視手段と
前記転送手段とを制御するデータ転送制御手段を含み自
ノードと前記ノード間クロスバネットワーク間のデータ
転送を制御するデータ転送制御部と、他ノードからのノ
ード間データ転送の情報を一時的に退避させる一時退避
部と、前記命令解読部と前記共有メモリアクセス部と前
記データ転送制御部と前記退避手段とを制御する転送制
御部とを設け、前記ノード間クロスバネットワーク内
に、各ノードに１対１に対応する各々のノードとのイン
タフェースを持つ複数のノード間転送制御装置と、全て
のノード間転送制御装置をクロスバ接続し前記ノード間
転送制御装置間のデータ転送を行うノード間データ転送
部と、前記ノード間転送制御部および前記ノード間デー
タ転送部を制御するネットワーク制御部とを設けること
を特徴とするマルチノード情報処理システム。
【請求項４】前記ノード間転送制御装置内に、前記ノ
ードから送られてくるノード間のデータ転送の指示を解
読する解読部と、シングルキャストおよびマルチキャス
トのノード間データ転送を行う際に論理ノード番号を受
け物理ノード番号に変換するノード番号変換部と、前記
ノード間転送制御装置内の転送データを対応するノード
または前記ノード間データ転送部に送る転送部と、対応
するノードから送られてくるデータを保持するためのデ
ータ保持手段と前記対応するノードから送られる転送デ
ータに必要な相手ノード数分のパラメータを保持しアド
レス生成を行うパラメータ保持手段と前記対応するノー
ドが発行したマルチキャストの終了を監視するマルチキ
ャスト終了監視手段および前記データ保持手段と前記パ
ラメータ保持手段と前記マルチキャスト終了監視手段と
を制御するマルチキャスト制御手段を含み複数のノード
のに対するマルチキャストを制御するマルチキャスト制
御部と、前記解読部と前記ノード番号変換部と前記転送
部と前記マルチキャスト制御部とを制御する転送制御部
とを設けることを特徴とする請求項３記載のマルチノー
ド情報処理システム。
【請求項５】前記パラメータ保持手段が、パラメータ
を保持する１ワードのパラメータレジスタとアドレス生
成を行う回路とを有することを特徴とする請求項４記載
のマルチノード情報処理システム。