JP2003242097A - クロスコール機能を備えるディスク制御装置 - Google Patents
クロスコール機能を備えるディスク制御装置Info
- Publication number
- JP2003242097A JP2003242097A JP2002037604A JP2002037604A JP2003242097A JP 2003242097 A JP2003242097 A JP 2003242097A JP 2002037604 A JP2002037604 A JP 2002037604A JP 2002037604 A JP2002037604 A JP 2002037604A JP 2003242097 A JP2003242097 A JP 2003242097A
- Authority
- JP
- Japan
- Prior art keywords
- request
- host computer
- disk
- control device
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1605—Handling requests for interconnection or transfer for access to memory bus based on arbitration
- G06F13/1652—Handling requests for interconnection or transfer for access to memory bus based on arbitration in a multiprocessor architecture
- G06F13/1663—Access to shared memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0661—Format or protocol conversion arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multi Processors (AREA)
Abstract
め、あるポートにリクエストが集中した場合、そのリク
エスト全てを処理する必要があり、その分処理負荷が高
くなる。 【解決手段】ディスク制御装置内部の共有領域にリクエ
スト処理とその制御情報を記したテーブル、依頼可能な
ポートを記したテーブルを用意し、それを参照すること
で処理を依頼する。 【効果】リクエストが集中しているポートの負荷を分
散、及びリクエスト発行元に対するスループットが向上
する。
Description
続可能な複数の入出力ポートを備えたディスク制御装置
を用いたネットワークストレージシステムに関し、アク
セス集中に伴うネットワーク帯域の圧迫回避、及び入出
力ポートを制御する制御プロセッサの負荷を軽減する技
術に関する。
タの格納、読み出しを行うディスク制御装置がある。デ
ィスク駆動装置とディスク制御装置はあわせてディスク
サブシステムと総称される。図1には、ディスクサブシ
ステムの一例を示す。100は、ディスク制御装置であ
り、ホストコンピュータ、及びディスク駆動装置140
とのインターフェースを持つ。105は、入出力チャネ
ルであり、ホストコンピュータとの入出力インターフェ
ースである。110は、チャネル制御部であり、ホスト
コンピュータからのリクエスト処理をディスク制御装置
内部に指示を与える。115は、チャネル制御部110
―キャッシュメモリ制御部120・共有メモリ制御部1
25間接続パスであり、ユーザデータの通信、及び共有
データの通信はこのパスを介して行う。120は、キャ
ッシュメモリ制御部であり、ホストコンピュータ、及び
ディスク駆動装置140にあるユーザデータを一時的に
格納するキャッシュメモリを備え、チャネル制御部11
0、またはディスク制御部135からのキャッシュメモ
リアクセスの制御を行う。125は、共有メモリ制御部
であり、ディスク制御装置100内部で行われる通信に
関する制御情報、及びクロスコールを実現するためのテ
ーブルを格納する共有メモリを備え、チャネル制御部1
10、及びディスク制御部135からの共有メモリアク
セスの制御を行う。130は、ディスク制御部135−
キャッシュメモリ制御部120・共有メモリ制御部12
5間接続パスであり、ユーザデータの通信、及び共有デ
ータの通信はこのパスを介して行う。140は、ディス
ク駆動装置であり、複数のドライブで構成されユーザデ
ータなどを格納する。ホストコンピュータとディスクサ
ブシステム間の接続形態は、技術的な背景、ユーザのニ
ーズに伴い変化している。近年、インターネットの爆発
的な普及、ギガビットイーサネットなどの登場によって
ネットワークインフラストラクチャの普及、高速化・帯
域拡大が進んでいる。ここで、「イーサネット」は米国
Xerox社の登録商標である。また、IP(Internet Prot
ocol)を使ったネットワーク(以下、IPネットワーク
と呼ぶ)には、低管理・運用コスト、LAN(Local Ar
ea Network)に代表されるように相互接続性の良さなど
の利点を持つことから、SAN(Storage Area Networ
k)へ適用する動きがある。SANとは、1台以上のホ
ストコンピュータ、1台以上のストレージ装置が接続さ
れたネットワーク環境のことを指し、ストレージ装置と
してはディスクアレイ装置(以下、ディスク制御装置と
呼ぶ)などがある。一方、IPネットワークでは、ホス
トコンピュータとディスクサブシステム間の伝送経路
は、ルーティングプロトコルで決定する。代表的なルー
ティングプロトコルとしては、RIP(Route Informat
ion Protocol)、OSPF(Open Shortest Path Firs
t)などがある。RIPは、経路制御情報をネットワー
ク上に送信し、ホストコンピュータとディスクサブシス
テム間の経路において通過するルータの数(ホップと呼
ぶ)が一番少ない経路を選択する。OSPFは、各ネッ
トワークのリンク状態(トポロジ)情報を基に経路制御
情報を生成し、隣接するルータ間で経路制御情報を交換
する。OSPFでは各リンクに重み(メトリックと呼
ぶ)をつけ、そのメトリックが小さくなる経路を選択す
る。メトリックとは、ホップ数の他に、伝送遅延、回線
スピード、トポロジ種などが含まれる。従って、複数の
ホストコンピュータからあるディスクサブシステムに対
してリクエストを発行すると、上記のRIP、OSPF
によって決められた経路を使うため、その経路にアクセ
スが集中してしまう。加えて、IPネットワーク上には
不特定多数のユーザが存在し、かつディスクサブシステ
ムに対するアクセスでは比較的大きなデータを要求する
ことが多い。ディスクサブシステム側では、ディスク制
御装置の入出力ポートにアクセスが集中し、その入出力
ポートを制御している制御プロセッサに高負荷がかかっ
てしまうため、転送性能の劣化につながる。それを回避
する技術としてホストコンピュータがメインフレームで
ESCON(Enterprise Systems Connection Architectur
e)チャネルで接続されたディスクサブシステムにおけ
る、クロスコール機能(以下、ESCONクロスコールと呼
ぶ)がある。ESCONクロスコールの目的は、ホストコン
ピュータからのアクセスに対し、要求されているデータ
をディスク駆動装置から取り出す(厳密には、ディスク
のシーク時間)ときにかかるオーバヘッドを取り除くこ
とによる転送性能の向上、及び障害発生時のフェールオ
ーバである。ESCONクロスコールは、複数のチャネル
(チャネルパスグループと呼ぶ)間で実施されるもの
で、ホストコンピュータからのリクエストを受信した第
一のチャネルとは異なる第二のチャネルからそのリクエ
ストに対する応答を送信可能とする技術である。以下、
ESCONクロスコールについて図12,図13を用いて説
明する。図12は、機器構成を示している。1305は
ホストコンピュータであり、ディスク制御装置1370
に対してリクエストを発行する。1310a、1311
a、1312a、1313a、1314a、1315
a、1316a、1317aは、ESCONチャネルであ
り、メインフレーム対応の入出力インターフェースであ
る。1310b、1311b、1312b、1313
b、1314b、1315b、1316b、1317b
はチャネル制御プロセッサであり、ホストコンピュータ
1305から受信したリクエストを解読し、そのリクエ
スト内容に従いディスク制御装置内部処理を指示する。
1320はキャッシュメモリであり、ホストコンピュー
タからのユーザデータ、及びディスク駆動装置1340
のデータを一時的に格納するメモリ領域である。132
5は、共有メモリであり、ディスク制御装置内部で必要
な制御情報が格納されているメモリ領域である。133
0、1331、1332、1333、1334、133
5、1336、1337はディスク制御プロセッサであ
り、チャネル制御プロセッサからの要求に従いディスク
駆動装置へのアクセスを制御する。1340は、ディス
ク駆動装置であり、複数のドライブで構成されデータを
格納する装置である。1350は、ディスク制御部であ
り、ディスク制御プロセッサを含みディスク駆動装置と
のインターフェースを持つ。1360は、チャネル制御
部であり、チャネル制御プロセッサを含みホストコンピ
ュータとのインターフェースを持つ。またホストコンピ
ュータとのチャネルを複数有する。図13では、1つの
チャネル制御部1360につき4チャネル、2つのチャ
ネル制御部で計8チャネル有しているが、1つのチャネ
ル制御部あたりのチャネル数、及びディスク制御装置が
有するチャネル制御部の数は、特に問わない。図13
は、ESCONクロスコールのフローチャートを示してい
る。図13と合わせて以下、ESCONクロスコールに関し
てホストコンピュータ側、ディスク制御装置側それぞれ
の処理を説明する。前提として、第一のESCONチャネル
1310a、第二のESCONチャネル1314aがチャネ
ルパスグループに属しているとし、第一のESCONチャネ
ルよりリクエストを発行し、第二のESCONチャネルから
応答が送信されるとする。ここで、チャネルパスグルー
プとは、ホストコンピュータとディスク制御装置間の通
信で、チャネルパスグループに属しているチャネルであ
れば、どのチャネルを使って通信をしても構わないチャ
ネルを示すものである。従って、第一のESCONチャネル
から送信されたリクエストの応答が第二のESCONチャネ
ルから送信されても別に問題はない。クロスコールアク
セス開始1400は、具体的にはディスク駆動装置にあ
るデータの読み出し処理である。以降、ディスク駆動装
置のデータ読み出し処理を例にとり、上記の前提を踏ま
えた上で説明する。まず、ホストコンピュータは第一の
チャネル(1310a)で最初のリクエストを送信する
(ステップ1410)。最初のリクエストを受け取った
ディスク制御装置側のチャネル制御プロセッサ1310
bは、リクエストの内容を解析する(ステップ141
5)。このとき、ディスク駆動装置にあるデータの読み
出しであると判断する。チャネル制御プロセッサは、一
旦第一のチャネルパスを切断し(ステップ1420)、
ディスク駆動装置にあるデータの読み出しを指示し、ホ
ストコンピュータに対してデータを送信する準備を行う
(ステップ1425)。ホストコンピュータに対してデ
ータを送信する準備が完了したら、チャネルパスグルー
プに属するチャネル制御プロセッサがデータ送信準備完
了の旨を検出し(ステップ1430)、ホストコンピュ
ータに対して再接続要求を発行する(ステップ143
5)。再接続要求を受信したホストコンピュータは、チ
ャネルパスグループのチャネルの状況を見て、リクエス
トを再発行するチャネルを決定する。これは、最初にリ
クエストを発行したチャネルが別の処理を行っていた
り、または何らかの障害で使用不可能になっている可能
性があるためである。ここで、ホストコンピュータは第
二のチャネルを選択し、リクエストを再発行する(ステ
ップ1440)。ディスク制御装置側の第二のチャネル
を制御するチャネル制御プロセッサはリクエストの内容
を解析、準備されているデータをホストコンピュータへ
送信する(ステップ1440)。ホストコンピュータは
データを受領(ステップ1445)し処理が終了する
(ステップ1450)。以上の動作から、1I/O単位
で見てみると、リクエストを発行したチャネル(第一の
ESCONチャネル)とは異なるチャネル(第二のESCONチャ
ネル)からリクエストの応答(ここでは、データ送信)
をしていることになる。
は、リクエストを受けたチャネルと同一のチャネルでそ
のリクエストの応答を返すことが基本である。従って、
複数のホストコンピュータからのリクエストが同一のチ
ャネルに集中した場合、逐次的に処理を行うことしか出
来ず、伝送プロトコル処理、リクエストの解析等の処理
に加えて、ディスクサブシステム内の処理も加わるた
め、当該チャネルを制御している制御プロセッサに高い
負荷がかかってしまい、転送性能が劣化してしまう。ま
たESCONクロスコールは、複数のチャネルパスによって
構成されるチャネルパスグループは、ホストコンピュー
タが複数のチャネルパスを有する場合でのみ有効な技術
である。従って、ホストコンピュータが複数のチャネル
パスを有していないシステムには適用できない。現状、
ストレージとホストコンピュータの接続形態は多様化し
ているが、メインフレームのように複数のチャネルパス
を備えているホストコンピュータは多くない。更には、
ホストコンピュータとディスクサブシステム側で矛盾の
ないようなチャネルパスグループの形成が必須であり、
それを実現するためには、ホストコンピュータ側に何ら
かの機構を追加する必要がある。不特定多数のホストコ
ンピュータが存在する中で、個々のホストコンピュータ
に対して何らかの機構が必須となるのは汎用性に欠け
る。
ピュータ側からのリクエストが特定の入出力ポートに集
中した場合、他の入出力ポートの状況を見てリクエスト
処理を依頼する処理をディスク制御装置内部で行う。こ
れによって、信号入出力ポートを制御する制御プロセッ
サの負荷が軽減される。結果的に、外部環境、ホストコ
ンピュータに特別な手段を設けることなく、ホストコン
ピュータに対して迅速に応答し、転送性能の向上を図る
ことが実現可能となる。処理されたホストコンピュータ
のリクエストを最終的にホストコンピュータに返信する
入出力ポートはディスク制御部が選択する。また、本発
明では、実際にホストコンピュータからリクエストを受
信した入出力ポートがディスク制御装置の別の入出力ポ
ートにリクエスト処理を依頼するときに、前記リクエス
トに関する制御情報を、チャネル制御部側とディスク制
御部側とで双方からアクセス可能にした。これにより、
ホストコンピュータとディスク制御装置間、実際にはリ
クエストを発行した入出力ポート間で交わした制御情報
に関して矛盾が生じ無いようにした。
るクロスコール機能を備えたディスク制御装置の実施例
1を図面に示しさらに詳細に説明する。図5は、本発明
に係わるクロスコール機能を備えたディスク制御装置の
実施例1における全体構成図を示している。500は入
出力パスであり、ホストコンピュータとディスク制御装
置502内チャネル制御部505とを接続するパスであ
る。なお、以下述べるチャネル制御部505、キャッシ
ュメモリ制御部520,共有メモリ制御部530,ディ
スク制御部550は、信号が入出力される入出力端子を
それぞれ備えており、いずれの入出力端子も入出力ポー
トと呼ばれている。505はチャネル制御部であり、ホ
ストコンピュータとのインタフェースを持ち、ホストコ
ンピュータとのユーザデータ送受信、ディスク制御装置
502内部の制御情報などの共有データ制御などを行
う。チャネル制御部505は、ディスク制御装置502
内に複数存在する。510は、チャネル制御部−キャッ
シュメモリ制御部・共有メモリ制御部間接続パスであ
り、ユーザデータの通信、及び共有データの通信はこの
パスを介して行う。520は、キャッシュメモリ制御部
であり、ホストコンピュータ、及びディスク駆動装置に
あるユーザデータを一時的に格納するキャッシュメモリ
を備え、チャネル制御部、またはディスク制御部からの
キャッシュメモリアクセスの制御を行う。530は共有
メモリ制御部であり、ディスク制御装置内部で行われる
通信に関する制御情報、及びクロスコールを実現するた
めのテーブルを格納する共有メモリを備え、チャネル制
御部、及びディスク制御部からの共有メモリアクセスの
制御を行う。535はアクセス依頼テーブルであり、ク
ロスコールを実現する際、元々ホストコンピュータから
リクエストを受信したチャネル制御部のチャネル制御プ
ロセッサから、ディスク制御装置内の他の制御プロセッ
サに対してそのリクエストの処理を依頼する時に使うテ
ーブルである。540はクロスコール管理テーブルであ
り、リクエストの処理を依頼可能なチャネル制御プロセ
ッサ(ポート)を示すテーブルである。ディスク制御装
置502に接続されている入出力パスの接続先が直接ホ
ストコンピュータというケースもあれば、ネットワーク
を介してホストコンピュータと接続されているケースも
考えられる。後者の場合、例えば第一の入出力パスから
リクエストを受信して、第一の入出力パスとは異なる第
二の入出力パスより応答を送信する例を考えると、第二
の入出力パスがホストコンピュータが属するネットワー
クとは異なるネットワークに接続されていると、クロス
コールを実施しても応答がホストコンピュータへ届かな
くなる。届いたとしても、様々な経路を経てホストコン
ピュータへ到着するため、転送性能に多大な影響を与え
る。これを解決するための方法が、クロスコール管理テ
ーブル540であり、入出力パス500の接続先の状況
から判断して、ホストコンピュータからのリクエストの
応答を確実に送信可能な入出力パスを示す識別子を格納
する。545は、ディスク制御部−キャッシュメモリ制
御部・共有メモリ制御部間接続パスであり、ユーザデー
タの通信、及び共有データの通信はこのパスを介して行
う。550は、ディスク制御部であり、ディスク駆動装
置560に対するアクセスの制御、及びキャッシュメモ
リ・共有メモリへのアクセスなどを行う。ディスク制御
部550は、ディスク制御装置502内に複数存在す
る。560は、ディスク駆動装置であり、複数のドライ
ブで構成されユーザデータなどを格納する。図2は、本
発明の実施例1におけるリクエスト依頼テーブル200
の内容を示している。205は、リクエスト内容であ
り、元々リクエストを受信したチャネル制御プロセッサ
が書き込む領域で、依頼する処理内容を示す。210
は、発行元ポート識別子であり、どこの入出力ポートの
チャネル制御プロセッサからの依頼かを示す。215
は、シーケンス番号であり、リクエストのパケットに付
加されている通し番号を示し、リクエスト依頼を受けた
チャネル制御プロセッサがホストコンピュータに応答を
送信するときに生成されるパケットの構成情報として使
う。220は、ポート番号であり、ホストコンピュータ
と入出力ポート間のコネクション関係を示す識別子であ
り、シーケンス番号215と同様に、ホストコンピュー
タに応答を送信するときに生成されるパケットの構成情
報として使う。225は、準備完了フラグであり、リク
エスト処理依頼を受けたチャネル制御プロセッサから指
示された処理の結果、ホストコンピュータへ応答を送信
可能な状態になったことを示すフラグである。準備完了
フラグ225が’1’であれば、キャッシュメモリ上に
所望のデータある状態を示し、’0’であれば、キャッ
シュメモリ上に所望のデータはまだ準備されていない状
態、もしくはアイドル状態を示す。230は、キャッシ
ュ格納先アドレスであり、所望のデータがキャッシュ上
のどこに格納されたかを示すアドレスである。235
は、データ転送終了フラグであり、リクエスト依頼を受
けたチャネル制御プロセッサが管理する入出力パスを介
して、ホストコンピュータへ応答を送信完了したことを
示すフラグである。データ転送終了フラグ235が、’
1’であればホストコンピュータへ応答を送信済み、’
0’であれば送信中、もしくはアイドル状態を示す。こ
こで、図8の現在の処理状況確認805において、準備
完了フラグ、及びデータ転送終了フラグを用いて、他の
チャネル制御プロセッサにリクエストを依頼するか判定
を行う。準備完了フラグ225が’0’、データ転送終
了フラグ235が’0’であれば、レディ状態で、依頼
可能であることを示す。準備完了フラグ225が’
0’、データ転送終了フラグ235が’1’であれば、
このような状態は考えられないためエラーとなる。準備
完了フラグ225が’1’、データ転送終了フラグ23
5が’0’であれば、依頼を受けたチャネル制御プロセ
ッサ管理の下、ホストコンピュータへ応答を送信中、ま
たは送信しようとしている状態を示す。準備完了フラグ
225が’1’、データ転送終了フラグ235が’1’
であれば、ホストコンピュータへの送信が完了した状態
を示す。この状態の後、両フラグが’0’となりレディ
状態へ遷移する。図3は、本発明の実施例1におけるク
ロスコール管理テーブルの内容を示している。305
は、発行元ポートであり、ディスク制御装置502内部
のチャネル制御プロセッサ605を識別する識別子を示
す。310は、依頼先ポートであり、図8の依頼先ポー
ト確認825の際、どのポート(チャネル制御プロセッ
サ)に対して依頼可能かを示す。図8のクロスコール管
理テーブルリード820処理においては、自チャネル制
御プロセッサに相当する識別子を指定して、依頼先ポー
ト310を確認する。図4は、TCPセグメントのフォ
ーマットを示している。405は送信元ポート番号であ
り、セグメントを送信したアプリケーション層サービス
のポート番号を示す。410は送信先ポート番号であ
り、セグメントの受信側のアプリケーション層サービス
のポート番号を示す。415はシーケンス番号であり、
セグメントの送受信によりカウントアップされる番号を
示す。420は確認応答番号であり、この確認応答番号
−1の数だけデータを受信したことを示す。425はD
ataOffsetであり、セグメントのヘッダの長さ
を示す。430は予約領域(Rsv.)であり、どのセ
グメントにおいてもあらかじめ決められた内容が示され
る。435はコードビットであり、コネクション制御等
に使われる。例えば、コネクションを終了させるときに
は、この領域にFINを示す値がセットされる。440
はウインドウサイズであり、送信元からどのくらいのデ
ータサイズを送信可能かを示す。445はチェックサム
であり、ヘッダとデータのチェックコードである。45
0は緊急ポインタであり、緊急を要する処理のデータフ
ィールド465の終わりを示す。455はオプションで
あり、最大セグメント長を指定することが出来るフィー
ルドである。460はパディングであり、データが32
ビット単位で始まっていることを保障するための領域で
ある。ホストコンピュータからリクエストを受信した入
出力ポートから他の入出力ポートに処理を依頼した場
合、プロトコル的に矛盾がないように、送信元ポート番
号405、送信先ポート番号410、シーケンス番号4
15、確認応答番号420を依頼先の入出力ポートを制
御するチャネル制御プロセッサへ、リクエスト依頼テー
ブルを介して伝達する。図6は、本発明の実施例1にお
けるチャネル制御部の構成ブロックを示している。60
5はチャネル制御プロセッサであり、ホストコンピュー
タから入出力パス500を介して届いたリクエストの受
信、解析を行い、解析したリクエストの内容に従い、デ
ィスク制御装置内部に指示を与えるプロセッサである。
610はデータ転送制御部であり、チャネル制御プロセ
ッサ605からの指示により、ホストコンピュータから
送信されたユーザデータの転送、及びディスク駆動装置
にあるデータの読み出し処理を行う。620は共有デー
タ制御部であり、制御情報等の共有データが格納されて
いる共有メモリへのアクセスを制御する。図7は、本発
明の実施例1におけるホストコンピュータからリクエス
トを受信して、そのリクエスト処理を依頼するか判定す
るまでのフローチャートを示している。ステップ710
では、他チャネル制御プロセッサからリクエスト依頼を
受けたか判定する。もし、リクエスト依頼を受けている
場合、ステップ740のデータ送信処理へ進む。リクエ
スト依頼を受けていなければ、ステップ715へ進む。
ステップ715では、ホストコンピュータからリクエス
トを含むパケットを受信したか確認する。もしパケット
を受信していなければ、ステップ700のパケット受信
処理の開始へ進む。受信していれば、ステップ720の
TCP/IP処理へ進む。ステップ720では、受信し
たパケットからSCSIコマンドを抽出する処理を行
う。SCSIコマンドは、IPパケットのデータグラム
としてカプセル化されてホストコンピュータから送信さ
れる。ステップ725では、SCSIコマンドか判定す
る処理を行う。もし、SCSIコマンドであれば、ステ
ップ745のリクエスト依頼処理へ進む。もし、SCS
Iコマンドではない場合、ステップ730のその他の処
理へ進む。ステップ730では、IPパケットのデータ
グラムが示す該当の処理を行い、再びステップ700の
パケット受信処理へ戻る。一方、ステップ740のデー
タ送信処理、及びステップ745のリクエスト依頼処理
に移っている間、ホストコンピュータからパケットを受
信した場合、各入出力ポートにあるキューにそのリクエ
ストを入れる。以上により、他チャネル制御プロセッサ
からリクエスト処理依頼を受けても、その処理を実行可
能となる。図8は、リクエスト依頼判定を行うフローチ
ャートを示している。ステップ745によりSCSIコ
マンドリクエストを受けていると判断した場合、ステッ
プ745のリクエスト依頼処理を開始する。ステップ8
05では、自チャネル制御プロセッサの処理状況を確認
する。ディスク制御装置内部処理予定数(現在実行中の
処理とジョブとして積まれている数の和)がある一定数
を超えてないかで判定する。ステップ810では、ステ
ップ805により自チャネル制御プロセッサで処理可能
と判定した場合、ステップ815の通常処理へ進む。処
理不可能であれば、他チャネル制御プロセッサへ依頼す
るということでステップ820へ進む。ステップ815
では、自チャネル制御プロセッサで当該リクエスト処理
を実行し、ステップ700のパケット受信処理へ戻る。
ステップ820では、クロスコール管理テーブルを読み
出し、ステップ825でどのチャネル制御プロセッサへ
処理を依頼可能か確認する。ステップ830では、依頼
先ポートの準備完了フラグ225、及びデータ転送終了
フラグ235から、依頼先ポートを決定する。ステップ
835では、依頼可能な入出力ポートを制御するチャネ
ル制御プロセッサがすべてビジーか判定する。すべてビ
ジーの場合、自チャネル制御プロセッサで処理を実施す
ることとし、ステップ815の通常処理へ進む。そうで
なければステップ840へ進む。ステップ840では、
リクエストの処理を依頼するために、アクセス依頼テー
ブルへ書き込みを行う。書き込む内容としては、処理内
容、制御情報である。実施例1においては、発行元ポー
ト識別子、シーケンス番号、ポート番号である。ここ
で、制御情報としては、シーケンス番号、ポート番号に
限らず、ホストコンピュータと入出力ポート間で整合性
を保つための情報を指す。ステップ840の後は、パケ
ット受信処理700へ戻る。図9は、リクエスト処理依
頼を受けたチャネル制御プロセッサのデータ送信処理の
フローチャートを示している。ステップ745のデータ
送信処理開始は、他のチャネル制御プロセッサからリク
エスト処理依頼を受けていることを検知したときであ
る。ステップ905では、アクセス依頼テーブルに書き
込まれたリクエスト内容205を取得する。ステップ9
10では、ステップ905で取得したリクエスト内容2
05に従い処理を実施する。ステップ915では、ステ
ップ910の処理が終了するまで待機し、終了した時点
でステップ920へ進み、処理中はステップ915をル
ープする。このとき、処理が終了したことを示す準備完
了フラグ225が、ディスク制御部のディスク制御プロ
セッサによって書き込まれる。当該チャネル制御プロセ
ッサは、その準備完了フラグ225によってリクエスト
処理の終了を検知する。ステップ920では、キャッシ
ュメモリ上に格納されたデータを、アクセス依頼テーブ
ル200のキャッシュ格納先アドレス230に従い読み
出す。ステップ925では、アクセス依頼テーブル20
0の制御情報207を読み出し、ステップ930では、
ステップ920で読み出したデータ、及びステップ92
5で読み出した制御情報207よりホストコンピュータ
へ送信するパケットを生成し、ステップ935のデータ
送信処理を実施する。ステップ940では、ステップ9
35では、ステップ930の処理が終了したら、アクセ
ス依頼テーブル200のデータ転送終了フラグ235に
書き込み、ステップ700のデータ受信処理へ戻る。以
上、図5から図9に示した実施例1によれば、複数の入
出力パスを有するディスク制御装置において、ディスク
制御装置内共有メモリに、アクセス依頼テーブル、クロ
スコール管理テーブルを持つことにより、ホストコンピ
ュータからリクエストを受けた入出力パスを管理するチ
ャネル制御プロセッサが、ディスク制御装置内の他の入
出力ポートを管理しているチャネル制御プロセッサにそ
のリクエストの処理を依頼することで、装置全体の使用
効率を上げ、依頼元のチャネル制御プロセッサの負荷を
軽減させることが可能になる。 [実施例2]以下に、本発明に係わるクロスコール機能
を備えるディスク制御装置の別の実施例2を図面に示し
詳細に説明する。なお、以下特に説明のない部分は実施
例1と同じとする。本実施例で、実施例1と異なる所
は、ホストコンピュータからのリクエストがデータリー
ド処理で、リードデータをクロスコール管理テーブルに
示されている複数の入出力ポートからデータを分割して
送信する点である。図10は本発明の実施例2における
アクセス依頼テーブル1000を示している。実施例1
と異なるところは、制御情報1015の内容である。実
施例2では、実施例1の制御情報207に、ID100
5、データオフセット1010を追加している。ID1
005は分割したデータの整合性をとるための識別子で
あり、ホストコンピュータへデータを送信するとき生成
するパケットのIPヘッダ内のフラグフィールドに設定
する。このようにすることで、複数の入出力ポートから
送信されたパケットに対し、このフラグフィールドを参
照することで、分割されたデータを復元可能となる。デ
ータオフセット1010は分割されたデータが分割前の
データのどこに位置しているかを示すものである。図1
1は本発明の実施例2におけるリクエスト依頼判定フロ
ーチャートを示している。実施例1と異なるところは、
リクエストを受けたチャネル制御プロセッサが、依頼先
ポートを確認後、アクセスするデータ長を依頼先ポート
に対して割り当てる処理を追加した点である。ステップ
1105では、ホストコンピュータからのリクエスト内
容からアクセスデータ長を依頼先ポート数で割った値を
アクセスデータ長とし、処理依頼内容を決定する。以上
より、複数の入出力ポートに渡り、並列に処理を実行で
きるためスループットが向上する。
プロセッサは高負荷となりスループット低下につなが
る。そこで、他のチャネル制御プロセッサに集中してい
るリクエストの処理を依頼することにより、自チャネル
制御プロセッサの負荷を下げ、かつリクエスト発行元に
対するスループットが向上する。
ルの内容を示す図である。
ーブルの内容を示す図である。
ある。
成ブロックを示す図である。
からリクエストを受信してコマンド解釈までのフローチ
ャートを示す図である。
クエスト処理依頼先ポートに対する依頼処理までのフロ
ーチャートを示す図である。
のデータ取り出しからリクエスト依頼先プロセッサがホ
ストコンピュータに対するデータ送信完了までのフロー
チャートを示す図である。
ブルの内容を示す図である。
リクエスト処理依頼先ポートに対する依頼処理までのフ
ローチャートを示す図である。
図である。
示す図である。
5…チャネル制御部、510…チャネル制御部−キャッ
シュメモリ制御部・共有メモリ制御部間接続パス、52
0…キャッシュメモリ制御部、530…共有メモリ制御
部、535…アクセス依頼テーブル、540…クロスコ
ール管理テーブル、545…ディスク制御部−キャッシ
ュメモリ制御部・共有メモリ制御部間接続パス、550
…ディスク制御部、560…ディスク駆動装置。
Claims (15)
- 【請求項1】ディスク駆動装置と、該ディスク駆動装置
を制御するディスク制御部と、ホストコンピュータとの
通信を行なうチャネル制御部とを有し、該チャネル制御
部は、前記ホストコンピュータとの通信を行うための信
号が通過する複数の入出力ポートとを備え、該入出力ポ
ートは、入出力ポートを通過する信号の制御を行なう制
御プロセッサを備え、前記ディスク制御部は、前記ホス
トコンピュータに対する応答を送信する入出力ポートを
前記複数の入出力ポートの中から選択することを特徴と
するディスク制御装置。 - 【請求項2】請求項1に記載のディスク制御装置におい
て、ホストコンピュータのリクエストを受信した入出力
ポートの識別子と、前記ディスク制御部により選択され
た入出力ポートの識別子を含む制御情報とが記録された
アクセス依頼テーブルを備えることを特徴とするディス
ク制御装置。 - 【請求項3】請求項2に記載のディスク制御装置におい
て、前記ホストコンピュータのリクエストを受信した入
出力ポートを受信ポートと定義するとき、前記受信ポー
トに対応する制御プロセッサは、前記ディスク制御部に
より選択された入出力ポートに対応する制御プロセッサ
に対して、ホストコンピュータからのリクエストを転送
することを特徴とするディスク制御装置。 - 【請求項4】請求項3に記載のディスク制御装置におい
て、前記ホストコンピュータのリクエストが転送された
入出力ポートに対応する制御プロセッサを処理依頼先プ
ロセッサと定義するとき、該処理依頼先プロセッサは、
前記転送されたホストコンピュータからのリクエストの
処理を行い、該処理依頼先プロセッサに対応する入出力
ポートから前記リクエストの応答をホストコンピュータ
へ送信することを特徴とするディスク制御装置。 - 【請求項5】請求項4に記載のディスク制御装置におい
て、前記リクエストの応答をホストコンピュータへ送信
する際に、前記処理依頼先プロセッサは、前記アクセス
依頼テーブルに基づき生成したパケット情報をホストコ
ンピュータに対し送信することを特徴とするディスク制
御装置。 - 【請求項6】請求項2に記載のディスク制御装置におい
て、前記アクセス依頼テーブルには、受信ポートが受け
取ったリクエストの内容と、ディスク駆動装置から指定
されたデータの取り出し処理を完了したことを示すフラ
グと、前記データの格納先を示すアドレスと、前記受信
ポートが持っているリクエストに関する通し番号と、前
記処理依頼先プロセッサが制御する入出力ポートを使っ
たホストコンピュータに対するデータの送信が完了した
ことを示すフラグが記録されることを特徴とするディス
ク制御装置 - 【請求項7】請求項3に記載のディスク制御装置におい
て、前記受信ポートからリクエスト処理を依頼可能な入
出力ポートを示すクロスコール管理テーブルを有するこ
とを特徴とするディスク制御装置。 - 【請求項8】請求項7に記載のディスク制御装置におい
て、前記アクセス依頼テーブル、クロスコール管理テー
ブルが格納される共有メモリを備えたことを特徴とする
ディスク制御装置。 - 【請求項9】請求項3に記載のディスク制御装置におい
て、前記受信ポート以外の入出力ポートの制御プロセッ
サは、前記アクセス依頼テーブルを参照することによ
り、前記リクエストの処理が自分宛に転送されたか否か
を判断することを特徴とするディスク制御装置。 - 【請求項10】請求項3に記載のディスク制御装置にお
いて、前記受信ポートの制御プロセッサは、ホストコン
ピュータからのリクエストを、自分以外の複数の入出力
ポートに対してブロードキャストすることにより、前記
リクエストの処理を他の制御プロセッサに対して依頼す
ることを特徴とするディスク制御装置。 - 【請求項11】請求項3記載のディスク制御装置におい
て、前記受信ポートの制御プロセッサは、他の入出力ポ
ートの1を選択し、該選択した入出力ポートに対して前
記リクエストの処理を送信することを特徴とするディス
ク制御装置。 - 【請求項12】請求項5に記載のディスク制御装置にお
いて、前記処理依頼先プロセッサは、ホストコンピュー
タへの応答が完了したことを前記受信ポートの制御プロ
セッサへ通知し、前記受信ポートの制御プロセッサは、
前記通知に基づきホストコンピュータとの接続を切断す
ることを特徴とするディスク制御装置。 - 【請求項13】請求項12に記載のディスク制御装置に
おいて、前記受信ポートの制御プロセッサへ通知する際
に、前記処理依頼先プロセッサは、ホストコンピュータ
への応答完了フラグを前記アクセス依頼テーブルに書き
込み、前記受信ポートの制御プロセッサへ、ホストコン
ピュータへの応答完了を送信することを特徴とするディ
スク制御装置。 - 【請求項14】請求項13に記載のディスク制御装置に
おいて、前記処理依頼先プロセッサは、複数の入出力ポ
ートに対して応答完了通知をブロードキャストすること
により、前記受信ポートに対してホストコンピュータへ
の応答完了を通知することを特徴とするディスク制御装
置。 - 【請求項15】請求項13に記載のディスク制御装置に
おいて、前記処理依頼先プロセッサは、前記受信ポート
に対してのみ、ホストコンピュータへの応答完了を通知
することを特徴とするディスク制御装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002037604A JP2003242097A (ja) | 2002-02-15 | 2002-02-15 | クロスコール機能を備えるディスク制御装置 |
EP02014853A EP1336917A3 (en) | 2002-02-15 | 2002-07-04 | Disk subsystem with cross-call function |
US10/196,161 US6922743B2 (en) | 2002-02-15 | 2002-07-17 | Disk subsystem with disk access controller including access request table with cross-call function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002037604A JP2003242097A (ja) | 2002-02-15 | 2002-02-15 | クロスコール機能を備えるディスク制御装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007334503A Division JP2008135048A (ja) | 2007-12-26 | 2007-12-26 | クロスコール機能を備えるディスク制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003242097A true JP2003242097A (ja) | 2003-08-29 |
Family
ID=27621442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002037604A Pending JP2003242097A (ja) | 2002-02-15 | 2002-02-15 | クロスコール機能を備えるディスク制御装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6922743B2 (ja) |
EP (1) | EP1336917A3 (ja) |
JP (1) | JP2003242097A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322230A (ja) * | 2004-05-05 | 2005-11-17 | Internatl Business Mach Corp <Ibm> | 仮想ストレージ・コントローラ間での自己最適化作業負荷分配 |
JP2006085215A (ja) * | 2004-09-14 | 2006-03-30 | Hitachi Ltd | ディスクアレイ装置 |
JP2007213466A (ja) * | 2006-02-13 | 2007-08-23 | Hitachi Ltd | 仮想ストレージシステム及びその制御方法 |
JP2007249729A (ja) * | 2006-03-17 | 2007-09-27 | Hitachi Ltd | マイクロプロセッサの負荷分散機能を備えたストレージシステム |
JP4779010B2 (ja) * | 2006-02-27 | 2011-09-21 | 富士通株式会社 | バッファリング装置およびバッファリング方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7389332B1 (en) | 2001-09-07 | 2008-06-17 | Cisco Technology, Inc. | Method and apparatus for supporting communications between nodes operating in a master-slave configuration |
US7421478B1 (en) | 2002-03-07 | 2008-09-02 | Cisco Technology, Inc. | Method and apparatus for exchanging heartbeat messages and configuration information between nodes operating in a master-slave configuration |
US7415535B1 (en) * | 2002-04-22 | 2008-08-19 | Cisco Technology, Inc. | Virtual MAC address system and method |
US7587465B1 (en) | 2002-04-22 | 2009-09-08 | Cisco Technology, Inc. | Method and apparatus for configuring nodes as masters or slaves |
US7188194B1 (en) * | 2002-04-22 | 2007-03-06 | Cisco Technology, Inc. | Session-based target/LUN mapping for a storage area network and associated method |
JP4439798B2 (ja) * | 2002-10-17 | 2010-03-24 | 株式会社日立製作所 | ディスクアレイ装置の制御方法、及びディスクアレイ装置 |
JP4220860B2 (ja) * | 2003-08-22 | 2009-02-04 | 富士通株式会社 | ストレージ制御装置 |
JP2005078596A (ja) * | 2003-09-03 | 2005-03-24 | Hitachi Ltd | データ転送装置の制御方法、データ転送装置、チャネル制御装置、及び記憶デバイス制御装置 |
WO2005039150A1 (ja) * | 2003-10-22 | 2005-04-28 | Nec Corporation | 通信装置およびその通信方法ならびにプログラム |
JP2005165441A (ja) * | 2003-11-28 | 2005-06-23 | Hitachi Ltd | ストレージ制御装置、及びストレージ制御装置の制御方法 |
JP4401788B2 (ja) * | 2004-01-06 | 2010-01-20 | 株式会社日立製作所 | ストレージ制御装置 |
JP4856413B2 (ja) * | 2005-10-04 | 2012-01-18 | 富士通株式会社 | 演算処理装置、情報処理装置、及び演算処理装置の制御方法 |
EP2382554B1 (en) * | 2009-01-23 | 2018-03-07 | Hewlett-Packard Enterprise Development LP | System and methods for allocating shared storage resources |
JP2011186530A (ja) * | 2010-03-04 | 2011-09-22 | Seiko Epson Corp | 画像転送方法、画像転送システム及びプロジェクター |
US10055368B2 (en) * | 2016-02-26 | 2018-08-21 | Sandisk Technologies Llc | Mobile device and method for synchronizing use of the mobile device's communications port among a plurality of applications |
US10936512B2 (en) * | 2019-03-13 | 2021-03-02 | International Business Machines Corporation | Accurate can-based distributed control system simulations |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4697232A (en) * | 1984-11-30 | 1987-09-29 | Storage Technology Corporation | I/O device reconnection in a multiple-CPU, dynamic path allocation environment |
JP2905373B2 (ja) * | 1993-10-01 | 1999-06-14 | 富士通株式会社 | ディスク制御装置及びその制御方法 |
JP3716126B2 (ja) * | 1999-03-17 | 2005-11-16 | 株式会社日立製作所 | ディスクアレイ制御装置及びディスクアレイ |
US6854034B1 (en) * | 1999-08-27 | 2005-02-08 | Hitachi, Ltd. | Computer system and a method of assigning a storage device to a computer |
-
2002
- 2002-02-15 JP JP2002037604A patent/JP2003242097A/ja active Pending
- 2002-07-04 EP EP02014853A patent/EP1336917A3/en not_active Withdrawn
- 2002-07-17 US US10/196,161 patent/US6922743B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322230A (ja) * | 2004-05-05 | 2005-11-17 | Internatl Business Mach Corp <Ibm> | 仮想ストレージ・コントローラ間での自己最適化作業負荷分配 |
JP2006085215A (ja) * | 2004-09-14 | 2006-03-30 | Hitachi Ltd | ディスクアレイ装置 |
JP2007213466A (ja) * | 2006-02-13 | 2007-08-23 | Hitachi Ltd | 仮想ストレージシステム及びその制御方法 |
US8161239B2 (en) | 2006-02-13 | 2012-04-17 | Hitachi, Ltd. | Optimized computer system providing functions of a virtual storage system |
US8595436B2 (en) | 2006-02-13 | 2013-11-26 | Hitachi, Ltd. | Virtual storage system and control method thereof |
JP4779010B2 (ja) * | 2006-02-27 | 2011-09-21 | 富士通株式会社 | バッファリング装置およびバッファリング方法 |
US8533368B2 (en) | 2006-02-27 | 2013-09-10 | Fujitsu Limited | Buffering device and buffering method |
JP2007249729A (ja) * | 2006-03-17 | 2007-09-27 | Hitachi Ltd | マイクロプロセッサの負荷分散機能を備えたストレージシステム |
Also Published As
Publication number | Publication date |
---|---|
EP1336917A3 (en) | 2006-01-18 |
US20030158980A1 (en) | 2003-08-21 |
US6922743B2 (en) | 2005-07-26 |
EP1336917A2 (en) | 2003-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003242097A (ja) | クロスコール機能を備えるディスク制御装置 | |
JP4543051B2 (ja) | Ipネットワーク上の遠隔データファシリティ | |
JP4160642B2 (ja) | ネットワークデータ転送方法 | |
CN108270676B (zh) | 一种基于Intel DPDK的网络数据处理方法及装置 | |
TWI222288B (en) | End node partitioning using virtualization | |
JP4014923B2 (ja) | 共有メモリ制御方法および制御システム | |
US12341703B2 (en) | Remote direct memory access (RDMA) over converged ethernet with congestion reduction for prevention of loss of data | |
US8571848B2 (en) | System and method of network emlation for test of on-line server processing heavy traffic | |
EP2216955B1 (en) | Network interface device | |
JP2008020977A (ja) | ネットワークプロセッサシステムおよびネットワークプロトコル処理方法 | |
US20100002714A1 (en) | PCI express network | |
JP2003029932A (ja) | ディスク制御装置 | |
JP2001024733A (ja) | データ伝送装置 | |
JP5034495B2 (ja) | ストレージシステムとプログラム並びに方法 | |
JP2002305535A (ja) | データを転送する信頼できるプロトコルを提供する方法および装置 | |
US7633856B2 (en) | Multi-node system, internodal crossbar switch, node and medium embodying program | |
JP4208506B2 (ja) | 高性能記憶装置アクセス環境 | |
US20070006020A1 (en) | Inter-host data transfer method, program, and system | |
CN102843435A (zh) | 一种在集群系统中存储介质的访问、响应方法和系统 | |
JP2723022B2 (ja) | ディスク装置のインタフェース及びその制御方法 | |
JP6740683B2 (ja) | 並列処理装置及び通信制御方法 | |
JP3792538B2 (ja) | ネットワークインタフェースカードを用いるピアレベル通信用システムおよび方法 | |
CN102984490A (zh) | 一种网络视频录像机 | |
CN109039680A (zh) | 一种切换主宽带网络网关bng和备bng的方法、系统和bng | |
JP2008135048A (ja) | クロスコール機能を備えるディスク制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040825 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071106 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20071206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080111 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20081031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090209 |