JP2009042932A - Update method for control program for storage controller - Google Patents
Update method for control program for storage controller Download PDFInfo
- Publication number
- JP2009042932A JP2009042932A JP2007205865A JP2007205865A JP2009042932A JP 2009042932 A JP2009042932 A JP 2009042932A JP 2007205865 A JP2007205865 A JP 2007205865A JP 2007205865 A JP2007205865 A JP 2007205865A JP 2009042932 A JP2009042932 A JP 2009042932A
- Authority
- JP
- Japan
- Prior art keywords
- storage
- restart
- control device
- host computer
- storage control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stored Programmes (AREA)
Abstract
Description
本発明は、単一又は複数の記憶装置が接続され、それら記憶装置を使用してホスト計算機に対し論理記憶装置を提供する記憶制御装置に関し、特に、この記憶制御装置が冗長化されている場合に、ホスト計算機から論理記憶装置へのアクセスを停止することなく、オンラインで記憶制御装置の制御プログラムを更新する方法に関する。 The present invention relates to a storage control device in which a single or a plurality of storage devices are connected, and uses these storage devices to provide a logical storage device to a host computer. In particular, the storage control device is made redundant. The present invention also relates to a method for updating a control program of a storage control device online without stopping access from a host computer to a logical storage device.
従来、ホスト計算機と、単一又は複数の記憶装置とに接続され、前記単一又は複数の記憶装置の一部又は全ての領域を使用し、前記ホスト計算機に対し論理記憶装置を提供する記憶制御装置において、記憶制御装置を冗長化し、ホスト計算機から論理記憶装置へのアクセス経路を冗長化する技術が存在する。特に、最近の高機能なディスクアレイ装置について、この技術に基づく記憶制御装置の二重化はもはや標準的な機能となっている。このように記憶制御装置を冗長化することで、記憶制御装置の故障や計画停止などの際に、ホスト計算機はその記憶制御装置以外の記憶制御装置を経由して論理記憶装置へアクセスを継続できるようになり、計算機システムの可用性を大幅に高めることができる。 Conventionally, storage control connected to a host computer and a single or a plurality of storage devices, and using a part or all of the area of the single or a plurality of storage devices to provide a logical storage device to the host computer There is a technology for making a storage controller redundant in a device and making an access path from a host computer to a logical storage device redundant. In particular, for recent high-performance disk array devices, duplication of storage control devices based on this technology is no longer a standard function. By making the storage control device redundant in this way, the host computer can continue to access the logical storage device via a storage control device other than the storage control device in the event of a failure or planned stoppage of the storage control device. As a result, the availability of the computer system can be greatly increased.
ところで、最近のディスクアレイ装置に代表される記憶制御装置は、非常に高機能になってきた一方で、記憶制御装置の機能を実現する制御プログラムはコード量も多くかつ複雑なものとなってきている。その結果として、計算機システムが運用を開始した以降も、不適合の修正や機能の改善などにより記憶制御装置の制御プログラムの更新が度々必要となっている。 By the way, storage control devices represented by recent disk array devices have become very sophisticated, while control programs for realizing the functions of the storage control device have a large code amount and become complicated. Yes. As a result, even after the computer system starts operation, it is often necessary to update the control program of the storage controller due to correction of nonconformity or improvement of functions.
記憶制御装置の制御プログラムを更新するためには、一般的には新しい制御プログラムを記憶制御装置へアップロード（書き込み）した後、その記憶制御装置を一度再起動する必要がある。これを再起動処理という。記憶制御装置の再起動処理を行うと、その間の十数秒〜数十秒の間はこの記憶制御装置はホスト計算機からのアクセスに応答することができなくなり、この記憶制御装置を経由した論理記憶装置へのアクセスができなくなる。 In order to update the control program of the storage control device, generally, after uploading (writing) a new control program to the storage control device, it is necessary to restart the storage control device once. This is called restart processing. When the storage control device is restarted, the storage control device cannot respond to access from the host computer during the tens of seconds to several tens of seconds, and the logical storage device via the storage control device. Can no longer access.
そこで記憶制御装置の制御プログラムの更新を行う際に、作業者は事前にパス切り替えソフトウェアを操作し、論理記憶装置へのアクセスを他の記憶制御装置を経由した経路に全て切り替えてから作業を行っている。このようにすることで、ホスト計算機から論理記憶装置へのアクセスを継続したまま、オンラインで制御プログラムの更新が可能となる。
しかしながら、このような従来の制御プログラムの更新方法では、以下のような問題がある。 However, such a conventional method for updating a control program has the following problems.
すなわち、接続されたホスト計算機の台数や論理記憶装置の台数が増えてくると、これら全てのホスト計算機及び論理記憶装置についてアクセス経路を切り替える作業が大変になってくる。そのため、作業ミスの発生や作業時間が長くなるなどの問題が顕在化してくる。 That is, as the number of connected host computers and the number of logical storage devices increase, the work of switching access paths for all these host computers and logical storage devices becomes difficult. For this reason, problems such as occurrence of work mistakes and longer work time become obvious.
更には、システムのセキュリティなどの関係から、パス切り替えソフトウェアのようなホスト計算機上のソフトウェアの操作は限られた担当者のみしか許可されていない場合もあり、そのような場合はその担当者のスケジュールの確保なども大きな負担になるという問題もある。 Furthermore, due to system security and other reasons, only limited personnel may be permitted to operate software on the host computer such as path switching software. There is also a problem that securing the system is a heavy burden.
これらの結果として、実際には記憶制御装置が冗長化されているにもかかわらず、例えば、上記特許文献１のように、オンラインではなく、計算機システムを停止して制御プログラムを入れ替えることにより更新を行っているようなケースも多く存在している。
As a result of these, despite the fact that the storage control device is actually made redundant, for example, as described in
本発明はこのような事情に鑑みてなされたものであり、記憶制御装置の制御プログラムをオンラインで、より簡単かつ安全に更新することが可能な方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide a method capable of updating a control program of a storage control device online more easily and safely.
上記の目的を達成するために、本発明では、以下のような手段を講じる。 In order to achieve the above object, the present invention takes the following measures.
すなわち、請求項１の発明は、ホスト計算機と、単一又は複数の記憶装置とに接続され、単一又は複数の記憶装置の一部又は全ての領域を使用し、ホスト計算機に対し論理記憶装置を提供する記憶制御装置の制御プログラムを更新する方法であって、記憶制御装置が、論理記憶装置に対して複数接続されることにより冗長化されている。この方法では、ホスト計算機は、冗長化された記憶制御装置のうちのどれを経由して論理記憶装置へアクセスするかを選択し、選択した記憶制御装置にアクセスして、この記憶制御装置の状態を監視する。そして、冗長化された各記憶制御装置は、自己の制御プログラムが書き替えられ、制御プログラムの更新のために必要な自己の再起動処理の要求が入力されると、この要求の入力時から予め定めた時間の経過時に自己の再起動処理を開始し、書き替えられた制御プログラムを使用した動作を実行できるようにするとともに、入力時から再起動処理が行われるまでの間にホスト計算機によってアクセスされた場合には、状態の監視の結果として、自己が再起動処理待ちであることを示す再起動ステータスを応答する。更に、ホスト計算機は、状態を監視している記憶制御装置から再起動ステータスが応答されると、冗長化された各記憶制御装置のうち、再起動ステータスを応答した記憶制御装置以外の記憶制御装置を経由して論理記憶装置へアクセスするように選択を切り替える。
That is, the invention of
請求項２の発明は、請求項１の発明の制御プログラムの更新方法において、選択を切り替えることができない場合、ホスト計算機は、再起動ステータスを応答した記憶制御装置に対して、要求された再起動処理をしないように要求する無効要求コマンドを発行し、無効要求コマンドを発行された記憶制御装置は、要求された再起動処理を行わない。 According to the second aspect of the present invention, in the method for updating a control program according to the first aspect, when the selection cannot be switched, the host computer requests the storage controller that has responded the restart status to the requested restart. The storage control device that has issued an invalid request command requesting not to perform the process and has issued the invalid request command does not perform the requested restart process.
請求項３の発明は、請求項１又は請求項２の発明の制御プログラムの更新方法において、予め定めた時間は、状態の監視がなされる監視周期よりも長い第１の時間と、ホスト計算機から記憶装置に対するアクセス頻度に対して十分長い時間である第２の時間とを合わせてなり、記憶制御装置は、再起動処理の要求の入力時から第１の時間が経過した後であって、更に第２の時間が経過するまでの間にホスト計算機によってアクセスされた場合には、要求された再起動処理を行わない。 According to a third aspect of the present invention, in the control program update method according to the first or second aspect of the present invention, the predetermined time is a first time longer than a monitoring cycle in which the state is monitored, and the host computer. In addition to the second time, which is a sufficiently long time with respect to the access frequency to the storage device, the storage control device is further after the first time has elapsed since the input of the request for the restart process. If it is accessed by the host computer before the second time elapses, the requested restart process is not performed.
請求項４の発明は、請求項１乃至３のうち何れか１項の発明の制御プログラムの更新方法において、ホスト計算機は、再起動ステータスを応答した記憶制御装置にその後アクセスした際に、この記憶制御装置から再起動ステータスの応答がなかった場合には、この記憶制御装置を経由して論理記憶装置へアクセスするように選択を切り替える。 According to a fourth aspect of the present invention, in the control program update method according to any one of the first to third aspects of the present invention, when the host computer subsequently accesses the storage controller that has responded to the restart status, the storage program is updated. If there is no restart status response from the control device, the selection is switched to access the logical storage device via this storage control device.
本発明によれば、記憶制御装置の制御プログラムをオンラインで、より簡単かつ安全に更新することが可能な方法を実現することができる。 According to the present invention, it is possible to realize a method capable of updating a storage control device control program online more easily and safely.
以下に、本発明を実施するための最良の形態について図面を参照しながら説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
図１は、本発明の実施の形態に係る記憶制御装置の制御プログラムの更新方法を適用した計算機システムの構成例を示す機能ブロック図である。 FIG. 1 is a functional block diagram showing a configuration example of a computer system to which a method for updating a control program of a storage control device according to an embodiment of the present invention is applied.
すなわち、この計算機システム１００は、複数のホスト計算機１０１（＃０〜＃ｎ）と、例えばハードディスクである単一又は複数の記憶装置１０７（＃０〜＃ｍ）と、ネットワークスイッチ１０３を介してホスト計算機１０１（＃０〜＃ｎ）と、インタフェース１０８を介して記憶装置１０７（＃０〜＃ｍ）とにそれぞれ接続され、記憶装置１０７（＃０〜＃ｍ）の一部又は全ての領域を使用し、ホスト計算機１０１（＃０〜＃ｎ）に対し論理記憶装置を提供する複数の記憶制御装置１０５（＃０，＃１）とを備えている。このように、記憶制御装置１０５は、論理記憶装置に対して複数接続されることにより冗長化されている。そして、これら複数の記憶制御装置１０５（＃０，＃１）と、複数の記憶装置１０７（＃０〜＃ｍ）とで外部記憶装置１０９を構成している。ネットワークスイッチ１０３及び記憶制御装置１０５は、一例として２個のみ図示しているが、もちろん、２個に限定されるものではない。
That is, the
ホスト計算機１０１は、本発明の実施の形態に係る記憶制御装置の制御プログラムの更新方法を実現するパス切り替えソフトウェア及びパス監視ソフトウェアがインストールされている。このようなホスト計算機１０１の詳細構成については、図３を用いて後述するが、図１では、Ｉ／Ｏポート１０２のみが示されている。
The
Ｉ／Ｏポート１０２は、ホスト計算機１０１を外部記憶装置１０９に接続するためのインタフェースであり、ＳＡＮ（Storage area network）構成を実現するために、Ｆｉｂｒｅ ｃｈａｎｎｅｌやｉＳＣＳＩなどのネットワーク型のインタフェースが一般的である。また、重要な計算機システムでは、システムの可用性を向上させるために、ホスト計算機１０１に複数のＩ／Ｏポート１０２を装備し（図１では、各ホスト計算機１０１が２つのＩ／Ｏポート１０２を装備した例を示している）、外部記憶装置１０９へのアクセス経路を冗長化することも行われている。このようなＩ／Ｏポート１０２は、一般的には、ＨＢＡ（ホストバスアダプタ）と呼ばれるＰＣＩ−Ｘや、ＰＣＩ−Ｅｘｐｒｅｓｓのカードで実装されることが多い。
The I /
ネットワークスイッチ１０３は、ＳＡＮ構成のためのものであり、Ｆｉｂｒｅ ｃｈａｎｎｅｌやｉＳＣＳＩなどのインタフェースを持つホスト計算機１９１や外部記憶装置１０９を相互接続するためのスイッチである。故障によるシステム停止を避けるため、ネットワークスイッチ１０３を、図１の例に示すように冗長構成とする場合も多い。
The
ネットワークスイッチ１０３はそれぞれ、ホスト計算機１０１に接続されたＩ／Ｏポート１０４と、記憶制御装置１０５に接続されたＩ／Ｏポート１０４’とを備えており、それらの数や種類は、接続するホスト計算機１０１や外部記憶装置１０９の台数や、インタフェースによる。
Each of the
記憶制御装置１０５は、外部記憶装置１０９の各種機能を実現するものであり、本実施の形態では冗長化されている。図１に示す例では、二重化により冗長化されている。このような記憶制御装置１０５の詳細構成については、図２を用いて後述するが、図１では、Ｉ／Ｏポート１０６のみが示されている。
The
Ｉ／Ｏポート１０６は、例えばＦｉｂｒｅ ｃｈａｎｎｅｌやｉＳＣＳＩに準拠し、本実施の形態のように、冗長構成での使用を想定した装置であれば、最低２ポート装備される。
The I /
例えばＨＤＤや光磁気ディスク等である複数の記憶装置１０７（＃０〜＃ｍ）は、記憶制御装置１０５によって組み合わされることにより、仮想的な記憶装置即ち論理記憶装置を構成する。ホスト計算機１０１からは、この論理記憶装置が一つの記憶装置として認識される。
For example, a plurality of storage devices 107 (# 0 to #m) such as HDDs and magneto-optical disks are combined by the
インタフェース１０８は、記憶装置１０７を接続するためのものであり、記憶装置１０７がＨＤＤである場合、Ｆｉｂｒｅ ｃｈａｎｎｅｌや、ＳＡＳ、ＳＡＴＡ、ＳＣＳＩ等が一般的である。
The
外部記憶装置１０９は、一般に、記憶制御装置１０５と記憶装置１０７とから構成される。実際の製品としては、記憶装置１０７として複数のＨＤＤを備え、ＲＡＩＤの手法によりＨＤＤ故障に対する可用性を高めたディスクアレイ装置が一般的である。
The
記憶制御装置１０５の構成例を、図２の機能ブロック図に示す。
An example of the configuration of the
インタフェース制御回路２０１は、ホスト計算機１０１を接続するためのインタフェースであるＩ／Ｏポート１０６（図２には図示せず）を制御する回路であり、マイクロプロセッサ２０３にて動作している制御プログラムの指示で動作する。
The
インタフェース制御回路２０２は、ＨＤＤ等の記憶装置１０７を接続するためのインタフェース（図示せず）を制御する回路であり、マイクロプロセッサ２０３にて動作している制御プログラムの指示で動作する。
The
マイクロプロセッサ２０３は、ＲＡＭ２０５上の制御プログラムにより動作し、記憶制御装置１０５の機能を実現するための各種処理を行う。
The
ブリッジ回路２０４は、ＰＣＩ−ＸやＰＣＩ−Ｅｘｐｒｅｓｓ等の内部バス２１３と、マイクロプロセッサ２０３及びその周辺回路とを接続する。
The
ＲＡＭ２０５は、処理上必要となるワークメモリや通信のためのバッファメモリなどとして使用されるほか、制御プログラムのメインのコードが、フラッシュメモリ２０７からコピーされる。このＲＡＭ２０５上のコードにしたがってマイクロプロセッサ２０３が動作する。
The
キャッシュメモリ２０６は、ホスト計算機１０１と記憶装置１０７との間でのデータ転送の際に、バッファ用途で使用されるのみならず、アクセス性能を向上させるためのリードキャッシュやライトキャッシュとしても使用可能な大容量のメモリである。
The
フラッシュメモリ２０７は、記憶制御装置１０５の制御プログラムを格納する。フラッシュメモリ２０７内の制御プログラムは書き替えが可能である。記憶制御装置１０５は、起動されると、フラッシュメモリ２０７内の制御プログラムをＲＡＭ２０５にコピーし、ＲＡＭ２０５のイメージを使用してマイクロプロセッサ２０３が動作する。よって、記憶制御装置１０５が動作している状態でフラッシュメモリ２０７内の制御プログラムを書き替えても、記憶制御装置１０５はＲＡＭ２０５上の制御プログラムで動作しているため影響がない。
The
通信ポート２０８は、作業用の端末を接続するためのものである。フラッシュメモリ２０７内の制御プログラムの書き替え（アップロード）や、記憶制御装置１０５へ再起動処理要求の入力を行う場合には、この作業用の端末から行う。
The
この通信ポート２０８を介して、フラッシュメモリ２０７内の制御プログラムが書き替えられ、制御プログラムの更新のために必要な再起動処理要求が入力されると、記憶制御装置１０５は、図４のタイミングチャートに示すように、再起動処理要求の入力時ｔ０から時間Ｔ１と時間Ｔ２とを加えた時ｔ２に自己の再起動処理を行い、書き替えられた制御プログラムを使用した動作を開始できるようにする。このように、制御プログラムが書き替えられると、再起動処理要求の入力時ｔ０から時間Ｔ１と時間Ｔ２とを加えた時ｔ２に自己の再起動処理を行う処理を再起動処理シーケンスと称する。
When the control program in the
また、再起動処理シーケンス中（再起動処理要求の入力時ｔ０から再起動処理が行われる時ｔ２までの間）にホスト計算機１０１によってアクセスされた場合には、状態の監視の結果として、図中（ａ）に示すように、自己が再起動処理実行待ちであることを示す再起動ステータスをホスト計算機１０１に応答する。
Further, when it is accessed by the
なお、時間Ｔ１は、ホスト計算機１０１に備えられている後述するパス監視ソフトウェア３０３ｂによる記憶制御装置１０５の状態監視周期（例えば、１分）よりも長い第１の時間（例えば、状態監視周期の２〜３倍程度の時間）である。また、時間Ｔ２は、ホスト計算機１０１から記憶装置１０７に対するリード及びライト頻度に対して十分長い時間であり、一般的に数秒から１分程度であり、時間Ｔ１よりも短い。
The time T 1, the state monitoring cycle of path monitoring software 303b by the
そして、記憶制御装置１０５は、図４の（ｃ）に示すように、再起動処理要求の入力時ｔ０から時間Ｔ１が経過した時ｔ１以降であって、更に時間Ｔ２が経過する時ｔ２までの間にホスト計算機１０１によってアクセスされた場合には、再起動処理シーケンスを中止し、再起動処理も行わない。
Then, the
通信ポート２０９は、記憶制御装置１０５間（例えば、記憶制御装置１０５（＃０）と記憶制御装置１０５（＃１）との間）で通信するためのポートである。この通信ポート２０９は、二重化した記憶制御装置１０５間で、情報のやり取りや処理の同期を取るために使用する。
The
次に、ホスト計算機１０１の構成例を、図３の機能ブロック図に示す。
Next, a configuration example of the
すなわち、ホスト計算機１０１は、ソフトウェアであるアプリケーション３０１、ファイルシステム３０２、パス切り替えソフトウェア及びパス監視ソフトウェア３０３、ディスクドライバ３０４、及びカードドライバ３０５（一例として、カードドライバ３０５（＃−０）とカードドライバ３０５（＃−１）との２つを示す）がインストールされているとともに、カードドライバ３０５に対応して備えられたハードウェア３０６を備えている。
That is, the
アプリケーション３０１は、アプリケーションソフトウェアやミドルウェアなどである。アプリケーション３０１から論理記憶装置へアクセスする場合、ファイルシステム３０２を介してアクセスする方法と直接アクセスする方法がある。
The
ファイルシステム３０２は、ホスト計算機１０１にインストールされた各種ソフトウェア（３０１，３０３〜３０５）が扱うファイルの管理や、それに関連した論理記憶装置の管理を行う。
The
パス切り替えソフトウェア及びパス監視ソフトウェア３０３は、論理記憶装置への冗長化されたアクセス経路の管理を行うためのソフトウェアであるパス切り替えソフトウェア３０３ａとパス監視ソフトウェア３０３ｂとからなる。
The path switching software and
パス切り替えソフトウェア３０３ａは、上位のファイルシステム３０２やアプリケーション３０１から論理記憶装置へアクセスする際に、そのアクセス要求を受け取ると、アクセス対象の論理記憶装置に対し複数存在するアクセス経路のうちのどれを経由して論理記憶装置にアクセスするのかを選択し、選択した経路を用いて、対応する記憶制御装置１０５（以下、例えば、記憶制御装置１０５（＃０）とする）を介して論理記憶装置へのアクセスを実行する。また、その経路でアクセス実行できなかった場合は、他の経路に切り替えてアクセスを実行する。これら経路の切り替えをパス切り替えソフトウェア３０３ａが自動的に行うことにより、上位のファイルシステム３０２やアプリケーション３０１からは記憶制御装置１０５の故障などの影響を受けることなく論理記憶装置へのアクセスが継続される。
When the path switching software 303a receives the access request when accessing the logical storage device from the
また、パス監視ソフトウェア３０３ｂは、パス切り替えソフトウェア３０３ａによって選択されたアクセス経路に存在する記憶制御装置１０５（＃０）にアクセスし、この記憶制御装置１０５（＃０）の状態を監視するソフトウェアである。記憶制御装置１０５（＃０）について、主にアクセスしている経路だけでなく、代替用に準備した経路についても正常に動作していることを、例えば１分のような所定の監視周期で確認する。これにより経路を切り替えようとした際に代替用の経路が故障している多重故障を抑止する。また経路の監視は、そのアクセス経路に存在する記憶制御装置１０５（＃０）に対しコマンドを発行し、その応答を確認することにより行う。 The path monitoring software 303b is software that accesses the storage control device 105 (# 0) existing in the access path selected by the path switching software 303a and monitors the state of the storage control device 105 (# 0). . For the storage controller 105 (# 0), it is confirmed in a predetermined monitoring cycle such as 1 minute that not only the route that is mainly accessed but also the route that is prepared for replacement is operating normally. To do. This suppresses multiple failures in which the alternative route fails when switching routes. The path is monitored by issuing a command to the storage control device 105 (# 0) existing in the access path and confirming the response.
このコマンドの発行に対して、記憶制御装置１０５（＃０）から、パス監視ソフトウェア３０３ｂに再起動ステータスが応答されると、パス切り替えソフトウェア３０３ａは、冗長化された各記憶制御装置１０５（＃０，＃１）のうち、再起動ステータスを応答した記憶制御装置１０５（＃０）以外の記憶制御装置１０５（＃１）を経由して論理記憶装置へアクセスするように選択を切り替える。 In response to the issuance of this command, when the restart status is returned from the storage control device 105 (# 0) to the path monitoring software 303b, the path switching software 303a causes each redundant storage control device 105 (# 0). , # 1), the selection is switched so as to access the logical storage device via the storage control device 105 (# 1) other than the storage control device 105 (# 0) that responded with the restart status.
なお、この選択切り替えができない場合、パス監視ソフトウェア３０３ｂは、再起動ステータスを応答した記憶制御装置１０５（＃０）に対して、再起動処理シーケンスを中止する（すなわち、再起動処理も行わない）ように要求するリジェクトコマンドを発行する。この場合、図４の（ｂ）に示すように、リジェクトコマンドを発行された記憶制御装置１０５（＃０）は、再起動処理シーケンスを中止する。 If this selection switching cannot be performed, the path monitoring software 303b stops the restart processing sequence (that is, does not perform the restart processing) for the storage control device 105 (# 0) that responded with the restart status. Issue a reject command requesting In this case, as shown in FIG. 4B, the storage control device 105 (# 0) to which the reject command has been issued stops the restart processing sequence.
また、ホスト計算機１０１が、再起動ステータスを応答した記憶制御装置１０５（＃０）にその後アクセスしたところ、この記憶制御装置１０５（＃０）からパス監視ソフトウェア３０３ｂに対して再起動ステータスの応答がなかった場合には、パス切り替えソフトウェア３０３ａは、この記憶制御装置１０５（＃０）を経由して論理記憶装置へアクセスするように選択を切り替える。
Further, when the
ディスクドライバ３０４は、記憶装置１０７に対する例えばＳＣＳＩコマンドに代表されるコマンド処理を行うソフトウェアである。
The
カードドライバ３０５は、ハードウェア３０６を制御するソフトウェアであり、ハードウェア３０６は、ホスト計算機１０１をネットワークスイッチ１０３に接続するＩ／Ｏポート１０２を装備しており、ＰＣＩ−ＸやＰＣＩ−Ｅｘｐｒｅｓｓ等のＨＢＡで実装されることが多い。
The
インタフェース３０７は、ホスト計算機１０１をネットワークスイッチ１０３に接続するものであり、Ｆｉｂｒｅ ｃｈａｎｎｅｌや、ｉＳＣＳＩ等が一般的である。
The
次に、以上のように構成した本発明の実施の形態に係る記憶制御装置１０５（＃０）の制御プログラムの更新方法の詳細を図４のタイミングチャートを用いて説明する。 Next, details of the control program update method of the storage control device 105 (# 0) according to the embodiment of the present invention configured as described above will be described with reference to the timing chart of FIG.
まず、図示しない作業用端末を、記憶制御装置１０５（＃０）の通信ポート２０８に接続し、この作業用端末を用いて、フラッシュメモリ２０７内の制御プログラムを、新しい制御プログラムに書き替える。図４では、このタイミングを、時間ｔｋで示す。
First, a work terminal (not shown) is connected to the
次に、この作業用端末などから、記憶制御装置１０５（＃０）に対して、制御プログラムの更新のために必要な処理である再起動処理要求の入力を行う。この再起動処理要求が入力された記憶制御装置１０５（＃０）では、この時点ｔ０から再起動処理シーケンスが開始される。再起動処理シーケンスは、最終的に時間ｔ２において再起動処理が実行されるか、または時間ｔ２に至る前に再起動処理シーケンスが中止されるタイミングまで継続する。 Next, a restart process request, which is a process necessary for updating the control program, is input from the work terminal or the like to the storage control device 105 (# 0). In the restart process request is input storage controller 105 (# 0), restart process sequence is started from the time point t 0. Restart process sequence continues until the timing of a restart process is executed, or restart processing sequence before reaching the time t 2 is stopped at the final time t 2.
そして、このような再起動処理シーケンス中の記憶制御装置１０５（＃０）は、再起動処理シーケンスが開始された時点ｔ０から時間（Ｔ１＋Ｔ２）が経過した時点ｔ２まで待ってから記憶制御装置１０５（＃０）を再起動処理を開始し、再起動処理が完了すると、書き替えられた新しい制御プログラムでの動作を開始できるようになる。 Then, the storage control device 105 (# 0) in such a restart process sequence waits until the time point t 2 when the time (T 1 + T 2 ) elapses from the time point t 0 when the restart process sequence starts. When the storage control device 105 (# 0) starts the restart process and the restart process is completed, the operation with the rewritten new control program can be started.
なお、記憶制御装置１０５（＃０）は、図４中に示す（ａ）のように、再起動処理シーケンス中に、ホスト計算機１０１のパス監視ソフトウェア３０３ｂからコマンドを受信した場合、そのコマンドに対して再起動ステータスを応答する。このように、再起動ステータスが応答された場合、ホスト計算機１０１のパス監視ソフトウェア３０３ｂは、論理記憶装置へのアクセスを再起動ステータスが応答された記憶制御装置１０５（＃０）ではない記憶制御装置１０５（＃１）を経由して行うよう、パス切り替えソフトウェア３０３ａを操作する。
If the storage control device 105 (# 0) receives a command from the path monitoring software 303b of the
また、記憶制御装置１０５（＃０）を再起動することにより再起動処理シーケンスは完了するため、以降パス監視ソフトウェア３０３ｂからのアクセスに対しては、再起動ステータスを応答することはなくなり、通常の応答がされる。この通常の応答を検出したパス監視ソフトウェア３０３ｂは、その記憶制御装置１０５（＃０）にて再起動ステータスを検出して他の記憶制御装置１０５（＃１）を経由するよう切り替えていたアクセス経路を、以前の元のアクセス経路に戻す処理を行う。 In addition, since the restart processing sequence is completed by restarting the storage control device 105 (# 0), the restart status is no longer responded to accesses from the path monitoring software 303b. A response is made. The path monitoring software 303b that detected this normal response detected the restart status in the storage control device 105 (# 0) and switched the access route to pass through the other storage control device 105 (# 1). Is returned to the previous original access route.
前述したように、時間Ｔ１は、ホスト計算機１０１に備えられている後述するパス監視ソフトウェア３０３ｂによる記憶制御装置１０５の状態監視周期（例えば、１分）よりも長い（例えば、状態監視周期の２〜３倍程度の時間である）。また、時間Ｔ２は、ホスト計算機１０１から記憶装置１０７に対するリード及びライト頻度に対して十分長く、一般的に数秒から１分程度である。したがって、記憶制御装置１０５に接続された複数のホスト計算機１０１の全てが再起動ステータスを受信することができ、アクセス経路を切り替えることが可能となる。
As described above, the time T 1 is longer than the state monitoring cycle (for example, 1 minute) of the
また、ホスト計算機１０１は、パス監視ソフトウェア３０３ｂが、記憶制御装置１０５（＃０）から再起動ステータスを受信した際に、論理記憶装置へのアクセスについて、再起動ステータスを受信した記憶制御装置１０５（＃０）以外の全ての記憶制御装置１０５（例えば、記憶制御装置１０５（＃１））を経由してもアクセスが行えない場合、例えば、他の記憶制御装置１０５（＃１）が故障している場合や、ホスト計算機１０１側のＩ／Ｏポート１０２等が故障しており他の記憶制御装置１０５（＃１）側の経路が使えない場合等に、パス監視ソフトウェア３０３ｂは、再起動ステータスを応答した記憶制御装置１０５（＃０）に対し、図４中の（ｂ）に示すように、リジェクトコマンドを発行する。
Further, when the path monitoring software 303b receives the restart status from the storage control device 105 (# 0), the
そして、このリジェクトコマンドを受信した記憶制御装置１０５（＃０）は、自装置１０５（＃０）を経由した論理記憶装置へのアクセスを回避することができないため、再起動処理シーケンスを中止する。 Then, the storage control device 105 (# 0) that has received this reject command cannot avoid access to the logical storage device via its own device 105 (# 0), and therefore stops the restart processing sequence.
また、パス監視ソフトウェア３０３ｂが動作していないホスト計算機１０１が混在して接続されている場合の動作について以下に説明する。
The operation when the
この場合、アクセス経路が切り替えられないまま記憶制御装置１０５（＃０）を再起動すると、その間、そのホスト計算機１０１からは論理記憶装置へのアクセスが不可能な状態となり、その結果、システム停止の障害となる可能性がある。このような場合に対処するためのガード機構として、本実施の形態に係る制御プログラムの更新方法では、図４中の（ｃ）に示すように、再起動処理シーケンスが開始されてから時間Ｔ１経過してから、更に時間Ｔ２経過するまでの期間（すなわち、ｔ１からｔ２までの期間）内に、何れかのホスト計算機１０１から論理記憶装置に対し、この再起動シーケンス中の記憶制御装置１０５（＃０）を経由してアクセスが発生した場合、動作していないホスト計算機１０１が存在するものとパス監視ソフトウェア３０３ｂが判断し、再起動処理シーケンスを中止する。
In this case, if the storage control device 105 (# 0) is restarted without switching the access path, the
記憶制御装置１０５（＃０）は、再起動処理シーケンスの期間中、図４（ｂ）に示すようなリジェクトコマンドの受信もなく、図４（ｃ）に示すようなアクセスもない場合に、図４（ａ）に示すように、最終ステップとして再起動処理を実行する。そして、再起動された記憶制御装置１０５（＃０）は、新しい制御プログラムをフラッシュメモリ２０７（＃０）より読み出し、その制御プログラムでの動作を開始できるようになる。同様の手順にて、他の記憶制御装置（例えば、記憶制御装置１０５（＃１））についても制御プログラムの更新を行うことができる。 The storage control device 105 (# 0) does not receive the reject command as shown in FIG. 4B during the restart processing sequence and does not receive the access as shown in FIG. As shown in FIG. 4A, a restart process is executed as the final step. Then, the restarted storage control device 105 (# 0) can read a new control program from the flash memory 207 (# 0), and can start operation with the control program. The control program can be updated for other storage control devices (for example, the storage control device 105 (# 1)) in the same procedure.
次に、再起動処理シーケンス中の記憶制御装置１０５（＃０）の動作例を図５のフローチャートを用いて説明する。 Next, an operation example of the storage control device 105 (# 0) during the restart processing sequence will be described with reference to the flowchart of FIG.
記憶制御装置１０５（＃０）は、再起動処理シーケンスの開始にあたってアクセスカウンタ（ホスト計算機１０１から論理記憶装置へのアクセスの有無をカウントするためのカウンタ）をゼロクリアする（ステップ５０２）。なお、アクセスカウンタの動作の詳細については、図６のフローチャートを用いて後述する。 The storage control device 105 (# 0) clears the access counter (counter for counting presence / absence of access to the logical storage device from the host computer 101) to zero at the start of the restart processing sequence (step 502). Details of the operation of the access counter will be described later with reference to the flowchart of FIG.
次に、ホスト計算機１０１上のパス監視ソフトウェア３０３ｂから、状態確認のためのコマンドを受信した場合（ステップ５０３：状態確認コマンド）は、再起動ステータスを応答し（ステップ５０４）、ステップ５０５に進む。 Next, when a command for status confirmation is received from the path monitoring software 303b on the host computer 101 (step 503: status confirmation command), a restart status is returned (step 504), and the process proceeds to step 505.
一方、ステップ５０３において、パス監視ソフトウェア３０３ｂからリジェクトコマンドを受信した場合（ステップ５０３：リジェクトコマンド）は、直ちに再起動処理シーケンスを中止する（ステップ５０９）。 On the other hand, if a reject command is received from the path monitoring software 303b in step 503 (step 503: reject command), the restart processing sequence is immediately stopped (step 509).
また、ステップ５０３において、何れのコマンドも受信しない場合（ステップ５０３：なし）には、ステップ５０５に進む。 If no command is received in step 503 (step 503: none), the process proceeds to step 505.
ステップ５０５では、再起動シーケンスが開始されてから一定時間Ｔ１を経過し、時間ｔ１に到達したかが判定される。そして、時間ｔ１に到達すると（ステップ５０５：Ｙｅｓ）、アクセスカウンタの値を確認し（ステップ５０６）、アクセスカウンタの値がゼロでない場合（ステップ５０６：≧０）には、ホスト計算機１０１からアクセスが発生しているため、再起動処理シーケンスを中止する（ステップ５０９）。一方、時間ｔ１に到達していない場合（ステップ５０５：Ｎｏ）には、ステップ５０３に戻る。
In
ステップ５０６において、アクセスカウンタの値がゼロであり（ステップ５０６：＝０）、時間ｔ１から更にＴ２経過し、時間ｔ２に到達した場合（ステップ５０７：Ｙｅｓ）、この記憶制御装置１０５（＃０）の再起動処理を実行し、再起動処理シーケンスを完了する（ステップ５０８）。
In
一方、ステップ５０７において、時間ｔ２に到達していない場合（ステップ５０７：Ｎｏ）には、ステップ５０３に戻る。
On the other hand, in
次に、アクセスカウンタの動作の詳細について、図６のフローチャートを用いて説明する。 Next, details of the operation of the access counter will be described using the flowchart of FIG.
アクセスカウンタは、再起動処理シーケンス中であり、ホスト計算機１０１から論理記憶装置へのアクセスを受信した場合（ステップ６０２：Ｙｅｓ）、再起動シーケンスが開始されてから一定時間Ｔ１を経過し、時間ｔ１に到達したのであれば（ステップ６０３：Ｙｅｓ）、値をインクリメントし（ステップ６０４）、アクセス処理を行う（ステップ６０５）。 Access counter is a restart process in the sequence, when receiving an access to the logical storage device from the host computer 101 (step 602: Yes), elapsed predetermined time T 1 from the restart sequence is initiated, the time if it has reached t 1 (step 603: Yes), increments the value (step 604), it performs an access process (step 605).
なお、ステップ６０２において、アクセスを受信していない場合（ステップ６０２：Ｎｏ）、ステップ６０３において、再起動シーケンスが開始されてから一定時間Ｔ１を経過しておらず、時間ｔ１に到達していないのであれば（ステップ６０３：Ｎｏ）、ステップ６０５に進む。
Incidentally, in
尚、アクセスカウンタは、桁あふれすることのないよう十分な桁数を用意する。アクセスカウンタの処理以外は、通常のアクセスの処理を行う（ステップ６０６）。 The access counter is prepared with a sufficient number of digits so as not to overflow. Except for the access counter processing, normal access processing is performed (step 606).
上述したように、本発明の実施の形態に係る記憶制御装置の制御プログラムの更新方法においては、上記のような作用により、記憶制御装置１０５の制御プログラムをオンラインで、より簡単かつ安全に更新することが可能となる。
As described above, in the method for updating the control program for the storage control device according to the embodiment of the present invention, the control program for the
以上、本発明を実施するための最良の形態について、添付図面を参照しながら説明したが、本発明はかかる構成に限定されない。特許請求の範囲の発明された技術的思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の技術的範囲に属するものと了解される。 The best mode for carrying out the present invention has been described above with reference to the accompanying drawings, but the present invention is not limited to such a configuration. Within the scope of the invented technical idea of the scope of claims, a person skilled in the art can conceive of various changes and modifications. The technical scope of the present invention is also applicable to these changes and modifications. It is understood that it belongs to.
１００…計算機システム、１０１…ホスト計算機、１０２…Ｉ／Ｏポート、１０３…ネットワークスイッチ、１０４…Ｉ／Ｏポート、１０５…記憶制御装置、１０６…Ｉ／Ｏポート、１０７…記憶装置、１０８…インタフェース、１０９…外部記憶装置、１９１…ホスト計算機、２０１…インタフェース制御回路、２０２…インタフェース制御回路、２０３…マイクロプロセッサ、２０４…ブリッジ回路、２０５…ＲＡＭ、２０６…キャッシュメモリ、２０７…フラッシュメモリ、２０８…通信ポート、２０９…通信ポート、２１３…内部バス、３０１…アプリケーション、３０２…ファイルシステム、３０３…パス切り替えソフトウェア及びパス監視ソフトウェア、３０３ａ…パス切り替えソフトウェア、３０３ｂ…パス監視ソフトウェア、３０４…ディスクドライバ、３０５…カードドライバ、３０６…ハードウェア、３０７…インタフェース
DESCRIPTION OF
Claims (4)
前記ホスト計算機が、前記冗長化された記憶制御装置のうちのどれを経由して前記論理記憶装置へアクセスするかを選択し、前記選択した記憶制御装置にアクセスして、この記憶制御装置の状態を監視し、
前記冗長化された各記憶制御装置は、自己の制御プログラムが書き替えられ、前記制御プログラムの更新のために必要な自己の再起動処理の要求が入力されると、この要求の入力時から予め定めた時間の経過時に自己の再起動処理を開始し、前記書き替えられた制御プログラムを使用した動作を実行できるようにするとともに、前記入力時から前記再起動処理が行われるまでの間に前記ホスト計算機によってアクセスされた場合には、前記状態の監視の結果として、自己が再起動処理待ちであることを示す再起動ステータスを応答し、
前記ホスト計算機は、前記状態を監視している記憶制御装置から前記再起動ステータスが応答されると、前記冗長化された各記憶制御装置のうち、前記再起動ステータスを応答した記憶制御装置以外の記憶制御装置を経由して前記論理記憶装置へアクセスするように前記選択を切り替える
ようにした制御プログラムの更新方法。 A storage controller connected to a host computer and a single or a plurality of storage devices, and using a part or all of the area of the single or a plurality of storage devices and providing a logical storage device to the host computer. A method of updating a control program, wherein the storage control device is made redundant by being connected to the logical storage device, and the method includes:
The host computer selects which of the redundant storage control devices to access the logical storage device, accesses the selected storage control device, and the status of the storage control device Monitor
When each redundant storage control device is rewritten with its own control program and a request for its own restart process necessary for updating the control program is input, the storage control device in advance starts from the time this request is input. The self-restart process is started when a predetermined time elapses, and the operation using the rewritten control program can be executed, and the restart process is performed after the input. When accessed by the host computer, as a result of monitoring the state, it responds with a restart status indicating that it is waiting for restart processing,
When the restart status is responded from the storage control device that is monitoring the state, the host computer is one of the redundant storage control devices other than the storage control device that responded to the restart status. A control program update method for switching the selection so as to access the logical storage device via a storage control device.
前記無効要求コマンドを発行された記憶制御装置は、前記要求された再起動処理をしないようにした請求項１に記載の制御プログラムの更新方法。 If the selection cannot be switched, the host computer issues an invalid request command requesting the storage controller that responded the restart status not to perform the requested restart process,
The method of updating a control program according to claim 1, wherein the storage control device that has issued the invalidation request command does not perform the requested restart process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007205865A JP4635032B2 (en) | 2007-08-07 | 2007-08-07 | Method for updating control program of storage controller |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007205865A JP4635032B2 (en) | 2007-08-07 | 2007-08-07 | Method for updating control program of storage controller |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009042932A true JP2009042932A (en) | 2009-02-26 |
| JP4635032B2 JP4635032B2 (en) | 2011-02-16 |
Family
ID=40443629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007205865A Expired - Fee Related JP4635032B2 (en) | 2007-08-07 | 2007-08-07 | Method for updating control program of storage controller |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4635032B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014049013A (en) * | 2012-09-03 | 2014-03-17 | Hitachi Automotive Systems Ltd | Electronic control system for automobile |
| JP2014146176A (en) * | 2013-01-29 | 2014-08-14 | Nec Access Technica Ltd | Device state monitoring method |
| JP2017010390A (en) * | 2015-06-24 | 2017-01-12 | 富士通株式会社 | Storage control device, storage control program, and storage control method |
| US10809997B2 (en) | 2015-11-18 | 2020-10-20 | Fujitsu Limited | Information processing apparatus and program update control method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01155452A (en) * | 1987-12-11 | 1989-06-19 | Nec Corp | System for confirming connection of data processing system |
| JPH04137153A (en) * | 1990-09-28 | 1992-05-12 | Nec Corp | Check system for connection route |
| JPH06309117A (en) * | 1993-04-22 | 1994-11-04 | Hitachi Ltd | Uninterruptible maintenance method for disk controller and disk controller |
| JPH0962499A (en) * | 1995-08-22 | 1997-03-07 | Hitachi Ltd | Program file updating device |
| JPH10260788A (en) * | 1997-03-19 | 1998-09-29 | Toshiba Corp | Disk array system |
| JP2002063126A (en) * | 2000-08-18 | 2002-02-28 | Fujitsu Ltd | Multipath computer system |
| JP2003131897A (en) * | 2001-10-24 | 2003-05-09 | Hitachi Ltd | Storage with built-in port |
| JP2005242574A (en) * | 2004-02-25 | 2005-09-08 | Hitachi Ltd | Information processing system and method |
-
2007
- 2007-08-07 JP JP2007205865A patent/JP4635032B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01155452A (en) * | 1987-12-11 | 1989-06-19 | Nec Corp | System for confirming connection of data processing system |
| JPH04137153A (en) * | 1990-09-28 | 1992-05-12 | Nec Corp | Check system for connection route |
| JPH06309117A (en) * | 1993-04-22 | 1994-11-04 | Hitachi Ltd | Uninterruptible maintenance method for disk controller and disk controller |
| JPH0962499A (en) * | 1995-08-22 | 1997-03-07 | Hitachi Ltd | Program file updating device |
| JPH10260788A (en) * | 1997-03-19 | 1998-09-29 | Toshiba Corp | Disk array system |
| JP2002063126A (en) * | 2000-08-18 | 2002-02-28 | Fujitsu Ltd | Multipath computer system |
| JP2003131897A (en) * | 2001-10-24 | 2003-05-09 | Hitachi Ltd | Storage with built-in port |
| JP2005242574A (en) * | 2004-02-25 | 2005-09-08 | Hitachi Ltd | Information processing system and method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014049013A (en) * | 2012-09-03 | 2014-03-17 | Hitachi Automotive Systems Ltd | Electronic control system for automobile |
| JP2014146176A (en) * | 2013-01-29 | 2014-08-14 | Nec Access Technica Ltd | Device state monitoring method |
| JP2017010390A (en) * | 2015-06-24 | 2017-01-12 | 富士通株式会社 | Storage control device, storage control program, and storage control method |
| US10809997B2 (en) | 2015-11-18 | 2020-10-20 | Fujitsu Limited | Information processing apparatus and program update control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4635032B2 (en) | 2011-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5463267B2 (en) | Virtual computer system and virtual computer migration method | |
| US7650446B2 (en) | Storage system for back-end communications with other storage system | |
| JP4551096B2 (en) | Storage subsystem | |
| US7558916B2 (en) | Storage system, data processing method and storage apparatus | |
| JP4387116B2 (en) | Storage system control method and storage system | |
| JP5286212B2 (en) | Remote copy control method and system in storage cluster environment | |
| US8423822B2 (en) | Storage system and method of controlling the same | |
| US20100054120A1 (en) | Apparatus and method for cluster recovery | |
| JP2005242574A (en) | Information processing system and method | |
| US8275958B2 (en) | Storage system with remote copy controllers | |
| JP4635032B2 (en) | Method for updating control program of storage controller | |
| US7509535B1 (en) | System and method for managing failover in a data storage environment | |
| US20160132271A1 (en) | Computer system | |
| US10025655B2 (en) | Storage system | |
| US7370235B1 (en) | System and method for managing and scheduling recovery after a failure in a data storage environment | |
| US20090177916A1 (en) | Storage system, controller of storage system, control method of storage system | |
| WO2018011882A1 (en) | Computer system and control method for storage device | |
| US7401251B1 (en) | Architecture for managing failover and recovery after failover in a data storage environment | |
| US7260680B2 (en) | Storage apparatus having microprocessor redundancy for recovery from soft errors | |
| JP6039818B2 (en) | Information system, host system, and access control method | |
| US10353613B2 (en) | Computer system and control method therefor for handling path failure | |
| US11126514B2 (en) | Information processing apparatus, information processing system, and recording medium recording program | |
| JP6764927B2 (en) | Storage systems, storage devices, and how to control storage systems | |
| US7480820B2 (en) | Disk array apparatus, method for controlling the same, and program | |
| JP2013073258A (en) | Storage device and method for restoring program data in storage device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100625 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101026 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101119 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |