JP4875525B2 - Virtual computer system and program - Google Patents
Virtual computer system and program Download PDFInfo
- Publication number
- JP4875525B2 JP4875525B2 JP2007078556A JP2007078556A JP4875525B2 JP 4875525 B2 JP4875525 B2 JP 4875525B2 JP 2007078556 A JP2007078556 A JP 2007078556A JP 2007078556 A JP2007078556 A JP 2007078556A JP 4875525 B2 JP4875525 B2 JP 4875525B2
- Authority
- JP
- Japan
- Prior art keywords
- load
- user interface
- computer
- allocation rate
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
本発明は仮想計算機システムに関し、各LPAR上のOS上で処理しているワークロードに関する少量の知識と、各OSの負荷に従って、計算機資源の各LPARに対する割当を自動的に動的変更する技術に関する。 The present invention relates to a virtual computer system, and relates to a technology for automatically dynamically changing the allocation of computer resources to each LPAR according to a small amount of knowledge about the workload processed on the OS on each LPAR and the load on each OS. .
仮想計算機システムは、ハイパバイザにより、物理計算機を複数の論理区画(LPAR:Logical PARtition)に分割し、各LPARに対して計算機資源(CPU、主記憶、I/O)を割当て、各LPAR上でそれぞれOSを動作させるものである。 The virtual computer system divides a physical computer into a plurality of logical partitions (LPARs) by using a hypervisor, allocates computer resources (CPU, main memory, I / O) to each LPAR, and each of them on each LPAR. The OS is operated.
昨今のWeb(World Wide Webの略称)を利用した計算機システムに対するアクセスは、一般に負荷の予測が困難で、突然アクセスが集中して負荷ピークが現れることがしばしばある。またピーク以外の平常時においては一般に負荷が低いことが知られている。 In access to a computer system using the recent Web (abbreviation of World Wide Web), it is generally difficult to predict a load, and sudden access concentrates and a load peak often appears. Further, it is known that the load is generally low during normal times other than the peak.
時々訪れる負荷ピークのために、初めから多くの計算機資源をLPARに対して割当てておくのではなく、平常時には少しの資源を割当てておき、負荷ピークが来たらそれに適応して割当てる資源を増やすことで(これを負荷適応制御と呼ぶ)、無駄な計算機資源を削減したり、あるいはサポートできるLPARの数を増やすことができる。 Instead of allocating a lot of computer resources to the LPAR from the beginning due to the load peaks that come from time to time, allocate a small amount of resources during normal times, and increase the resources to be allocated in response to load peaks. Thus (this is called load adaptive control), it is possible to reduce useless computer resources or increase the number of LPARs that can be supported.
これを実現するには、まず各LPARに対する計算機資源の割当を動的に変更する必要がある。参考文献「HITAC プロセッサ資源分割管理機構(PRMF)(日立製作所マニュアル8080−2−148−40)」には、各LPARに対する計算機資源の割当てを動的に変更する記述がある。それによると、各LPARに対する計算機資源の割当を変更する場合、オペレータ(管理者)が操作をして資源割当変更命令を発行し、この命令に従ってハイパバイザは各LPARに対する計算機資源の割当を動的に変更する。 In order to realize this, first, it is necessary to dynamically change the allocation of computer resources to each LPAR. The reference document “HITAC Processor Resource Partition Management Mechanism (PRMF) (Hitachi, Ltd. Manual 8080-2-148-40)” has a description of dynamically changing the allocation of computer resources to each LPAR. According to this, when changing the allocation of computer resources to each LPAR, an operator (administrator) operates to issue a resource allocation change command, and the hypervisor dynamically allocates computer resources to each LPAR according to this command. change.
このようなオペレータ操作に基づく割当変更は、システムダウンなどの緊急時や突然の負荷ピークなど迅速に割当変更を必要とする場合には対応できなかった。 Such an assignment change based on an operator operation cannot be dealt with when an assignment change is required quickly, such as in an emergency such as a system down or a sudden load peak.
これに対して、特開平9−26889号公報では外部条件の変化に応じて自動的にCPU割当量を変更する仮想計算機システムを開示している。この発明では、緊急事態や運用スケジュールに従って、各LPARに対する計算機資源の割り当てをオペレータの介在無しに自動的に変更できる。また、CPU割当量の定義値と実際のプロセッサ使用時間とを比較することにより、プロセッサ使用時間の過不足に応じてプロセッサ割当率の定義値を変更できる。
しかしながら、上記従来の発明においては、プロセッサ使用時間の過不足に応じた割当を行っているが、CPUの使用時間で計算機システムの負荷を知ることは困難であり、従って負荷に適応して計算機資源の各LPARに対する割当率を適切に変更することはできなかった。 However, in the above-described conventional invention, the allocation is performed according to the excess or deficiency of the processor usage time. However, it is difficult to know the load of the computer system from the CPU usage time. The allocation rate for each LPAR could not be changed appropriately.
また、各LPARの負荷の値を正しく知ることができたとしても、負荷のみから各LPARに対する計算機資源の適切な割当率を常に正しく計算することは困難であり、特に、各LPAR上のOS上で実行されるワークロード性質(定常時の負荷、ピーク時の負荷、ピーク幅など)が異なれば、各LPARに対する計算機資源の適切な割当率は異なると考えられるからである。 Even if the load value of each LPAR can be known correctly, it is difficult to always correctly calculate an appropriate allocation rate of computer resources for each LPAR from only the load, and in particular, on the OS on each LPAR. This is because the appropriate allocation rate of computer resources to each LPAR is considered to be different if the workload characteristics (load at normal time, load at peak time, peak width, etc.) executed in (1) are different.
正しい負荷の値とワークロードに関する少量の知識を合わせることで、各LPARに対する計算機資源の割当を自動的にかつ適切に行うシステムを提供できると考えられる。 By combining a correct load value and a small amount of knowledge about the workload, it is considered that a system can be provided that automatically and appropriately allocates computer resources to each LPAR.
そこで本発明の課題は、各LPAR上で動作するOSの負荷に適応して、また、管理者がワークロードに関する少量の知識(ワークロードの性質)をシステムの制御のパラメータとして与えることにより、各LPARに対する計算機資源の割当量を自動的にかつ適切に行う仮想計算機システム及びプログラムを提供することにある。 Therefore, an object of the present invention is to adapt to the load of the OS running on each LPAR, and by giving a small amount of knowledge about the workload (workload characteristics) as a system control parameter by the administrator. It is an object of the present invention to provide a virtual computer system and program for automatically and appropriately assigning computer resource allocation amounts to LPARs.
本発明は、複数の計算機を含む計算機システムの計算機資源を複数の論理区画に分割し、該論理区画の各々を独立の論理計算機として個別のユーザに利用させる仮想計算機システムであって、前記各論理区画について、CPUとメモリ及びI/O装置を含む計算機資源の制御動作にかかわる負荷の種類として前記CPU使用率とメモリ使用率及びI/O装置使用率のうちのいずれかの設定と、前記計算機資源の割当率の範囲設定を受け付けるユーザインタフェースと、
各論理区画にかかる負荷として、前記ユーザインタフェースから設定された種類の負荷を計測する負荷計測手段と、該負荷計測手段によって計測された各論理区画にかかる負荷に基づいて、各論理区画に割り当てる計算機資源の割当率を算出し、前記ユーザインタフェースから設定された計算機資源の割当率の範囲に基づいて前記各論理区画に割り当てる計算機資源の割当率を決定する適応制御手段とを有し、前記ユーザインターフェースは、前記負荷計測手段から受け取った各論理区画にかかる負荷の計測結果の時刻推移と、前記適応制御手段で決定した各論理区画への計算機資源の割当率の時刻推移を並べて表示する表示機能を有する。
The present invention is a virtual computer system that divides a computer resource of a computer system including a plurality of computers into a plurality of logical partitions, and allows each individual user to use each of the logical partitions as an independent logical computer. For the partition, any one of the CPU usage rate, the memory usage rate, and the I / O device usage rate is set as the type of load related to the control operation of the computer resources including the CPU, the memory, and the I / O device, and the computer A user interface that accepts resource allocation rate range settings;
As a load applied to each logical partition, a load measuring means for measuring the type of load set from the user interface, and a computer assigned to each logical partition based on the load applied to each logical partition measured by the load measuring means Adaptive control means for calculating a resource allocation rate and determining a computer resource allocation rate to be allocated to each logical partition based on a range of the computer resource allocation rate set from the user interface; Has a display function for displaying the time transition of the measurement result of the load applied to each logical partition received from the load measuring means and the time transition of the allocation rate of the computer resources to each logical partition determined by the adaptive control means. Have.
したがって本発明は、各計算機の負荷と、各計算機上で動作するワークロードに関する知識に基づいた設定情報から、各計算機に対して計算機資源を動的にかつ最適に配分し、管理が容易で顧客との契約に合わせた性能を保証できる計算機システムを提供することが可能となり、あるいは、そのような計算機システムにおいて資源を最適に配分するプログラムを提供することが可能となる。 Accordingly, the present invention includes a load of each computer, from the setting information based on knowledge of the workload running on each computer, dynamically and optimally allocating computer resources to each computer, easy to manage customers possible to provide a calculated system performance Ru can ensure tailored to deal with the result, or, it is possible to provide a program that optimally allocate resources in such calculations system.
以下、本発明の一実施形態を添付図面に基づいて説明する。
{1.物理計算機}
図1に、本発明の仮想計算機システムを動作させる物理計算機130の構成を示す。100〜10nはCPU0〜CPUnを、120〜12kはI/O0〜I/Okを示す。111は主記憶を表し、110はCPU(100〜10n)とI/O(120〜12k)を主記憶111と結合するメモリコントローラを示す。
Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
{1. Physical computer}
FIG. 1 shows the configuration of a
なお、CPUは1台でも良いし、2台以上であっても良い。CPUが2台以上の場合、各CPU(110〜10n)は主記憶111を共有する密結合型マルチプロセッサであるとする。
Note that one CPU or two or more CPUs may be used. When there are two or more CPUs, each CPU (110 to 10n) is a tightly coupled multiprocessor sharing the
140は本物理計算機のコンソールでありI/O0(120)に接続されている。
{2.仮想計算機システム}
図2に本発明を構成する仮想計算機システムの階層図を示す。
{2. Virtual computer system}
FIG. 2 shows a hierarchical diagram of the virtual machine system constituting the present invention.
物理計算機130上でハイパバイザ200を動作させる。ハイパバイザは物理計算機130を2つ以上の論理区画(LPAR:Logical PARtition)LPAR0(210)〜LPARm(21m)に分割する。LPAR0〜LPARmのそれぞれでOS0(220)〜OSm((22m)を動作させ、各OS上でそれぞれアプリケーション0(230)〜アプリケーションm(23m)を動作させる。
The
ハイパバイザは、各LPAR(210〜21m)に対して物理計算機130のCPU(100〜10n)、主記憶111、I/O(120〜12k)(計算機資源と呼ぶ)を割当てる。
{3.専用割当と共用割当}
ハイパバイザが計算機資源を各LPARに割当てる方法は、専用割当と共用割当の二種類ある。
The hypervisor allocates the CPU (100 to 10n), the
{3. Dedicated allocation and shared allocation}
There are two methods for the hypervisor to allocate computer resources to each LPAR: dedicated allocation and shared allocation.
専用割当は、特定の計算機資源を特定のLPARに専用的に割当てる方法である。計算機資源のうち、主記憶(111)とI/O(120〜12k)は共用割当される。 Dedicated allocation is a method in which a specific computer resource is exclusively allocated to a specific LPAR. Of the computer resources, the main memory (111) and the I / O (120 to 12k) are shared.
なお、CPU(100〜10n)を専用割当にすることもできる。CPUの専用割当の場合、あるLPARに対して専用割当するCPUの数をそのLPARに対するCPUの割当量と呼ぶ。 Note that the CPU (100 to 10n) can be assigned exclusively. In the case of CPU dedicated allocation, the number of CPUs dedicated to a certain LPAR is referred to as the CPU allocation for that LPAR.
一方、共用割当は、計算機資源を各LPARに少しづつ時分割によって割り当てる。この共用割当は、CPUに対してのみ行われる。あるLPARに対しCPUを割当てている時間の、全LPARにCPUを割当てている時間に対する割合を、CPU割当率と呼ぶ(%で表す。値は0〜100の間)。 On the other hand, in the shared allocation, computer resources are allocated to each LPAR little by little by time division. This shared allocation is performed only for the CPU. The ratio of the time for which a CPU is allocated to a certain LPAR to the time for which a CPU is allocated to all LPARs is referred to as a CPU allocation rate (expressed in%. The value is between 0 and 100).
このように、専用割当は量を単位とするが、共用割当は率を単位とする。しかし、専用割当において、あるLPARに専用割当するCPU数の全CPU数k+1に対する割合をCPU割当率(%で表現する。値は0〜100の間)とすれば、専用割当も共用割当も同様に率を単位として割当を指示することができる。 Thus, while dedicated allocation is in units of quantities, shared allocation is in units of rates. However, in the dedicated allocation, if the ratio of the number of CPUs dedicated to a certain LPAR to the total number of CPUs k + 1 is the CPU allocation ratio (expressed in%. The value is between 0 and 100), both the dedicated allocation and the shared allocation are the same. The allocation can be instructed in units of rates.
例えば、2つのCPU(CPU0とCPU1)を持つ物理計算機を2つのLPAR(LPAR0と1)に分割して使用する場合、LPAR0とLPAR1に対するCPUの割当率をそれぞれ50%とすると、空間分割では各LPARに対しCPUが一つづつ割当てられ、時間分割では2つのCPUを同一の時間(タイムスライス)だけLPAR0とLPAR1に交互に割当てるという意味になり、どちらの場合にも適用できる。 For example, when a physical computer having two CPUs (CPU0 and CPU1) is divided into two LPARs (LPAR0 and 1) and the CPU allocation rate for LPAR0 and LPAR1 is 50% respectively, One CPU is assigned to each LPAR, and the time division means that two CPUs are alternately assigned to LPAR0 and LPAR1 for the same time (time slice), and can be applied to either case.
ただし、空間分割では割当率はCPUの台数によって規格化されてしまうが(例えば2CPUの場合の割当率は0%、50%、100%のいずれか)、時間分割にはそのような制約はなく、割当率を0〜100%の範囲で自由に指定できる。 However, in space division, the allocation rate is standardized by the number of CPUs (for example, the allocation rate in the case of 2 CPUs is 0%, 50%, or 100%), but there is no such limitation in time division. The allocation rate can be freely specified in the range of 0 to 100%.
従って以後の説明では、割当率に制約の無い時間分割を割当方法として考えるが、空間分割の場合も割当率に制約を設けることによって適用できる。 Therefore, in the following description, time division with no constraint on the allocation rate is considered as an allocation method, but the case of space division can also be applied by providing a constraint on the allocation rate.
また、以下の説明では各LPARに対して動的に配分する計算機資源は、CPU(100〜10n)のみであるとする。主記憶111やI/O装置(120〜12k)に対する動的配分もCPUの場合と同様である。
{4.計算機資源の動的割当変更}
ハイパバイザ200は予めシステム運用前に設定された各LPAR(210〜21m)に対する計算機資源の割当率に従って、各LPARに対して計算機資源を割当てる。
In the following description, it is assumed that only the CPU (100 to 10n) is the computer resource that is dynamically allocated to each LPAR. The dynamic allocation to the
{4. Dynamic allocation change of computer resources}
The
管理者(オペレータ)が物理計算機のコンソール140から割当率を変更すると、ハイパバイザ200は各LPAR(210〜21m)に対する計算機資源の割当率を変更する。
When the administrator (operator) changes the allocation rate from the
あるいは、ハイパバイザ内に設定されたスケジュールに従い、設定された時刻が来ると割当率を変更する。 Alternatively, according to the schedule set in the hypervisor, the allocation rate is changed when the set time comes.
これらの変更方法に加えて、本発明では各LPAR(210〜21m)上のOS(220〜22m)の上で動作するアプリケーションからハイパバイザに対して資源割当変更命令を発行し、資源割当変更命令を受けたハイパバイザは即座にその要求に答えて割当変更を行う機能を設ける。 In addition to these changing methods, in the present invention, a resource allocation change command is issued from the application operating on the OS (220-22m) on each LPAR (210-21m) to the hypervisor, The received hypervisor immediately responds to the request and provides a function for changing the allocation.
この機能は、OS上のアプリケーションから、ハイパバイザのコードをフックする仕組みを実装することによって、容易に実現することができる。
{5.構成}
図3に本発明を適用した仮想計算機システムの機能モジュールの構成を示す。
This function can be easily realized by mounting a mechanism for hooking the hypervisor code from an application on the OS.
{5. Constitution}
FIG. 3 shows the configuration of functional modules of a virtual machine system to which the present invention is applied.
本発明の仮想計算機システムは、上記図2の一部に示した仮想計算機の機能モジュールに、負荷計測部0(400)〜負荷計測部m(40m)と、適応制御部300、および、ユーザインタフェース1000を加えた構成になっている。
{5.1負荷計測部}
負荷計測部0(400)〜負荷計測部m(40m)は、LPAR0(200)〜LPARm(21m)上で動作するOS0(220)〜OSm(22m)の上で動作するアプリケーションであり、OS0(220)〜OSm(22m)の負荷を計測する。
The virtual computer system of the present invention includes a load module 0 (400) to a load measurement unit m (40m), an
{5.1 Load measurement unit}
The load measurement unit 0 (400) to the load measurement unit m (40m) are applications that operate on OS0 (220) to OSm (22m) that operate on LPAR0 (200) to LPARm (21m). 220) to OSm (22m) are measured.
負荷計測部0(400)〜負荷計測部m(40m)はOS0(220)〜OSm(22m)の負荷計測ライブラリを呼び出し、CPU使用率、メモリ使用率、ディスク使用率(ビジー率)、ネットワーク使用率(ビジー率)などの負荷を取得(530〜53m)する。 The load measurement unit 0 (400) to the load measurement unit m (40m) calls the load measurement library of OS0 (220) to OSm (22m), and uses the CPU usage rate, memory usage rate, disk usage rate (busy rate), and network usage. The load such as the rate (busy rate) is acquired (530 to 53 m).
これら負荷の値は%を単位とし、範囲は0〜100とする。負荷計測部0(400)〜負荷計測部m(40m)は、後述するユーザインタフェース1000から計測すべき負荷の種類や制御インターバルの設定情報を受け取り(540〜54m)、その設定情報に基づいて負荷を計測する。負荷計測部0〜負荷計測部mがそれぞれ計測したOS0〜OSmの負荷L0〜Lmは適応制御部300に送られる(520〜52m)。
{5.2適応制御部}
適応制御部300は、OS上のアプリケーションとしてOS0(220)〜OSm(22m)のいずれかに搭載する。適応制御部300は520〜52mで負荷計測部0(400)〜負荷計測部m(40m)のそれぞれからOS0(220)〜OSm(22m)の負荷L0〜Lmを受取り、LPAR0(210)〜LPARm(21m)に対する計算機資源の割当率を求め、割当率が前回の割当率と異なる場合は、ハイパバイザ200に対し資源割当変更命令502を発行する。
These load values are in units of%, and the range is 0-100. The load measuring unit 0 (400) to the load measuring unit m (40 m) receive setting information of the type of load to be measured and the control interval from the
{5.2 Adaptive control unit}
The
各負荷計測部(400〜40m)と適応制御部300との間のやり取りは、ソケット通信等の公知技術を用いる。あるいは、これも公知であるが、ハイパバイザ200を経由して各LPAR0(210)〜LPARm(21m)上のOS0(220)〜OSm(22m)同士が通信するLPAR間通信技術を用いても良い。
The exchange between each load measurement part (400-40m) and the
適応制御部300は、後述するユーザインタフェース1000から計算機資源の割当率の決定方法に関する様々な設定情報を受け取り(507)、この設定情報に従い計測負荷L0〜Lmから各LPAR(210〜21m)に対するCPUの割当率S0〜Smを求める。なお、各LPAR0〜LPARmに対するCPU割当率S0〜Smの合計S0+S1+・・・+Smは、100%となる。
The
適応制御部300から資源割当変更命令502を受けたハイパバイザは、LPAR0(210)〜LPARm(21m)に対する計算機資源の割当率をそれぞれS0〜Smに変更する(510〜51m)。
{5.3ユーザインタフェース}
ユーザインタフェース1000は、管理者やユーザが本発明の仮想計算機システムの負荷計測やCPUの割当率の判定に関する様々な設定を指示するためのインタフェース機能と、各OS(220〜22m)の負荷や各LPAR(210〜21m)に割当てるCPUの割当率を管理者やユーザに対して表示するインタフェース機能を備える。
The hypervisor that has received the resource
{5.3 User interface}
The
設定情報はユーザインタフェース1000で入力され、各負荷計測部(400〜40m)と適応制御部300に渡される(540〜54m、507)。また、負荷や割当率の情報508は適応制御部300からユーザインタフェース1000に渡され表示される。
The setting information is input through the
ユーザインタフェース1000は、OS0(220)〜OSm(22m)のいずれかの上に搭載する。ユーザインタフェースの入力画面や出力画面(後述)は、ユーザインタフェース1000を搭載したOSの画面上に表示される。ユーザインタフェース1000と負荷計測部(400〜40m)や適応制御部300とのやり取りは、前述のソケット通信やLPAR間通信技術を用いれば良い。
{5.4入力ユーザインタフェース}
図3のユーザインタフェース1000の機能のうち、各種の設定を指定する入力ユーザインタフェース1001の画面イメージを図4に示す。
The
{5.4 Input User Interface}
FIG. 4 shows a screen image of the
第1入力項目(適応制御有効設定)1600は負荷適応制御を行うか(適応制御On)行わないかの設定である。1601と1602は二者択一のラジオボタンになっている。負荷適応制御を行う場合は1601を選択し、行わない場合は1602を選択する。 A first input item (adaptive control valid setting) 1600 is a setting for whether to perform load adaptive control (adaptive control On) or not. 1601 and 1602 are alternative radio buttons. If load adaptive control is to be performed, 1601 is selected. If not, 1602 is selected.
第2入力項目1500は制御インターバルの設定である。入力欄1501に制御インターバルの値を入力する。単位は秒であるが、ミリ秒や分などでも良い。入力欄1501に入力された制御インターバルは、負荷計測部(400〜40m)での負荷計測の間隔、および、適応制御部300での割当率判定の間隔として用いられる。
The
第3入力項目(計測負荷設定)1400は、負荷計測部(400〜40m)が計測すべきOS(220〜22m)の負荷の種類を示す。1401〜1404は四者択一のラジオボタンになっており、選択されたものが計測の対象となる。1401はCPU使用率を示し、初期設定ではCPU使用率を計測する。チェックボックス1402、1403、1404はそれぞれ、メモリ使用率、ディスク使用率、ネットワーク使用率を示し、選択したチェックボックスには「レ」の印が表示される。
A third input item (measurement load setting) 1400 indicates the type of load of the OS (220 to 22 m) to be measured by the load measurement unit (400 to 40 m).
第4入力項目(負荷加工設定)1300は、負荷計測部(400〜40m)が計測した負荷L0〜Lmに対し、どのような加工を施すかの設定を示す。1301、1302、1303は三者択一のラジオボタンになっており、1301を選択すると負荷L0〜Lmに対し加工を施さない。1302を選択すると、負荷L0〜Lmに対し移動平均を施す。移動平均のサンプル数は1304に指定する。入力欄1304はラジオボタン1302を選択した場合にのみ有効となる。また、ラジオボタン1303を選択すると、負荷L0〜Lmに対し規格化を施す。規格化の階数を入力欄1305に指定する。入力欄1305はラジオボタン1303が選択された場合にのみ有効となる。
A fourth input item (load machining setting) 1300 indicates a setting of what kind of machining is performed on the loads L0 to Lm measured by the load measuring unit (400 to 40 m).
以後負荷L0〜Lmに対し加工を施して得られた加工負荷を、LA0〜LAmと表す。ラジオボタン1301を選択して負荷に対し加工を施さない場合は、加工負荷は計測した負荷と同じ値とする(LA0=L0、…、LAm=Lm)。移動平均と規格化については後述の(負荷加工処理)で説明する。
Hereinafter, machining loads obtained by machining the loads L0 to Lm are represented as LA0 to LAm. When the
第5入力項目(割当率計算設定)1200は、加工負荷LA0〜LAmの値から各LPAR(210〜21m)に対するCPU割当率を求める割当率計算の方法の設定を示す。1201と1202は二者択一のラジオボタンになっている。ラジオボタン1201を選択すると、割当率計算法として比例法を用いる。
A fifth input item (allocation rate calculation setting) 1200 indicates a setting of an allocation rate calculation method for obtaining a CPU allocation rate for each LPAR (210 to 21m) from the values of the processing loads LA0 to LAm. 1201 and 1202 are alternative radio buttons. When the
ラジオボタン1202を選択すると割当率計算法として閾値法を用いる。閾値法を用いる際の高負荷判定閾値を入力欄1203に、低負荷判定閾値を入力欄1204に指定する。これら入力欄1203、1204は割当率計算法として閾値法が選択された場合にのみ有効となる。
When the
割当率計算によって求めた各LPAR(210〜21m)に対するCPU割当率(仮CPU割当率)をSN0〜SNmと表す。比例法と閾値法については後述の(割当率計算処理)で説明する。 The CPU allocation rate (temporary CPU allocation rate) for each LPAR (210 to 21m) obtained by the allocation rate calculation is represented as SN0 to SNm. The proportional method and the threshold method will be described later (allocation rate calculation processing).
第6入力項目(割当率範囲設定)1100は、各LPAR(210〜21m)に対するCPU割当率の範囲(上限と下限または最大値と最小値)の設定を示す。LPAR毎に割当率の上限(1110〜111m)と下限(1120〜112m)を指定する。上限、下限とも0以上100以下の値を取る。割当率計算で求められた各LPAR(210〜21m)に対する仮CPU割当率(SN0〜SNm)は、各上限(1110〜111m)値を超えず下限値(1120〜112m)を下らないように修正される。 A sixth input item (allocation rate range setting) 1100 indicates setting of a CPU allocation rate range (upper limit and lower limit or maximum value and minimum value) for each LPAR (210 to 21m). An upper limit (1110 to 111 m) and a lower limit (1120 to 112 m) of the allocation rate are designated for each LPAR. Both the upper limit and the lower limit take values from 0 to 100. The temporary CPU allocation rate (SN0 to SNm) for each LPAR (210 to 21m) obtained by the allocation rate calculation is corrected so as not to exceed the upper limit (1110 to 111m) value and not to fall below the lower limit value (1120 to 112m). The
仮CPU割当率を修正したものをCPU割当率S0〜Smとする。この上限、下限を設定することにより、割当率の最低限の保証や割当率の最大値の制限を制御できる。本値は主に各LPARを用いる顧客との契約によって定められる。 The CPU allocation ratios S0 to Sm are obtained by correcting the temporary CPU allocation ratio. By setting the upper and lower limits, it is possible to control the minimum guarantee of the allocation rate and the limitation of the maximum value of the allocation rate. This value is mainly determined by contracts with customers using each LPAR.
設定した割当率範囲に基づく割当率の修正処理に関しては後述の(割当率修正処理)で説明する。 Allocation rate correction processing based on the set allocation rate range will be described later in (allocation rate correction processing).
1700は1100〜1600で指定した設定を実際に有効にするためのボタンである。例えば、第1入力項目1600で負荷適応制御を行う(適応制御On)には、まず1601を選択し、続いて1700を押して設定を有効にする。
各入力項目1300、1400、1500にそれぞれ指定した設定は、負荷計測部(400〜40m)に渡される。また1100〜1600に指定した全ての設定は適応制御部300にも渡される。負荷計測部(400〜40m)と適応制御部300はこれらの各種設定に従って処理を行う。
The settings specified for the
管理者は各OS(220〜22m)上で動作するワークロードの性質を考慮して、各入力項目1100〜1600の各種の項目を設定する。
{5.5出力ユーザインタフェース}
ユーザインタフェース1000の機能のうち、各LPAR(210〜21m)の負荷やCPU割当率を表示する出力ユーザインタフェース1002の画面イメージを図5に示す。
The administrator sets various items of the input items 1100 to 1600 in consideration of the nature of the workload operating on each OS (220 to 22m).
{5.5 output user interface}
Among the functions of the
表示欄1800〜180mは各LPAR(210〜21m)毎の負荷の時系列を示す。負荷は各負荷計測部(400〜40m)が計測した負荷L0〜Lmであっても良いし、負荷L0〜Lmに対し加工を施した加工負荷LA0〜LAmであっても良い。その両方を同時に表示しても良い。どちらの負荷を表示するかユーザが指定できるようになっていても良い。
A
表示欄1810は各LPAR(210〜21m)に対するCPU割当率の時系列を示す。全てのLPAR(210〜21m)のCPU割当率を合計すると100%となる。ある時刻におけるLPARiに対するCPU割当率は、1810のグラフ内のLPARiに相当する部分の縦方向の長さで表される。
A
表示欄1820は割当変更が発生した時刻と、割当変更の理由を逐一表示する。
The
出力ユーザインタフェース1002は、適応制御部300から負荷や割当率の情報508を取得し、それを上記図5のように表示する。
The
本発明の仮想計算機を管理する管理者は、出力インタフェース1002を見ることによって、各LPAR(210〜21m)の負荷がどのように変化しているか、適応制御が適切に動作しているかなどの情報を得ることができる。管理者はこの情報を負荷適応制御の設定にフィードバックすることにより、仮想計算機をより効率的に動作させることができる。
{5.6適応制御処理}
以下では本発明の仮想計算機システムにおける適応制御処理について、図6から図14のフローチャートを用いて説明する。
The administrator who manages the virtual machine of the present invention looks at the
{5.6 Adaptive control processing}
Hereinafter, adaptive control processing in the virtual machine system of the present invention will be described with reference to the flowcharts of FIGS.
図6に負荷適応制御処理の概要を示す。負荷適応制御処理は、まず2001において図4の入力インタフェース1001で指定された設定を読み込む。設定の読み込みは負荷計測部(400〜40m)および適応制御部300で行われる。
FIG. 6 shows an outline of the load adaptive control process. In the load adaptive control process, first, the setting designated by the
次に2002において負荷の計測を行う。負荷計測は負荷計測部(400〜40m)にて行われる。 Next, in 2002, the load is measured. Load measurement is performed by a load measurement unit (400 to 40 m).
次に2003において、入力ユーザインタフェースにて指定された負荷適応制御(1600)を行うかどうかの設定を調べ、負荷適応制御を行う設定になっていれば2004以降で負荷適応制御を行い、そうでない場合は処理を終了する。 Next, in 2003, the setting for whether to perform load adaptive control (1600) designated by the input user interface is checked. If the setting is to perform load adaptive control, load adaptive control is performed in 2004 or later, and not so. If so, the process ends.
2004では各LPAR(210〜21m)に対するCPU割当率S0〜Smを決定し、2005において、決定した割当率の一つ以上が前回の割当率SO0〜SOmと異なる場合、2006においてハイパバイザ200に対しCPUの割当率を変更するように資源割当変更命令を発行して割当を変更し、処理を終了する。割当率が前回の割当率とまったく同じなら、資源割当変更命令を発行せずに処理を終了する。2003〜2006の割当変更指示までの処理は適応制御部300にて行われる。
In 2004, CPU allocation rates S0 to Sm for each LPAR (210 to 21m) are determined. If one or more of the determined allocation rates are different from the previous allocation rates SO0 to SOm in 2005, the CPU is notified to the
本発明の仮想計算機システムは、図6に示した一連の処理を制御インターバル間隔で繰り返し行う。制御インターバルは入力インタフェース1001の1501に指定された値である。
{5.7負荷計測処理}
図6の適応制御処理の内、負荷計測処理2002の詳細を図7に示す。負荷計測処理は負荷計測部(400〜40m)毎に行われ、入力ユーザインタフェース1001の計測負荷種類1400で指定された負荷の種類に従って各OS(220〜22m)の負荷L0〜Lmを計測する。
The virtual computer system of the present invention repeatedly performs a series of processes shown in FIG. 6 at control interval intervals. The control interval is a value specified in 1501 of the
{5.7 Load measurement processing}
Details of the
すなわち、LPARiにおいては、2007で計測負荷種類がCPU使用率である場合は、2008でCPU使用率を計測し、得られた値を負荷Liとする。 That is, in LPARi, if the measured load type is the CPU usage rate in 2007, the CPU usage rate is measured in 2008, and the obtained value is set as the load Li.
そうでなく、2009で計測負荷種類がメモリ使用率であれば、2010でメモリ使用率を計測し、得られた値を負荷Liとする。 Otherwise, if the measured load type is the memory usage rate in 2009, the memory usage rate is measured in 2010, and the obtained value is set as the load Li.
そうでなく、2011で計測負荷種類がディスク使用率であれば、2012でディスク使用率を計測し、得られた値を負荷Liとする。 Otherwise, if the measured load type is the disk usage rate in 2011, the disk usage rate is measured in 2012, and the obtained value is set as the load Li.
そうでなく、2013で計測負荷種類がネットワーク使用率であれば、2014でネットワーク使用率を計測し、得られた値をLiとする。各種の使用率の計測はOS(220〜22m)が備える負荷計測ライブラリ等を用いる。ここで、ネットワーク使用率とは、例えば、接続数、リクエスト数などであり、適宜設定されるものである。
{5.8割当率決定処理}
図6の適応制御処理の中の割当率決定処理2004の詳細を図8に示す。割当率決定処理は、まず2020において負荷計測処理によって計測された各OS(220〜22m)の負荷L0〜Lmに対し加工を施し加工負荷LA0〜LAmを求める。
Otherwise, if the measured load type is the network usage rate in 2013, the network usage rate is measured in 2014, and the obtained value is set as Li. Various usage rates are measured using a load measurement library provided in the OS (220 to 22 m). Here, the network usage rate is, for example, the number of connections, the number of requests, and the like, which are set as appropriate.
{5.8 Allocation Rate Determination Process}
FIG. 8 shows details of the allocation
そして2021において、加工負荷LA0〜LAmに基づいて、LPAR0(210)〜LPARm(21m)に対する仮CPU割当率SN0〜SNmを求める(割当率計算)。 In 2021, temporary CPU allocation rates SN0 to SNm for LPAR0 (210) to LPARm (21m) are obtained based on the processing loads LA0 to LAm (allocation rate calculation).
そして2022で、仮CPU割当率SN0〜SNmが入力ユーザインタフェース1001によって指定されたLPAR毎の割当率範囲の上限(1110〜111m)と下限(1120〜112m)の間に収まるように仮CPU割当率SN0〜SNmを修正してCPU割当率S0〜Smを求め、処理を終了する。
{5.9負荷加工処理}
図8の割当率決定処理の中の負荷加工処理2020の詳細を図9に示す。
In 2022, the temporary CPU allocation ratio SN0 to SNm is set so that it falls within the upper limit (1110 to 111m) and lower limit (1120 to 112m) of the allocation ratio range for each LPAR specified by the
{5.9 Load processing}
The details of the
まず、入力ユーザインタフェース1001の1300において負荷加工を施さない設定(無変換)が選択された場合を2030でチェックし、加工を施さない場合は2031において、負荷L0〜Lmをそのまま加工負荷LA0〜LAmとし(LA0=L0、…、LAm=Lm)、処理を終了する。
First, when the setting (no conversion) that does not perform load machining is selected in 1300 of the
一方、加工を施す場合は2032において、加工の種類が移動平均法であるかどうかを判定し、移動平均法であれば、2033において、負荷に移動平均を施す。 On the other hand, if processing is to be performed, it is determined in 2032 whether the type of processing is a moving average method, and if it is a moving average method, a moving average is applied to the load in 2033.
移動平均は、負荷計測部(400〜40m)が計測した負荷L0〜Lmの過去の値を保存しておく。保存する数は、入力ユーザインタフェース1001の負荷加工設定1300の1304に指定されたサンプル数(Sと表す)から1を引いたS−1個である。
The moving average stores the past values of the loads L0 to Lm measured by the load measuring unit (400 to 40 m). The number to be stored is S−1 obtained by subtracting 1 from the number of samples (denoted as S) specified in 1304 of the load processing setting 1300 of the
ここで、k個前(0<k<S)のLPARi上のOSiの負荷LiをLi(k)と表す。OSi毎に負荷Li(S−1)、…、Li(1)を保存しておくことになる。移動平均はOS毎に最新の負荷Liを含めたS個の負荷系列Li(0)、Li(1)、…、Li(S−1)の平均値を求める。そして求めた値を加工負荷LAiとする。すなわち、LAi = (Li(0)+Li(1)+…+Li(S−1))/Sとなる。この計算をすべてのOS(LPAR)について行いLA0〜LAmを求め処理を終了する。 Here, the Li load of OSi on the LPARi in the previous k (0 <k <S) is expressed as Li (k). Load Li (S-1), ..., Li (1) is stored for each OSi. The moving average obtains an average value of S load series Li (0), Li (1),..., Li (S-1) including the latest load Li for each OS. The obtained value is set as the machining load LAi. That is, LAi = (Li (0) + Li (1) +... + Li (S-1)) / S. This calculation is performed for all the OSs (LPAR) to obtain LA0 to LAm, and the process is terminated.
一方、加工方法として規格化法が選択された場合は、2034において、OSiの負荷Liに対して規格化を施す。 On the other hand, if the normalization method is selected as the processing method, in 2034, the OSi load Li is standardized.
規格化は、値を予め設定された飛び飛びの値のいずれかに合わせる。規格化の階数は入力ユーザインタフェース1001の負荷加工設定1300の1305(階数)に指定された値(N)とする。
In normalization, the value is adjusted to one of preset jump values. The normalization rank is a value (N) specified in 1305 (floor) of the load processing setting 1300 of the
OSiの負荷Liに対し、階数Nの規格化を施して得られた加工負荷LAiは、LAi=(floor(Li×N/100)+1)×100/Nから求める。この計算をすべてのOS(LPAR)について行い、加工負荷LA0〜LAmを求め処理を終了する。 The machining load LAi obtained by standardizing the rank N with respect to the OSi load Li is obtained from LAi = (floor (Li × N / 100) +1) × 100 / N. This calculation is performed for all the OSs (LPAR), the processing loads LA0 to LAm are obtained, and the process is terminated.
なお、負荷の加工はOS(220〜22m)毎に負荷計測部(400〜40m)で行っても良いし、適応制御部300でまとめて行っても良い。負荷計測部で行う場合は、負荷計測部(400〜40m)から適応制御部300に送る値520〜52mは加工負荷LA0〜LAmである。
The load processing may be performed by the load measuring unit (400 to 40 m) for each OS (220 to 22 m), or may be performed collectively by the
適応制御部300で負荷加工を行う場合は、負荷計測部(400〜40m)から適応制御部300に送る値520〜52mは負荷L0〜Lmである。
{5.10割当率計算処理}
図8の割当率決定処理の中の割当率計算処理2021の詳細を図10に示す。 まず2040において、入力インタフェース1001の割当率計算設定1200で比例法が選択されたか、閾値法が選択されたか調べ、比例法であれば2042〜2045の処理を行う。
When load processing is performed by the
{5.10 Allocation rate calculation process}
FIG. 10 shows details of the allocation
(5.10.1 比例法の処理)
2042でループカウンタiを0に初期化し、2043ではループカウンタiの値がmより大きくなるまで、2044と2045の処理を繰り返し行う。
(5.10.1 Proportional method)
In 2042, the loop counter i is initialized to 0. In 2043, the processing of 2044 and 2045 is repeated until the value of the loop counter i becomes larger than m.
2044では、加工負荷LA0〜LAmに基づき仮CPU割当率SNiを求める。2044の計算でΣLAiは、全ての加工負荷LA0〜LAmの和を示す。 In 2044, the temporary CPU allocation rate SNi is obtained based on the processing loads LA0 to LAm. In the calculation of 2044, ΣLAi indicates the sum of all machining loads LA0 to LAm.
SNi:=100LAi/ΣLAi
は、全加工負荷値の和に対するOSiの加工負荷LAiの割合をパーセントで表したものであり、LPARiに対するCPU割当率SNiは、OSiの加工負荷LAiに比例した値となる。
SNi: = 100LAi / ΣLAi
Represents the ratio of the OSi processing load LAi to the sum of all processing load values in percent, and the CPU allocation ratio SNi to LPARi is a value proportional to the OSi processing load LAi.
2045では、ループカウンタiを1だけインクリメントし、2043に戻る。2043から2045の一連の処理が繰り返し行われ、LPAR0(210)〜LPARm(21m)に対する仮CPU割当率SN0〜SNmが求まり、処理を終了する。
(5.10.2 閾値法の処理)
一方、割当計算方法が閾値法の場合は2041を実行する。2041の詳細は図11のようになっている。
In 2045, the loop counter i is incremented by 1, and the flow returns to 2043. A series of processing from 2043 to 2045 is repeated, and the temporary CPU allocation rates SN0 to SNm for LPAR0 (210) to LPARm (21m) are obtained, and the processing ends.
(5.10.2 Processing by threshold method)
On the other hand, if the allocation calculation method is the threshold method, 2041 is executed. Details of 2041 are as shown in FIG.
まず、2050においてループカウンタiを0に初期化し、2051においてループカウンタiがmより大きくなるまで2052以降の処理を繰り返す。2052では、OSiの加工負荷LAiが入力ユーザインタフェース1001の割当率計算方法設定1200の閾値法の1203に指定された高負荷判定閾値THの値より大きく(LAi>TH)、かつOSiが高負荷状態にあることを示すフラグHiが立っていなければ(Hi=0)、つまりこれまで低負荷状態であったが負荷が上がった場合、2053に進んでOSiが高負荷状態になった場合の処理を行う。
First, in 2050, the loop counter i is initialized to 0, and in 2051, the processes in and after 2052 are repeated until the loop counter i becomes larger than m. In 2052, the processing load LAi of OSi is larger than the value of the high load determination threshold TH specified in the
すなわち、2053では仮CPU割当率SNiを100−(100−SPi)Loi/Bとする。ここで、SPiはLPARiに対する前回の負荷適応制御で求めたCPU割当率を示す。またLoiは、OSi以外の各OSjの加工負荷LAjの和を示す。Bは低負荷状態のLPAR上のOSの負荷を高くしていく上限値を示す。 That is, in 2053, the temporary CPU allocation rate SNi is set to 100− (100−SPi) Loi / B. Here, SPi indicates the CPU allocation rate obtained by the previous load adaptive control for LPARi. Loi represents the sum of machining loads LAj of OSj other than OSi. B indicates an upper limit value for increasing the OS load on the LPAR in the low load state.
現在OSi以外のOSの負荷の合計はLoiであり、このとき、LPARi以外のLPARに対するCPU割当率は(100−SPi)である。 The total load of OSs other than OSi is currently Loi, and at this time, the CPU allocation rate for LPARs other than LPARi is (100-SPi).
現在OSiの負荷が高いので、OSiが動作するLPARi以外のLPARに対するCPU割当率を削減し、LPARiに対するCPU割当率を増加させたい。 Since the load of OSi is currently high, we want to reduce the CPU allocation rate for LPARs other than LPARi on which OSi operates, and increase the CPU allocation rate for LPARi.
そこで、LPARi以外のLPARに対するCPU割当率を、LPARi以外のLPARで動作するOSの合計負荷がBになるように減らし、減らした分をLPARiに対するCPU割当率に加える。 Therefore, the CPU allocation rate for LPARs other than LPARi is reduced so that the total load of OSs operating in LPARs other than LPARi is B, and the reduced amount is added to the CPU allocation rate for LPARi.
この計算を式で表すと、
SNi := 100−(100−SPi)Loi/B
と表される。また、SNiを計算すると同時に、OSiが高負荷状態であることを示すフラグHiを1にセットする。またループカウンタjを0にセットする。
Expressing this calculation as a formula:
SNi: = 100- (100-SPi) Loi / B
It is expressed. At the same time as calculating SNi, a flag Hi indicating that OSi is in a high load state is set to 1. The loop counter j is set to 0.
2053は高負荷状態になったOSiに対する仮CPU割当率の計算であったが、2054〜2057はOSi以外のLPARにいてCPU割当率を減らす計算を示す。 While 2053 is a calculation of the temporary CPU allocation ratio for the OSi in a high load state, 2054 to 2057 are calculations for reducing the CPU allocation ratio in the LPAR other than the OSi.
すなわち、2054ではjがmより大きくなるまで2055〜2057の処理を繰り返す。2055では、LPARiに対する仮CPU割当率SNiはすでに2053で計算済みなので、jがiである場合を判定し、j=iなら2056の処理を行わない。
That is, in 2054, the processing of 2055 to 2057 is repeated until j becomes larger than m. In 2055, since the temporary CPU allocation ratio SNi for LPARi has already been calculated in 2053, it is determined whether j is i. If j = i, the
2056では、LPARi以外のLPARに対する仮CPU割当率SNjを計算する。計算方法は、LPARiに対する仮CPU割当率を除いた(100から引いた)値をLPARi以外のLPARの数で割ることによって求める。これを式で表すと、
SNj:= (100−SPi)Loi/(B*m)
となる。
In 2056, a temporary CPU allocation rate SNj for LPARs other than LPARi is calculated. The calculation method is obtained by dividing the value excluding the temporary CPU allocation rate for LPARi (subtracted from 100) by the number of LPARs other than LPARi. This can be expressed as an expression:
SNj: = (100-SPi) Loi / (B * m)
It becomes.
2057ではループカウンタjを1だけインクリメントして、2054に戻る。2054のループを抜けると、各LPAR(210〜21m)に対する仮CPU割当率SNjが全て求まり、処理が終了する。 In 2057, the loop counter j is incremented by 1, and the flow returns to 2054. After exiting the loop of 2054, all the temporary CPU allocation ratios SNj for the respective LPARs (210 to 21m) are obtained, and the process ends.
一方、2052において加工負荷LAiの値が高負荷判定閾値THを超えないか、または、高負荷状態を示すHiフラグが立っている(Hi=1)場合は、2058以降の処理を行う。 On the other hand, if the value of the machining load LAi does not exceed the high load determination threshold TH in 2052 or if the Hi flag indicating the high load state is set (Hi = 1), the processing after 2058 is performed.
2058では、加工負荷LAiが低負荷判定閾値TLより小さく、かつOSiが高負荷状態であることを示すフラグHiが立っている状態、すなわち、これまで高負荷状態であったが負荷が下がった場合、どのLPARも平等なCPU割当率となるように割当率を計算する。 In 2058, when the machining load LAi is smaller than the low load determination threshold TL and the flag Hi indicating that the OSi is in a high load state is set, that is, when the load has been reduced until now. The allocation rate is calculated so that every LPAR has an equal CPU allocation rate.
つまり、2059でループカウンタjを0に初期化し、OSiが高負荷状態であることを示すフラグを下ろし(Hi:=0)、2060でループカウンタjがmとなるまで繰り返し2061を行う。2061では、LPARjの仮CPU割当率SNjを100/mとし、ループカウンタを1インクリメントして2060に戻る。2060の条件判定が真となってループを抜けると、各LPAR(210〜21m)に対する仮CPU割当率SN0〜SNmはすべて100/mとなり、処理を終了する。 That is, in 2059, the loop counter j is initialized to 0, the flag indicating that the OSi is in a high load state is cleared (Hi: = 0), and in 2060, the loop counter j is repeated until the loop counter j becomes m. In 2061, the temporary CPU allocation ratio SNj of LPARj is set to 100 / m, the loop counter is incremented by 1, and the process returns to 2060. When the condition determination of 2060 is true and the process exits the loop, the temporary CPU allocation rates SN0 to SNm for each LPAR (210 to 21m) are all 100 / m, and the process is terminated.
また、2058においてOSiの加工負荷LAiが、低負荷判定閾値より大きいかあるいはOSiが高負荷状態でない(Hi=0)場合は、2062でループカウンタiを1だけインクリメントし、2051に戻る。 If the OSI processing load LAi is larger than the low load determination threshold or the OSi is not in a high load state (Hi = 0) in 2058, the loop counter i is incremented by 1 in 2062, and the flow returns to 2051.
2051で条件が真となると、いずれのOS(220〜22m)においても、2052や2058の条件を満足する(真となる)ような負荷の変化はないため、2063以降でLPARjに対する仮CPU割当率SNjの値を、一回前の適応制御の際に求めたLPARjに対するCPU割当率SPjの値とする(SNj:=SPj)ことを各LPAR(210〜21m)について行い(2063、2064、2065)、処理を終了する。
{5.11割当率修正処理}
図8の割当率決定処理に示した割当率修正処理2022の詳細を図12、図13、図14に示す。
When the condition becomes true in 2051, there is no change in load that satisfies the conditions of 2052 and 2058 (becomes true) in any OS (220 to 22m). Therefore, the temporary CPU allocation rate for LPARj after 2063 The value of SNj is set to the value of CPU allocation rate SPj for LPARj obtained in the previous adaptive control (SNj: = SPj) for each LPAR (210-21m) (2063, 2064, 2065). The process is terminated.
{5.11 Allocation rate correction processing}
Details of the allocation
まず、図12の2071〜2078において、LPARiに対する仮CPU割当率SNiの値が、入力ユーザインタフェース1001の割当率範囲設定1100で指定されるLPARi(21i)に対する割当率の上限MaxSi(111i)と下限MinSi(112i)の間に入っているかどうか調べ(MinSi ≦ SNi ≦ MaxSi)、この上限と下限に入っていない場合には、SNiに対して、
MinSi ≦ SNi+di ≦ MaxSi
を満足する最小限のdiの値を求める。
First, in 2071 to 2078 of FIG. 12, the value of the temporary CPU allocation rate SNi for LPARi is the upper limit MaxSi (111i) and lower limit of the allocation rate for LPARi (21i) specified by the allocation rate range setting 1100 of the
MinSi ≦ SNi + di ≦ MaxSi
Find the minimum value of di that satisfies.
すなわち2071においてループカウンタiを0に初期化し、2072においてiがmより大きくなるまで2073〜2078の処理を繰り返し行う。2073は仮CPU割当率SNiがMaxSiより大きな値か調べ、もし大きければ2074でdiの値をMaxSi−SNiから求める(diは負の値)。 That is, the loop counter i is initialized to 0 in 2071, and the processing of 2073 to 2078 is repeated until i becomes larger than m in 2072. 2073 checks whether the temporary CPU allocation rate SNi is larger than MaxSi, and if it is larger, 2074 obtains the value of di from MaxSi-SNi (di is a negative value).
もし2073でSNiがMaxSi以下である場合は、2075において仮CPU割当率SNiがMinSiより小さいか調べ、小さい場合は2076でdiの値をMinSi‐SNiから求める(diは正の値)。 If SNi is equal to or less than MaxSi in 2073, it is checked in 2075 whether the temporary CPU allocation rate SNi is smaller than MinSi. If it is smaller, the value of di is obtained from MinSi-SNi in 2076 (di is a positive value).
2075において、SNiがMaxSi以上である場合は、MinSi≦SNi≦MaxSiを満足するから、2077においてdiを0とする。2074、2076、2077のいずれかによってdiの値が求まると、2078においてループカウンタiの値を1インクリメントし、2072に戻る。 In 2075, if SNi is greater than or equal to MaxSi, since MinSi ≦ SNi ≦ MaxSi is satisfied, di is set to 0 in 2077. When the value of di is obtained by any of 2074, 2076, and 2077, the value of the loop counter i is incremented by 1 in 2078, and the flow returns to 2072.
2072の条件判定が真となれば、各LPAR(210〜21m)に対するdiが求まっている。 If the condition determination of 2072 is true, di is obtained for each LPAR (210 to 21m).
求めたdiの値を、SNiに加えてCPU割当率Siとすれば(Si:=SNi+di)、いずれのLPARに対するCPU割当率Siも、
MinSi≦Si≦MaxSi
を満足する。
If the calculated value of di is the CPU allocation rate Si in addition to SNi (Si: = SNi + di), the CPU allocation rate Si for any LPAR is
MinSi ≦ Si ≦ MaxSi
Satisfied.
しかし、diによって仮CPU割当率を増減しているため、ΣSiが100%とならない可能性がある。 However, since the temporary CPU allocation rate is increased or decreased by di, ΣSi may not be 100%.
そこで、2079以降で、Siが上限MaxSiと下限MinSiの範囲を満足しつつ、ΣSi=100となるようにSiの値を修正する。 Therefore, after 2079, the value of Si is corrected so that ΣSi = 100 while Si satisfies the range of the upper limit MaxSi and the lower limit MinSi.
2079ではΣdi(diをi=0〜i=mまで合計した値)が正であるか調べ、正であった場合は、2080においてdiの値が0以下となるようなdiの個数をxmとして図13の2082以降を実行する。
In 2079, it is checked whether Σdi (a value obtained by summing di from i = 0 to i = m) is positive. If it is positive, the number of di in which the di value is 0 or less in 2080 is defined as xm.
2079でΣdiが0以下であった場合は、2081においてdiの値が0以上となるようなdiの個数をxpとして図14の2101以降を実行する。 If Σdi is 0 or less in 2079, the number of di such that the value of di is 0 or more in 2081 is set to xp, and the processing from 2101 onward in FIG. 14 is executed.
図13の2082ではループカウンタjを0に初期化し、2083でjがmより大きいか、Σdiの値が0となるまで、2084〜2089を繰り返し行う。 In 2082 of FIG. 13, the loop counter j is initialized to 0, and 2084 to 2089 are repeatedly performed until j is larger than m or the value of Σdi becomes 0 in 2083.
CPU割当率計算処理によって求められた仮CPU割当率SNiの合計ΣSNiは100%となるように求められているので、Σdiが正であるということは、Σ(SNi+di)>100%となる。 Since the total ΣSNi of the temporary CPU allocation ratios SNi obtained by the CPU allocation ratio calculation process is determined to be 100%, that Σdi is positive means that Σ (SNi + di)> 100%.
そこで、一部のLPARに対するCPU割当率を、より小さな値にするように修正しなければならない。diが0より大きな値になっているということは、仮CPU割当率SNjそのものはMinSjより小さな値であり、従ってSNj + diはMinSjとなるから、このLPARに対するCPU割当率を小さくするわけには行かない。 Therefore, the CPU allocation rate for some LPARs must be corrected to a smaller value. The fact that di is a value larger than 0 means that the temporary CPU allocation rate SNj itself is smaller than MinSj, and therefore SNj + di is MinSj. Therefore, the CPU allocation rate for this LPAR cannot be reduced. I won't go.
つまりCPU割当率の値を小さく修正する対象は、diが0以下の場合についてということになる。そこで2084において、diの値が0以下であるものについてのみ2085〜2089の処理を行っている。 In other words, the target for correcting the CPU allocation rate to be smaller is for the case where di is 0 or less. Therefore, in 2084, the processing of 2085 to 2089 is performed only for the case where the value of di is 0 or less.
さて、割当率をどれだけ小さくするかは、最終的なCPU割当率の合計が100%となるようにすれば良い。そこで、割当率が100%を超える分Σdjを、割当率を修正できる対象の数xmで等分したΣdj/xmを修正対象から引いて修正する。ただし、SNj+di−Σdj/xmが逆にMinSjより小さくなってはならないので、これを2085において判断する。小さくならない場合は、2086において新たに、
dj:=dj−Σdj/xm
とする。
Now, how much the allocation rate is to be reduced should be such that the final total CPU allocation rate is 100%. Therefore, Σdj / xm obtained by equally dividing the amount Σdj whose allocation rate exceeds 100% by the number xm of targets whose allocation rate can be corrected is subtracted from the correction target. However, since SNj + di−Σdj / xm must not be smaller than MinSj, this is determined in 2085. If it does not get smaller, a new one at 2086
dj: = dj-Σdj / xm
And
一方、SNj+di−Σdj/xmがMinSjより小さい場合は、2087において、CPU割当率がMinSjとなるように、新たに、
dj:=MinSj−SNj
とする。djの値を修正すると2088においてxmを1だけデクリメントし、2089でループカウンタjを1だけインクリメントして2083に戻る。
On the other hand, when SNj + di−Σdj / xm is smaller than MinSj, in 2087, a new CPU allocation rate is set to MinSj.
dj: = MinSj-SNj
And When the value of dj is corrected, xm is decremented by 1 at 2088, the loop counter j is incremented by 1 at 2089, and the flow returns to 2083.
2083の条件判定が真となってループを終了すると、修正されたdjが求まっている。そこで、2090〜2092においてLPARiに対する最終的なCPU割当率Siを、
Sk := SNk+dk
より計算して求め、処理を終了する。なお、2092では、カウンタkを1だけインクリメントする。
When the condition determination of 2083 is true and the loop is terminated, the corrected dj is obtained. Therefore, the final CPU allocation rate Si for LPARi in 2090 to 2092 is
Sk: = SNk + dk
The calculation is obtained and the processing is terminated. In 2092, the counter k is incremented by one.
次に、図14の2101ではループカウンタjを0に初期化し、2102でjがmより大きいか、Σdiの値が0となるまで、2103〜2108を繰り返し行う。 Next, in 2101 of FIG. 14, the loop counter j is initialized to 0, and 2103 to 2108 are repeatedly performed until j is greater than m in 2102 or the value of Σdi becomes 0.
CPU割当率計算処理によって求められた仮CPU割当率SNiの合計ΣSNiは、100%となるように求められているので、Σdiが負であるということは、Σ(SNi+di)<100%となる。 Since the total ΣSNi of the temporary CPU allocation ratios SNi calculated by the CPU allocation ratio calculation process is determined to be 100%, the fact that Σdi is negative means that Σ (SNi + di) <100%.
そこで、一部のCPU割当率をより大きな値にするように修正しなければならない。diが0より小さな値になっているということは、仮CPU割当率SNjそのものはMaxSjより大きな値であり、従ってSNj+diはMaxSjとなるから、このLPARに対するCPU割当率を大きくするわけには行かない。 Therefore, some CPU allocation ratios must be corrected to be larger values. If di is a value smaller than 0, the temporary CPU allocation rate SNj itself is larger than MaxSj, and therefore SNj + di is MaxSj. Therefore, the CPU allocation rate for this LPAR cannot be increased. .
つまりCPU割当率の値を大きな値に修正する対象はdiが0以上の場合についてということになる。 In other words, the target for correcting the CPU allocation rate to a large value is the case where di is 0 or more.
そこで2103において、diの値が0以上であるものについてのみ2104〜2107の処理を行っている。 Therefore, in 2103, the processing of 2104 to 2107 is performed only for the case where the value of di is 0 or more.
さて、割当率をどれだけ大きくするかは、最終的なCPU割当率の合計が100%となるようにすれば良い。そこで、割当率が100%を下回る分Σdjを、割当率を修正できる対象の数xpで等分したΣdj/xpを修正対象から引いて(Σdj/xpは負の値なので)修正する。 Now, how much the allocation rate is increased should be such that the final total CPU allocation rate is 100%. Therefore, Σdj / xp obtained by equally dividing the amount Σdj whose allocation rate is less than 100% by the number xp of targets whose allocation rate can be corrected is subtracted from the correction target (since Σdj / xp is a negative value).
ただし、SNj+di−Σdj/xpが逆にMaxSjより大きくなってはならないので、これを2104において判断する。大きくならない場合は、2105において新たに、
dj:=dj−Σdj/xp
とする。
However, since SNj + di−Σdj / xp must not be larger than MaxSj, this is determined in 2104. If it does not increase, a new 2105
dj: = dj-Σdj / xp
And
一方大きい場合は、2106において、CPU割当率がMaxSjとなるように、新たに、
dj:=MaxSj−SNj
とする。djの値を修正すると2107においてxpを1だけデクリメントし、2108においてループカウンタjを1だけインクリメントして2102に戻る。
On the other hand, if it is larger, in 2106, the CPU allocation rate is set to MaxSj.
dj: = MaxSj−SNj
And When the value of dj is corrected, xp is decremented by 1 in 2107, the loop counter j is incremented by 1 in 2108, and the process returns to 2102.
2102の条件判定が真となってループを終了すると、修正されたdjが求まっている。そこで、上記2090〜2092(図13)においてLPARiに対する最終的なCPU割当率Siを、
Si:=SNi+di
より計算して求め、処理を終了する。
{6.全体的な作用}
以上の処理により、各LPAR上のOS上で実行されるアプリケーション(サービス、デーモンを含む)のワークロード性質(定常時の負荷、ピーク時の負荷、ピーク幅などの特性)に応じて、入力ユーザインタフェース1001で各LPARの計測負荷種類を適宜選択し、また、適切な制御インターバル1500を設定することにより、ワークロードの急増(ピークの発生)に対して適切な割当率の変更を行うことが可能となって、各LPARに対する計算機資源の適切な割当の自動化を実現できるのである。
When the condition determination of 2102 is true and the loop is finished, the corrected dj is obtained. Therefore, the final CPU allocation rate Si for LPARi in 2090 to 2092 (FIG. 13) is as follows.
Si: = SNi + di
The calculation is obtained and the processing is terminated.
{6. Overall action}
Through the above processing, the input user is selected according to the workload characteristics (characteristics such as steady load, peak load, and peak width) of applications (including services and daemons) executed on the OS on each LPAR. By appropriately selecting the type of measurement load for each LPAR using the
例えば、LPARaのOSa上でWebサーバが稼動し、LPARb上のOSb上でデータベースサーバが稼動している場合、各LPARのCPU使用率が同等であったとしても、負荷が掛かる部分が異なり(ワークロード特性)、Webサーバでは、負荷の増大はネットワーク使用率の増大が伴い、データベースサーバでは、負荷の増大はディスク使用率(またはキャッシュ用のメモリ使用率)が増大するという特性がある。 For example, when a web server is running on the OS of LPARa and a database server is running on the OSb of LPARb, even if the CPU usage rate of each LPAR is the same, the load is different (work) Load characteristics) In the Web server, an increase in load accompanies an increase in the network usage rate, and in a database server, an increase in load has a characteristic that the disk usage rate (or memory usage rate for cache) increases.
そこで、管理者は、入力ユーザインタフェース1001で、各LPARiのOSi上で稼動するアプリケーションのワークロード特性に応じて、計測負荷種類を決定すればよく、上記の例では、Webサーバが稼動するLPARaではネットワーク使用率を選択し、データベースサーバが稼動するLPARbではディスク使用率を選択することで、負荷の種類と大きさに応じた計算機資源の動的な割当率変更を適切に行うことが可能となるのである。
Therefore, the administrator only has to determine the type of measurement load according to the workload characteristics of the application running on the OSi of each LPARi using the
特に、Webサーバ等では、負荷のピークが現れる時刻等を予測するのが非常に難しいため、本発明のように、ワークロード特性に応じて適宜負荷計測の種類を選択して適応制御を行うことにより、負荷の増減に応じた計算機資源の割当率変更を自動的かつ適切に行うことが可能となるのである。 In particular, in a Web server or the like, it is very difficult to predict the time when a load peak appears, and therefore adaptive control is performed by appropriately selecting the type of load measurement according to the workload characteristics as in the present invention. This makes it possible to automatically and appropriately change the allocation rate of computer resources in accordance with the increase or decrease of the load.
また、入力ユーザインタフェース1001では、計測した負荷の加工について、無変換、移動平均、規格化のいずれかを選択するようにしたので、各LPARのピークの発生状況などに応じたチューニング(最適化)を行うことが可能となる。
In addition, since the
つまり、負荷加工で無変換を選択すれば、計算機資源の動的な割当率変更が、負荷変動に対してリニアに応答可能となり、移動平均を選択した場合には、負荷の微小な変動に対して割当率の変更が頻繁になるのを抑制して、割当率変更に伴うオーバーヘッドを低減できるとともに、制御インターバル及びサンプル数との組み合わせで幅広いチューニング(最適化)を行うことができ、あるいは、規格化を選択した場合では、負荷の微小な変動に対して割当率の頻繁な変更を抑制して、割当率変更に伴うオーバーヘッドを低減でき、制御インターバル及び規格化の階層数の組み合わせに応じて幅広いチューニングを行うことができる。 In other words, if no conversion is selected for load processing, the dynamic allocation rate change of computer resources can respond linearly to load fluctuations, and if moving average is selected, it will respond to minute load fluctuations. In this way, it is possible to reduce the overhead associated with changing the allocation rate by suppressing frequent changes in the allocation rate, and to perform a wide range of tuning (optimization) in combination with the control interval and the number of samples. Can be used to suppress the frequent change of the allocation rate in response to minute changes in the load, reducing the overhead associated with the change in the allocation rate, and it can vary widely depending on the combination of the control interval and the number of standardization layers Tuning can be performed.
さらに、割当変換(割当率計算)1200では、比例法と閾値法を選択可能としたので、負荷変動に対してリニアに応答する必要がある場合では比例法を適用し、負荷の微小な変動に対して割当率の頻繁な変更を抑制したい場合には閾値法を用いることで、頻繁な割当率変更に伴うオーバーヘッドを低減でき、さらに高負荷、低負荷の閾値に応じて幅広いチューニング(最適化)を行うことができる。 Furthermore, in the allocation conversion (allocation rate calculation) 1200, the proportional method and the threshold method can be selected. Therefore, in the case where it is necessary to respond linearly to the load fluctuation, the proportional method is applied to reduce the minute load fluctuation. On the other hand, if you want to suppress frequent changes in the allocation rate, the threshold method can be used to reduce the overhead associated with frequent allocation rate changes, and a wide range of tuning (optimization) according to the high and low load thresholds. It can be performed.
また、出力ユーザインタフェース1002により、各LPARi毎の負荷と時刻の関係と、割当率変更の内容を時系列的に表示するようにしたので、負荷変動に対してどのように計算機資源の割当率が変更されたのかをユーザ(管理者)に知らせることができ、管理者はこの負荷と割当率の履歴に基づいて、入力ユーザインタフェース1001で設定する各種パラメータの検討を行い、各LPARi毎に最適なチューニングを行うことが可能となる。
In addition, since the
図15は第2の実施形態を示し、前記第1実施形態の一部を変更し、ユーザインタフェース1000を搭載するLPARを独立させたものである。
FIG. 15 shows a second embodiment, in which a part of the first embodiment is changed and an LPAR mounting the
以下、前記第1実施形態との相違点についてのみ説明する。 Hereinafter, only differences from the first embodiment will be described.
図15は、前記1実施形態の図3に示したLPAR0(210)〜LPARm(21m)以外に管理目的のLPAR(LPARx)を設け、この上でOSxを動作させ、このOSx上に適応制御部300とユーザインタフェース1000を搭載する。
FIG. 15 shows an LPAR (LPARx) for management purposes other than the LPAR0 (210) to LPARm (21m) shown in FIG. 3 of the first embodiment, and the OSx is operated on the LPAR0 (LPARx). 300 and a
ユーザインタフェース1000の入力画面や出力画面はOSxの画面上に表示される。また、OSx上には負荷計測部は搭載しない。各負荷計測部(400〜40m)と適応制御部300とユーザインタフェース1000との間のやり取りは、ソケット通信やLPAR間通信技術を用いる。その他は前記第1実施形態と同様である。
The input screen and output screen of the
この例では、適応制御部300及びユーザインタフェース1000が管理用のLPARx(22x)上で稼動するため、他のLPAR0〜mではLPARの動的な割当率変更に要する計算機資源が不要となって、各OS0〜mは負荷計測部400〜40mの処理を除いてアプリケーションの実行に専念でき、各LPARの利用効率を向上させることが可能となる。
In this example, since the
図16は第3の実施形態を示し、前記第1実施形態の一部を変更し、適応制御部300とユーザインタフェース1000をハイパバイザ200の内部に設けたものである。
FIG. 16 shows a third embodiment, in which a part of the first embodiment is changed, and an
以下、前記第1実施形態との相違点についてのみ説明する。 Hereinafter, only differences from the first embodiment will be described.
図16は、前記実施形態1の図3に示した適応制御部300とユーザインタフェース1000を、ハイパバイザ200の内部に設けたものである。ユーザインタフェース1000の入力画面や出力画面は物理計算機130のコンソール140に表示される。
FIG. 16 is a diagram in which the
各負荷計測部(400〜40m)と適応制御部300やユーザインタフェース1000とのやり取りはLPAR間通信で用いられる共有メモリを介して行う。また、適応制御部300とユーザインタフェース1000との間のやり取りはハイパバイザ200の内部メモリを用いれば良い。その他の構成は前記第1実施形態と同様である。
The exchange between each load measuring unit (400 to 40 m), the
図17は第4の実施形態を示し、前記第1実施形態のユーザインタフェースの一部変を更したものである。 FIG. 17 shows the fourth embodiment, which is a partial modification of the user interface of the first embodiment.
以下、前記第1実施形態との相違点についてのみ説明する。 Hereinafter, only differences from the first embodiment will be described.
図17の入力ユーザインタフェース1003は、前記第1実施形態の図4に示した入力ユーザインタフェースに、Saveボタン1701とRestoreボタンを加えたもので、その他の構成は、前記第1実施形態の図4と同様である。
An
この入力ユーザインタフェース1003は、表示領域の下部にSaveボタン1701とRestoreボタン1702を付け加えたものである。
This
Saveボタン1701を押す(クリックする)と、入力項目1100〜1600で指定された各種の設定を、予め設定したディスク上の設定保存ファイルに書き出す。Restoreボタン1702を押すと、設定を保存している上記設定保存ファイルを読み出し、入力項目1100〜1600を保存された時点の設定に復元する。
When the
これにより、管理者は本発明の仮想計算機システムを起動するたびに、設定を入力ユーザインタフェース1003から入力する必要がなくなり、設定保存ファイルを呼び出すだけで保存されていた設定を復元できる。
This eliminates the need for the administrator to input settings from the
図18は、第5の実施形態を示し、前記第1実施形態のユーザインタフェースの出力インタフェース(出力部)を変更して、ログ記録部1004としたもので、その他の構成は前記第1実施形態と同様である。以下、前記第1実施形態との相違点についてのみ説明する。
FIG. 18 shows a fifth embodiment, in which the output interface (output unit) of the user interface of the first embodiment is changed to a
図18のログ記録部1004は、前記第1実施形態のOS0(210)〜OSm(22m)の何れかの上に搭載する。
The
ログ記録部1004は、適応制御部300から各OS(220〜22m)の負荷L0〜Lm又は加工負荷LA0〜LAmと、各LPAR(210〜21m)に対するCPU割当率S0〜Smおよび、割当変更がなされた際の変更理由を一定時間毎に受け取り、それらを時系列としてログファイル1005に書き出す。
The
管理者は、このログファイル1005を参照することにより、負荷変動に対してどのように計算機資源の割当率が変更されたのかを知ることができ、管理者はこの負荷と割当率の履歴に基づいて、入力ユーザインタフェース1001で設定する各種パラメータの検討を行って、各LPARi毎に最適なチューニングを行うことが可能となる。
By referring to this
なお、このログ記録部1004を前記第2実施形態に適用する場合では、ログ記録部1004を適応制御部300を搭載した管理LPAR(LPARx)上に搭載する。
When this
また、同じく前記第3実施形態に適用する場合は、ハイパバイザ200の内部にログ記録部1004が設けられる。
Similarly, when applied to the third embodiment, a
図19は、第6の実施形態を示し、前記第1実施形態のユーザインタフェース1000に、各LPARを利用する顧客に対して提供する契約ユーザインタフェースを付加したもので、その他の構成は、前記第1実施形態と同様である。
FIG. 19 shows a sixth embodiment in which a contract user interface provided to a customer who uses each LPAR is added to the
契約ユーザインタフェース0(3000)〜契約ユーザインタフェースm(300m)は、それぞれ、LPAR0(210)〜LPARm(21m)に対応して設けられている。 Contract user interface 0 (3000) to contract user interface m (300m) are provided corresponding to LPAR0 (210) to LPARm (21m), respectively.
本実施形態の仮想計算機においは、契約を結んだ顧客毎にLPARを用意し、顧客はインターネット(またはネットワーク)を介して、その顧客に割当てられたLPARにアクセスして処理を行う。したがって、契約ユーザインタフェース(3000〜300m)は契約を結んだ顧客の計算機の画面(表示手段)上に表示される。 In the virtual machine of this embodiment, an LPAR is prepared for each customer who has a contract, and the customer accesses the LPAR assigned to the customer via the Internet (or network) and performs processing. Therefore, the contract user interface (3000 to 300 m) is displayed on the screen (display means) of the customer's computer with the contract.
契約ユーザインタフェース0(3000)は、入力データ600と出力データ610によってユーザインタフェース1000と接続されている。また契約ユーザインタフェースm(300m)は、入力データ60mと出力データ61mによってユーザインタフェース1000と接続されている。
Contract user interface 0 (3000) is connected to
契約ユーザインタフェース(3000〜300m)は、顧客が契約内容を更新したり、本発明の仮想計算機システムが当該顧客に対して割当てている計算機資源の割当率等のサービス状況の表示などを実行する。 The contract user interface (3000 to 300m) executes a contract status update by the customer, a display of service status such as an allocation rate of the computer resources allocated to the customer by the virtual computer system of the present invention, and the like.
契約ユーザインタフェース(3000〜300m)は、図20に示す契約入力ユーザインタフェース3100と、図21の契約確認ユーザインタフェース3200から構成される。あるいは、図22の契約出力ユーザインタフェースを含んでも良い。
The contract user interface (3000 to 300m) includes a contract
次に、図20の契約入力ユーザインタフェース3100)について説明する。
Next, the contract
図20の契約入力ユーザインタフェースは、契約顧客が契約の内容を変更するためのインタフェースである。ここでの契約内容とは、契約しているLPARに対するCPU割当率の上限3101と下限3102の入力欄である。
The contract input user interface in FIG. 20 is an interface for the contract customer to change the content of the contract. The contract contents here are input fields for an
顧客は自らに割当てられているLPARに対するCPU割当率の上限と下限を、当該LPAR上で行う処理のワークロードに関する知識を利用しながら、契約入力ユーザインタフェース3100の上限3101と下限3102に指定する。
The customer designates the upper limit and the lower limit of the CPU allocation rate for the LPAR assigned to the customer as the
3103は、図20の3101と3102に入力された割当率の上限と下限(割当率範囲)を有効とする(契約を変更する)ためのボタンである。
変更ボタン3103が押され(クリックされ)ると、入力欄3101と3102で指定された割当率の上限と下限の情報が、図19の入力データ600を介してユーザインタフェース1000の入力ユーザインタフェース1001に送られる。
When the
入力ユーザインタフェース1001は、指定された割当率範囲が妥当なものかを確認し、妥当であれば、入力ユーザインタフェース1001の割当率範囲設定1100の当該LPARiの上限(111i)と下限(112i)に送られてきた上限と下限の値を設定し、図4に示した更新ボタン1700を押したのと同様に設定を有効にする。
The
割当率範囲が妥当でない場合(他の顧客が下限の値を大きく設定し、当該顧客に対して指定された値を下限に設定できない場合は妥当ではないと判断される。)、送られてきた上限と下限は割当率範囲設定1100には反映されない。 If the quota range is not valid (if another customer sets the lower limit value large and the value specified for the customer cannot be set to the lower limit, it is judged not valid) The upper and lower limits are not reflected in the allocation rate range setting 1100.
そして、入力ユーザインタフェース1001は、当該顧客の画面に図21の契約確認ユーザインタフェース3200を表示し、先の契約変更が正しく受付けられたかどうかを顧客に通知する。
Then, the
次に、図21の契約確認ユーザインタフェースについて説明する。 Next, the contract confirmation user interface of FIG. 21 will be described.
図21の契約確認ユーザインタフェース3200は、顧客が契約入力ユーザインタフェース3100によって指示した契約変更要求が、正しく受付けられたかどうかの確認を顧客に提示するユーザインタフェースである。3201は契約変更の受付け状況を示す。この受付け状況3201は、契約変更要求が正しく受付けられた場合はAcceptedを表示し、正しく受付けられない場合はInvalid等を表示する。
The contract
正しく受付けられるためには、契約入力ユーザインタフェース3100から入力ユーザインタフェース1001に送られた割当率範囲が妥当なものである必要がある。
In order to be accepted correctly, the allocation ratio range sent from the contract
契約内容3202には、契約変更が正しく受付けられた場合には、変更された契約内容が表示され、契約変更が正しく受付けられなかった場合には、その理由が表示される。
In the
次に、図22の契約出力ユーザインタフェースについて説明する。 Next, the contract output user interface of FIG. 22 will be described.
図22の契約出力ユーザインタフェース3300は、当該顧客に対応したLPARの上で動作するOSの負荷又は加工負荷の時系列(3301)、当該LPARに割当てられている計算機資源の割当率の時系列(3302)、および割当変更が発生した場合の変更理由3303を表示する。前記第1実施形態に示した図5の出力ユーザインタフェース1002とは異なり、ここで表示されるのは、当該顧客が契約して使用しているLPARに関する情報のみであり、他の顧客が契約しているLPARの情報は表示されない。
The contract output user interface 3300 in FIG. 22 includes a time series (3301) of OS load or processing load operating on the LPAR corresponding to the customer, and a time series of allocation rate of computer resources allocated to the LPAR ( 3302), and a change reason 3303 when an assignment change occurs are displayed. Unlike the
以上により、各LPARを利用する顧客は、契約ユーザインタフェース3000〜300mにより、利用するLPAR毎の負荷と割当率の変化を時系列に確認できるとともに、契約の範囲内で割当率の変更を行うことが可能となり、顧客は契約内容を常時確認できるようになるとともに、負荷と割当率の変化の履歴に基づいて、自らが割当率を変更することができるため、LPARの利用者に対するサービスの向上を図ることができる。
As described above, customers who use each LPAR can check the load and allocation rate change for each LPAR to be used in chronological order through the
なお、契約出力ユーザインタフェース3300は、画面(コンソール140)に値を表示するユーザインタフェースであるが、これを前記図18に示したログ記録部1004で置き換えても良い。このときログ記録部1004は、顧客が本発明の仮想計算機にインターネットを介してアクセスする際に使用するアクセス装置(計算機等)に搭載し、ログ記録部1004は顧客のアクセス装置にログファイルを出力するようにしてもよい。
The contract output user interface 3300 is a user interface that displays values on the screen (console 140), but this may be replaced by the
図23は、第7の実施形態を示し、前記第6実施形態の契約入力ユーザインタフェース3100の入力を変更したものであり、その他の構成は前記第6実施形態と同様である。
FIG. 23 shows the seventh embodiment, in which the input of the contract
図23において、契約入力ユーザインタフェース3400は、前記図20の契約入力ユーザインタフェース3100に比べて、指定する内容が抽象的になっており、LPARの利用者の割当率の変更にかかる操作を簡易にするものである。
In FIG. 23, the contract
すなわち、サービスのレベルをS、A、B、Cから選択するために、図中3401〜3404は四者択一のラジオボタンになっており、3401はレベルSの選択を、3402はレベルAの選択を、3403はレベルBの選択を、3404はレベルCの選択を示す。
That is, in order to select the service level from S, A, B, and C, 3401 to 3404 in the figure are four-way radio buttons, 3401 is the selection of level S, and 3402 is the level A. A
レベルSは最も性能重視の契約を示す。レベルCは最も価格重視の契約を示す。レベルAは性能重視だが、レベルSほど価格は高くなく、レベルBは価格重視だがレベルCより性能を重視する契約である。どのレベルがどのようなサービスを提供するかは、契約書などの記述に基づくものである。 Level S indicates the most performance-oriented contract. Level C represents the most price-oriented contract. Level A is a performance-oriented, but price is not as high as level S, and level B is a price-oriented contract, but performance is more important than level C. Which level provides what service is based on a description such as a contract.
図中3403は契約変更ボタンであり、このボタンを押すと選択されたサービスレベルが入力ユーザインタフェース1001に送られる。入力ユーザインタフェース1001は、サービスレベルが送られてくると、そのサービスレベルを予め定められたチャート(図示省略)等を参照して、計算機資源の割当率の上限と下限に変換し、それらの値が妥当かどうか判断し(他の顧客と契約したサービスレベルが守れなければ、当該顧客の指示したサービスレベルは妥当でないと判断される)、妥当であれば、入力ユーザインタフェース1001の割当率範囲設定1100の当該LPARiの上限(111i)と下限(112i)に、チャートを参照して得られた上限と下限の値を設定し、1700の更新ボタンを押したのと同様に設定を有効にする。妥当でない場合は、上限と下限の値は割当率範囲設定1100には反映されない。
In the figure,
契約入力ユーザインタフェース3400によって契約内容の変更指示が発行され、それに対して、入力ユーザインタフェース1001が顧客画面に出力する契約確認ユーザインタフェース3200は、前記第6実施形態の場合と同様である。また、契約出力ユーザインタフェース3300についても前記第6実施形態と同様である。
The contract
なお、負荷計測手段が計測した負荷または適応制御手段が決定した各論理区画に対する計算機資源の割当率とを出力する出力ユーザインタフェースを有し、該出力ユーザインタフェースは、前記負荷計測手段が計測した各LPAR上のOSの負荷と該適応制御手段が決定した各LPARに対する計算機資源の割当率を時系列として表示することを特徴とする仮想計算機システムであってもよい。 The load measuring means has an output user interface that outputs the load measured by the load measuring means or the allocation rate of the computer resource for each logical partition determined by the adaptive control means, and the output user interface includes the output user interface measured by the load measuring means. The virtual computer system may be characterized in that the OS load on the LPAR and the allocation rate of the computer resource for each LPAR determined by the adaptive control means are displayed as a time series.
また、負荷計測手段が計測した負荷または該適応制御手段が決定した各論理区画に対する計算機資源の割当率とを出力する出力ユーザインタフェースを有し、適応制御手段が各LPARに対する計算機資源の割当率を変更すると、前記出力ユーザインタフェースは当該変更の理由を表示することを特徴とする仮想計算機システムとしてもよい。 And an output user interface for outputting the load measured by the load measuring means or the allocation rate of the computer resources for each logical partition determined by the adaptive control unit, and the adaptive control means determines the allocation rate of the computer resources for each LPAR. When changed, the output user interface may display a reason for the change, and may be a virtual machine system.
また、物理計算機を複数のLPARに分割し、各LPAR上でそれぞれOSが動作させ、各LPARに対する物理計算機の資源の割当を制御するハイパバイザを有する仮想計算機システムであって、各LPAR上のOSの負荷を計測する負荷計測手段と、該負荷計測手段によって計測された各LPAR上のOSの負荷に基づいて、各LPARに割当てる計算機資源の割当率を決定し、該割当率がこれまで割り当ててきた割当率と異なる場合は、ハイパバイザに対し資源の割当率変更を指示する適応制御手段と、前記負荷計測手段が計測した負荷と適応制御手段が決定した各LPARに対する計算機資源の割当率を時系列としてファイル(ログファイル)に記録するログ記録手段を有し、前記ハイパバイザは該適応制御手段からの指示に従って各LPARに対する計算機資源の割当率を動的に変更する手段を設けたことを特徴とする仮想計算機システムとしてもよく、さらに、前記ログ記録手段は、適応制御手段が各LPARに対する計算機資源の割当率を変更した履歴をログファイルに記録することを特徴とする仮想計算機システムとしてもよい。 In addition, the virtual computer system includes a hypervisor that divides a physical computer into a plurality of LPARs, causes an OS to operate on each LPAR, and controls allocation of physical computer resources to each LPAR. Based on the load measuring means for measuring the load and the load of the OS on each LPAR measured by the load measuring means, the allocation rate of the computer resource allocated to each LPAR is determined, and the allocation rate has been allocated so far If the allocation rate is different, the adaptive control means for instructing the hypervisor to change the resource allocation rate, the load measured by the load measuring means, and the allocation rate of the computer resource for each LPAR determined by the adaptive control means as a time series Log recording means for recording in a file (log file), the hypervisor following instructions from the adaptive control means The virtual computer system may be provided with means for dynamically changing the allocation rate of the computer resources for the LPAR, and the log recording unit may be configured such that the adaptive control unit determines the allocation rate of the computer resources for each LPAR. It is good also as a virtual machine system characterized by recording the changed history in a log file.
また、各顧客毎に契約条件を設定する契約ユーザインタフェースとを設け、該契約ユーザインタフェースに、顧客に割当られた論理区画上のOSの負荷や論理区画に対する計算機資源の割当率や割当率の切り替え理由を時系列的に顧客の計算機の画面に表示する手段を設けたことを特徴とする仮想計算機システムであっても良い。 In addition, a contract user interface for setting contract conditions for each customer is provided, and the OS load on the logical partition assigned to the customer and switching of the allocation rate and allocation rate of computer resources for the logical partition are provided in the contract user interface. A virtual computer system characterized by providing means for displaying the reasons in time series on the screen of the customer's computer may be used.
また、ユーザインタフェースには、指定された設定を設定ファイルに書き出す手段と、該設定ファイルを読みこんで該設定ファイルに保存されていた設定を該ユーザインタフェース上に復元する手段を設けたことを特徴とする仮想計算機システムとしてもよい。 Further, the user interface is provided with means for writing the specified setting to a setting file, and means for reading the setting file and restoring the setting saved in the setting file on the user interface. A virtual computer system may be used.
今回開示した実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び内容の範囲での全ての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
100、・・・、10m CPU0、・・・CPUm
110 メモリコントローラ
111 主記憶
120、・・・、12m I/O0、・・・、I/Om
130 物理計算機
140 コンソール
200 ハイパバイザ
210、・・・、21m LPAR0、・・・、LPARm
220、・・・、22m OS0、・・・、OSm
300 適応制御部
400、・・・、40m 負荷計測部0、・・・、負荷計測部m
1000 ユーザインタフェース
1001 入力ユーザインタフェース
1002 出力ユーザインタフェース
1004 ログ記録部
1100 割当率範囲設定
1200 割当率計算設定
1300 負荷加工設定
1400 計測負荷設定
1500 制御インターバル設定
1600 適応制御有効設定
1800、・・・、180m OS0の負荷の時系列表示欄、・・・、OSmの負荷の時系列表示欄
1810 各LPARに対するCPU割当率の時系列表示欄
1820 割当変更理由表示欄
3000、・・・、300m 契約ユーザインタフェース0、・・・、契約ユーザインタフェースm
100, ... 10m CPU0, ... CPUm
110
130
220, ..., 22m OS0, ..., OSm
300
1000
Claims (6)
前記各論理区画について、CPUとメモリ及びI/O装置を含む計算機資源の制御動作にかかわる負荷の種類として前記CPU使用率とメモリ使用率及びI/O装置使用率のうちのいずれかの設定と、前記計算機資源の割当率の範囲設定を受け付けるユーザインタフェースと、
各論理区画にかかる負荷として、前記ユーザインタフェースから設定された種類の負荷を計測する負荷計測手段と、
該負荷計測手段によって計測された各論理区画にかかる負荷に基づいて、各論理区画に割り当てる計算機資源の割当率を算出し、前記ユーザインタフェースから設定された計算機資源の割当率の範囲に基づいて前記各論理区画に割り当てる計算機資源の割当率を決定する適応制御手段とを有し、
前記ユーザインターフェースは、前記負荷計測手段から受け取った各論理区画にかかる負荷の計測結果の時刻推移と、前記適応制御手段で決定した各論理区画への計算機資源の割当率の時刻推移を並べて表示する表示機能を有することを特徴とする仮想計算機システム。 A virtual computer system that divides computer resources of a computer system including a plurality of computers into a plurality of logical partitions, and allows each individual user to use each of the logical partitions as an independent logical computer,
For each logical partition, the CPU usage rate, the memory usage rate, and the I / O device usage rate are set as the types of loads related to the control operations of the computer resources including the CPU, memory, and I / O device. A user interface for accepting a range setting of the computer resource allocation rate;
As a load applied to each logical partition, a load measuring means for measuring the type of load set from the user interface,
Based on the load applied to each logical partition measured by the load measuring means, the computer resource allocation rate to be allocated to each logical partition is calculated, and based on the range of the computer resource allocation rate set from the user interface Adaptive control means for determining an allocation rate of computer resources allocated to each logical partition;
The user interface displays the time transition of the load measurement result applied to each logical partition received from the load measuring means and the time transition of the allocation rate of computer resources to each logical partition determined by the adaptive control means. A virtual computer system having a display function.
予め定められた閾値を保持し、前記負荷計測手段で計測する論理区画の負荷の計測値が前記閾値を超えたとき該論理区画に割り当てる計算機資源量を変更することを特徴とする請求項1記載の仮想計算機システム。 The adaptive control means includes
The computer resource amount allocated to the logical partition is changed when a measured value of the load of the logical partition measured by the load measuring means exceeds the threshold while holding a predetermined threshold. Virtual computer system.
前記個別のユーザの各々に提供する個別ユーザインタフェースを更に有し、
前記個別ユーザインターフェースでは、
予め準備された複数のサービスレベルから一つのサービスレベルをユーザに選択させ、選択されたサービスレベルを計算機資源の割当率の範囲に変換して前記割当率の範囲設定として受け付けることを特徴とする請求項1乃至請求項3のいずれかひとつに記載の仮想計算機システム。 The user interface is
An individual user interface for providing each of the individual users;
In the individual user interface,
Claims characterized in that the user selects one service level from a plurality of service levels prepared in advance, converts the selected service level into a range of allocation rates of computer resources, and accepts the allocation rate as a range setting. The virtual machine system according to any one of claims 1 to 3.
前記各論理区画について、CPUとメモリ及びI/O装置を含む計算機資源の制御動作にかかわる負荷の種類として前記CPU使用率とメモリ使用率及びI/O装置使用率のうちのいずれかの設定と、前記計算機資源の割当率の範囲設定をユーザインターフェースで受け付け、
各論理区画にかかる負荷として、前記ユーザインタフェースから設定された種類の負荷を計測し、
該負荷計測手段によって計測された各論理区画にかかる負荷に基づいて、各論理区画に割り当てる計算機資源の割当率を算出し、前記ユーザインタフェースから設定された計算機資源の割当率の範囲に基づいて前記各論理区画に割り当てる計算機資源の割当率を決定し、
前記ユーザインターフェースでは、前記負荷計測手段から受け取った各論理区画にかかる負荷の計測結果の時刻推移と、前記適応制御手段で決定した各論理区画への計算機資源の割当率の時刻推移を並べて表示することを特徴とする計算機システムの資源割当管理方法。 A computer system resource allocation management method that divides computer resources of a computer system including a plurality of computers into a plurality of logical partitions, and allows each individual user to use each of the logical partitions as an independent logical computer,
For each logical partition, the CPU usage rate, the memory usage rate, and the I / O device usage rate are set as the types of loads related to the control operations of the computer resources including the CPU, memory, and I / O device. , Accepting the range setting of the computer resource allocation rate with a user interface,
As the load on each logical partition, measure the type of load set from the user interface,
Based on the load applied to each logical partition measured by the load measuring means, the computer resource allocation rate to be allocated to each logical partition is calculated, and based on the range of the computer resource allocation rate set from the user interface Determine the allocation rate of computer resources to be allocated to each logical partition,
In the user interface, the time transition of the measurement result of the load applied to each logical partition received from the load measuring means and the time transition of the allocation rate of the computer resources to each logical partition determined by the adaptive control means are displayed side by side. A resource allocation management method for a computer system.
前記各論理区画について、CPUとメモリ及びI/O装置を含む計算機資源の制御動作にかかわる負荷の種類として前記CPU使用率とメモリ使用率及びI/O装置使用率のうちのいずれかの設定と、前記計算機資源の割当率の範囲設定をユーザインターフェースで受け付ける手順と、
各論理区画にかかる負荷として、前記ユーザインタフェースから設定された種類の負荷を計測する手順と、
該負荷計測手段によって計測された各論理区画にかかる負荷に基づいて、各論理区画に割り当てる計算機資源の割当率を算出し、前記ユーザインタフェースから設定された計算機資源の割当率の範囲に基づいて前記各論理区画に割り当てる計算機資源の割当率を決定する手順と、
前記ユーザインターフェースで、前記負荷計測手段から受け取った各論理区画にかかる負荷の計測結果の時刻推移と、前記適応制御手段で決定した各論理区画への計算機資源の割当率の時刻推移を並べて表示する手順と、
を前記計算機に実行させる計算機システムの資源割当管理プログラム。 A computer system resource allocation management program that divides a computer resource of a computer system including a plurality of computers into a plurality of logical partitions and causes a computer to execute a process for allowing each user to use each of the logical partitions as an independent logical computer. There,
For each logical partition, the CPU usage rate, the memory usage rate, and the I / O device usage rate are set as the types of loads related to the control operations of the computer resources including the CPU, memory, and I / O device. , A procedure for accepting a range setting of the computer resource allocation rate with a user interface;
As a load applied to each logical partition, a procedure for measuring the type of load set from the user interface;
Based on the load applied to each logical partition measured by the load measuring means, the computer resource allocation rate to be allocated to each logical partition is calculated, and based on the range of the computer resource allocation rate set from the user interface A procedure for determining the allocation rate of computer resources allocated to each logical partition;
In the user interface, the time transition of the measurement result of the load applied to each logical partition received from the load measuring means and the time transition of the allocation rate of the computer resources to each logical partition determined by the adaptive control means are displayed side by side. Procedure and
A resource allocation management program for a computer system that causes the computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007078556A JP4875525B2 (en) | 2007-03-26 | 2007-03-26 | Virtual computer system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007078556A JP4875525B2 (en) | 2007-03-26 | 2007-03-26 | Virtual computer system and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001357509A Division JP4018900B2 (en) | 2001-11-22 | 2001-11-22 | Virtual computer system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007200347A JP2007200347A (en) | 2007-08-09 |
JP4875525B2 true JP4875525B2 (en) | 2012-02-15 |
Family
ID=38454819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007078556A Expired - Fee Related JP4875525B2 (en) | 2007-03-26 | 2007-03-26 | Virtual computer system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4875525B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101911047A (en) * | 2007-11-06 | 2010-12-08 | 瑞士信贷证券(美国)有限责任公司 | Distribute according to service level agreement prediction and management resource |
JP5119077B2 (en) * | 2008-07-28 | 2013-01-16 | 西日本電信電話株式会社 | Virtual server resource adjustment system, resource adjustment device, virtual server resource adjustment method, and computer program |
EP2439641B1 (en) | 2009-06-01 | 2016-10-12 | Fujitsu Limited | Server control program, control server, virtual server distribution method |
US9483313B2 (en) | 2010-10-19 | 2016-11-01 | Microsoft Technology Licensing, Llc | Availability management for reference data services |
JP5767480B2 (en) | 2011-01-31 | 2015-08-19 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Information processing apparatus, information processing system, arrangement configuration determining method, program, and recording medium |
US8825550B2 (en) * | 2012-08-23 | 2014-09-02 | Amazon Technologies, Inc. | Scaling a virtual machine instance |
WO2016151821A1 (en) * | 2015-03-25 | 2016-09-29 | 株式会社日立製作所 | Computer system and process execution method |
-
2007
- 2007-03-26 JP JP2007078556A patent/JP4875525B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007200347A (en) | 2007-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4018900B2 (en) | Virtual computer system and program | |
US10733026B2 (en) | Automated workflow selection | |
US9571561B2 (en) | System and method for dynamically expanding virtual cluster and recording medium on which program for executing the method is recorded | |
CN107003887B (en) | CPU overload setting and cloud computing workload scheduling mechanism | |
JP4875525B2 (en) | Virtual computer system and program | |
US7712102B2 (en) | System and method for dynamically configuring a plurality of load balancers in response to the analyzed performance data | |
US8725912B2 (en) | Dynamic balancing of IO resources on NUMA platforms | |
Sampaio et al. | PIASA: A power and interference aware resource management strategy for heterogeneous workloads in cloud data centers | |
US20180212842A1 (en) | Managing data center resources to achieve a quality of service | |
US20170046192A1 (en) | Capacity risk management for virtual machines | |
US7698529B2 (en) | Method for trading resources between partitions of a data processing system | |
JP4476307B2 (en) | Virtual computer system and program | |
CN107038070B (en) | Parallel task scheduling method for sensing execution reliability in cloud environment | |
JP2004199561A (en) | Computer resource assignment method, resource management server for executing it, and computer system | |
US20090217288A1 (en) | Routing Workloads Based on Relative Queue Lengths of Dispatchers | |
CN111344688A (en) | Method and system for providing resources in cloud computing | |
CN111338785A (en) | Resource scheduling method and device, electronic equipment and storage medium | |
Nasim et al. | Optimizing virtual machine consolidation in virtualized datacenters using resource sensitivity | |
Li et al. | PageRankVM: A pagerank based algorithm with anti-collocation constraints for virtual machine placement in cloud datacenters | |
Garg et al. | Optimal virtual machine scheduling in virtualized cloud environment using VIKOR method | |
US20050050198A1 (en) | Computer system and method for service load distributing | |
JP6732693B2 (en) | Resource allocation control system, resource allocation control method, and program | |
CN117331668A (en) | Job scheduling method, device, equipment and storage medium | |
JP5045576B2 (en) | Multiprocessor system and program execution method | |
Tumanov et al. | Tetrisched: Space-time scheduling for heterogeneous datacenters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090804 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091104 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091111 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100305 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |