[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3879471B2 - 計算機資源割当方法 - Google Patents

計算機資源割当方法 Download PDF

Info

Publication number
JP3879471B2
JP3879471B2 JP2001312115A JP2001312115A JP3879471B2 JP 3879471 B2 JP3879471 B2 JP 3879471B2 JP 2001312115 A JP2001312115 A JP 2001312115A JP 2001312115 A JP2001312115 A JP 2001312115A JP 3879471 B2 JP3879471 B2 JP 3879471B2
Authority
JP
Japan
Prior art keywords
user
server
bandwidth
vlan
data center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001312115A
Other languages
English (en)
Other versions
JP2003124976A (ja
Inventor
裕 吉村
俊明 垂井
フレデリコ マシエル
享 庄内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001312115A priority Critical patent/JP3879471B2/ja
Priority to US10/080,715 priority patent/US7062559B2/en
Publication of JP2003124976A publication Critical patent/JP2003124976A/ja
Application granted granted Critical
Publication of JP3879471B2 publication Critical patent/JP3879471B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4641Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H04L12/4645Details on frame tagging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/10015Access to distributed or replicated servers, e.g. using brokers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、計算機システム内の資源をユーザごとに分割して割当る方法に係り、特に相互にネットワークで結合される複数の計算機からなるシステムにおいて、複数ユーザの要求を処理する際に、各ユーザとの間であらかじめ取り決めたサービス内容に関する契約を維持するために必要な計算資源をリアルタイムに提供し、かつユーザ間のセキュリティを保持するための資源割当方法に関する。
【0002】
【従来の技術】
情報部門のコスト削減のために、企業内情報システム運用や企業のホームページ管理をASP(アプリケーション・サービス・プロバイダ)業者にアウトソースする事業形態が増加している。ASP業者はさらにデータセンタ業者に計算機資源供の供給、運用管理をアウトソースする形態が多い。
【0003】
データセンタ業者は、多数の計算機資源を用意して複数のユーザ企業に分割使用させることにより、自身の運用コストを削減し、低価格のサービスをユーザ企業に提供する。ユーザ企業間のセキュリティを保持するため、一般には各ユーザ企業ごとに異なる計算機資源およびストレージ資源を割り当てることが多い。
【0004】
またユーザ企業の負荷は時間帯、季節等により変動するため、負荷に応じて割当て資源を増減させる契約形態も多い。特に企業のホームページ管理を請け負っている場合などは、不特定多数の消費者がインターネット経由でアクセスするため負荷の予測がつきにくい。これに対してはユーザ企業側でたとえば新製品発表による負荷増を予測してあらかじめ決めた台数の計算機資源をある一定期間増強するようデータセンタ業者と契約する。データセンタ業者は、増強した計算機資源を、別の期間は別のユーザ企業に割り当てることにより資源の有効活用を図る。このような構成変更を容易にするために、負荷分散装置を複数の計算機資源の前段に配置し、ある期間はユーザ企業Aに、別の期間はユーザ企業Bに計算機資源を使用させるように、データセンタを構成する。負荷分散装置の例としては、アルテオン社のACE directorなどが挙げられる(日経オープンシステムズ 1999.12 no.81 pp.128−131)。負荷分散装置の設定は上記の契約に基づきあらかじめ人手で設定する。またストレージ資源を増強する必要がある場合は、ストレージの内容を複製を行う必要がある。
【0005】
さらに、データセンタでは多数のユーザ企業に異なる計算機資源を提供するため、多数の計算機資源を管理する必要が生じ管理コストが増大する。そこで1台あたりの性能が高い計算機資源、たとえば高多重SMP計算機を数少なく導入し、それを複数ユーザ企業が共有するように制御する方法が考えられる。ユーザ企業間のセキュリティを保持するため仮想計算機の機能を利用する。仮想計算機の例としては、日立のプロセッサ資源分割管理機構PRMFがあげられる(HITACマニュアル 8080−2−148−60)。PRMFでは、1つの計算機上で複数のOS(オペレーティング・システム)が動作し、OSごとに独立の資源、たとえば主記憶、ネットワークアダプタなどが割り当てられる。OS間で資源を共有しないため、異なるOS上で実行される異なるユーザ企業のプログラム間のセキュリティは保持される。またPRMFでは、OSごとに割り当てるCPU資源の比率を制御できるように構成されているが、あらかじめ計画した比率変更のみ可能である。
【0006】
一般にデータセンタは複数ユーザが利用しており、ユーザ毎のデータの独立性を保つようなセキュリティ確保の技術が考えられている。現在主に知られているセキュリティの技術としては、VLAN(アスキー社VPN/VLAN教科書pp31-pp42)やVPN(アスキー社VPN/VLAN教科書pp7-pp30)、FCゾーニング(ピアソン・エデュケーション社 SAN pp85-pp86)が知られている。VLAN、FCゾーニングの技術はネットワークを論理的にグループ化することを実現し、互いに他のグループにアクセスできないようにする技術である。また、VPNは暗号化とパケットの優先度制御によってユーザに対しセキュリティを確保する技術である。また、VPNにはネットワーク使用帯域を保障することも可能にする。さらに、ゾーニングの技術はユーザに割り当てられたストレージネットワークスイッチのポートについてストレージへのアクセスを制御することが可能である。例えば、ユーザAはストレージに対するユーザ全体のアクセス回数で10回のうち3回の割合でLUNにアクセスするのを、10回のうち5回の割合でLUNにアクセスするというようにアクセス優先度を増やすことで、負荷増大に対処できる。このセキュリティ技術によって、ユーザはデータセンタ内の計算機資源中のユーザ専用データにセキュリティの不安なくアクセスして利用できる。VLANやVPN、FCゾーニングはネットワーク管理者が通常予め計画して静的に設定し必要時以外は設定変更しない。
【0007】
最後にASP、ISP(インターネット・サービス・プロバイダ)業者とユーザの間ではサービスレベル契約を結ぶことが一般的になりつつある。接続性、可用性、レイテンシ性能などのサービスレベル保証を契約する。さらに保証レベル未達の場合の補償契約を結ぶ形態も多い。
【0008】
【発明が解決しようとする課題】
上記の従来技術では、以下の問題点がある。
【0009】
負荷分散装置やネットワークスイッチの設定を契約に基づきあらかじめ人手で設定する方式では、ユーザ企業側で予測できない急速な負荷変動にリアルタイムに対応することは困難である。これはユーザ間で異なる計算機を割り当てる場合も仮想計算機を使用する場合も同様である。さらに、システムの拡張を行うと同時にユーザのネットワークセキュリティを守ることはユーザ、データセンタ双方のネットワーク管理者にとって非常に労力を割くところである。特に負荷変動によってネットワーク構成が動的に変わる環境においては、人手によってユーザのセキュリティの管理を恒常的に行うことは困難である。
【0010】
本発明の目的はネットワークが動的に変更した場合であってもユーザのセキュリティを確保し、データセンタ及びユーザの管理者の負荷を軽減するような手法を提供することである。また、ネットワークが動的に変更する時にユーザのセキュリティを守りながら、ユーザの負荷ピークに対応できるようにネットワーク構成を変更する手法を提供することおよびユーザとの間に結んだ契約内容分だけの通信帯域を確保してユーザへのWebサービスの品質を保つことである。
【0011】
【課題を解決するための手段】
本発明では、ユーザ識別表とVPN、VLANそしてストレージネットワークそれぞれの構成定義表を用意し、管理サーバにて管理する。データセンタへのユーザ要求パケットからユーザ識別表によりユーザ企業を特定する。一方、VLANの構成定義表にはユーザ毎に処理を実行すべき計算機の組を定義し、これを負荷分散装置及びネットワークスイッチに設定する。負荷分散装置は設定された計算機の組からいずれかを選択してユーザ要求を実行させる。複数の負荷分散装置がある場合は、管理サーバは負荷分散装置間で本表が整合するよう制御する。さらに、管理サーバではネットワークの帯域や構成、各計算機の稼動状況をモニタし、サービスレベル契約を満たしているか調べ、必要であればネットワーク帯域幅や計算機資源の削減・増強を行ってユーザとの契約内容に合うようにすると共にユーザのVLANの構成を変え、セキュリティを保つ。具体的には上記の計算機の組のネットワークの構成定義表を変更して、負荷分散装置及びネットワークスイッチに再設定する。さらに管理サーバはユーザに割当てた計算機資源量やサービスレベル契約を守れたかの履歴を作成し、課金情報を作成する。
【0012】
また本発明の別の実施形態では、仮想計算機機構を有する計算機でデータセンタを構成する。ユーザ企業ごとに1つのOSで制御される仮想計算機構を与え、管理サーバはユーザ企業毎のネットワーク帯域と各計算機に各計算機構のCPU時分割使用割当て%を動的に設定する。さらに、管理サーバではネットワーク帯域や各計算機の稼動状況をモニタし、サービスレベル契約を満たしているか調べ、必要であればネットワーク帯域幅やCPU時分割割当て%の削減・増強を行う。
【0013】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を説明する。
[1]第1の実施形態
まず、実施形態を説明する上で必要になる主な図の説明を行う。
図1は、本発明で対象とするデータセンタが、インターネット回線会社(キャリア)(II0)を介してユーザ企業A(AA0)、ユーザ企業B(BB0)と接続されている例を示す。図2は、図1のデータセンタDD0の内部構成を示している。ユーザA、B毎に専用のVLAN V01、V02が組まれている。図3、図4は本実施例におけるユーザからデータセンタまでいたるVPNの構成を示している。図5はストレージネットワークの主な構成を示している。ユーザA、Bごとに専用のゾーンZ01、Z02が組まれている。図6はデータセンタDD0の管理サーバC0の持つサーバ割当及びVLAN関連の情報を集めた図である。また、図7はデータセンタDD0の管理サーバC0が持つVPN関連の情報を集めた図、図8、図9は夫々ユーザ帯域管理サーバC10、キャリア帯域管理サーバC20がそれぞれ持つVPN関連の情報を集めた図である。以下の説明において、ネットワークはインターネットを指すものとする。なお、キャリア等のVPNルータは図1では1つしかないように見えるが、実際には、複数台存在しても良い。その場合も制御手順は同一である。
さらに図10はデータセンタDD0の管理サーバC0が持つストレージネットワーク関連の情報を集めた図である。
図11は、第1の実現形態を説明するに際して、ユーザAが通信に用いるパケットの一覧である。図12、図13は、ユーザ企業Aが本データセンタと使用条件契約を結ぶときの入力画面の一例を示している。本例では、ユーザ企業Aはデータセンタ内のwebサーバ群、APサーバ群、DBサーバ群のすべてを使用し、ユーザ企業Aはネットワーク帯域幅として1.5Mbpsから5Mbpsを使用する契約を結んでいる。
【0014】
図14は契約を結んだユーザに対してサーバやネットワーク帯域幅をシステム立上げ時に割り当てる手順を示したものである。図15はユーザに割り当てられるネットワーク帯域幅が動的に増大・減少する時の手順を示したものであり、図16はユーザに割り当てられるサーバ台数が動的に増大・減少する時の手順を示したものである。さらに、図26は負荷が増大した場合のVLAN、VPN、ストレージネットワークの各部分に関する制御手順を示したものであり、図27は負荷が減少した場合のVLAN、VPN、ストレージネットワークの各部分に関する制御手順を示したものである。図28はユーザに割り当てられるストレージネットワークの帯域幅が動的に増大・減少する時の手順を示したものである。
さて、実施形態の説明を行う。図1のクライアントa0はA社システムのプライベート・ネットワーク・アドレスを有しており、VPN(バーチャルプライベートネットワーク)ルータA0を介してキャリアのVPNルータI01経由でデータセンタ内のVPNルータD0と接続する。図2は、データセンタDD0の構成を示す。本例ではユーザ要求に対しwebブラウザインターフェースを提供するwebサーバ群、webサーバを経由して発生するアプリケーションプログラムを動作させるAPサーバ群、アプリケーションプログラムからデータベースアクセス要求が出たときにそれを処理するDBサーバ群の3層構成になっている場合を示す。
【0015】
図12、13は、ユーザ企業Aが本データセンタとサービスレベル契約を結ぶときの入力画面の一例を示している。また、本例では、ユーザ企業Aのために、webサーバ、APサーバ、DBサーバいずれも必ず最低1台を割当て、またそのすべてをCPU稼働率50%未満で稼動させる。稼働率が50%以上となる場合は各webサーバ、APサーバ、DBサーバの割当て数を最大6台までは増加する契約を結んでいる。また、ネットワーク帯域における契約については図12でユーザの使用帯域幅の保証を行うか否かの選択を行い、具体的な使用帯域幅の契約は図13で行う。本例では入力画面中の使用帯域幅保証選択の欄にチェック印が入力され、具体的帯域は最低1.5Mbpsが割当られ、帯域幅の使用率が40%未満となるように稼動させる。帯域幅の使用率が40%以上となる場合は帯域幅を最大5Mbpsまでは増加させる契約を行っている。
【0016】
上記のような入力画面による契約に基づき、A社にはwebサーバa10、APサーバa20、DBサーバa30、が与えられ、B社にはwebサーバb10、APサーバb20、DBサーバb30が与えられるものとする。本実施例においては、ユーザの各層に1台ずつのサーバしか割当てていないが、2台以上割当てられることが考えられる。またストレージs01はLUN(論理単位番号)単位でLU01がA社用に、LU02がB社にが割り当てられる。サーバ群y10、y20、y30は、A社、B社の負荷が大きくなったときに割り当てるための予備サーバ群である。なお、y10、y20、y30は1台分の表記しかしていないが、2台以上存在することが考えられる。
【0017】
A社が使用する代表IPアドレスは、webサーバがa100とする。またB社もにwebサーバb100なるIPアドレスを使用するものとする。なお、本実施例は、Webサーバ、APサーバ、DBサーバ及びクライアントは各1台として説明しているが、複数台ある場合も実施例は同様である。
【0018】
以下図を参照しながら、このデータセンタ中のサーバ群や負荷分散装置を中心とするスイッチが、ユーザAの要求をサーバ群a10、a20、a30を使用して如何に処理するかを示す。
【0019】
図1においてクライアントa0がVPNルータA0に送出した要求パケットの構成は、図11(1)1100に示すとおりである。パケットの先頭があて先サーバのアドレス、次項が送り元クライアントのアドレスである。VPNルータA0はパケットをインターネット回線II0に送出するときにVPNのカプセル化を行い、図11(2)のパケット1101を生成する。VPNルータD0ではこのパケットをアンカプセル化する。パケットのカプセル・アンカプセルの技術は公知である。
【0020】
信号線I0から入力された図11(2)のパケット1101に対しアンカプセル化を行うと図11(3)のパケット1102を生成するとともに、信号線I1を通じて負荷分散装置LB01に出力する。ユーザは負荷分散装置に設定している代表アドレスa100、b100をアクセスすることで、データセンタの管理サーバC0の持つ図6の負荷分散装置のアドレス表T00に相当する情報を負荷分散装置LB01で参照する。負荷分散装置LB01では図11(3)のパケット1102の宛先アドレスa100に対して、負荷分散装置LB01に設定されている図6のアドレス参照表T00に相当する情報と対応させて各ユーザの代表アドレス(仮想アドレス)を実サーバのアドレスa10に変換した図11(4)のパケット1103を生成する。あて先の選択および変更技術自身は公知である。また、パケット1103を対応する表T02のport#(LB01)のカラムに相当する情報を参照し、ユーザ専用のVLANに所属するポートのみに送信する。図2では、負荷分散装置LB01の入口p000がねね、ねね、の技術で複数のユーザ(複数のVLAN)と共用している場合を示す。各ユーザにおいてデータセンタ中はユーザ専用のVLANが組まれている。一方、VLANタギングの技術でユーザからはVLAN情報(VLANタグ)を持ったパケットが流れる。VLAN情報を持ったパケットは同じVLANのネットワークにのみ流れることが可能である。そのため、各ユーザのセキュリティが守られることになる。図6の表T02に各ユーザとユーザに対して組まれているVLANとVLAN所属のサーバ及びスイッチのポートの一覧を示す。すなわち、ユーザに割当てられたサーバがどのサーバと通信できるかを示す。ここで、ユーザが複数のネットワークスイッチでそれぞれローカルにVLANを組むが、そのVLAN設定を組み合わせることにより、複数の装置にまたがるユーザ専用のVLANを設定することを可能にする。例えば、ユーザAであれば、Webサーバa10を挟んでLB01ではポートp001にローカルにVLANを組み、SW01ではp101、p201で同じローカルにVLANを組み、この2つのローカルVLANを同じ1つのグループに設定することで、LB01とSW01にまたがるユーザ専用のVLANを実現している。この効果を例示すると、ユーザAがWebサーバb10にアクセスしようとした時に、Webサーバb10はVLAN V02所属で、ユーザAはVLAN V01所属であるのでアクセスは拒否される。
【0021】
webサーバa10はパケット図11(4)1103を受け取り、Web処理の結果APサーバへのアクセスが必要になるとa20へのアクセス要求であるパケット1104(図11(4))を生成する。本パケットはポートp101を介してネットワークスイッチSW01に受け取られる。ネットワークスイッチSW01は図6のVLAN構成表T02のport#(SW01)のカラムに相当する情報、すなわち、p101、p201が同一のVLANに所属するように設定されるので、宛先アドレスa20にパケット1104(図11(4))を送り届けることができる。
【0022】
以下同様にAPサーバa20がパケット1105を生成して、DBサーバa30で処理が行われる。DBサーバa30からAPサーバa20、Webサーバa10、クライアントa0に返答が返るのも同様であり、順次パケット1106〜1110が生成される。VLANの構成についても同様である。
【0023】
ユーザ企業Bからの要求があった場合は、上記と同じ手順でVPNルータD0及び負荷分散装置LB01を通過して、同様にサーバ群b10、b20、b30で処理されることとなる。(パケット形式は同様なので図示しない。)
以上により、ユーザAとBの処理を実行するサーバ群はサーバa10、a20、a30が属するVLANとb10、b20、b30が属するVLANに各々分割される。
【0024】
なお、本説明ではユーザA、B共に図12でセキュリティサービスを希望してユーザ専用のVLANを組んだ場合を考えている。図12でセキュリティサービスを希望した場合は、各々のユーザに対して専用のVLANが組まれ、希望していない場合はユーザ共用のVLANでサービスを受けることとなる。
【0025】
図2において、管理サーバC0は信号線L01〜L08を介してサーバ群、負荷分散装置、VPNルータ、ネットワークスイッチの動作状況をモニタリングしている。モニタリングの内容はユーザとのサービスレベル契約の内容による。たとえばCPU稼働率などである。またモニタリングプログラムは管理サーバC0で動作してもよいし、各サーバ群、負荷分散装置上で動作してもよい。また管理サーバC0は信号線L01を介してVPNルータD0からユーザごとのネットワーク帯域使用に関する稼動表(VPN稼動状況表)図7のT05の内容を入手する。
【0026】
図6はサーバ構成及びVLAN構成について管理サーバC0が持つ情報を示した図である。ネットワーク帯域等のVPN関連の情報やストレージネットワーク関連の情報に関しては後述する。図6のT01はユーザ条件設定表であり、制御プログラムP10が図12、図13のサービスレベル条件入力画面に基づき設定する。その後、図6のT01の情報に基づきT02のサーバ及びVLAN構成表が作成される。この場合、A社のユーザに対してはWebサーバ、APサーバ、DBサーバいずれも最低1台を与え、与えたすべてのサーバでCPU稼働率50%未満でプログラムを動作させ、それに違反しそうな場合は6台まではサーバ数を増加する契約となっている。またB社のユーザに対しても同様に、Webサーバ、APサーバ、DBサーバいずれも最低1台を与え、CPU稼働率50%未満でプログラムを動作させ、それに違反しそうな場合は6台まではサーバ数を増加する契約となっている。また、T02では図12で入力したセキュリティオプションの項目の情報を保持しており、項目にチェックした場合はユーザの専用のVLANを組むことにする。
制御プログラムP10はモニタリング結果と図6のユーザ条件設定表T01を照合し、現在の資源割当てがサービスレベル契約を満たしているかを調べ、その結果を図6のサーバ及びVLAN稼動表T03に格納する。図6のサーバ及びVLAN格納表T03には、ユーザAに対して現在割当てられているサーバの一覧、各割当台数における割当時間の履歴のカラム、ユーザAに与えた全てのサーバに関してサービスレベルで設定したCPU稼働率以上で稼働していた時間の合計及びそれ未満で稼働していた時間の合計履歴のカラムが記録される。ここで、CPU稼働率以上のカラムはユーザが契約した最大のサーバ台数で処理できない負荷が入った場合やサーバを割当てようとしたが予備サーバが不足していて割り当てられなかった場合に記録される。モニタリング結果がサービスレベル契約を満たしていない場合は、制御プログラムP10は割当てサーバを増やす。サーバ割当を管理するために、どのユーザにどのサーバを与えたかを示す図6のVLAN構成表T02のサーバのカラムや、ユーザが認識している仮想サーバ名と与えた実サーバの対応表である負荷分散装置のアドレス対応表T00を保持している。また図6のサーバ及びVLAN稼動表T03にはサーバ割当台数履歴、リソース不足時間等の課金に関する情報もあわせて記録している。課金に関しては後述する。
【0027】
上記制御を行うために、制御プログラムP10がシステム立上げ時に資源を分割する手順を図14を用いて説明する。
【0028】
最初に図12、図13のサービスレベル条件入力画面に示される情報を入力し(1401)、データセンタの管理サーバC0は、ユーザ条件設定表T01を作成する(1402)。
【0029】
さらに図13のサービスレベル条件入力画面に示される情報を入力し、ユーザが入力した仮想アドレスによってサーバアドレス対応表T00中の仮想addr欄を作成する(1403)。続いてサーバの割当てを、webサーバ群、APサーバ群、DBサーバ群ごとに行い、ユーザ専用のVLANの設定を行う。同時に、ユーザに割当てるネットワーク帯域やストレージ(LUN)の設定を行う。具体的には、ユーザ条件設定表T01を参照して各ユーザに最低1台ずつサーバを与えるべきことを検出すると、サーバを確保して、確保したサーバをVLAN構成表T02の割当サーバのカラムに記述する(1404)、また、サーバに繋がる後段のポート、前段のポートをVLAN構成表T02のport#のカラムに記述し、各ネットワークスイッチSW01〜02にVLAN設定指示を出す。例えば、ユーザAの場合であればネットワークスイッチSW01に対して、ポートp101とポートp201が同じVLANに所属するようにVLAN設定指示を出すというような形の指示である。その後、サーバアドレス対応表T00の実addr欄を作成する(1405)。続いてユーザ条件設定表T01に基づき、VPN設定表T04、ストレージネットワーク構成表T06を作成した後、ネットワーク及びストレージネットワークの帯域幅を確保し、VPN設定表T04の帯域幅のカラム及びストレージネットワーク設定表T06の帯域幅のカラムに記述し、データセンタ管理サーバはユーザ管理サーバ及びキャリア管理サーバに対して帯域幅設定指示を出し、各VPNルータに帯域幅を設定する(1406)。具体的にはT01中のVPNの最小・最大帯域幅、帯域利用率の閾値、保証帯域幅のカラム中の情報を信号線L0を介してユーザ帯域管理サーバに送る。ユーザ帯域管理サーバにおいてはユーザ条件設定表T01の最小・最大帯域幅、帯域使用率、保証帯域幅のカラム中の情報を用いてVPN設定表T08を作成し、VPNルータA0、B0に設定する。キャリアの帯域管理サーバでも同様にVPN設定表T10を作成し、VPNルータI01に設定する。
最後に作成したサーバアドレス対応表T00のコピーを信号線L02を介して負荷分散装置LB01に設定する(1407)。
【0030】
さらに、ユーザ条件設定表T01に基づき、図6のサーバ及びVLAN稼動表T03、図7のVPN稼動表T05、図8のストレージネットワーク稼動表T07を作成する(1408)。具体的には、ユーザAに対するCPU稼働率履歴やネットワーク帯域使用率履歴を記録する欄を作成する。
【0031】
以上により資源分割制御に必要な情報が生成され、VPNルータD0、ネットワークスイッチSW01〜03に設定され、正しく資源分割された状態でシステムが動作開始できる。
【0032】
続いて以下に、制御プログラムP10が負荷変動時にサーバ割当てを変更する手順を図16を用いて説明する。Webサーバを例に挙げて説明する。
【0033】
前述したように信号線L01〜L08を介して全ユーザに対して各サーバの稼動情報をモニタし(1601)、各ユーザごとに稼動情報を集計して図6のサーバ及びVLAN稼動表T03に格納し(1602)、図6のユーザ条件設定表T01と比較した後(1603)、まずサービスレベル契約に照らしてサーバを削減できないか検討する(1604)。削減可能かどうかの判断方法の1例としては、CPU稼働率とサーバ台数の積に対して比例計算を行う方法が挙げられる。たとえばユーザAのサービスレベル条件はCPU稼働率50%未満であるが、現在4台がwebサーバとして与えられており、いずれもCPU稼働率が25%未満であれば、webサーバ数を2台まで削減してよいと判断できる。複数のユーザが存在する場合はまず、全ユーザについてサーバ削減処理を行った後に、全ユーザのサーバ増強処理を行う。ここでは、Webサーバa10を削減することとする。削減可能であれば、まず、アドレス対応表T00の実addrのカラムからサーバa10を削除し、実addrのカラムの内容を設定するように負荷分散装置LB01に対して指示する。管理サーバのVLAN構成表T02において、port#(LB01)、port#(SW01)のカラムから削除するサーバa10につながるポートp001、p101を削除する。
その後、Webサーバa10に接続されているLB01のポートp001をVLANから削除したあとにSW01のポートp101をVLANから削除する処理を行うというように、前段のスイッチのVLAN変更処理が終わった後に後段のスイッチのVLAN変更処理を行う(1605)。
次に、削減処理を通知されたサーバa10はプログラムの処理を終了して、使用している資源を解放する。すなわちコンテンツの切り替えやディスクキャッシュの消去などを行う(1606)。
解放が終了すると削減されたサーバは管理サーバC0にその旨通知するので、管理サーバC0はそれを待って、図6のVLAN構成表T02のWebサーバのカラムを変更する。また、サーバ及びVLAN稼動表T03においてサーバ台数の履歴などの課金情報のパラメータを変更する(1607)。なお、本例では、T03のサーバ割当履歴表のサーバ台数履歴のカラムにおいてはwebサーバ群、APサーバ群、DBサーバ群の割当て履歴を区別して記録しているので、群ごとに単価を変えておき群ごとの割当て数と割当て時間履歴と各単価の積で課金を計算することも可能である。以上、例としてWebサーバを挙げたが、他のサーバの場合は負荷分散装置に対する実アドレス変更指示が無く、代わりにアプリケーションに何らかの方法でサーバを削減することを通知し、ネットワークスイッチのポートに対するVLAN変更のみを行う。
【0034】
図16の説明に戻る。つづいてサーバ数を増強する必要があるかを検討する(1608)。何台増強すべきかの判断は、削減時と同様に比例計算である。増強する必要があれば、webサーバ、APサーバ、DBサーバ群ごとに割り当てられる空きサーバがあるかをVLAN構成表T02を参照して調査する(1609)。もし空きサーバがなければ運用管理者に通知し、リソースが足りなくてサーバが割当られないためのサービスレベル未達かユーザの契約条件を超えてしまったためのサービスレベル未達か区別して記録される(1610)。空きサーバがあればユーザに割当て対象の空きサーバy10から必要な台数を選択し、ユーザに割当てる(1611)。その後、図6のVLAN構成表T02のWebサーバのカラムに割当てられたサーバを追加する。次に管理サーバのVLAN構成表T02に対してport#(SW01)、port#(LB01)のカラムを変更し、負荷分散装置LB01にport#(LB01)のカラムの内容を、ネットワークスイッチSW01に対してport#(SW01)のカラムの内容を設定するよう変更する。
その後、割当対象のサーバy10に接続されているスイッチのポートをSW01側ではp103、LB01側ではp003の順にVLANに割当てるというようにWebサーバが接続されている後段のポート、前段のポートの順番でユーザのVLANを変更する(1612)。最後にデータセンタの管理サーバC0は負荷分散装置のアドレス対応表T00について実Addrのカラムにy10を追加する変更を行い、負荷分散装置LB01に設定するよう指示する。負荷分散装置LB01、ネットワークスイッチSW01の内容が変更されたことを確認してから、割当サーバ台数などの課金情報に関するパラメータを変更する(1613)。
今回は、例としてWebサーバを扱ったので、変更の過程で負荷分散装置のアドレス対応表の変更について考える必要がある。AP及びDBサーバの場合は負荷分散装置の設定変更はせず、代わりにアプリケーションに何らかの方法でサーバを削減することを通知し、ネットワークスイッチのポートに関するVLANの変更のみで良い。
【0035】
以上は管理サーバC0上の制御プログラムP10の手順である。
本変更方式の利点としては、全ユーザに対してサーバの割当増加指示を行う前にユーザからのサーバの割当削減指示を行うので、データセンタ内のサーバ資源の使用率が良い点である。この順番を守らず、ユーザに対するサーバの追加を先に行った場合は一時的に予備サーバが不足する事態が考えられる。その後のサーバ削減処理においてユーザのサーバ使用率が低いサーバが削減される可能性があり、サーバ資源を効率的に使っているとは言い難い。以下、ネットワークの帯域幅の割当やストレージネットワークの帯域幅の割当についても同様に考えられる。
【0036】
さて、制御プログラムP10が負荷変動時にインターネットのネットワーク帯域の割当を変更する手順を図15を用いて説明する。これは、ユーザとデータセンタ間の間でのVPNの実現方法によって3つの場合がある。VPNにおける帯域幅の変更方法については、公知である。ここで、データセンタ管理サーバが持つ情報について説明する。
図7において、ユーザ条件設定表T01のうちVPNに関する情報は、最小帯域幅・最大帯域幅、帯域利用率の閾値のカラムである。VLAN設定表T04は、ユーザ条件設定表T01を参照して作成される最小帯域幅、最大帯域幅、帯域利用率についてユーザが設定した条件を保持する表であり、これを用いてネットワークの帯域についてのサービスレベル条件が満たされているかを判断する。さらにVPN稼動状況表T05にはユーザ、キャリア、データセンタの各VPNルータにおいてユーザに割り当てられた帯域幅について、帯域使用率を満たしている時間そして満たせなかった時間の履歴、そして、最小帯域幅から最大帯域幅までユーザに割当られた帯域幅の履歴のカラムが存在している。
図8はユーザの帯域管理サーバがVPNルータについて保持している情報についてまとめた図で、VPN設定表T08は最小帯域幅、最大帯域幅、帯域利用率についてユーザに設定された条件を保持する表である。さらにVPN稼動状況表T09にはユーザのVPNルータにおいてユーザに割り当てられた帯域幅について、帯域使用率を満たしている時間そして満たせなかった時間の履歴、そして、最小帯域幅から最大帯域幅までユーザに割当られた正規化された帯域幅の履歴のカラムが存在している。さらに、図9はキャリアの帯域管理サーバがVPNルータについて保持している情報についてまとめた図で、VPN設定表T10は最小帯域幅、最大帯域幅、帯域利用率についてユーザに設定された条件を保持する表である。さらにVPN稼動状況表T11にはキャリアのVPNルータにおいてユーザに割り当てられた帯域幅について、帯域使用率を満たしている時間そして満たせなかった時間の履歴、そして、最小帯域幅から最大帯域幅までユーザに割当られた帯域幅の履歴のカラムが存在している。また、T04には保証帯域幅というカラムがあり、図12で帯域保証サービスを行ったときに記入される。また、同一時点で複数のユーザのネットワーク負荷の増大が判明し、その複数ユーザについてネットワーク帯域幅を増加させる必要が生じた場合に、図12で帯域保証サービスを希望したユーザに対しては、帯域保証サービスを希望しないユーザよりも優先してネットワーク帯域幅の割当変更を行う。
以下、VPNの設定として考えられる夫々の場合について説明する。
(1)まず、第1の場合について説明する。図3のようにVPNの実現方式がデータセンタとキャリアとユーザの3つのVPNルータ群で構成されており、データセンタ管理サーバから全ての帯域変更の指示を出すことを特徴とする場合を考える。データセンタの管理サーバは信号線L01、L10、L20を介して各VPNルータにおけるネットワーク帯域情報をユーザ及びキャリアの各管理サーバ経由でモニタし(1501)、各ユーザごとに稼動情報を集計して図7のVPN稼動表T05に格納している(1502)。データセンタの管理サーバC0は帯域使用率とサービスレベル契約とを比較し(1503)、ネットワーク帯域の削減ができないか検討する(1504)。もし設定された帯域幅が3Mbpsで実際の利用帯域幅が0.5Mbps、帯域利用率の閾値が40%である場合を考えると帯域幅は削減可能であると判断できる。VPNの場合もサーバ割当と同様に全てのユーザの帯域削減処理を行った後に、帯域追加処理を行う。もし削減対象であれば、データセンタの管理サーバは帯域削減指示を信号線L01、L10、L20を介してデータセンタ、ユーザ、キャリアの各管理サーバに対して通知する。通知を受けた各管理サーバは管理下のVPNルータに対して使用している帯域幅を解放するように指示する。帯域幅を解放する順序はユーザ、キャリア、データセンタの順番に行う。帯域幅の解放が終了すると各管理サーバはデータセンタの管理サーバにその旨通知する。管理サーバC0はそれを待って、VLAN稼動表T05を変更し、使用したネットワークの帯域の履歴等の課金に関するパラメータ情報も変更し、ユーザ及びキャリアの管理サーバのVLAN稼動表T09、T11を変更する(1505)。
【0037】
つづいてネットワーク帯域幅を増強する処理に移る。データセンタの管理サーバC0は帯域幅使用情報をサービスレベル条件と比較し、ネットワーク帯域幅を追加する必要があるかを検討する(1506)。データセンタ管理サーバC0は図7のVPN設定表T04を参照してユーザに割当可能な帯域幅があるか調査する(1507)。もし空きのネットワーク帯域がなければ運用管理者に通知し、帯域幅不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達か区別して記録される(1508)。例えば、現在のユーザ割当帯域幅が1.5Mbpsで実際の稼動帯域幅が1.2Mbpsでユーザ設定の帯域利用率が40%で空きの帯域幅が1.5Mbpsである場合等、空きのネットワーク帯域が有る場合にはユーザに対するネットワーク割当帯域幅の追加指示を出す(1509)。ネットワーク帯域幅の変更の順番はデータセンタ、キャリア、ユーザの順番に変更を行う。その後、図7のVPN稼動表T05の内容を変更し使用帯域幅の使用履歴等の課金に関するパラメータ情報を変更し、図8のVPN稼動表T09、図9のVPN稼動表T11の帯域幅の使用履歴等の課金に関するパラメータ情報を変更する(1510)。
【0038】
本変更方式の利点は、データセンタ、キャリア、ユーザを通じたVPNのネットワーク帯域を一括制御することで、VPNのネットワーク全体の負荷のバランス及びサーバのネットワーク負荷等を総合的に判断したネットワーク帯域の制御ができる点である。
(2)図3の構成で、(1)の場合と異なるもう1種類のVPNの設定方法がある。データセンタの管理サーバC0がネットワーク帯域幅の割当判断ルールを信号線L01、L10、L11、L20、L21を介して予めユーザの帯域管理サーバC10及びキャリアの帯域管理サーバC20に設定することを特徴とする方法である。この場合について説明する。データセンタの管理サーバC0は信号線を通じてユーザ、キャリア、データセンタにおけるネットワーク帯域幅の利用状況をそれぞれの管理サーバC10、C20、C0を通じて収集している。この情報は課金において使われる。また、ユーザ、キャリアの各管理サーバはデータセンタ管理サーバから設定されたネットワーク帯域幅に関するVPN設定表(図7の表T04、図8の表T08、図9の表T10)とVPN稼動表(図7のT05、図8のT09、図9のT11)を持っている。各管理サーバはネットワーク帯域利用情報をモニタリングし(1501)、ユーザの場合には稼動情報を集計して図8のVPN稼動表T09に格納する(1502)。各管理サーバはネットワーク帯域幅利用情報とVPN設定表(図7のT04、図8のT08、図9のT10)を比較した後(1503)、まずサービスレベル契約に照らしてネットワーク帯域を削減できないか検討する(1504)。(1)の場合と同様にもし帯域幅が削減可能であれば、各管理サーバはネットワーク帯域削減を行う。帯域幅を削減する順序は各管理サーバ間で連絡を取り合いながらユーザ、キャリア、データセンタの順番にルータに指示する。その後、削減処理を行ったVPNルータを管理する管理サーバは新たにユーザに割当られた帯域情報を信号線L01、L10、L20を通じてデータセンタ管理サーバに通知する。データセンタの管理サーバは変更を行った各管理サーバからの情報を受け取った後、図7のVPN稼動表T05の帯域幅履歴を変更してユーザの利用した帯域幅の履歴など課金に関するパラメータ情報を変更する(1505)。同時に、図8のユーザのVPN稼動表T09、図9のキャリアのVPN稼動表T11が変更される。次に、ネットワーク帯域追加処理を行う。データセンタ、ユーザ、キャリアの各VPNルータはネットワークの稼動状況とVPN設定表(図7の表T04、図8の表T08、図9の表T10)と比較し、ネットワーク帯域幅を追加する必要があるかを検討する(1506)。(1)の場合と同様に増強する必要があり、各管理サーバの管理しているネットワーク帯域に空きがある場合、各管理サーバは管理下のVPNルータに対して帯域幅追加を行う(1507)。もし空きのネットワーク帯域がなければ運用管理者に通知し、帯域幅不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達か区別して記録される(1508)。その後、新たにユーザに割当てられた帯域情報を信号線を通じてデータセンタ管理サーバC0に通知する。(1509)ネットワーク帯域幅の変更の順番は管理サーバ間で連絡を取り合いながらデータセンタ、キャリア、ユーザの順番に変更を行う。データセンタの管理サーバは変更を行ったVPNルータからの情報を受けとった後、図7のVPN稼動表T05の内容を変更する。同時に、ユーザの帯域管理サーバ上にあるVPN稼動表T09、キャリアの帯域管理サーバ上にあるVPN稼動表T11が変更される。最後にユーザの利用した帯域幅の履歴など課金に関するパラメータ情報を変更する(1510)。
本変更方式の利点は、ユーザ、キャリア、データセンタのそれぞれのネットワークで帯域幅使用の監視と割当判断の制御を行うので、制御が早く行える点である。
(3)図4のようにデータセンタ業者とキャリア業者が同一の場合である。この場合はデータセンタの管理サーバC0はデータセンタとユーザのVPNルータ群を制御対象とすると考えれば良い。第1の場合と同様に、データセンタの管理サーバは信号線L11、L30を介して各VPNルータにおけるネットワーク帯域情報をモニタする。(ユーザの帯域情報は、ユーザの管理サーバ経由でモニタする)(1501)。各ユーザごとに帯域使用率等の稼動情報を集計して図7のVPN稼動表T05に格納している。本場合についてはキャリアの欄は存在しない(1502)。データセンタの管理サーバC0は帯域使用率情報をサービスレベル契約と比較して(1503)、ネットワーク帯域を削減できないか検討する(1504)。もし削減可能であれば、データセンタの管理サーバC0は帯域削減指示を信号線を介してユーザの管理サーバに対して通知する。帯域幅を削減する順序はユーザ、データセンタの順番に行う。通知されたユーザの管理サーバは管理下にあるVPNルータに対し使用している帯域幅を解放するよう指示する。帯域幅の解放が終了するとユーザの管理サーバはデータセンタの管理サーバC0にその旨通知する。データセンタの管理サーバC0はそれを待って、図7のVPN稼動表T05を変更し、ユーザが使用した帯域幅の履歴など課金に関するパラメータ情報を変更する(1505)。つづいてネットワーク帯域幅を増強する処理に移る。データセンタの管理サーバC0は、帯域使用率情報をVPN設定表T04と比較してネットワーク帯域幅を追加する必要があるかを検討する(1506)。増強する必要があれば、データセンタ管理サーバは図7のVPN設定表T04を参照してユーザに割当可能な帯域幅があるか調査する(1507)。もし空きのネットワーク帯域がなければ運用管理者に通知し、帯域幅不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達か区別して記録される(1508)。空きのネットワーク帯域があればユーザの管理サーバに対してネットワーク割当帯域を追加指示を出す。(1509)ネットワーク帯域幅の変更の順番はデータセンタ、ユーザの順番に変更を行う。その後、VPN稼動表T05の内容を変更し、課金に関するパラメータ情報を変更する(1510)。
【0039】
以上述べたように帯域を削減する時はユーザ側が先に削減し、増強する場合はデータセンタ側から先に増強する。
【0040】
次に、ストレージネットワークの動的変更について説明する。ストレージネットワークの概要を図5に示す。先にVLAN設定で説明したように負荷分散装置からDBサーバまではユーザは専用のVLANを組んでいる。一方、ユーザに割当てられたDBサーバとストレージネットワークスイッチとストレージのLUNは同じゾーンに属するように制御する。データセンタ管理サーバは図10のストレージネットワーク構成表T06のような構成情報を記録する。
図10の説明を行う。図10には図13のサービスレベル条件入力を元に作成されるユーザ条件設定表T01があり、ストレージネットワークのポートの最小帯域幅及び最大帯域幅、ストレージネットワークスイッチのポートの帯域利用率の閾値のカラム、初期LUNアクセス優先度のユーザがサービスレベル入力画面で設定した条件を保持している。また、ストレージネットワーク構成表T06には、ユーザ条件設定表T01の内容にそって、ストレージネットワークでの帯域幅の最大・最小、SLAで約束した帯域使用率の閾値、割当LUN、LUNアクセス初期優先度、所属DBサーバ、ゾーン所属のポートのカラムがあり、ストレージネットワークの構成が記述される。表T07においてはユーザのストレージネットワークのユーザに割り当てられた帯域幅について、帯域使用率を満たしている時間そしてサービスレベル条件を超えた等の理由で満たせなかった時間の履歴、そして、最小帯域幅から最大帯域幅までユーザに割当られた帯域幅の履歴のカラム、LUNアクセス優先度の履歴のカラムが存在している。
ゾーンの技術については公知である。図5のようにVLANとゾーンを組み合わせることで、たとえば、ユーザAからユーザBが用いるべきストレージのLUNにアクセスを試みることを考える。この時、ストレージs01では図10のストレージネットワーク構成表T06に相当する情報を参照することでユーザBのLUN LU02はゾーンZ02所属でユーザAはゾーンZ01所属なのでアクセスが拒否されるというようにユーザのセキュリティが保たれる。
さて、ストレージネットワークの負荷が変動した時のストレージネットワーク部分の処理について考える。データセンタの管理サーバC0は各ゾーンに関する稼動状況を収集し、ストレージネットワーク稼動表T07に格納する。具体的にはデータセンタの管理サーバは信号線L08を介してストレージネットワークの帯域情報をモニタし(2801)、各ユーザごとに稼動情報を集計して図10のストレージネットワーク稼動表T07に格納している(2802)。ストレージネットワークスイッチSW03の使用帯域に関しては図10のストレージネットワーク構成表T06と比較した後(2803)、まずサービスレベル契約に照らしてネットワーク帯域を削減できないか検討する(2804)。ストレージネットワークにおいても、全ユーザに対する削減処理が終わってから増強処理を行う。もし削減可能であれば、管理サーバC0は図10のストレージネットワーク構成表T06のアクセス優先度のカラムや利用帯域幅のカラムの変更を行い、削減対象であるネットワーク帯域削減要求を信号線を介してストレージネットワークスイッチSW03に出す。通知を受けたストレージネットワークスイッチSW03はユーザが使用しているストレージネットワークの帯域幅を削減する(2805)。次に、ストレージのLUNへのアクセス優先度を下げるように信号線を通じストレージネットワークスイッチSW03に通知する。例えば、帯域を減少するときはLUNへのアクセス優先度を予め決められた量だけデクリメントするような指示を出す(2806)。通知を受けたストレージネットワークSW03はストレージのアクセス優先度を下げる。その後、図10のストレージネットワーク稼動表T07のアクセス優先度のカラムや利用帯域幅のカラムの変更を行い、ユーザの利用した帯域幅履歴やアクセス優先度履歴等の課金に関するパラメータ情報を変更する(2807)。
つづいてストレージ資源を増強する処理に移る。データセンタ管理サーバは図10のストレージネットワーク構成表T06と比較し、ストレージネットワークのネットワーク帯域幅を追加する必要があるかを検討する(2808)。増強する必要があれば、データセンタ管理サーバはユーザ条件設定表T01を参照してユーザに割当可能な帯域幅があるか調査する(2809)。もし空きのネットワーク帯域がなければ運用管理者に通知し、帯域幅不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達であるか区別して記録される(2810)。空きのストレージネットワーク帯域があれば、データセンタの管理サーバC0は図10のストレージネットワーク構成表T06のアクセス優先度のカラムや利用帯域幅のカラムの変更を行い、ストレージのLUNへのアクセス優先度を上げるように信号線を通じストレージネットワークスイッチSW03に通知する。例えば、帯域を増加するときはLUNへのアクセス優先度を予め決められた量だけインクリメントするような指示を出す。通知を受けたストレージネットワークスイッチSW03はストレージのアクセス優先度を上げる(2811)。次にストレージネットワークスイッチSW03にユーザに対するストレージネットワークの割当帯域の追加指示を出す(2812)。その後、データセンタ管理サーバは図10のストレージネットワーク稼動表T07のアクセス優先度のカラムや利用帯域幅のカラムの変更を行い、ユーザの利用したストレージネットワークの帯域幅の履歴やアクセス優先度の履歴など課金に関するパラメータ情報も変更する(2813)。
このストレージネットワークの帯域幅とアクセス優先度の変更手順を逆にした場合ストレージネットワークにおいてストレージにリクエストが殺到した場合にストレージへのアクセスビジーが生じるので、性能低下が起こる。よって、この変更順序は必然である。
【0041】
ここで、ユーザの負荷が大きくなった時及び負荷が小さくなった時の本特許で述べているユーザ、キャリア、データセンタで構成されるシステム全体の資源割当変更手順に関して図26及び図27にまとめた。
システムの負荷が増大する場合の変更手順を示している図26の構成は、2606から2608までのVPN変更部分、2603から2605までのVLAN変更部分そして2601から2602までのストレージネットワーク変更部分に分けられる。処理の変更順序については、2606から2608のVPN部分、2603から2605のVLAN部分、2601から2602のストレージネットワーク部分の各グループの中においては、順序通りに変更を行えば変更によってセキュリティの低下やWebサービスが悪化が生じることは無いという意味で必然である。また、ストレージネットワーク、VLAN、VPNグループの順に変更の過程でWebサービスが悪化が生じることは無いという意味で必然である。具体的に例を挙げる。VPNの変更部分の変更順序を守らない場合、例えば、ネットワークの負荷が大きい場合ユーザのネットワーク出口の帯域幅追加の変更をした後にデータセンタ入口の帯域幅追加の変更をする場合を考えると、データセンタへのアクセスが集中することによってデータセンタのネットワークビジーを原因とするWebサービスの品質の低下が起こる。また、VLAN部分の変更順序を守らない場合を考える。例えば、図2においてWebサーバy10をユーザAのネットワークに追加することを考えた場合、LB01、SW01の順にVLANの変更を行うと、データセンタ内の遊休サーバにアクセスできてしまうというようにシステムのセキュリティが守られない可能性が有る。
一方、システムの負荷が減少する場合の変更手順を示している図27の構成は、2701から2703のVPN変更部分、2704から2706までのVLAN変更部分、2707から2708までのストレージネットワーク変更部分の各グループの中においては、順序通りに変更を行えば変更によってセキュリティの低下やWebサービスが悪化が生じることは無いという意味で必然である。また、VPN、VLAN、ストレージネットワークグループの順に変更を行うことでも変更の過程でWebサービスが悪化が生じることは無いという意味で必然である。
VLAN部分の変更順序を守らない場合を考える。例えば、図2においてWebサーバa10をユーザAのネットワークから削減することを考えた場合、SW01、LB01の順にVLANの変更を行うと、データセンタ内の他の遊休サーバ群にアクセスできてしまうというようにシステムのセキュリティが守られない可能性が有る。
本変更に関する変更の方針を以下に記す。
(i)システムの負荷が高い時に変更を行う場合には、深層から表層の向きに変更を行う。
(ii)システムの負荷が低い時に変更を行う場合には、表層から深層の向きに変更を行う。
【0042】
最後に本システムの課金について記述する。VPN、VLAN、ストレージネットワークの3つの部分に分けて、夫々の部分で課金したものの総和をユーザに課金する。(キャリアの分もデータセンタがまとめて課金する。)
(i)VPN部分について
(単位時間における割当帯域幅の料金×ユーザへの割当時間−帯域条件未達時の基本違約料金×ネットワークのリソース不足による帯域条件未達になった時間)×(重み付け係数) で求める。すなわち、延べ使用時間分の使用料金から罰金を引くという形で課金する。
帯域幅の基本料金はユーザに割り当てられる帯域幅の大きさによって段階的に変化する。
すなわち、割当帯域幅の料金はbを帯域幅と定義し、bは正規化しているものとして表現する。このとき、
P(b):ユーザに割当てたネットワーク帯域幅bの場合の単位時間当りの使用料。
T(b):ネットワーク帯域幅bがユーザに割当てられている時間。
すると、ユーザの延べ使用時間分の課金は
ΣbP(b)×T(b)・・・・(数1)
で割当てられる。P(b)はbの値による階段関数や比例関数などさまざまな料金設定が考えられる。なお、(重み付け係数)は通常は1であり、図12において帯域保証サービスを選んだ場合に1より大きな値を持つ係数である。
(ii)VLAN部分について
(サーバ1台の基本料金×ユーザへの割当台数×ユーザへの割当時間−サービスレベル条件未達時の基本違約金×ユーザへの割当台数×サーバ不足にようサービスレベル条件未達時間)×(重み付け係数)で求める。
ユーザの延べ使用時間分の課金に関して、基本的な概念は(i)の(数1)式と同様である。なお、(重み付け係数)は通常は1であり、図12においてセキュリティオプションを選んだ場合に1より大きな値を持つ係数である。サーバの使用料はWeb、AP、DB層毎に計算した合計になる。上記(i)のVPN部分と同様に、サーバの基本料金はユーザに割当てられたサーバの台数により段階的に変化する。
(iii)ストレージネットワーク部分について
(単位時間における割当帯域幅の基本料金)×(ユーザへの割当時間+単位時間のアクセス優先度に応じた基本料金)×(ユーザへのアクセス優先度の設定時間−サービスレベル条件未達時の基本違約金)×(ネットワークのリソース不足による帯域条件未達になった時間)で求める。
ユーザの延べ使用時間分の課金に関して、基本的な概念は(i)の(数1)式と同様である。帯域幅の基本料金はユーザに割り当てられる帯域幅の大きさによって段階的に変化する。
[2]第2の実施形態
続いてパーティション機能仮想計算機機能PRMFを備えた高多重SMPサーバを用いてデータセンタを構成する場合の実施形態を説明する。
まず、実施形態を説明する主な図の説明をする。図17はLPARサーバを用いた場合のデータセンタの内部構造を示している。図18、図19は、ユーザ企業Aが本データセンタと使用条件契約を結ぶときの入力画面の一例を示している。図20はVLANに関する管理サーバの持つ情報の一覧を示している。図21はVPNに関する管理サーバの持つ情報の一覧を示している。図22はストレージネットワークに関する管理サーバの持つ情報の一覧を示している。図23は実施形態で用いるパケットの一覧を示す。図24は、契約を結んだユーザに対してサーバのCPU利用率が割り当てる手順を示したものである。図25はユーザに割り当てられるサーバのCPU利用率が動的に増大・減少する時の手順を示したものである。
さて、実施形態の説明に入る。データセンタとユーザの接続図は図1に同じである。
【0043】
図17は、webサーバ、APサーバ、DBサーバとして仮想計算機機能PRMFを備えたサーバをおのおの1台ずつ接続した場合を示している。APサーバP02、DBサーバP03の内部構成はwebサーバP01と同様であり記述は省略することにする。
【0044】
図18、19は、サービスレベル契約条件入力画面の一例である。本例では、ユーザ企業Aのために、webサーバ、APサーバ、DBサーバいずれも必ずPRMF機能によるCPU割当てが50%以上となるよう制御する契約である。
【0045】
図17に戻ると、webサーバP01は、制御ユニットCL100、LPAR制御レジスタCL101、CPU群CP01およびCP02、メモリM01、ネットワークアダプタt100、y100から構成される。LPARとはLogical PARtition(論理資源分割)の略であり、LPAR制御レジスタCL101は、各OSに与える資源の分割方法を保持している。
【0046】
さて、LPAR#は、各パーティションに統一的に与える識別子である。ネットワークアダプタは複数のユーザを1枚で賄う。ネットワークアダプタアドレスは、後述するが制御プログラムP10により、図19のサービスレベル条件入力画面で各ユーザが入力するアドレスと一致するよう設定される。ここで、VLANタギングの技術により、1つのポートに対して複数のVLANを設定することができる。また、1つのネットワークアダプタに複数のアドレスを設定することもできる。図19により、ユーザAはWebサーバのアドレスをa100とし、APサーバ、DBサーバのアドレスをそれぞれa200、a300とする。同様にユーザBにはWebサーバのアドレスb100が割当っており、APサーバ、DBサーバにはそれぞれb200、b300が割り当てられるとする。
ここで、入ってきたユーザ要求のパケットは、対応するLPARのOS上のプログラムに引き渡される。CPU割当て%欄は各LPARに属するOSおよびその上のプログラムをどのような割合でCPU上で動作させるかを示す。制御ユニットCL100が本情報を参照して、LPARの動作割合を制御する。
【0047】
本実施例ではLPARとデータセンタ管理サーバC0の持つユーザ識別子を一意に対応させる。PRMFの制御を行うこととサーバに接続されているスイッチにVLANを設定することにより、異なるユーザ間では資源が共有されないので、ユーザ間のセキュリティを保つことができる。また、ユーザからデータセンタまではVLANタギングによってパケットに与えられたVLANタグが示すVLANにのみ通信が許される。以上により、ユーザからデータセンタまでのセキュリティが保たれる。
【0048】
第1の実施形態と同様、ユーザ要求がクライアントa0→webサーバa100→APサーバa200→DBサーバa300→APサーバa200→webサーバa100→クライアントa0と伝わる場合を考える。クライアントa0は図23(1)のパケット2300を生成する。図1のVPNルータA0によりパケット2301が生成され、VPNルータD0によりパケット2302が生成されるのは第1の実施形態と同じである。
【0049】
パケット2302は信号線L0を介してアドレスa100を持つネットワークアダプタt100に渡され、LPAR#0上のアプリケーションプログラムに渡される。すなわちユーザAのアプリケーションプログラムである。本プログラムはあて先a200を持つパケット2304を生成し、以下同様にAPサーバP02上のA社のアプリケーションプログラム、DBサーバP03上のA社のアプリケーションプログラムに渡される。ここで、WebサーバP01のネットワークアダプタt100上にはアドレスa100、b100があり、各々LPAR#0、1に対応している。(図示していないが、APサーバP02内にもネットワークアダプタt200上のアドレスa200、b200があり、Webサーバと同様に各々LPAR#0,1に対応している。またLPAR#0,1は各々ユーザA,Bに対応している。DBサーバP03においても同様である。)同様にしてDBサーバP03からAPサーバP02、webサーバP01、クライアントa0への返答も正しくA社に割り当てられたLPAR上のアプリケーションプログラムにより実施される。第1の実施形態と同様なので詳しくは説明しないが、上記の動作により図23のパケット2306〜2309が順次生成される。ここで、もしA社のクライアントがB社のパーティションにアクセスしようした場合、図20のVLAN構成表T22により、ユーザAとユーザBとで属しているVLANが異なるのでアクセスは拒否されて、ユーザ毎のセキュリティは守られる。さて、複数のユーザがいる場合であって、各々のユーザに対して1枚ずつネットワークアダプタを与える場合がVLAN部分の変形例として考えられる。この場合は、各ユーザのネットワークアダプタを通じ、ネットワークスイッチのポートに関してユーザ毎にVLANを組むことでセキュリティが守られる。
【0050】
図20はサーバ構成及びVLAN構成について管理サーバC0が持つ情報を示した図である。T22はVLAN構成表であり、サーバのカラム、ネットワークスイッチのカラム、アドレスのカラム、LPARのカラムを所持し、複数のネットワークスイッチにまたがってもユーザ毎に1つのVLANに属するような設定を実現する。表T21はユーザ条件設定表であり、ユーザがサービスレベル条件入力画面で入力した条件のうち各パーティションへのCPU割当率の上限や下限、ユーザと契約したCPUの使用率の閾値のカラムの内容を所持している。さらに、図20の表T23はサーバ及びVLAN稼動表であり、割当LPARやCPU割当率の履歴、割当られたCPUの稼働率の履歴のカラムに情報が入力される。最後にCPU割当表T24は現在各ユーザへ割当てられたCPU割当率のカラムを情報として持つ。この場合、A社に対してはwebサーバ、APサーバ、DBサーバのいずれにおいてもLPAR内部のCPUの稼働率が50%を超えないようにLPARのCPU割当て率を20%以上70%以下の範囲変化させる契約となっている。
制御プログラムP10は信号線L01〜L08から得たモニタリング結果とユーザ条件設定表図20の表T21を照合し、現在の資源割当てがサービスレベル契約を満たしているかを調べ、その結果を図20のサーバ及びVLAN稼動表T23のCPU利用率履歴のカラムに規格化して格納する。たとえばユーザ#0に対応するLPAR内部のCPU使用率履歴を記録する。そのためにどのユーザにどれだけCPU割当てを設定しているかを示すCPU割当て表T24が保持されている。CPU割当表T24は各webサーバ、APサーバ、DBサーバ内のLPAR制御レジスタ群のCPU割当て%欄と同じの内容を保持している。サーバ及びVLAN稼動表表T23の課金に関するパラメータ情報欄の操作は第1の実施形態と同様である。
【0051】
上記制御を行うために、制御プログラムP10が最初に資源を分割する手順を図24を用いて説明する。
【0052】
最初に図18、19のサービスレベル条件入力画面に示される情報を入力し、ユーザ条件設定表T21を作成する(2401)。つづいてその情報のうち最小・最大帯域幅、帯域使用率に関する情報に沿ってデータセンタの管理サーバ、ユーザの帯域管理サーバ、キャリアの帯域管理サーバにVPN設定表を作成する。また、最小・最大帯域幅、帯域使用率に関する情報信号線L0を介してユーザ、キャリア、データセンタの各VPNルータに設定する(2402)。
【0053】
さらに図19のサービスレベル条件入力画面に示される情報を入力し、図20におけるユーザ条件設定表T21のCPU割当率の上限・下限のカラム、最大・最小帯域幅のカラム、ユーザ使用の帯域利用率のカラムおよびVLAN構成表T22中のネットワークアダプタのカラムを作成する(2403)。
【0054】
続いて図20のユーザ条件設定表T21を参照してユーザAに最低20%、ユーザBに最低20%のCPU割当てを行うべきことを検出すると、CPU割当て管理表T24とVLAN構成表T22中のCPU割当てのカラムを作成する(2404)。さらに信号線L01〜L08を介して図17中のサーバP01、P02、P03内のLPAR制御レジスタ群にVLAN構成表T12の内容を設定する(2405)。その後、サーバに繋がる後段のポート及び前段のポートをVLAN構成表T22のport#のカラムに記述し、各ネットワークスイッチSW10〜12にVLAN設定指示を出す(2406)。続いてネットワーク及びストレージネットワークの帯域幅を確保し、VPN設定表T25の帯域幅のカラム及びストレージネットワーク構成表T27の帯域幅のカラムに記述し、各VPNルータ及びネットワークスイッチSW13に帯域幅設定指示を出す(2407)。
【0055】
さらに、ユーザ条件設定表T21に基づき、図20のサーバ及びVLAN稼動表T23、図21のVPN稼動表T26、図22のストレージネットワーク稼動表T28を作成する(2408)。具体的には、ユーザに対するCPU稼働率履歴やネットワーク帯域使用率履歴を記録する欄を作成する。
【0056】
以上により資源分割制御に必要な情報が生成され、VPNルータr01やSW10〜SW13、サーバP01、P02、P03に設定され、正しく資源分割された状態でシステムが動作開始できる。
【0057】
続いて以下に、制御プログラムP10が負荷変動時にパーティション割当てを変更する手順を図25を用いて説明する。
【0058】
稼動情報収集(2501)、稼動情報集計(2502)、サービスレベル契約との比較(2503)は第1の実施形態と同様である。その後CPU割当て率を削減可能か検討し(2504)、削減可能であれば該当するサーバのLPAR制御レジスタ群の内容を変更するよう指示する。削減可能かどうかの判断方法は第1の実施形態と同様である。変更終了を待った後、課金に関するパラメータを変更する(2505)。本例の場合、割当てCPU使用率と割り当てた時間の履歴を記録している。課金計算では1例として、webサーバ、APサーバ、DBサーバそれぞれについて単位時間あたりの使用単価を決めておき、単価×CPU使用率を合計して課金する方法も考えられる。
【0059】
つづいてCPU割当て率を増強すべきか検討し(2506)、増強する必要があれば、該当するサーバに設定しているCPU割当て率を増強できないか調べる(2507)。割当できない場合は運用管理者に通知し、CPU能力不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達か区別して記録される(2508)。該当するサーバのLPAR制御レジスタ群の内容を変更するよう指示し、変更終了を待った後、課金に関するパラメータ情報を変更する(2509)。
VPNやストレージネットワークにおいても稼動状態によって変更が行われるが、変更方法については第1の実施形態と全く同じであるので割愛する。
【0060】
最後に課金についてであるが、VPNとストレージネットワークについての課金は第1の実施形態と全く同じである。VLAN部分についての課金は以下のように行う。
(単位時間当りのCPU割当率に関する基本料金×ユーザへのCPU割当率×ユーザへの割当時間−単位時間当りのサービスレベル条件未達時のCPU割当率の基本違約金×ユーザへのCPU割当率×CPUリソース不足によるサービスレベル条件未達時間)×(重み付け係数)
ここで、(重み付け係数)は通常1であり、図18においてセキュリティサービスを選んだ場合に1より大きな値をとる係数である。
[3]第1の実施形態の変形例
(a)第1の実施形態の変形例1として、図2のデータセンタにおいて、ユーザ毎の専用VLAN所属のネットワークスイッチ(SW01からSW02)のポートについてポートの帯域に関する帯域幅の割当の動的変更及び帯域幅保証を行うような場合が考えられる。このような場合としては、ユーザのVLANのトラフィックとインターネットからのアクセスなどの他のトラフィックがスイッチの同じポートを共有するような場合が考えられる。まず、VPN部分やストレージネットワーク部分における稼動状況による資源割当の動的な変更方法・課金方法については、実施形態1の通常の場合と全く同じなので割愛する。
図29は管理サーバC0が持つVLAN部分の情報について記した図である。負荷分散装置のアドレス対応表T00に関しては第1の実施形態の通常の場合と同じ情報である。さて、この変形例で管理サーバC0が持つVLAN部分の情報として特徴的な点を、図29を参照して説明する。まず、図6のユーザ条件設定表T01に負荷分散装置LB01及びネットワークスイッチSW01、SW02の最大・最小割当帯域幅、帯域使用率の閾値のカラムを追加した表T31がある。また、図6のVLAN構成表T02にLB01及びネットワークスイッチSW01、SW02の最大帯域幅・最小帯域幅、帯域利用率の閾値のカラムを追加したVLAN構成表T32、図6のサーバ及びVLAN稼動表T03にLB01及びネットワークスイッチSW01、SW02の帯域幅利用履歴のカラムが追加されたVLAN構成表T33がある。
まず、システム立上げ時にサーバ割当を変更する方法を述べる。ユーザに専用のVLANを設定する手順は、ネットワークスイッチのポートをVLANに割当てるまでは、第1の実施形態の通常の場合とまったく同じであるが、ポートをユーザのVLANに割当てた後、図12、図13のサービスレベル条件入力画面で設定した内容にそって作成された図29のユーザ条件設定表T01の最大帯域幅、最小帯域幅、帯域利用率のカラムの情報に従って先にユーザ専用のVLANに割当てられたそれぞれのポートに対してVPNの帯域割当方法と全く同じ方法で帯域幅を割当てる。VLAN所属のポートに帯域幅を割当てた後、VPNの設定やストレージネットワークの設定を行い、資源分割を行う。
次に、図29の制御プログラムP10が負荷増大時にサーバ割当を変更する手順を説明する。図16のフローチャートにおいて、1603までのステップすなわち稼動情報収集からサービスレベルとの比較までのステップは通常の実施形態と同じである。図29のユーザ条件設定表T01の帯域幅のカラムと比較した後にサービスレベル契約に照らしてネットワーク帯域を削減できるか否かを検討し、データセンタの管理サーバは帯域削減対象であるポートの帯域幅に対して帯域幅削減要求を出す。帯域幅変更方法は図2においてLB01のポート、SW01のポート、SW02のポートである。(ユーザAであれば、p001、p101、p201、p301、p401の順に帯域幅の変更を行う。)その後、サーバを接続しているポート対するVLANの変更、サーバの削減処理、サーバの追加処理など図16の1604から1612の項までのステップは通常の実施形態と同じである。サーバを追加し、サーバを接続しているポートに対するVLANの変更が行われたあと、図29のユーザ条件設定表T01の帯域幅のカラムと比較した後にサービスレベル契約に照らしてネットワーク帯域を追加できるか否かを検討し、データセンタの管理サーバは帯域追加対象であるポートの帯域幅に対して帯域幅追加要求を出す。帯域幅変更方法は図2においてSW02のポート、SW01のポート、LB01のポートの順番である。(ユーザAであれば、p501、p401、p301、p201、p101、p001の順に帯域幅の変更を行う。)その後の処理は図16のフローチャートと全く同じである。
最後にVLAN部分の課金について述べる。この変形例に適する課金は、第1の実施形態のVLAN部分の課金に帯域利用の項を追加したもので以下のように表現できる。
【0061】
(単位時間当りのサーバ1台の基本料金×ユーザへの割当台数×ユーザへの割当時間 ― 単位時間当りのサービスレベル条件未達時の基本違約金×ユーザへの割当台数×サーバ不足によるサービスレベル条件未達時間)×(重み付け係数1)+
(単位時間当りのネットワークスイッチのポートにおける帯域幅の基本料金×ユーザへの割当時間 − ネットワークスイッチのポートにおける帯域条件未達時の基本違約金×ネットワークリソース不足による帯域条件未達時間)×(重み付け係数2)
ここで(重み付け係数1)は通常は1で図12においてセキュリティサービスを選んだ場合に1を超える値をとる係数である。(重み付け係数2)通常は1で図12において帯域保証サービスを選んだ場合に1を超える値をとる係数である。基本的な考え方は第1の実施形態の通常の場合と同様である。
ネットワークスイッチのポートにおける帯域幅の基本料金はユーザに段階的に割り当てられる帯域幅の大きさによって段階的に変化する。
(b)第1の実施形態の変形例2として、図30のようにユーザ毎に専用のVPNルータ、負荷分散装置のポートを持つ構成も可能である。本実施例ではVLANタギングの技術によってではなく、ユーザ専用に割当てられたVPNルータ、負荷分散装置のポートに設定されるVLANIDによって各ユーザが区別される設定になっている。一連の動作は第1の実施形態の場合と同様である。
(c) 第1の実施形態の変形例3のサーバおよびVLANの割当て変更のフローを図32に示す。図2のデータセンタにおいて、サーバをユーザに割当てる時に割当てられる該サーバの電源を入れ,サーバをユーザから外すときにユーザ割当てを外れた該サーバの電源を切るという電源制御を行う場合を考える。この場合は、ユーザにサーバ割当変更を行うフローを示した図16に関して、ユーザにサーバを割当てる直前に割当てたサーバの電源を入れるステップ(3207)とユーザからサーバの割当てを外した後にサーバの電源を落とすステップ(3212)を追加した図32に従って動作を行う。追加した2つのステップ以外の一連の動作は第1の実施形態の場合と同様である。
[4]第2の実施形態の変形例
第2の実施形態の変形例として、図17のデータセンタにおいて、ユーザ毎の専用VLAN所属のネットワークスイッチ(SW00からSW02)のポートについてポートの帯域に関する帯域幅の割当の動的変更及び帯域幅保証を行うような場合について述べる。まず、VPN部分やストレージネットワーク部分における稼動状況による資源割当の動的な変更方法・課金方法については、実施形態1の通常の場合と全く同じなので割愛する。
図31は管理サーバC0が持つVLAN部分の情報について記した図である。CPU割当表T24に関しては第2の実施形態の通常の場合と同じ情報である。さて、図31には図20のユーザ条件設定表T21にSW10及びネットワークスイッチSW11、SW12の最大帯域幅・最小帯域幅、帯域利用率のカラムを追加したユーザ条件設定表T41、VLAN構成表T22にSW10及びネットワークスイッチSW11、SW12の最大帯域幅・最小帯域幅、帯域利用率のカラムの情報を追加したVLAN構成表T42、図6のサーバ及びVLAN稼動表T23にSW10及びネットワークスイッチSW11、SW12の帯域幅利用履歴のカラムが追加されたVLAN構成表T43がある。
まず、システム立上げ時にサーバ割当を変更する方法を述べる。ユーザに専用のVLANを設定する手順は、ネットワークスイッチのポートをVLANに割当てるまでは、第2の実施形態の通常の場合とまったく同じであるが、ポートをユーザのVLANに割当てた後、図18、図19のサービスレベル条件入力画面で設定した内容にそって作成された図31のユーザ条件設定表T41の最大帯域幅、最小帯域幅、帯域利用率のカラムの情報に従って先にユーザ専用のVLANに割当てられたそれぞれのポートに対してVPNの帯域割当方法と全く同じ方法で帯域幅を割当てる。VLAN所属のポートに帯域幅を割当てた後、VPNの設定やストレージネットワークの設定を行い、資源分割を行う。
次に、図31の制御プログラムP10が負荷増大時にサーバ割当を変更する手順を説明する。図25のフローチャートにおいて、2503までのステップすなわち稼動情報収集からサービスレベルとの比較までのステップは通常の実施形態と同じである。図31のユーザ条件設定表T21の帯域幅のカラムと比較した後にサービスレベル契約に照らしてネットワーク帯域を削減できるか否かを検討し、データセンタの管理サーバは帯域削減対象であるポートの帯域幅に対して帯域幅削減要求を出す。帯域幅変更方法は図17においてSW10のポート、SW11のポート、SW12のポートである。(ユーザAであれば、p001、p101、p201、p301、p401の順に帯域幅の変更を行う。)その後、CPU割当率の削減処理、CPU割当率の追加処理など図25の2504から2506の項までのステップは通常の実施形態の場合と同じである。CPU割当を追加したあと、図31のユーザ条件設定表T41の帯域幅のカラムと比較した後にサービスレベル契約に照らしてネットワーク帯域を追加できるか否かを検討し、データセンタの管理サーバは帯域追加対象であるポートの帯域幅に対して帯域幅追加要求を出す。帯域幅変更方法は図17においてSW12のポート、SW11のポート、SW10のポートの順番である。(例えばユーザAであれば、p501、p401、p301、p201、p101、p001の順に帯域幅の変更を行う。)その後の処理は図25のフローチャートと全く同様に考えて、サーバ及びVLAN稼動表T43の帯域幅の使用履歴のカラムを変更し、課金に関するパラメータを変更する。
最後にVLAN部分の課金について述べる。この変形例の課金法は、第1の実施形態のVLAN部分の課金に帯域利用の項を追加したもので以下のように表現できる。
【0062】
(単位時間当りのCPU割当率に関する基本料金×ユーザへのCPU割当率×ユーザへの割当時間 ― 単位時間当りのサービスレベル条件未達時の基本違約金×ユーザへのCPU割当率×CPUリソース不足によるサービスレベル条件未達時間)×(重み付け係数1)+ (単位時間当りのネットワークスイッチのポートにおける帯域幅の基本料金×ユーザへの割当時間− ネットワークスイッチのポートにおける帯域条件未達時の基本違約金×ネットワークのリソース不足によるサービスレベル未達時間)×(重み付け係数2)
(重み付け係数1)は通常は1で図18においてセキュリティサービスを選んだ場合に1を超える値をとる係数である。(重み付け係数2)通常は1で図18において帯域保証サービスを選んだ場合に1を超える値をとる係数である。ここでも、基本的な考え方は第1の実施形態の通常の場合と同様である。
ネットワークスイッチのポートにおける帯域幅の基本料金はユーザに段階的に割り当てられる帯域幅の大きさによって段階的に課金される。
【0063】
【発明の効果】
以上述べたように、本発明ではユーザ企業ごとにネットワーク構成設定表を与え、それに基づきネットワーク帯域幅、計算資源を与えるとともに、ネットワーク及び計算機の稼動状況のモニタ結果に基づき自動的にユーザ毎にサービスレベル契約と比較してネットワーク資源、計算機資源の量を増減できる。これにより、ユーザ企業側で予測できない急速な負荷変動に対してもリアルタイムに計算資源の割当てを変更可能である。また、ユーザ企業のサーバを独立したVLANにいれ、サーバ割当に応じてVLANの構成を動的に変えることにより、各ユーザのセキュリティを保持することを可能にする。さらに、データセンタのネットワーク負荷増大にはネットワーク帯域幅の動的設定変更で対応し、ユーザは必要な処理を遅延無く実行することができる。
【0064】
また、ストレージ資源を全計算機で共有する場合に計算機資源の割当てを変更しても、ユーザ毎に設定しているVLAN及びストレージネットワークの構成に基づきアクセス権限チェックを行っているため、ユーザ間セキュリティを維持することができる。
【図面の簡単な説明】
【図1】インターネットを介して接続されるデータセンタとユーザの例である。
【図2】データセンタの構成の例である。
【図3】ユーザからキャリアを通じてデータセンタまで組んだVPNの例1である。
【図4】ユーザからキャリアを通じてデータセンタまで組んだVPNの例2である。
【図5】図2のデータセンタにおけるストレージネットワーク構成の例である。
【図6】図2のデータセンタの管理サーバが保持しているVLANに関する情報の一覧である。
【図7】図2のデータセンタの管理サーバが保持しているVPNに関する情報の一覧である。
【図8】ユーザの帯域管理サーバが保持しているVPNに関する情報の一覧である。
【図9】キャリアの帯域管理サーバが保持しているVPNに関する情報の一覧である。
【図10】図2のデータセンタの管理サーバが保持しているストレージネットワークに関する情報の一覧である。
【図11】ユーザからデータセンタ内部で処理されるパケットの一覧である。
【図12】サービスレベル条件入力画面(オプション選択画面)である。
【図13】サービスレベル条件入力画面(ユーザ条件の詳細を設定)である。
【図14】図2のデータセンタのサーバ及びVLAN、VPNに関する初期割当のフローチャートである。
【図15】ユーザに対するネットワーク帯域幅の割当変更のフローチャートである。
【図16】ユーザに対するサーバ及びVLANの割当変更のフローチャートである。
【図17】LPARサーバを用いて構成されたデータセンタの構成の一例である。
【図18】サービスレベル条件入力画面(オプション選択画面)である。
【図19】サービスレベル条件入力画面(ユーザ条件の詳細を設定)である。
【図20】図17のデータセンタの管理サーバが保持しているVLANに関する情報の一覧である。
【図21】図17のデータセンタの管理サーバが保持しているVPNに関する情報の一覧である。
【図22】図17のデータセンタの管理サーバが保持しているストレージネットワークに関するする情報の一覧である。
【図23】図17のデータセンタ内部において処理されるパケット一覧である。
【図24】図17のデータセンタにおけるLPAR及びVLAN、VPNに関する初期割当のフローチャートである。
【図25】ユーザに対するCPU割当率の割当変更のフローチャートである。
【図26】負荷が増えた場合のVPN、VLAN、ストレージネットワークの各要素に関する変更手順である。
【図27】負荷が減った場合のVPN、VLAN、ストレージネットワークの各要素に関する変更手順である。
【図28】ユーザに対するストレージネットワークでの割当変更のフローチャートである。
【図29】ポートの帯域制御機能を持つネットワークスイッチを持つ場合における図2のデータセンタ管理サーバが持つVLAN関連の情報である。
【図30】VLANタギングを用いずにユーザ専用のVPNルータとVLANを組み合わせることでセキュリティを確保した例である。
【図31】ポートの帯域制御機能を持つネットワークスイッチを持つ場合における図17のデータセンタ管理サーバが持つVLAN関連の情報である。
【図32】電源制御を伴うサーバ及びVLANの割当変更のフローチャートである。
【符号の説明】
D0・・・VPNルータ
C0・・・データセンタの管理サーバ
LB01・・・負荷分散装置
SW01、SW02・・・LANスイッチ
SW03・・・ストレージネットワークスイッチ
a10、b10、c10・・・Webサーバ
a20、b20、c20・・・APサーバ
a30、b30、c30・・・DBサーバ
s01・・・ストレージ
T01・・・ユーザ条件設定表
T02・・・VLAN構成表。

Claims (2)

  1. 相互にローカルネットワークで接続される複数のサーバを有し、外部にはインターネットが接続され、該インターネットの入り口から順に機能別に複数層のサーバ群を構成し、その最深層のサーバ群にはストレージ及びストレージネットワークが接続されてなり、複数ユーザの要求を処理する計算機システムにおいて、各ユーザへ各機能の層のサーバ群からそれぞれいくつかのサーバを割り当てる計算機資源割当方法であって、
    各ユーザごとに、そのユーザに割り当てられた表層のサーバ群への接続、該表層のサーバ群から次の層のサーバ群への接続、その次の層のサーバ群への接続、のように該ユーザに割り当てられた上記複数層のサーバ群にわたる接続に関わるVLANを設定し、
    各ユーザに割り当てた各層のサーバの負荷をモニタリングし、
    上記負荷のモニタリングの結果、あるユーザに割り当てたある層のサーバ群に追加割当を行うことを決定した場合に、
    追加割当するサーバの深層側の接続のVLAN設定変更を行い、次に追加割当するサーバの表層側の接続のVLAN設定変更を行うという順番で該ユーザに設定するVLANの動的変更を行うことを特徴とする計算機資源割当方法。
  2. 上記負荷のモニタリングの結果、あるユーザへのある層のサーバ群の割り当てから一部のサーバを削除することを決定した場合に、
    該ユーザへの割り当てを削除するサーバの表層側の接続のVLAN設定変更を行い、次に該割り当てを削除するサーバの深層側の接続のVLAN設定変更を行って該ユーザに設定するVLANからのサーバの接続解除を実行することを特徴とする請求項1記載の計算資源機割当方法。
JP2001312115A 2001-10-10 2001-10-10 計算機資源割当方法 Expired - Fee Related JP3879471B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001312115A JP3879471B2 (ja) 2001-10-10 2001-10-10 計算機資源割当方法
US10/080,715 US7062559B2 (en) 2001-10-10 2002-02-25 Computer resource allocating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001312115A JP3879471B2 (ja) 2001-10-10 2001-10-10 計算機資源割当方法

Publications (2)

Publication Number Publication Date
JP2003124976A JP2003124976A (ja) 2003-04-25
JP3879471B2 true JP3879471B2 (ja) 2007-02-14

Family

ID=19130826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001312115A Expired - Fee Related JP3879471B2 (ja) 2001-10-10 2001-10-10 計算機資源割当方法

Country Status (2)

Country Link
US (1) US7062559B2 (ja)
JP (1) JP3879471B2 (ja)

Families Citing this family (285)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001261258A1 (en) * 2000-05-05 2001-11-20 Aprisma Management Technologies, Inc. Help desk systems and methods for use with communications networks
US7500143B2 (en) * 2000-05-05 2009-03-03 Computer Associates Think, Inc. Systems and methods for managing and analyzing faults in computer networks
US7752024B2 (en) * 2000-05-05 2010-07-06 Computer Associates Think, Inc. Systems and methods for constructing multi-layer topological models of computer networks
WO2001086380A2 (en) * 2000-05-05 2001-11-15 Aprisma Management Technologies, Inc. Systems and methods for isolating faults in computer networks
US7237138B2 (en) * 2000-05-05 2007-06-26 Computer Associates Think, Inc. Systems and methods for diagnosing faults in computer networks
US7376743B1 (en) * 2002-04-02 2008-05-20 Cisco Technology, Inc. Method and apparatus for load balancing in a virtual private network
US7660731B2 (en) * 2002-04-06 2010-02-09 International Business Machines Corporation Method and apparatus for technology resource management
US20030236852A1 (en) * 2002-06-20 2003-12-25 International Business Machines Corporation Sharing network adapter among multiple logical partitions in a data processing system
US8060643B2 (en) * 2002-08-30 2011-11-15 Hewlett-Packard Development Company, L.P. Method and apparatus for dynamically managing bandwidth for clients in a storage area network
US7783035B2 (en) * 2002-08-30 2010-08-24 Adaptec, Inc. Systems and methods for implementing host-based security in a computer network
US7586944B2 (en) * 2002-08-30 2009-09-08 Hewlett-Packard Development Company, L.P. Method and system for grouping clients of a storage area network according to priorities for bandwidth allocation
WO2004038700A2 (en) * 2002-10-23 2004-05-06 Onaro Method and system for validating logical end-to-end access paths in storage area networks
US7961594B2 (en) * 2002-10-23 2011-06-14 Onaro, Inc. Methods and systems for history analysis for access paths in networks
US8230066B2 (en) * 2002-11-04 2012-07-24 International Business Machines Corporation Location independent backup of data from mobile and stationary computers in wide regions regarding network and server activities
US20040088422A1 (en) * 2002-11-06 2004-05-06 Flynn Thomas J. Computer network architecture and method relating to selective resource access
US7631089B2 (en) * 2002-12-31 2009-12-08 Intel Corporation System for device-access policy enforcement
US7583607B2 (en) * 2003-03-06 2009-09-01 Hewlett-Packard Development Company, L.P. Method and apparatus for designating and implementing support level agreements
US20040181589A1 (en) * 2003-03-14 2004-09-16 Sun Microsystems,Inc. Storage virtual channels and method for using the same
US20040181594A1 (en) * 2003-03-14 2004-09-16 Sun Microsystems, Inc. Methods for assigning performance specifications to a storage virtual channel
JP4077352B2 (ja) * 2003-03-31 2008-04-16 株式会社日立製作所 負荷分散方法及びその実施システム並びにその処理プログラム
US20040202185A1 (en) * 2003-04-14 2004-10-14 International Business Machines Corporation Multiple virtual local area network support for shared network adapters
US20040230317A1 (en) * 2003-05-15 2004-11-18 Sun Microsystems, Inc. Method, system, and program for allocating storage resources
JP2004348192A (ja) * 2003-05-20 2004-12-09 Hitachi Ltd Job分配制御方法
JP4395662B2 (ja) * 2003-06-12 2010-01-13 キャミアント,インク. Pcmmアプリケーションマネージャ
CA2528648C (en) * 2003-06-12 2014-04-08 Camiant, Inc. Dynamic service delivery with topology discovery for communication networks
US7620950B2 (en) * 2003-07-01 2009-11-17 International Business Machines Corporation System and method to monitor amount of usage of applications in logical partitions
JP4123088B2 (ja) * 2003-08-06 2008-07-23 株式会社日立製作所 ストレージネットワーク管理装置及び方法
US20050038890A1 (en) * 2003-08-11 2005-02-17 Hitachi., Ltd. Load distribution method and client-server system
US20050050213A1 (en) * 2003-09-03 2005-03-03 James Clough Authorizing network requests
US7523041B2 (en) 2003-09-18 2009-04-21 International Business Machines Corporation Method of displaying real-time service level performance, breach, and guaranteed uniformity with automatic alerts and proactive rebating for utility computing environment
US8332483B2 (en) 2003-12-15 2012-12-11 International Business Machines Corporation Apparatus, system, and method for autonomic control of grid system resources
US7412516B1 (en) * 2003-12-29 2008-08-12 Aol Llc Using a network bandwidth setting based on determining the network environment
US20050149940A1 (en) * 2003-12-31 2005-07-07 Sychron Inc. System Providing Methodology for Policy-Based Resource Allocation
US7461149B2 (en) * 2004-01-13 2008-12-02 International Business Machines Corporation Ordering provisioning request execution based on service level agreement and customer entitlement
US20050188415A1 (en) * 2004-01-23 2005-08-25 Camiant, Inc. Video policy server
JP2005216151A (ja) 2004-01-30 2005-08-11 Hitachi Ltd 資源運用管理システム及び資源運用管理方法
GB2412754B (en) * 2004-03-30 2007-07-11 Hewlett Packard Development Co Provision of resource allocation information
JP2005327233A (ja) * 2004-04-12 2005-11-24 Hitachi Ltd コンピュータシステム
US20050240650A1 (en) * 2004-04-22 2005-10-27 International Business Machines Corporation Service enablement via on demand resources
JP2006011860A (ja) * 2004-06-25 2006-01-12 Fujitsu Ltd システム構成管理プログラム及びシステム構成管理装置
US7562389B1 (en) 2004-07-30 2009-07-14 Cisco Technology, Inc. Method and system for network security
US7712102B2 (en) * 2004-07-30 2010-05-04 Hewlett-Packard Development Company, L.P. System and method for dynamically configuring a plurality of load balancers in response to the analyzed performance data
US7555774B2 (en) * 2004-08-02 2009-06-30 Cisco Technology, Inc. Inline intrusion detection using a single physical port
JP4518887B2 (ja) * 2004-09-10 2010-08-04 株式会社日立製作所 ストレージエリアネットワーク管理システム及び管理装置とボリューム割当て方法並びにコンピュータ・ソフトウエア
JP2006079495A (ja) * 2004-09-13 2006-03-23 Hitachi Ltd ストレージシステム及び論理区画の設定方法
JP4309321B2 (ja) * 2004-09-28 2009-08-05 株式会社日立製作所 ネットワークシステムの運用管理方法及びストレージ装置
US7269652B2 (en) * 2004-10-18 2007-09-11 International Business Machines Corporation Algorithm for minimizing rebate value due to SLA breach in a utility computing environment
US7447166B1 (en) * 2004-11-02 2008-11-04 Cisco Technology, Inc. Method to distribute IEEE 802.1X authenticated users among multiple broadcast domains
US20060123111A1 (en) * 2004-12-02 2006-06-08 Frank Dea Method, system and computer program product for transitioning network traffic between logical partitions in one or more data processing systems
US20060123204A1 (en) * 2004-12-02 2006-06-08 International Business Machines Corporation Method and system for shared input/output adapter in logically partitioned data processing system
US7787494B1 (en) * 2004-12-07 2010-08-31 Nortel Networks Limited Method and apparatus for assigning and allocating network resources to packet-based virtual private networks
JP2006166297A (ja) * 2004-12-10 2006-06-22 Fumio Kobayashi 通信帯域制御装置、通信帯域制御方法及びプログラム
US7725938B2 (en) 2005-01-20 2010-05-25 Cisco Technology, Inc. Inline intrusion detection
JP5076279B2 (ja) 2005-03-17 2012-11-21 富士通株式会社 It資産管理システム、it資産管理方法およびit資産管理プログラム
JP4548168B2 (ja) * 2005-03-22 2010-09-22 日本電気株式会社 ロードバランス装置、サーバシステム及びそのロードバランス方法
JP4596945B2 (ja) 2005-03-24 2010-12-15 富士通株式会社 データセンタの需要予測システム、需要予測方法および需要予測プログラム
JP3967752B2 (ja) * 2005-03-25 2007-08-29 株式会社東芝 計算機ネットワーク構成制御システム及び方法
US7782870B1 (en) * 2005-04-22 2010-08-24 Oracle America, Inc. Method and apparatus for consolidating available computing resources on different computing devices
US7797564B2 (en) * 2005-05-24 2010-09-14 International Business Machines Corporation Method, apparatus, and computer program product for dynamically modifying operating parameters of the system based on the current usage of a processor core's specialized processing units
US8745326B2 (en) * 2005-06-02 2014-06-03 Seagate Technology Llc Request priority seek manager
US8473602B2 (en) * 2005-06-11 2013-06-25 Intellectual Business Machines Corporation System and method for autonomic system management through modulation of network controls
JP4352028B2 (ja) 2005-06-29 2009-10-28 富士通株式会社 運用ポリシー評価システムおよび運用ポリシー評価プログラム
JP4435037B2 (ja) 2005-06-29 2010-03-17 富士通株式会社 It資産評価システム、it資産評価プログラム、管理システムおよび管理プログラム
JP4293616B2 (ja) 2005-06-29 2009-07-08 富士通株式会社 余剰判定システム、管理システム、余剰判定プログラムおよび管理プログラム
US8230419B2 (en) * 2005-07-26 2012-07-24 International Business Machines Corporation Method, system and program product for capturing central processing unit (CPU) utilization for a process on a virtual machine
JP4786248B2 (ja) 2005-08-09 2011-10-05 株式会社日立製作所 ストレージシステムの構成管理装置及び構成管理方法
CN101310507B (zh) * 2005-08-12 2012-08-08 Gn奈康有限公司 一种适于提供通信连接的基本单元和提供通信连接的方法
EP1943594A4 (en) 2005-09-27 2009-12-16 Onaro METHOD AND SYSTEMS FOR VALIDATING ACCESSIBILITY AND UPDATED REPLICATED DATA
JP4699849B2 (ja) * 2005-09-28 2011-06-15 株式会社日立製作所 アクセスパス管理方法及び装置
US20070094061A1 (en) * 2005-10-12 2007-04-26 Jianying Hu Method and system for predicting resource requirements for service engagements
JP5077617B2 (ja) * 2005-10-27 2012-11-21 富士通株式会社 想定外需要検出システムおよび想定外需要検出プログラム
JP2007135109A (ja) 2005-11-11 2007-05-31 Hitachi Ltd 仮想ネットワーク管理方法、仮想ネットワーク管理プログラム、仮想ネットワーク管理システムおよび仮想ネットワーク管理手段
US20070174459A1 (en) * 2006-01-26 2007-07-26 Amichai Lesser Device and method for allocating separate bandwidths to multiple virtual users
JP4634467B2 (ja) * 2006-01-26 2011-02-16 富士通株式会社 ネットワーク管理プログラムおよびネットワーク管理装置
GB0603150D0 (en) * 2006-02-17 2006-03-29 Ericsson Telefon Ab L M Monitoring network usage
EP1830268B1 (en) * 2006-03-03 2019-05-08 STMicroelectronics (Research & Development) Limited Multiple purpose integrated circuit
JP2007267139A (ja) * 2006-03-29 2007-10-11 Fujitsu Ltd 認証vlan管理装置
JP4519098B2 (ja) * 2006-03-30 2010-08-04 株式会社日立製作所 計算機の管理方法、計算機システム、及び管理プログラム
US20100242048A1 (en) * 2006-04-19 2010-09-23 Farney James C Resource allocation system
US7711821B2 (en) * 2006-05-31 2010-05-04 International Business Machines Corporation Multiple resource control-advisor for management of distributed or web-based systems
JP4899643B2 (ja) 2006-05-31 2012-03-21 富士通株式会社 ネットワーク構成装置
US8281387B2 (en) * 2006-06-30 2012-10-02 Intel Corporation Method and apparatus for supporting a virtual private network architecture on a partitioned platform
US8024738B2 (en) * 2006-08-25 2011-09-20 International Business Machines Corporation Method and system for distributing unused processor cycles within a dispatch window
US7624262B2 (en) * 2006-12-20 2009-11-24 International Business Machines Corporation Apparatus, system, and method for booting using an external disk through a virtual SCSI connection
JP4899859B2 (ja) * 2006-12-27 2012-03-21 富士通株式会社 帯域管理装置および帯域管理方法
US8826032B1 (en) 2006-12-27 2014-09-02 Netapp, Inc. Systems and methods for network change discovery and host name resolution in storage network environments
US8332860B1 (en) 2006-12-30 2012-12-11 Netapp, Inc. Systems and methods for path-based tier-aware dynamic capacity management in storage network environments
US8112524B2 (en) * 2007-01-15 2012-02-07 International Business Machines Corporation Recommending moving resources in a partitioned computer
US9042263B1 (en) 2007-04-06 2015-05-26 Netapp, Inc. Systems and methods for comparative load analysis in storage networks
US7979550B2 (en) * 2007-05-24 2011-07-12 Sihai Xiao Methods and apparatuses for adjusting bandwidth allocation during a collaboration session
US8589206B2 (en) * 2007-05-31 2013-11-19 International Business Machines Corporation Service requests for multiple service level characteristics
US8117074B2 (en) * 2007-05-31 2012-02-14 International Business Machines Corporation Scaling offers for elemental biddable resources (EBRs)
US8180660B2 (en) * 2007-05-31 2012-05-15 International Business Machines Corporation Non-depleting chips for obtaining desired service level characteristics
US7840433B2 (en) * 2007-05-31 2010-11-23 International Business Machines Corporation Fluid, depleting chips for obtaining desired service level characteristics
US10419360B2 (en) 2007-05-31 2019-09-17 International Business Machines Corporation Market-driven variable price offerings for bandwidth-sharing ad hoc networks
US8032407B2 (en) 2007-05-31 2011-10-04 International Business Machines Corporation Application of brokering methods to scalability characteristics
US7899696B2 (en) * 2007-05-31 2011-03-01 International Business Machines Corporation Application of brokering methods to recoverability characteristics
US20080301025A1 (en) * 2007-05-31 2008-12-04 Boss Gregory J Application of brokering methods to availability characteristics
US20080301688A1 (en) * 2007-05-31 2008-12-04 Boss Gregory J Method, system, and program product for allocating a resource
US9165266B2 (en) * 2007-05-31 2015-10-20 International Business Machines Corporation Resource management framework for holding auctions and applying service level characteristics in response to bids for resources
US8140446B2 (en) * 2007-05-31 2012-03-20 International Business Machines Corporation Application of brokering methods to operational support characteristics
US8041599B2 (en) * 2007-05-31 2011-10-18 International Business Machines Corporation Method, system, and program product for selecting a brokering method for obtaining desired service level characteristics
US8332859B2 (en) * 2007-05-31 2012-12-11 International Business Machines Corporation Intelligent buyer's agent usage for allocation of service level characteristics
US7899697B2 (en) 2007-05-31 2011-03-01 International Business Machines Corporation Application of brokering methods to security characteristics
US9147215B2 (en) * 2007-05-31 2015-09-29 International Business Machines Corporation Discrete, depleting chips for obtaining desired service level characteristics
US8041600B2 (en) * 2007-05-31 2011-10-18 International Business Machines Corporation Application of brokering methods to performance characteristics
JP4872818B2 (ja) * 2007-06-14 2012-02-08 ムラテックオートメーション株式会社 プロセス状態監視装置
US8161476B2 (en) 2007-07-04 2012-04-17 International Business Machines Corporation Processor exclusivity in a partitioned system
JP4834622B2 (ja) 2007-07-23 2011-12-14 株式会社日立製作所 ビジネスプロセス運用管理システム、方法、プロセス運用管理装置およびそのプログラム
US8910234B2 (en) * 2007-08-21 2014-12-09 Schneider Electric It Corporation System and method for enforcing network device provisioning policy
JP5393686B2 (ja) 2007-09-26 2014-01-22 ニシラ, インコーポレイテッド ネットワークを管理する及び安全にするためのネットワークオペレーティングシステム
US7945640B1 (en) * 2007-09-27 2011-05-17 Emc Corporation Methods and apparatus for network provisioning
US7975033B2 (en) * 2007-10-23 2011-07-05 Virtudatacenter Holdings, L.L.C. System and method for initializing and maintaining a series of virtual local area networks contained in a clustered computer system
JP4861293B2 (ja) * 2007-11-01 2012-01-25 富士通株式会社 通信装置、通信方法および通信プログラム
US7801994B2 (en) * 2007-11-29 2010-09-21 Hitachi, Ltd. Method and apparatus for locating candidate data centers for application migration
JP5157472B2 (ja) 2008-01-22 2013-03-06 富士通株式会社 帯域制御機能を有する負荷分散装置およびその設定方法
US9113334B2 (en) * 2008-02-01 2015-08-18 Tekelec, Inc. Methods, systems, and computer readable media for controlling access to voice resources in mobile networks using mobility management signaling messages
JP2009217327A (ja) * 2008-03-07 2009-09-24 Nec Corp クライアント環境生成システム、クライアント環境生成方法、クライアント環境生成プログラム、及び記憶媒体
US20090238077A1 (en) * 2008-03-19 2009-09-24 Paritosh Bajpay Method and apparatus for providing automated processing of a virtual connection alarm
US20100106436A1 (en) * 2008-10-20 2010-04-29 International Business Machines Corporation Power consumption calculation facility
US8201237B1 (en) 2008-12-10 2012-06-12 Amazon Technologies, Inc. Establishing secure remote access to private computer networks
US8230050B1 (en) 2008-12-10 2012-07-24 Amazon Technologies, Inc. Providing access to configurable private computer networks
US9137209B1 (en) 2008-12-10 2015-09-15 Amazon Technologies, Inc. Providing local secure network access to remote services
US9524167B1 (en) 2008-12-10 2016-12-20 Amazon Technologies, Inc. Providing location-specific network access to remote services
US20100161827A1 (en) * 2008-12-23 2010-06-24 Griesmer Stephen J Methods and apparatus to manage port resources
US8693328B2 (en) * 2009-02-19 2014-04-08 Sandvine Incorporated Ulc Method and apparatus for distributing credits to multiple shapers to enable shaping traffic targets in packet communication networks
US20100229175A1 (en) * 2009-03-05 2010-09-09 International Business Machines Corporation Moving Resources In a Computing Environment Having Multiple Logically-Partitioned Computer Systems
US8060792B2 (en) 2009-03-31 2011-11-15 Amazon Technologies, Inc. Monitoring and automated recovery of data instances
US9705888B2 (en) * 2009-03-31 2017-07-11 Amazon Technologies, Inc. Managing security groups for data instances
US8713060B2 (en) 2009-03-31 2014-04-29 Amazon Technologies, Inc. Control service for relational data management
US8307003B1 (en) 2009-03-31 2012-11-06 Amazon Technologies, Inc. Self-service control environment
US9207984B2 (en) 2009-03-31 2015-12-08 Amazon Technologies, Inc. Monitoring and automatic scaling of data volumes
US8332365B2 (en) 2009-03-31 2012-12-11 Amazon Technologies, Inc. Cloning and recovery of data volumes
JP5701288B2 (ja) 2009-04-01 2015-04-15 ニシラ, インコーポレイテッド ネットワークおよびネットワーキングリソースを管理する方法
US20100318454A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Function and Constraint Based Service Agreements
US20120173604A1 (en) * 2009-09-18 2012-07-05 Nec Corporation Data center system, reconfigurable node, reconfigurable node controlling method and reconfigurable node control program
US8422365B2 (en) * 2009-09-21 2013-04-16 Cisco Technology, Inc. Energy efficient scaling of network appliance service performance
US9135283B2 (en) 2009-10-07 2015-09-15 Amazon Technologies, Inc. Self-service configuration for data environment
US8074107B2 (en) 2009-10-26 2011-12-06 Amazon Technologies, Inc. Failover and recovery for replicated data instances
US8676753B2 (en) 2009-10-26 2014-03-18 Amazon Technologies, Inc. Monitoring of replicated data instances
US8335765B2 (en) * 2009-10-26 2012-12-18 Amazon Technologies, Inc. Provisioning and managing replicated data instances
JP4939594B2 (ja) * 2009-11-30 2012-05-30 インターナショナル・ビジネス・マシーンズ・コーポレーション プライマリクラウドが提供したサービスレベルの実績値又は更新されたプリファレンス情報に基づいて、サービスレベルアグリーメントを動的に決定してサービスを提供することができるクラウドシステムを構成する装置、方法及びコンピュータプログラム
JP2011160298A (ja) * 2010-02-02 2011-08-18 Fujitsu Ltd ネットワークシステム、処理を提供するサーバの切替方法、処理を提供するサーバの切替プログラム、情報処理装置、仮想マシン構築方法および仮想マシン構築プログラム
JP5336405B2 (ja) * 2010-03-10 2013-11-06 富士フイルム株式会社 社内情報閲覧用サーバ・システムおよびその制御方法
US8266204B2 (en) 2010-03-15 2012-09-11 Microsoft Corporation Direct addressability and direct server return
US8627123B2 (en) * 2010-03-25 2014-01-07 Microsoft Corporation Managing power provisioning in distributed computing
US8902743B2 (en) 2010-06-28 2014-12-02 Microsoft Corporation Distributed and scalable network address translation
US9680750B2 (en) 2010-07-06 2017-06-13 Nicira, Inc. Use of tunnels to hide network addresses
US10103939B2 (en) 2010-07-06 2018-10-16 Nicira, Inc. Network control apparatus and method for populating logical datapath sets
US8817621B2 (en) 2010-07-06 2014-08-26 Nicira, Inc. Network virtualization apparatus
US9525647B2 (en) 2010-07-06 2016-12-20 Nicira, Inc. Network control apparatus and method for creating and modifying logical switching elements
US8964528B2 (en) 2010-07-06 2015-02-24 Nicira, Inc. Method and apparatus for robust packet distribution among hierarchical managed switching elements
JP2012053853A (ja) * 2010-09-03 2012-03-15 Ricoh Co Ltd 情報処理装置、情報処理システム、サービス提供機器決定方法、プログラム
WO2012033110A1 (ja) * 2010-09-06 2012-03-15 日本電気株式会社 アプリケーション構成システム、方法、及び、プログラム
US9258231B2 (en) * 2010-09-08 2016-02-09 International Business Machines Corporation Bandwidth allocation management
CN103154926B (zh) * 2010-09-30 2016-06-01 亚马逊技术股份有限公司 用专用实施资源进行虚拟资源成本追踪
US11106479B2 (en) 2010-09-30 2021-08-31 Amazon Technologies, Inc. Virtual provisioning with implementation resource boundary awareness
US10013662B2 (en) 2010-09-30 2018-07-03 Amazon Technologies, Inc. Virtual resource cost tracking with dedicated implementation resources
US8380845B2 (en) 2010-10-08 2013-02-19 Microsoft Corporation Providing a monitoring service in a cloud-based computing environment
US8843632B2 (en) 2010-10-11 2014-09-23 Microsoft Corporation Allocation of resources between web services in a composite service
JP4811830B1 (ja) * 2010-10-15 2011-11-09 株式会社 イーシー・ワン コンピュータリソース制御システム
US8959219B2 (en) 2010-10-18 2015-02-17 Microsoft Technology Licensing, Llc Dynamic rerouting of service requests between service endpoints for web services in a composite service
US8510426B2 (en) 2010-10-20 2013-08-13 Microsoft Corporation Communication and coordination between web services in a cloud-based computing environment
US8874787B2 (en) 2010-10-20 2014-10-28 Microsoft Corporation Optimized consumption of third-party web services in a composite service
US8699499B2 (en) * 2010-12-08 2014-04-15 At&T Intellectual Property I, L.P. Methods and apparatus to provision cloud computing network elements
US20120096130A1 (en) * 2010-12-14 2012-04-19 Huawei Technologies Co., Ltd. Method, apparatus and system for bandwidth control
JP5720324B2 (ja) * 2011-03-11 2015-05-20 日本電気株式会社 シンクライアント環境提供システム、サーバ、シンクライアント環境管理方法、及びシンクライアント環境管理プログラム
JP5691062B2 (ja) * 2011-04-04 2015-04-01 株式会社日立製作所 仮想計算機の制御方法及び管理計算機
US9705977B2 (en) * 2011-04-20 2017-07-11 Symantec Corporation Load balancing for network devices
US9043452B2 (en) 2011-05-04 2015-05-26 Nicira, Inc. Network control apparatus and method for port isolation
JPWO2012157035A1 (ja) * 2011-05-13 2014-07-31 株式会社日立製作所 計算機システム、ネットワークインタフェース管理方法
US8595267B2 (en) * 2011-06-27 2013-11-26 Amazon Technologies, Inc. System and method for implementing a scalable data storage service
JP5870192B2 (ja) 2011-08-17 2016-02-24 ニシラ, インコーポレイテッド 論理l3ルーティング
US9444651B2 (en) 2011-08-17 2016-09-13 Nicira, Inc. Flow generation from second level controller to first level controller to managed switching element
US9722866B1 (en) 2011-09-23 2017-08-01 Amazon Technologies, Inc. Resource allocation to reduce correlated failures
CN103827841B (zh) * 2011-09-30 2017-03-29 英特尔公司 可配置带宽的io连接器
US9178833B2 (en) 2011-10-25 2015-11-03 Nicira, Inc. Chassis controller
US9288104B2 (en) 2011-10-25 2016-03-15 Nicira, Inc. Chassis controllers for converting universal flows
US9137107B2 (en) 2011-10-25 2015-09-15 Nicira, Inc. Physical controllers for converting universal flows
US9203701B2 (en) 2011-10-25 2015-12-01 Nicira, Inc. Network virtualization apparatus and method with scheduling capabilities
WO2013074827A1 (en) 2011-11-15 2013-05-23 Nicira, Inc. Architecture of networks with middleboxes
EP2786261B1 (en) * 2011-11-29 2020-02-26 Amazon Technologies, Inc. Interfaces to manage direct network peerings
US10015083B2 (en) 2011-12-22 2018-07-03 Amazon Technologies, Inc. Interfaces to manage inter-region connectivity for direct network peerings
US8724642B2 (en) 2011-11-29 2014-05-13 Amazon Technologies, Inc. Interfaces to manage direct network peerings
JP5903873B2 (ja) 2011-12-19 2016-04-13 富士通株式会社 ストレージ装置、ストレージ装置の制御方法及びストレージ装置制御プログラム
US9461915B1 (en) * 2012-01-26 2016-10-04 Google Inc. System and method for reducing consumption of hardware resources using weighted cost multi-path flow distribution
US9158714B2 (en) * 2012-01-31 2015-10-13 Symantec Corporation Method and system for multi-layer differential load balancing in tightly coupled clusters
JP5942485B2 (ja) * 2012-03-05 2016-06-29 株式会社リコー データ処理装置、プログラムおよびデータ処理システム
US9455883B1 (en) * 2012-03-30 2016-09-27 Emc Corporation Method and apparatus for provisioning shared NFS storage
WO2013158918A1 (en) 2012-04-18 2013-10-24 Nicira, Inc. Using transactions to minimize churn in a distributed network control system
US8918493B1 (en) 2012-06-28 2014-12-23 Emc Corporation Methods and apparatus for automating service lifecycle management
WO2014012251A1 (zh) * 2012-07-20 2014-01-23 华为技术有限公司 一种资源管理方法和管理服务器
JP6098167B2 (ja) * 2013-01-09 2017-03-22 富士通株式会社 仮想マシン管理プログラム及びその方法
JP2014154947A (ja) * 2013-02-05 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 通信システム、及び帯域確保通信方法
JP6094272B2 (ja) * 2013-03-06 2017-03-15 富士通株式会社 管理システム、管理方法、管理プログラム及び管理装置
US9571386B2 (en) 2013-07-08 2017-02-14 Nicira, Inc. Hybrid packet processing
US9407580B2 (en) 2013-07-12 2016-08-02 Nicira, Inc. Maintaining data stored with a packet
US9282019B2 (en) 2013-07-12 2016-03-08 Nicira, Inc. Tracing logical network packets through physical network
US9344349B2 (en) 2013-07-12 2016-05-17 Nicira, Inc. Tracing network packets by a cluster of network controllers
US9952885B2 (en) 2013-08-14 2018-04-24 Nicira, Inc. Generation of configuration files for a DHCP module executing within a virtualized container
US9887960B2 (en) 2013-08-14 2018-02-06 Nicira, Inc. Providing services for logical networks
US9577845B2 (en) 2013-09-04 2017-02-21 Nicira, Inc. Multiple active L3 gateways for logical networks
US9503371B2 (en) 2013-09-04 2016-11-22 Nicira, Inc. High availability L3 gateways for logical networks
US9674087B2 (en) 2013-09-15 2017-06-06 Nicira, Inc. Performing a multi-stage lookup to classify packets
US9602398B2 (en) 2013-09-15 2017-03-21 Nicira, Inc. Dynamically generating flows with wildcard fields
US9977685B2 (en) 2013-10-13 2018-05-22 Nicira, Inc. Configuration of logical router
US10063458B2 (en) 2013-10-13 2018-08-28 Nicira, Inc. Asymmetric connection with external networks
US9967199B2 (en) 2013-12-09 2018-05-08 Nicira, Inc. Inspecting operations of a machine to detect elephant flows
US9548924B2 (en) 2013-12-09 2017-01-17 Nicira, Inc. Detecting an elephant flow based on the size of a packet
US9996467B2 (en) 2013-12-13 2018-06-12 Nicira, Inc. Dynamically adjusting the number of flows allowed in a flow table cache
US9569368B2 (en) 2013-12-13 2017-02-14 Nicira, Inc. Installing and managing flows in a flow table cache
US10217145B1 (en) 2014-02-18 2019-02-26 Amazon Technologies, Inc. Partitioned private interconnects to provider networks
US9225597B2 (en) 2014-03-14 2015-12-29 Nicira, Inc. Managed gateways peering with external router to attract ingress packets
US9590901B2 (en) 2014-03-14 2017-03-07 Nicira, Inc. Route advertisement by managed gateways
US9419855B2 (en) 2014-03-14 2016-08-16 Nicira, Inc. Static routes for logical routers
US9313129B2 (en) 2014-03-14 2016-04-12 Nicira, Inc. Logical router processing by network controller
US9503321B2 (en) 2014-03-21 2016-11-22 Nicira, Inc. Dynamic routing for logical routers
US9647883B2 (en) 2014-03-21 2017-05-09 Nicria, Inc. Multiple levels of logical routers
US9893988B2 (en) 2014-03-27 2018-02-13 Nicira, Inc. Address resolution using multiple designated instances of a logical router
US9413644B2 (en) 2014-03-27 2016-08-09 Nicira, Inc. Ingress ECMP in virtual distributed routing environment
US9686200B2 (en) 2014-03-31 2017-06-20 Nicira, Inc. Flow cache hierarchy
US10193806B2 (en) 2014-03-31 2019-01-29 Nicira, Inc. Performing a finishing operation to improve the quality of a resulting hash
US9385954B2 (en) 2014-03-31 2016-07-05 Nicira, Inc. Hashing techniques for use in a network environment
JP6318910B2 (ja) 2014-06-26 2018-05-09 富士通株式会社 管理装置,情報処理システム,プログラム
US9768980B2 (en) 2014-09-30 2017-09-19 Nicira, Inc. Virtual distributed bridging
US10250443B2 (en) 2014-09-30 2019-04-02 Nicira, Inc. Using physical location to modify behavior of a distributed virtual network element
US11178051B2 (en) 2014-09-30 2021-11-16 Vmware, Inc. Packet key parser for flow-based forwarding elements
US10020960B2 (en) 2014-09-30 2018-07-10 Nicira, Inc. Virtual distributed bridging
US10511458B2 (en) 2014-09-30 2019-12-17 Nicira, Inc. Virtual distributed bridging
US10469342B2 (en) 2014-10-10 2019-11-05 Nicira, Inc. Logical network traffic analysis
US10079779B2 (en) 2015-01-30 2018-09-18 Nicira, Inc. Implementing logical router uplinks
JP2018509842A (ja) * 2015-03-19 2018-04-05 ゼットティーイー コーポレイション マルチドメイン仮想トポロジー(mdvt)を確立および管理するための方法およびシステム
US10038628B2 (en) 2015-04-04 2018-07-31 Nicira, Inc. Route server mode for dynamic routing between logical and physical networks
US9923760B2 (en) 2015-04-06 2018-03-20 Nicira, Inc. Reduction of churn in a network control system
JP6451497B2 (ja) * 2015-05-20 2019-01-16 富士通株式会社 情報処理装置、情報処理プログラム、及びデータセンタシステム
US10348625B2 (en) 2015-06-30 2019-07-09 Nicira, Inc. Sharing common L2 segment in a virtual distributed router environment
US10129142B2 (en) 2015-08-11 2018-11-13 Nicira, Inc. Route configuration for logical router
US10075363B2 (en) 2015-08-31 2018-09-11 Nicira, Inc. Authorization for advertised routes among logical routers
US10204122B2 (en) 2015-09-30 2019-02-12 Nicira, Inc. Implementing an interface between tuple and message-driven control entities
US10095535B2 (en) 2015-10-31 2018-10-09 Nicira, Inc. Static route types for logical routers
US9923839B2 (en) * 2015-11-25 2018-03-20 International Business Machines Corporation Configuring resources to exploit elastic network capability
US10581680B2 (en) 2015-11-25 2020-03-03 International Business Machines Corporation Dynamic configuration of network features
US10333849B2 (en) 2016-04-28 2019-06-25 Nicira, Inc. Automatic configuration of logical routers on edge nodes
US11019167B2 (en) 2016-04-29 2021-05-25 Nicira, Inc. Management of update queues for network controller
US10484515B2 (en) 2016-04-29 2019-11-19 Nicira, Inc. Implementing logical metadata proxy servers in logical networks
US10841273B2 (en) 2016-04-29 2020-11-17 Nicira, Inc. Implementing logical DHCP servers in logical networks
US10091161B2 (en) 2016-04-30 2018-10-02 Nicira, Inc. Assignment of router ID for logical routers
US10153973B2 (en) 2016-06-29 2018-12-11 Nicira, Inc. Installation of routing tables for logical router in route server mode
US10560320B2 (en) 2016-06-29 2020-02-11 Nicira, Inc. Ranking of gateways in cluster
US10454758B2 (en) 2016-08-31 2019-10-22 Nicira, Inc. Edge node cluster network redundancy and fast convergence using an underlay anycast VTEP IP
US10341236B2 (en) 2016-09-30 2019-07-02 Nicira, Inc. Anycast edge service gateways
US10742746B2 (en) 2016-12-21 2020-08-11 Nicira, Inc. Bypassing a load balancer in a return path of network traffic
US10237123B2 (en) 2016-12-21 2019-03-19 Nicira, Inc. Dynamic recovery from a split-brain failure in edge nodes
US10212071B2 (en) 2016-12-21 2019-02-19 Nicira, Inc. Bypassing a load balancer in a return path of network traffic
US10616045B2 (en) 2016-12-22 2020-04-07 Nicira, Inc. Migration of centralized routing components of logical router
US10805239B2 (en) 2017-03-07 2020-10-13 Nicira, Inc. Visualization of path between logical network endpoints
JP7007549B2 (ja) * 2017-05-19 2022-01-24 富士通株式会社 情報処理システム、管理装置、及び、情報処理システムの制御方法
EP3617878B1 (en) 2017-05-24 2022-12-28 Mitsubishi Electric Corporation Data processing system, data processing device, and data processing program
US10652281B1 (en) * 2017-08-31 2020-05-12 Vmware, Inc. Network policy implementation in a tag-based policy architecture
US20220174493A1 (en) * 2017-09-27 2022-06-02 Ubiquiti Inc. Systems for automatic secured remote access to a local network
RU2760035C2 (ru) * 2017-09-27 2021-11-22 Юбиквити Инк. Системы для автоматического защищенного удаленного доступа к локальной сети
US10608887B2 (en) 2017-10-06 2020-03-31 Nicira, Inc. Using packet tracing tool to automatically execute packet capture operations
US10477416B2 (en) 2017-10-13 2019-11-12 At&T Intellectual Property I, L.P. Network traffic forecasting for non-ticketed events
US10511459B2 (en) 2017-11-14 2019-12-17 Nicira, Inc. Selection of managed forwarding element for bridge spanning multiple datacenters
US10374827B2 (en) 2017-11-14 2019-08-06 Nicira, Inc. Identifier that maps to different networks at different datacenters
US10931560B2 (en) 2018-11-23 2021-02-23 Vmware, Inc. Using route type to determine routing protocol behavior
US10797998B2 (en) 2018-12-05 2020-10-06 Vmware, Inc. Route server for distributed routers using hierarchical routing protocol
US10938788B2 (en) 2018-12-12 2021-03-02 Vmware, Inc. Static routes for policy-based VPN
US11095480B2 (en) 2019-08-30 2021-08-17 Vmware, Inc. Traffic optimization using distributed edge services
US11283699B2 (en) 2020-01-17 2022-03-22 Vmware, Inc. Practical overlay network latency measurement in datacenter
US11050825B1 (en) * 2020-01-30 2021-06-29 EMC IP Holding Company LLC Storage system port usage information sharing between host devices
US11606294B2 (en) 2020-07-16 2023-03-14 Vmware, Inc. Host computer configured to facilitate distributed SNAT service
US11616755B2 (en) 2020-07-16 2023-03-28 Vmware, Inc. Facilitating distributed SNAT service
US11611613B2 (en) 2020-07-24 2023-03-21 Vmware, Inc. Policy-based forwarding to a load balancer of a load balancing cluster
US11902050B2 (en) 2020-07-28 2024-02-13 VMware LLC Method for providing distributed gateway service at host computer
US11451413B2 (en) 2020-07-28 2022-09-20 Vmware, Inc. Method for advertising availability of distributed gateway service and machines at host computer
US11558426B2 (en) 2020-07-29 2023-01-17 Vmware, Inc. Connection tracking for container cluster
US11570090B2 (en) 2020-07-29 2023-01-31 Vmware, Inc. Flow tracing operation in container cluster
US11196628B1 (en) 2020-07-29 2021-12-07 Vmware, Inc. Monitoring container clusters
US11736436B2 (en) 2020-12-31 2023-08-22 Vmware, Inc. Identifying routes with indirect addressing in a datacenter
US11336533B1 (en) 2021-01-08 2022-05-17 Vmware, Inc. Network visualization of correlations between logical elements and associated physical elements
US11687210B2 (en) 2021-07-05 2023-06-27 Vmware, Inc. Criteria-based expansion of group nodes in a network topology visualization
US11711278B2 (en) 2021-07-24 2023-07-25 Vmware, Inc. Visualization of flow trace operation across multiple sites
US11706109B2 (en) 2021-09-17 2023-07-18 Vmware, Inc. Performance of traffic monitoring actions
CN116048821B (zh) * 2023-04-03 2023-06-16 深圳市昊源诺信科技有限公司 高利用率的ai服务器及其资源分配方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662221B1 (en) * 1999-04-12 2003-12-09 Lucent Technologies Inc. Integrated network and service management with automated flow through configuration and provisioning of virtual private networks
US6779016B1 (en) * 1999-08-23 2004-08-17 Terraspring, Inc. Extensible computing system
US6597956B1 (en) * 1999-08-23 2003-07-22 Terraspring, Inc. Method and apparatus for controlling an extensible computing system
US7099912B2 (en) * 2001-04-24 2006-08-29 Hitachi, Ltd. Integrated service management system
US7085827B2 (en) * 2001-09-20 2006-08-01 Hitachi, Ltd. Integrated service management system for remote customer support

Also Published As

Publication number Publication date
US7062559B2 (en) 2006-06-13
US20030069972A1 (en) 2003-04-10
JP2003124976A (ja) 2003-04-25

Similar Documents

Publication Publication Date Title
JP3879471B2 (ja) 計算機資源割当方法
US9497139B2 (en) Client-allocatable bandwidth pools
US9154589B1 (en) Bandwidth-optimized cloud resource placement service
US9306870B1 (en) Emulating circuit switching in cloud networking environments
US7174379B2 (en) Managing server resources for hosted applications
US9992077B2 (en) Optimizing allocation of on-demand resources using performance zones
US7277953B2 (en) Integrated procedure for partitioning network data services among multiple subscribers
US11347295B2 (en) Virtual machine power management
EP1323037B1 (en) Method and apparatus for controlling an extensible computing system
US7370013B1 (en) Approach for determining an amount to bill a customer for the use of resources
EP3203374B1 (en) On-demand access to compute resources
KR100956636B1 (ko) 가상 서버 환경에서의 서비스 수준 관리 시스템 및 그 방법
US20020059274A1 (en) Systems and methods for configuration of information management systems
US20020049608A1 (en) Systems and methods for providing differentiated business services in information management environments
US20020065864A1 (en) Systems and method for resource tracking in information management environments
US20020049841A1 (en) Systems and methods for providing differentiated service in information management environments
WO2020005530A1 (en) Network-accessible computing service for micro virtual machines
US20020095400A1 (en) Systems and methods for managing differentiated service in information management environments
US20020194324A1 (en) System for global and local data resource management for service guarantees
US20020174227A1 (en) Systems and methods for prioritization in information management environments
US20030236745A1 (en) Systems and methods for billing in information management environments
JP2002024192A (ja) 計算機資源分割装置および資源分割方法
JP2001043199A (ja) 異種サーバにまたがるサービス指向資源管理
US10846788B1 (en) Resource group traffic rate service
US9760405B2 (en) Defining enforcing and governing performance goals of a distributed caching infrastructure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041006

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061030

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees