JP3879471B2 - 計算機資源割当方法 - Google Patents
計算機資源割当方法 Download PDFInfo
- Publication number
- JP3879471B2 JP3879471B2 JP2001312115A JP2001312115A JP3879471B2 JP 3879471 B2 JP3879471 B2 JP 3879471B2 JP 2001312115 A JP2001312115 A JP 2001312115A JP 2001312115 A JP2001312115 A JP 2001312115A JP 3879471 B2 JP3879471 B2 JP 3879471B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- server
- bandwidth
- vlan
- data center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
- H04L12/4645—Details on frame tagging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
- H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/10015—Access to distributed or replicated servers, e.g. using brokers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Description
【発明の属する技術分野】
本発明は、計算機システム内の資源をユーザごとに分割して割当る方法に係り、特に相互にネットワークで結合される複数の計算機からなるシステムにおいて、複数ユーザの要求を処理する際に、各ユーザとの間であらかじめ取り決めたサービス内容に関する契約を維持するために必要な計算資源をリアルタイムに提供し、かつユーザ間のセキュリティを保持するための資源割当方法に関する。
【0002】
【従来の技術】
情報部門のコスト削減のために、企業内情報システム運用や企業のホームページ管理をASP(アプリケーション・サービス・プロバイダ)業者にアウトソースする事業形態が増加している。ASP業者はさらにデータセンタ業者に計算機資源供の供給、運用管理をアウトソースする形態が多い。
【0003】
データセンタ業者は、多数の計算機資源を用意して複数のユーザ企業に分割使用させることにより、自身の運用コストを削減し、低価格のサービスをユーザ企業に提供する。ユーザ企業間のセキュリティを保持するため、一般には各ユーザ企業ごとに異なる計算機資源およびストレージ資源を割り当てることが多い。
【0004】
またユーザ企業の負荷は時間帯、季節等により変動するため、負荷に応じて割当て資源を増減させる契約形態も多い。特に企業のホームページ管理を請け負っている場合などは、不特定多数の消費者がインターネット経由でアクセスするため負荷の予測がつきにくい。これに対してはユーザ企業側でたとえば新製品発表による負荷増を予測してあらかじめ決めた台数の計算機資源をある一定期間増強するようデータセンタ業者と契約する。データセンタ業者は、増強した計算機資源を、別の期間は別のユーザ企業に割り当てることにより資源の有効活用を図る。このような構成変更を容易にするために、負荷分散装置を複数の計算機資源の前段に配置し、ある期間はユーザ企業Aに、別の期間はユーザ企業Bに計算機資源を使用させるように、データセンタを構成する。負荷分散装置の例としては、アルテオン社のACE directorなどが挙げられる(日経オープンシステムズ 1999.12 no.81 pp.128−131)。負荷分散装置の設定は上記の契約に基づきあらかじめ人手で設定する。またストレージ資源を増強する必要がある場合は、ストレージの内容を複製を行う必要がある。
【0005】
さらに、データセンタでは多数のユーザ企業に異なる計算機資源を提供するため、多数の計算機資源を管理する必要が生じ管理コストが増大する。そこで1台あたりの性能が高い計算機資源、たとえば高多重SMP計算機を数少なく導入し、それを複数ユーザ企業が共有するように制御する方法が考えられる。ユーザ企業間のセキュリティを保持するため仮想計算機の機能を利用する。仮想計算機の例としては、日立のプロセッサ資源分割管理機構PRMFがあげられる(HITACマニュアル 8080−2−148−60)。PRMFでは、1つの計算機上で複数のOS(オペレーティング・システム)が動作し、OSごとに独立の資源、たとえば主記憶、ネットワークアダプタなどが割り当てられる。OS間で資源を共有しないため、異なるOS上で実行される異なるユーザ企業のプログラム間のセキュリティは保持される。またPRMFでは、OSごとに割り当てるCPU資源の比率を制御できるように構成されているが、あらかじめ計画した比率変更のみ可能である。
【0006】
一般にデータセンタは複数ユーザが利用しており、ユーザ毎のデータの独立性を保つようなセキュリティ確保の技術が考えられている。現在主に知られているセキュリティの技術としては、VLAN(アスキー社VPN/VLAN教科書pp31-pp42)やVPN(アスキー社VPN/VLAN教科書pp7-pp30)、FCゾーニング(ピアソン・エデュケーション社 SAN pp85-pp86)が知られている。VLAN、FCゾーニングの技術はネットワークを論理的にグループ化することを実現し、互いに他のグループにアクセスできないようにする技術である。また、VPNは暗号化とパケットの優先度制御によってユーザに対しセキュリティを確保する技術である。また、VPNにはネットワーク使用帯域を保障することも可能にする。さらに、ゾーニングの技術はユーザに割り当てられたストレージネットワークスイッチのポートについてストレージへのアクセスを制御することが可能である。例えば、ユーザAはストレージに対するユーザ全体のアクセス回数で10回のうち3回の割合でLUNにアクセスするのを、10回のうち5回の割合でLUNにアクセスするというようにアクセス優先度を増やすことで、負荷増大に対処できる。このセキュリティ技術によって、ユーザはデータセンタ内の計算機資源中のユーザ専用データにセキュリティの不安なくアクセスして利用できる。VLANやVPN、FCゾーニングはネットワーク管理者が通常予め計画して静的に設定し必要時以外は設定変更しない。
【0007】
最後にASP、ISP(インターネット・サービス・プロバイダ)業者とユーザの間ではサービスレベル契約を結ぶことが一般的になりつつある。接続性、可用性、レイテンシ性能などのサービスレベル保証を契約する。さらに保証レベル未達の場合の補償契約を結ぶ形態も多い。
【0008】
【発明が解決しようとする課題】
上記の従来技術では、以下の問題点がある。
【0009】
負荷分散装置やネットワークスイッチの設定を契約に基づきあらかじめ人手で設定する方式では、ユーザ企業側で予測できない急速な負荷変動にリアルタイムに対応することは困難である。これはユーザ間で異なる計算機を割り当てる場合も仮想計算機を使用する場合も同様である。さらに、システムの拡張を行うと同時にユーザのネットワークセキュリティを守ることはユーザ、データセンタ双方のネットワーク管理者にとって非常に労力を割くところである。特に負荷変動によってネットワーク構成が動的に変わる環境においては、人手によってユーザのセキュリティの管理を恒常的に行うことは困難である。
【0010】
本発明の目的はネットワークが動的に変更した場合であってもユーザのセキュリティを確保し、データセンタ及びユーザの管理者の負荷を軽減するような手法を提供することである。また、ネットワークが動的に変更する時にユーザのセキュリティを守りながら、ユーザの負荷ピークに対応できるようにネットワーク構成を変更する手法を提供することおよびユーザとの間に結んだ契約内容分だけの通信帯域を確保してユーザへのWebサービスの品質を保つことである。
【0011】
【課題を解決するための手段】
本発明では、ユーザ識別表とVPN、VLANそしてストレージネットワークそれぞれの構成定義表を用意し、管理サーバにて管理する。データセンタへのユーザ要求パケットからユーザ識別表によりユーザ企業を特定する。一方、VLANの構成定義表にはユーザ毎に処理を実行すべき計算機の組を定義し、これを負荷分散装置及びネットワークスイッチに設定する。負荷分散装置は設定された計算機の組からいずれかを選択してユーザ要求を実行させる。複数の負荷分散装置がある場合は、管理サーバは負荷分散装置間で本表が整合するよう制御する。さらに、管理サーバではネットワークの帯域や構成、各計算機の稼動状況をモニタし、サービスレベル契約を満たしているか調べ、必要であればネットワーク帯域幅や計算機資源の削減・増強を行ってユーザとの契約内容に合うようにすると共にユーザのVLANの構成を変え、セキュリティを保つ。具体的には上記の計算機の組のネットワークの構成定義表を変更して、負荷分散装置及びネットワークスイッチに再設定する。さらに管理サーバはユーザに割当てた計算機資源量やサービスレベル契約を守れたかの履歴を作成し、課金情報を作成する。
【0012】
また本発明の別の実施形態では、仮想計算機機構を有する計算機でデータセンタを構成する。ユーザ企業ごとに1つのOSで制御される仮想計算機構を与え、管理サーバはユーザ企業毎のネットワーク帯域と各計算機に各計算機構のCPU時分割使用割当て%を動的に設定する。さらに、管理サーバではネットワーク帯域や各計算機の稼動状況をモニタし、サービスレベル契約を満たしているか調べ、必要であればネットワーク帯域幅やCPU時分割割当て%の削減・増強を行う。
【0013】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を説明する。
[1]第1の実施形態
まず、実施形態を説明する上で必要になる主な図の説明を行う。
図1は、本発明で対象とするデータセンタが、インターネット回線会社(キャリア)(II0)を介してユーザ企業A(AA0)、ユーザ企業B(BB0)と接続されている例を示す。図2は、図1のデータセンタDD0の内部構成を示している。ユーザA、B毎に専用のVLAN V01、V02が組まれている。図3、図4は本実施例におけるユーザからデータセンタまでいたるVPNの構成を示している。図5はストレージネットワークの主な構成を示している。ユーザA、Bごとに専用のゾーンZ01、Z02が組まれている。図6はデータセンタDD0の管理サーバC0の持つサーバ割当及びVLAN関連の情報を集めた図である。また、図7はデータセンタDD0の管理サーバC0が持つVPN関連の情報を集めた図、図8、図9は夫々ユーザ帯域管理サーバC10、キャリア帯域管理サーバC20がそれぞれ持つVPN関連の情報を集めた図である。以下の説明において、ネットワークはインターネットを指すものとする。なお、キャリア等のVPNルータは図1では1つしかないように見えるが、実際には、複数台存在しても良い。その場合も制御手順は同一である。
さらに図10はデータセンタDD0の管理サーバC0が持つストレージネットワーク関連の情報を集めた図である。
図11は、第1の実現形態を説明するに際して、ユーザAが通信に用いるパケットの一覧である。図12、図13は、ユーザ企業Aが本データセンタと使用条件契約を結ぶときの入力画面の一例を示している。本例では、ユーザ企業Aはデータセンタ内のwebサーバ群、APサーバ群、DBサーバ群のすべてを使用し、ユーザ企業Aはネットワーク帯域幅として1.5Mbpsから5Mbpsを使用する契約を結んでいる。
【0014】
図14は契約を結んだユーザに対してサーバやネットワーク帯域幅をシステム立上げ時に割り当てる手順を示したものである。図15はユーザに割り当てられるネットワーク帯域幅が動的に増大・減少する時の手順を示したものであり、図16はユーザに割り当てられるサーバ台数が動的に増大・減少する時の手順を示したものである。さらに、図26は負荷が増大した場合のVLAN、VPN、ストレージネットワークの各部分に関する制御手順を示したものであり、図27は負荷が減少した場合のVLAN、VPN、ストレージネットワークの各部分に関する制御手順を示したものである。図28はユーザに割り当てられるストレージネットワークの帯域幅が動的に増大・減少する時の手順を示したものである。
さて、実施形態の説明を行う。図1のクライアントa0はA社システムのプライベート・ネットワーク・アドレスを有しており、VPN(バーチャルプライベートネットワーク)ルータA0を介してキャリアのVPNルータI01経由でデータセンタ内のVPNルータD0と接続する。図2は、データセンタDD0の構成を示す。本例ではユーザ要求に対しwebブラウザインターフェースを提供するwebサーバ群、webサーバを経由して発生するアプリケーションプログラムを動作させるAPサーバ群、アプリケーションプログラムからデータベースアクセス要求が出たときにそれを処理するDBサーバ群の3層構成になっている場合を示す。
【0015】
図12、13は、ユーザ企業Aが本データセンタとサービスレベル契約を結ぶときの入力画面の一例を示している。また、本例では、ユーザ企業Aのために、webサーバ、APサーバ、DBサーバいずれも必ず最低1台を割当て、またそのすべてをCPU稼働率50%未満で稼動させる。稼働率が50%以上となる場合は各webサーバ、APサーバ、DBサーバの割当て数を最大6台までは増加する契約を結んでいる。また、ネットワーク帯域における契約については図12でユーザの使用帯域幅の保証を行うか否かの選択を行い、具体的な使用帯域幅の契約は図13で行う。本例では入力画面中の使用帯域幅保証選択の欄にチェック印が入力され、具体的帯域は最低1.5Mbpsが割当られ、帯域幅の使用率が40%未満となるように稼動させる。帯域幅の使用率が40%以上となる場合は帯域幅を最大5Mbpsまでは増加させる契約を行っている。
【0016】
上記のような入力画面による契約に基づき、A社にはwebサーバa10、APサーバa20、DBサーバa30、が与えられ、B社にはwebサーバb10、APサーバb20、DBサーバb30が与えられるものとする。本実施例においては、ユーザの各層に1台ずつのサーバしか割当てていないが、2台以上割当てられることが考えられる。またストレージs01はLUN(論理単位番号)単位でLU01がA社用に、LU02がB社にが割り当てられる。サーバ群y10、y20、y30は、A社、B社の負荷が大きくなったときに割り当てるための予備サーバ群である。なお、y10、y20、y30は1台分の表記しかしていないが、2台以上存在することが考えられる。
【0017】
A社が使用する代表IPアドレスは、webサーバがa100とする。またB社もにwebサーバb100なるIPアドレスを使用するものとする。なお、本実施例は、Webサーバ、APサーバ、DBサーバ及びクライアントは各1台として説明しているが、複数台ある場合も実施例は同様である。
【0018】
以下図を参照しながら、このデータセンタ中のサーバ群や負荷分散装置を中心とするスイッチが、ユーザAの要求をサーバ群a10、a20、a30を使用して如何に処理するかを示す。
【0019】
図1においてクライアントa0がVPNルータA0に送出した要求パケットの構成は、図11(1)1100に示すとおりである。パケットの先頭があて先サーバのアドレス、次項が送り元クライアントのアドレスである。VPNルータA0はパケットをインターネット回線II0に送出するときにVPNのカプセル化を行い、図11(2)のパケット1101を生成する。VPNルータD0ではこのパケットをアンカプセル化する。パケットのカプセル・アンカプセルの技術は公知である。
【0020】
信号線I0から入力された図11(2)のパケット1101に対しアンカプセル化を行うと図11(3)のパケット1102を生成するとともに、信号線I1を通じて負荷分散装置LB01に出力する。ユーザは負荷分散装置に設定している代表アドレスa100、b100をアクセスすることで、データセンタの管理サーバC0の持つ図6の負荷分散装置のアドレス表T00に相当する情報を負荷分散装置LB01で参照する。負荷分散装置LB01では図11(3)のパケット1102の宛先アドレスa100に対して、負荷分散装置LB01に設定されている図6のアドレス参照表T00に相当する情報と対応させて各ユーザの代表アドレス(仮想アドレス)を実サーバのアドレスa10に変換した図11(4)のパケット1103を生成する。あて先の選択および変更技術自身は公知である。また、パケット1103を対応する表T02のport#(LB01)のカラムに相当する情報を参照し、ユーザ専用のVLANに所属するポートのみに送信する。図2では、負荷分散装置LB01の入口p000がねね、ねね、の技術で複数のユーザ(複数のVLAN)と共用している場合を示す。各ユーザにおいてデータセンタ中はユーザ専用のVLANが組まれている。一方、VLANタギングの技術でユーザからはVLAN情報(VLANタグ)を持ったパケットが流れる。VLAN情報を持ったパケットは同じVLANのネットワークにのみ流れることが可能である。そのため、各ユーザのセキュリティが守られることになる。図6の表T02に各ユーザとユーザに対して組まれているVLANとVLAN所属のサーバ及びスイッチのポートの一覧を示す。すなわち、ユーザに割当てられたサーバがどのサーバと通信できるかを示す。ここで、ユーザが複数のネットワークスイッチでそれぞれローカルにVLANを組むが、そのVLAN設定を組み合わせることにより、複数の装置にまたがるユーザ専用のVLANを設定することを可能にする。例えば、ユーザAであれば、Webサーバa10を挟んでLB01ではポートp001にローカルにVLANを組み、SW01ではp101、p201で同じローカルにVLANを組み、この2つのローカルVLANを同じ1つのグループに設定することで、LB01とSW01にまたがるユーザ専用のVLANを実現している。この効果を例示すると、ユーザAがWebサーバb10にアクセスしようとした時に、Webサーバb10はVLAN V02所属で、ユーザAはVLAN V01所属であるのでアクセスは拒否される。
【0021】
webサーバa10はパケット図11(4)1103を受け取り、Web処理の結果APサーバへのアクセスが必要になるとa20へのアクセス要求であるパケット1104(図11(4))を生成する。本パケットはポートp101を介してネットワークスイッチSW01に受け取られる。ネットワークスイッチSW01は図6のVLAN構成表T02のport#(SW01)のカラムに相当する情報、すなわち、p101、p201が同一のVLANに所属するように設定されるので、宛先アドレスa20にパケット1104(図11(4))を送り届けることができる。
【0022】
以下同様にAPサーバa20がパケット1105を生成して、DBサーバa30で処理が行われる。DBサーバa30からAPサーバa20、Webサーバa10、クライアントa0に返答が返るのも同様であり、順次パケット1106〜1110が生成される。VLANの構成についても同様である。
【0023】
ユーザ企業Bからの要求があった場合は、上記と同じ手順でVPNルータD0及び負荷分散装置LB01を通過して、同様にサーバ群b10、b20、b30で処理されることとなる。(パケット形式は同様なので図示しない。)
以上により、ユーザAとBの処理を実行するサーバ群はサーバa10、a20、a30が属するVLANとb10、b20、b30が属するVLANに各々分割される。
【0024】
なお、本説明ではユーザA、B共に図12でセキュリティサービスを希望してユーザ専用のVLANを組んだ場合を考えている。図12でセキュリティサービスを希望した場合は、各々のユーザに対して専用のVLANが組まれ、希望していない場合はユーザ共用のVLANでサービスを受けることとなる。
【0025】
図2において、管理サーバC0は信号線L01〜L08を介してサーバ群、負荷分散装置、VPNルータ、ネットワークスイッチの動作状況をモニタリングしている。モニタリングの内容はユーザとのサービスレベル契約の内容による。たとえばCPU稼働率などである。またモニタリングプログラムは管理サーバC0で動作してもよいし、各サーバ群、負荷分散装置上で動作してもよい。また管理サーバC0は信号線L01を介してVPNルータD0からユーザごとのネットワーク帯域使用に関する稼動表(VPN稼動状況表)図7のT05の内容を入手する。
【0026】
図6はサーバ構成及びVLAN構成について管理サーバC0が持つ情報を示した図である。ネットワーク帯域等のVPN関連の情報やストレージネットワーク関連の情報に関しては後述する。図6のT01はユーザ条件設定表であり、制御プログラムP10が図12、図13のサービスレベル条件入力画面に基づき設定する。その後、図6のT01の情報に基づきT02のサーバ及びVLAN構成表が作成される。この場合、A社のユーザに対してはWebサーバ、APサーバ、DBサーバいずれも最低1台を与え、与えたすべてのサーバでCPU稼働率50%未満でプログラムを動作させ、それに違反しそうな場合は6台まではサーバ数を増加する契約となっている。またB社のユーザに対しても同様に、Webサーバ、APサーバ、DBサーバいずれも最低1台を与え、CPU稼働率50%未満でプログラムを動作させ、それに違反しそうな場合は6台まではサーバ数を増加する契約となっている。また、T02では図12で入力したセキュリティオプションの項目の情報を保持しており、項目にチェックした場合はユーザの専用のVLANを組むことにする。
制御プログラムP10はモニタリング結果と図6のユーザ条件設定表T01を照合し、現在の資源割当てがサービスレベル契約を満たしているかを調べ、その結果を図6のサーバ及びVLAN稼動表T03に格納する。図6のサーバ及びVLAN格納表T03には、ユーザAに対して現在割当てられているサーバの一覧、各割当台数における割当時間の履歴のカラム、ユーザAに与えた全てのサーバに関してサービスレベルで設定したCPU稼働率以上で稼働していた時間の合計及びそれ未満で稼働していた時間の合計履歴のカラムが記録される。ここで、CPU稼働率以上のカラムはユーザが契約した最大のサーバ台数で処理できない負荷が入った場合やサーバを割当てようとしたが予備サーバが不足していて割り当てられなかった場合に記録される。モニタリング結果がサービスレベル契約を満たしていない場合は、制御プログラムP10は割当てサーバを増やす。サーバ割当を管理するために、どのユーザにどのサーバを与えたかを示す図6のVLAN構成表T02のサーバのカラムや、ユーザが認識している仮想サーバ名と与えた実サーバの対応表である負荷分散装置のアドレス対応表T00を保持している。また図6のサーバ及びVLAN稼動表T03にはサーバ割当台数履歴、リソース不足時間等の課金に関する情報もあわせて記録している。課金に関しては後述する。
【0027】
上記制御を行うために、制御プログラムP10がシステム立上げ時に資源を分割する手順を図14を用いて説明する。
【0028】
最初に図12、図13のサービスレベル条件入力画面に示される情報を入力し(1401)、データセンタの管理サーバC0は、ユーザ条件設定表T01を作成する(1402)。
【0029】
さらに図13のサービスレベル条件入力画面に示される情報を入力し、ユーザが入力した仮想アドレスによってサーバアドレス対応表T00中の仮想addr欄を作成する(1403)。続いてサーバの割当てを、webサーバ群、APサーバ群、DBサーバ群ごとに行い、ユーザ専用のVLANの設定を行う。同時に、ユーザに割当てるネットワーク帯域やストレージ(LUN)の設定を行う。具体的には、ユーザ条件設定表T01を参照して各ユーザに最低1台ずつサーバを与えるべきことを検出すると、サーバを確保して、確保したサーバをVLAN構成表T02の割当サーバのカラムに記述する(1404)、また、サーバに繋がる後段のポート、前段のポートをVLAN構成表T02のport#のカラムに記述し、各ネットワークスイッチSW01〜02にVLAN設定指示を出す。例えば、ユーザAの場合であればネットワークスイッチSW01に対して、ポートp101とポートp201が同じVLANに所属するようにVLAN設定指示を出すというような形の指示である。その後、サーバアドレス対応表T00の実addr欄を作成する(1405)。続いてユーザ条件設定表T01に基づき、VPN設定表T04、ストレージネットワーク構成表T06を作成した後、ネットワーク及びストレージネットワークの帯域幅を確保し、VPN設定表T04の帯域幅のカラム及びストレージネットワーク設定表T06の帯域幅のカラムに記述し、データセンタ管理サーバはユーザ管理サーバ及びキャリア管理サーバに対して帯域幅設定指示を出し、各VPNルータに帯域幅を設定する(1406)。具体的にはT01中のVPNの最小・最大帯域幅、帯域利用率の閾値、保証帯域幅のカラム中の情報を信号線L0を介してユーザ帯域管理サーバに送る。ユーザ帯域管理サーバにおいてはユーザ条件設定表T01の最小・最大帯域幅、帯域使用率、保証帯域幅のカラム中の情報を用いてVPN設定表T08を作成し、VPNルータA0、B0に設定する。キャリアの帯域管理サーバでも同様にVPN設定表T10を作成し、VPNルータI01に設定する。
最後に作成したサーバアドレス対応表T00のコピーを信号線L02を介して負荷分散装置LB01に設定する(1407)。
【0030】
さらに、ユーザ条件設定表T01に基づき、図6のサーバ及びVLAN稼動表T03、図7のVPN稼動表T05、図8のストレージネットワーク稼動表T07を作成する(1408)。具体的には、ユーザAに対するCPU稼働率履歴やネットワーク帯域使用率履歴を記録する欄を作成する。
【0031】
以上により資源分割制御に必要な情報が生成され、VPNルータD0、ネットワークスイッチSW01〜03に設定され、正しく資源分割された状態でシステムが動作開始できる。
【0032】
続いて以下に、制御プログラムP10が負荷変動時にサーバ割当てを変更する手順を図16を用いて説明する。Webサーバを例に挙げて説明する。
【0033】
前述したように信号線L01〜L08を介して全ユーザに対して各サーバの稼動情報をモニタし(1601)、各ユーザごとに稼動情報を集計して図6のサーバ及びVLAN稼動表T03に格納し(1602)、図6のユーザ条件設定表T01と比較した後(1603)、まずサービスレベル契約に照らしてサーバを削減できないか検討する(1604)。削減可能かどうかの判断方法の1例としては、CPU稼働率とサーバ台数の積に対して比例計算を行う方法が挙げられる。たとえばユーザAのサービスレベル条件はCPU稼働率50%未満であるが、現在4台がwebサーバとして与えられており、いずれもCPU稼働率が25%未満であれば、webサーバ数を2台まで削減してよいと判断できる。複数のユーザが存在する場合はまず、全ユーザについてサーバ削減処理を行った後に、全ユーザのサーバ増強処理を行う。ここでは、Webサーバa10を削減することとする。削減可能であれば、まず、アドレス対応表T00の実addrのカラムからサーバa10を削除し、実addrのカラムの内容を設定するように負荷分散装置LB01に対して指示する。管理サーバのVLAN構成表T02において、port#(LB01)、port#(SW01)のカラムから削除するサーバa10につながるポートp001、p101を削除する。
その後、Webサーバa10に接続されているLB01のポートp001をVLANから削除したあとにSW01のポートp101をVLANから削除する処理を行うというように、前段のスイッチのVLAN変更処理が終わった後に後段のスイッチのVLAN変更処理を行う(1605)。
次に、削減処理を通知されたサーバa10はプログラムの処理を終了して、使用している資源を解放する。すなわちコンテンツの切り替えやディスクキャッシュの消去などを行う(1606)。
解放が終了すると削減されたサーバは管理サーバC0にその旨通知するので、管理サーバC0はそれを待って、図6のVLAN構成表T02のWebサーバのカラムを変更する。また、サーバ及びVLAN稼動表T03においてサーバ台数の履歴などの課金情報のパラメータを変更する(1607)。なお、本例では、T03のサーバ割当履歴表のサーバ台数履歴のカラムにおいてはwebサーバ群、APサーバ群、DBサーバ群の割当て履歴を区別して記録しているので、群ごとに単価を変えておき群ごとの割当て数と割当て時間履歴と各単価の積で課金を計算することも可能である。以上、例としてWebサーバを挙げたが、他のサーバの場合は負荷分散装置に対する実アドレス変更指示が無く、代わりにアプリケーションに何らかの方法でサーバを削減することを通知し、ネットワークスイッチのポートに対するVLAN変更のみを行う。
【0034】
図16の説明に戻る。つづいてサーバ数を増強する必要があるかを検討する(1608)。何台増強すべきかの判断は、削減時と同様に比例計算である。増強する必要があれば、webサーバ、APサーバ、DBサーバ群ごとに割り当てられる空きサーバがあるかをVLAN構成表T02を参照して調査する(1609)。もし空きサーバがなければ運用管理者に通知し、リソースが足りなくてサーバが割当られないためのサービスレベル未達かユーザの契約条件を超えてしまったためのサービスレベル未達か区別して記録される(1610)。空きサーバがあればユーザに割当て対象の空きサーバy10から必要な台数を選択し、ユーザに割当てる(1611)。その後、図6のVLAN構成表T02のWebサーバのカラムに割当てられたサーバを追加する。次に管理サーバのVLAN構成表T02に対してport#(SW01)、port#(LB01)のカラムを変更し、負荷分散装置LB01にport#(LB01)のカラムの内容を、ネットワークスイッチSW01に対してport#(SW01)のカラムの内容を設定するよう変更する。
その後、割当対象のサーバy10に接続されているスイッチのポートをSW01側ではp103、LB01側ではp003の順にVLANに割当てるというようにWebサーバが接続されている後段のポート、前段のポートの順番でユーザのVLANを変更する(1612)。最後にデータセンタの管理サーバC0は負荷分散装置のアドレス対応表T00について実Addrのカラムにy10を追加する変更を行い、負荷分散装置LB01に設定するよう指示する。負荷分散装置LB01、ネットワークスイッチSW01の内容が変更されたことを確認してから、割当サーバ台数などの課金情報に関するパラメータを変更する(1613)。
今回は、例としてWebサーバを扱ったので、変更の過程で負荷分散装置のアドレス対応表の変更について考える必要がある。AP及びDBサーバの場合は負荷分散装置の設定変更はせず、代わりにアプリケーションに何らかの方法でサーバを削減することを通知し、ネットワークスイッチのポートに関するVLANの変更のみで良い。
【0035】
以上は管理サーバC0上の制御プログラムP10の手順である。
本変更方式の利点としては、全ユーザに対してサーバの割当増加指示を行う前にユーザからのサーバの割当削減指示を行うので、データセンタ内のサーバ資源の使用率が良い点である。この順番を守らず、ユーザに対するサーバの追加を先に行った場合は一時的に予備サーバが不足する事態が考えられる。その後のサーバ削減処理においてユーザのサーバ使用率が低いサーバが削減される可能性があり、サーバ資源を効率的に使っているとは言い難い。以下、ネットワークの帯域幅の割当やストレージネットワークの帯域幅の割当についても同様に考えられる。
【0036】
さて、制御プログラムP10が負荷変動時にインターネットのネットワーク帯域の割当を変更する手順を図15を用いて説明する。これは、ユーザとデータセンタ間の間でのVPNの実現方法によって3つの場合がある。VPNにおける帯域幅の変更方法については、公知である。ここで、データセンタ管理サーバが持つ情報について説明する。
図7において、ユーザ条件設定表T01のうちVPNに関する情報は、最小帯域幅・最大帯域幅、帯域利用率の閾値のカラムである。VLAN設定表T04は、ユーザ条件設定表T01を参照して作成される最小帯域幅、最大帯域幅、帯域利用率についてユーザが設定した条件を保持する表であり、これを用いてネットワークの帯域についてのサービスレベル条件が満たされているかを判断する。さらにVPN稼動状況表T05にはユーザ、キャリア、データセンタの各VPNルータにおいてユーザに割り当てられた帯域幅について、帯域使用率を満たしている時間そして満たせなかった時間の履歴、そして、最小帯域幅から最大帯域幅までユーザに割当られた帯域幅の履歴のカラムが存在している。
図8はユーザの帯域管理サーバがVPNルータについて保持している情報についてまとめた図で、VPN設定表T08は最小帯域幅、最大帯域幅、帯域利用率についてユーザに設定された条件を保持する表である。さらにVPN稼動状況表T09にはユーザのVPNルータにおいてユーザに割り当てられた帯域幅について、帯域使用率を満たしている時間そして満たせなかった時間の履歴、そして、最小帯域幅から最大帯域幅までユーザに割当られた正規化された帯域幅の履歴のカラムが存在している。さらに、図9はキャリアの帯域管理サーバがVPNルータについて保持している情報についてまとめた図で、VPN設定表T10は最小帯域幅、最大帯域幅、帯域利用率についてユーザに設定された条件を保持する表である。さらにVPN稼動状況表T11にはキャリアのVPNルータにおいてユーザに割り当てられた帯域幅について、帯域使用率を満たしている時間そして満たせなかった時間の履歴、そして、最小帯域幅から最大帯域幅までユーザに割当られた帯域幅の履歴のカラムが存在している。また、T04には保証帯域幅というカラムがあり、図12で帯域保証サービスを行ったときに記入される。また、同一時点で複数のユーザのネットワーク負荷の増大が判明し、その複数ユーザについてネットワーク帯域幅を増加させる必要が生じた場合に、図12で帯域保証サービスを希望したユーザに対しては、帯域保証サービスを希望しないユーザよりも優先してネットワーク帯域幅の割当変更を行う。
以下、VPNの設定として考えられる夫々の場合について説明する。
(1)まず、第1の場合について説明する。図3のようにVPNの実現方式がデータセンタとキャリアとユーザの3つのVPNルータ群で構成されており、データセンタ管理サーバから全ての帯域変更の指示を出すことを特徴とする場合を考える。データセンタの管理サーバは信号線L01、L10、L20を介して各VPNルータにおけるネットワーク帯域情報をユーザ及びキャリアの各管理サーバ経由でモニタし(1501)、各ユーザごとに稼動情報を集計して図7のVPN稼動表T05に格納している(1502)。データセンタの管理サーバC0は帯域使用率とサービスレベル契約とを比較し(1503)、ネットワーク帯域の削減ができないか検討する(1504)。もし設定された帯域幅が3Mbpsで実際の利用帯域幅が0.5Mbps、帯域利用率の閾値が40%である場合を考えると帯域幅は削減可能であると判断できる。VPNの場合もサーバ割当と同様に全てのユーザの帯域削減処理を行った後に、帯域追加処理を行う。もし削減対象であれば、データセンタの管理サーバは帯域削減指示を信号線L01、L10、L20を介してデータセンタ、ユーザ、キャリアの各管理サーバに対して通知する。通知を受けた各管理サーバは管理下のVPNルータに対して使用している帯域幅を解放するように指示する。帯域幅を解放する順序はユーザ、キャリア、データセンタの順番に行う。帯域幅の解放が終了すると各管理サーバはデータセンタの管理サーバにその旨通知する。管理サーバC0はそれを待って、VLAN稼動表T05を変更し、使用したネットワークの帯域の履歴等の課金に関するパラメータ情報も変更し、ユーザ及びキャリアの管理サーバのVLAN稼動表T09、T11を変更する(1505)。
【0037】
つづいてネットワーク帯域幅を増強する処理に移る。データセンタの管理サーバC0は帯域幅使用情報をサービスレベル条件と比較し、ネットワーク帯域幅を追加する必要があるかを検討する(1506)。データセンタ管理サーバC0は図7のVPN設定表T04を参照してユーザに割当可能な帯域幅があるか調査する(1507)。もし空きのネットワーク帯域がなければ運用管理者に通知し、帯域幅不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達か区別して記録される(1508)。例えば、現在のユーザ割当帯域幅が1.5Mbpsで実際の稼動帯域幅が1.2Mbpsでユーザ設定の帯域利用率が40%で空きの帯域幅が1.5Mbpsである場合等、空きのネットワーク帯域が有る場合にはユーザに対するネットワーク割当帯域幅の追加指示を出す(1509)。ネットワーク帯域幅の変更の順番はデータセンタ、キャリア、ユーザの順番に変更を行う。その後、図7のVPN稼動表T05の内容を変更し使用帯域幅の使用履歴等の課金に関するパラメータ情報を変更し、図8のVPN稼動表T09、図9のVPN稼動表T11の帯域幅の使用履歴等の課金に関するパラメータ情報を変更する(1510)。
【0038】
本変更方式の利点は、データセンタ、キャリア、ユーザを通じたVPNのネットワーク帯域を一括制御することで、VPNのネットワーク全体の負荷のバランス及びサーバのネットワーク負荷等を総合的に判断したネットワーク帯域の制御ができる点である。
(2)図3の構成で、(1)の場合と異なるもう1種類のVPNの設定方法がある。データセンタの管理サーバC0がネットワーク帯域幅の割当判断ルールを信号線L01、L10、L11、L20、L21を介して予めユーザの帯域管理サーバC10及びキャリアの帯域管理サーバC20に設定することを特徴とする方法である。この場合について説明する。データセンタの管理サーバC0は信号線を通じてユーザ、キャリア、データセンタにおけるネットワーク帯域幅の利用状況をそれぞれの管理サーバC10、C20、C0を通じて収集している。この情報は課金において使われる。また、ユーザ、キャリアの各管理サーバはデータセンタ管理サーバから設定されたネットワーク帯域幅に関するVPN設定表(図7の表T04、図8の表T08、図9の表T10)とVPN稼動表(図7のT05、図8のT09、図9のT11)を持っている。各管理サーバはネットワーク帯域利用情報をモニタリングし(1501)、ユーザの場合には稼動情報を集計して図8のVPN稼動表T09に格納する(1502)。各管理サーバはネットワーク帯域幅利用情報とVPN設定表(図7のT04、図8のT08、図9のT10)を比較した後(1503)、まずサービスレベル契約に照らしてネットワーク帯域を削減できないか検討する(1504)。(1)の場合と同様にもし帯域幅が削減可能であれば、各管理サーバはネットワーク帯域削減を行う。帯域幅を削減する順序は各管理サーバ間で連絡を取り合いながらユーザ、キャリア、データセンタの順番にルータに指示する。その後、削減処理を行ったVPNルータを管理する管理サーバは新たにユーザに割当られた帯域情報を信号線L01、L10、L20を通じてデータセンタ管理サーバに通知する。データセンタの管理サーバは変更を行った各管理サーバからの情報を受け取った後、図7のVPN稼動表T05の帯域幅履歴を変更してユーザの利用した帯域幅の履歴など課金に関するパラメータ情報を変更する(1505)。同時に、図8のユーザのVPN稼動表T09、図9のキャリアのVPN稼動表T11が変更される。次に、ネットワーク帯域追加処理を行う。データセンタ、ユーザ、キャリアの各VPNルータはネットワークの稼動状況とVPN設定表(図7の表T04、図8の表T08、図9の表T10)と比較し、ネットワーク帯域幅を追加する必要があるかを検討する(1506)。(1)の場合と同様に増強する必要があり、各管理サーバの管理しているネットワーク帯域に空きがある場合、各管理サーバは管理下のVPNルータに対して帯域幅追加を行う(1507)。もし空きのネットワーク帯域がなければ運用管理者に通知し、帯域幅不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達か区別して記録される(1508)。その後、新たにユーザに割当てられた帯域情報を信号線を通じてデータセンタ管理サーバC0に通知する。(1509)ネットワーク帯域幅の変更の順番は管理サーバ間で連絡を取り合いながらデータセンタ、キャリア、ユーザの順番に変更を行う。データセンタの管理サーバは変更を行ったVPNルータからの情報を受けとった後、図7のVPN稼動表T05の内容を変更する。同時に、ユーザの帯域管理サーバ上にあるVPN稼動表T09、キャリアの帯域管理サーバ上にあるVPN稼動表T11が変更される。最後にユーザの利用した帯域幅の履歴など課金に関するパラメータ情報を変更する(1510)。
本変更方式の利点は、ユーザ、キャリア、データセンタのそれぞれのネットワークで帯域幅使用の監視と割当判断の制御を行うので、制御が早く行える点である。
(3)図4のようにデータセンタ業者とキャリア業者が同一の場合である。この場合はデータセンタの管理サーバC0はデータセンタとユーザのVPNルータ群を制御対象とすると考えれば良い。第1の場合と同様に、データセンタの管理サーバは信号線L11、L30を介して各VPNルータにおけるネットワーク帯域情報をモニタする。(ユーザの帯域情報は、ユーザの管理サーバ経由でモニタする)(1501)。各ユーザごとに帯域使用率等の稼動情報を集計して図7のVPN稼動表T05に格納している。本場合についてはキャリアの欄は存在しない(1502)。データセンタの管理サーバC0は帯域使用率情報をサービスレベル契約と比較して(1503)、ネットワーク帯域を削減できないか検討する(1504)。もし削減可能であれば、データセンタの管理サーバC0は帯域削減指示を信号線を介してユーザの管理サーバに対して通知する。帯域幅を削減する順序はユーザ、データセンタの順番に行う。通知されたユーザの管理サーバは管理下にあるVPNルータに対し使用している帯域幅を解放するよう指示する。帯域幅の解放が終了するとユーザの管理サーバはデータセンタの管理サーバC0にその旨通知する。データセンタの管理サーバC0はそれを待って、図7のVPN稼動表T05を変更し、ユーザが使用した帯域幅の履歴など課金に関するパラメータ情報を変更する(1505)。つづいてネットワーク帯域幅を増強する処理に移る。データセンタの管理サーバC0は、帯域使用率情報をVPN設定表T04と比較してネットワーク帯域幅を追加する必要があるかを検討する(1506)。増強する必要があれば、データセンタ管理サーバは図7のVPN設定表T04を参照してユーザに割当可能な帯域幅があるか調査する(1507)。もし空きのネットワーク帯域がなければ運用管理者に通知し、帯域幅不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達か区別して記録される(1508)。空きのネットワーク帯域があればユーザの管理サーバに対してネットワーク割当帯域を追加指示を出す。(1509)ネットワーク帯域幅の変更の順番はデータセンタ、ユーザの順番に変更を行う。その後、VPN稼動表T05の内容を変更し、課金に関するパラメータ情報を変更する(1510)。
【0039】
以上述べたように帯域を削減する時はユーザ側が先に削減し、増強する場合はデータセンタ側から先に増強する。
【0040】
次に、ストレージネットワークの動的変更について説明する。ストレージネットワークの概要を図5に示す。先にVLAN設定で説明したように負荷分散装置からDBサーバまではユーザは専用のVLANを組んでいる。一方、ユーザに割当てられたDBサーバとストレージネットワークスイッチとストレージのLUNは同じゾーンに属するように制御する。データセンタ管理サーバは図10のストレージネットワーク構成表T06のような構成情報を記録する。
図10の説明を行う。図10には図13のサービスレベル条件入力を元に作成されるユーザ条件設定表T01があり、ストレージネットワークのポートの最小帯域幅及び最大帯域幅、ストレージネットワークスイッチのポートの帯域利用率の閾値のカラム、初期LUNアクセス優先度のユーザがサービスレベル入力画面で設定した条件を保持している。また、ストレージネットワーク構成表T06には、ユーザ条件設定表T01の内容にそって、ストレージネットワークでの帯域幅の最大・最小、SLAで約束した帯域使用率の閾値、割当LUN、LUNアクセス初期優先度、所属DBサーバ、ゾーン所属のポートのカラムがあり、ストレージネットワークの構成が記述される。表T07においてはユーザのストレージネットワークのユーザに割り当てられた帯域幅について、帯域使用率を満たしている時間そしてサービスレベル条件を超えた等の理由で満たせなかった時間の履歴、そして、最小帯域幅から最大帯域幅までユーザに割当られた帯域幅の履歴のカラム、LUNアクセス優先度の履歴のカラムが存在している。
ゾーンの技術については公知である。図5のようにVLANとゾーンを組み合わせることで、たとえば、ユーザAからユーザBが用いるべきストレージのLUNにアクセスを試みることを考える。この時、ストレージs01では図10のストレージネットワーク構成表T06に相当する情報を参照することでユーザBのLUN LU02はゾーンZ02所属でユーザAはゾーンZ01所属なのでアクセスが拒否されるというようにユーザのセキュリティが保たれる。
さて、ストレージネットワークの負荷が変動した時のストレージネットワーク部分の処理について考える。データセンタの管理サーバC0は各ゾーンに関する稼動状況を収集し、ストレージネットワーク稼動表T07に格納する。具体的にはデータセンタの管理サーバは信号線L08を介してストレージネットワークの帯域情報をモニタし(2801)、各ユーザごとに稼動情報を集計して図10のストレージネットワーク稼動表T07に格納している(2802)。ストレージネットワークスイッチSW03の使用帯域に関しては図10のストレージネットワーク構成表T06と比較した後(2803)、まずサービスレベル契約に照らしてネットワーク帯域を削減できないか検討する(2804)。ストレージネットワークにおいても、全ユーザに対する削減処理が終わってから増強処理を行う。もし削減可能であれば、管理サーバC0は図10のストレージネットワーク構成表T06のアクセス優先度のカラムや利用帯域幅のカラムの変更を行い、削減対象であるネットワーク帯域削減要求を信号線を介してストレージネットワークスイッチSW03に出す。通知を受けたストレージネットワークスイッチSW03はユーザが使用しているストレージネットワークの帯域幅を削減する(2805)。次に、ストレージのLUNへのアクセス優先度を下げるように信号線を通じストレージネットワークスイッチSW03に通知する。例えば、帯域を減少するときはLUNへのアクセス優先度を予め決められた量だけデクリメントするような指示を出す(2806)。通知を受けたストレージネットワークSW03はストレージのアクセス優先度を下げる。その後、図10のストレージネットワーク稼動表T07のアクセス優先度のカラムや利用帯域幅のカラムの変更を行い、ユーザの利用した帯域幅履歴やアクセス優先度履歴等の課金に関するパラメータ情報を変更する(2807)。
つづいてストレージ資源を増強する処理に移る。データセンタ管理サーバは図10のストレージネットワーク構成表T06と比較し、ストレージネットワークのネットワーク帯域幅を追加する必要があるかを検討する(2808)。増強する必要があれば、データセンタ管理サーバはユーザ条件設定表T01を参照してユーザに割当可能な帯域幅があるか調査する(2809)。もし空きのネットワーク帯域がなければ運用管理者に通知し、帯域幅不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達であるか区別して記録される(2810)。空きのストレージネットワーク帯域があれば、データセンタの管理サーバC0は図10のストレージネットワーク構成表T06のアクセス優先度のカラムや利用帯域幅のカラムの変更を行い、ストレージのLUNへのアクセス優先度を上げるように信号線を通じストレージネットワークスイッチSW03に通知する。例えば、帯域を増加するときはLUNへのアクセス優先度を予め決められた量だけインクリメントするような指示を出す。通知を受けたストレージネットワークスイッチSW03はストレージのアクセス優先度を上げる(2811)。次にストレージネットワークスイッチSW03にユーザに対するストレージネットワークの割当帯域の追加指示を出す(2812)。その後、データセンタ管理サーバは図10のストレージネットワーク稼動表T07のアクセス優先度のカラムや利用帯域幅のカラムの変更を行い、ユーザの利用したストレージネットワークの帯域幅の履歴やアクセス優先度の履歴など課金に関するパラメータ情報も変更する(2813)。
このストレージネットワークの帯域幅とアクセス優先度の変更手順を逆にした場合ストレージネットワークにおいてストレージにリクエストが殺到した場合にストレージへのアクセスビジーが生じるので、性能低下が起こる。よって、この変更順序は必然である。
【0041】
ここで、ユーザの負荷が大きくなった時及び負荷が小さくなった時の本特許で述べているユーザ、キャリア、データセンタで構成されるシステム全体の資源割当変更手順に関して図26及び図27にまとめた。
システムの負荷が増大する場合の変更手順を示している図26の構成は、2606から2608までのVPN変更部分、2603から2605までのVLAN変更部分そして2601から2602までのストレージネットワーク変更部分に分けられる。処理の変更順序については、2606から2608のVPN部分、2603から2605のVLAN部分、2601から2602のストレージネットワーク部分の各グループの中においては、順序通りに変更を行えば変更によってセキュリティの低下やWebサービスが悪化が生じることは無いという意味で必然である。また、ストレージネットワーク、VLAN、VPNグループの順に変更の過程でWebサービスが悪化が生じることは無いという意味で必然である。具体的に例を挙げる。VPNの変更部分の変更順序を守らない場合、例えば、ネットワークの負荷が大きい場合ユーザのネットワーク出口の帯域幅追加の変更をした後にデータセンタ入口の帯域幅追加の変更をする場合を考えると、データセンタへのアクセスが集中することによってデータセンタのネットワークビジーを原因とするWebサービスの品質の低下が起こる。また、VLAN部分の変更順序を守らない場合を考える。例えば、図2においてWebサーバy10をユーザAのネットワークに追加することを考えた場合、LB01、SW01の順にVLANの変更を行うと、データセンタ内の遊休サーバにアクセスできてしまうというようにシステムのセキュリティが守られない可能性が有る。
一方、システムの負荷が減少する場合の変更手順を示している図27の構成は、2701から2703のVPN変更部分、2704から2706までのVLAN変更部分、2707から2708までのストレージネットワーク変更部分の各グループの中においては、順序通りに変更を行えば変更によってセキュリティの低下やWebサービスが悪化が生じることは無いという意味で必然である。また、VPN、VLAN、ストレージネットワークグループの順に変更を行うことでも変更の過程でWebサービスが悪化が生じることは無いという意味で必然である。
VLAN部分の変更順序を守らない場合を考える。例えば、図2においてWebサーバa10をユーザAのネットワークから削減することを考えた場合、SW01、LB01の順にVLANの変更を行うと、データセンタ内の他の遊休サーバ群にアクセスできてしまうというようにシステムのセキュリティが守られない可能性が有る。
本変更に関する変更の方針を以下に記す。
(i)システムの負荷が高い時に変更を行う場合には、深層から表層の向きに変更を行う。
(ii)システムの負荷が低い時に変更を行う場合には、表層から深層の向きに変更を行う。
【0042】
最後に本システムの課金について記述する。VPN、VLAN、ストレージネットワークの3つの部分に分けて、夫々の部分で課金したものの総和をユーザに課金する。(キャリアの分もデータセンタがまとめて課金する。)
(i)VPN部分について
(単位時間における割当帯域幅の料金×ユーザへの割当時間−帯域条件未達時の基本違約料金×ネットワークのリソース不足による帯域条件未達になった時間)×(重み付け係数) で求める。すなわち、延べ使用時間分の使用料金から罰金を引くという形で課金する。
帯域幅の基本料金はユーザに割り当てられる帯域幅の大きさによって段階的に変化する。
すなわち、割当帯域幅の料金はbを帯域幅と定義し、bは正規化しているものとして表現する。このとき、
P(b):ユーザに割当てたネットワーク帯域幅bの場合の単位時間当りの使用料。
T(b):ネットワーク帯域幅bがユーザに割当てられている時間。
すると、ユーザの延べ使用時間分の課金は
ΣbP(b)×T(b)・・・・(数1)
で割当てられる。P(b)はbの値による階段関数や比例関数などさまざまな料金設定が考えられる。なお、(重み付け係数)は通常は1であり、図12において帯域保証サービスを選んだ場合に1より大きな値を持つ係数である。
(ii)VLAN部分について
(サーバ1台の基本料金×ユーザへの割当台数×ユーザへの割当時間−サービスレベル条件未達時の基本違約金×ユーザへの割当台数×サーバ不足にようサービスレベル条件未達時間)×(重み付け係数)で求める。
ユーザの延べ使用時間分の課金に関して、基本的な概念は(i)の(数1)式と同様である。なお、(重み付け係数)は通常は1であり、図12においてセキュリティオプションを選んだ場合に1より大きな値を持つ係数である。サーバの使用料はWeb、AP、DB層毎に計算した合計になる。上記(i)のVPN部分と同様に、サーバの基本料金はユーザに割当てられたサーバの台数により段階的に変化する。
(iii)ストレージネットワーク部分について
(単位時間における割当帯域幅の基本料金)×(ユーザへの割当時間+単位時間のアクセス優先度に応じた基本料金)×(ユーザへのアクセス優先度の設定時間−サービスレベル条件未達時の基本違約金)×(ネットワークのリソース不足による帯域条件未達になった時間)で求める。
ユーザの延べ使用時間分の課金に関して、基本的な概念は(i)の(数1)式と同様である。帯域幅の基本料金はユーザに割り当てられる帯域幅の大きさによって段階的に変化する。
[2]第2の実施形態
続いてパーティション機能仮想計算機機能PRMFを備えた高多重SMPサーバを用いてデータセンタを構成する場合の実施形態を説明する。
まず、実施形態を説明する主な図の説明をする。図17はLPARサーバを用いた場合のデータセンタの内部構造を示している。図18、図19は、ユーザ企業Aが本データセンタと使用条件契約を結ぶときの入力画面の一例を示している。図20はVLANに関する管理サーバの持つ情報の一覧を示している。図21はVPNに関する管理サーバの持つ情報の一覧を示している。図22はストレージネットワークに関する管理サーバの持つ情報の一覧を示している。図23は実施形態で用いるパケットの一覧を示す。図24は、契約を結んだユーザに対してサーバのCPU利用率が割り当てる手順を示したものである。図25はユーザに割り当てられるサーバのCPU利用率が動的に増大・減少する時の手順を示したものである。
さて、実施形態の説明に入る。データセンタとユーザの接続図は図1に同じである。
【0043】
図17は、webサーバ、APサーバ、DBサーバとして仮想計算機機能PRMFを備えたサーバをおのおの1台ずつ接続した場合を示している。APサーバP02、DBサーバP03の内部構成はwebサーバP01と同様であり記述は省略することにする。
【0044】
図18、19は、サービスレベル契約条件入力画面の一例である。本例では、ユーザ企業Aのために、webサーバ、APサーバ、DBサーバいずれも必ずPRMF機能によるCPU割当てが50%以上となるよう制御する契約である。
【0045】
図17に戻ると、webサーバP01は、制御ユニットCL100、LPAR制御レジスタCL101、CPU群CP01およびCP02、メモリM01、ネットワークアダプタt100、y100から構成される。LPARとはLogical PARtition(論理資源分割)の略であり、LPAR制御レジスタCL101は、各OSに与える資源の分割方法を保持している。
【0046】
さて、LPAR#は、各パーティションに統一的に与える識別子である。ネットワークアダプタは複数のユーザを1枚で賄う。ネットワークアダプタアドレスは、後述するが制御プログラムP10により、図19のサービスレベル条件入力画面で各ユーザが入力するアドレスと一致するよう設定される。ここで、VLANタギングの技術により、1つのポートに対して複数のVLANを設定することができる。また、1つのネットワークアダプタに複数のアドレスを設定することもできる。図19により、ユーザAはWebサーバのアドレスをa100とし、APサーバ、DBサーバのアドレスをそれぞれa200、a300とする。同様にユーザBにはWebサーバのアドレスb100が割当っており、APサーバ、DBサーバにはそれぞれb200、b300が割り当てられるとする。
ここで、入ってきたユーザ要求のパケットは、対応するLPARのOS上のプログラムに引き渡される。CPU割当て%欄は各LPARに属するOSおよびその上のプログラムをどのような割合でCPU上で動作させるかを示す。制御ユニットCL100が本情報を参照して、LPARの動作割合を制御する。
【0047】
本実施例ではLPARとデータセンタ管理サーバC0の持つユーザ識別子を一意に対応させる。PRMFの制御を行うこととサーバに接続されているスイッチにVLANを設定することにより、異なるユーザ間では資源が共有されないので、ユーザ間のセキュリティを保つことができる。また、ユーザからデータセンタまではVLANタギングによってパケットに与えられたVLANタグが示すVLANにのみ通信が許される。以上により、ユーザからデータセンタまでのセキュリティが保たれる。
【0048】
第1の実施形態と同様、ユーザ要求がクライアントa0→webサーバa100→APサーバa200→DBサーバa300→APサーバa200→webサーバa100→クライアントa0と伝わる場合を考える。クライアントa0は図23(1)のパケット2300を生成する。図1のVPNルータA0によりパケット2301が生成され、VPNルータD0によりパケット2302が生成されるのは第1の実施形態と同じである。
【0049】
パケット2302は信号線L0を介してアドレスa100を持つネットワークアダプタt100に渡され、LPAR#0上のアプリケーションプログラムに渡される。すなわちユーザAのアプリケーションプログラムである。本プログラムはあて先a200を持つパケット2304を生成し、以下同様にAPサーバP02上のA社のアプリケーションプログラム、DBサーバP03上のA社のアプリケーションプログラムに渡される。ここで、WebサーバP01のネットワークアダプタt100上にはアドレスa100、b100があり、各々LPAR#0、1に対応している。(図示していないが、APサーバP02内にもネットワークアダプタt200上のアドレスa200、b200があり、Webサーバと同様に各々LPAR#0,1に対応している。またLPAR#0,1は各々ユーザA,Bに対応している。DBサーバP03においても同様である。)同様にしてDBサーバP03からAPサーバP02、webサーバP01、クライアントa0への返答も正しくA社に割り当てられたLPAR上のアプリケーションプログラムにより実施される。第1の実施形態と同様なので詳しくは説明しないが、上記の動作により図23のパケット2306〜2309が順次生成される。ここで、もしA社のクライアントがB社のパーティションにアクセスしようした場合、図20のVLAN構成表T22により、ユーザAとユーザBとで属しているVLANが異なるのでアクセスは拒否されて、ユーザ毎のセキュリティは守られる。さて、複数のユーザがいる場合であって、各々のユーザに対して1枚ずつネットワークアダプタを与える場合がVLAN部分の変形例として考えられる。この場合は、各ユーザのネットワークアダプタを通じ、ネットワークスイッチのポートに関してユーザ毎にVLANを組むことでセキュリティが守られる。
【0050】
図20はサーバ構成及びVLAN構成について管理サーバC0が持つ情報を示した図である。T22はVLAN構成表であり、サーバのカラム、ネットワークスイッチのカラム、アドレスのカラム、LPARのカラムを所持し、複数のネットワークスイッチにまたがってもユーザ毎に1つのVLANに属するような設定を実現する。表T21はユーザ条件設定表であり、ユーザがサービスレベル条件入力画面で入力した条件のうち各パーティションへのCPU割当率の上限や下限、ユーザと契約したCPUの使用率の閾値のカラムの内容を所持している。さらに、図20の表T23はサーバ及びVLAN稼動表であり、割当LPARやCPU割当率の履歴、割当られたCPUの稼働率の履歴のカラムに情報が入力される。最後にCPU割当表T24は現在各ユーザへ割当てられたCPU割当率のカラムを情報として持つ。この場合、A社に対してはwebサーバ、APサーバ、DBサーバのいずれにおいてもLPAR内部のCPUの稼働率が50%を超えないようにLPARのCPU割当て率を20%以上70%以下の範囲変化させる契約となっている。
制御プログラムP10は信号線L01〜L08から得たモニタリング結果とユーザ条件設定表図20の表T21を照合し、現在の資源割当てがサービスレベル契約を満たしているかを調べ、その結果を図20のサーバ及びVLAN稼動表T23のCPU利用率履歴のカラムに規格化して格納する。たとえばユーザ#0に対応するLPAR内部のCPU使用率履歴を記録する。そのためにどのユーザにどれだけCPU割当てを設定しているかを示すCPU割当て表T24が保持されている。CPU割当表T24は各webサーバ、APサーバ、DBサーバ内のLPAR制御レジスタ群のCPU割当て%欄と同じの内容を保持している。サーバ及びVLAN稼動表表T23の課金に関するパラメータ情報欄の操作は第1の実施形態と同様である。
【0051】
上記制御を行うために、制御プログラムP10が最初に資源を分割する手順を図24を用いて説明する。
【0052】
最初に図18、19のサービスレベル条件入力画面に示される情報を入力し、ユーザ条件設定表T21を作成する(2401)。つづいてその情報のうち最小・最大帯域幅、帯域使用率に関する情報に沿ってデータセンタの管理サーバ、ユーザの帯域管理サーバ、キャリアの帯域管理サーバにVPN設定表を作成する。また、最小・最大帯域幅、帯域使用率に関する情報信号線L0を介してユーザ、キャリア、データセンタの各VPNルータに設定する(2402)。
【0053】
さらに図19のサービスレベル条件入力画面に示される情報を入力し、図20におけるユーザ条件設定表T21のCPU割当率の上限・下限のカラム、最大・最小帯域幅のカラム、ユーザ使用の帯域利用率のカラムおよびVLAN構成表T22中のネットワークアダプタのカラムを作成する(2403)。
【0054】
続いて図20のユーザ条件設定表T21を参照してユーザAに最低20%、ユーザBに最低20%のCPU割当てを行うべきことを検出すると、CPU割当て管理表T24とVLAN構成表T22中のCPU割当てのカラムを作成する(2404)。さらに信号線L01〜L08を介して図17中のサーバP01、P02、P03内のLPAR制御レジスタ群にVLAN構成表T12の内容を設定する(2405)。その後、サーバに繋がる後段のポート及び前段のポートをVLAN構成表T22のport#のカラムに記述し、各ネットワークスイッチSW10〜12にVLAN設定指示を出す(2406)。続いてネットワーク及びストレージネットワークの帯域幅を確保し、VPN設定表T25の帯域幅のカラム及びストレージネットワーク構成表T27の帯域幅のカラムに記述し、各VPNルータ及びネットワークスイッチSW13に帯域幅設定指示を出す(2407)。
【0055】
さらに、ユーザ条件設定表T21に基づき、図20のサーバ及びVLAN稼動表T23、図21のVPN稼動表T26、図22のストレージネットワーク稼動表T28を作成する(2408)。具体的には、ユーザに対するCPU稼働率履歴やネットワーク帯域使用率履歴を記録する欄を作成する。
【0056】
以上により資源分割制御に必要な情報が生成され、VPNルータr01やSW10〜SW13、サーバP01、P02、P03に設定され、正しく資源分割された状態でシステムが動作開始できる。
【0057】
続いて以下に、制御プログラムP10が負荷変動時にパーティション割当てを変更する手順を図25を用いて説明する。
【0058】
稼動情報収集(2501)、稼動情報集計(2502)、サービスレベル契約との比較(2503)は第1の実施形態と同様である。その後CPU割当て率を削減可能か検討し(2504)、削減可能であれば該当するサーバのLPAR制御レジスタ群の内容を変更するよう指示する。削減可能かどうかの判断方法は第1の実施形態と同様である。変更終了を待った後、課金に関するパラメータを変更する(2505)。本例の場合、割当てCPU使用率と割り当てた時間の履歴を記録している。課金計算では1例として、webサーバ、APサーバ、DBサーバそれぞれについて単位時間あたりの使用単価を決めておき、単価×CPU使用率を合計して課金する方法も考えられる。
【0059】
つづいてCPU割当て率を増強すべきか検討し(2506)、増強する必要があれば、該当するサーバに設定しているCPU割当て率を増強できないか調べる(2507)。割当できない場合は運用管理者に通知し、CPU能力不足の為のサービスレベル未達か契約条件を超えた為のサービスレベル未達か区別して記録される(2508)。該当するサーバのLPAR制御レジスタ群の内容を変更するよう指示し、変更終了を待った後、課金に関するパラメータ情報を変更する(2509)。
VPNやストレージネットワークにおいても稼動状態によって変更が行われるが、変更方法については第1の実施形態と全く同じであるので割愛する。
【0060】
最後に課金についてであるが、VPNとストレージネットワークについての課金は第1の実施形態と全く同じである。VLAN部分についての課金は以下のように行う。
(単位時間当りのCPU割当率に関する基本料金×ユーザへのCPU割当率×ユーザへの割当時間−単位時間当りのサービスレベル条件未達時のCPU割当率の基本違約金×ユーザへのCPU割当率×CPUリソース不足によるサービスレベル条件未達時間)×(重み付け係数)
ここで、(重み付け係数)は通常1であり、図18においてセキュリティサービスを選んだ場合に1より大きな値をとる係数である。
[3]第1の実施形態の変形例
(a)第1の実施形態の変形例1として、図2のデータセンタにおいて、ユーザ毎の専用VLAN所属のネットワークスイッチ(SW01からSW02)のポートについてポートの帯域に関する帯域幅の割当の動的変更及び帯域幅保証を行うような場合が考えられる。このような場合としては、ユーザのVLANのトラフィックとインターネットからのアクセスなどの他のトラフィックがスイッチの同じポートを共有するような場合が考えられる。まず、VPN部分やストレージネットワーク部分における稼動状況による資源割当の動的な変更方法・課金方法については、実施形態1の通常の場合と全く同じなので割愛する。
図29は管理サーバC0が持つVLAN部分の情報について記した図である。負荷分散装置のアドレス対応表T00に関しては第1の実施形態の通常の場合と同じ情報である。さて、この変形例で管理サーバC0が持つVLAN部分の情報として特徴的な点を、図29を参照して説明する。まず、図6のユーザ条件設定表T01に負荷分散装置LB01及びネットワークスイッチSW01、SW02の最大・最小割当帯域幅、帯域使用率の閾値のカラムを追加した表T31がある。また、図6のVLAN構成表T02にLB01及びネットワークスイッチSW01、SW02の最大帯域幅・最小帯域幅、帯域利用率の閾値のカラムを追加したVLAN構成表T32、図6のサーバ及びVLAN稼動表T03にLB01及びネットワークスイッチSW01、SW02の帯域幅利用履歴のカラムが追加されたVLAN構成表T33がある。
まず、システム立上げ時にサーバ割当を変更する方法を述べる。ユーザに専用のVLANを設定する手順は、ネットワークスイッチのポートをVLANに割当てるまでは、第1の実施形態の通常の場合とまったく同じであるが、ポートをユーザのVLANに割当てた後、図12、図13のサービスレベル条件入力画面で設定した内容にそって作成された図29のユーザ条件設定表T01の最大帯域幅、最小帯域幅、帯域利用率のカラムの情報に従って先にユーザ専用のVLANに割当てられたそれぞれのポートに対してVPNの帯域割当方法と全く同じ方法で帯域幅を割当てる。VLAN所属のポートに帯域幅を割当てた後、VPNの設定やストレージネットワークの設定を行い、資源分割を行う。
次に、図29の制御プログラムP10が負荷増大時にサーバ割当を変更する手順を説明する。図16のフローチャートにおいて、1603までのステップすなわち稼動情報収集からサービスレベルとの比較までのステップは通常の実施形態と同じである。図29のユーザ条件設定表T01の帯域幅のカラムと比較した後にサービスレベル契約に照らしてネットワーク帯域を削減できるか否かを検討し、データセンタの管理サーバは帯域削減対象であるポートの帯域幅に対して帯域幅削減要求を出す。帯域幅変更方法は図2においてLB01のポート、SW01のポート、SW02のポートである。(ユーザAであれば、p001、p101、p201、p301、p401の順に帯域幅の変更を行う。)その後、サーバを接続しているポート対するVLANの変更、サーバの削減処理、サーバの追加処理など図16の1604から1612の項までのステップは通常の実施形態と同じである。サーバを追加し、サーバを接続しているポートに対するVLANの変更が行われたあと、図29のユーザ条件設定表T01の帯域幅のカラムと比較した後にサービスレベル契約に照らしてネットワーク帯域を追加できるか否かを検討し、データセンタの管理サーバは帯域追加対象であるポートの帯域幅に対して帯域幅追加要求を出す。帯域幅変更方法は図2においてSW02のポート、SW01のポート、LB01のポートの順番である。(ユーザAであれば、p501、p401、p301、p201、p101、p001の順に帯域幅の変更を行う。)その後の処理は図16のフローチャートと全く同じである。
最後にVLAN部分の課金について述べる。この変形例に適する課金は、第1の実施形態のVLAN部分の課金に帯域利用の項を追加したもので以下のように表現できる。
【0061】
(単位時間当りのサーバ1台の基本料金×ユーザへの割当台数×ユーザへの割当時間 ― 単位時間当りのサービスレベル条件未達時の基本違約金×ユーザへの割当台数×サーバ不足によるサービスレベル条件未達時間)×(重み付け係数1)+
(単位時間当りのネットワークスイッチのポートにおける帯域幅の基本料金×ユーザへの割当時間 − ネットワークスイッチのポートにおける帯域条件未達時の基本違約金×ネットワークリソース不足による帯域条件未達時間)×(重み付け係数2)
ここで(重み付け係数1)は通常は1で図12においてセキュリティサービスを選んだ場合に1を超える値をとる係数である。(重み付け係数2)通常は1で図12において帯域保証サービスを選んだ場合に1を超える値をとる係数である。基本的な考え方は第1の実施形態の通常の場合と同様である。
ネットワークスイッチのポートにおける帯域幅の基本料金はユーザに段階的に割り当てられる帯域幅の大きさによって段階的に変化する。
(b)第1の実施形態の変形例2として、図30のようにユーザ毎に専用のVPNルータ、負荷分散装置のポートを持つ構成も可能である。本実施例ではVLANタギングの技術によってではなく、ユーザ専用に割当てられたVPNルータ、負荷分散装置のポートに設定されるVLANIDによって各ユーザが区別される設定になっている。一連の動作は第1の実施形態の場合と同様である。
(c) 第1の実施形態の変形例3のサーバおよびVLANの割当て変更のフローを図32に示す。図2のデータセンタにおいて、サーバをユーザに割当てる時に割当てられる該サーバの電源を入れ,サーバをユーザから外すときにユーザ割当てを外れた該サーバの電源を切るという電源制御を行う場合を考える。この場合は、ユーザにサーバ割当変更を行うフローを示した図16に関して、ユーザにサーバを割当てる直前に割当てたサーバの電源を入れるステップ(3207)とユーザからサーバの割当てを外した後にサーバの電源を落とすステップ(3212)を追加した図32に従って動作を行う。追加した2つのステップ以外の一連の動作は第1の実施形態の場合と同様である。
[4]第2の実施形態の変形例
第2の実施形態の変形例として、図17のデータセンタにおいて、ユーザ毎の専用VLAN所属のネットワークスイッチ(SW00からSW02)のポートについてポートの帯域に関する帯域幅の割当の動的変更及び帯域幅保証を行うような場合について述べる。まず、VPN部分やストレージネットワーク部分における稼動状況による資源割当の動的な変更方法・課金方法については、実施形態1の通常の場合と全く同じなので割愛する。
図31は管理サーバC0が持つVLAN部分の情報について記した図である。CPU割当表T24に関しては第2の実施形態の通常の場合と同じ情報である。さて、図31には図20のユーザ条件設定表T21にSW10及びネットワークスイッチSW11、SW12の最大帯域幅・最小帯域幅、帯域利用率のカラムを追加したユーザ条件設定表T41、VLAN構成表T22にSW10及びネットワークスイッチSW11、SW12の最大帯域幅・最小帯域幅、帯域利用率のカラムの情報を追加したVLAN構成表T42、図6のサーバ及びVLAN稼動表T23にSW10及びネットワークスイッチSW11、SW12の帯域幅利用履歴のカラムが追加されたVLAN構成表T43がある。
まず、システム立上げ時にサーバ割当を変更する方法を述べる。ユーザに専用のVLANを設定する手順は、ネットワークスイッチのポートをVLANに割当てるまでは、第2の実施形態の通常の場合とまったく同じであるが、ポートをユーザのVLANに割当てた後、図18、図19のサービスレベル条件入力画面で設定した内容にそって作成された図31のユーザ条件設定表T41の最大帯域幅、最小帯域幅、帯域利用率のカラムの情報に従って先にユーザ専用のVLANに割当てられたそれぞれのポートに対してVPNの帯域割当方法と全く同じ方法で帯域幅を割当てる。VLAN所属のポートに帯域幅を割当てた後、VPNの設定やストレージネットワークの設定を行い、資源分割を行う。
次に、図31の制御プログラムP10が負荷増大時にサーバ割当を変更する手順を説明する。図25のフローチャートにおいて、2503までのステップすなわち稼動情報収集からサービスレベルとの比較までのステップは通常の実施形態と同じである。図31のユーザ条件設定表T21の帯域幅のカラムと比較した後にサービスレベル契約に照らしてネットワーク帯域を削減できるか否かを検討し、データセンタの管理サーバは帯域削減対象であるポートの帯域幅に対して帯域幅削減要求を出す。帯域幅変更方法は図17においてSW10のポート、SW11のポート、SW12のポートである。(ユーザAであれば、p001、p101、p201、p301、p401の順に帯域幅の変更を行う。)その後、CPU割当率の削減処理、CPU割当率の追加処理など図25の2504から2506の項までのステップは通常の実施形態の場合と同じである。CPU割当を追加したあと、図31のユーザ条件設定表T41の帯域幅のカラムと比較した後にサービスレベル契約に照らしてネットワーク帯域を追加できるか否かを検討し、データセンタの管理サーバは帯域追加対象であるポートの帯域幅に対して帯域幅追加要求を出す。帯域幅変更方法は図17においてSW12のポート、SW11のポート、SW10のポートの順番である。(例えばユーザAであれば、p501、p401、p301、p201、p101、p001の順に帯域幅の変更を行う。)その後の処理は図25のフローチャートと全く同様に考えて、サーバ及びVLAN稼動表T43の帯域幅の使用履歴のカラムを変更し、課金に関するパラメータを変更する。
最後にVLAN部分の課金について述べる。この変形例の課金法は、第1の実施形態のVLAN部分の課金に帯域利用の項を追加したもので以下のように表現できる。
【0062】
(単位時間当りのCPU割当率に関する基本料金×ユーザへのCPU割当率×ユーザへの割当時間 ― 単位時間当りのサービスレベル条件未達時の基本違約金×ユーザへのCPU割当率×CPUリソース不足によるサービスレベル条件未達時間)×(重み付け係数1)+ (単位時間当りのネットワークスイッチのポートにおける帯域幅の基本料金×ユーザへの割当時間− ネットワークスイッチのポートにおける帯域条件未達時の基本違約金×ネットワークのリソース不足によるサービスレベル未達時間)×(重み付け係数2)
(重み付け係数1)は通常は1で図18においてセキュリティサービスを選んだ場合に1を超える値をとる係数である。(重み付け係数2)通常は1で図18において帯域保証サービスを選んだ場合に1を超える値をとる係数である。ここでも、基本的な考え方は第1の実施形態の通常の場合と同様である。
ネットワークスイッチのポートにおける帯域幅の基本料金はユーザに段階的に割り当てられる帯域幅の大きさによって段階的に課金される。
【0063】
【発明の効果】
以上述べたように、本発明ではユーザ企業ごとにネットワーク構成設定表を与え、それに基づきネットワーク帯域幅、計算資源を与えるとともに、ネットワーク及び計算機の稼動状況のモニタ結果に基づき自動的にユーザ毎にサービスレベル契約と比較してネットワーク資源、計算機資源の量を増減できる。これにより、ユーザ企業側で予測できない急速な負荷変動に対してもリアルタイムに計算資源の割当てを変更可能である。また、ユーザ企業のサーバを独立したVLANにいれ、サーバ割当に応じてVLANの構成を動的に変えることにより、各ユーザのセキュリティを保持することを可能にする。さらに、データセンタのネットワーク負荷増大にはネットワーク帯域幅の動的設定変更で対応し、ユーザは必要な処理を遅延無く実行することができる。
【0064】
また、ストレージ資源を全計算機で共有する場合に計算機資源の割当てを変更しても、ユーザ毎に設定しているVLAN及びストレージネットワークの構成に基づきアクセス権限チェックを行っているため、ユーザ間セキュリティを維持することができる。
【図面の簡単な説明】
【図1】インターネットを介して接続されるデータセンタとユーザの例である。
【図2】データセンタの構成の例である。
【図3】ユーザからキャリアを通じてデータセンタまで組んだVPNの例1である。
【図4】ユーザからキャリアを通じてデータセンタまで組んだVPNの例2である。
【図5】図2のデータセンタにおけるストレージネットワーク構成の例である。
【図6】図2のデータセンタの管理サーバが保持しているVLANに関する情報の一覧である。
【図7】図2のデータセンタの管理サーバが保持しているVPNに関する情報の一覧である。
【図8】ユーザの帯域管理サーバが保持しているVPNに関する情報の一覧である。
【図9】キャリアの帯域管理サーバが保持しているVPNに関する情報の一覧である。
【図10】図2のデータセンタの管理サーバが保持しているストレージネットワークに関する情報の一覧である。
【図11】ユーザからデータセンタ内部で処理されるパケットの一覧である。
【図12】サービスレベル条件入力画面(オプション選択画面)である。
【図13】サービスレベル条件入力画面(ユーザ条件の詳細を設定)である。
【図14】図2のデータセンタのサーバ及びVLAN、VPNに関する初期割当のフローチャートである。
【図15】ユーザに対するネットワーク帯域幅の割当変更のフローチャートである。
【図16】ユーザに対するサーバ及びVLANの割当変更のフローチャートである。
【図17】LPARサーバを用いて構成されたデータセンタの構成の一例である。
【図18】サービスレベル条件入力画面(オプション選択画面)である。
【図19】サービスレベル条件入力画面(ユーザ条件の詳細を設定)である。
【図20】図17のデータセンタの管理サーバが保持しているVLANに関する情報の一覧である。
【図21】図17のデータセンタの管理サーバが保持しているVPNに関する情報の一覧である。
【図22】図17のデータセンタの管理サーバが保持しているストレージネットワークに関するする情報の一覧である。
【図23】図17のデータセンタ内部において処理されるパケット一覧である。
【図24】図17のデータセンタにおけるLPAR及びVLAN、VPNに関する初期割当のフローチャートである。
【図25】ユーザに対するCPU割当率の割当変更のフローチャートである。
【図26】負荷が増えた場合のVPN、VLAN、ストレージネットワークの各要素に関する変更手順である。
【図27】負荷が減った場合のVPN、VLAN、ストレージネットワークの各要素に関する変更手順である。
【図28】ユーザに対するストレージネットワークでの割当変更のフローチャートである。
【図29】ポートの帯域制御機能を持つネットワークスイッチを持つ場合における図2のデータセンタ管理サーバが持つVLAN関連の情報である。
【図30】VLANタギングを用いずにユーザ専用のVPNルータとVLANを組み合わせることでセキュリティを確保した例である。
【図31】ポートの帯域制御機能を持つネットワークスイッチを持つ場合における図17のデータセンタ管理サーバが持つVLAN関連の情報である。
【図32】電源制御を伴うサーバ及びVLANの割当変更のフローチャートである。
【符号の説明】
D0・・・VPNルータ
C0・・・データセンタの管理サーバ
LB01・・・負荷分散装置
SW01、SW02・・・LANスイッチ
SW03・・・ストレージネットワークスイッチ
a10、b10、c10・・・Webサーバ
a20、b20、c20・・・APサーバ
a30、b30、c30・・・DBサーバ
s01・・・ストレージ
T01・・・ユーザ条件設定表
T02・・・VLAN構成表。
Claims (2)
- 相互にローカルネットワークで接続される複数のサーバを有し、外部にはインターネットが接続され、該インターネットの入り口から順に機能別に複数層のサーバ群を構成し、その最深層のサーバ群にはストレージ及びストレージネットワークが接続されてなり、複数ユーザの要求を処理する計算機システムにおいて、各ユーザへ各機能の層のサーバ群からそれぞれいくつかのサーバを割り当てる計算機資源割当方法であって、
各ユーザごとに、そのユーザに割り当てられた表層のサーバ群への接続、該表層のサーバ群から次の層のサーバ群への接続、その次の層のサーバ群への接続、のように該ユーザに割り当てられた上記複数層のサーバ群にわたる接続に関わるVLANを設定し、
各ユーザに割り当てた各層のサーバの負荷をモニタリングし、
上記負荷のモニタリングの結果、あるユーザに割り当てたある層のサーバ群に追加割当を行うことを決定した場合に、
追加割当するサーバの深層側の接続のVLAN設定変更を行い、次に追加割当するサーバの表層側の接続のVLAN設定変更を行うという順番で該ユーザに設定するVLANの動的変更を行うことを特徴とする計算機資源割当方法。 - 上記負荷のモニタリングの結果、あるユーザへのある層のサーバ群の割り当てから一部のサーバを削除することを決定した場合に、
該ユーザへの割り当てを削除するサーバの表層側の接続のVLAN設定変更を行い、次に該割り当てを削除するサーバの深層側の接続のVLAN設定変更を行って該ユーザに設定するVLANからのサーバの接続解除を実行することを特徴とする請求項1記載の計算資源機割当方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001312115A JP3879471B2 (ja) | 2001-10-10 | 2001-10-10 | 計算機資源割当方法 |
US10/080,715 US7062559B2 (en) | 2001-10-10 | 2002-02-25 | Computer resource allocating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001312115A JP3879471B2 (ja) | 2001-10-10 | 2001-10-10 | 計算機資源割当方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003124976A JP2003124976A (ja) | 2003-04-25 |
JP3879471B2 true JP3879471B2 (ja) | 2007-02-14 |
Family
ID=19130826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001312115A Expired - Fee Related JP3879471B2 (ja) | 2001-10-10 | 2001-10-10 | 計算機資源割当方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7062559B2 (ja) |
JP (1) | JP3879471B2 (ja) |
Families Citing this family (285)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2001261258A1 (en) * | 2000-05-05 | 2001-11-20 | Aprisma Management Technologies, Inc. | Help desk systems and methods for use with communications networks |
US7500143B2 (en) * | 2000-05-05 | 2009-03-03 | Computer Associates Think, Inc. | Systems and methods for managing and analyzing faults in computer networks |
US7752024B2 (en) * | 2000-05-05 | 2010-07-06 | Computer Associates Think, Inc. | Systems and methods for constructing multi-layer topological models of computer networks |
WO2001086380A2 (en) * | 2000-05-05 | 2001-11-15 | Aprisma Management Technologies, Inc. | Systems and methods for isolating faults in computer networks |
US7237138B2 (en) * | 2000-05-05 | 2007-06-26 | Computer Associates Think, Inc. | Systems and methods for diagnosing faults in computer networks |
US7376743B1 (en) * | 2002-04-02 | 2008-05-20 | Cisco Technology, Inc. | Method and apparatus for load balancing in a virtual private network |
US7660731B2 (en) * | 2002-04-06 | 2010-02-09 | International Business Machines Corporation | Method and apparatus for technology resource management |
US20030236852A1 (en) * | 2002-06-20 | 2003-12-25 | International Business Machines Corporation | Sharing network adapter among multiple logical partitions in a data processing system |
US8060643B2 (en) * | 2002-08-30 | 2011-11-15 | Hewlett-Packard Development Company, L.P. | Method and apparatus for dynamically managing bandwidth for clients in a storage area network |
US7783035B2 (en) * | 2002-08-30 | 2010-08-24 | Adaptec, Inc. | Systems and methods for implementing host-based security in a computer network |
US7586944B2 (en) * | 2002-08-30 | 2009-09-08 | Hewlett-Packard Development Company, L.P. | Method and system for grouping clients of a storage area network according to priorities for bandwidth allocation |
WO2004038700A2 (en) * | 2002-10-23 | 2004-05-06 | Onaro | Method and system for validating logical end-to-end access paths in storage area networks |
US7961594B2 (en) * | 2002-10-23 | 2011-06-14 | Onaro, Inc. | Methods and systems for history analysis for access paths in networks |
US8230066B2 (en) * | 2002-11-04 | 2012-07-24 | International Business Machines Corporation | Location independent backup of data from mobile and stationary computers in wide regions regarding network and server activities |
US20040088422A1 (en) * | 2002-11-06 | 2004-05-06 | Flynn Thomas J. | Computer network architecture and method relating to selective resource access |
US7631089B2 (en) * | 2002-12-31 | 2009-12-08 | Intel Corporation | System for device-access policy enforcement |
US7583607B2 (en) * | 2003-03-06 | 2009-09-01 | Hewlett-Packard Development Company, L.P. | Method and apparatus for designating and implementing support level agreements |
US20040181589A1 (en) * | 2003-03-14 | 2004-09-16 | Sun Microsystems,Inc. | Storage virtual channels and method for using the same |
US20040181594A1 (en) * | 2003-03-14 | 2004-09-16 | Sun Microsystems, Inc. | Methods for assigning performance specifications to a storage virtual channel |
JP4077352B2 (ja) * | 2003-03-31 | 2008-04-16 | 株式会社日立製作所 | 負荷分散方法及びその実施システム並びにその処理プログラム |
US20040202185A1 (en) * | 2003-04-14 | 2004-10-14 | International Business Machines Corporation | Multiple virtual local area network support for shared network adapters |
US20040230317A1 (en) * | 2003-05-15 | 2004-11-18 | Sun Microsystems, Inc. | Method, system, and program for allocating storage resources |
JP2004348192A (ja) * | 2003-05-20 | 2004-12-09 | Hitachi Ltd | Job分配制御方法 |
JP4395662B2 (ja) * | 2003-06-12 | 2010-01-13 | キャミアント,インク. | Pcmmアプリケーションマネージャ |
CA2528648C (en) * | 2003-06-12 | 2014-04-08 | Camiant, Inc. | Dynamic service delivery with topology discovery for communication networks |
US7620950B2 (en) * | 2003-07-01 | 2009-11-17 | International Business Machines Corporation | System and method to monitor amount of usage of applications in logical partitions |
JP4123088B2 (ja) * | 2003-08-06 | 2008-07-23 | 株式会社日立製作所 | ストレージネットワーク管理装置及び方法 |
US20050038890A1 (en) * | 2003-08-11 | 2005-02-17 | Hitachi., Ltd. | Load distribution method and client-server system |
US20050050213A1 (en) * | 2003-09-03 | 2005-03-03 | James Clough | Authorizing network requests |
US7523041B2 (en) | 2003-09-18 | 2009-04-21 | International Business Machines Corporation | Method of displaying real-time service level performance, breach, and guaranteed uniformity with automatic alerts and proactive rebating for utility computing environment |
US8332483B2 (en) | 2003-12-15 | 2012-12-11 | International Business Machines Corporation | Apparatus, system, and method for autonomic control of grid system resources |
US7412516B1 (en) * | 2003-12-29 | 2008-08-12 | Aol Llc | Using a network bandwidth setting based on determining the network environment |
US20050149940A1 (en) * | 2003-12-31 | 2005-07-07 | Sychron Inc. | System Providing Methodology for Policy-Based Resource Allocation |
US7461149B2 (en) * | 2004-01-13 | 2008-12-02 | International Business Machines Corporation | Ordering provisioning request execution based on service level agreement and customer entitlement |
US20050188415A1 (en) * | 2004-01-23 | 2005-08-25 | Camiant, Inc. | Video policy server |
JP2005216151A (ja) | 2004-01-30 | 2005-08-11 | Hitachi Ltd | 資源運用管理システム及び資源運用管理方法 |
GB2412754B (en) * | 2004-03-30 | 2007-07-11 | Hewlett Packard Development Co | Provision of resource allocation information |
JP2005327233A (ja) * | 2004-04-12 | 2005-11-24 | Hitachi Ltd | コンピュータシステム |
US20050240650A1 (en) * | 2004-04-22 | 2005-10-27 | International Business Machines Corporation | Service enablement via on demand resources |
JP2006011860A (ja) * | 2004-06-25 | 2006-01-12 | Fujitsu Ltd | システム構成管理プログラム及びシステム構成管理装置 |
US7562389B1 (en) | 2004-07-30 | 2009-07-14 | Cisco Technology, Inc. | Method and system for network security |
US7712102B2 (en) * | 2004-07-30 | 2010-05-04 | Hewlett-Packard Development Company, L.P. | System and method for dynamically configuring a plurality of load balancers in response to the analyzed performance data |
US7555774B2 (en) * | 2004-08-02 | 2009-06-30 | Cisco Technology, Inc. | Inline intrusion detection using a single physical port |
JP4518887B2 (ja) * | 2004-09-10 | 2010-08-04 | 株式会社日立製作所 | ストレージエリアネットワーク管理システム及び管理装置とボリューム割当て方法並びにコンピュータ・ソフトウエア |
JP2006079495A (ja) * | 2004-09-13 | 2006-03-23 | Hitachi Ltd | ストレージシステム及び論理区画の設定方法 |
JP4309321B2 (ja) * | 2004-09-28 | 2009-08-05 | 株式会社日立製作所 | ネットワークシステムの運用管理方法及びストレージ装置 |
US7269652B2 (en) * | 2004-10-18 | 2007-09-11 | International Business Machines Corporation | Algorithm for minimizing rebate value due to SLA breach in a utility computing environment |
US7447166B1 (en) * | 2004-11-02 | 2008-11-04 | Cisco Technology, Inc. | Method to distribute IEEE 802.1X authenticated users among multiple broadcast domains |
US20060123111A1 (en) * | 2004-12-02 | 2006-06-08 | Frank Dea | Method, system and computer program product for transitioning network traffic between logical partitions in one or more data processing systems |
US20060123204A1 (en) * | 2004-12-02 | 2006-06-08 | International Business Machines Corporation | Method and system for shared input/output adapter in logically partitioned data processing system |
US7787494B1 (en) * | 2004-12-07 | 2010-08-31 | Nortel Networks Limited | Method and apparatus for assigning and allocating network resources to packet-based virtual private networks |
JP2006166297A (ja) * | 2004-12-10 | 2006-06-22 | Fumio Kobayashi | 通信帯域制御装置、通信帯域制御方法及びプログラム |
US7725938B2 (en) | 2005-01-20 | 2010-05-25 | Cisco Technology, Inc. | Inline intrusion detection |
JP5076279B2 (ja) | 2005-03-17 | 2012-11-21 | 富士通株式会社 | It資産管理システム、it資産管理方法およびit資産管理プログラム |
JP4548168B2 (ja) * | 2005-03-22 | 2010-09-22 | 日本電気株式会社 | ロードバランス装置、サーバシステム及びそのロードバランス方法 |
JP4596945B2 (ja) | 2005-03-24 | 2010-12-15 | 富士通株式会社 | データセンタの需要予測システム、需要予測方法および需要予測プログラム |
JP3967752B2 (ja) * | 2005-03-25 | 2007-08-29 | 株式会社東芝 | 計算機ネットワーク構成制御システム及び方法 |
US7782870B1 (en) * | 2005-04-22 | 2010-08-24 | Oracle America, Inc. | Method and apparatus for consolidating available computing resources on different computing devices |
US7797564B2 (en) * | 2005-05-24 | 2010-09-14 | International Business Machines Corporation | Method, apparatus, and computer program product for dynamically modifying operating parameters of the system based on the current usage of a processor core's specialized processing units |
US8745326B2 (en) * | 2005-06-02 | 2014-06-03 | Seagate Technology Llc | Request priority seek manager |
US8473602B2 (en) * | 2005-06-11 | 2013-06-25 | Intellectual Business Machines Corporation | System and method for autonomic system management through modulation of network controls |
JP4352028B2 (ja) | 2005-06-29 | 2009-10-28 | 富士通株式会社 | 運用ポリシー評価システムおよび運用ポリシー評価プログラム |
JP4435037B2 (ja) | 2005-06-29 | 2010-03-17 | 富士通株式会社 | It資産評価システム、it資産評価プログラム、管理システムおよび管理プログラム |
JP4293616B2 (ja) | 2005-06-29 | 2009-07-08 | 富士通株式会社 | 余剰判定システム、管理システム、余剰判定プログラムおよび管理プログラム |
US8230419B2 (en) * | 2005-07-26 | 2012-07-24 | International Business Machines Corporation | Method, system and program product for capturing central processing unit (CPU) utilization for a process on a virtual machine |
JP4786248B2 (ja) | 2005-08-09 | 2011-10-05 | 株式会社日立製作所 | ストレージシステムの構成管理装置及び構成管理方法 |
CN101310507B (zh) * | 2005-08-12 | 2012-08-08 | Gn奈康有限公司 | 一种适于提供通信连接的基本单元和提供通信连接的方法 |
EP1943594A4 (en) | 2005-09-27 | 2009-12-16 | Onaro | METHOD AND SYSTEMS FOR VALIDATING ACCESSIBILITY AND UPDATED REPLICATED DATA |
JP4699849B2 (ja) * | 2005-09-28 | 2011-06-15 | 株式会社日立製作所 | アクセスパス管理方法及び装置 |
US20070094061A1 (en) * | 2005-10-12 | 2007-04-26 | Jianying Hu | Method and system for predicting resource requirements for service engagements |
JP5077617B2 (ja) * | 2005-10-27 | 2012-11-21 | 富士通株式会社 | 想定外需要検出システムおよび想定外需要検出プログラム |
JP2007135109A (ja) | 2005-11-11 | 2007-05-31 | Hitachi Ltd | 仮想ネットワーク管理方法、仮想ネットワーク管理プログラム、仮想ネットワーク管理システムおよび仮想ネットワーク管理手段 |
US20070174459A1 (en) * | 2006-01-26 | 2007-07-26 | Amichai Lesser | Device and method for allocating separate bandwidths to multiple virtual users |
JP4634467B2 (ja) * | 2006-01-26 | 2011-02-16 | 富士通株式会社 | ネットワーク管理プログラムおよびネットワーク管理装置 |
GB0603150D0 (en) * | 2006-02-17 | 2006-03-29 | Ericsson Telefon Ab L M | Monitoring network usage |
EP1830268B1 (en) * | 2006-03-03 | 2019-05-08 | STMicroelectronics (Research & Development) Limited | Multiple purpose integrated circuit |
JP2007267139A (ja) * | 2006-03-29 | 2007-10-11 | Fujitsu Ltd | 認証vlan管理装置 |
JP4519098B2 (ja) * | 2006-03-30 | 2010-08-04 | 株式会社日立製作所 | 計算機の管理方法、計算機システム、及び管理プログラム |
US20100242048A1 (en) * | 2006-04-19 | 2010-09-23 | Farney James C | Resource allocation system |
US7711821B2 (en) * | 2006-05-31 | 2010-05-04 | International Business Machines Corporation | Multiple resource control-advisor for management of distributed or web-based systems |
JP4899643B2 (ja) | 2006-05-31 | 2012-03-21 | 富士通株式会社 | ネットワーク構成装置 |
US8281387B2 (en) * | 2006-06-30 | 2012-10-02 | Intel Corporation | Method and apparatus for supporting a virtual private network architecture on a partitioned platform |
US8024738B2 (en) * | 2006-08-25 | 2011-09-20 | International Business Machines Corporation | Method and system for distributing unused processor cycles within a dispatch window |
US7624262B2 (en) * | 2006-12-20 | 2009-11-24 | International Business Machines Corporation | Apparatus, system, and method for booting using an external disk through a virtual SCSI connection |
JP4899859B2 (ja) * | 2006-12-27 | 2012-03-21 | 富士通株式会社 | 帯域管理装置および帯域管理方法 |
US8826032B1 (en) | 2006-12-27 | 2014-09-02 | Netapp, Inc. | Systems and methods for network change discovery and host name resolution in storage network environments |
US8332860B1 (en) | 2006-12-30 | 2012-12-11 | Netapp, Inc. | Systems and methods for path-based tier-aware dynamic capacity management in storage network environments |
US8112524B2 (en) * | 2007-01-15 | 2012-02-07 | International Business Machines Corporation | Recommending moving resources in a partitioned computer |
US9042263B1 (en) | 2007-04-06 | 2015-05-26 | Netapp, Inc. | Systems and methods for comparative load analysis in storage networks |
US7979550B2 (en) * | 2007-05-24 | 2011-07-12 | Sihai Xiao | Methods and apparatuses for adjusting bandwidth allocation during a collaboration session |
US8589206B2 (en) * | 2007-05-31 | 2013-11-19 | International Business Machines Corporation | Service requests for multiple service level characteristics |
US8117074B2 (en) * | 2007-05-31 | 2012-02-14 | International Business Machines Corporation | Scaling offers for elemental biddable resources (EBRs) |
US8180660B2 (en) * | 2007-05-31 | 2012-05-15 | International Business Machines Corporation | Non-depleting chips for obtaining desired service level characteristics |
US7840433B2 (en) * | 2007-05-31 | 2010-11-23 | International Business Machines Corporation | Fluid, depleting chips for obtaining desired service level characteristics |
US10419360B2 (en) | 2007-05-31 | 2019-09-17 | International Business Machines Corporation | Market-driven variable price offerings for bandwidth-sharing ad hoc networks |
US8032407B2 (en) | 2007-05-31 | 2011-10-04 | International Business Machines Corporation | Application of brokering methods to scalability characteristics |
US7899696B2 (en) * | 2007-05-31 | 2011-03-01 | International Business Machines Corporation | Application of brokering methods to recoverability characteristics |
US20080301025A1 (en) * | 2007-05-31 | 2008-12-04 | Boss Gregory J | Application of brokering methods to availability characteristics |
US20080301688A1 (en) * | 2007-05-31 | 2008-12-04 | Boss Gregory J | Method, system, and program product for allocating a resource |
US9165266B2 (en) * | 2007-05-31 | 2015-10-20 | International Business Machines Corporation | Resource management framework for holding auctions and applying service level characteristics in response to bids for resources |
US8140446B2 (en) * | 2007-05-31 | 2012-03-20 | International Business Machines Corporation | Application of brokering methods to operational support characteristics |
US8041599B2 (en) * | 2007-05-31 | 2011-10-18 | International Business Machines Corporation | Method, system, and program product for selecting a brokering method for obtaining desired service level characteristics |
US8332859B2 (en) * | 2007-05-31 | 2012-12-11 | International Business Machines Corporation | Intelligent buyer's agent usage for allocation of service level characteristics |
US7899697B2 (en) | 2007-05-31 | 2011-03-01 | International Business Machines Corporation | Application of brokering methods to security characteristics |
US9147215B2 (en) * | 2007-05-31 | 2015-09-29 | International Business Machines Corporation | Discrete, depleting chips for obtaining desired service level characteristics |
US8041600B2 (en) * | 2007-05-31 | 2011-10-18 | International Business Machines Corporation | Application of brokering methods to performance characteristics |
JP4872818B2 (ja) * | 2007-06-14 | 2012-02-08 | ムラテックオートメーション株式会社 | プロセス状態監視装置 |
US8161476B2 (en) | 2007-07-04 | 2012-04-17 | International Business Machines Corporation | Processor exclusivity in a partitioned system |
JP4834622B2 (ja) | 2007-07-23 | 2011-12-14 | 株式会社日立製作所 | ビジネスプロセス運用管理システム、方法、プロセス運用管理装置およびそのプログラム |
US8910234B2 (en) * | 2007-08-21 | 2014-12-09 | Schneider Electric It Corporation | System and method for enforcing network device provisioning policy |
JP5393686B2 (ja) | 2007-09-26 | 2014-01-22 | ニシラ, インコーポレイテッド | ネットワークを管理する及び安全にするためのネットワークオペレーティングシステム |
US7945640B1 (en) * | 2007-09-27 | 2011-05-17 | Emc Corporation | Methods and apparatus for network provisioning |
US7975033B2 (en) * | 2007-10-23 | 2011-07-05 | Virtudatacenter Holdings, L.L.C. | System and method for initializing and maintaining a series of virtual local area networks contained in a clustered computer system |
JP4861293B2 (ja) * | 2007-11-01 | 2012-01-25 | 富士通株式会社 | 通信装置、通信方法および通信プログラム |
US7801994B2 (en) * | 2007-11-29 | 2010-09-21 | Hitachi, Ltd. | Method and apparatus for locating candidate data centers for application migration |
JP5157472B2 (ja) | 2008-01-22 | 2013-03-06 | 富士通株式会社 | 帯域制御機能を有する負荷分散装置およびその設定方法 |
US9113334B2 (en) * | 2008-02-01 | 2015-08-18 | Tekelec, Inc. | Methods, systems, and computer readable media for controlling access to voice resources in mobile networks using mobility management signaling messages |
JP2009217327A (ja) * | 2008-03-07 | 2009-09-24 | Nec Corp | クライアント環境生成システム、クライアント環境生成方法、クライアント環境生成プログラム、及び記憶媒体 |
US20090238077A1 (en) * | 2008-03-19 | 2009-09-24 | Paritosh Bajpay | Method and apparatus for providing automated processing of a virtual connection alarm |
US20100106436A1 (en) * | 2008-10-20 | 2010-04-29 | International Business Machines Corporation | Power consumption calculation facility |
US8201237B1 (en) | 2008-12-10 | 2012-06-12 | Amazon Technologies, Inc. | Establishing secure remote access to private computer networks |
US8230050B1 (en) | 2008-12-10 | 2012-07-24 | Amazon Technologies, Inc. | Providing access to configurable private computer networks |
US9137209B1 (en) | 2008-12-10 | 2015-09-15 | Amazon Technologies, Inc. | Providing local secure network access to remote services |
US9524167B1 (en) | 2008-12-10 | 2016-12-20 | Amazon Technologies, Inc. | Providing location-specific network access to remote services |
US20100161827A1 (en) * | 2008-12-23 | 2010-06-24 | Griesmer Stephen J | Methods and apparatus to manage port resources |
US8693328B2 (en) * | 2009-02-19 | 2014-04-08 | Sandvine Incorporated Ulc | Method and apparatus for distributing credits to multiple shapers to enable shaping traffic targets in packet communication networks |
US20100229175A1 (en) * | 2009-03-05 | 2010-09-09 | International Business Machines Corporation | Moving Resources In a Computing Environment Having Multiple Logically-Partitioned Computer Systems |
US8060792B2 (en) | 2009-03-31 | 2011-11-15 | Amazon Technologies, Inc. | Monitoring and automated recovery of data instances |
US9705888B2 (en) * | 2009-03-31 | 2017-07-11 | Amazon Technologies, Inc. | Managing security groups for data instances |
US8713060B2 (en) | 2009-03-31 | 2014-04-29 | Amazon Technologies, Inc. | Control service for relational data management |
US8307003B1 (en) | 2009-03-31 | 2012-11-06 | Amazon Technologies, Inc. | Self-service control environment |
US9207984B2 (en) | 2009-03-31 | 2015-12-08 | Amazon Technologies, Inc. | Monitoring and automatic scaling of data volumes |
US8332365B2 (en) | 2009-03-31 | 2012-12-11 | Amazon Technologies, Inc. | Cloning and recovery of data volumes |
JP5701288B2 (ja) | 2009-04-01 | 2015-04-15 | ニシラ, インコーポレイテッド | ネットワークおよびネットワーキングリソースを管理する方法 |
US20100318454A1 (en) * | 2009-06-16 | 2010-12-16 | Microsoft Corporation | Function and Constraint Based Service Agreements |
US20120173604A1 (en) * | 2009-09-18 | 2012-07-05 | Nec Corporation | Data center system, reconfigurable node, reconfigurable node controlling method and reconfigurable node control program |
US8422365B2 (en) * | 2009-09-21 | 2013-04-16 | Cisco Technology, Inc. | Energy efficient scaling of network appliance service performance |
US9135283B2 (en) | 2009-10-07 | 2015-09-15 | Amazon Technologies, Inc. | Self-service configuration for data environment |
US8074107B2 (en) | 2009-10-26 | 2011-12-06 | Amazon Technologies, Inc. | Failover and recovery for replicated data instances |
US8676753B2 (en) | 2009-10-26 | 2014-03-18 | Amazon Technologies, Inc. | Monitoring of replicated data instances |
US8335765B2 (en) * | 2009-10-26 | 2012-12-18 | Amazon Technologies, Inc. | Provisioning and managing replicated data instances |
JP4939594B2 (ja) * | 2009-11-30 | 2012-05-30 | インターナショナル・ビジネス・マシーンズ・コーポレーション | プライマリクラウドが提供したサービスレベルの実績値又は更新されたプリファレンス情報に基づいて、サービスレベルアグリーメントを動的に決定してサービスを提供することができるクラウドシステムを構成する装置、方法及びコンピュータプログラム |
JP2011160298A (ja) * | 2010-02-02 | 2011-08-18 | Fujitsu Ltd | ネットワークシステム、処理を提供するサーバの切替方法、処理を提供するサーバの切替プログラム、情報処理装置、仮想マシン構築方法および仮想マシン構築プログラム |
JP5336405B2 (ja) * | 2010-03-10 | 2013-11-06 | 富士フイルム株式会社 | 社内情報閲覧用サーバ・システムおよびその制御方法 |
US8266204B2 (en) | 2010-03-15 | 2012-09-11 | Microsoft Corporation | Direct addressability and direct server return |
US8627123B2 (en) * | 2010-03-25 | 2014-01-07 | Microsoft Corporation | Managing power provisioning in distributed computing |
US8902743B2 (en) | 2010-06-28 | 2014-12-02 | Microsoft Corporation | Distributed and scalable network address translation |
US9680750B2 (en) | 2010-07-06 | 2017-06-13 | Nicira, Inc. | Use of tunnels to hide network addresses |
US10103939B2 (en) | 2010-07-06 | 2018-10-16 | Nicira, Inc. | Network control apparatus and method for populating logical datapath sets |
US8817621B2 (en) | 2010-07-06 | 2014-08-26 | Nicira, Inc. | Network virtualization apparatus |
US9525647B2 (en) | 2010-07-06 | 2016-12-20 | Nicira, Inc. | Network control apparatus and method for creating and modifying logical switching elements |
US8964528B2 (en) | 2010-07-06 | 2015-02-24 | Nicira, Inc. | Method and apparatus for robust packet distribution among hierarchical managed switching elements |
JP2012053853A (ja) * | 2010-09-03 | 2012-03-15 | Ricoh Co Ltd | 情報処理装置、情報処理システム、サービス提供機器決定方法、プログラム |
WO2012033110A1 (ja) * | 2010-09-06 | 2012-03-15 | 日本電気株式会社 | アプリケーション構成システム、方法、及び、プログラム |
US9258231B2 (en) * | 2010-09-08 | 2016-02-09 | International Business Machines Corporation | Bandwidth allocation management |
CN103154926B (zh) * | 2010-09-30 | 2016-06-01 | 亚马逊技术股份有限公司 | 用专用实施资源进行虚拟资源成本追踪 |
US11106479B2 (en) | 2010-09-30 | 2021-08-31 | Amazon Technologies, Inc. | Virtual provisioning with implementation resource boundary awareness |
US10013662B2 (en) | 2010-09-30 | 2018-07-03 | Amazon Technologies, Inc. | Virtual resource cost tracking with dedicated implementation resources |
US8380845B2 (en) | 2010-10-08 | 2013-02-19 | Microsoft Corporation | Providing a monitoring service in a cloud-based computing environment |
US8843632B2 (en) | 2010-10-11 | 2014-09-23 | Microsoft Corporation | Allocation of resources between web services in a composite service |
JP4811830B1 (ja) * | 2010-10-15 | 2011-11-09 | 株式会社 イーシー・ワン | コンピュータリソース制御システム |
US8959219B2 (en) | 2010-10-18 | 2015-02-17 | Microsoft Technology Licensing, Llc | Dynamic rerouting of service requests between service endpoints for web services in a composite service |
US8510426B2 (en) | 2010-10-20 | 2013-08-13 | Microsoft Corporation | Communication and coordination between web services in a cloud-based computing environment |
US8874787B2 (en) | 2010-10-20 | 2014-10-28 | Microsoft Corporation | Optimized consumption of third-party web services in a composite service |
US8699499B2 (en) * | 2010-12-08 | 2014-04-15 | At&T Intellectual Property I, L.P. | Methods and apparatus to provision cloud computing network elements |
US20120096130A1 (en) * | 2010-12-14 | 2012-04-19 | Huawei Technologies Co., Ltd. | Method, apparatus and system for bandwidth control |
JP5720324B2 (ja) * | 2011-03-11 | 2015-05-20 | 日本電気株式会社 | シンクライアント環境提供システム、サーバ、シンクライアント環境管理方法、及びシンクライアント環境管理プログラム |
JP5691062B2 (ja) * | 2011-04-04 | 2015-04-01 | 株式会社日立製作所 | 仮想計算機の制御方法及び管理計算機 |
US9705977B2 (en) * | 2011-04-20 | 2017-07-11 | Symantec Corporation | Load balancing for network devices |
US9043452B2 (en) | 2011-05-04 | 2015-05-26 | Nicira, Inc. | Network control apparatus and method for port isolation |
JPWO2012157035A1 (ja) * | 2011-05-13 | 2014-07-31 | 株式会社日立製作所 | 計算機システム、ネットワークインタフェース管理方法 |
US8595267B2 (en) * | 2011-06-27 | 2013-11-26 | Amazon Technologies, Inc. | System and method for implementing a scalable data storage service |
JP5870192B2 (ja) | 2011-08-17 | 2016-02-24 | ニシラ, インコーポレイテッド | 論理l3ルーティング |
US9444651B2 (en) | 2011-08-17 | 2016-09-13 | Nicira, Inc. | Flow generation from second level controller to first level controller to managed switching element |
US9722866B1 (en) | 2011-09-23 | 2017-08-01 | Amazon Technologies, Inc. | Resource allocation to reduce correlated failures |
CN103827841B (zh) * | 2011-09-30 | 2017-03-29 | 英特尔公司 | 可配置带宽的io连接器 |
US9178833B2 (en) | 2011-10-25 | 2015-11-03 | Nicira, Inc. | Chassis controller |
US9288104B2 (en) | 2011-10-25 | 2016-03-15 | Nicira, Inc. | Chassis controllers for converting universal flows |
US9137107B2 (en) | 2011-10-25 | 2015-09-15 | Nicira, Inc. | Physical controllers for converting universal flows |
US9203701B2 (en) | 2011-10-25 | 2015-12-01 | Nicira, Inc. | Network virtualization apparatus and method with scheduling capabilities |
WO2013074827A1 (en) | 2011-11-15 | 2013-05-23 | Nicira, Inc. | Architecture of networks with middleboxes |
EP2786261B1 (en) * | 2011-11-29 | 2020-02-26 | Amazon Technologies, Inc. | Interfaces to manage direct network peerings |
US10015083B2 (en) | 2011-12-22 | 2018-07-03 | Amazon Technologies, Inc. | Interfaces to manage inter-region connectivity for direct network peerings |
US8724642B2 (en) | 2011-11-29 | 2014-05-13 | Amazon Technologies, Inc. | Interfaces to manage direct network peerings |
JP5903873B2 (ja) | 2011-12-19 | 2016-04-13 | 富士通株式会社 | ストレージ装置、ストレージ装置の制御方法及びストレージ装置制御プログラム |
US9461915B1 (en) * | 2012-01-26 | 2016-10-04 | Google Inc. | System and method for reducing consumption of hardware resources using weighted cost multi-path flow distribution |
US9158714B2 (en) * | 2012-01-31 | 2015-10-13 | Symantec Corporation | Method and system for multi-layer differential load balancing in tightly coupled clusters |
JP5942485B2 (ja) * | 2012-03-05 | 2016-06-29 | 株式会社リコー | データ処理装置、プログラムおよびデータ処理システム |
US9455883B1 (en) * | 2012-03-30 | 2016-09-27 | Emc Corporation | Method and apparatus for provisioning shared NFS storage |
WO2013158918A1 (en) | 2012-04-18 | 2013-10-24 | Nicira, Inc. | Using transactions to minimize churn in a distributed network control system |
US8918493B1 (en) | 2012-06-28 | 2014-12-23 | Emc Corporation | Methods and apparatus for automating service lifecycle management |
WO2014012251A1 (zh) * | 2012-07-20 | 2014-01-23 | 华为技术有限公司 | 一种资源管理方法和管理服务器 |
JP6098167B2 (ja) * | 2013-01-09 | 2017-03-22 | 富士通株式会社 | 仮想マシン管理プログラム及びその方法 |
JP2014154947A (ja) * | 2013-02-05 | 2014-08-25 | Nippon Telegr & Teleph Corp <Ntt> | 通信システム、及び帯域確保通信方法 |
JP6094272B2 (ja) * | 2013-03-06 | 2017-03-15 | 富士通株式会社 | 管理システム、管理方法、管理プログラム及び管理装置 |
US9571386B2 (en) | 2013-07-08 | 2017-02-14 | Nicira, Inc. | Hybrid packet processing |
US9407580B2 (en) | 2013-07-12 | 2016-08-02 | Nicira, Inc. | Maintaining data stored with a packet |
US9282019B2 (en) | 2013-07-12 | 2016-03-08 | Nicira, Inc. | Tracing logical network packets through physical network |
US9344349B2 (en) | 2013-07-12 | 2016-05-17 | Nicira, Inc. | Tracing network packets by a cluster of network controllers |
US9952885B2 (en) | 2013-08-14 | 2018-04-24 | Nicira, Inc. | Generation of configuration files for a DHCP module executing within a virtualized container |
US9887960B2 (en) | 2013-08-14 | 2018-02-06 | Nicira, Inc. | Providing services for logical networks |
US9577845B2 (en) | 2013-09-04 | 2017-02-21 | Nicira, Inc. | Multiple active L3 gateways for logical networks |
US9503371B2 (en) | 2013-09-04 | 2016-11-22 | Nicira, Inc. | High availability L3 gateways for logical networks |
US9674087B2 (en) | 2013-09-15 | 2017-06-06 | Nicira, Inc. | Performing a multi-stage lookup to classify packets |
US9602398B2 (en) | 2013-09-15 | 2017-03-21 | Nicira, Inc. | Dynamically generating flows with wildcard fields |
US9977685B2 (en) | 2013-10-13 | 2018-05-22 | Nicira, Inc. | Configuration of logical router |
US10063458B2 (en) | 2013-10-13 | 2018-08-28 | Nicira, Inc. | Asymmetric connection with external networks |
US9967199B2 (en) | 2013-12-09 | 2018-05-08 | Nicira, Inc. | Inspecting operations of a machine to detect elephant flows |
US9548924B2 (en) | 2013-12-09 | 2017-01-17 | Nicira, Inc. | Detecting an elephant flow based on the size of a packet |
US9996467B2 (en) | 2013-12-13 | 2018-06-12 | Nicira, Inc. | Dynamically adjusting the number of flows allowed in a flow table cache |
US9569368B2 (en) | 2013-12-13 | 2017-02-14 | Nicira, Inc. | Installing and managing flows in a flow table cache |
US10217145B1 (en) | 2014-02-18 | 2019-02-26 | Amazon Technologies, Inc. | Partitioned private interconnects to provider networks |
US9225597B2 (en) | 2014-03-14 | 2015-12-29 | Nicira, Inc. | Managed gateways peering with external router to attract ingress packets |
US9590901B2 (en) | 2014-03-14 | 2017-03-07 | Nicira, Inc. | Route advertisement by managed gateways |
US9419855B2 (en) | 2014-03-14 | 2016-08-16 | Nicira, Inc. | Static routes for logical routers |
US9313129B2 (en) | 2014-03-14 | 2016-04-12 | Nicira, Inc. | Logical router processing by network controller |
US9503321B2 (en) | 2014-03-21 | 2016-11-22 | Nicira, Inc. | Dynamic routing for logical routers |
US9647883B2 (en) | 2014-03-21 | 2017-05-09 | Nicria, Inc. | Multiple levels of logical routers |
US9893988B2 (en) | 2014-03-27 | 2018-02-13 | Nicira, Inc. | Address resolution using multiple designated instances of a logical router |
US9413644B2 (en) | 2014-03-27 | 2016-08-09 | Nicira, Inc. | Ingress ECMP in virtual distributed routing environment |
US9686200B2 (en) | 2014-03-31 | 2017-06-20 | Nicira, Inc. | Flow cache hierarchy |
US10193806B2 (en) | 2014-03-31 | 2019-01-29 | Nicira, Inc. | Performing a finishing operation to improve the quality of a resulting hash |
US9385954B2 (en) | 2014-03-31 | 2016-07-05 | Nicira, Inc. | Hashing techniques for use in a network environment |
JP6318910B2 (ja) | 2014-06-26 | 2018-05-09 | 富士通株式会社 | 管理装置,情報処理システム,プログラム |
US9768980B2 (en) | 2014-09-30 | 2017-09-19 | Nicira, Inc. | Virtual distributed bridging |
US10250443B2 (en) | 2014-09-30 | 2019-04-02 | Nicira, Inc. | Using physical location to modify behavior of a distributed virtual network element |
US11178051B2 (en) | 2014-09-30 | 2021-11-16 | Vmware, Inc. | Packet key parser for flow-based forwarding elements |
US10020960B2 (en) | 2014-09-30 | 2018-07-10 | Nicira, Inc. | Virtual distributed bridging |
US10511458B2 (en) | 2014-09-30 | 2019-12-17 | Nicira, Inc. | Virtual distributed bridging |
US10469342B2 (en) | 2014-10-10 | 2019-11-05 | Nicira, Inc. | Logical network traffic analysis |
US10079779B2 (en) | 2015-01-30 | 2018-09-18 | Nicira, Inc. | Implementing logical router uplinks |
JP2018509842A (ja) * | 2015-03-19 | 2018-04-05 | ゼットティーイー コーポレイション | マルチドメイン仮想トポロジー(mdvt)を確立および管理するための方法およびシステム |
US10038628B2 (en) | 2015-04-04 | 2018-07-31 | Nicira, Inc. | Route server mode for dynamic routing between logical and physical networks |
US9923760B2 (en) | 2015-04-06 | 2018-03-20 | Nicira, Inc. | Reduction of churn in a network control system |
JP6451497B2 (ja) * | 2015-05-20 | 2019-01-16 | 富士通株式会社 | 情報処理装置、情報処理プログラム、及びデータセンタシステム |
US10348625B2 (en) | 2015-06-30 | 2019-07-09 | Nicira, Inc. | Sharing common L2 segment in a virtual distributed router environment |
US10129142B2 (en) | 2015-08-11 | 2018-11-13 | Nicira, Inc. | Route configuration for logical router |
US10075363B2 (en) | 2015-08-31 | 2018-09-11 | Nicira, Inc. | Authorization for advertised routes among logical routers |
US10204122B2 (en) | 2015-09-30 | 2019-02-12 | Nicira, Inc. | Implementing an interface between tuple and message-driven control entities |
US10095535B2 (en) | 2015-10-31 | 2018-10-09 | Nicira, Inc. | Static route types for logical routers |
US9923839B2 (en) * | 2015-11-25 | 2018-03-20 | International Business Machines Corporation | Configuring resources to exploit elastic network capability |
US10581680B2 (en) | 2015-11-25 | 2020-03-03 | International Business Machines Corporation | Dynamic configuration of network features |
US10333849B2 (en) | 2016-04-28 | 2019-06-25 | Nicira, Inc. | Automatic configuration of logical routers on edge nodes |
US11019167B2 (en) | 2016-04-29 | 2021-05-25 | Nicira, Inc. | Management of update queues for network controller |
US10484515B2 (en) | 2016-04-29 | 2019-11-19 | Nicira, Inc. | Implementing logical metadata proxy servers in logical networks |
US10841273B2 (en) | 2016-04-29 | 2020-11-17 | Nicira, Inc. | Implementing logical DHCP servers in logical networks |
US10091161B2 (en) | 2016-04-30 | 2018-10-02 | Nicira, Inc. | Assignment of router ID for logical routers |
US10153973B2 (en) | 2016-06-29 | 2018-12-11 | Nicira, Inc. | Installation of routing tables for logical router in route server mode |
US10560320B2 (en) | 2016-06-29 | 2020-02-11 | Nicira, Inc. | Ranking of gateways in cluster |
US10454758B2 (en) | 2016-08-31 | 2019-10-22 | Nicira, Inc. | Edge node cluster network redundancy and fast convergence using an underlay anycast VTEP IP |
US10341236B2 (en) | 2016-09-30 | 2019-07-02 | Nicira, Inc. | Anycast edge service gateways |
US10742746B2 (en) | 2016-12-21 | 2020-08-11 | Nicira, Inc. | Bypassing a load balancer in a return path of network traffic |
US10237123B2 (en) | 2016-12-21 | 2019-03-19 | Nicira, Inc. | Dynamic recovery from a split-brain failure in edge nodes |
US10212071B2 (en) | 2016-12-21 | 2019-02-19 | Nicira, Inc. | Bypassing a load balancer in a return path of network traffic |
US10616045B2 (en) | 2016-12-22 | 2020-04-07 | Nicira, Inc. | Migration of centralized routing components of logical router |
US10805239B2 (en) | 2017-03-07 | 2020-10-13 | Nicira, Inc. | Visualization of path between logical network endpoints |
JP7007549B2 (ja) * | 2017-05-19 | 2022-01-24 | 富士通株式会社 | 情報処理システム、管理装置、及び、情報処理システムの制御方法 |
EP3617878B1 (en) | 2017-05-24 | 2022-12-28 | Mitsubishi Electric Corporation | Data processing system, data processing device, and data processing program |
US10652281B1 (en) * | 2017-08-31 | 2020-05-12 | Vmware, Inc. | Network policy implementation in a tag-based policy architecture |
US20220174493A1 (en) * | 2017-09-27 | 2022-06-02 | Ubiquiti Inc. | Systems for automatic secured remote access to a local network |
RU2760035C2 (ru) * | 2017-09-27 | 2021-11-22 | Юбиквити Инк. | Системы для автоматического защищенного удаленного доступа к локальной сети |
US10608887B2 (en) | 2017-10-06 | 2020-03-31 | Nicira, Inc. | Using packet tracing tool to automatically execute packet capture operations |
US10477416B2 (en) | 2017-10-13 | 2019-11-12 | At&T Intellectual Property I, L.P. | Network traffic forecasting for non-ticketed events |
US10511459B2 (en) | 2017-11-14 | 2019-12-17 | Nicira, Inc. | Selection of managed forwarding element for bridge spanning multiple datacenters |
US10374827B2 (en) | 2017-11-14 | 2019-08-06 | Nicira, Inc. | Identifier that maps to different networks at different datacenters |
US10931560B2 (en) | 2018-11-23 | 2021-02-23 | Vmware, Inc. | Using route type to determine routing protocol behavior |
US10797998B2 (en) | 2018-12-05 | 2020-10-06 | Vmware, Inc. | Route server for distributed routers using hierarchical routing protocol |
US10938788B2 (en) | 2018-12-12 | 2021-03-02 | Vmware, Inc. | Static routes for policy-based VPN |
US11095480B2 (en) | 2019-08-30 | 2021-08-17 | Vmware, Inc. | Traffic optimization using distributed edge services |
US11283699B2 (en) | 2020-01-17 | 2022-03-22 | Vmware, Inc. | Practical overlay network latency measurement in datacenter |
US11050825B1 (en) * | 2020-01-30 | 2021-06-29 | EMC IP Holding Company LLC | Storage system port usage information sharing between host devices |
US11606294B2 (en) | 2020-07-16 | 2023-03-14 | Vmware, Inc. | Host computer configured to facilitate distributed SNAT service |
US11616755B2 (en) | 2020-07-16 | 2023-03-28 | Vmware, Inc. | Facilitating distributed SNAT service |
US11611613B2 (en) | 2020-07-24 | 2023-03-21 | Vmware, Inc. | Policy-based forwarding to a load balancer of a load balancing cluster |
US11902050B2 (en) | 2020-07-28 | 2024-02-13 | VMware LLC | Method for providing distributed gateway service at host computer |
US11451413B2 (en) | 2020-07-28 | 2022-09-20 | Vmware, Inc. | Method for advertising availability of distributed gateway service and machines at host computer |
US11558426B2 (en) | 2020-07-29 | 2023-01-17 | Vmware, Inc. | Connection tracking for container cluster |
US11570090B2 (en) | 2020-07-29 | 2023-01-31 | Vmware, Inc. | Flow tracing operation in container cluster |
US11196628B1 (en) | 2020-07-29 | 2021-12-07 | Vmware, Inc. | Monitoring container clusters |
US11736436B2 (en) | 2020-12-31 | 2023-08-22 | Vmware, Inc. | Identifying routes with indirect addressing in a datacenter |
US11336533B1 (en) | 2021-01-08 | 2022-05-17 | Vmware, Inc. | Network visualization of correlations between logical elements and associated physical elements |
US11687210B2 (en) | 2021-07-05 | 2023-06-27 | Vmware, Inc. | Criteria-based expansion of group nodes in a network topology visualization |
US11711278B2 (en) | 2021-07-24 | 2023-07-25 | Vmware, Inc. | Visualization of flow trace operation across multiple sites |
US11706109B2 (en) | 2021-09-17 | 2023-07-18 | Vmware, Inc. | Performance of traffic monitoring actions |
CN116048821B (zh) * | 2023-04-03 | 2023-06-16 | 深圳市昊源诺信科技有限公司 | 高利用率的ai服务器及其资源分配方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6662221B1 (en) * | 1999-04-12 | 2003-12-09 | Lucent Technologies Inc. | Integrated network and service management with automated flow through configuration and provisioning of virtual private networks |
US6779016B1 (en) * | 1999-08-23 | 2004-08-17 | Terraspring, Inc. | Extensible computing system |
US6597956B1 (en) * | 1999-08-23 | 2003-07-22 | Terraspring, Inc. | Method and apparatus for controlling an extensible computing system |
US7099912B2 (en) * | 2001-04-24 | 2006-08-29 | Hitachi, Ltd. | Integrated service management system |
US7085827B2 (en) * | 2001-09-20 | 2006-08-01 | Hitachi, Ltd. | Integrated service management system for remote customer support |
-
2001
- 2001-10-10 JP JP2001312115A patent/JP3879471B2/ja not_active Expired - Fee Related
-
2002
- 2002-02-25 US US10/080,715 patent/US7062559B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7062559B2 (en) | 2006-06-13 |
US20030069972A1 (en) | 2003-04-10 |
JP2003124976A (ja) | 2003-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3879471B2 (ja) | 計算機資源割当方法 | |
US9497139B2 (en) | Client-allocatable bandwidth pools | |
US9154589B1 (en) | Bandwidth-optimized cloud resource placement service | |
US9306870B1 (en) | Emulating circuit switching in cloud networking environments | |
US7174379B2 (en) | Managing server resources for hosted applications | |
US9992077B2 (en) | Optimizing allocation of on-demand resources using performance zones | |
US7277953B2 (en) | Integrated procedure for partitioning network data services among multiple subscribers | |
US11347295B2 (en) | Virtual machine power management | |
EP1323037B1 (en) | Method and apparatus for controlling an extensible computing system | |
US7370013B1 (en) | Approach for determining an amount to bill a customer for the use of resources | |
EP3203374B1 (en) | On-demand access to compute resources | |
KR100956636B1 (ko) | 가상 서버 환경에서의 서비스 수준 관리 시스템 및 그 방법 | |
US20020059274A1 (en) | Systems and methods for configuration of information management systems | |
US20020049608A1 (en) | Systems and methods for providing differentiated business services in information management environments | |
US20020065864A1 (en) | Systems and method for resource tracking in information management environments | |
US20020049841A1 (en) | Systems and methods for providing differentiated service in information management environments | |
WO2020005530A1 (en) | Network-accessible computing service for micro virtual machines | |
US20020095400A1 (en) | Systems and methods for managing differentiated service in information management environments | |
US20020194324A1 (en) | System for global and local data resource management for service guarantees | |
US20020174227A1 (en) | Systems and methods for prioritization in information management environments | |
US20030236745A1 (en) | Systems and methods for billing in information management environments | |
JP2002024192A (ja) | 計算機資源分割装置および資源分割方法 | |
JP2001043199A (ja) | 異種サーバにまたがるサービス指向資源管理 | |
US10846788B1 (en) | Resource group traffic rate service | |
US9760405B2 (en) | Defining enforcing and governing performance goals of a distributed caching infrastructure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041006 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061030 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |