JP5142819B2

JP5142819B2 - 仮想計算機システム

Info

Publication number: JP5142819B2
Application number: JP2008132627A
Authority: JP
Inventors: 卓嗣田村; 仁上野; 晴二小池
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-05-21
Filing date: 2008-05-21
Publication date: 2013-02-13
Anticipated expiration: 2028-05-21
Also published as: JP2009282651A

Description

本発明は、単一の計算機で複数のOSを稼動させることが可能で、かつOS間での不正アクセスによる誤動作の防止・エラー発生時の処理機能を持つ仮想計算機システムに関し、特にCPUとIOデバイスの間のIOバス上で、メモリアドレスのフォーマット変換方法と、エラーのチェック方法並びに、それらを用いた仮想計算機システムに関する。

論理分割 (Logical Partition) は、単一のサーバ上で複数のオペレーティングシステム (Operating System、以下OS) を同時に動作させる技術である。論理分割では、ハイパバイザと呼ばれる管理プログラムがサーバ管理者からの指示に従って、サーバの計算機資源 (メモリ領域、及びIOデバイスなどを含む) を複数の論理区画 (LPAR) に分割して、各LPAR上で１つずつのOSを動作させる。

論理分割では、LPAR上のOSや、LPAR上のOSに割り付けられたIOデバイスのメモリアクセスをアドレス変換し、該LPARに割り付けられたメモリ領域内のアドレス (絶対アドレス) にアクセスさせる必要がある。このアドレスは、LPAR上のOSがアドレス変換して得た物理アドレス (以下、実アドレス) とは一般に異なる。

また、あるOSの動作によって他のLPAR上のOSが停止、もしくは誤動作してはならない。そのためには、あるOSの動作によって他のLPAR上のOSが停止、もしくは誤動作してはならない。そのためには、あるOSが他のLPARの資源へアクセスできないこと (以下、アイソレーション) を保証する必要がある。

ところで、Intel社のIA-32アーキテクチャに代表されるPCサーバでは近年、IOバスとしてPCI-Expressバスが広く用いられるようになってきている。PCI-Expressは、PCIバスと同様、論理分割を意識した設計を為されていないため、IOデバイス発のアクセスによってアイソレーションが保たれない (以下、アイソレーション障害) 恐れがある。具体的にはOSやIOドライバに不良がある場合や、IOカードの故障時でハードウェアによってエラーを検出できなかった場合に、アイソレーションが保証できない。そのため、PCサーバで論理分割を実現するには、IOデバイス発のアクセスに対してアイソレーションを保証することが従来から課題となっていた。

上記の課題に対し、従来では特にPCIバスを念頭に置いて、特開2004-220218 (特許文献１) が提案されている。特許文献１では、チップセット内のI/O Ctrl Unit内にアドレス修飾機能を埋め込んだ例と、IOバス上にアクセス監視カードを装備し、その中でアドレス修飾機能を埋め込んだ例によって、実現するとしている。

特開2004-220218

しかし、特許文献１では、特にアクセス監視カードの方式をPCI-Expressバス上で採用した場合に、以下に示すような課題が解決されない。

第1の課題は、LPAR上のOSが小さいアドレスフォーマット (32bitアドレスフォーマット) で動作している場合、32bit未満の実アドレスに対応する絶対アドレスが32bitを超え、大きいアドレスフォーマット (64bitアドレスフォーマット) とする必要がある。PCI-Expressのパケットでは、32bitと64bitのアドレスフォーマットが許されるが、32bitアドレスは3ダブルワード長のパケットであり、64bitアドレスは4ダブルワード長のパケットとなっており、単純に絶対アドレスで置き換えることが出来ない。

第２の課題は、PCI-Expressのパケット内には、パケットを最初に生成した生成元と、最後に受領した最終受領先で、パケット内のデータにエラーが無いかを保証するためのECRC (End-to-End CRC) を埋め込むことが出来る。このECRCは、アドレス変換やアドレスフォーマット変換を実施すると、そのままではエラーとなってしまう。

第３の課題は、何らかの方式により第２の課題を解決してパケットの最終受領先でECRCを一致させた場合に、もしアドレス変換やアドレスフォーマット変換時に既にECRCがエラーであった場合に、本来検知する必要があるエラーが検知不能となってしまう。

第４に、データバス上に流れるパケットのCRCを計算する場合に、上記のフォーマット変換によるパケットサイズの変更や、転送時のデータのバイト長によって、64bitブロックがまとめて来る場合と、32bitブロックしかバス上に無い場合がある。どちらの場合もスループットを最大化するために１サイクルで処理する必要があるが、データブロックのサイズを判定してからCRC演算するのでは処理が間に合わず、２サイクル処理となってしまう。

本発明は、上記の課題を解決することを目的とする。

本発明は、LPAR上で発行されたIOトランザクションが32bitフォーマットであった場合で、かつ変換後の絶対アドレスが32bit空間を超えている場合に、IOトランザクションのパケットフォーマットを変換する。

次に、LPAR上で発行されたIOトランザクションにECRCが付与されていた場合に、ECRCを再計算して最終受領先で正常に受信できるようにする。

この時、ECRCが既にエラーになっていた場合には、同じエラーを再現するようなECRCパターンを生成してパケットに付与する。

前記のECRCについて、32bitと64bitのCRC演算器を搭載して同時に計算し、パケット生成時にバス上のデータ長を元に正しいCRC演算結果を選択することで、CRCの毎サイクル生成を可能とし、スループットを最大化する。

PCI-Expressを採用するサーバにおいて、IOバス上に本発明を適用したアクセス監視カードを実装することにより、下記の利点が得られる。

LPAR上で、32bitアドレッシングモードで動作するOSの動作を可能にする。

ECRCを付与して信頼性を高めたIOトランザクションを、LPAR上のOSで、スループットを最大に保ったまま使用する手段を提供する。

以下に図面を用いて、本発明の実施の形態例を示す。

図１に本発明が想定するサーバの概略を示す。本実施例では、複数のＣＰＵを接続可能な１１０ＣＰＵバスに、４つのＣＰＵ (１００〜１０３) が接続されている例を示す。本実施例では、ＣＰＵ数を４としているが、４以外でも構わない。

このＣＰＵバスを制御する１２０チップセットがあり、チップセットはＣＰＵバスのほかに、１３０ＩＯバス＃０及び１３１ＩＯバス＃１、１６０メモリインタフェースの制御を行っている。このＩＯバスは、現在一般に使われているPCI-Expressバスなどを想定している。

なお本実施例ではＩＯバスを１３０及び１３１のように２バス接続する構成例を示しているが、２本以外の構成でも構わない。

１２０チップセットは、ＣＰＵバスを制御する１２１ＣＰＵＢｕｓＣｔｒｌＵｎｉｔと、メモリインタフェースを制御する１２２ＭｅｍｏｒｙＣｔｒｌＵｎｉｔ、ＩＯバスを制御する１２３ＩＯＣｔｒｌＵｎｉｔから成る。

１３０ＩＯバス＃０と１７０〜１７２ＩＯバス＃００〜０２の間には１３８アクセス監視カード＃０が組み込まれ、１３１ＩＯバス＃１と１７３〜１７５ＩＯバス＃１０〜１２の間には１３９アクセス監視カードが組み込まれる。

本発明では、このＣＰＵとチップセット、１５０メモリと、ＩＯバス間のアクセス監視カード、ＩＯバスに接続されるＩＯデバイス (図面では示していない) をまとめて計算機と想定している。

このサーバで提供される仮想計算機システムは、ハイパバイザと呼ばれるソフトウェアによって実現される。

図２に仮想計算機システムで使用されるアドレスマップの相関図を示す。

図１のサーバにより提供されるアドレスマップを絶対アドレス空間と呼ぶ。図２の実アドレス空間はＯＳが使用するアドレスを示し、図２の仮想アドレス空間とはアプリケーションプログラムが使用するアドレスを示している。

図２は２つのＯＳが各ＬＰＡＲ上で動作している例を示しており、それぞれＯＳＡ、及びＯＳＢであるものとしている。ＯＳＡ及びＯＳＢの上で動作する、異なるアプリケーションプログラムが使用する仮想アドレスＶＡとＶＢが、それぞれ非論理分割時にはＲＡとＲＢで示されるアドレスに変換されるものとする。論理分割運用時でハイパバイザによるアドレス変換が無い場合、ＲＡとＲＢが同じ値であると、同じ絶対アドレスをＯＳＡとＯＳＢがそれぞれアクセスするため、正常に動作できない。ハイパバイザはこれを防ぐために、ＲＡ及びＲＢに対応する、ＰＡ及びＰＢ (≠ＰＡ) に対するアクセスを行わせている。

仮想計算機における、ＣＰＵ及びＩＯデバイスからのアクセスを以下に説明する。

ＣＰＵからのアクセスの場合、ＯＳＡがＶＡをＲＡに変換するＴＬＢエントリをＣＰＵに登録しようとするのをハイパバイザが検知し、ハイパバイザがＯＳに代わってＶＡをＰＡに変換するＴＬＢエントリの登録を行う。ハイパバイザは、各ＬＰＡＲへのメモリの割り付け状況とＲＡから、ＰＡを算出可能である。実際にアプリケーションプログラムがＶＡにアクセスする際には、ＶＡをＰＡに変換するＴＬＢエントリがハイパバイザによって登録されているため、該アクセスはＲＡではなくＰＡをアクセスすることになり、図２で示すＬＰＡＲごとのアドレス変換が実現されている。

一方、ＩＯデバイスからのアクセスの場合、ＣＰＵからのアクセスと異なりＴＬＢに相当するアドレス変換機能が無いため、ハイパバイザによるアドレス変換は出来ない。そこで本発明では、図１における１３８アクセス監視カード＃０を図３のように構成することによって、ＩＯからのトランザクションパケットに応じて該パケットを発生させたＬＰＡＲを識別して、ＬＰＡＲ毎に異なるアドレスにアクセスするようにアドレス変換を行う。以下このアドレス変換の仕組みを、図を用いて説明する。なお、１３９アクセス監視カード＃１についても全く同じ回路を使用するため、本実施例では１３８のみの説明を行う。

図３は１３８アクセス監視カードの構成例を示す。１３８アクセス監視カードは、１３０ＩＯバス＃０に接続されており、２００Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔによりＩＯバスの制御を行っている。本実施例のＩ／Ｏデバイス側では、Slot＃０からSlot＃２がある構成を示している。Ｉ／Ｏバスへのアクセス要求は、２０４ＢｕｓＡｒｂ (バス調停回路) によって調停され、制御される。

１７０〜１７２ＩＯバスのいずれかのスロットから、他のＩＯバスまたはＣＰＵ、メモリに対するトランザクションパケットが発行された場合、ＩＯバスを介して該パケットが１３８アクセス監視カード＃０に伝達される。アクセス監視カードでは、２０４ＢｕｓＡｒｂが、ＩＯバス１７０〜１７２に同時にトランザクションパケットの処理要求が来た時、どのバスの情報を受け付けるかを判定すると同時に、一連のパケット変換の間、選択したパケットが発行されたスロット番号を記憶して、どのパケットをどのＬＰＡＲと対応付けするかを判断する指標を、２１０発行元Ｓｌｏｔ番号として出力する。

処理選択したパケットがECRCを持つ場合、２０６ ECRCチェックによってECRCをチェックする。チェック完了時に、エラーの有無と、エラーだった場合にはそのCRCパターンが２０９ＥＣＲＣチェック結果として２０５プロトコル変換部に出力される。

それと同時に、ＩＯバスから入力されたパケット内のアドレスフィールドを切り出し、２０７アドレスに宛先アドレスとして載せる。同じく、パケットのデータフィールドを切り出し、２０８データに載せる。

この宛先アドレスを２０３のＡｄｒ修飾部で、そのアドレスの値と、２１０発行元Ｓｌｏｔ番号に基づいて、２０１Ａｄｒ変換情報に記憶されているＬＰＡＲ情報に基づいて修飾する。

この修飾の内容は、前述のＬＰＡＲごとに異なるアドレスにアクセスするよう、アドレス変換することを指している。続いて２０２ＡｄｒＤｅｃでアクセス先とアクセス可否の判定を行う。最後に、２０５プロトコル変換部で送出パケットのフォーマットを整える。この時、もし２０９ＥＣＲＣチェック結果がエラーであった場合は、同時に送られているエラーのＣＲＣデータとなるよう、プロトコル変換する。この結果を、２２０パケットバスを経由して２００Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔに送り、そこから１３０Ｉ／Ｏバス＃０にパケットを送出する。

図４にこのアドレス修飾部２０３の構成例を示す。図４に示す回路例では、２０１Ａｄｒ変換情報に格納されたアドレス変換に関する情報を使用する。この情報には次のものが含まれる。(1) インタリーブ及びアドレス領域情報、(2) スロット単位での所属LPAR情報、(3) 実アドレス範囲に応じたＬＰＡＲごとのアドレス加算値。図６にこれらの情報を格納するレジスタのフォーマットを示す。

（１）インターリーブおよびアドレス領域情報については、図２で説明したアドレスマップのうちの絶対アドレスで指定された範囲に対して、アドレス種別、インターリーブ有無・範囲指定、宛先バス・スロット番号の各情報が含まれる。アドレス種別は該アドレス範囲がメモリデバイス、もしくはＭｅｍｏｒｙＭａｐｐｅｄＩＯ（以下ＭＭＩＯ）によってＩＯデバイスに割り付けられているかの区別が格納される。該アドレス範囲がメモリデバイスに割り当てられている場合、特定のノードのメモリデバイスに割り付けられているか、もしくは複数のノードのメモリデバイス間でインターリーブされているかの情報が、インターリーブ有無・範囲指定のフィールドに格納される。該アドレス範囲がＩＯデバイスに割り付けられている（以下、ＭＭＩＯ）場合、アクセス対照となるＩＯデバイスのバス番号、およびスロット番号が、宛先バス・スロット番号のフィールドに格納される。
インターリーブ及びアドレス領域情報はサーバの初期化シーケンス中にＢＩＯＳ（ＢａｓｉｃＩＯＳｙｓｔｅｍ）、もしくはファームウェアによって設定され、特に論理分割をサポートしないサーバにおいても、これに類する情報を所持している。

（２）スロット単位での所属ＬＰＡＲ情報は、発行元ＰＣＩ−Ｅｘｐｒｅｓｓスロットごとにアクセス可能な（＝同一のＬＰＡＲに属している）スロットを識別するための情報である。本情報中の許可ビットが１にセットされているスロットに対してのみアクセスが許可される。本情報は各ＬＰＡＲの生成時にハイパバイザによって設定される。また本レジスタフォーマットのバリエーションとして、許可ビットが０になっているスロットに対してのみアクセスを許可する、としても構わない。
本情報は、発行元ＩＯスロットと発行先ＩＯスロットの組み合わせ1つに対して1ビットの容量で済むため、少ない記憶容量で制御を実装できる。

（３）実アドレス範囲に応じたＬＰＡＲごとの加算値は、ＬＰＡＲごとに固有の、実アドレスから絶対アドレスへのアドレス変換を行うための情報である。本情報は各ＬＰＡＲの生成時にハイパバイザによって設定される。

なお、図６で示した制御情報フォーマットでは、個々のＩＯバス＃００〜０２が、それぞれ最大２スロットまで制御できるが、制御情報を増やすことで、より多くのスロットを制御することも可能である。

図４に示す２０３Ａｄｒ修飾部は、３０４ａ、３０４ｂアドレス加算値と、アドレス領域情報、２０４ＢｕｓＡｒｂから入力される２１０発行元スロット番号、及びＩＯバストランザクション（207アドレス）を入力として受信する。本実施例では、アドレス加算値が２１０発行元スロット番号ごとに２つある例を示しているが、２つ以外でも構わない。

ＩＯバストランザクションは、３０１Ｔｘ復号回路により、リード・ライトなどのトランザクションの種別と、トランザクションが32bitアドレスだったか、64bitアドレスだったかを記録するＴｘ情報、及びアクセス先を示す３０７実アドレスに分離される。Ｔｘ情報については、Ａｄｒ修飾部では何も操作せずに、そのまま出力される。

３０４ａ，３０４ｂアドレス加算値は、２１０発行元スロット番号によって選択された後、３０５ａＢａｓｅ及びＳｉｚｅ部と、３０６ａ、３０６ｂＯｆｆｓｅｔ部に分離される。

３０７実アドレスは、３０３ａ、３０３ｂ加算器に入力され、３０６ａ、３０６ｂＯｆｆｓｅｔと加算される。

３１０６４bit変換では、３０７実アドレスが３２bitフォーマットである場合に、Ｏｆｆｓｅｔ加算時に６４bitとなる場合に備え、あらかじめ６４bit形式に拡張する。

３０２Ａｄｒ変換判定回路は、３０９ａ、３０９ｂの加算結果と、３０７実アドレスの内の１つを選択し、３１２絶対アドレスとして出力する。

図５は、２０２ＡｄｒＤｅｃの構成例を示す。２０２ＡｄｒＤｅｃは、図４の２０３Ａｄｒ修飾部から出力される３０８Ｔｘ情報、及び３１２絶対アドレス、３１１アドレス変換有無を受信し、さらに２０１Ａｄｒ変換情報からインタリーブ及びアドレス領域情報、Slot単位での所属ＬＰＡＲ情報と、２０４ＢｕｓＡｒｂからは２１０発行元Slot番号を受信して、図３の２００Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔに対し、トランザクション (以下ＩｎｂｏｕｎｄＴｘ) を発行する。

図７に２０５プロトコル変換部の構成例を示す。３０８Ｔｘ情報により、Ｉ／Ｏデバイスが発行したトランザクションパケットが３２ｂｉｔアドレスモードであったことが通知されると、６４ｂｉｔアドレス形式である２１１絶対アドレスの値が、３２ｂｉｔ未満の領域であった場合に限り、アドレス形式を３２ｂｉｔ形式のＴＬＰパケットに再変換して、２２０パケットバス上に送出する。

また、前記３２ｂｉｔ／６４ｂｉｔ判定後、確定したトランザクションパケットについて、３２ｂｉｔＣＲＣと６４ｂｉｔＣＲＣを同時に演算する。これは、データ長によっては６４ｂｉｔバス上に３２ｂｉｔしかデータが載っていない場合があるため、６４ｂｉｔ幅のデータでも３２ｂｉｔ幅のデータでもスループットを最大化するためには２種類のＣＲＣ演算器を準備し、常にＣＲＣ演算を行った上で、正しいデータ幅の計算結果を採用するという実装方式が必要な為である。

２０９ＥＣＲＣチェック結果からＥＣＲＣエラーが報告されていた場合、計算したＣＲＣの値５１０ＥＣＲＣパターンと、チェック結果のＣＲＣエラーパターンを使用し、アドレス変換後のデータでも同じエラーパターンが発生するＥＣＲＣを作成して、トランザクションパケットに付与する。

実施例２は実施例１におけるスロットが、１３８アクセス監視カード＃０の下に必ず１つしか無いことが保証される場合の例である。

この時、ＢｕｓＡｒｂは必要なくなり、Slot番号に関わる制御も不要となるため、図８に示すとおり、制御が大幅に簡素になる。

この方式は、例えばＩ／Ｏカードに、少ないゲート数で１８８アクセス監視カード＃０相当の機能を有する付加論理を実装することが出来るため、LPAR上のOSからの制御を前提としないPCI-Expressカードの部品をそのまま使って、LPAR環境で利用可能なＩ／Ｏカードを製造することが可能である。

以上の様に本発明は、仮想計算機システムにおいて、PCI-Expressにより接続されたＩ／Ｏデバイスについて、トランザクションパケットのアイソレーション障害を防止しながらアドレス変換とアドレスフォーマット変換を行い、論理分割機能を実現する。また、既存のPCI-Express Ｉ／Ｏカードの部品を使用して論理分割に対応したＩ／Ｏカードを製造する手段を提供する。

本発明が想定するサーバの構成例のブロック図。本発明が想定するアドレスマップ図。本発明におけるアクセス監視カードの構成例１のブロック図。本発明におけるＡｄｒ修飾部の構成ブロック図。本発明におけるＡｄｒＤｅｃの構成ブロック図。本発明におけるＡｄｒ変換情報のフォーマット図。本発明におけるプロトコル変換部のブロック図。本発明におけるアクセス監視カードの構成例２のブロック図

符号の説明

１００〜１０３ＣＰＵ＃０〜ＣＰＵ＃３
１１０ＣＰＵバス
１２０チップセット
１２１ＣＰＵＢｕｓＣｔｒｌＵｎｉｔ
１２２ＭｅｍｏｒｙＣｔｒｌＵｎｉｔ
１２３Ｉ／ＯＣｔｒｌＵｎｉｔ
１３０、１３１ＩＯバス＃０、ＩＯバス＃１
１３８、１３９アクセス監視カード＃０、アクセス監視カード＃１
１５０メモリ
１６０メモリインタフェース
１７０〜１７５ＩＯバス＃００〜ＩＯバス＃１２
１８８アクセス監視カード＃０
１９０計算機
２００Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔ
２０１Ａｄｒ変換情報
２０２ＡｄｒＤｅｃ
２０３Ａｄｒ修飾部
２０４ＢｕｓＡｒｂ
２０５プロトコル変換部
２０６ＥＣＲＣチェック
２０７アドレス
２０８データ
２０９ＥＣＲＣチェック結果
２１０発行元Slot番号
２１１絶対アドレス
２２０パケットバス
２５０Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔ
２５１Ａｄｒ変換情報
２５２ＡｄｒＤｅｃ
２５３Ａｄｒ修飾部
２５５プロトコル変換部
２５６ＥＣＲＣチェック
２５７アドレス
２５８データ
２５９ＥＣＲＣチェック結果
２７０パケットバス
３０１Ｔｘ復号回路
３０２Ａｄｒ変換判定回路
３０３ａ、３０３ｂ加算器
３０４ａ、３０４ｂアドレス加算値
３０５ａ、３０５ｂＢａｓｅ，Ｓｉｚｅ
３０６ａ、３０６ｂＯｆｆｓｅｔ
３０７実アドレス
３０８Ｔｘ情報
３０９ａ、３０９ｂ加算結果
３１０６４ｂｉｔ変換
３１１アドレス変換有無
３１２絶対アドレス
４０１アクセス先判定回路
４０２アクセス可否判定
４０３宛先Ｒｅｇ
４０４ＩＮＴ生成
４０５アイソレーション障害レジスタ
４１１アドレス種別
４１２宛先スロット番号
４１３ＩｎｂｏｕｎｄＴｘ
５００３２ｂｉｔ整形
５０１３２ｂｉｔＣＲＣ生成
５０２６４ｂｉｔＣＲＣ生成
５０３ＣＲＣレジスタ
５１０ＥＣＲＣパターン
５１１アドレス・データ

Claims

複数のCPUとメモリと複数のIOデバイスを、それぞれ制御部とCPUバス、メモリインタフェース、IOバスにより接続し、前記IOバス上のメモリとIOデバイスの間のアクセスを監視するアクセス監視装置を備えた物理計算機上にハイパバイザの制御下で複数のＬＰＡＲを生成する仮想計算機システムにおいて、
前記IOデバイスからメモリへのアクセス時に、該アクセスを発生させたデバイスが属するLPARで確保しているアドレス空間にアドレス変換する手段と、前記アドレス変換の結果、変換前のアドレスフォーマットではビット数が足りず、指定出来ない場合に、アドレス領域を拡張したフォーマットに変換する手段を有し、
前記アドレス変換時や、アドレスフォーマット変換時に、トランザクションパケットに埋め込まれたECRCを再計算し、トランザクションパケット内のECRCを置き換える手段を有することを特徴とする仮想計算機システム。
前記ECRC再計算時に、変換前のトランザクションパケットに埋め込まれていたECRCをチェックし、エラーがあった場合には同じエラーパターンを再計算したECRCに埋め込む手段を有することを特徴とする請求項１記載の仮想計算機システム。
前記ECRC再計算時に、IOバスに流れるビットパターンを32bit CRC演算器と64bit CRC演算器で同時に演算し、IOバス上に実際に存在していたデータやアドレスが、32bit幅であったか、64bit幅であったかを前記演算後に判定してCRC演算データを収めるレジスタにセットすることを特徴とする請求項１の仮想計算機システム。