JP2002082832A - キャッシュ更新方法及びキャッシュ更新制御システム並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 キャッシュミスによるデータ読み出しのリク
エストを主記憶に出しながらも後続命令の処理が継続で
きるというノンブロッキング方式のキャッシュの特徴を
十分に活用し得る新規なキャッシュ更新方法を提供す
る。 【解決手段】 プロセッサコアからのロードリクエスト
時にキャッシュミスが生じた場合、発行チェックブロッ
ク20はそのキャッシュミスによるデータ読み出しのリク
エストを発行制御回路50から主記憶に発行し、そのリク
エストの情報をリクエストバッファ回路30に登録する。
キャッシュブロック10ではその時点でアドレスアレイ12
は更新せず、更新予定のエントリに格納されているアド
レスに後続命令がヒットした場合にはキャッシュヒット
として処理する。アドレスアレイ12の更新は、前記リク
エストに対して主記憶から応答データを受信したことを
契機にデータアレイ11の更新と同時に実施される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はキャッシュ更新方法
に関し、特にノンブロッキング方式のキャッシュにおけ
るアドレスアレイの更新方法に関する。

【０００２】

【従来の技術】一般に現在の計算機システムは、プロセ
ッサコアと主記憶との間に高速、小容量のキャッシュを
配置し、主記憶に置かれたデータへのアクセスの高速化
を図っている。現在主流となっているセットアソシアテ
ィブ方式のキャッシュの概要を図１４に示す。図示した
キャッシュは、セットアソシアティブ方式の内でも最も
単純な１ＷＡＹ構成である。

【０００３】図１４において、データアレイ（ＤＡ）１
１は、主記憶データの一部の写しをブロック単位（図の
例では１２８バイト）で保持し、アドレスアレイ（Ａ
Ａ）１２はデータアレイ１１に格納されているデータブ
ロックのアドレスを格納する。双方とも図示の例では２
５６個のエントリから構成される。また、ヒット／ミス
の判定を行うための比較器１３がある。主記憶に対する
読み出し命令であるロード命令（ＬＤ）が指示する主記
憶アドレスは、キャッシュをアクセスする場合、便宜的
にその上位より順にタグアドレス、インデックスアドレ
ス、ブロックアドレスに分けられる。図示の例では、ブ
ロックアドレスは４ビット、インデックスアドレスは８
ビット、タグアドレスは主記憶アドレスの残りビットに
なる。

【０００４】ロード命令の実行に際しては、ロード命令
からインデックスアドレスを切り出してアドレスアレイ
１２のエントリを特定し、そのエントリに記憶されてい
るタグアドレスとロード命令のタグアドレスとが一致す
るか否かを比較器１３で比較する。また一般的にはアド
レスアレイ１２中の各エントリには、そのエントリに記
憶されているタグアドレスが有効か否かを示す有効性指
示ビットが設けられており、前記タグアドレスの比較と
同時にその有効性指示ビットが調べられる。

【０００５】有効性指示ビットが有効で且つ比較器１３
で双方のタグアドレスの一致が検出された状態をキャッ
シュヒット、または単にヒットと言い、それ以外をキャ
ッシュミス、または単にミスと言う。キャッシュヒット
した場合、ロード命令のインデックスアドレス＋ブロッ
クアドレスの部分で特定されるデータアレイＤＡ１１中
の該当エントリ内の８バイトが、キャッシュデータとし
て読み出され、リプライデータとしてプロセッサコアに
送られる。

【０００６】他方、キャッシュミスした場合は、ロード
命令が指示する主記憶アドレスに従って主記憶に対して
ミスリクエストを送出し、主記憶から当該アドレスに対
応する８バイトのデータを含む１２８バイトのブロック
を読み出し、その中の該当する８バイトをプロセッサコ
アに返却する。また、ミスしたアドレスアレイ１２の該
当エントリにロード命令のタグアドレスを登録すると共
に、データアレイ１１の該当エントリに主記憶から読み
出された１２８バイトのブロックを記憶する。

【０００７】ここで、従来においては、ミス時における
キャッシュの更新は、ミスリクエストを主記憶に対して
発行したことを契機にアドレスアレイ１２にインデック
スアドレスを登録し、発行したミスリクエストに対して
主記憶からブロックデータが送られてきた時点でデータ
アレイ１１を更新していた。このようなキャッシュの更
新方法を記載した文献としては、例えば特公平７−６９
８６２号公報（特にその第３頁左欄第３行目〜第３１行
目）がある。そして、このようなキャッシュの更新方法
は、近年開発されたノンブロッキング方式のキャッシュ
についてもそのまま踏襲されていた。

【０００８】

【発明が解決しようとする課題】ノンブロッキング方式
のキャッシュは、キャッシュミスによるデータ読み出し
のリクエストを主記憶に出しながらも後続命令の処理を
継続できるキャッシュである。つまり、従来のノンブロ
ッキング方式でないキャッシュでは、キャッシュミス時
にはそのデータが準備されるまでプロセッサコアは後続
命令の処理を停止しなければならなかったが、ノンブロ
ッキング方式のキャッシュでは複数のブロックデータの
読み出しを主記憶に要求できるため、その分だけ実行性
能が向上する。例えば図１４の１ＷＡＹセットアソシア
ティブのキャッシュを例に説明すると、或るインデック
スアドレスINDEX1を持つロード命令ＬＤａでキャッシュ
ミスになった場合、ミスリクエストが主記憶に送出され
た後、プロセッサコアの処理を停止させることなく次の
ロード命令ＬＤｂが処理される。従って、ロード命令Ｌ
ＤｂがINDEX1以外のインデックスアドレスを持ってい
て、それがキャッシュにヒットすれば、ヒットしたキャ
ッシュデータがロード命令ＬＤｂに対するリプライデー
タとしてプロセッサコアに返却されることになる。

【０００９】しかし、従来のノンブロッキング方式のキ
ャッシュでは、アドレスアレイの更新はミスリクエスト
の送出を契機に実施しているため、ノンブロッキング方
式の特徴が十分に活かされていないという課題があっ
た。例えば前述の例で説明すると、ロード命令ＬＤａの
ミス時にアドレスアレイ１２のINDEX1に対応するエント
リはミスリクエスト送出を契機にかなり早い時期に更新
されるため、その更新前のタグアドレスをTAG1として、
若し後続のロード命令ＬＤｂがインデックスアドレスIN
DEX1とタグアドレスTAG1を持つとしてもミスヒットとな
ってしまうからである。

【００１０】本発明はこのような事情に鑑みて提案され
たものであり、その目的は、キャッシュミスによるデー
タ読み出しのリクエストを主記憶に出しながらも後続命
令の処理が継続できるというノンブロッキング方式のキ
ャッシュの特徴を十分に活用し得る新規なキャッシュ更
新方法及びキャッシュメモリ装置を提供することにあ
る。

【００１１】

【課題を解決するための手段】本発明のキャッシュ更新
方法及びキャッシュ更新制御システム並びに記録媒体に
おいては、ノンブロッキング方式のキャッシュにおい
て、キャッシュミスによるデータ読み出しのリクエスト
に対して主記憶から応答データを受信したことを契機に
アドレスアレイ及びデータアレイを更新する。

【００１２】

【作用】本発明にあっては、プロセッサコアからのロー
ドリクエスト時にキャッシュミスが生じた場合、そのキ
ャッシュミスによるデータ読み出しのリクエスト（ミス
リクエスト）に対して主記憶から応答データを受信した
ことを契機にアドレスアレイを更新するため、アドレス
アレイの更新が従来に比べて遅延する。例えば、ミスリ
クエストを送出してから応答データが返ってくるまでの
主記憶アクセス時間をｎＴとすると、ミスリクエストの
送出を契機にアドレスアレイを更新していた従来技術に
比べると、約ｎＴ時間だけアドレスアレイの更新が遅れ
る。一般にｎＴは、マシンクロック周期の６０倍前後で
あるため、かなりの時間がかかる。従って、その遅延時
間の間に、更新予定のアドレスアレイのエントリに入っ
ているアドレスにヒットする後続命令がプロセッサコア
から発行されればキャッシュヒットすることになり、ノ
ンブロッキング方式のキャッシュの特徴を十分に活用す
ることが可能となる。

【００１３】

【発明の実施の形態】次に本発明の実施の形態の例につ
いて図面を参照して詳細に説明する。

【００１４】図１を参照すると、本発明を適用したノン
ブロッキング方式のキャッシュメモリ装置の一例は、キ
ャッシュブロック１０と、発行チェックブロック２０
と、リクエストバッファ回路３０と、アドレスチェック
回路４０と、発行制御回路５０と、リクエストレジスタ
６０とを主要部として備えている。

【００１５】キャッシュブロック１０は、主記憶データ
の一部の写しをブロック単位で格納するデータアレイ
（ＤＡ）１１と、データアレイ１１に格納されているデ
ータブロックのアドレスを格納するアドレスアレイ（Ａ
Ａ）１２と、図示は省略してあるが、ヒット／ミスの判
定を行う比較器などから構成される。キャッシュの構成
としては、１ＷＡＹ、２ＷＡＹ、４ＷＡＹセットアソシ
アティブ等いろいろあるが、本発明は全てのＷＡＹ構成
に対して適用可能である。以下の説明では、図１４で説
明した１ＷＡＹ構成を前提に行い、適宜に他のＷＡＹ構
成を採用する場合の変更点について説明する。

【００１６】リクエストレジスタ６０は、図示しないプ
ロセッサコアからのロードリクエストやストアリクエス
トといったアクセス要求を保持するレジスタである。リ
クエストバッファ回路３０は、主記憶に対して発行した
ミスリクエスト（ロードリクエスト）の情報（アドレス
等）をそのミスリクエストにより要求された主記憶デー
タがキャッシュに登録される迄保持する回路である。リ
クエストバッファ回路３０が保持できるミスリクエスト
情報の個数の最大値をＮとすると、ミスリクエストの同
時送出個数（発行してデータをまだキャッシュに登録し
ていないミスリクエストの個数）はＮ個となる。リクエ
ストバッファ回路３０が保持できるミスリクエスト情報
の最大数は本発明とは直接関係せず、１以上の任意の個
数とすることができる。

【００１７】アドレスチェック回路４０は、リクエスト
バッファ回路３０に保持されているミスリクエストのア
ドレス中のインデックスアドレスと後続のロードリクエ
ストのアドレス中のインデックスアドレスとを比較する
回路である。発行制御回路５０は、プロセッサよりプロ
セッサ外に命令を発行する場合に必要な既存の回路であ
り、キャッシュミスとなったリクエストなどの発行を制
御する。発行チェックブロック２０は、キャッシュへの
読み出しデータの保証及びリクエストの発行チェックな
どを行う部分である。

【００１８】次に、プロセッサコアからロードリクエス
トが発行された際のキャッシュ動作について、図１乃至
図７を参照して説明する。なお、図２はロードリクエス
ト時のキャッシュ動作の概略を示すフローチャート、図
３乃至図７は各場面毎の動作説明図である。

【００１９】プロセッサコアからのロードリクエスト
は、結線１００を介してリクエストレジスタ６０に格納
される。ロードリクエストには、リクエスト種別と主記
憶アドレスと当該リクエストを一意に識別する識別子
（以下、リクエストＩＤと称す）とが含まれる。主記憶
アドレスは図１４で説明したようにタグアドレス、イン
デックスアドレス、ブロックアドレスから構成される。
リクエストレジスタ６０に格納されたロードリクエスト
の内容は結線１０１を通じてキャッシュブロック１０、
発行チェックブロック２０及びアドレスチェック回路４
０に伝達される。

【００２０】キャッシュブロック１０では、ロードリク
エストのアドレス中のインデックスアドレスによりアド
レスアレイ１２の該当エントリがアクセスされ（図２の
Ｓ１）、そのエントリに記憶されているタグアドレスと
ロードリクエストのアドレス中のタグアドレスとの比較
および有効性指示ビットの検査により、キャッシュヒッ
トか否かの判定が行われる（Ｓ２）。この判定結果は、
結線１０２を通じて発行チェックブロック２０にも伝達
される。

【００２１】キャッシュミスの場合（Ｓ２でＮＯ）、発
行チェックブロック２０は、リクエストバッファ回路３
０にミスリクエストの情報が保持されているか否かを判
断し（Ｓ３）、ミスリクエストの情報が１つも保持され
ていない場合は（Ｓ３でＮＯ）、結線１１３を通じて、
空いているリクエストバッファ回路３０にミスリクエス
トの情報（今回のロードリクエストのアドレス（タグア
ドレス、インデックスアドレス、ブロックアドレス）、
リクエストＩＤ等）を登録すると同時に、結線１０３を
通じて発行制御回路５０に対してリクエストを伝達する
ことで、発行制御回路５０より結線１０４を通じて主記
憶に対し、リクエストレジスタ６０に保持されているロ
ードリクエストで指定される主記憶アドレスを指定した
ブロックデータのロードリクエスト、つまりミスリクエ
ストを送出する（Ｓ７、Ｓ８）。本発明においては、ミ
スリクエスト送出時点においてキャッシュブロック１０
のアドレスアレイ１２は更新しない。

【００２２】図３はこの場面の動作説明図であり、ロー
ドリクエストのアドレスを基にキャッシュブロック１０
内のアドレスアレイ１２をアクセスしてヒット／ミスの
判定を行ったところ（(1))、ミスであった為にミス信号
が発行チェックブロック２０に出され（(2))、発行チェ
ックブロック２０がミスリクエスト発行要求を発行制御
回路５０に発行し（(3))、同時に、発行したミスリクエ
ストの情報をリクエストバッファ回路３０に登録してい
る（(4))。また、発行制御回路５０により主記憶に対し
ミスリクエストが送出されている（(5))。

【００２３】他方、リクエストバッファ回路３０にミス
リクエストの情報が保持されている場合は（Ｓ３でＹＥ
Ｓ）、アドレスチェック回路４０において、リクエスト
バッファ回路３０に保持されているミスリクエストの情
報中のインデックスアドレスとリクエストレジスタ６０
中のインデックスアドレスとが一致するか否かを調べる
（Ｓ４）。そして、先行ミスリクエストとインデックス
アドレスが不一致の場合は（Ｓ４でＮＯ）、リクエスト
バッファ回路３０に空きがあれば（Ｓ５でＮＯ）、ステ
ップＳ７へと進む。つまり、リクエストバッファ回路３
０にミスリクエストの情報を登録すると同時に発行制御
回路５０より主記憶に対しミスリクエストを送出する
（Ｓ７、Ｓ８）。

【００２４】しかし、先行ミスリクエストとインデック
スアドレスが一致していたときは（Ｓ４でＹＥＳ）、プ
ロセッサコアに対して結線１０６を通じて発行リトライ
要求を出すことにより（Ｓ６）、今回のロードリクエス
トを先行ロードリクエスト（ミスリクエスト）のデータ
がキャッシュ登録されてから再発行するように指示す
る。図４はこの場面の動作説明図であり、ロードリクエ
ストのアドレスを基にキャッシュブロック１０内のアド
レスアレイ１２をアクセスしてヒット／ミスの判定を行
ったところ（(1))、ミスであった為にミス信号が発行チ
ェックブロック２０に出され（(2))、また、アドレスチ
ェック回路４０からは先行ミスリクエストと後続ロード
リクエストのインデックスアドレスが一致していること
が結線１０５を通じて発行チェックブロック２０に出さ
れている（(3))。このため、発行チェックブロック２０
は、プロセッサコアに対して発行リトライ要求を送出し
ている（(4))。

【００２５】ここで、後続のロードリクエストがミスヒ
ットで且つ先行ロードリクエストと同一インデックスア
ドレスの場合に発行リトライ要求を出す理由は、本実施
例は１ＷＡＹセットアソシアティブ構成のキャッシュな
ので、以下の点を考慮したことによる。 （ａ）先行のロードリクエストと後続のロードリクエス
トが、同じインデックスアドレスでミスしたということ
は、キャッシュ上の同じエントリに書き込むことにな
り、若し、後続リクエストに対しても主記憶にミスリク
エストを出す構成にすれば、先行リクエストと後続リク
エストのデータの戻ってくるタイミングが同じであれ
ば、そのエントリに同時に異なるアドレスのデータが返
ってくるため、それを整理するには回路が非常に複雑に
なること。 （ｂ）同じインデックスアドレスの場合、タグアドレス
が同じであれば、同じキャッシュライン（ブロック）と
なる。この場合、先行のリクエストにより主記憶からデ
ータを取ってくれば、後続のリクエストは、そのデータ
がキャッシュに登録されるまで待っていれば、キャッシ
ュからデータを取り出すことができ、わざわざ主記憶に
リクエストを出す必要が無く、効率的であること。

【００２６】但し、２ＷＡＹセットアソシアティブ構成
以上のキャッシュの場合は、後続ロードリクエストがミ
スで且つ先行ロードリクエストとインデックスアドレス
とタグアドレスが同一である場合のみ発行リトライ要求
をプロセッサコアに出し、インデックスアドレスのみ一
致した場合は、そのまま後続ロードリクエストを空きの
リクエストバッファ回路３０に登録して主記憶に対して
ミスリクエストを送出する。インデックスアドレス及び
タグアドレスが同一の場合に発行リトライ要求を出す理
由は、１ＷＡＹ構成において発行リトライを出す理由
（ｂ）と同じである。また、インデックスアドレスのみ
一致した場合、つまり、タグアドレスが相違した場合に
ミスリクエストを送出するのは、ｎＷＡＹ（ｎ＞２）構
成の場合、１つのインデックスアドレスに対してｎ個の
エントリがあるので、先行リクエストと同じインデック
スアドレスであったとしても、後続のリクエストは先行
と異なるエントリに登録すれば良いためである。但し、
同じインデックスアドレスに対してｎ＋１以上のミスリ
クエストを送出すると、同一エントリに２つ以上の異な
ったアドレスのデータが登録されるような状態になって
制御が非常に面倒になるので、その場合には発行リトラ
イを出すようにする。

【００２７】さて、主記憶に対して送出したミスリクエ
ストに応答して、主記憶からデータが戻ってくると、キ
ャッシュ更新の処理が開始される（Ｓ１０）。図５はこ
の場面の動作説明図である。

【００２８】先ず、主記憶から結線１０７を通じてキャ
ッシュ上の書き込みアドレス指示等を行うメモリデータ
制御信号が送られてくると、それがキャッシュブロック
１０、発行チェックブロック２０及びリクエストバッフ
ァ回路３０に伝達される（(1))。発行チェックブロック
２０は、メモリデータ制御信号を受けることにより、プ
ロセッサコアに対してキャッシュの使用を禁止するため
に結線１０６を通じて後続命令発行抑止指示を送出する
（Ｓ１１）((2)) 。また、リクエストバッファ回路３０
は、メモリデータ制御信号を受けることにより、当該メ
モリデータ制御信号のアドレス中のタグアドレス及びイ
ンデックスアドレスと同じタグアドレス及びインデック
スアドレスを持つミスリクエスト情報を結線１０９を通
じてキャッシュブロック１０へ送出する((3)) 。キャッ
シュブロック１０は、メモリデータ制御信号を受けるこ
とにより、データの書き込みが開始されたことを認識
し、発行チェックブロック２０から後続命令発行抑止指
示が出された後のタイミングで、リクエストバッファ回
路３０から結線１０９に出力されたミスリクエスト情報
中のタグアドレスを、同じくリクエストバッファ回路３
０から結線１０９に出力されたインデックスアドレスで
示されるアドレスアレイ１２のエントリに書き込むこと
により、アドレスアレイ１２を更新する（Ｓ１２）
((4)) 。このように本発明においては、ミスリクエスト
に対する応答データの受信を契機にアドレスアレイ１２
を更新する。

【００２９】一方、メモリデータ制御信号の後に（また
は同じタイミングで）入力された主記憶データは、結線
１０８を通じてキャッシュブロック１０に入力される
((5))。キャッシュブロック１０は、この入力された主
記憶データを、結線１０９に出力されているミスリクエ
スト情報中のインデックスアドレスで示されるデータア
レイ１１のエントリに書き込むことにより、データアレ
イ１１を更新する（Ｓ１３）((6)) 。同時に、キャッシ
ュブロック１０は、データアレイ１１へ書き込む主記憶
データのブロック内のアドレスを常時チェックし、結線
１０９を通じてリクエストバッファ回路３０から伝達さ
れたミスリクエスト情報中のブロックアドレスと同じア
ドレスのデータが入ってきた時点で、そのデータ（８バ
イト）を抜き出し、結線１１０を通じてリプライデータ
としてプロセッサコアへ返却する（Ｓ１４）((7)) 。リ
プライデータにはミスリクエスト情報中のリクエストＩ
Ｄを付随させ、どのロードリクエストに対するリプライ
データであるかがプロセッサコアで判別できるようにす
る。そして、このようなキャッシュ更新が終了すると、
発行チェックブロック２０は、プロセッサコアに対して
結線１０６を通じて出していた後続命令発行抑止指示信
号を解除する（Ｓ１５）((8)) 。最後に発行チェックブ
ロック２０は、今回処理したミスリクエストの情報をリ
クエストバッファ回路３０から消去し（Ｓ１６）((9))
、当該ミスリクエストにかかる動作を終了する。

【００３０】次に、プロセッサコアから発行されたロー
ドリクエストがキャッシュヒットした場合の動作を説明
する。図６の動作説明図に示されるように、ヒット／ミ
スの判定を行い((1)) 、キャッシュヒットした場合（Ｓ
２でＹＥＳ）、ヒットしたキャッシュデータがデータア
レイ１１から読み出され（Ｓ２０）、結線１１０を通じ
てリトライデータとしてプロセッサコアへ返却される
（Ｓ２１）((2)) 。

【００３１】更にこのとき、先行ミスリクエストが存在
し、そのミスリクエストに対してインデックスアドレス
一致が発生した場合、図７の動作説明図に示されるよう
に、キャッシュブロック１０から発行チェックブロック
２０へヒット信号が送出される((3))。このため、発行
チェックブロック２０は、たとえ、今回のロードリクエ
ストのインデックスアドレスとリクエストバッファ回路
３０に登録されている先行ミスリクエストのインデック
スアドレスとが一致していることがアドレスチェック回
路４０で検出されていたとしても((4)) 、プロセッサコ
アへ発行リトライ要求を出さない。これにより有効デー
タであることが保証される((5)) 。つまり、発行リトラ
イ要求が出ないことから、プロセッサコアは結線１１０
を通じて返却されたデータが有効であることを認識し
て、そのデータを使用する。

【００３２】以上説明したように本実施例のキャッシュ
メモリ装置によれば、アドレスアレイの更新をミスリク
エストの発行を契機に開始するのではなく、そのミスリ
クエストに対して主記憶から応答データを受信したこと
を契機に開始することにより、アドレスアレイの更新時
期をわざと遅らせている。これによって、更新する予定
のエントリに入っている古いキャッシュデータが極力長
く利用できるようになり、キャッシュの効率的な使用が
可能となる。一例として、図８に従来技術と本実施例と
の処理速度の違いを示す。この例では、同じインデック
スアドレスで異なるキャッシュラインのリクエストが交
互に来た場合の動作を示している。即ち、ロードリクエ
ストＬＤ０、ＬＤ２、ＬＤ４は同じタグアドレス及びイ
ンデックスアドレスの同じブロック内（キャッシュライ
ンＡ）をアクセスし、ロードリクエストＬＤ１、ＬＤ
３、ＬＤ５は同じタグアドレス及びインデックスアドレ
スの同じブロック内（キャッシュラインＢ）をアクセス
し、キャッシュラインＡとキャッシュラインＢは同一イ
ンデックスであるが、異なるキャッシュラインである。
つまり、ロードリクエストＬＤ０、ＬＤ２、ＬＤ３とロ
ードリクエストＬＤ１、ＬＤ３、ＬＤ５は同じインデッ
クスアドレスであるが、異なるタグアドレスを持つ。ま
た、最初にキャッシュラインＡに対応するキャッシュデ
ータは登録されているものとしている。

【００３３】図８から明らかなように、（ｂ）の従来技
術では、ロードリクエストＬＤ０がヒットした後、後続
の同一インデックスアドレスのロードリクエストＬＤ１
は異なるキャッシュラインであるため、ミスとなり、ミ
スリクエストとして発行される。次のロードリクエスト
ＬＤ２はロードリクエストＬＤ０と同じキャッシュライ
ンであるが、既にロードリクエストＬＤ１によりアドレ
スアレイが更新されているため、発行リトライ待ちとな
る（１ＷＡＹ構成であるため、同一インデックスアドレ
スのリクエストは発行できない）。この後ロードリクエ
ストＬＤ１のデータがキャッシュに登録されて、リトラ
イ要求が解除され、ロードリクエストＬＤ２が発行され
てもロードリクエストＬＤ１がすでに登録されているた
めミスリクエストとなり、さらに主記憶へのデータ要求
及び取り込みのための時間がかかってしまう。このよう
に同一インデックスアドレスが続くと、ミス及びリトラ
イが多くなり、非常にキャッシュの使用効率が落ちる。

【００３４】一方、（ａ）の本実施例のキャッシュメモ
リ装置では、ロードリクエストＬＤ１は従来技術と同様
にミスとなるが、ロードリクエストＬＤ２に関しては、
まだロードリクエストＬＤ０と同じキャッシュデータを
使用できるため、ヒットとなる。次のロードリクエスト
ＬＤ３は、ロードリクエストＬＤ１が既に発行されてい
るため発行リトライ待ちとなる。次のロードリクエスト
ＬＤ４はロードリクエストＬＤ２と同じで更新前のキャ
ッシュデータにヒットしてデータを取り込み、ロードリ
クエストＬＤ５はロードリクエストＬＤ３と同じで発行
リトライ待ちとなり、ロードリクエストＬＤ２のデータ
が登録された時点でキャッシュにアクセス可能となって
ヒットでデータを取り込む。この結果、本実施例の場
合、同一インデックスアドレスで、異なるキャッシュラ
インのリクエストが交互に続く場合、かなりの性能向上
が図れる。

【００３５】次に本実施例におけるストアリクエストに
対するキャッシュ動作について説明する。本実施例のキ
ャッシュメモリ装置は、キャッシュに対する全ての書き
込み操作は、その都度、主記憶上の対応するアドレスに
対しても行うライトスルー（write-through) 方式を採
用する。その処理の概略を図９に示す。

【００３６】プロセッサコアからのストアリクエストが
リクエストレジスタ６０に保持されると、その内容（ス
トアアドレス等）が結線１０１を通じてキャッシュブロ
ック１０及び発行チェックブロック２０に伝達され、ス
トアリクエストのアドレス中のインデックスアドレスに
よりアドレスアレイ１２の該当エントリがアクセスされ
（Ｓ２１）、そのエントリに記憶されているタグアドレ
スとストアリクエストのアドレス中のタグアドレスとの
比較および有効性指示ビットの検査により、キャッシュ
ヒットか否かの判定が行われる（Ｓ２２）。この判定の
結果、ヒットした場合には、結線１１１を通じてプロセ
ッサコアから入力されるストアデータによって、ヒット
したデータアレイ１１のエントリにおけるストアアドレ
スで示されるバイト位置が更新される（Ｓ２３）。ま
た、ヒット、ミスに関係なく、キャッシュブロック１０
はプロセッサコアからのストアデータを結線１１２を通
じて主記憶に送出し、発行チェックブロック２０は、発
行制御回路５０より主記憶へストアリクエストを送出す
る（Ｓ２４）。

【００３７】本実施例のキャッシュメモリ装置では前述
したように、アドレスアレイの更新を従来より遅延さ
せ、ミスリクエストによって更新する予定のエントリに
入っているキャッシュデータをできるだけ長く利用可能
としている。このため、ロードリクエストの場合と同様
にストアリクエストの場合のヒット率も向上する。つま
り、ミスリクエストによって更新する予定のエントリに
入っているキャッシュデータに対するストアリクエスト
はヒットし、キャッシュ上で更新される。このため、そ
の直後に当該エントリに入っているキャッシュデータに
対するロードリクエストが発行された場合にヒットし、
更なるヒット率の向上が可能となる。

【００３８】次に、本実施例のキャッシュメモリ装置に
おける主要な部分の具体例を説明する。

【００３９】図１０はキャッシュブロック１０の構成例
を示すブロック図である。制御部１５はキャッシュブロ
ック１０の主たる制御を司る部分で、通常はセレクタ１
６をリクエストレジスタ６０につながる結線１０１側に
切り替え、セレクタ１８をストアデータを伝達する結線
１１１側に切り替え、セレクタ１Ａをセレクタ１６から
出力されるアドレス中のブロックアドレスを選択する側
に切り替えている。結線１０１を通じてリクエストレジ
スタ６０の内容が伝達されると、制御部１５はリクエス
ト種別を判別し、ロードリクエスト、ストアリクエスト
の種別に応じて制御を切りわける。

【００４０】ロードリクエストの場合、ロードリクエス
トで指示された主記憶アドレス中のインデックスアドレ
スによりアドレスアレイ１２の該当エントリがアクセス
され、ヒット判定回路１４により、そのエントリに記憶
されているタグアドレスとロードリクエスト中のタグア
ドレスとの比較および有効性指示ビットの検査が行わ
れ、ヒットであればヒット信号が、ミスであればミス信
号がヒット判定回路１４から出力される。ヒット／ミス
信号は結線１０２を通じて発行チェックブロック２０に
伝達されると同時に、キャッシュブロック１０内の制御
部１５及びデータアレイ１１へも伝えられる。キャッシ
ュヒットした場合、ヒット判定回路１４からデータアレ
イ１１へ加わるヒット信号は読み出しイネーブル信号と
なり、ロードリクエストのインデックスアドレスで特定
されるデータアレイ１１のエントリ中の、ロードリクエ
ストのブロックアドレスで特定される８バイトのデータ
がデータアレイ１１から読み出され、マルチプレクサ１
９を通じて結線１１０により、ストアリクエスト中のリ
クエストＩＤを付随させてプロセッサコアに送られる。
他方、キャッシュミスした場合は、読み出しイネーブル
信号が有効とならないので、キャッシュデータの読み出
しは行われない。

【００４１】他方、ストアリクエストの場合、ロードリ
クエストの場合と同様にヒット判定回路１４でヒット、
ミスの判定が行われ、ヒットしていれば、制御部１５が
書き込みイネーブル信号をデータアレイ１１へ出力す
る。これにより、結線１１１及びセレクタ１８を通じて
プロセッサコアから送られてくるストアデータが、スト
アリクエストのインデックスアドレス及びブロックアド
レスで特定されるデータアレイ１１のエントリの該当バ
イト位置に書き込まれる。他方、キャッシュミスした場
合は、書き込みイネーブル信号が有効とならないので、
データアレイ１１への書き込みは行われない。キャッシ
ュヒット、ミスにかかわらず、結線１１１上のストアデ
ータは結線１１２を通じて主記憶へ送られる。

【００４２】結線１０７を通じてミスリクエストにかか
る応答データとして主記憶からメモリデータ制御信号を
受信すると、制御部１５は、当該ミスリクエストにかか
る処理が完了するまで、セレクタ１６をリクエストバッ
ファ回路３０につながる結線１０９側に切り替え、セレ
クタ１８を主記憶からのメモリデータを伝達する結線１
０８側に切り替え、セレクタ１Ａを自身が出力するブロ
ックアドレスを選択する側に切り替える。また、リプラ
イデータ抽出部１７を起動する。そして、アドレスアレ
イ１２に対して書き込みイネーブル信号を送出すること
により、セレクタ１６で選択されたタグアドレス（リク
エストバッファ回路３０から結線１０９を通じて送られ
てくるミスリクエストにかかるアドレスのタグアドレ
ス）を、同インデックスで特定されるエントリに書き込
むことで、アドレスアレイ１２を更新する。有効性指示
ビットは既に有効であればそのままとし、無効であれば
有効にするが、具体的には有効無効の判断を省略し、ア
ドレスアレイ１２にインデックスアドレスを書き込むと
きに常に有効化する操作を行う。

【００４３】また制御部１５は、結線１０７に現れるブ
ロックアドレスを順次にセレクタ１Ａを介してデータア
レイ１１へ加えると共に、データアレイ１１の書き込み
イネーブル信号を有効にすることによって、結線１０８
及びセレクタ１８を通じて主記憶から送られてくるブロ
ックデータを、リクエストバッファ回路３０から結線１
０９及びセレクタ１６を通じて送られてくるインデック
スアドレスと、自身が順に出力しているブロックアドレ
スとで特定されるデータアレイ１１のエントリのバイト
位置に書き込むことで、データアレイ１１を更新する。
更に、リプライデータ抽出部１７は、結線１０７上に現
れるブロックアドレスを監視し、結線１０１を通じてリ
クエストバッファ回路３０から送られているミスリクエ
ストにかかるアドレスのブロックアドレスと同じアドレ
スが結線１０７に現れた時点で、結線１０８上のターゲ
ットデータ（キャッシュミスしていたデータ）を抽出
し、リクエストＩＤを付随させてマルチプレクサ１９及
び結線１１０を通じてプロセッサコアに送出する。

【００４４】なお、２ＷＡＹセットアソシアティブ構成
以上のキャッシュでは、１つのインデックスアドレスに
対するエントリが２以上あるので、更新するエントリは
ＬＲＵ方式やＦＩＦＯ方式などで決定される。この更新
するエントリの決定は、ミスリクエストにかかる応答デ
ータを受信したことを契機に行っても良く、更新エント
リの決定処理だけはミスリクエストの発行を契機に行っ
ておき、応答データの受信を契機に実施するアドレスア
レイの更新時期まで一時的に保存しておくようにしても
良い。

【００４５】図１１はリクエストバッファ回路３０及び
アドレスチェック回路４０の構成例を示すブロック図で
あり、ミスリクエストの同時送出個数の最大値が３の場
合の例を示す。リクエストバッファ回路３０中に設けら
れた３個のバッファ３１−１〜３１−３は、結線１１３
を通じて発行チェックブロック２０から送られてくるそ
れぞれ１個分のミスリクエストの情報を保持する。各バ
ッファ３１−１〜３１−３に保持された内容は選択回路
３２へ出力され、インデックスアドレス部分は更にアド
レスチェック回路４０へも出力される。選択回路３２
は、結線１０７を通じて与えられるメモリデータ制御信
号中のタグアドレス及びインデックスアドレスを入力
し、同じタグアドレス及びインデックスアドレスを保持
するバッファ３１−１〜３１−３の出力を選択して、結
線１０９を通じてキャッシュブロック１０へ出力する。

【００４６】アドレスチェック回路４０は、リクエスト
バッファ回路３０の各バッファ３１−１〜３１−３に１
対１に対応する比較器４１−１〜４１−３から構成され
る。各比較器４１−１〜４１−１は、対応するバッファ
３１−１〜３１−３から出力されているインデックスア
ドレスと結線１０１を通じて入力されるリクエストレジ
スタ６０中のインデックスアドレスとを比較し、一致し
ていれば一致信号を結線１０５を通じて発行チェックブ
ロック２０へ出力する。

【００４７】図１２に発行チェックブロック２０の構成
例を示す。この例の発行チェックブロック２０は、制御
部２１とバッファ管理部２２と発行抑止制御部２３とを
含んでいる。バッファ管理部２２は、結線１１３を通じ
てリクエストバッファ回路３０と接続されており、リク
エストバッファ回路３０内の個々のバッファ（図１１の
バッファ３１−１〜３１−３）の使用状態を管理し、ま
た各バッファへのミスリクエスト情報の登録処理や削除
処理を行う。発行抑止制御部２３は、結線１０１を通じ
て入力されるリクエストレジスタ６０の内容を結線１０
３を介して発行制御回路５０へ伝達する部分で、伝達す
るか否かは制御部２１からの指示に従う。制御部２１
は、結線１０１を通じてリクエストレジスタ６０の内容
を、結線１０２を通じてキャッシュブロック１０のヒッ
ト／ミス信号を、結線１０５を通じてアドレスチェック
回路４０からのチェック信号を、結線１０７を通じて主
記憶からのメモリデータ制御信号をそれぞれ入力し、バ
ッファ管理部２２及び発行抑止制御部２３を制御すると
共に、結線１０６を通じてプロセッサコアに対して発行
リクエスト要求や後続命令発行抑止要求などを送出す
る。

【００４８】図１３は制御部２１の処理例を示すフロー
チャートである。制御部２１は、結線１０１上にリクエ
ストが発生したか否か、結線１０７上にメモリデータ制
御信号が発生したか否かを監視する（Ｓ３１、Ｓ３
２）。

【００４９】結線１０１上にリクエストが発生した場合
（Ｓ３１でＹＥＳ）、その種別を判別し（Ｓ３３）、ロ
ードリクエストであれば、キャッシュブロック１０から
結線１０２を通じて送られてくるヒット／ミス信号を監
視し（Ｓ３４）、ヒットであれば（Ｓ３４でＮＯ）、ス
テップＳ３１へ制御を戻す。

【００５０】キャッシュミスであれば（Ｓ３４でＹＥ
Ｓ）、バッファ管理部２２で管理されているリクエスト
バッファ回路３０の各バッファの使用状況を参照して全
て空きか否か（つまり先行ミスリクエストが１つも無い
か否か）を判別し（Ｓ３５）、全て空きでなければ（Ｓ
３５でＮＯ）、結線１０５を通じてアドレスチェック回
路４０からインデックスアドレスの一致信号が送られて
いるか否かを調べる（Ｓ３６）。そして、一致信号が出
ているか（Ｓ３６でＹＥＳ）、出ていなくても空きバッ
ファがリクエストバッファ回路３０に存在しない場合に
は（Ｓ３７でＹＥＳ）、発行抑止制御部２３に対してリ
クエストの発行の抑止を指示し（Ｓ３８）、結線１０６
を通じてプロセッサコアに発行リトライ要求を出力し
（Ｓ３９）、ステップＳ３１へ制御を戻す。発行抑止制
御部２３は、リクエストの発行の抑止が指示されたた
め、結線１０１上のロードリクエストの内容を発行制御
回路５０へは伝達しない。

【００５１】リクエストバッファ回路３０の全バッファ
が空きか（Ｓ３５でＹＥＳ）、そうでなくてもインデッ
クスアドレスの一致が検出されず且つ空きバッファが有
る場合には（Ｓ３７でＮＯ）、今回のロードリクエスト
の内容をバッファ管理部２２に渡してミスリクエスト情
報の登録を要求し（Ｓ４０）、発行抑止制御部２３に対
してはリクエストの発行を指示する（Ｓ４１）。そし
て、ステップＳ３１へ制御を戻す。バッファ管理部２２
は、リクエストバッファ回路３０の空きのバッファを１
つ選択し、そのバッファにミスリクエスト情報を書き込
み、そのバッファを使用中として管理する。また、発行
抑止制御部２３は、結線１０３を通じて発行制御回路５
０へロードリクエストの内容を伝える。これにより、発
行制御回路５０から主記憶に対してミスリクエストが発
行される。

【００５２】発生したリクエストがストアリクエストの
場合（Ｓ３３）、発行抑止制御部２３に対してリクエス
トの発行を指示し（Ｓ４１）、制御をステップＳ３１へ
戻す。発行抑止制御部２３は、結線１０３を通じて発行
制御回路５０へストアリクエストの内容を伝える。これ
により、発行制御回路５０から主記憶に対してストアリ
クエストが発行される。

【００５３】他方、結線１０７上にメモリデータ制御信
号が発生した場合（Ｓ３２でＹＥＳ）、結線１０６を通
じてプロセッサコアに対して後続命令発行抑止要求を出
力し（Ｓ４２）、キャッシュブロック１０におけるデー
タアレイ１１の更新が終了したタイミングで、結線１０
６に出していた後続命令発行抑止要求を解除する（Ｓ４
３）。次に、メモリデータ制御信号のアドレス中のタグ
アドレス及びインデックスアドレスをバッファ管理部２
２に通知して該当するバッファ中のミスリクエスト情報
の削除を要求する（Ｓ４４）。そして、ステップＳ３１
へ制御を戻す。バッファ管理部２２は、通知されたタグ
アドレス及びインデックスアドレスを含むアドレスが登
録されているリクエストバッファ回路３０中のバッファ
の内容をクリアすることによりミスリクエスト情報を削
除し、そのバッファの使用状態を空き状態に戻す。

【００５４】以上本発明について実施例を挙げて説明し
たが、本発明は以上の実施例にのみ限定されずその他各
種の付加変更が可能である。また、前述した実施例にお
ける処理は、図示しない機械読み取り可能な記録媒体に
予め制御プログラムとして格納し、このプログラムをコ
ンピュータに読み取らせることにより実行制御するよう
にできることは勿論のことである。

【００５５】

【発明の効果】以上説明したように本発明によれば、キ
ャッシュミスによるデータ読み出しのリクエストを主記
憶に出しながらも後続命令の処理が継続できるというノ
ンブロッキング方式のキャッシュの特徴を十分に活用で
き、キャッシュの性能を向上することができる。

【図面の簡単な説明】

【図１】本発明を適用したノンブロッキング方式のキャ
ッシュメモリ装置の一例を示すブロック図である。

【図２】本発明の一実施例のキャッシュメモリ装置にお
けるロードリクエスト時のキャッシュ動作の概略を示す
フローチャートである。

【図３】本発明の一実施例のキャッシュメモリ装置にお
いてキャッシュミス時に主記憶へミスリクエストを送出
する場面の動作説明図である。

【図４】本発明の一実施例のキャッシュメモリ装置にお
いてキャッシュミス時にプロセッサコアへ発行リトライ
要求を送出する場面の動作説明図である。

【図５】本発明の一実施例のキャッシュメモリ装置にお
いてミスリクエストに対する応答データを主記憶から受
信した場面の動作説明図である。

【図６】本発明の一実施例のキャッシュメモリ装置にお
いてキャッシュヒット時の動作説明図である。

【図７】本発明の一実施例のキャッシュメモリ装置にお
いてキャッシュヒット時の動作説明図である。

【図８】従来技術と本発明の実施例のキャッシュメモリ
装置の処理速度の違いを示すタイミングチャートであ
る。

【図９】本発明の一実施例のキャッシュメモリ装置にお
けるストアリクエスト時のキャッシュ動作の概略を示す
フローチャートである。

【図１０】キャッシュブロックの構成例を示すブロック
図である。

【図１１】リクエストバッファ回路及びアドレスチェッ
ク回路の構成例を示すブロック図である。

【図１２】発行チェックブロックの構成例を示すブロッ
ク図である。

【図１３】発行チェックブロック内の制御部の処理例を
示すフローチャートである。

【図１４】１ＷＡＹセットアソシアティブ方式のキャッ
シュの概要を示すブロック図である。

【符号の説明】

１０…キャッシュブロック １１…データアレイ １２…アドレスアレイ ２０…発行チェックブロック ３０…リクエストバッファ回路 ４０…アドレスチェック回路 ５０…発行制御回路 ６０…リクエストレジスタ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 キャッシュミスによるデータ読み出しの
   リクエストを主記憶に出しながらも後続命令の処理が継
   続できるノンブロッキング方式のキャッシュにおいて、
   前記リクエストに対して主記憶から応答データを受信し
   たことを契機に、キャッシュに格納されているデータブ
   ロックのアドレスを格納するアドレスアレイ及び前記デ
   ータブロックを格納するデータアレイを更新するキャッ
   シュ更新方法。
2. 【請求項２】 前記応答データを受信した時点からキャ
   ッシュの更新処理が完了するまでプロセッサコアからの
   後続命令の発行を抑止する請求項１記載のキャッシュ更
   新方法。
3. 【請求項３】 キャッシュミスによるデータ読み出しの
   リクエストを主記憶に出しながらも後続命令の処理が継
   続できるノンブロッキング方式のキャッシュにおいて、
   前記リクエストに対して主記憶から応答データを受信し
   たことを契機に、キャッシュに格納されているデータブ
   ロックのアドレスを格納するアドレスアレイ及び前記デ
   ータブロックを格納するデータアレイを更新する手段を
   備えたキャッシュ更新制御システム。
4. 【請求項４】 前記応答データを受信した時点からキャ
   ッシュの更新処理が完了するまでプロセッサコアからの
   後続命令の発行を抑止する手段を備えた請求項３記載の
   キャッシュ更新制御システム。
5. 【請求項５】 キャッシュに格納されているデータブロ
   ックのアドレスを格納するアドレスアレイと、前記デー
   タブロックを格納するデータアレイと、キャッシュミス
   によるデータ読み出しのリクエストの情報を少なくとも
   １つ以上格納するリクエストバッファ回路とを含み、キ
   ャッシュミスによるデータ読み出しのリクエストを主記
   憶に出しながらも後続命令の処理が継続できるノンブロ
   ッキング方式のキャッシュにおいて、前記リクエストに
   対して主記憶から応答データを受信したことを契機に前
   記アドレスアレイ及び前記データアレイを更新する手段
   と、前記応答データを受信した時点からキャッシュの更
   新処理が完了するまでプロセッサコアからの後続命令の
   発行を抑止する手段とを備えたキャッシュ更新制御シス
   テム。
6. 【請求項６】 キャッシュミスによるデータ読み出しの
   リクエストを主記憶に出しながらも後続命令の処理が継
   続できるノンブロッキング方式のキャッシュの更新を制
   御するプログラムを記録した記録媒体であって、前記プ
   ログラムは、前記リクエストに対して主記憶から応答デ
   ータを受信したことを検出するステップと、該応答デー
   タの受信を契機に、キャッシュに格納されているデータ
   ブロックのアドレスを格納するアドレスアレイ及び前記
   データブロックを格納するデータアレイを更新するステ
   ップとを含む記録媒体。
7. 【請求項７】 前記プログラムは更に、前記応答データ
   を受信した時点からキャッシュの更新処理が完了するま
   でプロセッサコアからの後続命令の発行を抑止するステ
   ップを含む請求項６記載の記録媒体。