JPH07281652A

JPH07281652A - 画像処理装置

Info

Publication number: JPH07281652A
Application number: JP6093738A
Authority: JP
Inventors: Teiji Yutaka; 禎治豊; Masakazu Suzuoki; 雅一鈴置; Makoto Furuhashi; 真古橋; Masayoshi Tanaka; 正善田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-04-07
Filing date: 1994-04-07
Publication date: 1995-10-27
Also published as: EP0676726B1; KR950033954A; DE69521357D1; CN1118470A; EP0676726A2; KR100363504B1; ATE202429T1; MY113890A; DE69521357T2; US5917504A; CN1069422C; AU689541B2; CA2146605A1; EP0676726A3; AU1631095A

Abstract

(57)【要約】【目的】フレームメモリの１画素当たりのビット数
を、表示される画像の画質に合わせて最適化できる画像
処理装置を提供する。【構成】フレームメモリ６３を備え、このフレームメ
モリ６３に書き込まれた画像データを順次読み出して、
画像表示用データとする。フレームメモリ６３に書き込
まれた画像データが、各画素が第１のビット数で書き込
まれた画像データか、各画素が第１のビット数とは異な
る第２のビット数で書き込まれた画像データかを認識す
る認識手段４２を備える。フレームメモリ６３から、画
像データを、各画素が第１のビット数であるとして読み
出す第１の画像データ読み出し手段６４と、フレームメ
モリ６３から、画像データを、各画素が第２のビット数
であるとして読み出す第２の画像データ読み出し手段６
５とを設ける。認識手段からの認識情報に基づいて、第
１の画像データ読み出し手段６４と、第２の画像データ
読み出し手段６５とを切り換える手段を設ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、表示用のフレームメ
モリを備える画像処理装置に関し、特に、圧縮されて伝
送された画像データやコンピュータグラフィックスでの
描画データにより画像を生成するビデオゲーム機やグラ
フィックコンピュータなど高い可視化（ビジュアライゼ
ーション）性能が要求される場合に好適なものである。

【０００２】

【従来の技術】例えばコンピュータグラフィックスにお
いて、通常、３Ｄ（３ディメンション＝３次元）グラフ
ィックスシステムと呼ばれるものは、現実感のある物体
（描画対象の物体をオブジェクトと称する）を描画する
に際して、まず、オブジェクトの表面を複数のポリゴン
（描画装置が扱う図形の最小単位（三角形や四角形）を
ポリゴンという）に分解し、各ポリゴンを、モニター表
示画面に対応したフレームメモリ（フレームバッファメ
モリ）に、順に、描画して、フレームメモリに描画画像
データを格納し、これを読み出して前記モニター表示画
面に表示することで、立体的に見える画像を再構成す
る。

【０００３】上記のような３Ｄグラフィックスシステム
と並列に、例えば画像データがデータ圧縮されて記録さ
ているＣＤ−ＲＯＭディスクなどの２次記憶装置と画像
伸長装置を組み合わせたデジタル動画再生システムを搭
載することがある。デジタル動画再生システムは、３Ｄ
グラフィックスシステムよりは対話性は劣るものの、３
Ｄグラフィックスシステムでは表現が困難な画像も容易
に再生できる利点を有するので、背景画画面に使用する
など、３Ｄグラフィックスシステムを補うものとして使
用されるものである。

【０００４】ところで、従来、この種の表示用のフレー
ムメモリ（フレームバッファ）を備える画像処理装置で
は、フレームメモリに書き込まれる画像データのピクセ
ル（画素）のビット数は、一般に固定である。例えば、
ゲーム機などでは、３Ｄグラフィックスによる描画は、
それほど高画質を要求しないので、３原色データＲ
（赤）、Ｇ（緑）、Ｂ（青）からなる１画素当たりのビ
ット数は、Ｒ、Ｇ、Ｂそれぞれ５ビットで、１５ビット
／画素とされ、３２０００色の発色の解像度に固定され
ている。

【０００５】

【発明が解決しようとする課題】以上のように、従来
は、フレームメモリの１画素当たりのビット数は固定で
あるため、上記のように、３Ｄグラフィックスシステム
と、デジタル動画再生システムとを組み合わせたシステ
ムにおいて、動画を再生して表示するときに、フレーム
メモリの容量に余裕があったとしても、１５ビット／画
素とされ、３２０００色の発色の解像度しか得られなか
った。

【０００６】この動画の表示を考慮して、フレームメモ
リの１画素当たりのビット数を、例えばＲ、Ｇ、Ｂそれ
ぞれ８ビットで、２４ビット／画素として、１６７０万
色を表示できるように固定することが考えられるが、こ
れではフレームメモリの表示用のメモリ領域が大きくな
り、このビット数は３Ｄグラフィックスの描画画像には
不要であることを考え合わせると、非効率的であった。

【０００７】この発明は、以上の点にかんがみ、フレー
ムメモリの１画素当たりのビット数を、表示される画像
の画質に合わせて最適化することが可能な画像処理装置
を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、この発明の画像処理装置は、後述の実施例の参照符
号を対応させると、フレームメモリ６３を備え、このフ
レームメモリ６３に書き込まれた画像データを順次読み
出して、画像表示用データとするようにする装置におい
て、フレームメモリ６３に書き込まれた画像データが、
各画素が第１のビット数で書き込まれた画像データか、
各画素が前記第１のビット数とは異なる第２のビット数
で書き込まれた画像データかを認識する認識手段６１
と、フレームメモリ６３から、画像データを、各画素が
前記第１のビット数であるとして読み出す第１の画像デ
ータ読み出し手段６４と、前記フレームメモリから、画
像データを、各画素が前記第２のビット数であるとして
読み出す第２の画像データ読み出し手段６５と、前記認
識手段からの認識情報に基づいて、前記第１の画像デー
タ読み出し手段と、前記第２の画像データ読み出し手段
とを切り換える切換手段ＳＷ１，ＳＷ２とを備えること
を特徴とする。

【０００９】

【作用】上記の構成のこの発明によれば、認識手段６１
は、フレームメモリに、画像データが、第１のビット数
で書き込まれたのか、第２のビット数で書き込まれたの
かを認識している。

【００１０】そして、この認識手段６１の認識情報に基
づいて、フレームメモリ６３から読み出される画像デー
タが、第１のビット数／画素のものであるときには、切
換手段ＳＷ１、ＳＷ２が切り換えられて、第１の画像デ
ータ読み出し手段６４が選択され、フレームメモリ６３
から画像データが読み出される。また、フレームメモリ
６３から読み出される画像データが、第２のビット数／
画素のものであるときには、切換手段ＳＷ１、ＳＷ２が
切り換えられて、第２の画像データ読み出し手段６５が
選択され、フレームメモリ６３から画像データが読み出
される。

【００１１】こうして、フレームメモリ６３に書き込み
／読み出しされる画像データは、画質に合わせて最適化
することができる。

【００１２】

【実施例】以下、この発明の一実施例について図面を参
照しながら説明する。図１は、この発明の一実施例の画
像処理装置の構成例を示すもので、この例は３Ｄグラフ
ィック機能と、デジタル動画再生機能とを備えるゲーム
機の実施例である。

【００１３】図１において、４１はシステムバス（メイ
ンバス）である。このシステムバス４１には、ＣＰＵ４
２、メインメモリ４３、ソーティングコントローラ４５
が接続されている。

【００１４】システムバス４１には、また、画像伸長装
置部５１が、入力用のＦＩＦＯバッファメモリ（以下、
ＦＩＦＯバッファメモリをＦＩＦＯバッファと略称す
る）５４及び出力用のＦＩＦＯバッファ５５を介して接
続されている。また、ＣＤ−ＲＯＭデコーダ５２がＦＩ
ＦＯバッファ５６を介して、描画装置部６１がＦＩＦＯ
バッファ６２を介して、それぞれシステムバス４１に接
続されている。

【００１５】描画装置部６１には、フレームメモリ６３
が接続されている。このフレームメモリ６３に、後述す
るようにして、描画命令により形成された描画画像のデ
ータが書き込まれ、また、画像伸長装置部５１で伸長デ
コードされた画像データが書き込まれ、画像モニター装
置６７に、その再生画像が表示される。

【００１６】また、７１は操作入力手段としてのコント
ロールパッドで、インターフェース７２を介してシステ
ムバス４１に接続されている。さらに、システムバス４
１には、ゲーム機としての立ち上げを行うためのプログ
ラムが格納されているブートＲＯＭ７３が接続されてい
る。

【００１７】ＣＰＵ４２は、装置全体の管理を行なう。
この例の装置においては、フレームメモリ６３からの表
示画像データを、Ｒ、Ｇ、Ｂそれぞれ５ビットの、１５
ビット／画素の画像データ（以下、これを第１のビット
数の画像データという）とする第１のモード（以下、こ
れを通常モードという）と、Ｒ、Ｇ、Ｂそれぞれ８ビッ
トの、２４ビット／画素の画像データ（以下、これを第
２のビット数の画像データという）とする第２のモード
（以下、これを高解像度モードという）の２つのモード
を選択することができるようにされており、ＣＰＵ４２
は、そのモード切り換えを行う。

【００１８】また、このＣＰＵ４２は、物体を多数のポ
リゴンの集まりとして描画する場合の処理の一部を行
う。すなわち、ＣＰＵ４２は、後述もするように、１画
面分の描画画像を生成するための描画命令例をメインメ
モリ４３上に作成する。

【００１９】また、このＣＰＵ４２は、キャッシュメモ
リ４６を有し、ＣＰＵインストラクションの一部は、シ
ステムバス４１からフェッチすることなく実行できる。
さらに、ＣＰＵ４２には、描画命令を作成する際にポリ
ゴンについての座標変換演算を行なうための座標演算装
置部４４が、ＣＰＵ内部コプロセッサとして設けられて
いる。座標演算装置部４４は、３次元座標変換及び３次
元から表示画面上の２次元への変換の演算を行なう。

【００２０】このように、ＣＰＵ４２は、内部に命令キ
ャッシュ４６と座標演算装置部４４を有しているため、
その処理をシステムバス４１を使用しなくても、ある程
度行うことができるため、システムバス４１を開放しや
すい。

【００２１】ＣＤ−ＲＯＭデコーダ５２は、ＣＤ−ＲＯ
Ｍドライバ５３に接続されており、ＣＤ−ＲＯＭドライ
バ５３に装着されたＣＤ−ＲＯＭディスクに記録されて
いるデータをデコードする。ＣＤ−ＲＯＭディスクに
は、アプリケーションプログラム（例えばゲームのプロ
グラム）や、例えば離散コサイン変換（ＤＣＴ）により
画像圧縮された動画や静止画の画像データ、ポリゴンを
修飾するためのテクスチャー画像の画像データが記録さ
れている。ＣＤ−ＲＯＭディスクのアプリケーションプ
ログラムには、ポリゴン描画命令が含まれている。ＦＩ
ＦＯバッファ５６は、ＣＤ−ＲＯＭディスクの記録デー
タの１セクタ分の容量を有する。

【００２２】画像伸長装置部５１は、ＣＤ−ＲＯＭディ
スクから再生された圧縮画像データの伸長処理を行なう
もので、ハフマン符号のデコーダと、逆量子化回路と、
逆離散コサイン変換回路のハードウエアを備える。ハフ
マン符号のデコーダの部分は、ＣＰＵ４２がソフトウエ
アとしてその処理を行うようにしてもよい。

【００２３】この例においては、画像伸長装置部５１
は、圧縮画像データを、１５ビット／画素の第１のビッ
ト数の画像データに伸長するデコード処理モードと、２
４ビット／画素の第２のビット数の画像データに伸長す
るデコード処理モードとの、２つのモードにおけるデコ
ード処理を行うことができる。ＣＰＵ４２は、モード切
り換え指示を画像伸長装置部５１に対して行う。このモ
ード切り換え指示により、通常モードのときには、画像
伸長装置部５１は、圧縮画像データを、第１のビット数
の画像データにデコードし、高解像度モードのときに
は、第２のビット数の画像データにデコードする。

【００２４】この例の場合、画像伸長装置部５１は、後
述の図７に示すように、１枚（１フレーム）の画像を、
例えば１６×１６ピクセル（画素）程度の小領域（これ
を以下マクロブロックと称する）に分割して、このマク
ロブロック単位で画像伸長デコードを行う。そして、こ
のマクロブロック単位でメインメモリ４３との間でデー
タ転送が行われる。したがって、ＦＩＦＯバッファ５４
及び５５は、マクロブロック分の容量を備えるものとさ
れている。

【００２５】描画装置部６１には、ローカルバス１１を
介してフレームメモリ６３が接続されている。描画装置
部６１は、ＦＩＦＯバッファ６２を介してメインメモリ
４３から転送されてくる描画命令を実行して、その結果
をフレームメモリ６３に書き込む。この描画命令による
描画の実行は、通常モードでのみ行われる。そして、描
画画像データは、１５ビット／画素の第１のビット数の
画像データである。なお、ＦＩＦＯバッファ６２は、１
描画命令分のメモリ容量を有する。

【００２６】フレームメモリ６３は、描画画像や動画画
像を記憶して表示用とする画像メモリ領域と、テクスチ
ャー画像を記憶するテクスチャー領域と、カラールック
アップテーブル（色変換テーブルＣＬＵＴ）が格納され
るテーブルメモリ領域とを備える。カラールックアップ
テーブルは、通常モード用と、高解像度モード用の２種
が用意されるものである。通常モード用は、高解像度モ
ード用の一部を使用することもできる。

【００２７】図２は、フレームメモリ６３のメモリ空間
を示すものである。フレームメモリ６３は、カラムとロ
ウの２次元アドレスでアドレシングされる。この２次元
アドレス空間のうち、領域ＡＴがテクスチャー領域とさ
れる。このテクスチャー領域ＡＴには、複数種類のテク
スチャーパターンを配置することができる。ＡＣは色変
換テーブルＣＬＵＴのテーブルメモリ領域である。

【００２８】後述するように、色変換テーブルＣＬＵＴ
のデータは、ＣＤ−ＲＯＭディスクからＣＤ−ＲＯＭデ
コーダ５２を通じて、ソーティングコントローラ４５に
より、フレームメモリ６３に転送される。ＣＤ−ＲＯＭ
ディスクのテクスチャー画像のデータは、画像伸長装置
部５１によりデータ伸長され、メインメモリ４３を介し
てフレームメモリ６３に転送される。

【００２９】また、図２において、ＡＤは画像メモリ領
域であり、描画するエリアと、表示するエリアの２面分
のフレームバッファ領域を備えている。この例では、現
在表示用として用いているフレームバッファ領域を表示
バッファ、描画を行っているフレームバッファ領域を描
画バッファと呼ぶこととする。この場合、一方を描画バ
ッファとして描画を行っている間は、他方は表示バッフ
ァとして用い、描画が終了したら、両バッファを互いに
切り換える。この描画バッファと表示バッファの切り換
えは、描画終了時に、垂直同期に合わせて行う。

【００３０】この例においては、フレームメモリ６３の
表示バッファから読み出しのために、２つの読み出し回
路（アンパック回路）が用意される。すなわち、アンパ
ック回路６４は、通常モード用の読み出し回路であっ
て、１５ビット／１画素（２バイト／１画素と考えるこ
ともできる）として、画像データを、１５ビット毎にフ
レームメモリ６３の表示バッファから読み出す。また、
アンパック回路６５は、高解像度モード用の読み出し回
路であって、２４ビット／１画素（３バイト／１画素）
として、画像データを、２４ビット毎にフレームメモリ
６３の表示バッファから読み出す。

【００３１】これらアンパック回路６４及び６５は、ス
イッチＳＷ１及びＳＷ２により切り換えられる。このス
イッチＳＷ１及びＳＷ２は、説明のためのものであっ
て、実際的には、これらアンパック回路６４及び６５の
動作オン／オフが切り換え制御信号より切り換えられ
る。

【００３２】これらアンパック回路６４及び６５の切り
換えは、描画装置部６１からの切り換え制御信号より行
われる。描画装置部６１には、ＣＰＵ４２からモード切
り換え指示が与えられるので、描画装置部６１は、これ
に基づいてスイッチＳＷ１，ＳＷ２の切り換え制御信号
を形成する。ＣＰＵ４２からのモード切り換え指示は、
フレームメモリ６３の画像メモリ領域ＡＤの表示バッフ
ァ領域と描画バッファ領域との切り換え時に与えられ
る。フレームメモリ６３への画像データの書き込み時に
は、現在書き込んでいるのは、第１のビット数の画像デ
ータか、第２の画像データかをＣＰＵ４２が認識してお
り、描画装置部６１は、単に、転送されてきた画像デー
タをフレームメモリ６３の描画バッファに順次に書き込
むだけでよい。

【００３３】以上のようにして、アンパック回路６４あ
るいはアンパック回路６５により読み出された画像デー
タは、Ｄ／Ａコンバータ６６によりアナログ画像信号に
変換され、画像モニター装置６７に出力され、その画面
に表示される。なお、Ｄ／Ａコンバータ６６は、モード
切り換えに応じて、入力画像データＲ，Ｇ，Ｂのビット
数が変わるので、それに応じた切り換え処理が行われる
ものである。

【００３４】ソーティングコントローラ４５は、いわゆ
るＤＭＡコントローラと同様の機能を備え、メインメモ
リ４３と画像伸長装置部５１との間での画像データの転
送を行ったり、メインメモリ４３から描画装置部６１に
描画命令列を転送したりするもので、転送装置部を構成
している。このソーティングコントローラ４５は、ＣＰ
Ｕ４２やコントロールパッド７１などの他の装置がシス
テムバス４１を開放している間隙をぬって、ＣＰＵ４２
の介在なしに前記の転送処理を行う。この場合、ＣＰＵ
４２がシステムバス４１の開放をソーティングコントロ
ーラ４５に知らせるようにすることもできるし、ソーテ
ィングコントローラ４５が強制的にＣＰＵ４２にバスの
開放を要求するようにすることもできる。

【００３５】メインメモリ４３は、動画や静止画の画像
データに対しては、圧縮された画像データのメモリ領域
と、伸長デコード処理された伸長画像データのメモリ領
域とを備えている。また、メインメモリ４３は、描画命
令列などのグラフィックスデータのメモリ領域（これを
以下パケットバッファという）を備える。

【００３６】このパケットバッファは、ＣＰＵ４２によ
る描画命令列の設定と、描画命令列の描画装置部６１へ
の転送とに使用され、ＣＰＵ４２と、描画装置部６１と
が共有することになる。ＣＰＵ４２と、描画装置部６１
とで処理を並列に動作するようにするため、この例で
は、描画命令列の設定用のパケットバッファ（以下、こ
れを設定パケットバッファという）と、転送用のパケッ
トバッファ（以下、これを実行パケットバッファとい
う）との２つのパケットバッファが用意されており、一
方を設定パケットバッファとしているときには、他方は
実行パケットバッファとして使用し、実行パケットバッ
ファで実行が終了したら、２つのパケットバッファの機
能を交換するようにしている。この装置の処理について
以下に説明する。

【００３７】［ＣＤ−ＲＯＭディスクからのデータの取
り込み］図１の例の装置（ゲーム機）に電源が投入さ
れ、ＣＤ−ＲＯＭディスクが装填されると、ブートＲＯ
Ｍ７３のゲームを実行するためのいわゆる初期化処理を
するためのプログラムがＣＰＵ４２により実行される。
そして、ＣＤ−ＲＯＭディスクの記録データが取り込ま
れる。このとき、ＣＤ−ＲＯＭディスクの各セクタのユ
ーザーデータ中の識別用情報ＩＤに基づいて各ユーザー
データのデコード処理がなされ、データのチェックが行
われる。このチェック結果により、ＣＰＵ４２は、各Ｉ
Ｄで示される内容の再生データに応じた処理を実行す
る。

【００３８】すなわち、ＣＤ−ＲＯＭディスクから、圧
縮画像データ、描画命令及びＣＰＵ４２が実行するプロ
グラムが、ＣＤ−ＲＯＭドライバ５３、ＣＤ−ＲＯＭデ
コーダ５２を介して読み出され、ソーティングコントロ
ーラ４５によってメインメモリ４３にロードされる。そ
して、ロードされたデータのうち、色変換テーブルの情
報は、フレームメモリ６３の領域ＣＬＵＴに転送され
る。

【００３９】［描画命令列についての処理と転送］物体
の面を構成するポリゴンは、３次元的な奥行きの情報で
あるＺデータに従って奥行き方向の深い位置にあるポリ
ゴンから順に描画することにより、２次元画像表示面に
立体的に画像を表示することができる。ＣＰＵ４２は、
このように奥行き方向の深い位置にあるポリゴンから順
に、描画装置部６１で描画が行われるようにするための
描画命令列をメインメモリ４３上に作成する。

【００４０】ところで、コンピュータグラフィックスで
は、Ｚデータを各ピクセル毎にメモリに記憶しておいて
ポリゴンの表示優先順位を決定するようにする、いわゆ
るＺバッファ法を用いている。しかし、このＺバッファ
法では、Ｚデータを記憶するために大容量メモリを使用
しなければならない。そこで、この例では、次のように
してポリゴンの表示優先順位を決定する処理をＣＰＵ４
２が行うようにする。

【００４１】このため、この例では、ポリゴン描画命令
ＩＰは、図３Ａに示すような構造となっている。すなわ
ち、ポリゴン描画命令ＩＰは、ポリゴン描画データＰＤ
の前に、ヘッダを備えており、このヘッダ部分は、タグ
ＴＧとコマンド識別コードＣＯＤＥとを備えている。

【００４２】タグＴＧには、次の描画命令が格納されて
いるメインメモリ４３上のアドレスが書き込まれる。コ
マンド識別コードＣＯＤＥには、その描画命令がどのよ
うな内容のものであるかを示す識別データＩＤＰと、そ
の描画命令にとって必要な他の情報を含む。ポリゴン描
画データＰＤは、ポリゴンの頂点座標などのデータから
なる。描画命令ＩＰが、例えば四角形ポリゴンの描画命
令であって、そのポリゴンの中を１色でマッピングする
場合には、識別データＩＤＰは、それを示すものとなっ
ており、必要な他の情報としては、マッピングする色デ
ータが記述される。

【００４３】図３Ｂは、この四角形ポリゴンの描画命令
の場合で、ポリゴン描画データＰＤに、４点の座標（Ｘ
０，Ｙ０），（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ
３，Ｙ３）が記述されており、コマンド識別コードＣＯ
ＤＥに、そのポリゴンの中を１色でマッピングするため
の３原色の色データ（Ｒ，Ｇ，Ｂ）を含んでいる。

【００４４】ＣＰＵ４２は、コントロールパッド７１か
らのユーザーの操作入力に基づいて、物体や視点の動き
を計算し、メインメモリ４３上にポリゴン描画命令列を
作成する。ついで、Ｚデータによって、ポリゴン描画命
令列のタグを、表示順序の通りに書き換える。このと
き、メインメモリ４３上の各描画命令のアドレスは、変
更せずに、タグのみを書き換える。

【００４５】この描画命令列が完成すると、ソーティン
グコントローラ４５は、各描画命令のタグＴＧを順番に
たどって、１描画命令毎に、メインメモリ４３から描画
装置部６１に転送する。このため、ＦＩＦＯバッファ６
２は、１描画命令分の容量を備えていればよい。

【００４６】描画装置部６１では、送られてきたデータ
が、既にソートされた状態にあるので、図４に示すよう
にして、ポリゴン描画命令ＩＰ１，ＩＰ２，ＩＰ３，
…，ＩＰｎを、そのタグＴＧ１，ＴＧ２，ＴＧ３，…，
ＴＧｎに従って順次実行してフレームメモリ６３の画像
メモリ領域ＡＤに結果を格納する。

【００４７】このポリゴン描画の際、データは、描画装
置部６１の勾配計算ユニットに送られ、勾配計算が行な
われる。勾配計算は、ポリゴン描画で多角形の内側をマ
ッピングデータで埋めていく際、マッピングデータの平
面の傾きを求める計算である。テクスチャーの場合はテ
クスチャー画像データでポリゴンが埋められ、また、グ
ーローシェーディングの場合は輝度値でポリゴンが埋め
られる。

【００４８】物体の表面を構成するポリゴンにテクスチ
ャーを貼り付ける場合には、テクスチャー領域ＡＴのテ
クスチャーデータが２次元写像変換される。例えば、図
５Ａに示すようなテクスチャーパターンＴ１，Ｔ２，Ｔ
３は、図５Ｂに示すような物体の各面のポリゴンに適合
するように、２次元スクリーン上の座標に変換される。
このように写像変換されたテクスチャーパターンＴ１，
Ｔ２，Ｔ３が図５Ｃに示すように、物体ＯＢ１の表面に
貼り付けられる。そして、これが、画像メモリ領域ＡＤ
に配置され、画像表示モニター６５の表示画面上に表示
される。

【００４９】静止画テクスチャーの場合には、メインメ
モリ４３上のテクスチャーパターンが、描画装置部６１
を介して、フレームメモリ６３上のテクスチャー領域Ａ
Ｔに転送される。描画装置部６１は、これをポリゴンに
貼り付ける。これにより、物体に静止画のテクスチャー
が実現される。この静止画のテクスチャーパターンのデ
ータは、ＣＤ−ＲＯＭディスクに記録しておくことがで
きる。

【００５０】さらに、動画のテクスチャーが可能であ
る。動画テクスチャーの場合には、後述するように、画
像伸長装置部５１で伸長デコードされた動画データはフ
レームメモリ６３上のテクスチャー領域ＡＴに送られ
る。テクスチャー領域ＡＴは、フレームメモリ６３内に
設けられているので、テクスチャーパターン自身も、フ
レーム毎に書き換えることが可能である。このように、
テクスチャー領域ＡＴに動画を送ると、テクスチャーが
１フレーム毎に動的に書き換えられて変化する。このテ
クスチャー領域ＡＴの動画により、ポリゴンへのテクス
チャーマッピングを行えば、動画のテクスチャーが実現
される。

【００５１】［圧縮画像データの伸長及び転送］メイン
メモリ４３の入力データのうち、圧縮画像データは、Ｃ
ＰＵ４２がハフマン符号のデコード処理を行った後、再
びＣＰＵ４２によりメインメモリ４３に書き込まれる。
そして、ソーティングコントローラ４５は、このハフマ
ン符号のデコード処理後の画像データをメインメモリ４
３からＦＩＦＯバッファ５４を介して画像伸長装置部５
１に転送する。これに先立ち、ＣＰＵ４２から画像伸長
装置部５１には、通常モードでのデコードを行うか、高
解像度モードでのデコードを行うかの指示が与えられ
る。画像伸長装置部５１は、逆量子化の処理と、逆ＤＣ
Ｔの処理を行って、ＣＰＵ４２からの指示にしたがった
モードで画像データの伸長デコード処理を行う。

【００５２】伸長された画像データは、ソーティングコ
ントローラ４５が、ＦＩＦＯバッファ５５を介してメイ
ンメモリ４３に転送する。この場合、画像伸長装置部５
１は、前述したように、マクロブロック単位で画像デー
タの伸長処理を行う。このため、メインメモリ４３から
は前記マクロブロック単位の圧縮データが入力用ＦＩＦ
Ｏバッファ５４に、ソーティングコントローラ４５によ
り転送される。そして、画像伸長装置部５１は、１マク
ロブロックの伸長デコード処理が終了すると、その結果
の伸長画像データを出力用ＦＩＦＯバッファ５５に入れ
ると共に、入力用ＦＩＦＯバッファ５４から次のマクロ
ブロックの圧縮データを取り出して、伸長デコード処理
を行う。

【００５３】ソーティングコントローラ４５は、システ
ムバス４１が開放されていて、かつ、画像伸長装置部５
１の出力用ＦＩＦＯバッファ５５が空でなければ、１マ
クロブロックの伸長画像データをメインメモリ４３に転
送し、次の１マクロブロックの圧縮画像データをメイン
メモリ４３から画像伸長装置部５１の入力用ＦＩＦＯバ
ッファ５４に転送する。

【００５４】ＣＰＵ４２は、伸長された画像データのマ
クロブロックが一定量、メインメモリ４３に蓄積された
時点で、当該伸長データを描画装置部６１を介してフレ
ームメモリ６３に転送する。この際に、伸長画像データ
がフレームメモリ６３の画像メモリ領域ＡＤに転送され
れば、そのまま背景動画像として画像モニター装置６５
で表示されることになる。また、フレームメモリ６３の
テクスチャー領域ＡＴに転送される場合もある。このテ
クスチャー領域ＡＴの画像データは、テクスチャー画像
として、ポリゴンの修飾に使用される。

【００５５】この場合に、背景動画像に描画画像が合成
されるときには、その背景動画像の画像データは、通常
モードの第１のビット数の画像データとして伸長デコー
ドされ、フレームメモリ６３に転送される。また、伸長
された画像データがテクスチャー領域ＡＴに転送される
場合も同様に、通常モードの第１のビット数の画像デー
タとして伸長デコードされる。描画画像のデータは第１
のビット数で形成されるからである。そして、描画画像
と合成されない背景画の場合には、高解像度の第２のビ
ット数の画像データとして伸長デコードされる。

【００５６】なお、画像伸長装置部５１で伸長デコード
された画像データを、メインメモリ４３からフレームメ
モリ６３に転送する場合には、この例においては、以下
に示すような転送命令を使用する。このように、伸長画
像データを転送命令形式に変換するのは、ＣＰＵ４２で
行う。

【００５７】すなわち、図６は、この転送命令の構造を
示す図である。この転送命令は、描画命令とほぼ同様の
形式を有するもので、先頭にタグＴＧを備え、その次に
識別データＩＤＰを備える。タグＴＧは、描画命令と同
様に、次の描画命令あるいは転送命令が格納されている
メインメモリ４３のアドレス値からなる。識別データＩ
ＤＰには、これが伸長画像データの転送命令であること
示すデータが記述される。

【００５８】そして、図６において、次のデータ「Ｈ」
と「Ｗ」は、転送する伸長データ領域の高さ及び幅を示
すものである。この転送領域の高さ及び幅は、１フレー
ム分の画面における領域に対応している。また、データ
「Ｘ」と「Ｙ」は、転送先の座標を示している。この座
標は、転送領域が矩形であるので、その矩形領域の左上
の座標を示している。そして、この座標は、転送先がフ
レームメモリ６３の画像メモリ領域ＡＤ内であれば、そ
の領域ＡＤ内の座標であり、テクスチャー領域ＡＴ内で
あれば、その領域ＡＴ内の座標である。

【００５９】この伸長画像データの転送命令の場合、以
上のタグＴＧから座標「Ｘ」、「Ｙ」まではヘッダであ
り、識別データＩＤＰからヘッダの大きさが識別され
る。識別データＩＤＰから座標「Ｘ」、「Ｙ」までは、
図３の描画命令のコマンド識別コードＣＯＤＥに対応す
る。

【００６０】このヘッダに続いて伸長画像データの画素
データＰＩＸ０、ＰＩＸ１、ＰＩＸ２、…、ＰＩＸｎ
が、この転送命令に含まれる。前述したように、各画素
データは、通常モードでは１５ビットであり、高解像度
モードでは２４ビットである。そして、この転送命令の
単位で、ソーティングコントローラ４５により、メイン
メモリ４３から描画装置部６１を介してフレームメモリ
６３に伸長画像データが転送される。

【００６１】ところで、上述したように、画像伸長装置
部５１は、１フレームの画像を横×縦＝１６×１６画素
からなるマクロブロックに分割してマクロブロック単位
で伸長デコードを行っている。今、例えば、１フレーム
が横×縦＝３２０×２４０の画素からなる画像を想定し
た場合、図７に示すように、１フレームは、３００個の
マクロブロックに分けられる。

【００６２】この３００個のマクロブロックを描画装置
部６１に転送するに当たって、マクロブロック単位で転
送命令を作成した場合には、ヘッダ部分のオーバーヘッ
ドが大き過ぎるものとなる。そこで、この例では、図８
に示すように、縦方向の１列の複数個（図８では１５
個）のマクロブロックを繋げて、これを転送命令で送る
単位とするようにしている。

【００６３】１フレームの最初の転送命令の例を図９に
示す。すなわち、図９では、座標「Ｘ」「Ｙ」が「０」
「０」となっている。次の転送命令では、その座標
「Ｘ」「Ｙ」が「１６」「０」となる。

【００６４】このように、伸長画像データも、描画命令
と同様の形式の転送命令形式に変換したので、タグＴＧ
を利用することにより、ポリゴンの描画命令と、転送命
令とを混在させてソーティングコントローラ４５による
転送ならびに、描画装置部６１によるフレームメモリ６
３での画像の描画、生成を実行することができる。

【００６５】［フレームメモリ６３からの画像データ読
み出し処理の説明］まず、ＣＰＵ４２は、フレームメモ
リ６３の画像メモリ領域ＡＤの一方のフレームバッファ
領域Ａ（表示バッファとなっている）の画像データを画
像モニター装置６７に出力するように描画装置部６１に
対して命令を出す。このとき、通常モードか、高解像度
モードかを指示するモード切り換え制御信号も、ＣＰＵ
４２は、描画装置部６１に送る。

【００６６】通常モードが指定されたときは、描画装置
部６１は、スイッチＳＷ１及びＳＷ２をＮ側に切り換
え、アンパック回路６４を選択する。このとき、フレー
ムメモリ６３の画像メモリ領域ＡＤの表示バッファに
は、図１０Ａで楕円で囲んで示すように、画素データＰ
ＩＸのそれぞれは１５ビット（２バイト）毎に書き込ま
れた状態となっている。

【００６７】アンパック回路６４は、前述したように、
フレームメモリ６３の画像メモリ領域ＡＤの表示バッフ
ァから１５ビット（２バイト）毎に画像データを読み出
し、読み出した画像データをＤ／Ａコンバータ６６に順
次転送してアナログ画像信号に変換する。これにより、
画像モニター装置６７の画面には、その再生画像が映出
される。この例の場合、この通常モードで表示されるの
は、描画画像のみ、描画されたポリゴンにテクスチ
ャー画像が張り付けられた合成画像、伸長デコードに
より得られた１５ビット／画素の動画または静止画から
なる背景画中に多数のポリゴンとして描画された描画画
像が合成されたもの、伸長デコードにより得られた１
５ビット／画素の動画または静止画のみ、などである。

【００６８】高解像度モードが指定されたときは、描画
装置部６１は、スイッチＳＷ１及びＳＷ２をＨ側に切り
換え、アンパック回路６５を選択する。このとき、フレ
ームメモリ６３の画像メモリ領域ＡＤの表示バッファに
は、図１０Ｂで楕円で囲んで示すように、画素データＰ
ＩＸのそれぞれは２４ビット（３バイト）毎に書き込ま
れた状態となっている。

【００６９】アンパック回路６５は、フレームメモリ６
３の画像メモリ領域ＡＤの表示バッファから２４ビット
（３バイト）毎に画像データを読み出し、読み出した画
像データをＤ／Ａコンバータ６６に順次転送してアナロ
グ画像信号に変換する。これにより、画像モニター装置
６７の画面には、その再生画像が映出される。この例の
場合、この高解像度モードで表示されるのは、伸長デコ
ードにより得られた２４ビット／画素の動画または静止
画である。

【００７０】この一方のフレームバッファＡの画像デー
タの読み出しの間に、ＣＰＵ４２は、次に描画装置部６
１に転送するデータをメインメモリ４３において生成す
る。描画命令列の生成の場合には、コントロールパッド
７１の操作入力を読み込み、この操作入力に応じて、メ
インメモリ４３の一方のパケットバッファ（設定パケッ
トバッファとなっている）の描画命令列の座標値を更新
すると共に、描画命令列の各描画命令のタグを書き換え
る。伸長画像データの場合には、前述したような転送命
令形式のデータに変換する。１５ビット／画素の伸長画
像データか、２４ビット／画素の伸長画像データかは、
ＣＰＵ４２が認識している。

【００７１】そして、ＣＰＵ４２による描画命令生成処
理あるいは伸長画像データの転送命令形式への変更処理
の間隙をぬって、ソーティングコントローラ４５によ
り、他方のフレームバッファ領域Ｂ（描画バッファとな
っている）には、メインメモリ４３から描画命令列ある
いは伸長画像データが転送される。このとき転送される
データが描画命令列か、１５ビット／画素の伸長画像デ
ータか、２４ビット／画素の伸長画像データかは、ＣＰ
Ｕ４２が認識していることになる。

【００７２】次に、メインメモリ４３からの描画命令列
や転送命令列がすべて描画装置部６１に転送されたと
き、ＣＰＵ４２は、フレームメモリ６３の他方のフレー
ムバッファ領域Ｂを表示バッファとして、これより描画
画像データや伸長画像データを読み出して、画像モニタ
ー装置６５に出力するように、描画装置部６１に対して
命令を出す。このとき、前述と同様に、通常モードか、
高解像度モードかを指示するモード切り換え制御信号
も、ＣＰＵ４２は、描画装置部６１に送るので、描画装
置部６１は、前述と同様にして、スイッチＳＷ１及びＳ
Ｗ２の切り換えを行い、通常モードと高解像度モードに
応じた読み出し処理を行う。なお、このとき、同時に、
フレームメモリ６３のフレームバッファ領域Ａは描画バ
ッファに切り換えられる。

【００７３】そして、他方のフレームバッファ領域Ｂを
表示バッファ領域として画像データを読み出している間
に、前述したようにして、ＣＰＵ４２は、次に描画装置
部６１に転送するデータをメインメモリ４３において生
成する。そして、ＣＰＵ４２による描画命令生成処理あ
るいは伸長画像データの転送命令形式への変更処理の間
隙をぬって、ソーティングコントローラ４５により、一
方のフレームバッファ領域Ａ（描画バッファとなってい
る）には、メインメモリ４３から描画命令列あるいは伸
長画像データが転送される。

【００７４】以上の動作を繰り返し行うことにより、動
きのある画像が表示できる。しかも、通常モードと高解
像度モードとに応じてアンパック回路６４、６５を切り
換えて、フレームメモリ６３に書き込まれている画像デ
ータの画質に応じた読み出し処理が行われるものであ
る。

【００７５】なお、以上の説明では、１画素当たりのビ
ット数が２通りの場合を例にとったが、３通り以上の場
合であっても、同様にこの発明を適用できることはいう
までもない。

【００７６】また、以上の例では、ＣＤ−ＲＯＭディス
クに画像データやアプリケーションプログラムを記録し
たが、記録媒体としては、例えば磁気ディスク、メモリ
カードのような半導体メモリなどの他の記録媒体を使用
することもできる。

【００７７】また、画像のデータ圧縮方法としては、Ｄ
ＣＴを使用したが、その他、種々の画像データ圧縮方法
を使用することができる。

【００７８】

【発明の効果】以上説明したように、この発明によれ
ば、フレームメモリの１画素当たりのビット数を、表示
される画像の画質に応じて最適化することができ、フレ
ームメモリを効率的に使用できる。

【００７９】しかも、この発明においては、フレームメ
モリから画像データを読み出す回路を、画質に応じたビ
ット数／画素に応じて切り換えるようにするため、フレ
ームメモリ自体は、ビット数の変化の影響を受けること
はなく、フレームメモリとして特殊のものを使用する必
要はない。

【００８０】また、この発明をゲーム機に適用した場合
には、描画命令による画像に加えて、高画質の動画や静
止画が、適宜、映出されるため、より臨場感のあるゲー
ムの画面を得ることができる。

【図面の簡単な説明】

【図１】この発明による画像処理装置の一実施例のブロ
ック図である。

【図２】この発明の一実施例におけるメモリ領域の説明
のための図である。

【図３】この発明の一実施例におけるポリゴン描画命令
の例を示す図である。

【図４】この発明の一実施例におけるポリゴンの描画表
示順序を説明するための図である。

【図５】テクスチャーマッピングの説明のための図であ
る。

【図６】この発明の一実施例における画像データの転送
時のデータ構造の例を説明するための図である。

【図７】１フレームの画像の例を示す図である。

【図８】この発明の一実施例における画像データの転送
単位を説明するための図である。

【図９】この発明の一実施例における画像データの転送
時のデータ構造の例を示す図である。

【図１０】この発明の一実施例における１画素当たりの
ビット数の複数の例を説明するための図である。

【符号の説明】

４１システムバス４２ＣＰＵ４３メインメモリ４４座標演算装置部４５ソーティングコントローラ４６キャッシュメモリ５１画像伸長装置部５２ＣＤ−ＲＯＭデコーダ５３ＣＤ−ＲＯＭドライバ５４、５５ＦＩＦＯバッファ６１描画装置部６２ＦＩＦＯバッファ６３フレームメモリ６５画像表示モニター装置７１コントロールパッドＡＤ画像メモリ領域ＡＴテクスチャー領域ＰＩＸ画素

───────────────────────────────────────────────────── フロントページの続き (72)発明者古橋真東京都港区赤坂８丁目１番22号株式会社ソニー・コンピュータエンタテインメント内 (72)発明者田中正善東京都港区赤坂８丁目１番22号株式会社ソニー・コンピュータエンタテインメント内

Claims

【特許請求の範囲】

【請求項１】フレームメモリを備え、このフレームメモ
リに書き込まれた画像データを順次読み出して、画像表
示用データとするようにする装置において、前記フレームメモリに書き込まれた画像データが、各画
素が第１のビット数で書き込まれた画像データか、各画
素が前記第１のビット数とは異なる第２のビット数で書
き込まれた画像データかを認識する認識手段と、前記フレームメモリから、画像データを、各画素が前記
第１のビット数であるとして読み出す第１の画像データ
読み出し手段と、前記フレームメモリから、画像データを、各画素が前記
第２のビット数であるとして読み出す第２の画像データ
読み出し手段と、前記認識手段からの認識情報に基づいて、前記第１の画
像データ読み出し手段と、前記第２の画像データ読み出
し手段とを切り換える手段とを備えることを特徴とする
画像処理装置。
【請求項２】フレームメモリと、前記フレームメモリ上において、描画命令にしたがって
描画を行い、各画素が第１のビット数からなる描画画像
データを前記フレームメモリに生成する描画手段と、前記フレームメモリに、このフレームメモリに転送され
てきた画像データを順次に書き込む画像データ書き込み
手段と、前記転送されてきた画像データが、その各画素が前記第
１のビット数で構成されたものであるか、その各画素が
前記第１のビット数より大きい第２のビット数で構成さ
れたものであるかを認識する認識手段と、前記フレームメモリから、画像データを、各画素が前記
第１のビット数であるとして読み出す第１の画像データ
読み出し手段と、前記フレームメモリから、画像データを、各画素が前記
第２のビット数であるとして読み出す第２の画像データ
読み出し手段と、前記認識手段からの認識情報に基づいて、前記第１の画
像データ読み出し手段と、前記第２の画像データ読み出
し手段とを切り換える手段とを備えることを特徴とする
画像処理装置。
【請求項３】前記フレームメモリに転送されてくるの
は、動画あるいは静止画の画像データであり、当該画像
データが前記第１のビット数で構成されるときに、この
画像データと、前記描画画像データとの合成を行う手段
を設けてなる請求項２に記載の画像処理装置。
【請求項４】前記描画命令は、操作入力手段からの操作
入力に応じたものであるゲーム機の構成とされてなる請
求項２または請求項３に記載の画像処理装置。