JP2004356857A - 画像データ符号化装置 - Google Patents
画像データ符号化装置 Download PDFInfo
- Publication number
- JP2004356857A JP2004356857A JP2003150863A JP2003150863A JP2004356857A JP 2004356857 A JP2004356857 A JP 2004356857A JP 2003150863 A JP2003150863 A JP 2003150863A JP 2003150863 A JP2003150863 A JP 2003150863A JP 2004356857 A JP2004356857 A JP 2004356857A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- circuit
- image data
- data
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ＣＩＦサイズの動画像符号化を、動作周波数を上げることなく実現するために、ＱＣＩＦ符号化装置である分割画像符号化部を４つ用いる従来装置は、消費電力が４倍となる。
【解決手段】分割画像符号化部５２は、分割画像Ｉピクチャ符号化部５２ａ、分割画像Ｐピクチャ符号化部５２ｂ、分割画像Ｂピクチャ符号化部５２ｃ及び５２ｄから構成されており、ピクチャ毎に並列に符号化を行うと共に、４つの分割画像信号に対して分割画面毎に符号化を時分割で行うので、分割画像符号化部５２の総演算量及びハードウェア量はＩピクチャ符号化演算量の８倍になる。従来はどのピクチャタイプも符号化可能な４つの分割画像符号化部で符号化を行うため、ハードウェア量はＩピクチャ符号化演算時の１２倍となる。従って、本発明は従来と比較して、ハードウェア量削減に伴い、消費電力低減を実現できる。
【選択図】 図１
【解決手段】分割画像符号化部５２は、分割画像Ｉピクチャ符号化部５２ａ、分割画像Ｐピクチャ符号化部５２ｂ、分割画像Ｂピクチャ符号化部５２ｃ及び５２ｄから構成されており、ピクチャ毎に並列に符号化を行うと共に、４つの分割画像信号に対して分割画面毎に符号化を時分割で行うので、分割画像符号化部５２の総演算量及びハードウェア量はＩピクチャ符号化演算量の８倍になる。従来はどのピクチャタイプも符号化可能な４つの分割画像符号化部で符号化を行うため、ハードウェア量はＩピクチャ符号化演算時の１２倍となる。従って、本発明は従来と比較して、ハードウェア量削減に伴い、消費電力低減を実現できる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は画像データ符号化装置に係り、特にＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮符号化方式により、動画像信号などの画像データを圧縮符号化して伝送する画像データ符号化装置に関する。
【０００２】
【従来の技術】
ビデオ映像信号等の大量の動画像信号をより少ないデータ量で転送・蓄積するための動画像圧縮技術として、ＭＰＥＧ４が挙げられる。ＭＰＥＧ４は、同じ動画像圧縮技術としてよく知られているＭＰＥＧ２とは異なる領域で、低ビットレートの高圧縮率を目標とした技術であり、携帯テレビ電話、ムービーメール、インターネット配信などマルチメディアの分野で注目を浴びつつある。
【０００３】
ＭＰＥＧ４では、１枚の動画像フレームデータを水平方向および垂直方向共に８画素（すなわち、８画素×８画素）の大きさのブロックに分割し、各ブロックに対して空間的相関を利用して離散コサイン変換（以下、ＤＣＴと示す）を行い、そのＤＣＴ係数を量子化することで生成される符号に出現頻度の偏りを持たせ、出現頻度の高いものにはなるべく短い符号を、逆に出現頻度の低いものには長い符号を割り当てるという可変長符号化を行うことを基本としている。また、動き検出／動き補償により時間軸方向の相関を利用しての圧縮も行い、符号化効率を向上させている。
【０００４】
動き検出／動き補償とは、入力画像をそれぞれ重なりを持たない水平方向および垂直方向共に１６画素（すなわち、１６画素×１６画素）から構成されるマクロブロック単位に分割し、現フレーム画像内の符号化ターゲットマクロブロックを時間軸での前方向（過去）または後方向（未来）フレーム画像内の同じ位置におけるマクロブロックを中心とした、ある探索範囲内のマクロブロックと比較することにより、動き情報（動きベクトル量）を求めて、符号化効率を上げる技術である。
【０００５】
このような動画像圧縮技術を用いることにより、低ビットレ一卜でも高画質な動画像データを供給することが可能となった。ＭＰＥＧ４では、扱われている動画像サイズは現状、水平方向１７６画素、垂直方向１４４画素のＱＣＩＦサイズ（１７６画素×１４４画素）が主であるが、今後、更に大きなサイズの圧縮符号化実現が望まれる。
【０００６】
ここで、ＱＣＩＦ（Ｑｕａｒｔｅｒ ＣＩＦ）サイズの４倍であるＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ：共通中間フォーマット）サイズ（３５２画素×２８８画素）の動画像圧縮符号化実現を考える。サイズが４倍になるということは符号化処理量が４倍に増加することになり、４倍の処理高速化が必要になる。一番簡単な実現手段は動作周波数を４倍に上げることである。これにより、ＱＣＩＦサイズ動画像データを圧縮符号化可能な符号化装置を利用して、その４倍サイズであるＣＩＦサイズ動画像データの符号化処理可能となる。
【０００７】
しかしながら、このように動作周波数を上げることで、小さなサイズの動画像データの圧縮符号化装置を用いて、それよりも大きいサイズの動画像データの圧縮符号化処理を行う方法では、動作周波数を上げるのにもハードウェア上の限界がある。
【０００８】
そこで、小さなサイズの動画像データ符号化装置を用いて大画面の動画像データの符号化を行うことが可能な他の方法として、従来、動画像データの各画面を分割して並列処理で圧縮符号化を行う画像データ符号化装置が提案されている（例えば、特許文献１参照）。
【０００９】
図１９は上記の特許文献１記載の従来の画像データ符号化装置の一例のブロック図を示す。この例では、ＱＣＩＦ用符号化装置である分割画像符号化部を４つ使用してＣＩＦサイズの符号化を実現する。図１９に示す画像データ符号化装置は、動画像データ入力端子１、画面分割部２、画像符号化部３、統合ストリームデータ生成部４、符号化データ出力端子５及び制御部６から構成される。
【００１０】
動画像データ入力端子１から入力されたＣＩＦ動画像データは、画面分割部２に供給され、ここで制御部６からの制御の下に４つの分割画面に分割され、４つの分割画像データが生成される。すなわち、画面分割部２では、図２０（Ａ）に示すＣＩＦサイズ（３５２画素×２８８画素）の入力ＣＩＦ動画像データに対して、同図（Ｂ）に示すように、各分割画面同士が重複することなく、かつ、各分割画面間に隙間が無いように、各々水平方向１７６画素、垂直方向１４４画素（ライン）の４つの分割画面Ａ、Ｂ、Ｃ及びＤを示す４つの分割画像データを生成する。なお、図２０では輝度信号の画面分割の場合を示しており、色差信号については、輝度信号に対して水平方向の画素数が１／２、垂直方向のライン数が１／２になる点を除けば、輝度信号と同様である。
【００１１】
ＱＣＩＦサイズのこれら４つの分割動画像データは、図１９の分割画像符号化部３ａ、３ｂ、３ｃ、３ｄに別々に供給され、それぞれ時間的相関を利用して情報圧縮を行う動き補償予測、空間的相関を利用して情報圧縮を行う離散コサイン変換（以下、ＤＣＴと表記する）、量子化によって生成される符号の出現確率の偏りを利用して情報圧縮を行うエンロピー符号化（可変長符号化）等の処理を受けて各々が圧縮符号化され、４つの符号化データに生成される。
【００１２】
これら４つの符号化データは、統合ストリームデータ生成部４において、制御部６からの制御の下に１つのストリームデータに統合され、ストリームデータ出力端子５からストリームデータとして出力される。制御部６は、画面分割部２、分割画像符号化部３ａ〜３ｄ及び統合ストリーム生成部４の制御を行う。
【００１３】
ここで、上記の分割画像符号化部３ａ〜３ｄでは、各々が水平方向１７６画素、垂直方向１４４画素（ライン）からなる分割画像データの符号化を行うが、分割画像データを構成する画面サイズはＱＣＩＦと同等であるため、分割画像符号化部３ａ〜３ｄとしてＱＣＩＦサイズの符号化装置を使用することが可能である。
【００１４】
また、各分割画像符号化部３ａ〜３ｄにおいては、動き補償予測を各分割画面内、つまり、分割画面外への動きベクトル探索を禁止して図２０（Ｂ）に示した各分割画面内で動き補償予測を行う。動き補償予測とは、１６画素×１６画素から構成されるマクロブロック単位で符号化対象画面に対し、時間軸での前方向（過去）または後方向（未来）フレーム画像からの予測により動き量を求めて、符号化効率を上げる技術である。
【００１５】
ここで、ＭＰＥＧのピクチャタイプについて説明する。ＭＰＥＧでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３つのタイプのピクチャが規定されている。Ｉピクチャは、フレーム内符号化、つまり他のフレームを参照せずに符号化される画像であり、動き補償予測の対象とならない。また、Ｐピクチャは、前方予測、つまり前方向フレームの参照により、動き補償予測の施される画像である。更に、Ｂピクチャは、双方向予測を行う画像であり、前方向及び後方向フレームの参照により、動き補償予測の施される画像である。
【００１６】
従って、他のフレームを動き補償予測するために参照されるフレームのピクチャタイプは、Ｉピクチャ及びＰピクチャである。Ｂピクチャは参照されない。つまり、Ｐピクチャを動き補償予測するために参照されるフレームは、前方向のＩピクチャまたはＰピクチャである。また、Ｂピクチャを動き補償予測するためには、前方向フレーム（ＩピクチャまたはＰピクチャ）及び後方向フレーム（ＩピクチャまたはＰピクチャ）が参照される。
【００１７】
従って、Ｂピクチャを動き補償予測する処理は、入力される画像信号中で後方向の位置にあるフレーム（ＩピクチャまたはＰピクチャ）が処理された後においてのみ行うことができる。このため、入力されるフレーム画像の順序は、処理される順序とは異なる。そこで、入力の各フレーム画像の順序の並べ替えが必要になり、この並べ替えを行うために、入力されるフレーム画像を一時的に記憶しておくメモリが必要となる。また、このメモリは、動き補償予測を行うために参照されるＩピクチャまたはＰピクチャを記憶する役割も果たす。なお、図１９では、このようなフレーム画像及びピクチャ画像を記憶するメモリの図示は省略している。
【００１８】
以上の処理について、図２１、図２２を用いて更に説明する。なお、図２１中のＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを示し、Ｉ，Ｐ，Ｂ文字の添え字は符号化ターゲットとなるフレームナンバーを示す。例えば、Ｉ１は、１フレーム目を符号化した場合のＩピクチャを示す。また、図２２中のＩ，Ｐ，Ｂ文字の２桁の添え字のうち、左側の添え字は符号化ターゲットとなるフレームナンバーを示し、右側の添え字は符号化ターゲットとなるフレームを分割した場合の各分割画面を示す。例えば、Ｉ１Ａは、１フレーム目の、図２０で示す分割画面Ａを符号化した場合のＩピクチャを示す。
【００１９】
図２１に示すように、１フレーム目（図中、１ｆと表記）から７フレーム目（図中、７ｆと表記）までの計７フレーム画像を１フレーム目から順にＩ、Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐピクチャに符号化する場合を考える。Ｉ１ピクチャ符号化時には１フレーム目（１ｆ）のみ用いられ、Ｐ４ピクチャ符号化時には４フレーム目（４ｆ）及び動き補償フレーム問予測のためにＩ１ピクチャが用いられ、Ｂ２ピクチャ符号化時には２フレーム目（２ｆ）及び動き補償フレーム間予測のためにＩ１ピクチャ及びＰ４ピクチャが用いられる。
【００２０】
ここでの符号化は４分割画面毎に行われるため、１フレーム目（１ｆ）のＩ１ピクチャ符号化は、図２２に示すように、Ｉ１Ａ、Ｉ１Ｂ、Ｉ１Ｃ、Ｉ１Ｄピクチャ符号化の４並列処理で行う。以後、同様に図２２に示すように４並列の符号化処理を繰り返す。
【００２１】
ＭＰＥＧのデータ構造は、周知のようにシーケンス、ＧＯＰ、ピクチャ、スライス、マクロブロック及びブロックの各レイヤから構成されており、ブロックレイヤを除く各レイヤの先頭にはヘッダが存在する。なお、スライス、マクロブロックには厳密にはヘッダという呼び方はないが、ここではこれらレイヤの先頭情報も全てヘッダと呼ぶことにする。図１９に示した分割画像符号化部３ａ〜３ｄにおいては、これらレイヤのうちピクチャ以上のレイヤ、つまりシーケンス、ＧＯＰ及びピクチャの各レイヤの符号化パラメータ情報を全ての分割画像符号化部３ａ〜３ｄで共通にして符号化する。
【００２２】
次に、図２３を用いて図１９の統合ストリーム生成部４での４つのストリームデータを統合する方法について更に説明する。まず、ピクチャレイヤ以上のレイヤに関して、４つのビデオストリームに別々についているヘッダ類、つまりシーケンスヘッダ、ＧＯＰヘッダ及びピクチャヘッダを１つに統合する。この際、シーケンスレイヤのパラメータ、例えば画像サイズ情報（水平方向画素サイズ、垂直方向画素サイズ）、アスペクト比情報、ビットレート情報等を置換して、各分割画面に対応した値ではなくＣＩＦ画面に対応した値に修正する。
【００２３】
そして、ＣＩＦ画面としての各ピクチャについて、基本的にスライス単位でストリームデータの統合を行う。つまり、元のＣＩＦ画面上でのラスタスキャン順に対応して、各ストリームデータのスライスを結合する。このよう子を図２３に示す。ＣＩＦ画面のある１枚のピクチャについて、図２３に示すように４個の各分割画面毎にそれぞれＡ１，Ａ２，Ａ３，・・・、Ｂ１，Ｂ２，Ｂ３，・・・、Ｃ１，Ｃ２，・・・、Ｄ１，Ｄ２，Ｄ３，・・・というように、スライスが分割されて符号化されているものとする。
【００２４】
この時、各分割画像符号化部３ａ〜３ｄから出力されるストリームデータの中のこのピクチャに対応する部分について、まず図２０の分割画面Ａ，Ｂに対応するストリームデータのスライスヘッダを境界にして時分割多重を行う。図２３の例ではＡ１，Ｂ１，Ｂ２，Ａ２，Ａ３，Ｂ３，・・・というように、左上からスタートして１行が分割画面Ａの右端まで達したら、右隣の分割画面Ｂの左端につなぎ、分割画面Ｂの右端まで達したら、次の行の分割画面Ａの左端につなぐ。最後に、分割画面Ｃの右下端に達したら、更に下半分の分割画面Ｃ，Ｄに対応するストリームデータについても同様にスライスを単位とした左上から右下へのラスタスキャン順の時分割多重を行う。つまり、図２３の例ではＣ１，Ｃ２，Ｄ１，Ｃ３，Ｄ２，Ｄ３・・・という順に多重する。この際、各分割画像符号化部３ａ〜３ｄの出力ビデオストリームを一時記憶部（遅延器）にそれぞれ一時格納することにより、スムーズな多重が行われるようにすることが望ましい。
【００２５】
更に、スライスヘッダに含まれる情報のうち、図２０の分割画面Ｃ，Ｄのスライス垂直位置情報に、１分割画面の垂直マクロブロック数に相当する９（＝１４４／１６）を加算する。また、スライス先頭のマクロブロックヘッダに含まれる情報のうち、マクロブロックアドレスインクリメントを修正する。修正方法は、図２０の分割画面ＡとＣについては修正無し、ＢとＤについては１分割画面の水平マクロブロック数に相当する１１（＝１７６／１６）を加算する。このようにして、スライス垂直位置、及びスライス先頭のマクロブロックアドレスインクリメントを分割画面上での値からＣＩＦ画面上での値に換算することができる。
【００２６】
以上の一連の処理の結果、得られる統合後のストリームデータは、正規のＣＩＦ動画像データの１つのストリームデータとなる。このように、ＱＣＩＦ符号化装置を用いることで、その４倍サイズとなるＣＩＦサイズの動画像符号化において、動作周波数を上げることなく実現できる。
【００２７】
しかしながら、入力の各フレーム画像の順序の並べ替えを行うために、入力されるフレーム画像を一時的に記憶しておくメモリには、動画像データの符号化条件に応じて、数フレームから数十フレームの容量が必要とされる。従って、この大容量のメモリのコストがシステム全体のコストを上昇させる要因となり、メモリ容量の削減が求められていた。
【００２８】
そこで、従来、上記のメモリ容量を削減した画像データ符号化装置が提案されている（例えば、特許文献２参照）。この特許文献２記載の従来の画像データ圧縮符号化装置は、入力画像データをそのままメモリに記憶するのではなく、圧縮してメモリに記憶し、符号時には必要なデータを伸張して取り出し、符号化処理を行うという構成である。
【００２９】
図２４は上記の特許文献２記載の従来の画像データ符号化装置の一例のブロック図を示す。この従来の画像データ符号化装置は、圧縮回路１１、メモリ１２、伸張回路１３、符号化回路１４（動き検出／動き補償回路１４ａ、減算器１４ｂ、ＤＣＴ／量子化回路１４ｃ、逆量子化／逆ＤＣＴ回路１４ｄ、加算器１４ｅ、可変長符号化回路１４ｆ）、バッファ１５及び制御回路２３から構成される。
【００３０】
圧縮回路１１は、例えば（４：２：２）から（４：２：０）への変換処理等が施された入力動画像データを後述するように圧縮処理し、メモリ１２に記憶する。なお、圧縮回路１１における圧縮処理は、ＭＰＥＧ等の規定に従って行われるメインの圧縮符号化処理とは異なるもので、メモリ１２の容量削減のために行う。伸張回路１３は、符号化を開始するために必要な量の圧縮された画像データがメモリ１２に記憶された後、後述するようにして、メモリ１２内の圧縮された画像データ、つまり、メインの圧縮符号化処理を行う画像データを元のデータに復元する。そして、復元した画像データを動き検出／動き補償回路１４ａに出力する。なお、画像データを復元する際、前述したように、入力される各フレームの順序の並べ替えが行われる。
【００３１】
動き検出／動き補償回路１４ａは、動き検出／動き補償処理を行う。つまり、伸張回路１３から供給されたデータ（メインの圧縮符号化を行う画像データ）をメモリ１２から供給されるローカルデコード画像との間で動き検出を行い、その結果得られるデータ（予測画像データ）と入力画像データとの差分（予測誤差）を減算器１４ｂでとる動き補償を行わせることによって、時間的相関を利用した情報圧縮を行う。なお、フレーム内符号化であるＩピクチャの場合は、動き検出／動き補償処理を行わないため、伸張回路１３から供給された画像データはそのまま減算器１４ｂを通してＤＣＴ／量子化回路１４ｃに供給される。
【００３２】
ＤＣＴ／量子化回路１４ｃでは、減算器１４ｃから供給されたデータにＤＣＴを施し、その結果を量子化することで、空間的相関を利用した情報圧縮が行われる。ＤＣＴ／量子化回路１４ｃによって符号化されたデータは、可変長符号化回路１４ｆに供給されると共に、逆量子化／逆ＤＣＴ回路１４ｄにも供給される。逆量子化／逆ＤＣＴ回路１４ｄは、後述するように動き検出／動き補償回路１４ａの処理で参照されるローカルデコード画像を生成するために、ＤＣＴ／量子化回路１４ｂとは逆の処理を行う。
【００３３】
逆量子化／逆ＤＣＴ回路１４ｄの出力データは、動き検出／動き補償回路１４ａから供給される予測画像データと加算器１４ｅで加算され、その加算結果から、動き検出／動き補償回路１４ａの処理で参照されるローカルデコード画像が生成される。このローカルデコード画像はメモリ１２に非圧縮のまま記憶される。なお、Ｉピクチャ符号化の場合は、動き検出／動き補償処理を行わないため、逆量子化／逆ＤＣＴ回路１４ｄの出力がそのまま、画像メモリ１２に非圧縮のまま記憶される。また、前述したようにＭＰＥＧには、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３つがあるが、他のフレームを動き検出／動き補償するために参照されるフレームのピクチャタイプは、Ｉピクチャ及びＰピクチャであり、Ｂピクチャは参照されない。従って、Ｂピクチャ符号化時はローカルデコード画像が生成されない。
【００３４】
一般に、あるデータを圧縮／伸張処理した場合、完全に元に復元することは無く、ある程度の誤差を含む。この誤差は、要求される品質に対して許容範囲内であれば問題とならない。しかし、ローカルデコード画像は他フレームの符号化に使用されるため、ローカルデコード画像を圧縮／伸張処理すると、圧縮／伸張によって生じた誤差は画像信号の広範な部分の符号化に影響を与え、伝送される画像の品質を低下させる要因となる恐れがある。従って、前述したように、ローカルデコード画像に対しては圧縮／伸張処理を行わない。
【００３５】
一方、可変長符号化回路１４ｆは、ＤＣＴ／量子化回路１４ｃの処理の結果生成された値に対して、出現確率の低い値に長い符号長を割り当て、かつ、出現確率の高い値に短い符号長を割り当てることによって、データ全体の符号量を減らすようにした可変長符号化を行う。可変長符号化回路１４ｆが生成するデータは、圧縮符号化データとしてバッファ１５に記憶され、所定の伝送タイミングでビットストリームとして出力される。制御部１６は全体の制御を司る。
【００３６】
次に、圧縮回路１１による圧縮処理について詳細に説明する。この圧縮処理は、例えば差分パルス符号変調（以下、ＤＰＣＭと表記する）によって行われる。ＤＰＣＭとは、直前に処理した左側の画素（左から右へ走査）と差分をとることで、統計的偏りを持たせて符号量削減を図る符号化方法である。ＤＰＣＭは高い圧縮効果は得られないが、簡単な処理で行うことができる。
【００３７】
５画素分に相当する４０ビット（つまり、８（ビット／画素）×５画素＝４０ビット）を３２ビットに圧縮する場合の圧縮回路１１の構成を示すブロック図を図２５に示す。同図において、制御回路２３は、スイッチ２２、スイッチ２７及びマルチプレクサ（図中、ＭＵＸと表記）２４の制御を行い、各画素を単位として、供給先を切替える。
【００３８】
画像データは、画素毎、つまり８ビット単位で供給される。１番目の画素データの供給時には、制御回路２３の制御によりスイッチ２２が端子ａ側に接続されて入力画像データをそのまま、マルチプレクサ２４、逆量子化回路２５及びスイッチ２７に供給する。更に、１番目の画素データの供給時には、制御回路２３の制御により、スイッチ２７が端子ａ側に接続されるため、スイッチ２７を通してフリッププロップ（図中、ＦＦと表記）２８に供給され、記憶される。
【００３９】
２番目の画素データが供給されると、２番目の画素データと、既にフリッププロップ２８に記憶されている１番目の画素データとの差分が減算器２０によって計算される。この差分が量子化回路２１に供給され、８ビットから６ビットに量子化される。また、２番目の画素データの供給時には、制御回路２３の制御により、スイッチ２２が端子ｂ側に切り替え接続されるため、量子化回路２１で６ビットに量子化されたデータはスイッチ２２を通してマルチプレクサ２４に供給されると共に、逆量子化器２５にも供給される。
【００４０】
逆量子化器２５は、供給された６ビットのデータを逆量子化して加算器２６に供給し、ここでフリッププロップ２８に記憶されていた１番目の画素データと加算して、２番目の画素データを復元する。また、２番目の画素データの供給時には、制御回路２３の制御により、スイッチ２７が端子ｂ側に切り替え接続されるため、加算器２６により得られた加算結果、つまり復元された２番目の画素データがスイッチ２７を通してフリップフロップ２８に供給されて記憶される。このようにして、フリップフロップ２８に記憶された復元された画素データは、次に入力される画素データを処理する際に減算器２０及び加算器２６において用いられる。
【００４１】
更に、３番目〜５番目までの画素データも２番目の画素データと同様に処理され、各々６ビットのデータとなる。この結果、５画素分のデータ（４０ビット）が３２ビットのデータに圧縮され、マルチプレクサ２４から図２４のメモリ１２に供給されて記憶される。
【００４２】
６番目以降の画素データについても、同様に５画素分の４０ビットのデータを処理単位として、３２ビットのデータに圧縮することが行われる。従って、圧縮回路１１に入力される画像データに対して、常に４／５の圧縮が施されてメモリ１２に記録されることになり、その結果、メモリ１２内における入力画像データの記憶容量を４／５に削減することができる。
【００４３】
次に、伸張回路１３の伸張処理について詳細に説明する。この伸張処理は、圧縮回路１１による圧縮処理の逆処理を行うものであり、３２ビットのデータを元の４０ビットのデータに復元する。図２６は伸張回路１３の一例のブロック図を示す。同図において、制御回路３３は、デマルチプレクサ（図中、ＤＥＭＵＸと表記）３０及びスイッチ３４によって、画素の供給先を制御する。
【００４４】
図２４のメモリ１２から供給された３２ビットデータがデマルチプレクサ３０に供給される。デマルチプレクサ３０は、供給された３２ビットデータのうちの８ビットの画素データ（圧縮回路１１の処理において、ビット長が８ビットのままとされる画素データ、つまり処理単位とされる５画素のうちの最初の画素データ）が１番目に処理され、その後２番目以降に６ビットのデータが順に処理されるように、後段に画素データを供給する。
【００４５】
デマルチプレクサ３０から１番目のデータとして８ビットのデータが出力される時には、制御回路３３の制御によって、スイッチ３４が端子ａ側に接続されるため、８ビットのデータは、伸張回路１３をそのまま通過すると共に、フリップフロップ３５に記憶される。次に、デマルチプレクサ３０から２番目のデータとして６ビットのデータが出力される時には、逆量子化回路３１によって６ビットのデータが逆量子化され、加算器３２に供給される。加算器３２は、逆量子化回路３１から供給されるデータと、フリップフロップ３５に記憶された１番目のデータとを加算し、２番目のデータを復元する。
【００４６】
デマルチプレクサ３０から２番目のデータとして６ビットのデータが出力される時には、制御回路３３の制御によって、スイッチ３４が端子ｂ側に切り替え接続されるため、加算器３２の出力データ、つまり復元された２番目の画素データは、伸張回路１３から出力されると共に、フリップフロップ３５に記憶される。このようにして、フリップフロップ３５に記憶された復元された画素データは、次に入力される画素データを処理する際に加算器３２において用いられる。
【００４７】
その後、第３番目〜第５番目のデータについても同様な処理が行われる。この結果、３２ビットのデータが４０ビットのデータに伸張され、８ビット／画素の５画素分のデータに復元する。以降、同様にして、３２ビットのデータを１単位として、４０ビット、つまり５画素分のデータに復元することが行われる。従って、伸張回路１３に入力される圧縮データについて、常に５／４の伸張処理が施される。このように、メインの圧縮符号化処理とは異なる圧縮処理（ＤＰＣＭ）を入力動画像データに対して行うことで、メモリ容量の削減を実現できる。
【００４８】
ところで、前述したように、ＭＰＥＧでは動き検出／動き補償を施すことでフレーム間符号化を行い、符号化効率を上げているが、複雑で速い動きが画像中にある場合、動き検出／動き補償が有効に働かず、符号化出力量が大きくなると共に、量子化歪等が発生して画質劣化の問題が発生する。
【００４９】
この改善手法として、プリフィルタの最適通過帯域と量子化ステップサイズを適応的に決定するプリフィルタ処理を取り入れた画像データ符号化装置が従来、提案されている（例えば、特許文献３参照）。
【００５０】
図２７は特許文献３記載の従来の画像データ符号化装置の一例のブロック図を示す。この従来の画像データ符号化装置は、メモリ４１、可変プリフィルタ４２（プリフィルタ４２ａ、フィルタ制御部４２ｂ）、符号化回路４３（動き補償／動き検出部４３ａ、減算器４３ｂ、ＤＣＴ回路４３ｃ、量子化回路４３ｄ、逆量子化回路４３ｅ、逆ＤＣＴ回路４３ｆ、加算器４３ｇ、可変長符号化回路４３ｈ、バッファ４３ｉ）から構成される。
【００５１】
前述したように、ＭＰＥＧでは、入力されるフレーム画像の順序は、処理される順序とは異なるため、入力の各フレーム画像の順序の並べ替えが必要になり、この並べ替えを行うために、入力フレーム画像を一時的に記憶しておくメモリが必要とされ、メモリ４１をその用途に用いる。また、メモリ４１にはローカルデコード画像を記憶するためにも用いる。すなわち、メモリ４１は、動き検出／動き補償を行うために必要な複数枚の画像データ及び後述するローカルデコード画像を記憶する。
【００５２】
可変プリフィルタ４２は、メモリ４１から読み出された動画像データを入力信号として受け、後述するように、入力信号、量子化ステップサイズ等を参照することにより、符号化出力レートの予測と同時に画質のバランスを考慮して、プリフィルタ４２ａの最適通過帯域と量子化ステップサイズを適応的に決定し、入力画像データに対してローパスフィルタリングを施し、符号化回路４３へ出力する。
【００５３】
符号化回路４３では、まず、動き検出／動き補償部４３ａにより、動き検出／動き補償処理を行う。つまり、可変プリフィルタ４２ａによりローパスフィルタリングを施された入力原画像と後述するローカルデコード画像との間で動き検出を行い、その結果得られるデータ（予測画像データ）を出力して減算器４３ｂで入力減画像データとの差分（予測誤差）をとる動き補償を行う。これにより、時間的相関を利用した情報圧縮を行う。なお、フレーム内符号化であるＩピクチャの場合は、動き検出／動き補償処理を行わないため、画像データはそのままＤＣＴ回路４３ｃに供給される。
【００５４】
ＤＣＴ回路４３ｃは入力されたデータにＤＣＴを施し、得られたＤＣＴ係数を量子化回路４３ｄに供給して量子化させることで、空間的相関を利用した情報圧縮が行われる。ＤＣＴ回路４３ｃ及び量子化回路４３ｄによって符号化されたデータは、可変長符号化回路４３ｈに供給されると共に、逆量子化回路４３ｅにも供給される。
【００５５】
可変長符号化回路４３ｈでは、ＤＣＴ回路４３ｃ及び量子化回路４３ｄによって符号化されたデータの値に対して、出現確率の低い値に長い符号長を割り当て、かつ、出現確率の高い値に短い符号長を割り当てることによって、データ全体の符号量を減らすようにした可変長符号化を施す。可変長符号化回路４３ｈが生成した圧縮符号化データは、バッファ４３ｉに一時記憶された後、所定の伝送タイミングでビットストリームとして出力される。
【００５６】
一方、逆量子化回路４３ｅ及び逆ＤＣＴ回路４３ｆでは、量子化回路４３ｄから供給されるデータに逆量子化／逆ＤＣＴを行う。逆ＤＣＴ回路４３ｆの出力データは、加算器４３ｇで動き検出／動き補償部４３ａから供給される予測画像データと加算され、動き検出／動き補償部４３ａの処理で参照されるローカルデコード画像が生成される。このローカルデコード画像はメモリ４１に記憶される。
【００５７】
なお、Ｉピクチャ符号化の場合は、動き検出／動き補償処理を行わないため、逆ＤＣＴ回路４３ｆの出力がそのまま、画像メモリ４１に記憶される。また、前述したようにＭＰＥＧには、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３つがあるが、他のフレームを動き検出／動き補償するために参照されるフレームのピクチャタイプは、Ｉピクチャ及びＰピクチャであり、Ｂピクチャは参照されない。従って、Ｂピクチャ符号化時はローカルデコード画像が生成されない。
【００５８】
次に、可変プリフィルタ４２の動作について詳細に説明する。プリフィルタ４２ａは、フィルタ制御部４２ｂより与えられる通過帯域パラメータ（以下、ｋと記す）に基づく図２８に示す式で表される構成により、入力画像データに対し、適応的に特性を変化させたローパスフィルタリングを行う。
【００５９】
フィルタ制御部４２ｂは、図２９に示すように、出力レート関数（以下、関数ｆ１と記す）決定部４２１ｂ、関数ｆ１の係数更新部４２２ｂ、画質バランス関数（以下、関数ｆ２と記す）入力部４２３ｂ、パラメータ決定部４２４ｂ、量子化ステップサイズ（以下、Ｑと記す）制御部４２５ｂから構成される。
【００６０】
出力レート関数決定部４２１ｂは、ｋ、Ｑ、後述する動き量パラメータ（以下、ｒと記す）、符号化出力レート（以下、Ｊと記す）との相互関係を記述する関数ｆ１を決定する。出力レート関数係数更新部４２２ｂは、過去に符号化された画像フレームに関するｋ、Ｑ、ｒ、Ｊに基づき、関数ｆ１に含まれる係数を更新する。画質バランス関数入力部４２３ｂは、入力画像帯域の制限による鮮鋭度の劣化と量子化による符号化歪による画質劣化のバランスを考慮する関数ｆ２の入力を行う。量子化ステップサイズ制御部４２５ｂは、ｋ更新タイミング以外のタイミングにおける量子化ステップサイズＱ′を決定する。
【００６１】
パラメータ決定部４２４ｂは、ｋの更新タイミングにおいて、関数ｆ１及び関数ｆ２より後述する共通解（ｋ、Ｑ）を求める。
【００６２】
関数ｆ１、関数ｆ２は例えば、式（１）、式（２）として表現される。
【００６３】
Ｊ＝α・（ｋ＋β）・（１／Ｑ＋γ）・（ｒ＋δ） ・・・式（１）
Ｑ＝ζ／ｋ＋η ・・・式（２）
（但し、α，β，γ，δ，ζ，ηは定数）
これらは、通常、図３０に示すように共通解（ｋ、Ｑ）を持つ。
【００６４】
また、動き量パラメータｒは例えば、図３１に示すような、差分器４６、絶対値演算器４７、比較器４８、カウンタ４９から構成される測定部により求められる。差分器４７は、入力原画像とローカルデコード画像とのフレーム間の画素毎の差分値ｄを求める。絶対値演算器４７は、差分値ｄの絶対値｜ｄ｜を求める。比較器４８は、この｜ｄ｜と閾値ｄ０とを比較し、｜ｄ｜≧ｄ０の不等式を満足する画素の場合、カウンタ４９に信号を送り、カウントさせる。カウンタ４９は上記条件を満たす画素の割合ｒ（％）を動き量パラメータとして出力する。
【００６５】
以上のように、特許文献３記載の従来の画像データ符号化装置では、入力データの性質を利用し、量子化歪とローパスフィルタによる鮮鋭度劣化のバランスを考慮することにより、最適画質を決定するようにフィルタ特性を適応的に変化させてプリフィルタ処理を施すことで、画質劣化の少ない符号化を実現する。
【００６６】
【特許文献１】
特開平１０−２３４０４３号公報
【特許文献２】
特開平１０−２７１５１６号公報
【特許文献３】
特開平６−２２５７８号公報
【００６７】
【発明が解決しようとする課題】
しかるに、図１９に示した従来の画像データ符号化装置では、ＣＩＦサイズの動画像符号化を、動作周波数を上げることなく実現するために、ＱＣＩＦ符号化装置である分割画像符号化部３ａ〜３ｄを４つ用いるため、消費電力が４倍となる。この消費電力の増加は、携帯電話といったモバイル機器などにも採用されているＭＰＥＧ４にとって大きな問題である。
【００６８】
また、図２４に示した従来の画像データ符号化装置では、メモリ容量削減のためにメインの圧縮符号化処理とは異なる圧縮処理の手法として、ＤＰＣＭを用いているが、この符号化方式では高い圧縮効果を得ることはできない。前述したように、入力の各フレーム画像の順序の並べ替えを行うために、入力されるフレーム画像を一時的に記憶しておくために、数フレームから数十フレームという大容量のメモリが必要であり、その大容量のメモリのコストがシステム全体のコストを上昇させる要因となり、メモリ容量の削減が求められている。
【００６９】
これは、図２７に示した従来の画像データ符号化装置において、符号化回路４３の動画像圧縮方式として低ビットレートの高圧縮率を目標としたＭＰＥＧ４を用いた場合も同様である。特に、ＭＰＥＧ４は、携帯テレビ電話、ムービーメール、インターネット配信などマルチメディアの分野で注目を浴びつつあり、モバイル機器にも多く採用されており、そのため、ＭＰＥＧ４処理回路に対して、基板の縮小化、消費電力低減、コスト低減などが求められている。従って、圧縮符号化時に必要なメモリ容量の更なる削減が望まれる。
【００７０】
本発明は上記課題を解決するためになされたもので、処理内容を一部変更することで、消費電力の上昇を抑えつつ、より大きな画面構成の画像データの符号化を行い得る画像データ符号化装置を提供することを目的とする。
【００７１】
また、本発明の他の目的は、入力画像データを効率良く圧縮符号化することで、メモリ容量を効率良く削減し、基板の縮小化、消費電力低減と、コストの低減を実現し得る画像データ符号化装置を提供することにある。
【００７２】
更に、本発明の他の目的は、ローパスフィルタリング効果を得ると同時に、入力画像データを圧縮符号化して、動き検出／動き補償のためにフレーム画像の順序の並べ替えに必要なメモリ容量を削減することで、基板の縮小化、消費電力低減とコストの低減を実現し得る画像データ符号化装置を提供することにある。
【００７３】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像データ符号化装置は、供給される入力動画像信号により構成される一画面を複数の画面に分割して、複数の分割画面に対応した複数の分割画像信号を出力する分割手段と、複数の分割画像信号を記憶する記憶手段と、記憶手段から供給される複数の分割画像信号に対し、符号化モードの種別毎に並列に符号化を行うと共に、複数の分割画像信号に対して分割画面毎に符号化を時分割で行って得た複数の符号化データを記憶手段に記憶する分割画像符号化手段と、記憶手段より出力された複数の符号化データを、１つの画像データに統合する統合手段と、記憶手段、分割画像符号化手段及び統合手段を制御する制御手段とを有する構成としたものである。
【００７４】
この発明では、入力動画像信号の画面サイズよりも画面サイズの小さな複数の分割画面に各々に対応した複数の分割画像信号を別々に、互いに独立して符号化する複数の分割画像符号化回路を有するのではなく、複数の分割画像信号に対し、符号化モードの種別毎に並列に符号化を行うと共に、複数の分割画像信号に対して分割画面毎に符号化を時分割で行って複数の符号化データを得るようにしたため、互いに独立して符号化する複数の分割画像符号化回路の構成に比べて、ハードウェア量の削減ができる。
【００７５】
また、上記の目的を達成するため、第２の発明の画像データ符号化装置は、画像データを圧縮符号化処理して圧縮画像データを出力する圧縮回路と、少なくとも圧縮回路から出力された圧縮画像データを所定の容量分記憶する記憶手段と、記憶手段から読み出された圧縮画像データに対して、圧縮回路とは逆の処理を施して圧縮される前の元の画像データに伸張処理して記憶手段に記憶する伸張回路と、記憶手段から読み出された伸張回路によって伸張された画像データ及び動き補償を行うために上記の伸張された画像データを用いて生成したローカルデコード画像信号に基づいて、伸張された画像データを符号化する符号化回路と、圧縮画像データを記憶手段に記憶し、記憶手段に記憶された圧縮画像データを読み出して伸張回路に供給し、伸張回路により伸張して得られた元の画像データを記憶手段に記憶する第１の制御回路と、記憶手段に記憶された元の画像データとローカルデコード画像信号を読み出して符号化回路に供給すると共に、符号化回路の動作を制御し、符号化回路により符号化データと共に得られたローカルデコード画像信号を記憶手段に記憶する第２の制御回路とを有する構成としたものである。
【００７６】
この発明では、符号化回路によるメインの符号化処理とは別に、入力画像データに対して圧縮回路により圧縮効果の高い圧縮符号化処理を施して得た圧縮画像データを記憶手段に一旦記憶した後、その圧縮画像データを伸張回路により伸張処理して圧縮符号化時の並べ替えを行って得た元の画像データに対して符号化回路により符号化するようにしたため、圧縮符号化時の並べ替えのために必要なメモリ容量を削減できる。
【００７７】
また、上記の目的を達成するため、第３の発明の画像データ符号化装置は、画像データを圧縮符号化処理すると共に、所定のフィルタリングを施した圧縮画像データを出力するプリフィルタ／圧縮回路と、少なくともプリフィルタ／圧縮回路から出力された圧縮画像データを所定の容量分記憶する記憶手段と、記憶手段から読み出された圧縮画像データに対して、プリフィルタ／圧縮回路とは逆の処理を施して圧縮される前の元の画像データに伸張処理して記憶手段に記憶する伸張回路と、記憶手段から読み出された伸張回路によって伸張された画像データ及び動き補償を行うために上記の伸張された画像データを用いて生成したローカルデコード画像信号に基づいて、伸張された画像データを符号化する符号化回路と、圧縮画像データを記憶手段に記憶し、記憶手段に記憶された圧縮画像データを読み出して伸張回路に供給し、伸張回路により伸張して得られた元の画像データを記憶手段に記憶する第１の制御回路と、記憶手段に記憶された元の画像データとローカルデコード画像信号を読み出して符号化回路に供給すると共に、符号化回路の動作を制御し、符号化回路により符号化データと共に得られたローカルデコード画像信号を記憶手段に記憶する第２の制御回路とを有する構成としたものである。
【００７８】
この発明では、符号化回路によるメインの符号化処理とは別に、入力画像データに対してプリフィルタ／圧縮回路により画像データを圧縮符号化処理すると共に、所定のフィルタリングを施して得た圧縮画像データを記憶手段に一旦記憶した後、その圧縮画像データを伸張回路により伸張処理して圧縮符号化時の並べ替えを行って得た元の画像データに対して符号化回路により符号化するようにしたため、圧縮符号化時の並べ替えのために必要なメモリ容量を削減できると共に、符号化回路によるメインの符号化処理をより効率良く行うことができる。
【００７９】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【００８０】
＜第１の実施の形態＞
図１は本発明になる画像データ符号化装置の第１の実施の形態のブロック図を示す。同図中、図１９に示した従来の画像データ符号化装置と同一構成部分には同一の符号を付してある。図１に示す第１の実施の形態の画像データ符号化装置は、動画像データ入力端子１、画面分割部２、画像メモリ５１、分割画像符号化部５２、統合ストリームデータ生成部４、符号化データ出力端子５及び制御部５３から構成されている。
【００８１】
画像メモリ５１は複数枚のフレーム画像が画面分割部２により分割された分割画像データとして記憶されている。また、動き補償予測に参照されるＩ，Ｐピクチャ画像及びストリームデータが一時的に記憶される。分割画像符号化部５２は、分割画像Ｉピクチャ符号化部５２ａ、分割画像Ｐピクチャ符号化部５２ｂ、分割画像Ｂピクチャ符号化部５２ｃ及び分割画像Ｂピクチャ符号化部５２ｄから構成される。
【００８２】
分割画像Ｉピクチャ符号化部５２ａは、画面分割された分割画像に対し、Ｉピクチャ符号化のみを行うことができるＩピクチャ専用分割画像符号化部である。つまり、この分割画像符号化部５２ａではＰピクチャ及びＢピクチャ符号化を行うことはできない。分割画像Ｐピクチャ符号化部５２ｂは、画面分割された分割画像に対し、Ｐピクチャ符号化を行うことができるＰピクチャ専用分割画像符号化部である。つまり、この分割画像符号化部ではＢピクチャ符号化を行うことはできない。また、分割画像Ｂピクチャ符号化部５２ｃ及び５２ｄは、画面分劃された分割画像に対し、Ｂピクチャ符号化を行うことができるＢピクチャ専用分割画像符号化部である。
【００８３】
このように、図１９に示した従来装置における符号化部３がＩ、Ｐ，Ｂピクチャの、全ての符号化を行うことができる分割画像符号化部であるのに対し、本実施の形態の分割画像符号化部５２ではピクチャタイプに応じて、それぞれ専用の分割画像符号化部で符号化を行うこととしている。制御部５３は、画面分割部２、画像メモリ５１、分割画像符号化部５２及び統合ストリーム生成部４の制御を行う。
【００８４】
次に、図１の各部の構成及び動作について詳細に説明する。図１の画面分割部２では、従来装置と同様に、動画像データ入力端子１から入力された図２０（Ａ）に示した画素構成のＣＩＦ動画像データを、図２０（Ｂ）に示した４つのＱＣＩＦサイズの分割画面の分割画像データに分割して画像メモリ５１に供給して記憶する。以後同様な処理を繰返すことにより、画像メモリ５１には複数枚の入力動画像データがそれぞれ４つの分割動画像データに分割されて記憶される。
【００８５】
分割画像Ｉピクチャ符号化部５２ａはＩピクチャ専用の符号化部で、画像メモリ５１より符号化ターゲットとなる分割画像データが読み込まれ、その分割画像データに対してＤＣＴ，量子化、可変長符号化などのＭＰＥＧに基づく圧縮符号化処理を施し、符号化結果を画像メモリ５１に記憶する。また、後続の分割画像符号化時に動き補償予測の参照画像とされるＩピクチャも画像メモリ５１に記憶される。
【００８６】
分割画像Ｐピクチャ符号化部５２ｂはＰピクチャ専用の符号化部で、画像メモリ５１より符号化ターゲットとなる分割画像データ及び動き補償予測の参照画像とされる前方向のＩピクチャまたはＰピクチャが読み込まれ、その入力データに対して動き補償予測、ＤＣＴ，量子化、可変長符号化などのＭＰＥＧに基づく圧縮符号化処理を施し、符号化結果を画像メモリ５１に記憶する。また、後続の分割画像符号化時に参照画像とされるＰピクチャも画像メモリ５１に記憶される。動き補償予測は図１９の従来装置と同様に各分割画面内で行われるものとする。
【００８７】
分割画像Ｂピクチャ符号化部５２ｃ及び５２ｄはＢピクチャ専用の符号化部で、画像メモリ５１より符号化ターゲットとなる分割画像データ及び動き補償予測の参照画像とされる前方向と後方向のＩピクチャまたはＰピクチャが読み込まれ、その入力データに対して動き補償予測、ＤＣＴ、量子化、可変長符号化などの処理を施し、符号化結果を画像メモリ５１に記憶する。
【００８８】
以上の処理について、図２１、図２を用いて具体的に説明する。図１９に示した従来装置での符号化時の説明と同様に図２１に示すような符号化を考える。１フレーム目（１ｆ）はＩピクチャ符号化であるため、まず、１フレーム目（１ｆ）の４つの分割画像データの一枚目が、図１の画像メモリ５１より分割画像Ｉピクチャ符号化部５２ａに読み込まれ、符号化処理される。符号化結果は画像メモリ５１に一時記憶される。また、この時、後続の分割画像符号化時に動き補償予測の参照画像とされるＩ１Ａピクチャも画像メモリ５１に一時記憶される。
【００８９】
以後、同様な処理を３回繰返して、１フレーム目（１ｆ）の４つの分割画像データそれぞれの符号化データ及び４つに分割されたＩピクチャ画像（Ｉ１Ａ〜Ｉ１Ｄ）が記憶される。なお、この場合、後続のフレーム画像の中にＩピクチャ符号化対象フレームはないため、分割画像Ｉピクチャ符号化部５２ａはこれ以後動作しない。
【００９０】
次に、４フレーム目（４ｆ）を符号化処理する。４フレーム目（４ｆ）はＰピクチャ符号化であるため、まず、４フレーム目（４ｆ）の４つの分割画像データの一枚目、及び動き補償予測の参照画像とされるＩ１Ａピクチャ画像が画像メモリ５１より分割画像Ｐピクチャ符号化部５２ｂに読み込まれ、符号化処理される。符号化結果は画像メモリ５１に一時記憶される。また、この時、後続の分割画像符号化時に動き補償予測の参照画像とされるＰ４Ａピクチャも画像メモリ５１に一時記憶される。
【００９１】
以後、同様な処理を３回繰り返して、４フレーム目（４ｆ）の４つの分割画像データそれぞれの符号化データ及び４つに分割されたＰピクチャ画像（Ｐ４Ａ〜Ｐ４Ｄ）が一時記憶される。なお、分割画像データの一番目が符号化される際には動き補償予測の参照画像としてＩ１Ａピクチャ画像が必要となるため、４フレーム目（４ｆ）の符号化は、図２に示すように、１フレーム目（１ｆ）の１枚目の分割画像データが符号化処理され、Ｉ１Ａピクチャ画像が画像メモリ５１に記憶された後に開始するものとする。
【００９２】
次に２フレーム目（２ｆ）を符号化処理する。２フレーム目（２ｆ）はＢピクチャ符号化であるため、まず、２フレーム目（２ｆ）の４つの分割画像データの一枚目、及び動き補償予測の参照画像とされるＩ１Ａピクチャ画像とＰ１Ａピクチャ画像が画像メモリ５１より分割画像Ｂピクチャ符号化部５２ｃに読み込まれ、符号化処理される。符号化結果は画像メモリ５１に一時記憶される。
【００９３】
以後、同様な処理を３回繰り返して、２フレーム目（２ｆ）の４つの分割画像データそれぞれの符号化データが画像メモリ５１に一時記憶される。なお、分割画像データの一枚目が符号化される際には、動き補償予測の参照画像としてＰ４Ａピクチャ画像が必要となるため、２フレーム目（２ｆ）の符号化開始は、図２に示すように、４フレーム目（４ｆ）の１枚目の分割画像データが符号化処理され、Ｐ１Ａピクチャ画像が画像メモリ５１に記憶された後に行うものとする。
【００９４】
また、３フレーム目（３ｆ）も同じくＢピクチャ符号化であり、まず、３フレーム目（３ｆ）の４つの分割画像データの一番目、及び動き補償予測の参照画像とされるＩ１Ａピクチャ画像とＰ４Ａピクチャ画像が画像メモリ５１より分割画像Ｂピクチャ符号化部５２ｄに読み込まれ、符号化処理される。符号化結果は画像メモリ５１に一時記憶される。
【００９５】
以後、同様な処理を３回繰り返して、３フレーム目（３ｆ）の４つの分割画像データそれぞれの符号化データが一時記憶される。なお、動き補償予測の参照画像は２フレーム目の符号化時の場合と同じであるため、図２に示すように、３フレーム目（３ｆ）の符号化開始は２フレーム目（２ｆ）の符号化開始と同時に行うことができる。
【００９６】
以降、図２に示すように、７フレーム目（７ｆ）のＰピクチャ符号化、５フレーム目（５ｆ），６フレーム目（６ｆ）のＢピクチャ符号化も同様に行う。最後に、図１に示す統合ストリーム生成部４は、画像メモリ５１内に記憶されている符号化データを読み出し、以降、従来と同様にして１つのストリームデータを生成する。このように、本実施の形態によれば、分割画像符号化部５２を各ピクチャタイプ専用の分割画像符号化部５２ａ〜５２ｄに変更しても符号化を実現できる。
【００９７】
次に、各ピクチャタイプの符号化時の演算量について説明する。Ｐピクチャ符号化時は、フレーム画像内符号化のＩピクチャとは異なり、前方向のＩピクチャまたはＰピクチャを参照しての動き補償予測が加わるため、演算量が大きくなる。動き補償予測をどの程度の精度で行うかによっても演算量が変わってくるが、Ｉピクチャのおよそ２倍強の演算量と考えられる。
【００９８】
また、Ｂピクチャ符号化時は、Ｐピクチャ符号化時に行われた前方向のＩピクチャ又はＰピクチャを参照しての動き補償予測に加えて、後方向のＩピクチャ又はＰピクチャを参照しての動き補償予測も加わる。つまり、動き補償予測の演算量がＰピクチャ符号化時の２倍となる。従って、Ｉピクチャ符号化時の演算量を１とすると、Ｐピクチャ符号化時の演算量はその２倍、Ｂピクチャ符号化時の演算量はその３倍となる。
【００９９】
このことから、本実施の形態の分割画像符号化部５２は、１つの分割画像Ｉピクチャ符号化部５２ａ、１つの分割画像Ｐピクチャ符号化部５２ｂ、２つの分割画像Ｂピクチャ符号化部５２ｃ及び５２ｄから構成されているので、分割画像符号化部５２の総演算量はＩピクチャ符号化演算量の８倍になる。
【０１００】
ソフトウェア上での演算量の比率はそれを実現するためのハードウェア量の比率とほぼ同等であるため、本実施の形態の分割画像符号化部５２のハードウェア量は、Ｉピクチャ符号化のみのハードウェア量の８倍になる。
【０１０１】
また、図１９に示した従来装置の分割画像符号化部３ａ〜３ｄの各々はＩ，Ｐ，Ｂのどのピクチャタイプも符号化可能な分割画像符号化部でなければいけないため、本実施の形態での分割画像Ｂピクチャ符号化部５３ｃ、５３ｄの各演算量（Ｉピクチャ符号化演算量の３倍）に相当し、計４つあるので、Ｉピクチャ符号化演算量の１２倍となる。つまり、従来の分割画像符号化部３のハードウェア量は、Ｉピクチャ符号化のみのハードウェア量の１２倍になる。
【０１０２】
以上より、Ｉピクチャ符号化のみのハードウェア量を基準として考えた場合、本実施の形態の分割画像符号化部５２のハードウェア量は８倍、従来の分割画像符号化部３のハードウェア量は１２倍となるため、本実施の形態は従来と比較して、概算で３３％程度のハードウェア量削減が図られると考えられる。また、ハードウェア量削減に伴い、消費電力低減を実現できる。
【０１０３】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について、４：２：０のコンポーネント方式への変換処理が施されたＱＣＩＦサイズ（１７６×１４４画素）の入力動画像信号を符号化処理する場合を例に具体的に説明する。
【０１０４】
図３は本発明になる画像データ符号化装置の第２の実施の形態のブロック図を示す。同図中、図２４に示した従来装置と同一構成部分には同一符号を付してある。図３に示す本実施の形態の画像データ符号化装置は、バッファ６１、圧縮回路６２、メモリ６３、伸張回路６４、符号化回路１４、バッファ１５、及び２つの制御回路６５と６６から構成される。
【０１０５】
バッファ６１は、後述するように、圧縮回路６２における圧縮符号化処理に必要な数ライン分の画像データを記憶する。圧縮回路６２は、バッファ６１から読み込んだ画像データを後述するようにＤＣＴにより圧縮符号化処理し、メモリ６３に記憶する。伸張回路６４は、圧縮回路６２によって生成された、メモリ６３内に記憶された圧縮データを圧縮回路６２とは逆の処理を施して元のデータに復元して、再度メモリ６３に記憶する。符号化回路１４は、伸張回路６４で生成されたデータに対して圧縮符号化処理を行い、バッファ１５に記憶する。バッファ１５に記憶されたデータは所定の伝送タイミングでビットストリームとして出力する。
【０１０６】
制御回路６５は、ブロックＩ内の各回路の一連の動作を制御して、画像データの圧縮回路６２へ入力させて圧縮処理させて、得られた圧縮画像データをメモリ６３へ書き込ませ、メモリ６３から読み出した圧縮画像データを伸張回路６４に供給して伸張処理させて得られた元の画像データをメモリ６３に書き込む等の制御動作を行う。制御回路６６は、ブロックＩＩ内の各回路の一連の動作を制御し、メモリ６３から伸張された画像データ及びローカルデコード画像を読み出して符号化回路１４により符号化させ、符号化回路１４により得られたローカルデコード画像をメモリ６３へ書き込む等の制御動作を行う。つまり、本発明の動画像符号化装置は、２つの異なった中央処理装置（ＣＰＵ）などの制御回路６５及び６６により動作を制御する。なお、メモリ６３はブロックＩとＩＩで重複している。
【０１０７】
次に、図３の各部について詳細に動作を説明する。圧縮回路６２では、例えば（４：２：２）から（４：２：０）へのコンポーネント方式の変換処理等が施された、バッファ６１からの入力動画像データを後述するように圧縮符号化処理してメモリ６３に記憶する。なお、圧縮回路６２における圧縮符号化処理は、ＭＰＥＧ等の規定に従って行われるメインの圧縮符号化処理とは別のもので、メモリ６３の容量削減のために行う。
【０１０８】
伸張回路６４は、符号化を開始するために必要な量の圧縮された画像データがメモリ６３に記憶された後、メモリ６３内の圧縮された画像データ、つまり、メインの圧縮符号化処理を行う画像データを後述するように元のデータに復元し、メモリ６３に記憶する。なお、画像データを復元する際、前述したように、入力される各フレームの順序の並べ替えが行われる。
【０１０９】
符号化回路１４は、従来と同様に、動き検出／動き補償処理、ＤＣＴ／量子化処理及び可変長符号化処理を施すことにより圧縮符号化を行う。符号化回路１４で生成されたデータは、バッファ１５に記憶され、所定の伝送タイミングでビットストリームとして出力される。また、前述したように逆量子化／逆ＤＣＴ処理などを施すことによりローカルデコード画像が生成され、非圧縮のままメモリ６３に記憶される。
【０１１０】
ここで、メモリ６３における画像データ受け渡しの流れを図４に示す。図４に示すように、メモリ６３には、圧縮回路６２により圧縮された、符号化に必要な量の画像データ６３ａと、伸張回路６４により後述するように元のデータに復元された画像データ６３ｂと、符号化回路１４の動き検出／動き補償回路１４ａで動き検出／動き補償を行うために必要となるローカルデコード画像（ＩピクチャまたはＰピクチャ）６３ｃとが記憶される。なお、ローカルデコード画像に対しては前述した理由から圧縮伸張処理は行わない。
【０１１１】
次に、圧縮回路６２による圧縮符号化処理について詳細に説明する。この圧縮符号化処理は、例えば図５に示すように、ＤＣＴ／量子化回路６２ａ及び可変長符号化回路６２ｂによって行われる。
【０１１２】
まず、図２４に示した従来装置の圧縮回路１１で行うＤＰＣＭ（差分パルス符号変調）と、本実施の形態の圧縮回路６２で行うＤＣＴ（離散コサイン変換）の符号量圧縮効果について比較する。ＤＰＣＭとは、前述したように、直前に処理した左側の画素（左から右へ走査）と差分をとることで、統計的偏りを持たせて符号量削減を図る符号化方法であり、差分という簡単な演算処理で行うことができる。
【０１１３】
例えば、明るさが徐々に変化している画像データの場合には、隣接画素同士の差分結果はゼロ近傍の値が多く出現することになり、図６の差分結果対出現頻度特性図に実線ａで示す特性のように、大きな統計的偏りが発生して符号量削減を図ることができる。しかし、輪郭部のように明るさが大きく変化しているような画像データの場合には、図６に点線ｂで示すように特性ａに対して、ゼロ近傍の値の出現頻度が小さくなり、差分結果の大きい値の出現頻度が大きくなり、効率良く符号量削減を図ることができない。
【０１１４】
一方、ＤＣＴは８画素×８画素のブロック単位でＤＣＴと呼ばれる演算を行い、各画素値を周波数成分に変換する。変換後の係数はブロックの一番左上の、ブロック全体の明るさを表現するＤＣ成分とそれ以外のＡＣ成分からなる。この演算結果は、図７に示すように周波数成分が水平方向と垂直方向で２通りの変化があり、ブロックの左から右へ、ブロックの上から下へそれぞれ周波数が高くなる。ここで、高域周波数成分に対する感度が弱いという人間の視覚特性を利用して、低周波数成分よりも高周波数成分の省略を大きくすることで符号量削減を図ることが可能となる。また、高周波数成分の値はゼロ近傍の値が多いこともあり、符号化しやすい。以上の理由からＤＣＴはＤＰＣＭよりも効率良く高い圧縮効果をあげることができる。
【０１１５】
以下、圧縮回路６２の動作について具体的に説明する。ＤＣＴ演算の場合は、前述したように８画素×８画素のブロック単位で行い、また、輝度成分は４つのブロック、つまり、１６画素×１６画素から構成されるため、図３のバッファ６１には、その２倍程度の３２ライン分の画像データを記憶できる容量があればよい。
【０１１６】
また、画像情報として、輝度データ（Ｙ）と色差データ（Ｃｒ，Ｃｂ）の３種類があり、１画素あたり８ビットなので、３２ライン分のＱＣＩＦサイズの入力画像データの総ビット数は、（１７６×３２）×８ビットである。ここで、（４：４：４）方式の場合は、輝度データ、色差データ共に４ブロックから構成されるため、全ブロックは１２ブロックとなる。
【０１１７】
これに対して、（４：２：０）方式の場合は、輝度データが４ブロック構成なのに対し、色差データは１ブロックに間引かれるため、全ブロックは６ブロックとなり、（４：４：４）方式に比べて１／２に圧縮される。従って、（４：２：０）方式でＱＣＩＦサイズ画像データの場合、バッファ６１には、
（１７６×３２）×８ビット×３×１／２＝６７５８４ビット
の容量が必要となる。
【０１１８】
図５の圧縮回路内のＤＣＴ／量子化回路６２ａは、そのＤＣＴ部から出力されたＤＣＴ係数に対して、ＤＣＴ／量子化回路６２ａ内の量子化部で、ある係数値（量子化ステップ）で除算を行うことでＤＣＴ係数の情報を削減する。前述したように、高周波数成分は低周波数成分よりも省略を大きくすることが可能なため、低周波数成分の量子化ステップを小さく、高周波数成分の量子化ステップを大きくするなど重み付けを変えてやることで効率良く圧縮することも可能である。この結果を図５の可変長符号化回路６２ｂで前述したように可変長符号化処理を行うことで符号量の圧縮効果を更にあげることができる。
【０１１９】
次に、伸張回路６４の構成及び動作について詳細に説明する。図８は伸張回路６４の一例のブロック図を示す。同図に示すように、伸張回路６４は可変長復号化回路６４ａ及び逆量子化／逆ＤＣＴ回路６４ｂから構成され、圧縮回路６２とは逆の処理を行う。なお、前述したように、ＤＣＰＭよりもＤＣＴの演算処理の方が複雑なため、その逆の伸張処理も複雑となる。従って、図２４の従来装置では伸張回路１３の出力結果をそのままダイレクトに符号化回路１４に供給して符号化処理を行っていたが、本実施の形態の場合には伸張回路６４の出力を一度メモリ６３に記憶して、その復元された画像データを符号化回路１４に供給して符号化処理を行う。
【０１２０】
なお、伸張回路６４により元の画像データに復元するデータ量は、一度に１フレーム分復元したのではメモリ削減の効果が薄れるため、図９に示すように、２マクロブロックラインデータ（図中、マクロブロックをＭＢと表記する）を伸張できるメモリ領域を用意する。つまり、図９の領域Ａ及び領域Ｂにそれぞれ１１個の復元されたマクロブロックデータ（ＭＢ０〜ＭＢ１０）を記憶できるメモリ容量が必要となる。
【０１２１】
入力画像水平方向サイズが１７６画素、垂直方向サイズはマクロブロック２個分の大きさなので３２画素である。また、前述したように、（４：２：０）方式の全ブロックは６ブロックとなり、（４：４：４）方式に比べて１／２に圧縮されるため、（４：２：０）方式で水平方向サイズが１７６画素、垂直方向サイズが３２画素の画像データの場合、メモリ６３のメモリ容量としては、
（１７６×３２）×８ビット×３×１／２＝６７５８４ビット
必要となる。
【０１２２】
ここで、メモリ６３内の伸張データの書き込み及び読み出しについて説明する。図１０（Ａ）に示すように、メモリ６３の領域Ａに伸張回路６４の出力（元のデータに復元した画像データ）を記憶すると共に、メモリ６３の領域Ｂに既に復元されて記憶されている画像データを符号化回路１４に出力して符号化処理を行う。
【０１２３】
次に、図１０（Ｂ）に示すように、メモリ６３の領域Ａに復元されて記憶された画像データを符号化回路１４に出力して符号化処理をすると共に、メモリ６３の領域Ｂには伸張回路６４の出力（元のデータに復元した画像データ）を上書き記憶する。このように、２つの領域ＡとＢの一方を書き込み領域とし、他方を読み出し領域とすると共に、それらを交互に切り替えることで伸張回路６４の出力の書き込みと符号化回路１４へのデータの読み出しを行う。
【０１２４】
次に、本実施の形態の圧縮回路６２のメモリ容量削減効果について説明する。図５に示す構成の圧縮回路６２において、量子化ステップを全ブロックに対して２に固定して５フレームの画像データの圧縮符号化処理を実際に行った場合、３４９１７６ビットという結果が得られた。
【０１２５】
また、メモリ容量削減を実現するためには、バッファ６１のメモリ容量（前記３３７９２ビット）と、メモリ６３内の伸張データ分のメモリ容量（前記６７５８４ビット）が必要となるため、本実施の形態でのメモリ削減の圧縮処理に必要なメモリ容量は、４８４３４４（＝６７５８４＋６７５８４＋３４９１７６）ビットとなる。
【０１２６】
一方、圧縮符号化処理をしない場合、５フレーム分の原データを記憶するために必要なメモリ容量は、
（１７６×１４４）×３／２×８ビット×５フレーム＝１５２０６４０ビット
となる。
従って、圧縮回路６２は約３２（＝４８４３４４／１５２０６４０×１００）％の圧縮効果を実現できる。
【０１２７】
次に、本発明の第２の実施の形態の画像データ符号化装置の制御動作について説明する。本実施の形態では、２つの異なるＣＰＵなどの制御回路６５及び６６のソフトウェア処理にて動作している。以下、これらの制御動作について、図１１のフローチャートを参照して詳細に説明する。
【０１２８】
制御回路６５はまず、変数ｎに初期値０を代入した後（ステップＳ１）、入力画像データをライン単位でバッファ６１に記憶する（ステップＳ２）。前述したように、圧縮回路６２の圧縮処理はマクロブロック単位で行うため、１６ライン分の画像データがバッファ６１に記憶されたか否かが判断され（ステップＳ３）、１６ライン分の画像データのバッファ６１への記憶が完了していないと判断された場合にはステップＳ２に戻り、入力画像のラインデータの記憶を継続する。１６ライン分の画像データのバッファ６１への記憶が完了したと判断された場合には、次のマクロブロック単位の画像データがバッファ６１から圧縮回路６２へ出力される（ステップＳ４）。なお、ここで、次のマクロブロック単位の画像データのバッファ６１への記憶を開始してもよく、この場合、バッファ６１は２マクロブロックラインデータ（３２ラインデータ）の容量を必要とする。
【０１２９】
圧縮回路６２において、画像データはブロック単位で圧縮されて、圧縮データが生成された後（ステップＳ５）、メモリ６３に記憶される（ステップＳ６）。続いて、制御回路６５は圧縮回路６２において１マクロブロックラインデータの圧縮処理が完了したか否かを判断し（ステップＳ７）、１マクロブロックラインデータの圧縮処理が完了していないと判断した場合には、ステップＳ５に戻り、圧縮処理を継続する。また、１マクロブロックラインデータの圧縮処理が完了したと判断した場合には、ステップＳ８へ移行する。
【０１３０】
ステップＳ８では、バッファ６１への入力画像データの入力があるか否かが判断され、バッファ６１への画像データの入力がないと判断された場合には、圧縮回路６２における圧縮処理は終了となる。また、バッファ６１への入力画像データの入力があると判断された場合には、ステップＳ９へ移行し、変数ｎが０であるか否かが判定され、０であれば初期化後最初の処理であるのでステップＳ１０に進み、０でなければステップＳ５に戻る。
【０１３１】
ステップＳ１０では、符号化回路に１４おいて符号化処理を開始するために必要な量の画像データが全て圧縮されてメモリ６３への記憶が完了したか否かが判断される。ステップＳ１０で符号化処理を開始するために必要な量の画像データが全て圧縮されてメモリ６３への記憶が完了してないと判断された場合には、ステップＳ４に戻り、圧縮処理を継続する。また、ステップＳ１０で符号化処理を開始するために必要な量の画像データが全て圧縮されてメモリ６３への記憶が完了したと判断された場合には、制御回路６５は変数ｎに１を代入した後（ステップＳ１１）、ブロック単位の圧縮された画像データをメモリ６３から読み出して伸張回路６４へ出力する（ステップＳ１２）。
【０１３２】
伸張回路６４に供給された圧縮画像データはブロック単位で伸張され、復元データとして生成され（ステップＳ１３）、生成された復元データはメモリ６３に記憶される（ステップＳ１４）。前述したように動き検出／動き補償回路１４ａの動き検出／動き補償処理はマクロブロック単位で行うため、制御回路６５は１マクロブロックラインデータ（１６ラインデータ）の全ての伸張処理が終了したか否かをメモリ６３の記憶データから判断する（ステップＳ１５）。
【０１３３】
ステップＳ１５で、１マクロブロックラインデータの全ての伸張処理が完了していないと判断された場合には、ステップＳ１３に戻り、伸張処理を継続し、他方、１マクロブロックラインデータの全ての伸張処理が完了したと判断された場合には、制御回路６６で制御されるステップＳ１６へ移行すると同時に、ステップＳ５へ移行し、以降、ステップＳ５からステップＳ８の圧縮処理を継続する。つまり、制御回路６５では圧縮処理のみを繰り返し継続する。
【０１３４】
制御回路６６は、ステップＳ１６で、メモリ６３内に次に符号化対象となるマクロブロックラインデータが伸張されて記憶されているか否かを判断する。つまり、図１０のメモリ６３の領域Ａ及び領域Ｂのうちの一方の領域に最初に符号化されるべきマクロブロックラインデータが伸張されて記憶されている場合、次に符号化されるマクロブロックラインデータが他方の領域に伸張されて記憶されているか否かがステップＳ１６で判断される。
【０１３５】
ステップＳ１６での判断が否定の場合、つまり、次に符号化されるマクロブロックラインデータが他方の領域に伸張されて記憶されていないと判断された場合には、制御回路６６は制御回路６５に対して割り込み信号を送り、後述する処理を行う。また、ステップＳ１６での判断が肯定の場合、つまり、次に符号化されるマクロブロックラインデータが他方の領域に既に伸張されて記憶されていると判断された場合には、ステップＳ２１へ移行する。
【０１３６】
制御回路６６は、ステップＳ２１でマクロブロック単位の伸張された画像データをメモリ６３から読み出して符号化回路１４へ出力する。符号化回路１４では、入力された画像データをマクロブロック単位に符号化処理を行い、符号化データを生成し（ステップＳ２２）、生成された符号化データをバッファ１５に記憶する（ステップＳ２３）。
【０１３７】
制御回路６６は、バッファ１５の記憶データから、１マクロブロックラインデータの符号化処理が完了したか否かを判断し（ステップＳ２４）、１マクロブロックラインデータの符号化処理が完了していないと判断した場合には、ステップＳ２２に戻り、符号化処理を継続し、１マクロブロックラインデータの符号化処理が完了したと判断した場合には、１画面分の符号化処理が完了したか否かを判断する（ステップＳ２５）。
【０１３８】
制御回路６６は、ステップＳ２５で１画面分の符号化処理が完了していないと判断した場合には、ステップＳ１６へ戻り、１画面分の符号化処理が完了したと判断した場合には、１画面分の符号化データをバッファ１５からビットストリームとして出力させる（ステップＳ２６）。
【０１３９】
続いて、制御回路６６は、入力された全ての画像データの符号化処理が完了したか否か判断し（ステップＳ２７）、全ての画像データの符号化処理が完了していないと判断した場合には、ステップＳ１６へ戻り、全ての画像データの符号化処理が完了したと判断した場合には、符号化処理を終了、つまり、本ルーチンを終了する。
【０１４０】
また、制御回路６５では、制御回路６６から割り込み信号を受け取ると、割り込み処理としてステップＳ１７からステップＳ２０までの処理を実行する。このステップＳ１７からステップＳ２０までの割り込み処理は、前述したステップＳ１２からステップＳ１５の処理と同様である。すなわち、制御回路６５は、ステップＳ２０において、１マクロブロックラインデータの全てを伸張処理したか否か判断し、１マクロブロックラインデータの全ての伸張処理が完了していないと判断した場合には、ステップＳ１８に戻り伸張処理を継続し、１マクロブロックラインデータの全ての伸張処理が完了したと判断した場合には、割り込み処理は終了となり、制御回路６５では中断された圧縮処理が再開される。
【０１４１】
以上のように、２つの異なる制御回路６５及び６６の構成で割り込み処理を使うことにより、１画面分伸張することなく、符号化に必要な画像データを必要な量のみ伸張しながら符号化処理を行うことが可能となり、伸張データを記憶するメモリ容量としては２マクロブロックラインデータ分のみの容量で済ませることができる。また、２つの異なる制御回路６５及び６６の構成をとっているため、それぞれの制御回路６５及び６６において並行して動作を行うことができ、装置全体の処理を効率化良く行うことが可能となる。
【０１４２】
＜第３の実施の形態＞
図３の第２の実施の形態における圧縮回路６２の圧縮処理は、メインの符号化回路１４でのＩピクチャ符号化処理に相当する。しかし、両者の処理における符号化条件（量子化条件など）が同じであるとは限らないため、第２の実施の形態では一度Ｉピクチャに圧縮符号化されてストリームデータとしてメモリ６３に記憶されたにも拘らず、伸張回路６４で伸張処理を行い、再度、メインの符号化回路１４でＩピクチャ符号化処理を行っていた。
【０１４３】
これに対して第３の実施の形態では、第２の実施の形態における圧縮回路６２の符号化条件とメインの符号化回路１４の符号化条件が同一の場合、両者の処理内容が同じものとなるため、メインの符号化回路１４でのＩピクチャ符号化処理を省くようにしたものである。
【０１４４】
第３の実施の形態の画像データ符号化装置の概略構成図は図３に示した第２の実施の形態と同じであるが、動作が一部異なる。以下、２つの制御回路による第２の実施の形態と異なる制御動作についてのみ、図１２のフローチャートを参照して詳細に説明する。同図中、図１１に示したフローチャートと同一処理ステップには同一の符号を付し、その説明を省略する。本実施の形態ではステップＳ３０〜Ｓ３４が付加されている。
【０１４５】
制御回路６５のステップＳ１からステップＳ１４までの処理は第２の実施の形態と同じである。制御回路６５は、ステップＳ１４でメモリ６３に伸張データが記憶されると、符号化対象のデータのピクチャタイプを判定する（ステップＳ３０）。ピクチャタイプがＰピクチャ又はＢピクチャの場合には第２の実施の形態と同様にステップＳ１５へ移行して、以後第２の実施の形態と同様な処理を行う。一方、ピクチャタイプがＩピクチャの場合は、ステップ３１及び制御回路６６による処理ステップＳ３４へ移行する。
【０１４６】
制御回路６５は、ステップＳ３１では、Ｉピクチャ１画面分の伸張処理が完了したか否かを判断し、Ｉピクチャ１画面分の伸張処理が完了していないと判断した場合には、ステップＳ１３へ移行して伸張処理を継続し、Ｉピクチャ１画面分の伸張処理が完了したと判断した場合には、ステップＳ５の圧縮データ生成処理へ戻る。
【０１４７】
なお、第２の実施の形態では制御回路６５の、これ以降の処理は圧縮処理のみであったが、この処理中にステップＳ３２でピクチャタイプ判定を行う。すなわち、ステップＳ９で変数ｎが０でないと判定されたときには、符号化に必要なフレーム画像圧縮が既に完了しているので、制御回路６５はピクチャタイプを判定する（ステップＳ３２）。Ｐピクチャ又はＢピクチャの場合にはステップＳ５の圧縮データ生成処理へ移行して、以後、第２の実施の形態と同様に圧縮処理のみを継続する。
【０１４８】
一方、Ｉピクチャの場合には、Ｉピクチャ１画面分の圧縮符号化処理が完了したか否かを判定し（ステップＳ３３）、Ｉピクチャ１画面分の圧縮符号化処理が完了していないと判断した場合には、ステップＳ５へ移行して圧縮処理を継続し、Ｉピクチャ１画面分の圧縮符号化処理が完了したと判断した場合には、ステップＳ１２以後の処理を継続する。
【０１４９】
制御回路６６はステップＳ３４でピクチャタイプの判定を行い、Ｐピクチャ又はＢピクチャの場合にはステップＳ１６へ移行して以降、第２の実施の形態と同様な処理を行う。一方、Ｉピクチャの場合は、ステップＳ２６以後の処理を行う。
【０１５０】
このように、入力画像データのピクチャタイプがＩピクチャの場合には、圧縮回路６２による圧縮符号化処理により、メモリ６３に既に１画面分のＩピクチャストリームデータが記憶されるため、第３の実施の形態ではメモリ削減のための圧縮回路６２の符号化条件とメインの符号化回路１４の符号化条件が同一の場合、符号化回路１４でのＩピクチャ符号化処理を不要として、メモリ６３から直接ビットストリームデータとして出力する。従って、この第３の実施の形態の場合には、メモリ削減を実現すると共に、符号化回路１４のＩピクチャ符号化処理を省くことにより、第２の実施の形態よりも全体の符号化処理時間の短縮化を図ることができる。
【０１５１】
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。図１３は本発明になる画像データ符号化装置の第４の実施の形態のブロック図を示す。同図中、図３と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態は、ＪＰＥＧ等の静止画像を伝送する画像伝送システムに適用したものであり、動画を扱うＭＰＥＧの符号化処理では必要であった、動き検出／動き補償処理を行う必要がない。従って、この処理のために必要なローカルデコード画像を作成するための復元処理も行う必要がない。
【０１５２】
図１３において、画像データ符号化装置は第２の実施の形態と同一構成のブロックＩと、本実施の形態特有のブロックＩＩＩとから構成されている。ブロックＩＩＩは、符号化回路６７及びバッファ１５とメモリ６３とからなり、符号化回路６７はＤＣＴ／量子化回路６７ａとか変調符号化回路６７ｂとから構成されている。ブロックＩＩＩ内の各部は制御回路６８により動作が制御される。
【０１５３】
上述したように、静止画像信号を符号化する本実施の形態では、動き検出／動き補償処理を行う必要が無いので、図１３中の符号化回路６７には、図３中の動き検出／動き補償回路１４ａが含まれておらず、更に、上述したように、ローカルデコード画像が用いられる必要も無いので、ローカルデコード画像を生成するために設けられている図３中の逆量子化／逆ＤＣＴ回路１４ｄも含まれていない。
【０１５４】
本実施の形態では、メモリ６３から読み出された圧縮画像データは、ＤＣＴ／量子化回路６７ａに供給され、ここでＤＣＴが施され、得られたＤＣＴ係数が量子化されることで、空間的相関を利用した情報圧縮が行われる。ＤＣＴ／量子化回路６７ａによって符号化された静止画の画像データは、可変長符号化回路６７ｂに供給され、ここで前述した可変長符号化が行われて、圧縮符号化データとしてバッファ１５に記憶された後、所定の伝送タイミングでビットストリームとして出力される。本実施の形態においても、入力画像データに対して圧縮回路６２により圧縮／伸張が施されるため、それに見合うメモリ６３のメモリ容量の削減が可能となる。
【０１５５】
＜第５の実施の形態＞
次に、本発明の第５の実施の形態について説明する。図１４は本発明になる画像データ符号化装置の第５の実施の形態のブロック図を示す。同図中、図２７に示した従来装置と同一構成部分には同一の符号を付してある。図１４に示す第５の実施の形態は、制御回路７７により各部の動作が制御されるブロックＩＶと、制御回路７８に各部の動作が制御されるブロックＶとからなる。ブロックＩＶは、バッファ７１、プリフィルタ／圧縮回路７２、メモリ７３及び伸張回路７４から構成され、ブロックＶは、符号化回路７５及びメモリ７３から構成される。
【０１５６】
バッファ７１は、後述するように、プリフィルタ／圧縮回路７２における処理に必要な数ライン分の画像データを記憶する。プリフィルタ／圧縮回路７２は、バッファ７１から読み込んだデータを後述するように圧縮符号化処理し、メモリ７３に記憶する。伸張回路７４は、プリフィルタ／圧縮回路７２によって生成された、メモリ７３内に記憶された圧縮符号化データをプリフィルタ／圧縮回路７２とは逆の処理を施して元のデータに復元して、再度メモリ７３に記憶する。
【０１５７】
符号化回路７５は、伸張回路７４で生成されたデータに対してメインの圧縮符号化処理を行い、得られた圧縮符号化データをバッファ４３ｉに記憶した後、所定の伝送タイミングでビットストリームとして出力する。
【０１５８】
制御回路７７は、圧縮符号化データをメモリ７３に記憶し、メモリ７３に記憶された圧縮符号化データを読み出して伸張回路７４に供給し、伸張回路７４により伸張して得られた元の画像データをメモリ７３に記憶する制御動作を行う。制御回路７８は、メモリ７３に記憶された元の画像データとローカルデコード画像信号を読み出して符号化回路７５に供給すると共に、符号化回路７５の動作を制御し、符号化回路７５により符号化データと共に得られた、加算器４３ｇからのローカルデコード画像信号をメモリ７３に記憶する制御動作を行う。
【０１５９】
以下、図１４の各部について詳細に説明する。プリフィルタ／圧縮回路７２では、例えば（４：２：２）から（４：２：０）への変換処理等が施された動画像データがバッファ７１より供給され、その入力動画像データを後述するように圧縮符号化処理してメモリ７３に記憶する。なお、プリフィルタ／圧縮回路７２における圧縮符号化処理は、ＭＰＥＧ等の規定に従って行われるメインの圧縮符号化処理とは別のもので、プリフィルタ効果及びメモリ７３の容量削減のために行う。
【０１６０】
符号化を開始するために必要な量の圧縮された画像データは、メモリ７３に記憶される。伸張回路７４は、メモリ７３内の圧縮された画像データ、つまり、メインの圧縮符号化処理を行う画像データを後述するように元のデータに復元し、メモリ７３に再び記憶する。なお、画像データを復元する際、前述したように、入力される各フレームの順序並べ替えが行われる。
【０１６１】
ここで、メモリ７３には、図１５に示すように、プリフィルタ／圧縮回路７２により圧縮された、符号化に必要な量の画像データ７３ａと、伸張回路７４により後述するように元のデータに復元された画像データ７３ｂと、符号化回路７５の動き検出／動き補償部４３ａで動き検出／動き補償を行うために必要となるローカルデコード画像（ＩピクチャまたはＰピクチャ）７３ｃとが記憶される。
【０１６２】
符号化回路７５では、図２７に示した従来装置の符号化回路４３と同様に、動き検出／動き補償処理、ＤＣＴ処理、量子化処理及び可変長符号化処理を施すことにより圧縮符号化を行う。その結果、生成された圧縮符号化データは、可変長符号化回路４３ｈから出力されてバッファ４３ｉに記憶され、更にバッファ４３ｉから所定の伝送タイミングでビットストリームとして出力される。また、前述したように、逆量子化処理及び逆ＤＣＴ処理などを施すことにより、ローカルデコード画像信号が加算器４３ｇにおいて生成され、このローカルデコード画像信号はメモリ７３に記憶される。
【０１６３】
次に、プリフィルタ／圧縮回路７２の構成及び動作について詳細に説明する。図１６はプリフィルタ／圧縮回路７２の一例のブロック図を示す。同図に示すように、プリフィルタ／圧縮回路７２は、ＤＣＴ回路７２ａ、量子化回路７２ｂ、可変長符号化回路７２ｃ及び量子化ステップ制御回路７２ｄから構成されている。ＤＣＴとは前述したように、８×８画素のブロック単位で行われる演算で、各画素値を周波数成分に変換する。その演算結果は、図７に示したように周波数成分が水平方向と垂直方向で２通りの変化があり、ブロックの左から右へ、ブロックの上から下へそれぞれ周波数が高くなり、高周波数成分になるにつれて値はゼロ近傍の値が多くなる。
【０１６４】
以下、プリフィルタ／圧縮回路７２の動作について具体的に説明する。ＤＣＴ回路７２ａから出力されたＤＣＴ係数に対して、量子化回路７２ｂでは量子化ステップ（Ｑ）で除算を行うことでＤＣＴ係数の情報を削減する。前述したように、ＤＣＴ係数は高周波数になるにつれて値が小さくなる傾向にあり、ゼロとなる係数も多くなる。従って、量子化されたＤＣＴ係数は、低周波数成分と比較して高周波数成分の方が大きく削減される結果となり、これはローパスフィルタリングと同様の効果といえる。
【０１６５】
なお、量子化ステップの値が固定であると情報量を必要以上に削減し過ぎる場合があり、その結果、画質劣化が生じる。従って、量子化ステップ制御回路７２ｄにおいて、可変長符号化回路７２ｃの符号量結果と目標符号量との比較を行うことで、量子化ステップ値をフィードバック制御しながら圧縮符号化処理を行っていく。
【０１６６】
例えば、図１７に示すフローチャートのようなフィードバック制御を行う。以下、この制御動作について、詳細に説明する。まず、量子化ステップ制御回路７２ｄの１フレーム目の目標符号量（以下、Ｓと記載する）の値を設定する（ステップＳ１０１）。なお、このＳの値は、メモリ７３のメモリ容量と伝送される画像に要求される画像品質等に応じて決定すればよい。
【０１６７】
続いて、ブロック（以下、Ｂと記載する）単位の符号量を累積加算する際に使用する変数（以下、Ｔと記載する）を０に初期化し（ステップＳ１０２）、可変長符号化回路７２ｃの符号量結果を累積加算し（ステップＳ１０３）、その累積加算した符号量結果をＭＢ単位でメモリ７３に一時記憶する（ステップＳ１０４）。
【０１６８】
続いて、可変長符号化回路７２ｃにおいて、１フレーム分の圧縮符号化が完了したか否か判断され（ステップＳ１０５）、１フレーム分の圧縮符号化が完了していないと判断された場合には、ステップＳ１０３に戻り、可変長符号化回路７２ｃの符号量結果の累積加算を継続し、１フレーム分の圧縮符号化が完了したと判断された場合には、得られた１フレーム分の累積符号量Ｔをメモリ７３に一時記憶する（ステップＳ１０６）。
【０１６９】
続いて、Ｔ＞Ｓであるか否か比較を行い（ステップＳ１０７）、現フレームの累積符号量Ｔが目標符号量Ｓ以下である場合には、現フレームよりも次フレームの目標符号量Ｓを大きく設定して（ステップＳ１０９）、ステップＳ１１０へ移行する。他方、現フレームの累積符号量Ｔが目標符号量Ｓよりも大きかった場合には、現フレームよりも次フレームの目標符号量Ｓを小さく設定して（ステップＳ１０８）、ステップＳ１１０へ移行する。なお、この目標符号量Ｓの増減量は、差分絶対値｜Ｔ−Ｓ｜の大きさ以下の値とする。
【０１７０】
ステップＳ１１０では、差分絶対値｜Ｔ−Ｓ｜の大きさと、目標符号量Ｓをある係数（以下、αと記載する）で除算した値（Ｓ／α）とを比較する。ステップＳ１１０において、現フレーム符号量結果Ｔと目標符号量Ｓとの差分絶対値｜Ｔ−Ｓ｜の大きさが、目標符号量のある割合Ｓ／α以下であると判定された場合には、次フレームの量子化ステップを現フレームのＱと同じ値に設定して（ステップＳ１１２）、ステップＳ１１５へ移行する。
【０１７１】
また、ステップＳ１１０において、現フレーム符号量結果Ｔと目標符号量Ｓとの差分絶対値｜Ｔ−Ｓ｜の大きさが、目標符号量のある割合Ｓ／αより大きいと判定された場合には、現フレームの累積符号量Ｔが目標符号量Ｓよりも大であるか否かの比較判定を行い（ステップＳ１１１）、Ｔ＞Ｓであるときには、次フレームの量子化ステップを現フレームの量子化ステップＱよりも大きく設定して（ステップＳ１１３）、ステップＳ１１５へ移行する。他方、ステップＳ１１１でＴ≦Ｓと判定されたときには、次フレームの量子化ステップを現フレームの量子化ステップＱよりも小さく設定して、ステップＳ１１５へ移行する。
【０１７２】
なお、量子化ステップＱの値の増減量は、差分絶対値｜Ｔ−Ｓ｜の大きさが目標符号量Ｓに対してどのくらいの割合（％）の値であるかによって決定する。つまり、差分絶対値｜Ｔ−Ｓ｜の大きさが目標符号量Ｓに対して大きな割合であればあるほど、量子化ステップＱの値の増減量を大きくするというように、増減量に段階をつける。
【０１７３】
ステップＳ１１５では、Ｔ／（１フレーム内のＭＢの総数）、つまり、ＭＢ単位の符号量平均値（以下、Ｈと記載する）を演算する。続いて、記憶したＭＢ単位の符号量と符号量平均値Ｈの差分をとり、その差分結果から各ＭＢ毎の複雑度にランクを設定する（ステップＳ１１６）。例えば、ＭＢ単位の符号量結果が｛Ｈ＋（Ｈ／２）｝よりも大きいときには最も複雑度が高いランク４、｛Ｈ＋（Ｈ／２）｝以下で、｛Ｈ＋（Ｈ／４）｝よりも大きいときには２番目に複雑度が高いランク３、｛Ｈ＋（Ｈ／４）｝以下で、｛Ｈ−（Ｈ／４）｝よりも大きいときには３番目に複雑度が高いランク２、｛Ｈ−（Ｈ／４）｝以下で、｛Ｈ−（Ｈ／２）｝よりも大きいときには２番目に複雑度が低いランク１、｛Ｈ−（Ｈ／２）｝以下のときには最も複雑度が低いランク０とする。なお、Ｈは符号量平均値である。ランク２の場合は、目標符号量を符号量平均値Ｈのまま使用する。この情報をメモリ７３に記憶しておき、メインの符号化回路７５の量子化ステップ制御回路７５ｂで制御を行う際に使用する。
【０１７４】
この情報により、フレーム内のＭＢにおいて、ランクの高いＭＢ、つまり、複雑度の高いＭＢには目標符号量を大きく設定でき、また、ランクの低いＭＢ、つまり、複雑度の低いＭＢには目標符号量を小さく設定することができ、また、メインの圧縮符号化処理における量子化ステップのフィードバック制御をより効率良く行うことが可能となる。
【０１７５】
ステップＳ１１６の処理の後、１フレーム分の全ＭＢの判定が完了されたか否か判定し（ステップＳ１１７）、１フレーム分の全ＭＢの判定が完了していないと判定された場合には、ステップＳ１１６に戻り、ＭＢの判定を継続し、１フレーム分の全ＭＢの判定が完了したと判定された場合には、ステップＳ１０２に戻り、以後の処理を繰返す。
【０１７６】
このように、本実施の形態のプリフィルタ／圧縮回路７２では、入力画像データに対して、符号化回路７５によるメインの圧縮符号化処理とは別に、目標符号量及び量子化ステップを可変制御しながら圧縮符号化処理を施すことで、メインの圧縮符号化処理前に適正にローパスフィルタリングを施すことができ、かつ、圧縮符号化処理結果の情報をメインの圧縮符号化処理において使用することで、より効率良く処理を行うことが可能となる。また、入力画像データに圧縮符号化処理を施してメモリ７３に記憶するため、メモリ７３の容量削減効果も得られる。
【０１７７】
次に、図１４の伸張回路７４の構成及び動作について詳細に説明する。図１８は伸張回路７４の一例のブロック図を示す。同図に示すように、伸張回路７４は、可変長復号化回路７４ａ、逆量子化回路７４ｂ及び逆ＤＣＴ回路７４ｃから構成され、プリフィルタ／圧縮回路７２とは逆の処理を行う。本実施の形態の場合には伸張回路７４により伸張復元された画像データを一度メモリ７３に記憶して、その伸張復元された画像データをメモリ７３から読み出して符号化回路７５に供給してメインの符号化処理を行う。
【０１７８】
なお、伸張回路７４により元の画像データに伸張復元するデータ量は、一度に１フレーム分伸張復元したのではメモリ削減の効果が薄れるため、例えば、図９に示したように、２マクロブロックラインデータ（図中、マクロブロックをＭＢと表記する）を伸張できるメモリ領域を用意する。つまり、図９中の領域Ａ及び領域Ｂにそれぞれに復元された１マクロブロックラインデータ（ＭＢ０〜ＭＢｎ）が記憶される。メモリ７３内の伸張データの書き込み及び読み出しは、図１０と共に説明した方法と同様である。
【０１７９】
また、図１４に示す第５の実施の形態の画像データ符号化装置は、２つの異なるＣＰＵなどの制御回路７７及び７８により制御されたソフトウェア処理にて動作している。これらの制御動作は図１１の第２の実施の形態の制御動作説明用フローチャートと同様であるので、その説明は省略する。
【０１８０】
本実施の形態も、２つの異なる制御回路７７及び７８の構成で割り込み処理を使うことにより、１画面分伸張することなく、符号化に必要な画像データを必要な量のみ伸張しながら符号化処理を行うことが可能となり、伸張データを記憶するメモリ容量としては２マクロブロックラインデータ分のみの容量で済む。また、２つの異なる制御回路７７及び７８の構成をとっているため、それぞれの制御回路７７及び７８において並列的に動作を行うことができ、装置全体の処理を効率化良く行うことが可能となる。
【０１８１】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、以下のような種々の変形例を包含するものである。
【０１８２】
（１）動画像の画面サイズ、画面分割数、画面分割方法、Ｉ、Ｐ，Ｂピクチャ画面符号化部の組み合わせ方法は、図１の実施の形態以外に種々のものがあり得る。例えば、画面分割数は４以外の複数でもよいし、画面分割方法も画面縦方向と画面横方向の組み合わせに限らず、縦方向のみの複数分割、横方向のみの複数分割などがある。
【０１８３】
（２）図１の画面符号化部５２内の符号化部はＩピクチャ用とＰピクチャ用にそれぞれ１つずつの符号化部５２ａ、５２ｂが必要であるが、Ｂピクチャ用の符号化部の数は図１に限定されない。例えば、１ＧＯＰがＩ，Ｂ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｂ，Ｐ，・・・というように、ＩピクチャとＰピクチャの間、またはＰピクチャとＰピクチャの間にＢピクチャが３つあるような構成の場合は、分割画像符号化部内のＢピクチャ用の符号化部は３つ設けられる。
【０１８４】
（３）メモリ削減のための圧縮処理の効果において、量子化ステップが固定値の場合で説明したが、量子化ステップは前述したようにブロック内の周波数成分に応じて異なる値にしてもよいし、ブロック単位またはフレーム画像単位で符号量制御することにより決定してもよい。つまり、メモリ容量と伝送される画像に要求される画像品質等に応じて条件を決定すればよい。
【０１８５】
（４）メモリ削減のための圧縮処理として、ＤＣＴ／量子化／可変長符号化を挙げたが、伝送される画像に要求される画像品質等を考慮して有効な方法であれば、他の方式でもよい。
【０１８６】
（５）適用される画像データ符号化装置は、ＭＰＥＧ４に限ったものでなく、それ以外の方式、つまり、ＭＰＥＧ１，ＭＰＥＧ２等の動画やＪＰＥＧ、ＪＰＥＧ２０００等の静止画でもよい。但し、ＪＰＥＧ、ＪＰＥＧ２０００等、静止画転送装置への適用の場合には、動き検出／動き補償処理及びローカルデコード画像を生成する必要がないため、図１４のブロック構成において、動き検出／動き補償回路４３ａ、減算器４３ｂ、逆量子化回路４３ｅ、逆ＤＣＴ回路４３ｆ及び加算器４３ｇが不要となる。
【０１８７】
（６）図１４の実施の形態では、プリフィルタ／圧縮回路７２においてフレーム単位での量子化ステップ制御を行ったが、所定のブロック単位で行ってもよく、また、ＤＣ成分よりも高周波成分の量子化ステップを大きくするというように同じブロック内で量子化ステップに重み付けを持たせてもよい。
【０１８８】
（７）図１４の実施の形態では、プリフィルタ／圧縮回路７２において，ＤＣＴ／量子化／可変長符号化を行うように説明したが、メインの符号化方法（ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４、ＪＰＥＧ、ＪＰＥＧ２０００等）や伝送される画像に要求される画像品質等を考慮して有効な方法であれば、他の方式でもよい。
【０１８９】
【発明の効果】
以上説明したように、本発明によれば、複数の分割画像信号に対し、符号化モードの種別毎に並列に符号化を行うと共に、複数の分割画像信号に対して分割画面毎に符号化を時分割で行って複数の符号化データを得ることにより、互いに独立して符号化する複数の分割画像符号化回路の構成に比べて、ハードウェア量の削減ができるため、消費電力低減を実現しながら、複数の分割画像信号の符号化データを統合することにより、大画面構成の動画像データの符号化を行うことができる。
【０１９０】
また、本発明によれば、符号化回路によるメインの符号化処理とは別に、入力画像データに対して圧縮回路により圧縮効果の高い圧縮符号化処理を施して得た圧縮画像データを記憶手段に一旦記憶した後、その圧縮画像データを伸張回路により伸張処理して圧縮符号化時の並べ替えを行って得た元の画像データに対して符号化回路により符号化するようにしたため、圧縮符号化時の並べ替えのために必要なメモリ容量を削減でき、これにより、記憶手段や符号化回路等を搭載した基板の縮小化と消費電力の低減を実現でき、コストを低減することができる。
【０１９１】
更に、本発明によれば、２つの異なる制御回路の構成で割り込み処理を使うことにより、１画面分伸張することなく、符号化に必要な画像データを必要な量のみ伸張しながら符号化処理を行うことが可能となり、伸張回路からの元の画像データを記憶する記憶手段の容量としては、符号化に必要最小限の容量で済ませることができる。
【０１９２】
また、本発明によれば、２つの制御回路において並行してメインの圧縮符号化処理とは別に、入力画像データに対してメインの符号化回路で圧縮符号化処理を施すことで、メインの圧縮符号化処理を行う前の画像に対して所定のフィルタリングを施すことができ、かつ、圧縮符号化処理結果の情報をメインの圧縮符号化処理に使用することで、メインの圧縮符号化処理をより効率良く行うことができると共に、基板の縮小化、消費電力低減を実現し、コストの低減を図ることができる。
【図面の簡単な説明】
【図１】本発明装置の第１の実施の形態のブロック図である。
【図２】図１の動作説明図である。
【図３】本発明装置の第２の実施の形態のブロック図である。
【図４】図３中のメモリにおける画像データ受け渡しの流れを示す図である。
【図５】図３中の圧縮回路の一例のブロック図である。
【図６】符号化回路における差分結果対出現頻度特性図である。
【図７】ＤＣＴの演算結果説明図である。
【図８】図３中の伸張回路の一例のブロック図である。
【図９】図３中のメモリのメモリ容量を説明する図である。
【図１０】図３中のメモリ内の伸張データの書き込み及び読み出しの説明図である。
【図１１】本発明の第２の実施の形態における制御回路の制御動作説明用フローチャートである。
【図１２】本発明の第３の実施の形態における制御回路の制御動作説明用フローチャートである。
【図１３】本発明装置の第４の実施の形態のブロック図である
【図１４】本発明装置の第５の実施の形態のブロック図である。
【図１５】図１４中のメモリ内の伸張データの書き込み及び読み出しの説明図である。
【図１６】図１４中のプリフィルタ／圧縮回路の一例のブロック図である。
【図１７】図１６のプリフィルタ／圧縮回路におけるフィードバック制御説明用フローチャートである。
【図１８】図１４中の伸張回路の一例のブロック図である。
【図１９】従来の画像データ符号化装置の第１の例のブロック図である。
【図２０】図１９の画面分割部による画面分割動作説明図である。
【図２１】図１９の動作説明図である。
【図２２】図１９の分割画像符号化部の動作説明図である。
【図２３】図１９の統合ストリーム生成部で４つのストリームデータを統合する方法の説明図である。
【図２４】従来の画像データ符号化装置の第２の例のブロック図である。
【図２５】図２４中の圧縮回路の一例のブロック図である。
【図２６】図２４中の伸張回路の一例のブロック図である。
【図２７】従来の画像データ符号化装置の第３の例のブロック図である。
【図２８】図２７中の可変プリフィルタによるフィルタリングを説明する図である。
【図２９】図２７中のフィルタ制御部の一例のブロック図である。
【図３０】図２９中のパラメータ決定部が求める共通解（ｋ、Ｑ）を示す図である。
【図３１】図２９で用いる動き量パラメータを測定する測定部の一例のブロック図である。
【符号の説明】
１ 動画像データ入力端子
２ 画面分割部
４ 統合ストリーム生成部
５ 符号化データ出力端子
１４、６７、７５ 符号化回路
１５、６１、７１ バッファ
５１ 画像メモリ
５２ 分割画像符号化部
５２ａ 分割画像Ｉピクチャ符号化部
５２ｂ 分割画像Ｐピクチャ符号化部
５２ｃ、５２ｄ 分割画像Ｂピクチャ符号化部
５３ 制御部
６２ 圧縮回路
６２ａ、６７ａ ＤＣＴ／量子化回路
６２ｂ、６４ａ、６７ｂ、７２ｃ、７４ａ 可変長符号化回路
６３、７３ メモリ
６４、７４ 伸張回路
６４ｂ 逆量子化／逆ＤＣＴ回路
６５、６６、６８、７７、７８ 制御回路
７２ プリフィルタ／圧縮回路
７２ａ ＤＣＴ回路
７２ｂ、７５ａ 量子化回路
７２ｄ、７５ｂ 量子化ステップ制御回路
７４ｂ 逆量子化回路
７４ｃ 逆ＤＣＴ回路
【発明の属する技術分野】
本発明は画像データ符号化装置に係り、特にＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮符号化方式により、動画像信号などの画像データを圧縮符号化して伝送する画像データ符号化装置に関する。
【０００２】
【従来の技術】
ビデオ映像信号等の大量の動画像信号をより少ないデータ量で転送・蓄積するための動画像圧縮技術として、ＭＰＥＧ４が挙げられる。ＭＰＥＧ４は、同じ動画像圧縮技術としてよく知られているＭＰＥＧ２とは異なる領域で、低ビットレートの高圧縮率を目標とした技術であり、携帯テレビ電話、ムービーメール、インターネット配信などマルチメディアの分野で注目を浴びつつある。
【０００３】
ＭＰＥＧ４では、１枚の動画像フレームデータを水平方向および垂直方向共に８画素（すなわち、８画素×８画素）の大きさのブロックに分割し、各ブロックに対して空間的相関を利用して離散コサイン変換（以下、ＤＣＴと示す）を行い、そのＤＣＴ係数を量子化することで生成される符号に出現頻度の偏りを持たせ、出現頻度の高いものにはなるべく短い符号を、逆に出現頻度の低いものには長い符号を割り当てるという可変長符号化を行うことを基本としている。また、動き検出／動き補償により時間軸方向の相関を利用しての圧縮も行い、符号化効率を向上させている。
【０００４】
動き検出／動き補償とは、入力画像をそれぞれ重なりを持たない水平方向および垂直方向共に１６画素（すなわち、１６画素×１６画素）から構成されるマクロブロック単位に分割し、現フレーム画像内の符号化ターゲットマクロブロックを時間軸での前方向（過去）または後方向（未来）フレーム画像内の同じ位置におけるマクロブロックを中心とした、ある探索範囲内のマクロブロックと比較することにより、動き情報（動きベクトル量）を求めて、符号化効率を上げる技術である。
【０００５】
このような動画像圧縮技術を用いることにより、低ビットレ一卜でも高画質な動画像データを供給することが可能となった。ＭＰＥＧ４では、扱われている動画像サイズは現状、水平方向１７６画素、垂直方向１４４画素のＱＣＩＦサイズ（１７６画素×１４４画素）が主であるが、今後、更に大きなサイズの圧縮符号化実現が望まれる。
【０００６】
ここで、ＱＣＩＦ（Ｑｕａｒｔｅｒ ＣＩＦ）サイズの４倍であるＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ：共通中間フォーマット）サイズ（３５２画素×２８８画素）の動画像圧縮符号化実現を考える。サイズが４倍になるということは符号化処理量が４倍に増加することになり、４倍の処理高速化が必要になる。一番簡単な実現手段は動作周波数を４倍に上げることである。これにより、ＱＣＩＦサイズ動画像データを圧縮符号化可能な符号化装置を利用して、その４倍サイズであるＣＩＦサイズ動画像データの符号化処理可能となる。
【０００７】
しかしながら、このように動作周波数を上げることで、小さなサイズの動画像データの圧縮符号化装置を用いて、それよりも大きいサイズの動画像データの圧縮符号化処理を行う方法では、動作周波数を上げるのにもハードウェア上の限界がある。
【０００８】
そこで、小さなサイズの動画像データ符号化装置を用いて大画面の動画像データの符号化を行うことが可能な他の方法として、従来、動画像データの各画面を分割して並列処理で圧縮符号化を行う画像データ符号化装置が提案されている（例えば、特許文献１参照）。
【０００９】
図１９は上記の特許文献１記載の従来の画像データ符号化装置の一例のブロック図を示す。この例では、ＱＣＩＦ用符号化装置である分割画像符号化部を４つ使用してＣＩＦサイズの符号化を実現する。図１９に示す画像データ符号化装置は、動画像データ入力端子１、画面分割部２、画像符号化部３、統合ストリームデータ生成部４、符号化データ出力端子５及び制御部６から構成される。
【００１０】
動画像データ入力端子１から入力されたＣＩＦ動画像データは、画面分割部２に供給され、ここで制御部６からの制御の下に４つの分割画面に分割され、４つの分割画像データが生成される。すなわち、画面分割部２では、図２０（Ａ）に示すＣＩＦサイズ（３５２画素×２８８画素）の入力ＣＩＦ動画像データに対して、同図（Ｂ）に示すように、各分割画面同士が重複することなく、かつ、各分割画面間に隙間が無いように、各々水平方向１７６画素、垂直方向１４４画素（ライン）の４つの分割画面Ａ、Ｂ、Ｃ及びＤを示す４つの分割画像データを生成する。なお、図２０では輝度信号の画面分割の場合を示しており、色差信号については、輝度信号に対して水平方向の画素数が１／２、垂直方向のライン数が１／２になる点を除けば、輝度信号と同様である。
【００１１】
ＱＣＩＦサイズのこれら４つの分割動画像データは、図１９の分割画像符号化部３ａ、３ｂ、３ｃ、３ｄに別々に供給され、それぞれ時間的相関を利用して情報圧縮を行う動き補償予測、空間的相関を利用して情報圧縮を行う離散コサイン変換（以下、ＤＣＴと表記する）、量子化によって生成される符号の出現確率の偏りを利用して情報圧縮を行うエンロピー符号化（可変長符号化）等の処理を受けて各々が圧縮符号化され、４つの符号化データに生成される。
【００１２】
これら４つの符号化データは、統合ストリームデータ生成部４において、制御部６からの制御の下に１つのストリームデータに統合され、ストリームデータ出力端子５からストリームデータとして出力される。制御部６は、画面分割部２、分割画像符号化部３ａ〜３ｄ及び統合ストリーム生成部４の制御を行う。
【００１３】
ここで、上記の分割画像符号化部３ａ〜３ｄでは、各々が水平方向１７６画素、垂直方向１４４画素（ライン）からなる分割画像データの符号化を行うが、分割画像データを構成する画面サイズはＱＣＩＦと同等であるため、分割画像符号化部３ａ〜３ｄとしてＱＣＩＦサイズの符号化装置を使用することが可能である。
【００１４】
また、各分割画像符号化部３ａ〜３ｄにおいては、動き補償予測を各分割画面内、つまり、分割画面外への動きベクトル探索を禁止して図２０（Ｂ）に示した各分割画面内で動き補償予測を行う。動き補償予測とは、１６画素×１６画素から構成されるマクロブロック単位で符号化対象画面に対し、時間軸での前方向（過去）または後方向（未来）フレーム画像からの予測により動き量を求めて、符号化効率を上げる技術である。
【００１５】
ここで、ＭＰＥＧのピクチャタイプについて説明する。ＭＰＥＧでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３つのタイプのピクチャが規定されている。Ｉピクチャは、フレーム内符号化、つまり他のフレームを参照せずに符号化される画像であり、動き補償予測の対象とならない。また、Ｐピクチャは、前方予測、つまり前方向フレームの参照により、動き補償予測の施される画像である。更に、Ｂピクチャは、双方向予測を行う画像であり、前方向及び後方向フレームの参照により、動き補償予測の施される画像である。
【００１６】
従って、他のフレームを動き補償予測するために参照されるフレームのピクチャタイプは、Ｉピクチャ及びＰピクチャである。Ｂピクチャは参照されない。つまり、Ｐピクチャを動き補償予測するために参照されるフレームは、前方向のＩピクチャまたはＰピクチャである。また、Ｂピクチャを動き補償予測するためには、前方向フレーム（ＩピクチャまたはＰピクチャ）及び後方向フレーム（ＩピクチャまたはＰピクチャ）が参照される。
【００１７】
従って、Ｂピクチャを動き補償予測する処理は、入力される画像信号中で後方向の位置にあるフレーム（ＩピクチャまたはＰピクチャ）が処理された後においてのみ行うことができる。このため、入力されるフレーム画像の順序は、処理される順序とは異なる。そこで、入力の各フレーム画像の順序の並べ替えが必要になり、この並べ替えを行うために、入力されるフレーム画像を一時的に記憶しておくメモリが必要となる。また、このメモリは、動き補償予測を行うために参照されるＩピクチャまたはＰピクチャを記憶する役割も果たす。なお、図１９では、このようなフレーム画像及びピクチャ画像を記憶するメモリの図示は省略している。
【００１８】
以上の処理について、図２１、図２２を用いて更に説明する。なお、図２１中のＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを示し、Ｉ，Ｐ，Ｂ文字の添え字は符号化ターゲットとなるフレームナンバーを示す。例えば、Ｉ１は、１フレーム目を符号化した場合のＩピクチャを示す。また、図２２中のＩ，Ｐ，Ｂ文字の２桁の添え字のうち、左側の添え字は符号化ターゲットとなるフレームナンバーを示し、右側の添え字は符号化ターゲットとなるフレームを分割した場合の各分割画面を示す。例えば、Ｉ１Ａは、１フレーム目の、図２０で示す分割画面Ａを符号化した場合のＩピクチャを示す。
【００１９】
図２１に示すように、１フレーム目（図中、１ｆと表記）から７フレーム目（図中、７ｆと表記）までの計７フレーム画像を１フレーム目から順にＩ、Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐピクチャに符号化する場合を考える。Ｉ１ピクチャ符号化時には１フレーム目（１ｆ）のみ用いられ、Ｐ４ピクチャ符号化時には４フレーム目（４ｆ）及び動き補償フレーム問予測のためにＩ１ピクチャが用いられ、Ｂ２ピクチャ符号化時には２フレーム目（２ｆ）及び動き補償フレーム間予測のためにＩ１ピクチャ及びＰ４ピクチャが用いられる。
【００２０】
ここでの符号化は４分割画面毎に行われるため、１フレーム目（１ｆ）のＩ１ピクチャ符号化は、図２２に示すように、Ｉ１Ａ、Ｉ１Ｂ、Ｉ１Ｃ、Ｉ１Ｄピクチャ符号化の４並列処理で行う。以後、同様に図２２に示すように４並列の符号化処理を繰り返す。
【００２１】
ＭＰＥＧのデータ構造は、周知のようにシーケンス、ＧＯＰ、ピクチャ、スライス、マクロブロック及びブロックの各レイヤから構成されており、ブロックレイヤを除く各レイヤの先頭にはヘッダが存在する。なお、スライス、マクロブロックには厳密にはヘッダという呼び方はないが、ここではこれらレイヤの先頭情報も全てヘッダと呼ぶことにする。図１９に示した分割画像符号化部３ａ〜３ｄにおいては、これらレイヤのうちピクチャ以上のレイヤ、つまりシーケンス、ＧＯＰ及びピクチャの各レイヤの符号化パラメータ情報を全ての分割画像符号化部３ａ〜３ｄで共通にして符号化する。
【００２２】
次に、図２３を用いて図１９の統合ストリーム生成部４での４つのストリームデータを統合する方法について更に説明する。まず、ピクチャレイヤ以上のレイヤに関して、４つのビデオストリームに別々についているヘッダ類、つまりシーケンスヘッダ、ＧＯＰヘッダ及びピクチャヘッダを１つに統合する。この際、シーケンスレイヤのパラメータ、例えば画像サイズ情報（水平方向画素サイズ、垂直方向画素サイズ）、アスペクト比情報、ビットレート情報等を置換して、各分割画面に対応した値ではなくＣＩＦ画面に対応した値に修正する。
【００２３】
そして、ＣＩＦ画面としての各ピクチャについて、基本的にスライス単位でストリームデータの統合を行う。つまり、元のＣＩＦ画面上でのラスタスキャン順に対応して、各ストリームデータのスライスを結合する。このよう子を図２３に示す。ＣＩＦ画面のある１枚のピクチャについて、図２３に示すように４個の各分割画面毎にそれぞれＡ１，Ａ２，Ａ３，・・・、Ｂ１，Ｂ２，Ｂ３，・・・、Ｃ１，Ｃ２，・・・、Ｄ１，Ｄ２，Ｄ３，・・・というように、スライスが分割されて符号化されているものとする。
【００２４】
この時、各分割画像符号化部３ａ〜３ｄから出力されるストリームデータの中のこのピクチャに対応する部分について、まず図２０の分割画面Ａ，Ｂに対応するストリームデータのスライスヘッダを境界にして時分割多重を行う。図２３の例ではＡ１，Ｂ１，Ｂ２，Ａ２，Ａ３，Ｂ３，・・・というように、左上からスタートして１行が分割画面Ａの右端まで達したら、右隣の分割画面Ｂの左端につなぎ、分割画面Ｂの右端まで達したら、次の行の分割画面Ａの左端につなぐ。最後に、分割画面Ｃの右下端に達したら、更に下半分の分割画面Ｃ，Ｄに対応するストリームデータについても同様にスライスを単位とした左上から右下へのラスタスキャン順の時分割多重を行う。つまり、図２３の例ではＣ１，Ｃ２，Ｄ１，Ｃ３，Ｄ２，Ｄ３・・・という順に多重する。この際、各分割画像符号化部３ａ〜３ｄの出力ビデオストリームを一時記憶部（遅延器）にそれぞれ一時格納することにより、スムーズな多重が行われるようにすることが望ましい。
【００２５】
更に、スライスヘッダに含まれる情報のうち、図２０の分割画面Ｃ，Ｄのスライス垂直位置情報に、１分割画面の垂直マクロブロック数に相当する９（＝１４４／１６）を加算する。また、スライス先頭のマクロブロックヘッダに含まれる情報のうち、マクロブロックアドレスインクリメントを修正する。修正方法は、図２０の分割画面ＡとＣについては修正無し、ＢとＤについては１分割画面の水平マクロブロック数に相当する１１（＝１７６／１６）を加算する。このようにして、スライス垂直位置、及びスライス先頭のマクロブロックアドレスインクリメントを分割画面上での値からＣＩＦ画面上での値に換算することができる。
【００２６】
以上の一連の処理の結果、得られる統合後のストリームデータは、正規のＣＩＦ動画像データの１つのストリームデータとなる。このように、ＱＣＩＦ符号化装置を用いることで、その４倍サイズとなるＣＩＦサイズの動画像符号化において、動作周波数を上げることなく実現できる。
【００２７】
しかしながら、入力の各フレーム画像の順序の並べ替えを行うために、入力されるフレーム画像を一時的に記憶しておくメモリには、動画像データの符号化条件に応じて、数フレームから数十フレームの容量が必要とされる。従って、この大容量のメモリのコストがシステム全体のコストを上昇させる要因となり、メモリ容量の削減が求められていた。
【００２８】
そこで、従来、上記のメモリ容量を削減した画像データ符号化装置が提案されている（例えば、特許文献２参照）。この特許文献２記載の従来の画像データ圧縮符号化装置は、入力画像データをそのままメモリに記憶するのではなく、圧縮してメモリに記憶し、符号時には必要なデータを伸張して取り出し、符号化処理を行うという構成である。
【００２９】
図２４は上記の特許文献２記載の従来の画像データ符号化装置の一例のブロック図を示す。この従来の画像データ符号化装置は、圧縮回路１１、メモリ１２、伸張回路１３、符号化回路１４（動き検出／動き補償回路１４ａ、減算器１４ｂ、ＤＣＴ／量子化回路１４ｃ、逆量子化／逆ＤＣＴ回路１４ｄ、加算器１４ｅ、可変長符号化回路１４ｆ）、バッファ１５及び制御回路２３から構成される。
【００３０】
圧縮回路１１は、例えば（４：２：２）から（４：２：０）への変換処理等が施された入力動画像データを後述するように圧縮処理し、メモリ１２に記憶する。なお、圧縮回路１１における圧縮処理は、ＭＰＥＧ等の規定に従って行われるメインの圧縮符号化処理とは異なるもので、メモリ１２の容量削減のために行う。伸張回路１３は、符号化を開始するために必要な量の圧縮された画像データがメモリ１２に記憶された後、後述するようにして、メモリ１２内の圧縮された画像データ、つまり、メインの圧縮符号化処理を行う画像データを元のデータに復元する。そして、復元した画像データを動き検出／動き補償回路１４ａに出力する。なお、画像データを復元する際、前述したように、入力される各フレームの順序の並べ替えが行われる。
【００３１】
動き検出／動き補償回路１４ａは、動き検出／動き補償処理を行う。つまり、伸張回路１３から供給されたデータ（メインの圧縮符号化を行う画像データ）をメモリ１２から供給されるローカルデコード画像との間で動き検出を行い、その結果得られるデータ（予測画像データ）と入力画像データとの差分（予測誤差）を減算器１４ｂでとる動き補償を行わせることによって、時間的相関を利用した情報圧縮を行う。なお、フレーム内符号化であるＩピクチャの場合は、動き検出／動き補償処理を行わないため、伸張回路１３から供給された画像データはそのまま減算器１４ｂを通してＤＣＴ／量子化回路１４ｃに供給される。
【００３２】
ＤＣＴ／量子化回路１４ｃでは、減算器１４ｃから供給されたデータにＤＣＴを施し、その結果を量子化することで、空間的相関を利用した情報圧縮が行われる。ＤＣＴ／量子化回路１４ｃによって符号化されたデータは、可変長符号化回路１４ｆに供給されると共に、逆量子化／逆ＤＣＴ回路１４ｄにも供給される。逆量子化／逆ＤＣＴ回路１４ｄは、後述するように動き検出／動き補償回路１４ａの処理で参照されるローカルデコード画像を生成するために、ＤＣＴ／量子化回路１４ｂとは逆の処理を行う。
【００３３】
逆量子化／逆ＤＣＴ回路１４ｄの出力データは、動き検出／動き補償回路１４ａから供給される予測画像データと加算器１４ｅで加算され、その加算結果から、動き検出／動き補償回路１４ａの処理で参照されるローカルデコード画像が生成される。このローカルデコード画像はメモリ１２に非圧縮のまま記憶される。なお、Ｉピクチャ符号化の場合は、動き検出／動き補償処理を行わないため、逆量子化／逆ＤＣＴ回路１４ｄの出力がそのまま、画像メモリ１２に非圧縮のまま記憶される。また、前述したようにＭＰＥＧには、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３つがあるが、他のフレームを動き検出／動き補償するために参照されるフレームのピクチャタイプは、Ｉピクチャ及びＰピクチャであり、Ｂピクチャは参照されない。従って、Ｂピクチャ符号化時はローカルデコード画像が生成されない。
【００３４】
一般に、あるデータを圧縮／伸張処理した場合、完全に元に復元することは無く、ある程度の誤差を含む。この誤差は、要求される品質に対して許容範囲内であれば問題とならない。しかし、ローカルデコード画像は他フレームの符号化に使用されるため、ローカルデコード画像を圧縮／伸張処理すると、圧縮／伸張によって生じた誤差は画像信号の広範な部分の符号化に影響を与え、伝送される画像の品質を低下させる要因となる恐れがある。従って、前述したように、ローカルデコード画像に対しては圧縮／伸張処理を行わない。
【００３５】
一方、可変長符号化回路１４ｆは、ＤＣＴ／量子化回路１４ｃの処理の結果生成された値に対して、出現確率の低い値に長い符号長を割り当て、かつ、出現確率の高い値に短い符号長を割り当てることによって、データ全体の符号量を減らすようにした可変長符号化を行う。可変長符号化回路１４ｆが生成するデータは、圧縮符号化データとしてバッファ１５に記憶され、所定の伝送タイミングでビットストリームとして出力される。制御部１６は全体の制御を司る。
【００３６】
次に、圧縮回路１１による圧縮処理について詳細に説明する。この圧縮処理は、例えば差分パルス符号変調（以下、ＤＰＣＭと表記する）によって行われる。ＤＰＣＭとは、直前に処理した左側の画素（左から右へ走査）と差分をとることで、統計的偏りを持たせて符号量削減を図る符号化方法である。ＤＰＣＭは高い圧縮効果は得られないが、簡単な処理で行うことができる。
【００３７】
５画素分に相当する４０ビット（つまり、８（ビット／画素）×５画素＝４０ビット）を３２ビットに圧縮する場合の圧縮回路１１の構成を示すブロック図を図２５に示す。同図において、制御回路２３は、スイッチ２２、スイッチ２７及びマルチプレクサ（図中、ＭＵＸと表記）２４の制御を行い、各画素を単位として、供給先を切替える。
【００３８】
画像データは、画素毎、つまり８ビット単位で供給される。１番目の画素データの供給時には、制御回路２３の制御によりスイッチ２２が端子ａ側に接続されて入力画像データをそのまま、マルチプレクサ２４、逆量子化回路２５及びスイッチ２７に供給する。更に、１番目の画素データの供給時には、制御回路２３の制御により、スイッチ２７が端子ａ側に接続されるため、スイッチ２７を通してフリッププロップ（図中、ＦＦと表記）２８に供給され、記憶される。
【００３９】
２番目の画素データが供給されると、２番目の画素データと、既にフリッププロップ２８に記憶されている１番目の画素データとの差分が減算器２０によって計算される。この差分が量子化回路２１に供給され、８ビットから６ビットに量子化される。また、２番目の画素データの供給時には、制御回路２３の制御により、スイッチ２２が端子ｂ側に切り替え接続されるため、量子化回路２１で６ビットに量子化されたデータはスイッチ２２を通してマルチプレクサ２４に供給されると共に、逆量子化器２５にも供給される。
【００４０】
逆量子化器２５は、供給された６ビットのデータを逆量子化して加算器２６に供給し、ここでフリッププロップ２８に記憶されていた１番目の画素データと加算して、２番目の画素データを復元する。また、２番目の画素データの供給時には、制御回路２３の制御により、スイッチ２７が端子ｂ側に切り替え接続されるため、加算器２６により得られた加算結果、つまり復元された２番目の画素データがスイッチ２７を通してフリップフロップ２８に供給されて記憶される。このようにして、フリップフロップ２８に記憶された復元された画素データは、次に入力される画素データを処理する際に減算器２０及び加算器２６において用いられる。
【００４１】
更に、３番目〜５番目までの画素データも２番目の画素データと同様に処理され、各々６ビットのデータとなる。この結果、５画素分のデータ（４０ビット）が３２ビットのデータに圧縮され、マルチプレクサ２４から図２４のメモリ１２に供給されて記憶される。
【００４２】
６番目以降の画素データについても、同様に５画素分の４０ビットのデータを処理単位として、３２ビットのデータに圧縮することが行われる。従って、圧縮回路１１に入力される画像データに対して、常に４／５の圧縮が施されてメモリ１２に記録されることになり、その結果、メモリ１２内における入力画像データの記憶容量を４／５に削減することができる。
【００４３】
次に、伸張回路１３の伸張処理について詳細に説明する。この伸張処理は、圧縮回路１１による圧縮処理の逆処理を行うものであり、３２ビットのデータを元の４０ビットのデータに復元する。図２６は伸張回路１３の一例のブロック図を示す。同図において、制御回路３３は、デマルチプレクサ（図中、ＤＥＭＵＸと表記）３０及びスイッチ３４によって、画素の供給先を制御する。
【００４４】
図２４のメモリ１２から供給された３２ビットデータがデマルチプレクサ３０に供給される。デマルチプレクサ３０は、供給された３２ビットデータのうちの８ビットの画素データ（圧縮回路１１の処理において、ビット長が８ビットのままとされる画素データ、つまり処理単位とされる５画素のうちの最初の画素データ）が１番目に処理され、その後２番目以降に６ビットのデータが順に処理されるように、後段に画素データを供給する。
【００４５】
デマルチプレクサ３０から１番目のデータとして８ビットのデータが出力される時には、制御回路３３の制御によって、スイッチ３４が端子ａ側に接続されるため、８ビットのデータは、伸張回路１３をそのまま通過すると共に、フリップフロップ３５に記憶される。次に、デマルチプレクサ３０から２番目のデータとして６ビットのデータが出力される時には、逆量子化回路３１によって６ビットのデータが逆量子化され、加算器３２に供給される。加算器３２は、逆量子化回路３１から供給されるデータと、フリップフロップ３５に記憶された１番目のデータとを加算し、２番目のデータを復元する。
【００４６】
デマルチプレクサ３０から２番目のデータとして６ビットのデータが出力される時には、制御回路３３の制御によって、スイッチ３４が端子ｂ側に切り替え接続されるため、加算器３２の出力データ、つまり復元された２番目の画素データは、伸張回路１３から出力されると共に、フリップフロップ３５に記憶される。このようにして、フリップフロップ３５に記憶された復元された画素データは、次に入力される画素データを処理する際に加算器３２において用いられる。
【００４７】
その後、第３番目〜第５番目のデータについても同様な処理が行われる。この結果、３２ビットのデータが４０ビットのデータに伸張され、８ビット／画素の５画素分のデータに復元する。以降、同様にして、３２ビットのデータを１単位として、４０ビット、つまり５画素分のデータに復元することが行われる。従って、伸張回路１３に入力される圧縮データについて、常に５／４の伸張処理が施される。このように、メインの圧縮符号化処理とは異なる圧縮処理（ＤＰＣＭ）を入力動画像データに対して行うことで、メモリ容量の削減を実現できる。
【００４８】
ところで、前述したように、ＭＰＥＧでは動き検出／動き補償を施すことでフレーム間符号化を行い、符号化効率を上げているが、複雑で速い動きが画像中にある場合、動き検出／動き補償が有効に働かず、符号化出力量が大きくなると共に、量子化歪等が発生して画質劣化の問題が発生する。
【００４９】
この改善手法として、プリフィルタの最適通過帯域と量子化ステップサイズを適応的に決定するプリフィルタ処理を取り入れた画像データ符号化装置が従来、提案されている（例えば、特許文献３参照）。
【００５０】
図２７は特許文献３記載の従来の画像データ符号化装置の一例のブロック図を示す。この従来の画像データ符号化装置は、メモリ４１、可変プリフィルタ４２（プリフィルタ４２ａ、フィルタ制御部４２ｂ）、符号化回路４３（動き補償／動き検出部４３ａ、減算器４３ｂ、ＤＣＴ回路４３ｃ、量子化回路４３ｄ、逆量子化回路４３ｅ、逆ＤＣＴ回路４３ｆ、加算器４３ｇ、可変長符号化回路４３ｈ、バッファ４３ｉ）から構成される。
【００５１】
前述したように、ＭＰＥＧでは、入力されるフレーム画像の順序は、処理される順序とは異なるため、入力の各フレーム画像の順序の並べ替えが必要になり、この並べ替えを行うために、入力フレーム画像を一時的に記憶しておくメモリが必要とされ、メモリ４１をその用途に用いる。また、メモリ４１にはローカルデコード画像を記憶するためにも用いる。すなわち、メモリ４１は、動き検出／動き補償を行うために必要な複数枚の画像データ及び後述するローカルデコード画像を記憶する。
【００５２】
可変プリフィルタ４２は、メモリ４１から読み出された動画像データを入力信号として受け、後述するように、入力信号、量子化ステップサイズ等を参照することにより、符号化出力レートの予測と同時に画質のバランスを考慮して、プリフィルタ４２ａの最適通過帯域と量子化ステップサイズを適応的に決定し、入力画像データに対してローパスフィルタリングを施し、符号化回路４３へ出力する。
【００５３】
符号化回路４３では、まず、動き検出／動き補償部４３ａにより、動き検出／動き補償処理を行う。つまり、可変プリフィルタ４２ａによりローパスフィルタリングを施された入力原画像と後述するローカルデコード画像との間で動き検出を行い、その結果得られるデータ（予測画像データ）を出力して減算器４３ｂで入力減画像データとの差分（予測誤差）をとる動き補償を行う。これにより、時間的相関を利用した情報圧縮を行う。なお、フレーム内符号化であるＩピクチャの場合は、動き検出／動き補償処理を行わないため、画像データはそのままＤＣＴ回路４３ｃに供給される。
【００５４】
ＤＣＴ回路４３ｃは入力されたデータにＤＣＴを施し、得られたＤＣＴ係数を量子化回路４３ｄに供給して量子化させることで、空間的相関を利用した情報圧縮が行われる。ＤＣＴ回路４３ｃ及び量子化回路４３ｄによって符号化されたデータは、可変長符号化回路４３ｈに供給されると共に、逆量子化回路４３ｅにも供給される。
【００５５】
可変長符号化回路４３ｈでは、ＤＣＴ回路４３ｃ及び量子化回路４３ｄによって符号化されたデータの値に対して、出現確率の低い値に長い符号長を割り当て、かつ、出現確率の高い値に短い符号長を割り当てることによって、データ全体の符号量を減らすようにした可変長符号化を施す。可変長符号化回路４３ｈが生成した圧縮符号化データは、バッファ４３ｉに一時記憶された後、所定の伝送タイミングでビットストリームとして出力される。
【００５６】
一方、逆量子化回路４３ｅ及び逆ＤＣＴ回路４３ｆでは、量子化回路４３ｄから供給されるデータに逆量子化／逆ＤＣＴを行う。逆ＤＣＴ回路４３ｆの出力データは、加算器４３ｇで動き検出／動き補償部４３ａから供給される予測画像データと加算され、動き検出／動き補償部４３ａの処理で参照されるローカルデコード画像が生成される。このローカルデコード画像はメモリ４１に記憶される。
【００５７】
なお、Ｉピクチャ符号化の場合は、動き検出／動き補償処理を行わないため、逆ＤＣＴ回路４３ｆの出力がそのまま、画像メモリ４１に記憶される。また、前述したようにＭＰＥＧには、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３つがあるが、他のフレームを動き検出／動き補償するために参照されるフレームのピクチャタイプは、Ｉピクチャ及びＰピクチャであり、Ｂピクチャは参照されない。従って、Ｂピクチャ符号化時はローカルデコード画像が生成されない。
【００５８】
次に、可変プリフィルタ４２の動作について詳細に説明する。プリフィルタ４２ａは、フィルタ制御部４２ｂより与えられる通過帯域パラメータ（以下、ｋと記す）に基づく図２８に示す式で表される構成により、入力画像データに対し、適応的に特性を変化させたローパスフィルタリングを行う。
【００５９】
フィルタ制御部４２ｂは、図２９に示すように、出力レート関数（以下、関数ｆ１と記す）決定部４２１ｂ、関数ｆ１の係数更新部４２２ｂ、画質バランス関数（以下、関数ｆ２と記す）入力部４２３ｂ、パラメータ決定部４２４ｂ、量子化ステップサイズ（以下、Ｑと記す）制御部４２５ｂから構成される。
【００６０】
出力レート関数決定部４２１ｂは、ｋ、Ｑ、後述する動き量パラメータ（以下、ｒと記す）、符号化出力レート（以下、Ｊと記す）との相互関係を記述する関数ｆ１を決定する。出力レート関数係数更新部４２２ｂは、過去に符号化された画像フレームに関するｋ、Ｑ、ｒ、Ｊに基づき、関数ｆ１に含まれる係数を更新する。画質バランス関数入力部４２３ｂは、入力画像帯域の制限による鮮鋭度の劣化と量子化による符号化歪による画質劣化のバランスを考慮する関数ｆ２の入力を行う。量子化ステップサイズ制御部４２５ｂは、ｋ更新タイミング以外のタイミングにおける量子化ステップサイズＱ′を決定する。
【００６１】
パラメータ決定部４２４ｂは、ｋの更新タイミングにおいて、関数ｆ１及び関数ｆ２より後述する共通解（ｋ、Ｑ）を求める。
【００６２】
関数ｆ１、関数ｆ２は例えば、式（１）、式（２）として表現される。
【００６３】
Ｊ＝α・（ｋ＋β）・（１／Ｑ＋γ）・（ｒ＋δ） ・・・式（１）
Ｑ＝ζ／ｋ＋η ・・・式（２）
（但し、α，β，γ，δ，ζ，ηは定数）
これらは、通常、図３０に示すように共通解（ｋ、Ｑ）を持つ。
【００６４】
また、動き量パラメータｒは例えば、図３１に示すような、差分器４６、絶対値演算器４７、比較器４８、カウンタ４９から構成される測定部により求められる。差分器４７は、入力原画像とローカルデコード画像とのフレーム間の画素毎の差分値ｄを求める。絶対値演算器４７は、差分値ｄの絶対値｜ｄ｜を求める。比較器４８は、この｜ｄ｜と閾値ｄ０とを比較し、｜ｄ｜≧ｄ０の不等式を満足する画素の場合、カウンタ４９に信号を送り、カウントさせる。カウンタ４９は上記条件を満たす画素の割合ｒ（％）を動き量パラメータとして出力する。
【００６５】
以上のように、特許文献３記載の従来の画像データ符号化装置では、入力データの性質を利用し、量子化歪とローパスフィルタによる鮮鋭度劣化のバランスを考慮することにより、最適画質を決定するようにフィルタ特性を適応的に変化させてプリフィルタ処理を施すことで、画質劣化の少ない符号化を実現する。
【００６６】
【特許文献１】
特開平１０−２３４０４３号公報
【特許文献２】
特開平１０−２７１５１６号公報
【特許文献３】
特開平６−２２５７８号公報
【００６７】
【発明が解決しようとする課題】
しかるに、図１９に示した従来の画像データ符号化装置では、ＣＩＦサイズの動画像符号化を、動作周波数を上げることなく実現するために、ＱＣＩＦ符号化装置である分割画像符号化部３ａ〜３ｄを４つ用いるため、消費電力が４倍となる。この消費電力の増加は、携帯電話といったモバイル機器などにも採用されているＭＰＥＧ４にとって大きな問題である。
【００６８】
また、図２４に示した従来の画像データ符号化装置では、メモリ容量削減のためにメインの圧縮符号化処理とは異なる圧縮処理の手法として、ＤＰＣＭを用いているが、この符号化方式では高い圧縮効果を得ることはできない。前述したように、入力の各フレーム画像の順序の並べ替えを行うために、入力されるフレーム画像を一時的に記憶しておくために、数フレームから数十フレームという大容量のメモリが必要であり、その大容量のメモリのコストがシステム全体のコストを上昇させる要因となり、メモリ容量の削減が求められている。
【００６９】
これは、図２７に示した従来の画像データ符号化装置において、符号化回路４３の動画像圧縮方式として低ビットレートの高圧縮率を目標としたＭＰＥＧ４を用いた場合も同様である。特に、ＭＰＥＧ４は、携帯テレビ電話、ムービーメール、インターネット配信などマルチメディアの分野で注目を浴びつつあり、モバイル機器にも多く採用されており、そのため、ＭＰＥＧ４処理回路に対して、基板の縮小化、消費電力低減、コスト低減などが求められている。従って、圧縮符号化時に必要なメモリ容量の更なる削減が望まれる。
【００７０】
本発明は上記課題を解決するためになされたもので、処理内容を一部変更することで、消費電力の上昇を抑えつつ、より大きな画面構成の画像データの符号化を行い得る画像データ符号化装置を提供することを目的とする。
【００７１】
また、本発明の他の目的は、入力画像データを効率良く圧縮符号化することで、メモリ容量を効率良く削減し、基板の縮小化、消費電力低減と、コストの低減を実現し得る画像データ符号化装置を提供することにある。
【００７２】
更に、本発明の他の目的は、ローパスフィルタリング効果を得ると同時に、入力画像データを圧縮符号化して、動き検出／動き補償のためにフレーム画像の順序の並べ替えに必要なメモリ容量を削減することで、基板の縮小化、消費電力低減とコストの低減を実現し得る画像データ符号化装置を提供することにある。
【００７３】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像データ符号化装置は、供給される入力動画像信号により構成される一画面を複数の画面に分割して、複数の分割画面に対応した複数の分割画像信号を出力する分割手段と、複数の分割画像信号を記憶する記憶手段と、記憶手段から供給される複数の分割画像信号に対し、符号化モードの種別毎に並列に符号化を行うと共に、複数の分割画像信号に対して分割画面毎に符号化を時分割で行って得た複数の符号化データを記憶手段に記憶する分割画像符号化手段と、記憶手段より出力された複数の符号化データを、１つの画像データに統合する統合手段と、記憶手段、分割画像符号化手段及び統合手段を制御する制御手段とを有する構成としたものである。
【００７４】
この発明では、入力動画像信号の画面サイズよりも画面サイズの小さな複数の分割画面に各々に対応した複数の分割画像信号を別々に、互いに独立して符号化する複数の分割画像符号化回路を有するのではなく、複数の分割画像信号に対し、符号化モードの種別毎に並列に符号化を行うと共に、複数の分割画像信号に対して分割画面毎に符号化を時分割で行って複数の符号化データを得るようにしたため、互いに独立して符号化する複数の分割画像符号化回路の構成に比べて、ハードウェア量の削減ができる。
【００７５】
また、上記の目的を達成するため、第２の発明の画像データ符号化装置は、画像データを圧縮符号化処理して圧縮画像データを出力する圧縮回路と、少なくとも圧縮回路から出力された圧縮画像データを所定の容量分記憶する記憶手段と、記憶手段から読み出された圧縮画像データに対して、圧縮回路とは逆の処理を施して圧縮される前の元の画像データに伸張処理して記憶手段に記憶する伸張回路と、記憶手段から読み出された伸張回路によって伸張された画像データ及び動き補償を行うために上記の伸張された画像データを用いて生成したローカルデコード画像信号に基づいて、伸張された画像データを符号化する符号化回路と、圧縮画像データを記憶手段に記憶し、記憶手段に記憶された圧縮画像データを読み出して伸張回路に供給し、伸張回路により伸張して得られた元の画像データを記憶手段に記憶する第１の制御回路と、記憶手段に記憶された元の画像データとローカルデコード画像信号を読み出して符号化回路に供給すると共に、符号化回路の動作を制御し、符号化回路により符号化データと共に得られたローカルデコード画像信号を記憶手段に記憶する第２の制御回路とを有する構成としたものである。
【００７６】
この発明では、符号化回路によるメインの符号化処理とは別に、入力画像データに対して圧縮回路により圧縮効果の高い圧縮符号化処理を施して得た圧縮画像データを記憶手段に一旦記憶した後、その圧縮画像データを伸張回路により伸張処理して圧縮符号化時の並べ替えを行って得た元の画像データに対して符号化回路により符号化するようにしたため、圧縮符号化時の並べ替えのために必要なメモリ容量を削減できる。
【００７７】
また、上記の目的を達成するため、第３の発明の画像データ符号化装置は、画像データを圧縮符号化処理すると共に、所定のフィルタリングを施した圧縮画像データを出力するプリフィルタ／圧縮回路と、少なくともプリフィルタ／圧縮回路から出力された圧縮画像データを所定の容量分記憶する記憶手段と、記憶手段から読み出された圧縮画像データに対して、プリフィルタ／圧縮回路とは逆の処理を施して圧縮される前の元の画像データに伸張処理して記憶手段に記憶する伸張回路と、記憶手段から読み出された伸張回路によって伸張された画像データ及び動き補償を行うために上記の伸張された画像データを用いて生成したローカルデコード画像信号に基づいて、伸張された画像データを符号化する符号化回路と、圧縮画像データを記憶手段に記憶し、記憶手段に記憶された圧縮画像データを読み出して伸張回路に供給し、伸張回路により伸張して得られた元の画像データを記憶手段に記憶する第１の制御回路と、記憶手段に記憶された元の画像データとローカルデコード画像信号を読み出して符号化回路に供給すると共に、符号化回路の動作を制御し、符号化回路により符号化データと共に得られたローカルデコード画像信号を記憶手段に記憶する第２の制御回路とを有する構成としたものである。
【００７８】
この発明では、符号化回路によるメインの符号化処理とは別に、入力画像データに対してプリフィルタ／圧縮回路により画像データを圧縮符号化処理すると共に、所定のフィルタリングを施して得た圧縮画像データを記憶手段に一旦記憶した後、その圧縮画像データを伸張回路により伸張処理して圧縮符号化時の並べ替えを行って得た元の画像データに対して符号化回路により符号化するようにしたため、圧縮符号化時の並べ替えのために必要なメモリ容量を削減できると共に、符号化回路によるメインの符号化処理をより効率良く行うことができる。
【００７９】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【００８０】
＜第１の実施の形態＞
図１は本発明になる画像データ符号化装置の第１の実施の形態のブロック図を示す。同図中、図１９に示した従来の画像データ符号化装置と同一構成部分には同一の符号を付してある。図１に示す第１の実施の形態の画像データ符号化装置は、動画像データ入力端子１、画面分割部２、画像メモリ５１、分割画像符号化部５２、統合ストリームデータ生成部４、符号化データ出力端子５及び制御部５３から構成されている。
【００８１】
画像メモリ５１は複数枚のフレーム画像が画面分割部２により分割された分割画像データとして記憶されている。また、動き補償予測に参照されるＩ，Ｐピクチャ画像及びストリームデータが一時的に記憶される。分割画像符号化部５２は、分割画像Ｉピクチャ符号化部５２ａ、分割画像Ｐピクチャ符号化部５２ｂ、分割画像Ｂピクチャ符号化部５２ｃ及び分割画像Ｂピクチャ符号化部５２ｄから構成される。
【００８２】
分割画像Ｉピクチャ符号化部５２ａは、画面分割された分割画像に対し、Ｉピクチャ符号化のみを行うことができるＩピクチャ専用分割画像符号化部である。つまり、この分割画像符号化部５２ａではＰピクチャ及びＢピクチャ符号化を行うことはできない。分割画像Ｐピクチャ符号化部５２ｂは、画面分割された分割画像に対し、Ｐピクチャ符号化を行うことができるＰピクチャ専用分割画像符号化部である。つまり、この分割画像符号化部ではＢピクチャ符号化を行うことはできない。また、分割画像Ｂピクチャ符号化部５２ｃ及び５２ｄは、画面分劃された分割画像に対し、Ｂピクチャ符号化を行うことができるＢピクチャ専用分割画像符号化部である。
【００８３】
このように、図１９に示した従来装置における符号化部３がＩ、Ｐ，Ｂピクチャの、全ての符号化を行うことができる分割画像符号化部であるのに対し、本実施の形態の分割画像符号化部５２ではピクチャタイプに応じて、それぞれ専用の分割画像符号化部で符号化を行うこととしている。制御部５３は、画面分割部２、画像メモリ５１、分割画像符号化部５２及び統合ストリーム生成部４の制御を行う。
【００８４】
次に、図１の各部の構成及び動作について詳細に説明する。図１の画面分割部２では、従来装置と同様に、動画像データ入力端子１から入力された図２０（Ａ）に示した画素構成のＣＩＦ動画像データを、図２０（Ｂ）に示した４つのＱＣＩＦサイズの分割画面の分割画像データに分割して画像メモリ５１に供給して記憶する。以後同様な処理を繰返すことにより、画像メモリ５１には複数枚の入力動画像データがそれぞれ４つの分割動画像データに分割されて記憶される。
【００８５】
分割画像Ｉピクチャ符号化部５２ａはＩピクチャ専用の符号化部で、画像メモリ５１より符号化ターゲットとなる分割画像データが読み込まれ、その分割画像データに対してＤＣＴ，量子化、可変長符号化などのＭＰＥＧに基づく圧縮符号化処理を施し、符号化結果を画像メモリ５１に記憶する。また、後続の分割画像符号化時に動き補償予測の参照画像とされるＩピクチャも画像メモリ５１に記憶される。
【００８６】
分割画像Ｐピクチャ符号化部５２ｂはＰピクチャ専用の符号化部で、画像メモリ５１より符号化ターゲットとなる分割画像データ及び動き補償予測の参照画像とされる前方向のＩピクチャまたはＰピクチャが読み込まれ、その入力データに対して動き補償予測、ＤＣＴ，量子化、可変長符号化などのＭＰＥＧに基づく圧縮符号化処理を施し、符号化結果を画像メモリ５１に記憶する。また、後続の分割画像符号化時に参照画像とされるＰピクチャも画像メモリ５１に記憶される。動き補償予測は図１９の従来装置と同様に各分割画面内で行われるものとする。
【００８７】
分割画像Ｂピクチャ符号化部５２ｃ及び５２ｄはＢピクチャ専用の符号化部で、画像メモリ５１より符号化ターゲットとなる分割画像データ及び動き補償予測の参照画像とされる前方向と後方向のＩピクチャまたはＰピクチャが読み込まれ、その入力データに対して動き補償予測、ＤＣＴ、量子化、可変長符号化などの処理を施し、符号化結果を画像メモリ５１に記憶する。
【００８８】
以上の処理について、図２１、図２を用いて具体的に説明する。図１９に示した従来装置での符号化時の説明と同様に図２１に示すような符号化を考える。１フレーム目（１ｆ）はＩピクチャ符号化であるため、まず、１フレーム目（１ｆ）の４つの分割画像データの一枚目が、図１の画像メモリ５１より分割画像Ｉピクチャ符号化部５２ａに読み込まれ、符号化処理される。符号化結果は画像メモリ５１に一時記憶される。また、この時、後続の分割画像符号化時に動き補償予測の参照画像とされるＩ１Ａピクチャも画像メモリ５１に一時記憶される。
【００８９】
以後、同様な処理を３回繰返して、１フレーム目（１ｆ）の４つの分割画像データそれぞれの符号化データ及び４つに分割されたＩピクチャ画像（Ｉ１Ａ〜Ｉ１Ｄ）が記憶される。なお、この場合、後続のフレーム画像の中にＩピクチャ符号化対象フレームはないため、分割画像Ｉピクチャ符号化部５２ａはこれ以後動作しない。
【００９０】
次に、４フレーム目（４ｆ）を符号化処理する。４フレーム目（４ｆ）はＰピクチャ符号化であるため、まず、４フレーム目（４ｆ）の４つの分割画像データの一枚目、及び動き補償予測の参照画像とされるＩ１Ａピクチャ画像が画像メモリ５１より分割画像Ｐピクチャ符号化部５２ｂに読み込まれ、符号化処理される。符号化結果は画像メモリ５１に一時記憶される。また、この時、後続の分割画像符号化時に動き補償予測の参照画像とされるＰ４Ａピクチャも画像メモリ５１に一時記憶される。
【００９１】
以後、同様な処理を３回繰り返して、４フレーム目（４ｆ）の４つの分割画像データそれぞれの符号化データ及び４つに分割されたＰピクチャ画像（Ｐ４Ａ〜Ｐ４Ｄ）が一時記憶される。なお、分割画像データの一番目が符号化される際には動き補償予測の参照画像としてＩ１Ａピクチャ画像が必要となるため、４フレーム目（４ｆ）の符号化は、図２に示すように、１フレーム目（１ｆ）の１枚目の分割画像データが符号化処理され、Ｉ１Ａピクチャ画像が画像メモリ５１に記憶された後に開始するものとする。
【００９２】
次に２フレーム目（２ｆ）を符号化処理する。２フレーム目（２ｆ）はＢピクチャ符号化であるため、まず、２フレーム目（２ｆ）の４つの分割画像データの一枚目、及び動き補償予測の参照画像とされるＩ１Ａピクチャ画像とＰ１Ａピクチャ画像が画像メモリ５１より分割画像Ｂピクチャ符号化部５２ｃに読み込まれ、符号化処理される。符号化結果は画像メモリ５１に一時記憶される。
【００９３】
以後、同様な処理を３回繰り返して、２フレーム目（２ｆ）の４つの分割画像データそれぞれの符号化データが画像メモリ５１に一時記憶される。なお、分割画像データの一枚目が符号化される際には、動き補償予測の参照画像としてＰ４Ａピクチャ画像が必要となるため、２フレーム目（２ｆ）の符号化開始は、図２に示すように、４フレーム目（４ｆ）の１枚目の分割画像データが符号化処理され、Ｐ１Ａピクチャ画像が画像メモリ５１に記憶された後に行うものとする。
【００９４】
また、３フレーム目（３ｆ）も同じくＢピクチャ符号化であり、まず、３フレーム目（３ｆ）の４つの分割画像データの一番目、及び動き補償予測の参照画像とされるＩ１Ａピクチャ画像とＰ４Ａピクチャ画像が画像メモリ５１より分割画像Ｂピクチャ符号化部５２ｄに読み込まれ、符号化処理される。符号化結果は画像メモリ５１に一時記憶される。
【００９５】
以後、同様な処理を３回繰り返して、３フレーム目（３ｆ）の４つの分割画像データそれぞれの符号化データが一時記憶される。なお、動き補償予測の参照画像は２フレーム目の符号化時の場合と同じであるため、図２に示すように、３フレーム目（３ｆ）の符号化開始は２フレーム目（２ｆ）の符号化開始と同時に行うことができる。
【００９６】
以降、図２に示すように、７フレーム目（７ｆ）のＰピクチャ符号化、５フレーム目（５ｆ），６フレーム目（６ｆ）のＢピクチャ符号化も同様に行う。最後に、図１に示す統合ストリーム生成部４は、画像メモリ５１内に記憶されている符号化データを読み出し、以降、従来と同様にして１つのストリームデータを生成する。このように、本実施の形態によれば、分割画像符号化部５２を各ピクチャタイプ専用の分割画像符号化部５２ａ〜５２ｄに変更しても符号化を実現できる。
【００９７】
次に、各ピクチャタイプの符号化時の演算量について説明する。Ｐピクチャ符号化時は、フレーム画像内符号化のＩピクチャとは異なり、前方向のＩピクチャまたはＰピクチャを参照しての動き補償予測が加わるため、演算量が大きくなる。動き補償予測をどの程度の精度で行うかによっても演算量が変わってくるが、Ｉピクチャのおよそ２倍強の演算量と考えられる。
【００９８】
また、Ｂピクチャ符号化時は、Ｐピクチャ符号化時に行われた前方向のＩピクチャ又はＰピクチャを参照しての動き補償予測に加えて、後方向のＩピクチャ又はＰピクチャを参照しての動き補償予測も加わる。つまり、動き補償予測の演算量がＰピクチャ符号化時の２倍となる。従って、Ｉピクチャ符号化時の演算量を１とすると、Ｐピクチャ符号化時の演算量はその２倍、Ｂピクチャ符号化時の演算量はその３倍となる。
【００９９】
このことから、本実施の形態の分割画像符号化部５２は、１つの分割画像Ｉピクチャ符号化部５２ａ、１つの分割画像Ｐピクチャ符号化部５２ｂ、２つの分割画像Ｂピクチャ符号化部５２ｃ及び５２ｄから構成されているので、分割画像符号化部５２の総演算量はＩピクチャ符号化演算量の８倍になる。
【０１００】
ソフトウェア上での演算量の比率はそれを実現するためのハードウェア量の比率とほぼ同等であるため、本実施の形態の分割画像符号化部５２のハードウェア量は、Ｉピクチャ符号化のみのハードウェア量の８倍になる。
【０１０１】
また、図１９に示した従来装置の分割画像符号化部３ａ〜３ｄの各々はＩ，Ｐ，Ｂのどのピクチャタイプも符号化可能な分割画像符号化部でなければいけないため、本実施の形態での分割画像Ｂピクチャ符号化部５３ｃ、５３ｄの各演算量（Ｉピクチャ符号化演算量の３倍）に相当し、計４つあるので、Ｉピクチャ符号化演算量の１２倍となる。つまり、従来の分割画像符号化部３のハードウェア量は、Ｉピクチャ符号化のみのハードウェア量の１２倍になる。
【０１０２】
以上より、Ｉピクチャ符号化のみのハードウェア量を基準として考えた場合、本実施の形態の分割画像符号化部５２のハードウェア量は８倍、従来の分割画像符号化部３のハードウェア量は１２倍となるため、本実施の形態は従来と比較して、概算で３３％程度のハードウェア量削減が図られると考えられる。また、ハードウェア量削減に伴い、消費電力低減を実現できる。
【０１０３】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について、４：２：０のコンポーネント方式への変換処理が施されたＱＣＩＦサイズ（１７６×１４４画素）の入力動画像信号を符号化処理する場合を例に具体的に説明する。
【０１０４】
図３は本発明になる画像データ符号化装置の第２の実施の形態のブロック図を示す。同図中、図２４に示した従来装置と同一構成部分には同一符号を付してある。図３に示す本実施の形態の画像データ符号化装置は、バッファ６１、圧縮回路６２、メモリ６３、伸張回路６４、符号化回路１４、バッファ１５、及び２つの制御回路６５と６６から構成される。
【０１０５】
バッファ６１は、後述するように、圧縮回路６２における圧縮符号化処理に必要な数ライン分の画像データを記憶する。圧縮回路６２は、バッファ６１から読み込んだ画像データを後述するようにＤＣＴにより圧縮符号化処理し、メモリ６３に記憶する。伸張回路６４は、圧縮回路６２によって生成された、メモリ６３内に記憶された圧縮データを圧縮回路６２とは逆の処理を施して元のデータに復元して、再度メモリ６３に記憶する。符号化回路１４は、伸張回路６４で生成されたデータに対して圧縮符号化処理を行い、バッファ１５に記憶する。バッファ１５に記憶されたデータは所定の伝送タイミングでビットストリームとして出力する。
【０１０６】
制御回路６５は、ブロックＩ内の各回路の一連の動作を制御して、画像データの圧縮回路６２へ入力させて圧縮処理させて、得られた圧縮画像データをメモリ６３へ書き込ませ、メモリ６３から読み出した圧縮画像データを伸張回路６４に供給して伸張処理させて得られた元の画像データをメモリ６３に書き込む等の制御動作を行う。制御回路６６は、ブロックＩＩ内の各回路の一連の動作を制御し、メモリ６３から伸張された画像データ及びローカルデコード画像を読み出して符号化回路１４により符号化させ、符号化回路１４により得られたローカルデコード画像をメモリ６３へ書き込む等の制御動作を行う。つまり、本発明の動画像符号化装置は、２つの異なった中央処理装置（ＣＰＵ）などの制御回路６５及び６６により動作を制御する。なお、メモリ６３はブロックＩとＩＩで重複している。
【０１０７】
次に、図３の各部について詳細に動作を説明する。圧縮回路６２では、例えば（４：２：２）から（４：２：０）へのコンポーネント方式の変換処理等が施された、バッファ６１からの入力動画像データを後述するように圧縮符号化処理してメモリ６３に記憶する。なお、圧縮回路６２における圧縮符号化処理は、ＭＰＥＧ等の規定に従って行われるメインの圧縮符号化処理とは別のもので、メモリ６３の容量削減のために行う。
【０１０８】
伸張回路６４は、符号化を開始するために必要な量の圧縮された画像データがメモリ６３に記憶された後、メモリ６３内の圧縮された画像データ、つまり、メインの圧縮符号化処理を行う画像データを後述するように元のデータに復元し、メモリ６３に記憶する。なお、画像データを復元する際、前述したように、入力される各フレームの順序の並べ替えが行われる。
【０１０９】
符号化回路１４は、従来と同様に、動き検出／動き補償処理、ＤＣＴ／量子化処理及び可変長符号化処理を施すことにより圧縮符号化を行う。符号化回路１４で生成されたデータは、バッファ１５に記憶され、所定の伝送タイミングでビットストリームとして出力される。また、前述したように逆量子化／逆ＤＣＴ処理などを施すことによりローカルデコード画像が生成され、非圧縮のままメモリ６３に記憶される。
【０１１０】
ここで、メモリ６３における画像データ受け渡しの流れを図４に示す。図４に示すように、メモリ６３には、圧縮回路６２により圧縮された、符号化に必要な量の画像データ６３ａと、伸張回路６４により後述するように元のデータに復元された画像データ６３ｂと、符号化回路１４の動き検出／動き補償回路１４ａで動き検出／動き補償を行うために必要となるローカルデコード画像（ＩピクチャまたはＰピクチャ）６３ｃとが記憶される。なお、ローカルデコード画像に対しては前述した理由から圧縮伸張処理は行わない。
【０１１１】
次に、圧縮回路６２による圧縮符号化処理について詳細に説明する。この圧縮符号化処理は、例えば図５に示すように、ＤＣＴ／量子化回路６２ａ及び可変長符号化回路６２ｂによって行われる。
【０１１２】
まず、図２４に示した従来装置の圧縮回路１１で行うＤＰＣＭ（差分パルス符号変調）と、本実施の形態の圧縮回路６２で行うＤＣＴ（離散コサイン変換）の符号量圧縮効果について比較する。ＤＰＣＭとは、前述したように、直前に処理した左側の画素（左から右へ走査）と差分をとることで、統計的偏りを持たせて符号量削減を図る符号化方法であり、差分という簡単な演算処理で行うことができる。
【０１１３】
例えば、明るさが徐々に変化している画像データの場合には、隣接画素同士の差分結果はゼロ近傍の値が多く出現することになり、図６の差分結果対出現頻度特性図に実線ａで示す特性のように、大きな統計的偏りが発生して符号量削減を図ることができる。しかし、輪郭部のように明るさが大きく変化しているような画像データの場合には、図６に点線ｂで示すように特性ａに対して、ゼロ近傍の値の出現頻度が小さくなり、差分結果の大きい値の出現頻度が大きくなり、効率良く符号量削減を図ることができない。
【０１１４】
一方、ＤＣＴは８画素×８画素のブロック単位でＤＣＴと呼ばれる演算を行い、各画素値を周波数成分に変換する。変換後の係数はブロックの一番左上の、ブロック全体の明るさを表現するＤＣ成分とそれ以外のＡＣ成分からなる。この演算結果は、図７に示すように周波数成分が水平方向と垂直方向で２通りの変化があり、ブロックの左から右へ、ブロックの上から下へそれぞれ周波数が高くなる。ここで、高域周波数成分に対する感度が弱いという人間の視覚特性を利用して、低周波数成分よりも高周波数成分の省略を大きくすることで符号量削減を図ることが可能となる。また、高周波数成分の値はゼロ近傍の値が多いこともあり、符号化しやすい。以上の理由からＤＣＴはＤＰＣＭよりも効率良く高い圧縮効果をあげることができる。
【０１１５】
以下、圧縮回路６２の動作について具体的に説明する。ＤＣＴ演算の場合は、前述したように８画素×８画素のブロック単位で行い、また、輝度成分は４つのブロック、つまり、１６画素×１６画素から構成されるため、図３のバッファ６１には、その２倍程度の３２ライン分の画像データを記憶できる容量があればよい。
【０１１６】
また、画像情報として、輝度データ（Ｙ）と色差データ（Ｃｒ，Ｃｂ）の３種類があり、１画素あたり８ビットなので、３２ライン分のＱＣＩＦサイズの入力画像データの総ビット数は、（１７６×３２）×８ビットである。ここで、（４：４：４）方式の場合は、輝度データ、色差データ共に４ブロックから構成されるため、全ブロックは１２ブロックとなる。
【０１１７】
これに対して、（４：２：０）方式の場合は、輝度データが４ブロック構成なのに対し、色差データは１ブロックに間引かれるため、全ブロックは６ブロックとなり、（４：４：４）方式に比べて１／２に圧縮される。従って、（４：２：０）方式でＱＣＩＦサイズ画像データの場合、バッファ６１には、
（１７６×３２）×８ビット×３×１／２＝６７５８４ビット
の容量が必要となる。
【０１１８】
図５の圧縮回路内のＤＣＴ／量子化回路６２ａは、そのＤＣＴ部から出力されたＤＣＴ係数に対して、ＤＣＴ／量子化回路６２ａ内の量子化部で、ある係数値（量子化ステップ）で除算を行うことでＤＣＴ係数の情報を削減する。前述したように、高周波数成分は低周波数成分よりも省略を大きくすることが可能なため、低周波数成分の量子化ステップを小さく、高周波数成分の量子化ステップを大きくするなど重み付けを変えてやることで効率良く圧縮することも可能である。この結果を図５の可変長符号化回路６２ｂで前述したように可変長符号化処理を行うことで符号量の圧縮効果を更にあげることができる。
【０１１９】
次に、伸張回路６４の構成及び動作について詳細に説明する。図８は伸張回路６４の一例のブロック図を示す。同図に示すように、伸張回路６４は可変長復号化回路６４ａ及び逆量子化／逆ＤＣＴ回路６４ｂから構成され、圧縮回路６２とは逆の処理を行う。なお、前述したように、ＤＣＰＭよりもＤＣＴの演算処理の方が複雑なため、その逆の伸張処理も複雑となる。従って、図２４の従来装置では伸張回路１３の出力結果をそのままダイレクトに符号化回路１４に供給して符号化処理を行っていたが、本実施の形態の場合には伸張回路６４の出力を一度メモリ６３に記憶して、その復元された画像データを符号化回路１４に供給して符号化処理を行う。
【０１２０】
なお、伸張回路６４により元の画像データに復元するデータ量は、一度に１フレーム分復元したのではメモリ削減の効果が薄れるため、図９に示すように、２マクロブロックラインデータ（図中、マクロブロックをＭＢと表記する）を伸張できるメモリ領域を用意する。つまり、図９の領域Ａ及び領域Ｂにそれぞれ１１個の復元されたマクロブロックデータ（ＭＢ０〜ＭＢ１０）を記憶できるメモリ容量が必要となる。
【０１２１】
入力画像水平方向サイズが１７６画素、垂直方向サイズはマクロブロック２個分の大きさなので３２画素である。また、前述したように、（４：２：０）方式の全ブロックは６ブロックとなり、（４：４：４）方式に比べて１／２に圧縮されるため、（４：２：０）方式で水平方向サイズが１７６画素、垂直方向サイズが３２画素の画像データの場合、メモリ６３のメモリ容量としては、
（１７６×３２）×８ビット×３×１／２＝６７５８４ビット
必要となる。
【０１２２】
ここで、メモリ６３内の伸張データの書き込み及び読み出しについて説明する。図１０（Ａ）に示すように、メモリ６３の領域Ａに伸張回路６４の出力（元のデータに復元した画像データ）を記憶すると共に、メモリ６３の領域Ｂに既に復元されて記憶されている画像データを符号化回路１４に出力して符号化処理を行う。
【０１２３】
次に、図１０（Ｂ）に示すように、メモリ６３の領域Ａに復元されて記憶された画像データを符号化回路１４に出力して符号化処理をすると共に、メモリ６３の領域Ｂには伸張回路６４の出力（元のデータに復元した画像データ）を上書き記憶する。このように、２つの領域ＡとＢの一方を書き込み領域とし、他方を読み出し領域とすると共に、それらを交互に切り替えることで伸張回路６４の出力の書き込みと符号化回路１４へのデータの読み出しを行う。
【０１２４】
次に、本実施の形態の圧縮回路６２のメモリ容量削減効果について説明する。図５に示す構成の圧縮回路６２において、量子化ステップを全ブロックに対して２に固定して５フレームの画像データの圧縮符号化処理を実際に行った場合、３４９１７６ビットという結果が得られた。
【０１２５】
また、メモリ容量削減を実現するためには、バッファ６１のメモリ容量（前記３３７９２ビット）と、メモリ６３内の伸張データ分のメモリ容量（前記６７５８４ビット）が必要となるため、本実施の形態でのメモリ削減の圧縮処理に必要なメモリ容量は、４８４３４４（＝６７５８４＋６７５８４＋３４９１７６）ビットとなる。
【０１２６】
一方、圧縮符号化処理をしない場合、５フレーム分の原データを記憶するために必要なメモリ容量は、
（１７６×１４４）×３／２×８ビット×５フレーム＝１５２０６４０ビット
となる。
従って、圧縮回路６２は約３２（＝４８４３４４／１５２０６４０×１００）％の圧縮効果を実現できる。
【０１２７】
次に、本発明の第２の実施の形態の画像データ符号化装置の制御動作について説明する。本実施の形態では、２つの異なるＣＰＵなどの制御回路６５及び６６のソフトウェア処理にて動作している。以下、これらの制御動作について、図１１のフローチャートを参照して詳細に説明する。
【０１２８】
制御回路６５はまず、変数ｎに初期値０を代入した後（ステップＳ１）、入力画像データをライン単位でバッファ６１に記憶する（ステップＳ２）。前述したように、圧縮回路６２の圧縮処理はマクロブロック単位で行うため、１６ライン分の画像データがバッファ６１に記憶されたか否かが判断され（ステップＳ３）、１６ライン分の画像データのバッファ６１への記憶が完了していないと判断された場合にはステップＳ２に戻り、入力画像のラインデータの記憶を継続する。１６ライン分の画像データのバッファ６１への記憶が完了したと判断された場合には、次のマクロブロック単位の画像データがバッファ６１から圧縮回路６２へ出力される（ステップＳ４）。なお、ここで、次のマクロブロック単位の画像データのバッファ６１への記憶を開始してもよく、この場合、バッファ６１は２マクロブロックラインデータ（３２ラインデータ）の容量を必要とする。
【０１２９】
圧縮回路６２において、画像データはブロック単位で圧縮されて、圧縮データが生成された後（ステップＳ５）、メモリ６３に記憶される（ステップＳ６）。続いて、制御回路６５は圧縮回路６２において１マクロブロックラインデータの圧縮処理が完了したか否かを判断し（ステップＳ７）、１マクロブロックラインデータの圧縮処理が完了していないと判断した場合には、ステップＳ５に戻り、圧縮処理を継続する。また、１マクロブロックラインデータの圧縮処理が完了したと判断した場合には、ステップＳ８へ移行する。
【０１３０】
ステップＳ８では、バッファ６１への入力画像データの入力があるか否かが判断され、バッファ６１への画像データの入力がないと判断された場合には、圧縮回路６２における圧縮処理は終了となる。また、バッファ６１への入力画像データの入力があると判断された場合には、ステップＳ９へ移行し、変数ｎが０であるか否かが判定され、０であれば初期化後最初の処理であるのでステップＳ１０に進み、０でなければステップＳ５に戻る。
【０１３１】
ステップＳ１０では、符号化回路に１４おいて符号化処理を開始するために必要な量の画像データが全て圧縮されてメモリ６３への記憶が完了したか否かが判断される。ステップＳ１０で符号化処理を開始するために必要な量の画像データが全て圧縮されてメモリ６３への記憶が完了してないと判断された場合には、ステップＳ４に戻り、圧縮処理を継続する。また、ステップＳ１０で符号化処理を開始するために必要な量の画像データが全て圧縮されてメモリ６３への記憶が完了したと判断された場合には、制御回路６５は変数ｎに１を代入した後（ステップＳ１１）、ブロック単位の圧縮された画像データをメモリ６３から読み出して伸張回路６４へ出力する（ステップＳ１２）。
【０１３２】
伸張回路６４に供給された圧縮画像データはブロック単位で伸張され、復元データとして生成され（ステップＳ１３）、生成された復元データはメモリ６３に記憶される（ステップＳ１４）。前述したように動き検出／動き補償回路１４ａの動き検出／動き補償処理はマクロブロック単位で行うため、制御回路６５は１マクロブロックラインデータ（１６ラインデータ）の全ての伸張処理が終了したか否かをメモリ６３の記憶データから判断する（ステップＳ１５）。
【０１３３】
ステップＳ１５で、１マクロブロックラインデータの全ての伸張処理が完了していないと判断された場合には、ステップＳ１３に戻り、伸張処理を継続し、他方、１マクロブロックラインデータの全ての伸張処理が完了したと判断された場合には、制御回路６６で制御されるステップＳ１６へ移行すると同時に、ステップＳ５へ移行し、以降、ステップＳ５からステップＳ８の圧縮処理を継続する。つまり、制御回路６５では圧縮処理のみを繰り返し継続する。
【０１３４】
制御回路６６は、ステップＳ１６で、メモリ６３内に次に符号化対象となるマクロブロックラインデータが伸張されて記憶されているか否かを判断する。つまり、図１０のメモリ６３の領域Ａ及び領域Ｂのうちの一方の領域に最初に符号化されるべきマクロブロックラインデータが伸張されて記憶されている場合、次に符号化されるマクロブロックラインデータが他方の領域に伸張されて記憶されているか否かがステップＳ１６で判断される。
【０１３５】
ステップＳ１６での判断が否定の場合、つまり、次に符号化されるマクロブロックラインデータが他方の領域に伸張されて記憶されていないと判断された場合には、制御回路６６は制御回路６５に対して割り込み信号を送り、後述する処理を行う。また、ステップＳ１６での判断が肯定の場合、つまり、次に符号化されるマクロブロックラインデータが他方の領域に既に伸張されて記憶されていると判断された場合には、ステップＳ２１へ移行する。
【０１３６】
制御回路６６は、ステップＳ２１でマクロブロック単位の伸張された画像データをメモリ６３から読み出して符号化回路１４へ出力する。符号化回路１４では、入力された画像データをマクロブロック単位に符号化処理を行い、符号化データを生成し（ステップＳ２２）、生成された符号化データをバッファ１５に記憶する（ステップＳ２３）。
【０１３７】
制御回路６６は、バッファ１５の記憶データから、１マクロブロックラインデータの符号化処理が完了したか否かを判断し（ステップＳ２４）、１マクロブロックラインデータの符号化処理が完了していないと判断した場合には、ステップＳ２２に戻り、符号化処理を継続し、１マクロブロックラインデータの符号化処理が完了したと判断した場合には、１画面分の符号化処理が完了したか否かを判断する（ステップＳ２５）。
【０１３８】
制御回路６６は、ステップＳ２５で１画面分の符号化処理が完了していないと判断した場合には、ステップＳ１６へ戻り、１画面分の符号化処理が完了したと判断した場合には、１画面分の符号化データをバッファ１５からビットストリームとして出力させる（ステップＳ２６）。
【０１３９】
続いて、制御回路６６は、入力された全ての画像データの符号化処理が完了したか否か判断し（ステップＳ２７）、全ての画像データの符号化処理が完了していないと判断した場合には、ステップＳ１６へ戻り、全ての画像データの符号化処理が完了したと判断した場合には、符号化処理を終了、つまり、本ルーチンを終了する。
【０１４０】
また、制御回路６５では、制御回路６６から割り込み信号を受け取ると、割り込み処理としてステップＳ１７からステップＳ２０までの処理を実行する。このステップＳ１７からステップＳ２０までの割り込み処理は、前述したステップＳ１２からステップＳ１５の処理と同様である。すなわち、制御回路６５は、ステップＳ２０において、１マクロブロックラインデータの全てを伸張処理したか否か判断し、１マクロブロックラインデータの全ての伸張処理が完了していないと判断した場合には、ステップＳ１８に戻り伸張処理を継続し、１マクロブロックラインデータの全ての伸張処理が完了したと判断した場合には、割り込み処理は終了となり、制御回路６５では中断された圧縮処理が再開される。
【０１４１】
以上のように、２つの異なる制御回路６５及び６６の構成で割り込み処理を使うことにより、１画面分伸張することなく、符号化に必要な画像データを必要な量のみ伸張しながら符号化処理を行うことが可能となり、伸張データを記憶するメモリ容量としては２マクロブロックラインデータ分のみの容量で済ませることができる。また、２つの異なる制御回路６５及び６６の構成をとっているため、それぞれの制御回路６５及び６６において並行して動作を行うことができ、装置全体の処理を効率化良く行うことが可能となる。
【０１４２】
＜第３の実施の形態＞
図３の第２の実施の形態における圧縮回路６２の圧縮処理は、メインの符号化回路１４でのＩピクチャ符号化処理に相当する。しかし、両者の処理における符号化条件（量子化条件など）が同じであるとは限らないため、第２の実施の形態では一度Ｉピクチャに圧縮符号化されてストリームデータとしてメモリ６３に記憶されたにも拘らず、伸張回路６４で伸張処理を行い、再度、メインの符号化回路１４でＩピクチャ符号化処理を行っていた。
【０１４３】
これに対して第３の実施の形態では、第２の実施の形態における圧縮回路６２の符号化条件とメインの符号化回路１４の符号化条件が同一の場合、両者の処理内容が同じものとなるため、メインの符号化回路１４でのＩピクチャ符号化処理を省くようにしたものである。
【０１４４】
第３の実施の形態の画像データ符号化装置の概略構成図は図３に示した第２の実施の形態と同じであるが、動作が一部異なる。以下、２つの制御回路による第２の実施の形態と異なる制御動作についてのみ、図１２のフローチャートを参照して詳細に説明する。同図中、図１１に示したフローチャートと同一処理ステップには同一の符号を付し、その説明を省略する。本実施の形態ではステップＳ３０〜Ｓ３４が付加されている。
【０１４５】
制御回路６５のステップＳ１からステップＳ１４までの処理は第２の実施の形態と同じである。制御回路６５は、ステップＳ１４でメモリ６３に伸張データが記憶されると、符号化対象のデータのピクチャタイプを判定する（ステップＳ３０）。ピクチャタイプがＰピクチャ又はＢピクチャの場合には第２の実施の形態と同様にステップＳ１５へ移行して、以後第２の実施の形態と同様な処理を行う。一方、ピクチャタイプがＩピクチャの場合は、ステップ３１及び制御回路６６による処理ステップＳ３４へ移行する。
【０１４６】
制御回路６５は、ステップＳ３１では、Ｉピクチャ１画面分の伸張処理が完了したか否かを判断し、Ｉピクチャ１画面分の伸張処理が完了していないと判断した場合には、ステップＳ１３へ移行して伸張処理を継続し、Ｉピクチャ１画面分の伸張処理が完了したと判断した場合には、ステップＳ５の圧縮データ生成処理へ戻る。
【０１４７】
なお、第２の実施の形態では制御回路６５の、これ以降の処理は圧縮処理のみであったが、この処理中にステップＳ３２でピクチャタイプ判定を行う。すなわち、ステップＳ９で変数ｎが０でないと判定されたときには、符号化に必要なフレーム画像圧縮が既に完了しているので、制御回路６５はピクチャタイプを判定する（ステップＳ３２）。Ｐピクチャ又はＢピクチャの場合にはステップＳ５の圧縮データ生成処理へ移行して、以後、第２の実施の形態と同様に圧縮処理のみを継続する。
【０１４８】
一方、Ｉピクチャの場合には、Ｉピクチャ１画面分の圧縮符号化処理が完了したか否かを判定し（ステップＳ３３）、Ｉピクチャ１画面分の圧縮符号化処理が完了していないと判断した場合には、ステップＳ５へ移行して圧縮処理を継続し、Ｉピクチャ１画面分の圧縮符号化処理が完了したと判断した場合には、ステップＳ１２以後の処理を継続する。
【０１４９】
制御回路６６はステップＳ３４でピクチャタイプの判定を行い、Ｐピクチャ又はＢピクチャの場合にはステップＳ１６へ移行して以降、第２の実施の形態と同様な処理を行う。一方、Ｉピクチャの場合は、ステップＳ２６以後の処理を行う。
【０１５０】
このように、入力画像データのピクチャタイプがＩピクチャの場合には、圧縮回路６２による圧縮符号化処理により、メモリ６３に既に１画面分のＩピクチャストリームデータが記憶されるため、第３の実施の形態ではメモリ削減のための圧縮回路６２の符号化条件とメインの符号化回路１４の符号化条件が同一の場合、符号化回路１４でのＩピクチャ符号化処理を不要として、メモリ６３から直接ビットストリームデータとして出力する。従って、この第３の実施の形態の場合には、メモリ削減を実現すると共に、符号化回路１４のＩピクチャ符号化処理を省くことにより、第２の実施の形態よりも全体の符号化処理時間の短縮化を図ることができる。
【０１５１】
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。図１３は本発明になる画像データ符号化装置の第４の実施の形態のブロック図を示す。同図中、図３と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態は、ＪＰＥＧ等の静止画像を伝送する画像伝送システムに適用したものであり、動画を扱うＭＰＥＧの符号化処理では必要であった、動き検出／動き補償処理を行う必要がない。従って、この処理のために必要なローカルデコード画像を作成するための復元処理も行う必要がない。
【０１５２】
図１３において、画像データ符号化装置は第２の実施の形態と同一構成のブロックＩと、本実施の形態特有のブロックＩＩＩとから構成されている。ブロックＩＩＩは、符号化回路６７及びバッファ１５とメモリ６３とからなり、符号化回路６７はＤＣＴ／量子化回路６７ａとか変調符号化回路６７ｂとから構成されている。ブロックＩＩＩ内の各部は制御回路６８により動作が制御される。
【０１５３】
上述したように、静止画像信号を符号化する本実施の形態では、動き検出／動き補償処理を行う必要が無いので、図１３中の符号化回路６７には、図３中の動き検出／動き補償回路１４ａが含まれておらず、更に、上述したように、ローカルデコード画像が用いられる必要も無いので、ローカルデコード画像を生成するために設けられている図３中の逆量子化／逆ＤＣＴ回路１４ｄも含まれていない。
【０１５４】
本実施の形態では、メモリ６３から読み出された圧縮画像データは、ＤＣＴ／量子化回路６７ａに供給され、ここでＤＣＴが施され、得られたＤＣＴ係数が量子化されることで、空間的相関を利用した情報圧縮が行われる。ＤＣＴ／量子化回路６７ａによって符号化された静止画の画像データは、可変長符号化回路６７ｂに供給され、ここで前述した可変長符号化が行われて、圧縮符号化データとしてバッファ１５に記憶された後、所定の伝送タイミングでビットストリームとして出力される。本実施の形態においても、入力画像データに対して圧縮回路６２により圧縮／伸張が施されるため、それに見合うメモリ６３のメモリ容量の削減が可能となる。
【０１５５】
＜第５の実施の形態＞
次に、本発明の第５の実施の形態について説明する。図１４は本発明になる画像データ符号化装置の第５の実施の形態のブロック図を示す。同図中、図２７に示した従来装置と同一構成部分には同一の符号を付してある。図１４に示す第５の実施の形態は、制御回路７７により各部の動作が制御されるブロックＩＶと、制御回路７８に各部の動作が制御されるブロックＶとからなる。ブロックＩＶは、バッファ７１、プリフィルタ／圧縮回路７２、メモリ７３及び伸張回路７４から構成され、ブロックＶは、符号化回路７５及びメモリ７３から構成される。
【０１５６】
バッファ７１は、後述するように、プリフィルタ／圧縮回路７２における処理に必要な数ライン分の画像データを記憶する。プリフィルタ／圧縮回路７２は、バッファ７１から読み込んだデータを後述するように圧縮符号化処理し、メモリ７３に記憶する。伸張回路７４は、プリフィルタ／圧縮回路７２によって生成された、メモリ７３内に記憶された圧縮符号化データをプリフィルタ／圧縮回路７２とは逆の処理を施して元のデータに復元して、再度メモリ７３に記憶する。
【０１５７】
符号化回路７５は、伸張回路７４で生成されたデータに対してメインの圧縮符号化処理を行い、得られた圧縮符号化データをバッファ４３ｉに記憶した後、所定の伝送タイミングでビットストリームとして出力する。
【０１５８】
制御回路７７は、圧縮符号化データをメモリ７３に記憶し、メモリ７３に記憶された圧縮符号化データを読み出して伸張回路７４に供給し、伸張回路７４により伸張して得られた元の画像データをメモリ７３に記憶する制御動作を行う。制御回路７８は、メモリ７３に記憶された元の画像データとローカルデコード画像信号を読み出して符号化回路７５に供給すると共に、符号化回路７５の動作を制御し、符号化回路７５により符号化データと共に得られた、加算器４３ｇからのローカルデコード画像信号をメモリ７３に記憶する制御動作を行う。
【０１５９】
以下、図１４の各部について詳細に説明する。プリフィルタ／圧縮回路７２では、例えば（４：２：２）から（４：２：０）への変換処理等が施された動画像データがバッファ７１より供給され、その入力動画像データを後述するように圧縮符号化処理してメモリ７３に記憶する。なお、プリフィルタ／圧縮回路７２における圧縮符号化処理は、ＭＰＥＧ等の規定に従って行われるメインの圧縮符号化処理とは別のもので、プリフィルタ効果及びメモリ７３の容量削減のために行う。
【０１６０】
符号化を開始するために必要な量の圧縮された画像データは、メモリ７３に記憶される。伸張回路７４は、メモリ７３内の圧縮された画像データ、つまり、メインの圧縮符号化処理を行う画像データを後述するように元のデータに復元し、メモリ７３に再び記憶する。なお、画像データを復元する際、前述したように、入力される各フレームの順序並べ替えが行われる。
【０１６１】
ここで、メモリ７３には、図１５に示すように、プリフィルタ／圧縮回路７２により圧縮された、符号化に必要な量の画像データ７３ａと、伸張回路７４により後述するように元のデータに復元された画像データ７３ｂと、符号化回路７５の動き検出／動き補償部４３ａで動き検出／動き補償を行うために必要となるローカルデコード画像（ＩピクチャまたはＰピクチャ）７３ｃとが記憶される。
【０１６２】
符号化回路７５では、図２７に示した従来装置の符号化回路４３と同様に、動き検出／動き補償処理、ＤＣＴ処理、量子化処理及び可変長符号化処理を施すことにより圧縮符号化を行う。その結果、生成された圧縮符号化データは、可変長符号化回路４３ｈから出力されてバッファ４３ｉに記憶され、更にバッファ４３ｉから所定の伝送タイミングでビットストリームとして出力される。また、前述したように、逆量子化処理及び逆ＤＣＴ処理などを施すことにより、ローカルデコード画像信号が加算器４３ｇにおいて生成され、このローカルデコード画像信号はメモリ７３に記憶される。
【０１６３】
次に、プリフィルタ／圧縮回路７２の構成及び動作について詳細に説明する。図１６はプリフィルタ／圧縮回路７２の一例のブロック図を示す。同図に示すように、プリフィルタ／圧縮回路７２は、ＤＣＴ回路７２ａ、量子化回路７２ｂ、可変長符号化回路７２ｃ及び量子化ステップ制御回路７２ｄから構成されている。ＤＣＴとは前述したように、８×８画素のブロック単位で行われる演算で、各画素値を周波数成分に変換する。その演算結果は、図７に示したように周波数成分が水平方向と垂直方向で２通りの変化があり、ブロックの左から右へ、ブロックの上から下へそれぞれ周波数が高くなり、高周波数成分になるにつれて値はゼロ近傍の値が多くなる。
【０１６４】
以下、プリフィルタ／圧縮回路７２の動作について具体的に説明する。ＤＣＴ回路７２ａから出力されたＤＣＴ係数に対して、量子化回路７２ｂでは量子化ステップ（Ｑ）で除算を行うことでＤＣＴ係数の情報を削減する。前述したように、ＤＣＴ係数は高周波数になるにつれて値が小さくなる傾向にあり、ゼロとなる係数も多くなる。従って、量子化されたＤＣＴ係数は、低周波数成分と比較して高周波数成分の方が大きく削減される結果となり、これはローパスフィルタリングと同様の効果といえる。
【０１６５】
なお、量子化ステップの値が固定であると情報量を必要以上に削減し過ぎる場合があり、その結果、画質劣化が生じる。従って、量子化ステップ制御回路７２ｄにおいて、可変長符号化回路７２ｃの符号量結果と目標符号量との比較を行うことで、量子化ステップ値をフィードバック制御しながら圧縮符号化処理を行っていく。
【０１６６】
例えば、図１７に示すフローチャートのようなフィードバック制御を行う。以下、この制御動作について、詳細に説明する。まず、量子化ステップ制御回路７２ｄの１フレーム目の目標符号量（以下、Ｓと記載する）の値を設定する（ステップＳ１０１）。なお、このＳの値は、メモリ７３のメモリ容量と伝送される画像に要求される画像品質等に応じて決定すればよい。
【０１６７】
続いて、ブロック（以下、Ｂと記載する）単位の符号量を累積加算する際に使用する変数（以下、Ｔと記載する）を０に初期化し（ステップＳ１０２）、可変長符号化回路７２ｃの符号量結果を累積加算し（ステップＳ１０３）、その累積加算した符号量結果をＭＢ単位でメモリ７３に一時記憶する（ステップＳ１０４）。
【０１６８】
続いて、可変長符号化回路７２ｃにおいて、１フレーム分の圧縮符号化が完了したか否か判断され（ステップＳ１０５）、１フレーム分の圧縮符号化が完了していないと判断された場合には、ステップＳ１０３に戻り、可変長符号化回路７２ｃの符号量結果の累積加算を継続し、１フレーム分の圧縮符号化が完了したと判断された場合には、得られた１フレーム分の累積符号量Ｔをメモリ７３に一時記憶する（ステップＳ１０６）。
【０１６９】
続いて、Ｔ＞Ｓであるか否か比較を行い（ステップＳ１０７）、現フレームの累積符号量Ｔが目標符号量Ｓ以下である場合には、現フレームよりも次フレームの目標符号量Ｓを大きく設定して（ステップＳ１０９）、ステップＳ１１０へ移行する。他方、現フレームの累積符号量Ｔが目標符号量Ｓよりも大きかった場合には、現フレームよりも次フレームの目標符号量Ｓを小さく設定して（ステップＳ１０８）、ステップＳ１１０へ移行する。なお、この目標符号量Ｓの増減量は、差分絶対値｜Ｔ−Ｓ｜の大きさ以下の値とする。
【０１７０】
ステップＳ１１０では、差分絶対値｜Ｔ−Ｓ｜の大きさと、目標符号量Ｓをある係数（以下、αと記載する）で除算した値（Ｓ／α）とを比較する。ステップＳ１１０において、現フレーム符号量結果Ｔと目標符号量Ｓとの差分絶対値｜Ｔ−Ｓ｜の大きさが、目標符号量のある割合Ｓ／α以下であると判定された場合には、次フレームの量子化ステップを現フレームのＱと同じ値に設定して（ステップＳ１１２）、ステップＳ１１５へ移行する。
【０１７１】
また、ステップＳ１１０において、現フレーム符号量結果Ｔと目標符号量Ｓとの差分絶対値｜Ｔ−Ｓ｜の大きさが、目標符号量のある割合Ｓ／αより大きいと判定された場合には、現フレームの累積符号量Ｔが目標符号量Ｓよりも大であるか否かの比較判定を行い（ステップＳ１１１）、Ｔ＞Ｓであるときには、次フレームの量子化ステップを現フレームの量子化ステップＱよりも大きく設定して（ステップＳ１１３）、ステップＳ１１５へ移行する。他方、ステップＳ１１１でＴ≦Ｓと判定されたときには、次フレームの量子化ステップを現フレームの量子化ステップＱよりも小さく設定して、ステップＳ１１５へ移行する。
【０１７２】
なお、量子化ステップＱの値の増減量は、差分絶対値｜Ｔ−Ｓ｜の大きさが目標符号量Ｓに対してどのくらいの割合（％）の値であるかによって決定する。つまり、差分絶対値｜Ｔ−Ｓ｜の大きさが目標符号量Ｓに対して大きな割合であればあるほど、量子化ステップＱの値の増減量を大きくするというように、増減量に段階をつける。
【０１７３】
ステップＳ１１５では、Ｔ／（１フレーム内のＭＢの総数）、つまり、ＭＢ単位の符号量平均値（以下、Ｈと記載する）を演算する。続いて、記憶したＭＢ単位の符号量と符号量平均値Ｈの差分をとり、その差分結果から各ＭＢ毎の複雑度にランクを設定する（ステップＳ１１６）。例えば、ＭＢ単位の符号量結果が｛Ｈ＋（Ｈ／２）｝よりも大きいときには最も複雑度が高いランク４、｛Ｈ＋（Ｈ／２）｝以下で、｛Ｈ＋（Ｈ／４）｝よりも大きいときには２番目に複雑度が高いランク３、｛Ｈ＋（Ｈ／４）｝以下で、｛Ｈ−（Ｈ／４）｝よりも大きいときには３番目に複雑度が高いランク２、｛Ｈ−（Ｈ／４）｝以下で、｛Ｈ−（Ｈ／２）｝よりも大きいときには２番目に複雑度が低いランク１、｛Ｈ−（Ｈ／２）｝以下のときには最も複雑度が低いランク０とする。なお、Ｈは符号量平均値である。ランク２の場合は、目標符号量を符号量平均値Ｈのまま使用する。この情報をメモリ７３に記憶しておき、メインの符号化回路７５の量子化ステップ制御回路７５ｂで制御を行う際に使用する。
【０１７４】
この情報により、フレーム内のＭＢにおいて、ランクの高いＭＢ、つまり、複雑度の高いＭＢには目標符号量を大きく設定でき、また、ランクの低いＭＢ、つまり、複雑度の低いＭＢには目標符号量を小さく設定することができ、また、メインの圧縮符号化処理における量子化ステップのフィードバック制御をより効率良く行うことが可能となる。
【０１７５】
ステップＳ１１６の処理の後、１フレーム分の全ＭＢの判定が完了されたか否か判定し（ステップＳ１１７）、１フレーム分の全ＭＢの判定が完了していないと判定された場合には、ステップＳ１１６に戻り、ＭＢの判定を継続し、１フレーム分の全ＭＢの判定が完了したと判定された場合には、ステップＳ１０２に戻り、以後の処理を繰返す。
【０１７６】
このように、本実施の形態のプリフィルタ／圧縮回路７２では、入力画像データに対して、符号化回路７５によるメインの圧縮符号化処理とは別に、目標符号量及び量子化ステップを可変制御しながら圧縮符号化処理を施すことで、メインの圧縮符号化処理前に適正にローパスフィルタリングを施すことができ、かつ、圧縮符号化処理結果の情報をメインの圧縮符号化処理において使用することで、より効率良く処理を行うことが可能となる。また、入力画像データに圧縮符号化処理を施してメモリ７３に記憶するため、メモリ７３の容量削減効果も得られる。
【０１７７】
次に、図１４の伸張回路７４の構成及び動作について詳細に説明する。図１８は伸張回路７４の一例のブロック図を示す。同図に示すように、伸張回路７４は、可変長復号化回路７４ａ、逆量子化回路７４ｂ及び逆ＤＣＴ回路７４ｃから構成され、プリフィルタ／圧縮回路７２とは逆の処理を行う。本実施の形態の場合には伸張回路７４により伸張復元された画像データを一度メモリ７３に記憶して、その伸張復元された画像データをメモリ７３から読み出して符号化回路７５に供給してメインの符号化処理を行う。
【０１７８】
なお、伸張回路７４により元の画像データに伸張復元するデータ量は、一度に１フレーム分伸張復元したのではメモリ削減の効果が薄れるため、例えば、図９に示したように、２マクロブロックラインデータ（図中、マクロブロックをＭＢと表記する）を伸張できるメモリ領域を用意する。つまり、図９中の領域Ａ及び領域Ｂにそれぞれに復元された１マクロブロックラインデータ（ＭＢ０〜ＭＢｎ）が記憶される。メモリ７３内の伸張データの書き込み及び読み出しは、図１０と共に説明した方法と同様である。
【０１７９】
また、図１４に示す第５の実施の形態の画像データ符号化装置は、２つの異なるＣＰＵなどの制御回路７７及び７８により制御されたソフトウェア処理にて動作している。これらの制御動作は図１１の第２の実施の形態の制御動作説明用フローチャートと同様であるので、その説明は省略する。
【０１８０】
本実施の形態も、２つの異なる制御回路７７及び７８の構成で割り込み処理を使うことにより、１画面分伸張することなく、符号化に必要な画像データを必要な量のみ伸張しながら符号化処理を行うことが可能となり、伸張データを記憶するメモリ容量としては２マクロブロックラインデータ分のみの容量で済む。また、２つの異なる制御回路７７及び７８の構成をとっているため、それぞれの制御回路７７及び７８において並列的に動作を行うことができ、装置全体の処理を効率化良く行うことが可能となる。
【０１８１】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、以下のような種々の変形例を包含するものである。
【０１８２】
（１）動画像の画面サイズ、画面分割数、画面分割方法、Ｉ、Ｐ，Ｂピクチャ画面符号化部の組み合わせ方法は、図１の実施の形態以外に種々のものがあり得る。例えば、画面分割数は４以外の複数でもよいし、画面分割方法も画面縦方向と画面横方向の組み合わせに限らず、縦方向のみの複数分割、横方向のみの複数分割などがある。
【０１８３】
（２）図１の画面符号化部５２内の符号化部はＩピクチャ用とＰピクチャ用にそれぞれ１つずつの符号化部５２ａ、５２ｂが必要であるが、Ｂピクチャ用の符号化部の数は図１に限定されない。例えば、１ＧＯＰがＩ，Ｂ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｂ，Ｐ，・・・というように、ＩピクチャとＰピクチャの間、またはＰピクチャとＰピクチャの間にＢピクチャが３つあるような構成の場合は、分割画像符号化部内のＢピクチャ用の符号化部は３つ設けられる。
【０１８４】
（３）メモリ削減のための圧縮処理の効果において、量子化ステップが固定値の場合で説明したが、量子化ステップは前述したようにブロック内の周波数成分に応じて異なる値にしてもよいし、ブロック単位またはフレーム画像単位で符号量制御することにより決定してもよい。つまり、メモリ容量と伝送される画像に要求される画像品質等に応じて条件を決定すればよい。
【０１８５】
（４）メモリ削減のための圧縮処理として、ＤＣＴ／量子化／可変長符号化を挙げたが、伝送される画像に要求される画像品質等を考慮して有効な方法であれば、他の方式でもよい。
【０１８６】
（５）適用される画像データ符号化装置は、ＭＰＥＧ４に限ったものでなく、それ以外の方式、つまり、ＭＰＥＧ１，ＭＰＥＧ２等の動画やＪＰＥＧ、ＪＰＥＧ２０００等の静止画でもよい。但し、ＪＰＥＧ、ＪＰＥＧ２０００等、静止画転送装置への適用の場合には、動き検出／動き補償処理及びローカルデコード画像を生成する必要がないため、図１４のブロック構成において、動き検出／動き補償回路４３ａ、減算器４３ｂ、逆量子化回路４３ｅ、逆ＤＣＴ回路４３ｆ及び加算器４３ｇが不要となる。
【０１８７】
（６）図１４の実施の形態では、プリフィルタ／圧縮回路７２においてフレーム単位での量子化ステップ制御を行ったが、所定のブロック単位で行ってもよく、また、ＤＣ成分よりも高周波成分の量子化ステップを大きくするというように同じブロック内で量子化ステップに重み付けを持たせてもよい。
【０１８８】
（７）図１４の実施の形態では、プリフィルタ／圧縮回路７２において，ＤＣＴ／量子化／可変長符号化を行うように説明したが、メインの符号化方法（ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４、ＪＰＥＧ、ＪＰＥＧ２０００等）や伝送される画像に要求される画像品質等を考慮して有効な方法であれば、他の方式でもよい。
【０１８９】
【発明の効果】
以上説明したように、本発明によれば、複数の分割画像信号に対し、符号化モードの種別毎に並列に符号化を行うと共に、複数の分割画像信号に対して分割画面毎に符号化を時分割で行って複数の符号化データを得ることにより、互いに独立して符号化する複数の分割画像符号化回路の構成に比べて、ハードウェア量の削減ができるため、消費電力低減を実現しながら、複数の分割画像信号の符号化データを統合することにより、大画面構成の動画像データの符号化を行うことができる。
【０１９０】
また、本発明によれば、符号化回路によるメインの符号化処理とは別に、入力画像データに対して圧縮回路により圧縮効果の高い圧縮符号化処理を施して得た圧縮画像データを記憶手段に一旦記憶した後、その圧縮画像データを伸張回路により伸張処理して圧縮符号化時の並べ替えを行って得た元の画像データに対して符号化回路により符号化するようにしたため、圧縮符号化時の並べ替えのために必要なメモリ容量を削減でき、これにより、記憶手段や符号化回路等を搭載した基板の縮小化と消費電力の低減を実現でき、コストを低減することができる。
【０１９１】
更に、本発明によれば、２つの異なる制御回路の構成で割り込み処理を使うことにより、１画面分伸張することなく、符号化に必要な画像データを必要な量のみ伸張しながら符号化処理を行うことが可能となり、伸張回路からの元の画像データを記憶する記憶手段の容量としては、符号化に必要最小限の容量で済ませることができる。
【０１９２】
また、本発明によれば、２つの制御回路において並行してメインの圧縮符号化処理とは別に、入力画像データに対してメインの符号化回路で圧縮符号化処理を施すことで、メインの圧縮符号化処理を行う前の画像に対して所定のフィルタリングを施すことができ、かつ、圧縮符号化処理結果の情報をメインの圧縮符号化処理に使用することで、メインの圧縮符号化処理をより効率良く行うことができると共に、基板の縮小化、消費電力低減を実現し、コストの低減を図ることができる。
【図面の簡単な説明】
【図１】本発明装置の第１の実施の形態のブロック図である。
【図２】図１の動作説明図である。
【図３】本発明装置の第２の実施の形態のブロック図である。
【図４】図３中のメモリにおける画像データ受け渡しの流れを示す図である。
【図５】図３中の圧縮回路の一例のブロック図である。
【図６】符号化回路における差分結果対出現頻度特性図である。
【図７】ＤＣＴの演算結果説明図である。
【図８】図３中の伸張回路の一例のブロック図である。
【図９】図３中のメモリのメモリ容量を説明する図である。
【図１０】図３中のメモリ内の伸張データの書き込み及び読み出しの説明図である。
【図１１】本発明の第２の実施の形態における制御回路の制御動作説明用フローチャートである。
【図１２】本発明の第３の実施の形態における制御回路の制御動作説明用フローチャートである。
【図１３】本発明装置の第４の実施の形態のブロック図である
【図１４】本発明装置の第５の実施の形態のブロック図である。
【図１５】図１４中のメモリ内の伸張データの書き込み及び読み出しの説明図である。
【図１６】図１４中のプリフィルタ／圧縮回路の一例のブロック図である。
【図１７】図１６のプリフィルタ／圧縮回路におけるフィードバック制御説明用フローチャートである。
【図１８】図１４中の伸張回路の一例のブロック図である。
【図１９】従来の画像データ符号化装置の第１の例のブロック図である。
【図２０】図１９の画面分割部による画面分割動作説明図である。
【図２１】図１９の動作説明図である。
【図２２】図１９の分割画像符号化部の動作説明図である。
【図２３】図１９の統合ストリーム生成部で４つのストリームデータを統合する方法の説明図である。
【図２４】従来の画像データ符号化装置の第２の例のブロック図である。
【図２５】図２４中の圧縮回路の一例のブロック図である。
【図２６】図２４中の伸張回路の一例のブロック図である。
【図２７】従来の画像データ符号化装置の第３の例のブロック図である。
【図２８】図２７中の可変プリフィルタによるフィルタリングを説明する図である。
【図２９】図２７中のフィルタ制御部の一例のブロック図である。
【図３０】図２９中のパラメータ決定部が求める共通解（ｋ、Ｑ）を示す図である。
【図３１】図２９で用いる動き量パラメータを測定する測定部の一例のブロック図である。
【符号の説明】
１ 動画像データ入力端子
２ 画面分割部
４ 統合ストリーム生成部
５ 符号化データ出力端子
１４、６７、７５ 符号化回路
１５、６１、７１ バッファ
５１ 画像メモリ
５２ 分割画像符号化部
５２ａ 分割画像Ｉピクチャ符号化部
５２ｂ 分割画像Ｐピクチャ符号化部
５２ｃ、５２ｄ 分割画像Ｂピクチャ符号化部
５３ 制御部
６２ 圧縮回路
６２ａ、６７ａ ＤＣＴ／量子化回路
６２ｂ、６４ａ、６７ｂ、７２ｃ、７４ａ 可変長符号化回路
６３、７３ メモリ
６４、７４ 伸張回路
６４ｂ 逆量子化／逆ＤＣＴ回路
６５、６６、６８、７７、７８ 制御回路
７２ プリフィルタ／圧縮回路
７２ａ ＤＣＴ回路
７２ｂ、７５ａ 量子化回路
７２ｄ、７５ｂ 量子化ステップ制御回路
７４ｂ 逆量子化回路
７４ｃ 逆ＤＣＴ回路
Claims (3)
- 供給される入力動画像信号により構成される一画面を複数の画面に分割して、該複数の分割画面に対応した複数の分割画像信号を出力する分割手段と、
前記複数の分割画像信号を記憶する記憶手段と、
前記記憶手段から供給される前記複数の分割画像信号に対し、符号化モードの種別毎に並列に符号化を行うと共に、前記複数の分割画像信号に対して分割画面毎に符号化を時分割で行って得た複数の符号化データを前記記憶手段に記憶する分割画像符号化手段と、
前記記憶手段より出力された前記複数の符号化データを、１つの画像データに統合する統合手段と、
前記記憶手段、前記分割画像符号化手段及び前記統合手段を制御する制御手段と
を有することを特徴とする画像データ符号化装置。 - 画像データを圧縮符号化処理して圧縮画像データを出力する圧縮回路と、
少なくとも前記圧縮回路から出力された前記圧縮画像データを所定の容量分記憶する記憶手段と、
前記記憶手段から読み出された前記圧縮画像データに対して、前記圧縮回路とは逆の処理を施して圧縮される前の元の画像データに伸張処理して前記記憶手段に記憶する伸張回路と、
前記記憶手段から読み出された前記伸張回路によって伸張された画像データ及び動き補償を行うために前記伸張された画像データを用いて生成したローカルデコード画像信号に基づいて、該伸張された画像データを符号化する符号化回路と、
前記圧縮画像データを前記記憶手段に記憶し、前記記憶手段に記憶された前記圧縮画像データを読み出して前記伸張回路に供給し、該伸張回路により伸張して得られた前記元の画像データを前記記憶手段に記憶する第１の制御回路と、
前記記憶手段に記憶された前記元の画像データと前記ローカルデコード画像信号を読み出して前記符号化回路に供給すると共に、該符号化回路の動作を制御し、該符号化回路により符号化データと共に得られた前記ローカルデコード画像信号を前記記憶手段に記憶する第２の制御回路と
を有することを特徴とする画像データ符号化装置。 - 画像データを圧縮符号化処理すると共に、所定のフィルタリングを施した圧縮画像データを出力するプリフィルタ／圧縮回路と、
少なくとも前記プリフィルタ／圧縮回路から出力された前記圧縮画像データを所定の容量分記憶する記憶手段と、
前記記憶手段から読み出された前記圧縮画像データに対して、前記プリフィルタ／圧縮回路とは逆の処理を施して圧縮される前の元の画像データに伸張処理して前記記憶手段に記憶する伸張回路と、
前記記憶手段から読み出された前記伸張回路によって伸張された画像データ及び動き補償を行うために前記伸張された画像データを用いて生成したローカルデコード画像信号に基づいて、該伸張された画像データを符号化する符号化回路と、
前記圧縮画像データを前記記憶手段に記憶し、前記記憶手段に記憶された前記圧縮画像データを読み出して前記伸張回路に供給し、該伸張回路により伸張して得られた前記元の画像データを前記記憶手段に記憶する第１の制御回路と、
前記記憶手段に記憶された前記元の画像データと前記ローカルデコード画像信号を読み出して前記符号化回路に供給すると共に、該符号化回路の動作を制御し、該符号化回路により符号化データと共に得られた前記ローカルデコード画像信号を前記記憶手段に記憶する第２の制御回路と
を有することを特徴とする画像データ符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003150863A JP2004356857A (ja) | 2003-05-28 | 2003-05-28 | 画像データ符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003150863A JP2004356857A (ja) | 2003-05-28 | 2003-05-28 | 画像データ符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004356857A true JP2004356857A (ja) | 2004-12-16 |
Family
ID=34046547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003150863A Pending JP2004356857A (ja) | 2003-05-28 | 2003-05-28 | 画像データ符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004356857A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010058510A1 (ja) * | 2008-11-18 | 2010-05-27 | パナソニック株式会社 | 撮像装置とその画像圧縮率制御方法 |
| EP2216994A2 (en) | 2009-02-05 | 2010-08-11 | Sony Corporation | System and method for image processing |
| JP2016129304A (ja) * | 2015-01-09 | 2016-07-14 | 株式会社東芝 | 映像伝送システム |
| JP2019068386A (ja) * | 2017-10-05 | 2019-04-25 | キヤノン株式会社 | 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 |
-
2003
- 2003-05-28 JP JP2003150863A patent/JP2004356857A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010058510A1 (ja) * | 2008-11-18 | 2010-05-27 | パナソニック株式会社 | 撮像装置とその画像圧縮率制御方法 |
| EP2216994A2 (en) | 2009-02-05 | 2010-08-11 | Sony Corporation | System and method for image processing |
| US8340506B2 (en) | 2009-02-05 | 2012-12-25 | Sony Corporation | System and method for signal processing |
| JP2016129304A (ja) * | 2015-01-09 | 2016-07-14 | 株式会社東芝 | 映像伝送システム |
| US10666982B2 (en) | 2015-01-09 | 2020-05-26 | Kabushiki Kaisha Toshiba | Video transmission system, coding apparatus, and moving picture compression method |
| JP2019068386A (ja) * | 2017-10-05 | 2019-04-25 | キヤノン株式会社 | 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3662171B2 (ja) | 符号化装置及び符号化方法 | |
| US20020122491A1 (en) | Video decoder architecture and method for using same | |
| JP3555729B2 (ja) | 可変長符号化データの処理方法及び装置 | |
| EP1143737A2 (en) | Image encoding apparatus and method, video camera, image recording apparatus, and image transmission apparatus | |
| JPH0998429A (ja) | ディジタル映像信号符号化装置および復号化装置 | |
| JP3651941B2 (ja) | 画像再生装置 | |
| RU2305377C2 (ru) | Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации | |
| JPH11146367A (ja) | モバイルビデオフォン | |
| JP2003348597A (ja) | 画像符号化装置および画像符号化方法 | |
| JP3332580B2 (ja) | 画像再生装置及び画像再生方式 | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| JP2004356857A (ja) | 画像データ符号化装置 | |
| JP3643777B2 (ja) | 動画像復号装置および動画像復号方法 | |
| US20060133490A1 (en) | Apparatus and method of encoding moving picture | |
| US8326060B2 (en) | Video decoding method and video decoder based on motion-vector data and transform coefficients data | |
| JP3990011B2 (ja) | 復号画像変換回路および復号画像変換装置 | |
| JPH07131793A (ja) | 映像信号高能率符号化装置 | |
| JP2008289105A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
| JP2005020294A (ja) | ブロック歪低減装置 | |
| JP3489581B2 (ja) | 画像符号化装置及び符号化方法 | |
| JP2002354484A (ja) | 符号化画像のレート変換方法、及び符号化画像レート変換装置 | |
| JPH10164594A (ja) | 動画像の圧縮符号化方法およびその装置 | |
| JP4238408B2 (ja) | 画像圧縮装置 | |
| KR100221196B1 (ko) | 영상신호의 압축 및 복원을 위한 가변 길이부호화기 | |
| JPH0898177A (ja) | 画像符号化装置 |