JP3851317B2 - Image predictive coding method and apparatus - Google Patents
Image predictive coding method and apparatus Download PDFInfo
- Publication number
- JP3851317B2 JP3851317B2 JP2004049378A JP2004049378A JP3851317B2 JP 3851317 B2 JP3851317 B2 JP 3851317B2 JP 2004049378 A JP2004049378 A JP 2004049378A JP 2004049378 A JP2004049378 A JP 2004049378A JP 3851317 B2 JP3851317 B2 JP 3851317B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- prediction
- coefficient
- image data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
本発明は、画像予測符号化装置及び方法、画像予測復号化装置及び方法、並びに記録媒体に関する。特に、静止画又は動画である画像のデジタル画像データを、例えば光ディスクなどの記録媒体に記憶し、又は通信回線を伝送するための画像予測符号化装置及び方法、並びに、画像予測復号化装置及び方法に関する。また、上記画像予測符号化方法のステップを含むプログラムを記録した記録媒体、並びに、上記画像予測復号化方法のステップを含むプログラムを記録した記録媒体に関する。 The present invention relates to an image predictive coding apparatus and method, an image predictive decoding apparatus and method, and a recording medium. In particular, an image predictive encoding apparatus and method, and an image predictive decoding apparatus and method for storing digital image data of an image that is a still image or a moving image in a recording medium such as an optical disc or transmitting a communication line About. The present invention also relates to a recording medium on which a program including steps of the image predictive encoding method is recorded, and a recording medium on which a program including steps of the image predictive decoding method is recorded.
デジタル画像を効率よく記憶し又は伝送するには、圧縮符号化する必要がある。デジタル画像を圧縮符号化するための方法として、JPEG(Joint Photographic Experts Group)やMPEG(Motion Picture Experts Group)に代表される離散コサイン変換(以下、DCT変換という。)のほかに、サブバンド符号化やウェーブレット符号化、フラクタル符号化などの波形符号化方法がある。また、画像間の冗長な信号を取り除くには動き補償を用いた画像間予測を行い、差分信号を波形符号化する。 In order to efficiently store or transmit digital images, it is necessary to perform compression encoding. In addition to discrete cosine transform (hereinafter referred to as DCT transform) represented by JPEG (Joint Photographic Experts Group) and MPEG (Motion Picture Experts Group) as methods for compressing and coding digital images, subband coding is also possible. And waveform encoding methods such as wavelet encoding and fractal encoding. Also, in order to remove redundant signals between images, inter-image prediction using motion compensation is performed, and the difference signal is waveform-encoded.
MPEGの方式では、入力画像を複数の16×16のマクロブロックに分割して処理する。1つのマクロブロックをさらに8×8のブロックに分割し、8×8のDCT変換処理を施してから量子化する。これはフレーム内符号化と呼ばれる。 In the MPEG system, an input image is divided into a plurality of 16 × 16 macroblocks for processing. One macroblock is further divided into 8 × 8 blocks, subjected to 8 × 8 DCT transform processing, and then quantized. This is called intraframe coding.
一方、ブロックマッチングをはじめとする動き検出方法で、時間に隣接する別のフレームの中から対象マクロブロックに誤差の最も小さい予測マクロブロックを検出し、検出された予測マクロブロックを対象マクロブロックから減算し、差分マクロブロックを生成し、8×8のDCT変換を施してから量子化する。これをフレーム間符号化と呼び、予測マクロブロックを時間領域の予測信号と呼ぶ。このようにMPEGでは、同じフレームの中から画像を予測していない。 On the other hand, a motion detection method such as block matching detects the predicted macroblock with the smallest error in the target macroblock from other frames adjacent in time, and subtracts the detected predicted macroblock from the target macroblock. Then, a differential macroblock is generated, subjected to 8 × 8 DCT transform, and then quantized. This is called interframe coding, and the prediction macroblock is called a time domain prediction signal. Thus, MPEG does not predict an image from the same frame.
通常の画像は空間的に似ている領域が多く、この性質を用いて空間領域に画像を近似することができる。時間領域の予測信号と同じように、同じフレームの中から予測信号を求めることも可能である。これを空間領域の予測信号と呼ぶ。 A normal image has many spatially similar regions, and this property can be used to approximate an image to a spatial region. Similar to the time domain prediction signal, it is also possible to obtain the prediction signal from the same frame. This is called a spatial domain prediction signal.
空間的に近接する2つの画素値が近いため、空間領域の予測信号は一般的に対象信号に近い位置にある。一方、受信側又は再生側では、原画像がないため、予測信号は過去において符号化し再生された信号を用いる必要がある。この2つの要素から、空間領域の予測信号を高速に生成する必要がある。画素値を復号化し再生した後すぐに予測信号の生成に用いられるからである。 Since two pixel values that are spatially close to each other are close, the prediction signal in the spatial region is generally located near the target signal. On the other hand, since there is no original image on the reception side or reproduction side, it is necessary to use a signal that has been encoded and reproduced in the past as the prediction signal. From these two elements, it is necessary to generate a prediction signal in the spatial domain at high speed. This is because the pixel value is used for generating a prediction signal immediately after being decoded and reproduced.
従って、空間領域の予測信号を簡単かつ高精度に生成する必要がある。また、符号化装置及び復号化装置において高速演算可能な構成が要求される。 Therefore, it is necessary to generate a prediction signal in the spatial domain easily and with high accuracy. In addition, a configuration capable of high-speed computation is required in the encoding device and the decoding device.
ところで、画像データの符号化は、JPEG、MPEG1、H.261、MPEG2及びH.263などの多くの国際的標準に広く使用されて来た。後者の標準の各々は符号化能率を更に改善している。すなわち、同じ画質を表現するのに従来の標準に比べてビット数をさらに減少する努力がなされてきた。 Incidentally, encoding of image data has been widely used in many international standards such as JPEG, MPEG1, H.261, MPEG2 and H.263. Each of the latter standards further improves coding efficiency. That is, efforts have been made to further reduce the number of bits compared to conventional standards to represent the same image quality.
動画に対する画像データの符号化は、イントラフレーム符号化と予測フレーム符号化から成りたっている。ここで、イントラフレーム符号化は、1つのフレームの画面内でのフレーム内符号化をいう。例えばMPEG1標準のような代表的なハイブリッド符号化システムにおいては、連続するフレームは次の3つの異なるタイプに分類できる。
(a)イントラフレーム(以下、Iフレームという。)、
(b)予測フレーム(以下、Pフレームという。)、及び
(c)両方向予測フレーム(以下、Bフレームという。)。
The encoding of image data for a moving image consists of intra frame encoding and prediction frame encoding. Here, intra-frame coding refers to intra-frame coding within a screen of one frame. In a typical hybrid coding system such as the MPEG1 standard, consecutive frames can be classified into three different types:
(A) Intra frame (hereinafter referred to as I frame),
(B) Prediction frame (hereinafter referred to as P frame) and (c) Bidirectional prediction frame (hereinafter referred to as B frame).
Iフレームは他のフレームと独立的に符号化され、すなわち、Iフレームは他のフレームを用いることなく圧縮される。Pフレームは、符号化されたフレーム(それは、Pフレームである。)の内容を予測するために1つ前のフレームを用いることにより動きの検出及び補償を通じて符号化されている。Bフレームは、1つ前のフレームからの情報及びBフレームの中味のデータを予測する後続のフレームからの情報を用いる動きの検出及び補償を用いることにより符号化されている。以前のフレーム及び後続のフレームはIフレームか、又はPフレームである。Iフレームはイントラコードモードに属している。Pフレーム及びBフレームは予測コードモードに属している。 I frames are encoded independently of other frames, ie, I frames are compressed without using other frames. A P frame is encoded through motion detection and compensation by using the previous frame to predict the content of the encoded frame (which is a P frame). B frames are encoded by using motion detection and compensation using information from the previous frame and information from subsequent frames that predict the content data of the B frame. The previous frame and the subsequent frame are either I frames or P frames. The I frame belongs to the intra code mode. The P frame and the B frame belong to the prediction code mode.
Iフレーム、Pフレーム及びBフレームの符号化の性質が違っているように、その圧縮方法も各々異なっている。Iフレームは、冗長性を減少させるために一時的な予測を使用しないので、Pフレーム及びBフレームに比べてより多くのビット数を必要とする。 The compression methods are different as the encoding characteristics of the I frame, the P frame, and the B frame are different. I-frames require a larger number of bits compared to P-frames and B-frames because they do not use temporal prediction to reduce redundancy.
ここで、MPEG2を例として説明する。ビットレートを4Mビット/秒とし、画像は、30フレーム/秒の画像と仮定する。一般的には、I、P及びBフレームに用いられるビット数の比は6:3:1である。従ってIフレームは約420Kbits/sを使用し、Bフレームは約70Kbits/sを使用する。なぜならBフレームは両方向から十分に予測されているからである。 Here, MPEG2 will be described as an example. Assume that the bit rate is 4 Mbit / sec and the image is an image of 30 frames / sec. In general, the ratio of the number of bits used for I, P and B frames is 6: 3: 1. Thus, an I frame uses about 420 Kbits / s and a B frame uses about 70 Kbits / s. This is because the B frame is sufficiently predicted from both directions.
図14は、従来技術の画像予測符号化装置の構成を示すブロック図である。DCT変換をブロックに基づいて実行するので、最近の画像符号化方法はすべて、画像をより小さいブロックに分割することを基礎としている。イントラフレーム符号化においては、入力されたディジタル画像信号に対して、図14に示されるように、まず、ブロックサンプリング処理1001が実行される。次いで、ブロックサンプリング処理1001後のこれらのブロックに対して、DCT変換処理1004が実行された後、量子化処理1005及びランレングスホフマン可変長符号化(VLC:Variable Length Coding;エントロピー符号化)処理1006が実行される。一方、予測フレーム符号化においては、入力されたディジタル画像に対して動き補償処理1003が実行され、そして、動き補償されたブロック(すなわち、予測されたブロック)に対してDCT変換処理1004が実行される。次いで、量子化処理1005、及びランレングスホフマンVLC符号化(エントロピー符号化)処理1006が実行される。 FIG. 14 is a block diagram showing a configuration of a conventional image predictive coding apparatus. Since the DCT transformation is performed on a block basis, all modern image coding methods are based on dividing the image into smaller blocks. In intra-frame coding, block sampling processing 1001 is first performed on an input digital image signal as shown in FIG. Next, after these blocks after the block sampling process 1001 are performed, a DCT transform process 1004 is performed, and then a quantization process 1005 and a run length Hoffman variable length coding (VLC: Entropy coding) process 1006. Is executed. On the other hand, in predictive frame coding, a motion compensation process 1003 is performed on an input digital image, and a DCT transform process 1004 is performed on a motion compensated block (ie, a predicted block). The Next, a quantization process 1005 and a run length Hoffman VLC encoding (entropy encoding) process 1006 are executed.
ブロックに基づくDCT変換処理1004は、処理対象のブロック内の空間的な冗長性を除去し又は減少させること、並びに、動き検出及び補償処理1002,1003は隣接するフレームの間の一時的な冗長性を除去し又は減少させることは、従来の画像符号化技術から公知である。さらに、DCT変換処理1004及び量子化処理1005の後に実行される、ランレングスホフマンVLC符号化又は他のエントロピー符号化処理1006は、量子化されたDCT変換係数の間の統計的冗長性を除去する。しかしその処理は、画面内のブロックのみに対してのみある。 The block-based DCT transform process 1004 removes or reduces the spatial redundancy in the block being processed, and the motion detection and compensation processes 1002, 1003 are temporary redundancy between adjacent frames. It is known from conventional image coding techniques to remove or reduce. In addition, a run length Hoffman VLC encoding or other entropy encoding process 1006, which is performed after the DCT transform process 1004 and the quantization process 1005, removes the statistical redundancy between the quantized DCT transform coefficients. . However, that process is only for blocks in the screen.
ディジタル画像は本来的性質として空間的に大きな冗長性を有している。この冗長性は、画像のフレーム内のブロックのみでなく、ブロックを越えてブロックとブロックとの間にも存在している。しかしながら、現実の方法は画像のブロック間の冗長性を除去する方法を使用していないことは、上述から明らかである。 Digital images inherently have a large spatial redundancy. This redundancy exists not only between the blocks in the frame of the image but also between the blocks beyond the blocks. However, it is clear from the above that the actual method does not use a method for removing redundancy between image blocks.
現在の画像符号化手法においては、DCT変換処理1004又は他の変換処理は、ハードウエアの形成及び計算上の拘束条件のためにブロックに基づいて実行される。 In current image coding techniques, DCT transform processing 1004 or other transform processing is performed on a block basis for hardware formation and computational constraints.
空間的な冗長性は、ブロックを基礎とする変換処理によって減少されるが、それは1つのブロック内でのみに限定される。隣接する2つのブロック間の冗長性はあまりうまく考慮されていないが、常に多くのビット数を消費するフレーム内符号化を用いればさらに減少できるであろう。 Spatial redundancy is reduced by a block-based transformation process, but only within one block. Redundancy between two adjacent blocks is not well considered, but can be further reduced by using intraframe coding, which always consumes a large number of bits.
さらに、ブロックを基礎とするDCT変換処理が、処理対象のブロック内の空間的な冗長性を除去し、又は減少させ、また、動き予測及び補償処理が、隣接する2つのフレーム間の一時的な冗長性を除去し、又は減少させることは、現在の画像符号化技術から公知である。DCT変換処理及び量子化処理の後に実行される、ジグザグスキャン及びランレングスホフマンVLC符号化処理又は他のエントロピー符号化処理は、量子化されたDCT変換係数の中の統計的冗長性を除去するが、なお、それは1つのブロック内に限定される。 In addition, block-based DCT transform processing removes or reduces spatial redundancy in the block being processed, and motion prediction and compensation processing is performed temporarily between two adjacent frames. It is known from current image coding techniques to remove or reduce redundancy. A zigzag scan and run-length Hoffman VLC encoding process or other entropy encoding process, which is performed after the DCT transform process and the quantization process, removes statistical redundancy in the quantized DCT transform coefficients. Note that it is limited to one block.
ディジタル画像は本来高い空間冗長性を含んでいる。この冗長性はブロックの内部に存在するのみでなく、画像のブロックを越えてそしてブロック間にも存在している。従って、上記のことから明らかなように、現存する方法においては、JPEG、MPEG1及びMPEG2のDC係数の予測を除いて、1つの画像のブロック間の冗長性を除去する方法を全く用いていない。 Digital images inherently contain high spatial redundancy. This redundancy exists not only inside the blocks, but also across the blocks of the image and between the blocks. Therefore, as is clear from the above, the existing method does not use any method for removing redundancy between blocks of one image except for prediction of DC coefficients of JPEG, MPEG1 and MPEG2.
MPEG1及びMPEG2においては、DC係数の予測は、現在の符号化されているブロックから前の符号化ブロックのDC値を減算することにより実行される。これは予測が適切でない時に適応性又はモードスイッチングを有しない簡単な予測方法である。さらにそれはDC係数を含むだけである。 In MPEG1 and MPEG2, DC coefficient prediction is performed by subtracting the DC value of the previous encoded block from the current encoded block. This is a simple prediction method that does not have adaptability or mode switching when the prediction is not appropriate. Furthermore it only includes DC coefficients.
当該技術分野の現在の状態では、ジグザグスキャンはランレングス符号化の前にすべてのブロックに対して用いられている。ブロックの中味のデータに基づいてスキャンを適応的にする試みはなされていない。 In the current state of the art, zigzag scanning is used for all blocks prior to run-length encoding. No attempt has been made to adaptively scan based on block content data.
図22は、従来技術の画像予測符号化装置の構成を示すブロック図である。図22において、従来技術の画像予測符号化装置は、ブロックサンプリニングユニット2001、DCT変換ユニット2003、量子化ユニット2004、ジグザグスキャンユニット2005及びエントロピー符号化ユニット2006を備える。本明細書において、「ユニット」という用語は、回路装置を意味する。 FIG. 22 is a block diagram showing a configuration of a conventional image predictive coding apparatus. In FIG. 22, the conventional image predictive encoding apparatus includes a block sampling unit 2001, a DCT transform unit 2003, a quantization unit 2004, a zigzag scan unit 2005, and an entropy encoding unit 2006. In this specification, the term “unit” means a circuit device.
イントラフレーム符号化(すなわち、フレーム内符号化)においては、入力された画像信号に対して、ブロックサンプリング処理2001が実行された後、直接に、DCT変換処理2003が実行され、そして、量子化処理2004、ジグザグスキャン処理2005及びエントロピー符号化処理2006が順次実行される。一方、インターフレーム符号化(すなわち、フレーム間符号化、すなわち、予測フレーム符号化)においては、ブロックサンプリング処理2001の後に、動き検出及び補償処理がユニット2011において実行され、次いで、ブロックサンプリング2001からの画像データをユニット2011からの検出値を減算することにより、加算器2002により予測誤差が得られる。さらに、この予測誤差に対して、DCT変換処理2003が実行され、続いて量子化処理2004、ジグザグスキャン処理2005及びエントロピー符号化処理2006が、イントラフレーム符号化と同様に実行される。 In intra-frame coding (that is, intra-frame coding), after a block sampling process 2001 is performed on an input image signal, a DCT conversion process 2003 is directly performed, and a quantization process is performed. 2004, a zigzag scan process 2005 and an entropy encoding process 2006 are sequentially executed. On the other hand, in inter-frame coding (ie, inter-frame coding, ie, predictive frame coding), after block sampling processing 2001, motion detection and compensation processing is performed in unit 2011, and then from block sampling 2001, A prediction error is obtained by the adder 2002 by subtracting the detection value from the unit 2011 from the image data. Further, a DCT transform process 2003 is performed on the prediction error, and then a quantization process 2004, a zigzag scan process 2005, and an entropy coding process 2006 are performed similarly to the intra frame coding.
図22の画像予測符号化装置内に設けられるローカルデコーダにおいて、逆量子化処理及び逆DCT変換処理はユニット2007及び2008において実行される。イントラフレーム符号化においては、動き検出及び補償された予測値は、ユニット2007及び2008によって再構築された予測誤差に加算器2009によって加算され、その加算値は、局所的に復号化された画像データを意味し、その復号化された画像データは、ローカルデコーダのフレームメモリ2010に記憶される。最終的には、ビットストリームがエントロピー符号化ユニット2010から出力されて、相手方の画像予測復号化装置に送信される。 In the local decoder provided in the image predictive coding apparatus in FIG. 22, the inverse quantization process and the inverse DCT transform process are executed in units 2007 and 2008. In intra-frame coding, the motion detection and compensated prediction value is added by the adder 2009 to the prediction error reconstructed by the units 2007 and 2008, and the added value is the locally decoded image data. The decoded image data is stored in the frame memory 2010 of the local decoder. Finally, the bit stream is output from the entropy encoding unit 2010 and transmitted to the counterpart image predictive decoding apparatus.
図23は、従来技術の画像予測復号化装置の構成を示すブロック図である。ビットストリームは、可変長デコーダ(VLD:Variable Length Decoding)ユニット(又はエントロピー復号化ユニット)2021によって復号化され、次いで、復号化された画像データに対して、逆量子化処理及び逆DCT変換処理がユニット2023及び2024において実行される。インターフレーム符号化において、ユニット2027で形成された、動き検出及び補償された予測値は、加算器2025によって再構築された予測誤差に加算され、局所的な復号化画像データが形成される。局所的に復号化された画像データはローカルデコーダのフレームメモリ1026に記憶される。 FIG. 23 is a block diagram showing a configuration of a conventional image predictive decoding apparatus. The bit stream is decoded by a variable length decoder (VLD: Variable Length Decoding) unit (or entropy decoding unit) 2021, and then the decoded image data is subjected to an inverse quantization process and an inverse DCT transform process. It is executed in units 2023 and 2024. In inter-frame coding, the motion detection and compensated prediction value formed in unit 2027 is added to the prediction error reconstructed by the adder 2025 to form local decoded image data. The locally decoded image data is stored in the frame memory 1026 of the local decoder.
現在の画像符号化技術においては、DCT変換処理又は他の変換処理は、ハードウェアの形成及び計算上の拘束条件のために、ブロックを基礎として実行されている。空間的冗長性はブロックを基礎とする変換によって削減されるであろう。しかしながら、それはブロック内のみである。隣接するブロック間の冗長性はあまり十分に考慮されていない。特に、常に多量のビットを消費するイントラフレーム符号化については特に考慮がなされていない。 In current image coding techniques, DCT transform processing or other transform processing is performed on a block basis due to hardware formation and computational constraints. Spatial redundancy will be reduced by block-based transformations. However, it is only within the block. Redundancy between adjacent blocks is not considered enough. In particular, no special consideration is given to intra-frame coding that always consumes a large amount of bits.
本発明の第1の目的は、空間領域の予測画像データを簡単に、高速でかつ高精度に生成することができる画像予測符号化装置及び方法、並びに、画像予測復号化装置及び方法を提供することにある。 A first object of the present invention is to provide an image predictive coding apparatus and method, and an image predictive decoding apparatus and method capable of generating predicted image data in a spatial domain simply, at high speed and with high accuracy. There is.
また、本発明の第2の目的は、従来技術の画像予測符号化装置及び画像予測復号化装置に比較して、ブロック内の冗長性を除去することができ、より効率的に画像データを符号化又は復号化することができる画像予測符号化装置及び方法、並びに、画像予測復号化装置及び方法を提供することにある。 In addition, the second object of the present invention is to eliminate the redundancy in the block and to encode the image data more efficiently compared to the conventional image predictive coding apparatus and image predictive decoding apparatus. It is an object to provide an image predictive coding apparatus and method, and an image predictive decoding apparatus and method that can be encoded or decoded.
さらに、本発明の第3の目的は、画像データの内部の性質に依存して、重要な変換係数がブロックの異なる区域に集中されるという問題点を解決し、ブロックに対して正しいスキャン方法を決定することによりエントロピー符号化処理の能率を改善することができる画像予測符号化装置及び方法、並びに、画像予測復号化装置及び方法を提供することにある。 Furthermore, a third object of the present invention is to solve the problem that important transform coefficients are concentrated in different areas of the block depending on the internal properties of the image data, and to provide a correct scanning method for the block. An object of the present invention is to provide an image predictive encoding apparatus and method, and an image predictive decoding apparatus and method that can improve the efficiency of entropy encoding processing by determining.
またさらに、本発明の第4の目的は、上記画像予測符号化方法又は画像予測復号化方法の各ステップを記録した記録媒体を提供することにある。 A fourth object of the present invention is to provide a recording medium on which the steps of the image predictive encoding method or the image predictive decoding method are recorded.
本発明に係る画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、DC係数とAC係数とを有するDCT係数の2次元列に変換することと、
左ブロック(B)又は上ブロック(A)のいずれかから適応的に選択された隣接ブロックのDC係数から、カレントブロック(C)のDC係数を予測することとを含むことを特徴とする。
An image predictive coding method according to the present invention includes sampling an image signal into a plurality of blocks,
Converting the image signal of the block into a two-dimensional sequence of DCT coefficients having DC and AC coefficients;
Predicting the DC coefficient of the current block (C) from the DC coefficient of the adjacent block adaptively selected from either the left block (B) or the upper block (A).
また、上記画像予測符号化方法において、好ましくは、上記DC係数を予測する前に、上記DCT係数を量子化することをさらに含むことを特徴とする。 The image predictive coding method preferably further includes quantizing the DCT coefficient before predicting the DC coefficient.
さらに、上記画像予測符号化方法において、好ましくは、上記カレントブロック(C)のDC係数の予測は、マクロブロックのすべてのブロックにわたって独立に繰り返されることを特徴とする。 Further, in the image predictive coding method, preferably, the prediction of the DC coefficient of the current block (C) is repeated independently over all the blocks of the macroblock.
本発明に係る画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、DC係数とAC係数とを有するDCT係数の2次元列に変換することと、
左ブロック(B)又は上ブロック(A)のいずれかから適応的に選択された隣接ブロックの上記DCT係数から、カレントブロック(C)のDC係数とAC係数とを予測することとを含むことを特徴とする。
An image predictive coding method according to the present invention includes sampling an image signal into a plurality of blocks,
Converting the image signal of the block into a two-dimensional sequence of DCT coefficients having DC and AC coefficients;
Predicting the DC and AC coefficients of the current block (C) from the DCT coefficients of adjacent blocks adaptively selected from either the left block (B) or the upper block (A). Features.
本発明に係る上記画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、DC係数とAC係数とを有するDCT係数の2次元列に変換することと、
左ブロック(B)又は上ブロック(A)のいずれかから適応的に選択された隣接ブロックのDC係数から、カレントブロック(C)のDC係数を予測することと、
上記カレントブロック(C)のAC係数を、
(a)カレントブロックの上記DC係数が上記左ブロック(B)から選択されたとき、上記左ブロック(B)の最初の列と、
(b)カレントブロックの上記DC係数が上記上ブロック(A)から選択されたとき、上記上ブロック(A)の最初の行と
のいずれかの係数の集合から予測することとを含むことを特徴とする。
The image predictive encoding method according to the present invention includes sampling an image signal into a plurality of blocks,
Converting the image signal of the block into a two-dimensional sequence of DCT coefficients having DC and AC coefficients;
Predicting the DC coefficient of the current block (C) from the DC coefficients of adjacent blocks adaptively selected from either the left block (B) or the upper block (A);
The AC coefficient of the current block (C) is
(A) When the DC coefficient of the current block is selected from the left block (B), the first column of the left block (B);
(B) when the DC coefficient of the current block is selected from the upper block (A), predicting from any set of coefficients with the first row of the upper block (A). And
また、上記画像予測符号化方法において、好ましくは、上記左ブロック(B)又は上記上ブロック(A)のいずれかから選択された上記隣接ブロックのDC係数から、上記カレントブロック(C)のDC係数を最少ビット使用規則に従って予測することを特徴とする。 In the image predictive coding method, preferably, the DC coefficient of the current block (C) is calculated from the DC coefficient of the adjacent block selected from either the left block (B) or the upper block (A). Is predicted according to the least bit usage rule.
さらに、上記画像予測符号化方法において、好ましくは、上記カレントブロックのAC係数が上記隣接ブロックから予測されるか否かを示す、指示ビットを供給することをさらに含むことを特徴とする。 Furthermore, the image predictive coding method preferably further includes supplying an instruction bit indicating whether or not the AC coefficient of the current block is predicted from the adjacent block.
本発明に係る画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、DC係数とAC係数とを有するDCT係数の2次元列に変換することと、
上記DCT係数を、量子化されたDCT値に量子化することと、
左ブロック又は上ブロックのいずれかから適応的に選択された隣接ブロックの上記DC係数から、カレントブロックの量子化されたDC係数を予測することとを含み、
上記カレントブロックの量子化されたDC係数の上記予測に用いるために選択されたブロックの上記DC係数は、上記選択されたブロックの量子化ステップサイズに対する上記カレントブロックの量子化ステップサイズの比によって測定されることを特徴とする。
An image predictive coding method according to the present invention includes sampling an image signal into a plurality of blocks,
Converting the image signal of the block into a two-dimensional sequence of DCT coefficients having DC and AC coefficients;
Quantizing the DCT coefficients into quantized DCT values;
Predicting the quantized DC coefficients of the current block from the DC coefficients of neighboring blocks adaptively selected from either the left block or the upper block;
The DC coefficient of the block selected for use in the prediction of the quantized DC coefficient of the current block is measured by the ratio of the quantization step size of the current block to the quantization step size of the selected block. It is characterized by being.
本発明に係る画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、DC係数とAC係数とを有するDCT係数の2次元列に変換することと、
上記DCT係数を、量子化されたDCT値に量子化することと、
左ブロック又は上ブロックのいずれかから適応的に選択された隣接ブロックの上記DCT係数から、カレントブロックの量子化されたDC係数と量子化されたAC係数とを予測することとを含み、
上記カレントブロック(C)の上記量子化されたDC係数と上記量子化されたAC係数の上記予測に用いられるために選択されたブロックの上記DCT係数は、上記選択されたブロックの量子化ステップサイズに対する上記カレントブロックの量子化ステップサイズの比によって測定されることを特徴とする。
An image predictive coding method according to the present invention includes sampling an image signal into a plurality of blocks,
Converting the image signal of the block into a two-dimensional sequence of DCT coefficients having DC and AC coefficients;
Quantizing the DCT coefficients into quantized DCT values;
Predicting the quantized DC coefficients and quantized AC coefficients of the current block from the DCT coefficients of adjacent blocks adaptively selected from either the left block or the upper block;
The DCT coefficient of the block selected to be used for the prediction of the quantized DC coefficient and the quantized AC coefficient of the current block (C) is the quantization step size of the selected block. Measured by the ratio of the quantization step size of the current block to.
本発明に係る画像予測符号化方法は、サンプリングされた画像信号のブロックをDCT係数の2次元列に変換することと、
左ブロック又は上ブロックのいずれかから適応的に選択された隣接ブロックのDCT係数からカレントブロックのDCT係数を予測することによって、予測されたDCT変換係数を得ることと、
上記カレントブロックの上記DCT係数から、上記予測されたDCT変換係数を減算することにより、複数の差分DCT係数の2次元列を得ることと、
上記複数の差分DCT係数の2次元列を走査して、DCT係数の1次元列に変換することとを含み、
上記走査は、
(1)上記予測において、上記カレントブロックのAC係数が予測されなかったときのジグザグ走査と、
(2)上記カレントブロックのAC係数が予測され、上記DC予測が左ブロックを参照したときの垂直走査と、
(3)上記カレントブロックのAC係数が予測され、上記DC予測が上ブロックを参照したときの水平走査と
のうち1つによって実行されることを特徴とする。
An image predictive coding method according to the present invention converts a block of a sampled image signal into a two-dimensional sequence of DCT coefficients;
Obtaining a predicted DCT transform coefficient by predicting a DCT coefficient of a current block from a DCT coefficient of an adjacent block adaptively selected from either the left block or the upper block;
Obtaining a two-dimensional sequence of a plurality of differential DCT coefficients by subtracting the predicted DCT transform coefficients from the DCT coefficients of the current block;
Scanning a two-dimensional sequence of the plurality of differential DCT coefficients and converting to a one-dimensional sequence of DCT coefficients;
The above scan is
(1) In the prediction, zigzag scanning when the AC coefficient of the current block is not predicted;
(2) vertical scanning when the AC coefficient of the current block is predicted and the DC prediction refers to the left block;
(3) The AC coefficient of the current block is predicted, and the DC prediction is executed by one of horizontal scanning when referring to the upper block.
また、上記画像予測符号化方法において、好ましくは、上記DCT係数の1次元列の可変長符号化を実行することをさらに含むことを特徴とする。 The image predictive coding method preferably further includes performing variable length coding of the one-dimensional sequence of the DCT coefficients.
さらに、上記画像予測符号化方法において、好ましくは、上記変換は、サンプリングされた画像信号のブロックを、DCT係数の複数の8×8ブロックに変換することを特徴とする。 Further, in the image predictive encoding method, preferably, the conversion is characterized in that a block of a sampled image signal is converted into a plurality of 8 × 8 blocks of DCT coefficients.
またさらに、上記画像予測符号化方法において、好ましくは、上記走査は、
(1)上記予測において上記カレントブロック(C)のAC係数が予測されていないときに、複数のDCT変換係数の8×8ブロックを以下の順序でジグザグ走査する場合と、
0, 1, 5, 6,14,15,27,28;
2, 4, 7,13,16,26,29,42;
3, 8,12,17,25,30,41,43;
9,11,18,24,31,40,44,53;
10,19,23,32,39,45,52,54;
20,22,33,38,46,51,55,60;
21,34,37,47,50,56,59,61;
35,36,48,49,57,58,62,63;
(2)上記予測において上記カレントブロック(C)のAC係数が予測され、上記DC予測が上記左ブロックを参照したときに、以下の順序で垂直走査をする場合と、
0, 4, 6,20,22,36,38,52;
1, 5, 7,21,23,37,39,53;
2, 8,19,24,34,40,50,54;
3, 9,18,25,35,41,51,55;
10,17,26,30,42,46,56,60;
11,16,27,31,43,47,57,61;
12,15,28,32,44,48,58,62;
13,14,29,33,45,49,59,63;
(3)上記予測において上記カレントブロック(C)のAC係数が予測され、上記DC予測が上記上ブロックを参照したときに、以下の順序で水平走査をする場合と、
0, 1, 2, 3,10,11,12,13;
4, 5, 8, 9,17,16,15,14;
6, 7,19,18,26,27,28,29;
20,21,24,25,30,31,32,33;
22,23,34,35,42,43,44,45;
36,37,40,41,46,47,48,49;
38,39,50,51,56,57,58,59;
52,53,54,55,60,61,62,63;
の走査を実行することを特徴とする。
Still further, in the image predictive encoding method, preferably, the scanning is performed as follows.
(1) When the AC coefficient of the current block (C) is not predicted in the prediction, zigzag scanning of 8 × 8 blocks of a plurality of DCT transform coefficients in the following order:
0, 1, 5, 6, 14, 15, 27, 28;
2, 4, 7, 13, 16, 26, 29, 42;
3, 8, 12, 17, 25, 30, 41, 43;
9, 11, 18, 24, 31, 40, 44, 53;
10, 19, 23, 32, 39, 45, 52, 54;
20, 22, 33, 38, 46, 51, 55, 60;
21, 34, 37, 47, 50, 56, 59, 61;
35, 36, 48, 49, 57, 58, 62, 63;
(2) When the AC coefficient of the current block (C) is predicted in the prediction, and the DC prediction refers to the left block, vertical scanning is performed in the following order:
0, 4, 6, 20, 22, 36, 38, 52;
1, 5, 7, 21, 23, 37, 39, 53;
2, 8, 19, 24, 34, 40, 50, 54;
3, 9, 18, 25, 35, 41, 51, 55;
10, 17, 26, 30, 42, 46, 56, 60;
11, 16, 27, 31, 43, 47, 57, 61;
12, 15, 28, 32, 44, 48, 58, 62;
13, 14, 29, 33, 45, 49, 59, 63;
(3) When the AC coefficient of the current block (C) is predicted in the prediction and the DC prediction refers to the upper block, horizontal scanning is performed in the following order:
0, 1, 2, 3, 10, 11, 12, 13;
4, 5, 8, 9, 17, 16, 15, 14;
6, 7, 19, 18, 26, 27, 28, 29;
20, 21, 24, 25, 30, 31, 32, 33;
22, 23, 34, 35, 42, 43, 44, 45;
36, 37, 40, 41, 46, 47, 48, 49;
38, 39, 50, 51, 56, 57, 58, 59;
52, 53, 54, 55, 60, 61, 62, 63;
It is characterized in that the scanning is executed.
また、上記画像予測符号化方法において、好ましくは、上記左ブロック(B)又は上記上ブロック(A)のいずれかから選択された隣接ブロックのDC係数から、上記カレントブロック(C)のDC係数を最少ビット使用規則に従って予測することを特徴とする。 In the image predictive coding method, preferably, the DC coefficient of the current block (C) is calculated from the DC coefficient of the adjacent block selected from either the left block (B) or the upper block (A). Predicting according to the least bit usage rule.
さらに、上記画像予測符号化方法において、好ましくは、上記カレントブロックのAC係数が上記隣接ブロックから予測されるか否かを示す、指示ビットを供給することをさらに含むことを特徴とする。 Furthermore, the image predictive coding method preferably further includes supplying an instruction bit indicating whether or not the AC coefficient of the current block is predicted from the adjacent block.
第1の発明に係る画像予測符号化装置は、入力される符号化画像データを互いに隣接する複数の小領域の画像データに分割する分割手段と、
上記分割手段によって分割された互いに隣接する複数の小領域の画像データの中で処理対象の小領域の画像データを符号化するときに、上記処理対象の小領域の画像データに隣接する再生された再生小領域の画像データを上記処理対象の小領域の画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとし、上記処理対象の小領域の画像データと上記最適予測小領域の画像データとの差分である差分小領域の画像データを生成する第1の生成手段と、
上記生成手段によって生成された差分小領域の画像データを符号化する符号化手段と、
上記符号化手段によって符号化された差分小領域の画像データを復号化する復号化手段と、
上記復号化手段によって復号化された差分小領域の画像データを上記最適予測小領域の画像データに加算することにより再生された再生小領域の画像データを生成する第2の生成手段とを備える。
An image predictive encoding device according to a first aspect of the present invention includes a dividing unit that divides input encoded image data into image data of a plurality of small areas adjacent to each other;
When the image data of the small area to be processed is encoded among the image data of the plurality of small areas adjacent to each other divided by the dividing unit, the image data reproduced adjacent to the image data of the small area to be processed is encoded. The image data of the reproduction subregion is the image data of the intra prediction small region of the processing target small region, the image data of the intra prediction small region is the image data of the optimal prediction subregion, and First generation means for generating difference subregion image data that is a difference between the image data and the optimal prediction subregion image data;
Encoding means for encoding the image data of the small difference area generated by the generating means;
Decoding means for decoding the image data of the small difference area encoded by the encoding means;
Second generation means for generating reproduced subregion image data reproduced by adding the difference subregion image data decoded by the decoding unit to the optimum predicted subregion image data.
また、第2の発明に係る画像予測符号化装置は、入力された符号化画像データを互いに隣接する複数の小領域の画像データに分割する分割手段と、
上記分割手段によって分割された互いに隣接する複数の小領域の中で処理対象の小領域を符号化するときに、上記処理対象の小領域の画像データに隣接する再生された再生小領域の画像データの中から、上記符号化画像データが有意であるか否かを示す入力された有意信号によって示される有意な画像データのみを上記処理対象の小領域の画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとし、上記処理対象の小領域の画像データと上記最適予測小領域の画像データとの差分である差分小領域の画像データを生成する第1の生成手段と、
上記第1の生成手段によって生成された差分小領域の画像データを符号化する符号化手段と、
上記符号化手段によって符号化された差分小領域の画像データを復号化する復号化手段と、
上記復号化手段によって復号化された差分小領域の画像データを上記最適予測小領域の画像データに加算することにより再生された再生小領域の画像データを生成する第2の生成手段とを備える。
Further, the image predictive coding apparatus according to the second invention includes a dividing unit that divides input coded image data into image data of a plurality of small regions adjacent to each other;
Image data of a reproduced reproduction small area adjacent to the image data of the small area to be processed when encoding the small area to be processed among a plurality of small areas adjacent to each other divided by the dividing means Only the significant image data indicated by the input significant signal indicating whether or not the encoded image data is significant is used as the image data of the predicted small region in the screen of the small region to be processed, and The image data of the predicted small area in the screen is used as the image data of the optimum predicted small area, and image data of the difference small area that is the difference between the image data of the small area to be processed and the image data of the optimum predicted small area is generated. First generation means;
Encoding means for encoding the image data of the small difference area generated by the first generation means;
Decoding means for decoding the image data of the small difference area encoded by the encoding means;
Second generation means for generating reproduced subregion image data reproduced by adding the difference subregion image data decoded by the decoding unit to the optimum predicted subregion image data.
さらに、第3の発明に係る画像予測復号化装置は、入力された符号化された画像データ系列を解析して画像差分信号を出力する解析手段と、
上記解析手段から出力される差分画像信号から、再生差分小領域の画像データを復号化する復号化手段と、
所定の画面内予測小領域の画像データを生成するための画像データを格納するラインメモリと、
上記ラインメモリからの画像データに対して予測信号発生処理を実行することにより、上記再生差分小領域の画像データに隣接する再生された画像データを画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとして出力する発生手段と、
上記復号化手段からの再生差分小領域の画像データと、上記発生手段からの最適予測小領域の画像データとを加算して、加算結果の画面内予測小領域を生成するための画像データを出力するとともに、上記ラインメモリに格納する加算手段とを備える。
Further, the image predictive decoding apparatus according to the third invention comprises an analyzing means for analyzing the input encoded image data sequence and outputting an image difference signal;
Decoding means for decoding image data of a reproduction difference small area from the difference image signal output from the analysis means;
A line memory for storing image data for generating image data of a predetermined intra prediction small area;
By executing the prediction signal generation process on the image data from the line memory, the reproduced image data adjacent to the image data of the reproduction difference small region is set as the image data of the prediction small region in the screen, and Generating means for outputting the image data of the predicted small area as the image data of the optimum predicted small area;
Adds the image data of the reproduction difference small area from the decoding means and the image data of the optimal prediction small area from the generation means, and outputs the image data for generating the intra prediction small area of the addition result And adding means for storing in the line memory.
またさらに、第4の発明に係る画像予測復号化装置は、入力された符号化された画像データ系列を解析して、画像差分信号と、動きベクトル信号と、制御信号とを出力する解析手段と、
上記解析手段から出力される差分画像信号を、再生差分小領域の画像データに復号化する復号化手段と、
上記解析手段から出力される制御信号に基づいて、動き補償手段と発生手段とが選択的に動作させるように制御する切り換え信号を出力する制御手段と、
所定の再生画像データを格納するフレームメモリと、
所定の画面内予測小領域の画像データを生成するための画像データを格納するラインメモリと、
上記制御手段からの切り換え信号に応答して、入力される動きベクトル信号に対して動き補償処理を実行することにより、上記フレームメモリから時間予測小領域の画像データを生成して、最適予測小領域の画像データとして出力する動き補償手段と、
上記制御手段からの切り換え信号に応答して、上記ラインメモリからの画像データに対して予測信号発生処理を実行することにより、上記再生差分小領域の画像データに隣接する再生された画像データを画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとして出力する発生手段と、
上記復号化手段からの再生差分小領域の画像データと、上記発生手段からの最適予測小領域とを加算することにより、加算結果の再生画像データを出力するとともに、上記再生画像データを上記フレームメモリに格納し、上記画面内予測小領域の画像データを生成するための画像データのみを上記ラインメモリに格納する加算手段とを備える。
Still further, the image predictive decoding device according to the fourth invention comprises an analysis means for analyzing the input encoded image data sequence and outputting an image difference signal, a motion vector signal, and a control signal. ,
Decoding means for decoding the difference image signal output from the analysis means into image data of a reproduction difference small area;
Control means for outputting a switching signal for controlling the motion compensation means and the generating means to selectively operate based on the control signal output from the analysis means,
A frame memory for storing predetermined reproduction image data;
A line memory for storing image data for generating image data of a predetermined intra prediction small area;
In response to the switching signal from the control means, by performing motion compensation processing on the input motion vector signal, image data of the temporal prediction small region is generated from the frame memory, and the optimal prediction small region Motion compensation means for outputting as image data,
In response to a switching signal from the control means, a predicted signal generation process is performed on the image data from the line memory, thereby reproducing reproduced image data adjacent to the image data of the reproduction difference small area on the screen. Generating means for outputting image data of the intra prediction small area, and outputting the image data of the intra prediction small area as image data of the optimal prediction small area;
By adding the image data of the reproduction difference small area from the decoding means and the optimum prediction small area from the generating means, the reproduction image data as the addition result is output, and the reproduction image data is stored in the frame memory. And adding means for storing only the image data for generating the image data of the intra prediction small area in the line memory.
また、第5の発明に係る画像予測復号化装置は、入力された符号化された画像データ系列を解析して、圧縮形状信号と画像差分信号とを出力する解析手段と、
上記解析手段から出力される圧縮形状信号を、再生形状信号に復号化する第1の復号化手段と、
上記解析手段から出力される差分画像信号を、再生差分小領域の画像データに復号化する第2の復号化手段と、
所定の画面内予測小領域の画像データを生成するための画像データを格納するラインメモリと、
上記ラインメモリからの画像データに対して予測信号処理を実行することにより、上記再生差分小領域の画像データに隣接する再生された画像データの中から、上記再生形状信号によって示される有意な画像データのみを画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとして出力する発生手段と、
上記第2の復号化手段からの再生差分小領域の画像データと、上記発生手段からの最適予測小領域とを加算することにより、加算結果の画像データを出力するとともに、上記画面内予測小領域の画像データを生成するための画像データのみを上記ラインメモリに格納する加算手段とを備える。
An image predictive decoding device according to a fifth aspect of the invention is an analysis unit that analyzes an input encoded image data sequence and outputs a compressed shape signal and an image difference signal;
First decoding means for decoding the compressed shape signal output from the analyzing means into a reproduced shape signal;
Second decoding means for decoding the difference image signal output from the analysis means into image data of a reproduction difference small area;
A line memory for storing image data for generating image data of a predetermined intra prediction small area;
Significant image data indicated by the reproduction shape signal from the reproduced image data adjacent to the image data of the reproduction difference small area by executing prediction signal processing on the image data from the line memory. Generating means for outputting only the image data of the predicted small area in the screen, and outputting the image data of the predicted small area in the screen as the image data of the optimal predicted small area;
By adding the image data of the reproduction difference small area from the second decoding means and the optimum prediction small area from the generating means, the addition result image data is output, and the intra-screen prediction small area Adding means for storing only the image data for generating the image data in the line memory.
さらに、第6の発明に係る画像予測復号化装置は、入力された符号化された画像データ系列を解析して、圧縮形状信号と、画像差分信号と、動きベクトル信号と、制御信号とを出力する解析手段と、
上記解析手段から出力される圧縮形状信号を、再生形状信号に復号化する第1の復号化手段と、
上記解析手段から出力される差分画像信号を、再生差分小領域に復号化する第2の復号化手段と、
上記解析手段から出力される制御信号に基づいて、動き補償手段と発生手段とを選択的に動作させるように制御する切り換え信号を出力する制御手段と、
所定の再生画像データを格納するフレームメモリと、
所定の画面内予測小領域の画像データを生成するための画像データを格納するラインメモリと、
上記制御手段から出力される切り換え信号に応答して、上記解析手段から出力される動きベクトル信号に基づいて、上記フレームメモリからの再生画像データに対して動き補償処理を実行することにより、時間予測小領域の画像データを発生して、最適予測小領域の画像データとして出力する動き補償手段と、
上記制御手段から出力される切り換え信号に応答して、上記ラインメモリからの画像データに対して予測信号処理を実行することにより、上記再生差分小領域の画像データに隣接する再生された画像データの中から、上記再生形状信号によって示される有意な画像データのみを画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとして出力する発生手段と、
上記第2の復号化手段からの再生差分小領域の画像データと、上記発生手段からの最適予測小領域とを加算することにより、加算結果の再生画像データを出力するとともに、上記再生画像データを上記フレームメモリに格納し、上記画面内予測小領域を生成するための画像データのみを上記ラインメモリに格納する加算手段とを備える。
Further, the image predictive decoding apparatus according to the sixth invention analyzes the input encoded image data sequence and outputs a compressed shape signal, an image difference signal, a motion vector signal, and a control signal. Analysis means to
First decoding means for decoding the compressed shape signal output from the analyzing means into a reproduced shape signal;
Second decoding means for decoding the difference image signal output from the analysis means into a reproduction difference small area;
Control means for outputting a switching signal for controlling the motion compensation means and the generation means to selectively operate based on the control signal output from the analysis means,
A frame memory for storing predetermined reproduction image data;
A line memory for storing image data for generating image data of a predetermined intra prediction small area;
In response to the switching signal output from the control means, a time prediction is performed by executing a motion compensation process on the reproduced image data from the frame memory based on the motion vector signal output from the analysis means. Motion compensation means for generating image data of a small area and outputting it as image data of an optimally predicted small area;
In response to the switching signal output from the control means, predictive signal processing is performed on the image data from the line memory, so that the reproduced image data adjacent to the image data in the reproduction difference small area Generating means for outputting only significant image data indicated by the reproduction shape signal as image data of an intra prediction small area, and outputting image data of the intra prediction small area as image data of an optimal prediction sub area,
By adding the image data of the reproduction difference small area from the second decoding means and the optimal prediction small area from the generating means, the reproduction image data as the addition result is output, and the reproduction image data is Adding means for storing in the line memory only the image data stored in the frame memory and for generating the intra prediction small area.
第7の発明に係る画像予測符号化装置は、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされたブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第1の加算手段と、
上記第1の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第2の加算手段と、
上記第2の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。
An image predictive encoding device according to a seventh aspect of the present invention is a sampling means for sampling an input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values;
Conversion means for converting the image data of the block sampled by the sampling means into coefficient data of a predetermined conversion area;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
Among the coefficient data of the plurality of prediction blocks formed by the prediction means, the coefficient data of the prediction block with the highest efficiency is determined, selected and output, and the indicator representing the selected prediction block is in the format of the instruction bit Determining means for transmitting to the image predictive decoding device,
First addition means for outputting coefficient data of prediction error of the subtraction result by subtracting coefficient data of the prediction block selected by the determination means from coefficient data of the current block at the present time;
Quantization means for quantizing prediction error coefficient data output from the first addition means;
Encoding means for entropy encoding the prediction error coefficient data from the quantization means, and transmitting the encoded prediction error coefficient data to the image predictive decoding device;
Dequantizing the coefficient data of the prediction error from the quantizing means, and outputting the restored block coefficient data; and
By adding the coefficient data of the prediction block output from the determination unit to the coefficient data of the prediction error output from the inverse quantization unit, the coefficient data of the restored block is output and also to the block memory A second adding means for storing;
And inverse transform means for generating image data of the restored block by inversely transforming the coefficient data of the block output from the second adding means.
また、第8の発明に係る画像予測符号化装置は、入力された画像信号を二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされた複数のブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
上記変換手段からの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第1の加算手段と、
上記第1の加算手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記第1の加算手段からの予測誤差の係数データを、上記決定手段から出力される予測ブロックの係数データを加算することにより、量子化されたカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第2の加算手段と、
上記第2の加算手段から出力されるカレントブロックの係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段からのカレントブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。
According to an eighth aspect of the present invention, there is provided an image predictive encoding device, wherein sampling means for sampling an input image signal into a plurality of blocks of image data including pixel values of a two-dimensional array;
Conversion means for converting image data of a plurality of blocks sampled by the sampling means into coefficient data of a predetermined conversion area;
Quantization means for quantizing coefficient data in the transform region from the transform means;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
Among the coefficient data of the plurality of prediction blocks formed by the prediction means, the coefficient data of the prediction block with the highest efficiency is determined, selected and output, and the indicator representing the selected prediction block is in the format of the instruction bit Determining means for transmitting to the image predictive decoding device,
First addition means for outputting coefficient data of prediction error of the subtraction result by subtracting coefficient data of the prediction block selected by the determination means from coefficient data of the current block at the present time;
Encoding means for entropy encoding the prediction error coefficient data from the first addition means, and transmitting the encoded prediction error coefficient data to the image predictive decoding apparatus;
By adding the coefficient data of the prediction block output from the determination means to the coefficient data of the prediction error from the first addition means, the coefficient data of the quantized current block is restored and output, Second addition means for storing in the block memory;
Dequantizing means for dequantizing and outputting the coefficient data of the current block output from the second adding means;
And inverse transform means for generating image data of the restored block by inverse transforming the coefficient data of the current block from the inverse quantization means.
さらに、第9の発明に係る画像予測符号化装置は、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
入力されるブロックの画像データに対して動き補償処理を実行することにより、動き補償されたブロックの予測誤差の画像データを生成して出力する補償手段と、
上記サンプリング手段から出力されるブロックの画像データから、上記補償手段から出力されるブロックの予測誤差の画像データを減算して、減算結果のブロックの画像データを出力する第1の加算手段と、
上記第1の加算手段から出力されるブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第2の加算手段と、
上記第2の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段と、
上記逆変換手段からの復元されたブロックの画像データに、上記補償手段から出力される動き補償されたブロックの予測誤差の画像データを加算することにより、復元されたブロックの画像データを上記補償手段に出力する第4の加算手段とを備える。
Furthermore, the image predictive coding apparatus according to the ninth invention comprises sampling means for sampling the input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values;
Compensation means for generating and outputting image data of a prediction error of a block subjected to motion compensation by executing motion compensation processing on the image data of the input block;
First addition means for subtracting the image data of the prediction error of the block output from the compensation means from the image data of the block output from the sampling means, and outputting the image data of the block as a subtraction result;
Conversion means for converting the image data of the block output from the first addition means into coefficient data of a predetermined conversion area;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
Among the coefficient data of the plurality of prediction blocks formed by the prediction means, the coefficient data of the prediction block with the highest efficiency is determined, selected and output, and the indicator representing the selected prediction block is in the format of the instruction bit Determining means for transmitting to the image predictive decoding device,
Subtracting the coefficient data of the prediction block selected by the determination means from the coefficient data of the current block at the current time, thereby outputting the coefficient data of the prediction error of the subtraction result;
Quantization means for quantizing prediction error coefficient data output from the second addition means;
Encoding means for entropy encoding the prediction error coefficient data from the quantization means, and transmitting the encoded prediction error coefficient data to the image predictive decoding device;
Dequantizing the coefficient data of the prediction error from the quantizing means, and outputting the restored block coefficient data; and
By adding the coefficient data of the prediction block output from the determination unit to the coefficient data of the prediction error output from the inverse quantization unit, the coefficient data of the restored block is output, and the block memory is also output. A third adding means for storing;
Inverse transform means for generating image data of the restored block by inversely transforming the coefficient data of the block output from the third adding means;
The image data of the restored block output from the compensation means is added to the image data of the restored block from the inverse transform means, so that the image data of the restored block is added to the compensation means. 4th addition means to output to.
またさらに、第10の発明に係る画像予測符号化装置は、入力された画像信号を二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
入力されるブロックの画像データに対して動き補償処理を実行することにより、動き補償されたブロックの予測誤差の画像データを生成して出力する補償手段と、
上記サンプリング手段から出力されるブロックの画像データから、上記補償手段から出力されるブロックの予測誤差の画像データを減算して、減算結果のブロックの画像データを出力する第1の加算手段と、
上記第1の加算手段から出力されるブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
上記変換手段からの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第2の加算手段と、
上記第2の加算手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記第2の加算手段からの予測誤差の係数データを、上記決定手段から出力される予測ブロックの係数データを加算することにより、量子化されたカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるカレントブロックの係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段からのカレントブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段と、
上記逆変換手段からの復元されたブロックの画像データに、上記補償手段から出力される動き補償されたブロックの予測誤差の画像データを加算することにより、復元されたブロックの画像データを上記補償手段に出力する第4の加算手段とを備える。
Still further, the image predictive coding apparatus according to the tenth invention comprises a sampling means for sampling an input image signal into a plurality of blocks of image data including a two-dimensional array of pixel values;
Compensation means for generating and outputting image data of a prediction error of a block subjected to motion compensation by executing motion compensation processing on the image data of the input block;
First addition means for subtracting the image data of the prediction error of the block output from the compensation means from the image data of the block output from the sampling means, and outputting the image data of the block as a subtraction result;
Conversion means for converting the image data of the block output from the first addition means into coefficient data of a predetermined conversion area;
Quantization means for quantizing coefficient data in the transform region from the transform means;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
Among the coefficient data of the plurality of prediction blocks formed by the prediction means, the coefficient data of the prediction block with the highest efficiency is determined, selected and output, and the indicator representing the selected prediction block is in the format of the instruction bit Determining means for transmitting to the image predictive decoding device,
Subtracting the coefficient data of the prediction block selected by the determination means from the coefficient data of the current block at the current time, thereby outputting the coefficient data of the prediction error of the subtraction result;
Encoding means for entropy encoding the prediction error coefficient data from the second addition means and transmitting the encoded prediction error coefficient data to the image predictive decoding apparatus;
The coefficient data of the prediction error output from the second adding means is added to the coefficient data of the prediction block output from the determining means, thereby restoring and outputting the quantized current block coefficient data. Third addition means for storing in the block memory;
Dequantizing means for dequantizing and outputting coefficient data of the current block output from the third adding means;
Inverse transform means for generating image data of the restored block by inverse transforming the coefficient data of the current block from the inverse quantization means;
The image data of the restored block output from the compensation means is added to the image data of the restored block from the inverse transform means, so that the image data of the restored block is added to the compensation means. 4th addition means to output to.
第11の発明に係る画像予測復号化装置は、第7の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記別の予測手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段とを備える。
An image predictive decoding device according to an eleventh invention is an image predictive decoding device provided corresponding to the image predictive encoding device according to the seventh invention,
Extracting means for extracting instruction bits from the received data received from the image predictive encoding device;
A block memory for storing the coefficient data of the restored block;
Based on the prediction block indicated by the instruction bit extracted by the extraction means, the coefficient data of the current block included in the received data using the coefficient data of the previously restored block stored in the block memory Another prediction means for generating and outputting coefficient data of a prediction block for
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data;
Dequantizing means for dequantizing and outputting the coefficient data of the prediction error output from the decoding means;
By adding the coefficient data of the prediction block output from the other prediction means to the coefficient data of the prediction error output from the inverse quantization means, the coefficient data of the current current block is restored and output. Third addition means for storing in the block memory;
Another inverse transformation means for inversely transforming the coefficient data of the current block output from the third addition means and outputting the restored image data of the current block.
また、第12の発明に係る画像予測復号化装置は、第8の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記予測手段から出力される予測ブロックの係数データを、上記復号化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段とを備える。
An image predictive decoding apparatus according to a twelfth aspect of the present invention is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus of the eighth aspect of the invention,
Extracting means for extracting instruction bits from the received data received from the image predictive encoding device;
A block memory for storing the coefficient data of the restored block;
Based on the prediction block indicated by the instruction bit extracted by the extraction means, the coefficient data of the current block included in the received data using the coefficient data of the previously restored block stored in the block memory Another prediction means for generating and outputting coefficient data of a prediction block for
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data;
By adding the coefficient data of the prediction block output from the prediction unit to the coefficient data of the prediction error output from the decoding unit, the coefficient data of the current block is restored and output, and the block A third adding means for storing in the memory;
Dequantization means for dequantizing and outputting prediction error coefficient data output from the third addition means;
Another inverse transform unit that inversely transforms the coefficient data of the current block output from the inverse quantization unit and outputs the restored image data of the current block.
さらに、第13の発明に係る画像予測復号化装置は、第9の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記別の予測手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データに対して動き補償処理を実行することにより、動き補償の予測誤差データを出力する別の補償手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データから、上記別の補償手段から出力される動き補償の予測誤差データを減算して、減算結果の復元されたブロックの画像データを出力する第5の加算手段とを備える。
Further, an image predictive decoding apparatus according to a thirteenth aspect of the present invention is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus according to the ninth aspect of the present invention,
Extracting means for extracting instruction bits from the received data received from the image predictive encoding device;
A block memory for storing the coefficient data of the restored block;
Based on the prediction block indicated by the instruction bit extracted by the extraction means, the coefficient data of the current block included in the received data using the coefficient data of the previously restored block stored in the block memory Another prediction means for generating and outputting coefficient data of a prediction block for
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data;
Dequantizing means for dequantizing and outputting the coefficient data of the prediction error output from the decoding means;
By adding the coefficient data of the prediction block output from the other prediction means to the coefficient data of the prediction error output from the inverse quantization means, the coefficient data of the current current block is restored and output. Third addition means for storing in the block memory;
Another inverse transformation means for inversely transforming the coefficient data of the current block output from the third addition means and outputting the restored image data of the current block;
Another compensation means for outputting motion compensation prediction error data by performing motion compensation processing on the image data of the current block output from the other inverse transform means;
The motion compensation prediction error data output from the other compensation unit is subtracted from the image data of the current block output from the other inverse transform unit, and the image data of the block whose subtraction result is restored is output. And a fifth adding means.
またさらに、第14の発明に係る画像予測復号化装置は、第10の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記予測手段から出力される予測ブロックの係数データを、上記復号化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データに対して動き補償処理を実行することにより、動き補償の予測誤差データを出力する別の補償手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データから、上記別の補償手段から出力される動き補償の予測誤差データを減算して、減算結果の復元されたブロックの画像データを出力する第5の加算手段とを備える。
Still further, an image predictive decoding apparatus according to a fourteenth aspect of the present invention is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus according to the tenth aspect of the present invention,
Extracting means for extracting instruction bits from the received data received from the image predictive encoding device;
A block memory for storing the coefficient data of the restored block;
Based on the prediction block indicated by the instruction bit extracted by the extraction means, the coefficient data of the current block included in the received data using the coefficient data of the previously restored block stored in the block memory Another prediction means for generating and outputting coefficient data of a prediction block for
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data;
By adding the coefficient data of the prediction block output from the prediction unit to the coefficient data of the prediction error output from the decoding unit, the coefficient data of the current block is restored and output, and the block A third adding means for storing in the memory;
Dequantization means for dequantizing and outputting prediction error coefficient data output from the third addition means;
Another inverse transformation means for inversely transforming the coefficient data of the current block output from the inverse quantization means and outputting the restored image data of the current block;
Another compensation means for outputting motion compensation prediction error data by performing motion compensation processing on the image data of the current block output from the other inverse transform means;
The motion compensation prediction error data output from the other compensation unit is subtracted from the image data of the current block output from the other inverse transform unit, and the image data of the block whose subtraction result is restored is output. And a fifth adding means.
第15の発明に係る画像予測符号化装置は、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされたブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第1の加算手段と、
上記第1の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第2の加算手段と、
上記第2の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。
An image predictive encoding device according to a fifteenth aspect of the present invention is a sampling means for sampling an input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values;
Conversion means for converting the image data of the block sampled by the sampling means into coefficient data of a predetermined conversion area;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
An instruction for determining and selecting the coefficient data and scanning method of the most efficient prediction block among the coefficient data of the plurality of prediction blocks formed by the prediction means, selecting and outputting the data, and indicating the selected prediction block and scanning method Determining means for transmitting the child to the image predictive decoding apparatus in the form of instruction bits;
First addition means for outputting coefficient data of prediction error of the subtraction result by subtracting coefficient data of the prediction block selected by the determination means from coefficient data of the current block at the present time;
Quantization means for quantizing prediction error coefficient data output from the first addition means;
A scanning unit that performs a scanning process on the coefficient data of the prediction error from the quantization unit by the scanning method determined by the determination unit, and outputs coefficient data of the prediction error after the scanning process;
Encoding means for entropy encoding the prediction error coefficient data output from the scanning means, and transmitting the encoded prediction error coefficient data to the image predictive decoding device;
Dequantizing the coefficient data of the prediction error from the quantizing means, and outputting the restored block coefficient data; and
By adding the coefficient data of the prediction block output from the determination unit to the coefficient data of the prediction error output from the inverse quantization unit, the coefficient data of the restored block is output and also to the block memory A second adding means for storing;
And inverse transform means for generating image data of the restored block by inversely transforming the coefficient data of the block output from the second adding means.
また、第16の発明に係る画像予測符号化装置は、入力された画像信号を二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされた複数のブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
上記変換手段からの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第1の加算手段と、
上記第1の加算手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記第1の加算手段からの予測誤差の係数データを、上記決定手段から出力される予測ブロックの係数データを加算することにより、量子化されたカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第2の加算手段と、
上記第2の加算手段から出力されるカレントブロックの係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段からのカレントブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。
さらに、第17の発明に係る画像予測符号化装置は、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
入力されるブロックの画像データに対して動き補償処理を実行することにより、動き補償されたブロックの予測誤差の画像データを生成して出力する補償手段と、
上記サンプリング手段から出力されるブロックの画像データから、上記補償手段から出力されるブロックの予測誤差の画像データを減算して、減算結果のブロックの画像データを出力する第1の加算手段と、
上記第1の加算手段から出力されるブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第2の加算手段と、
上記第2の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段と、
上記逆変換手段からの復元されたブロックの画像データに、上記補償手段から出力される動き補償されたブロックの予測誤差の画像データを加算することにより、復元されたブロックの画像データを上記補償手段に出力する第4の加算手段とを備える。
According to a sixteenth aspect of the present invention, there is provided an image predictive encoding device, wherein the input image signal is sampled into a plurality of blocks of image data including a two-dimensional array of pixel values, and sampling means;
Conversion means for converting image data of a plurality of blocks sampled by the sampling means into coefficient data of a predetermined conversion area;
Quantization means for quantizing coefficient data in the transform region from the transform means;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
An instruction for determining and selecting the coefficient data and scanning method of the most efficient prediction block among the coefficient data of the plurality of prediction blocks formed by the prediction means, selecting and outputting the data, and indicating the selected prediction block and scanning method Determining means for transmitting the child to the image predictive decoding apparatus in the form of instruction bits;
First addition means for outputting coefficient data of prediction error of the subtraction result by subtracting coefficient data of the prediction block selected by the determination means from coefficient data of the current block at the present time;
A scan unit that performs a scan process on the coefficient data of the prediction error from the first adding unit by the scan method determined by the determination unit, and outputs the coefficient data of the prediction error after the scan process;
Encoding means for entropy encoding the prediction error coefficient data output from the scanning means, and transmitting the encoded prediction error coefficient data to the image predictive decoding device;
By adding the coefficient data of the prediction block output from the determination means to the coefficient data of the prediction error from the first addition means, the coefficient data of the quantized current block is restored and output, Second addition means for storing in the block memory;
Dequantizing means for dequantizing and outputting the coefficient data of the current block output from the second adding means;
And inverse transform means for generating image data of the restored block by inverse transforming the coefficient data of the current block from the inverse quantization means.
Furthermore, the image predictive coding apparatus according to the seventeenth aspect of the present invention is a sampling means for sampling an input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values;
Compensation means for generating and outputting image data of a prediction error of a block subjected to motion compensation by executing motion compensation processing on the image data of the input block;
First addition means for subtracting the image data of the prediction error of the block output from the compensation means from the image data of the block output from the sampling means, and outputting the image data of the block as a subtraction result;
Conversion means for converting the image data of the block output from the first addition means into coefficient data of a predetermined conversion area;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
An instruction for determining and selecting the coefficient data and scanning method of the most efficient prediction block among the coefficient data of the plurality of prediction blocks formed by the prediction means, selecting and outputting the data, and indicating the selected prediction block and scanning method Determining means for transmitting the child to the image predictive decoding apparatus in the form of instruction bits;
Subtracting the coefficient data of the prediction block selected by the determination means from the coefficient data of the current block at the current time, thereby outputting the coefficient data of the prediction error of the subtraction result;
Quantization means for quantizing prediction error coefficient data output from the second addition means;
A scanning unit that performs a scanning process on the coefficient data of the prediction error from the quantization unit by the scanning method determined by the determination unit, and outputs coefficient data of the prediction error after the scanning process;
Encoding means for entropy encoding the prediction error coefficient data output from the scanning means, and transmitting the encoded prediction error coefficient data to the image predictive decoding device;
Dequantizing the coefficient data of the prediction error from the quantizing means, and outputting the restored block coefficient data; and
By adding the coefficient data of the prediction block output from the determination unit to the coefficient data of the prediction error output from the inverse quantization unit, the coefficient data of the restored block is output, and the block memory is also output. A third adding means for storing;
Inverse transform means for generating image data of the restored block by inversely transforming the coefficient data of the block output from the third adding means;
The image data of the restored block output from the compensation means is added to the image data of the restored block from the inverse transform means, so that the image data of the restored block is added to the compensation means. 4th addition means to output to.
またさらに、第18の発明に係る画像予測符号化装置は、入力された画像信号を二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
入力されるブロックの画像データに対して動き補償処理を実行することにより、動き補償されたブロックの予測誤差の画像データを生成して出力する補償手段と、
上記サンプリング手段から出力されるブロックの画像データから、上記補償手段から出力されるブロックの予測誤差の画像データを減算して、減算結果のブロックの画像データを出力する第1の加算手段と、
上記第1の加算手段から出力されるブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
上記変換手段からの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第2の加算手段と、
上記第2の加算手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記第2の加算手段からの予測誤差の係数データを、上記決定手段から出力される予測ブロックの係数データを加算することにより、量子化されたカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるカレントブロックの係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段からのカレントブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段と、
上記逆変換手段からの復元されたブロックの画像データに、上記補償手段から出力される動き補償されたブロックの予測誤差の画像データを加算することにより、復元されたブロックの画像データを上記補償手段に出力する第4の加算手段とを備える。
Still further, an image predictive encoding device according to an eighteenth aspect of the present invention is a sampling means for sampling an input image signal into a plurality of blocks of image data including a two-dimensional array of pixel values;
Compensation means for generating and outputting image data of a prediction error of a block subjected to motion compensation by executing motion compensation processing on the image data of the input block;
First addition means for subtracting the image data of the prediction error of the block output from the compensation means from the image data of the block output from the sampling means, and outputting the image data of the block as a subtraction result;
Conversion means for converting the image data of the block output from the first addition means into coefficient data of a predetermined conversion area;
Quantization means for quantizing coefficient data in the transform region from the transform means;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
An instruction for determining and selecting the coefficient data and scanning method of the most efficient prediction block among the coefficient data of the plurality of prediction blocks formed by the prediction means, selecting and outputting the data, and indicating the selected prediction block and scanning method Determining means for transmitting the child to the image predictive decoding apparatus in the form of instruction bits;
Subtracting the coefficient data of the prediction block selected by the determination means from the coefficient data of the current block at the current time, thereby outputting the coefficient data of the prediction error of the subtraction result;
A scan unit that performs a scan process on the prediction error coefficient data from the second addition unit by the scan method determined by the determination unit, and outputs the prediction error coefficient data after the scan process;
Encoding means for entropy encoding the prediction error coefficient data output from the scanning means, and transmitting the encoded prediction error coefficient data to the image predictive decoding device;
The coefficient data of the prediction error output from the second adding means is added to the coefficient data of the prediction block output from the determining means, thereby restoring and outputting the quantized current block coefficient data. Third addition means for storing in the block memory;
Dequantizing means for dequantizing and outputting coefficient data of the current block output from the third adding means;
Inverse transform means for generating image data of the restored block by inverse transforming the coefficient data of the current block from the inverse quantization means;
The image data of the restored block output from the compensation means is added to the image data of the restored block from the inverse transform means, so that the image data of the restored block is added to the compensation means. 4th addition means to output to.
第19の発明に係る画像予測復号化装置は、第15の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データに対して、上記抽出手段によって抽出された指示ビットが示すスキャン方法に基づいて、逆スキャン処理を実行して、逆スキャン処理後の予測誤差の係数データを出力する逆スキャン手段と、
上記逆スキャン手段から出力される逆スキャン処理後の予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記別の予測手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段とを備える。
An image predictive decoding device according to a nineteenth invention is an image predictive decoding device provided corresponding to the image predictive encoding device according to the fifteenth invention,
Extracting means for extracting instruction bits from the received data received from the image predictive encoding device;
A block memory for storing the coefficient data of the restored block;
Based on the prediction block indicated by the instruction bit extracted by the extraction means, the coefficient data of the current block included in the received data using the coefficient data of the previously restored block stored in the block memory Another prediction means for generating and outputting coefficient data of a prediction block for
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data;
The coefficient data of the prediction error output from the decoding unit is subjected to reverse scanning processing based on the scanning method indicated by the instruction bit extracted by the extracting unit, and the prediction error after the reverse scanning processing is calculated. Reverse scanning means for outputting coefficient data;
Inverse quantization means for inversely quantizing and outputting prediction error coefficient data output from the inverse scan means after the inverse scan processing;
By adding the coefficient data of the prediction block output from the other prediction means to the coefficient data of the prediction error output from the inverse quantization means, the coefficient data of the current current block is restored and output. Third addition means for storing in the block memory;
Another inverse transformation means for inversely transforming the coefficient data of the current block output from the third addition means and outputting the restored image data of the current block.
また、第20の発明に係る画像予測復号化装置は、第16の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データに対して、上記抽出手段によって抽出された指示ビットが示すスキャン方法に基づいて、逆スキャン処理を実行して、逆スキャン処理後の予測誤差の係数データを出力する逆スキャン手段と、
上記予測手段から出力される予測ブロックの係数データを、上記逆スキャン手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段とを備える。
The image predictive decoding apparatus according to the twentieth invention is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus according to the sixteenth invention,
Extracting means for extracting instruction bits from the received data received from the image predictive encoding device;
A block memory for storing the coefficient data of the restored block;
Based on the prediction block indicated by the instruction bit extracted by the extraction means, the coefficient data of the current block included in the received data using the coefficient data of the previously restored block stored in the block memory Another prediction means for generating and outputting coefficient data of a prediction block for
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data;
The coefficient data of the prediction error output from the decoding unit is subjected to reverse scanning processing based on the scanning method indicated by the instruction bit extracted by the extracting unit, and the prediction error after the reverse scanning processing is calculated. Reverse scanning means for outputting coefficient data;
The coefficient data of the prediction block output from the prediction unit is added to the coefficient data of the prediction error output from the inverse scanning unit, thereby restoring and outputting the coefficient data of the current current block, and the block A third adding means for storing in the memory;
Dequantization means for dequantizing and outputting prediction error coefficient data output from the third addition means;
Another inverse transform unit that inversely transforms the coefficient data of the current block output from the inverse quantization unit and outputs the restored image data of the current block.
さらに、第21の発明に係る画像予測復号化装置は、第17の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データに対して、上記抽出手段によって抽出された指示ビットが示すスキャン方法に基づいて、逆スキャン処理を実行して、逆スキャン処理後の予測誤差の係数データを出力する逆スキャン手段と、
上記逆スキャン手段から出力される逆スキャン処理後の予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記別の予測手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データに対して動き補償処理を実行することにより、動き補償の予測誤差データを出力する別の補償手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データから、上記別の補償手段から出力される動き補償の予測誤差データを減算して、減算結果の復元されたブロックの画像データを出力する第5の加算手段とを備える。
またさらに、第22の発明に係る画像予測復号化装置は、第18の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データに対して、上記抽出手段によって抽出された指示ビットが示すスキャン方法に基づいて、逆スキャン処理を実行して、逆スキャン処理後の予測誤差の係数データを出力する逆スキャン手段と、
上記予測手段から出力される予測ブロックの係数データを、上記逆スキャン手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データに対して動き補償処理を実行することにより、動き補償の予測誤差データを出力する別の補償手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データから、上記別の補償手段から出力される動き補償の予測誤差データを減算して、減算結果の復元されたブロックの画像データを出力する第5の加算手段とを備える。
The image predictive decoding apparatus according to the twenty-first invention is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus according to the seventeenth invention,
Extracting means for extracting instruction bits from the received data received from the image predictive encoding device;
A block memory for storing the coefficient data of the restored block;
Based on the prediction block indicated by the instruction bit extracted by the extraction means, the coefficient data of the current block included in the received data using the coefficient data of the previously restored block stored in the block memory Another prediction means for generating and outputting coefficient data of a prediction block for
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data;
The coefficient data of the prediction error output from the decoding unit is subjected to reverse scanning processing based on the scanning method indicated by the instruction bit extracted by the extracting unit, and the prediction error after the reverse scanning processing is calculated. Reverse scanning means for outputting coefficient data;
Inverse quantization means for inversely quantizing and outputting prediction error coefficient data output from the inverse scan means after the inverse scan processing;
By adding the coefficient data of the prediction block output from the other prediction means to the coefficient data of the prediction error output from the inverse quantization means, the coefficient data of the current current block is restored and output. Third addition means for storing in the block memory;
Another inverse transformation means for inversely transforming the coefficient data of the current block output from the third addition means and outputting the restored image data of the current block;
Another compensation means for outputting motion compensation prediction error data by performing motion compensation processing on the image data of the current block output from the other inverse transform means;
The motion compensation prediction error data output from the other compensation unit is subtracted from the image data of the current block output from the other inverse transform unit, and the image data of the block whose subtraction result is restored is output. And a fifth adding means.
Still further, an image predictive decoding apparatus according to a twenty-second aspect of the present invention is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus according to the eighteenth aspect of the invention,
Extracting means for extracting instruction bits from the received data received from the image predictive encoding device;
A block memory for storing the coefficient data of the restored block;
Based on the prediction block indicated by the instruction bit extracted by the extraction means, the coefficient data of the current block included in the received data using the coefficient data of the previously restored block stored in the block memory Another prediction means for generating and outputting coefficient data of a prediction block for
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data;
The coefficient data of the prediction error output from the decoding unit is subjected to reverse scanning processing based on the scanning method indicated by the instruction bit extracted by the extracting unit, and the prediction error after the reverse scanning processing is calculated. Reverse scanning means for outputting coefficient data;
The coefficient data of the prediction block output from the prediction unit is added to the coefficient data of the prediction error output from the inverse scanning unit, thereby restoring and outputting the coefficient data of the current current block, and the block A third adding means for storing in the memory;
Dequantization means for dequantizing and outputting prediction error coefficient data output from the third addition means;
Another inverse transformation means for inversely transforming the coefficient data of the current block output from the inverse quantization means and outputting the restored image data of the current block;
Another compensation means for outputting motion compensation prediction error data by performing motion compensation processing on the image data of the current block output from the other inverse transform means;
The motion compensation prediction error data output from the other compensation unit is subtracted from the image data of the current block output from the other inverse transform unit, and the image data of the block whose subtraction result is restored is output. And a fifth adding means.
また、第23の発明に係る画像予測符号化方法は、上記画像予測符号化装置における各手段をそれぞれ各ステップに置き換えたステップを含む。 An image predictive coding method according to a twenty-third aspect includes a step in which each means in the image predictive coding apparatus is replaced with each step.
さらに、第24の発明に係る画像予測復号化方法は、上記画像予測復号化装置における各手段をそれぞれ各ステップに置き換えたステップを含む。 Furthermore, an image predictive decoding method according to a twenty-fourth aspect includes a step in which each means in the image predictive decoding apparatus is replaced with each step.
また、第25の発明に係る記録媒体は、上記画像予測符号化方法における各ステップを含むプログラムを記録した記録媒体である。 A recording medium according to a twenty-fifth aspect of the invention is a recording medium on which a program including each step in the image predictive encoding method is recorded.
さらに、第26の発明に係る記録媒体は、上記画像予測復号化方法における各ステップを含むプログラムを記録した記録媒体である。 Furthermore, a recording medium according to a twenty-sixth aspect of the invention is a recording medium on which a program including each step in the image predictive decoding method is recorded.
以上詳述したように、本発明に係る画像予測符号化装置によれば、入力される符号化画像データを互いに隣接する複数の小領域の画像データに分割する分割手段と、
上記分割手段によって分割された互いに隣接する複数の小領域の画像データの中で処理対象の小領域の画像データを符号化するときに、上記処理対象の小領域の画像データに隣接する再生された再生小領域の画像データを上記処理対象の小領域の画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとし、上記処理対象の小領域の画像データと上記最適予測小領域の画像データとの差分である差分小領域の画像データを生成する第1の生成手段と、
上記生成手段によって生成された差分小領域の画像データを符号化する符号化手段と、
上記符号化手段によって符号化された差分小領域の画像データを復号化する復号化手段と、
上記復号化手段によって復号化された差分小領域の画像データを上記最適予測小領域の画像データに加算することにより再生された再生小領域の画像データを生成する第2の生成手段とを備える。
従って、処理対象の小領域の画像データに隣接する再生された画素値を画面内予測信号の画素値とするだけで、従来技術に比較して低い演算量で簡単に高精度な予測信号を生成することができ、フレーム内符号化のビット数を削減することができるという特有の効果が得られる。
また、本発明に係る画像予測符号化装置によれば、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされたブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第1の加算手段と、
上記第1の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第2の加算手段と、
上記第2の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。
従って、現時点の符号化効率を増大させる新しい画像予測符号化装置及び画像予測復号化装置を提供することができる。当該装置では、符号化効率を上げるためには複雑な手段は必要とせず、その回路構成は、非常に簡単で容易に形成できる。
さらに、本発明に係る画像予測符号化装置によれば、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされたブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第1の加算手段と、
上記第1の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第2の加算手段と、
上記第2の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。
従って、隣接するブロックを越えて変換領域の中の冗長性を削減又は除去するのに非常に効果的であり、使用ビットのビット数を削減し、その結果、符号化の効率を大幅に改善することができる。これは新しいビデオ圧縮アルゴリズムにおけるツールとしても有用である。
As described above in detail, according to the image predictive encoding device according to the present invention, the dividing means for dividing the input encoded image data into image data of a plurality of small regions adjacent to each other;
When the image data of the small area to be processed is encoded among the image data of the plurality of small areas adjacent to each other divided by the dividing unit, the image data reproduced adjacent to the image data of the small area to be processed is encoded. The image data of the reproduction subregion is the image data of the intra prediction small region of the processing target small region, the image data of the intra prediction small region is the image data of the optimal prediction subregion, and First generation means for generating difference subregion image data that is a difference between the image data and the optimal prediction subregion image data;
Encoding means for encoding the image data of the small difference area generated by the generating means;
Decoding means for decoding the image data of the small difference area encoded by the encoding means;
Second generation means for generating reproduced subregion image data reproduced by adding the difference subregion image data decoded by the decoding unit to the optimum predicted subregion image data.
Therefore, simply by using the reconstructed pixel value adjacent to the image data of the small area to be processed as the pixel value of the in-screen prediction signal, a highly accurate prediction signal can be easily generated with a small amount of computation compared to the conventional technology. And a unique effect that the number of bits of intra-frame coding can be reduced.
Further, according to the image predictive coding apparatus according to the present invention, sampling means for sampling the input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values;
Conversion means for converting the image data of the block sampled by the sampling means into coefficient data of a predetermined conversion area;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
Among the coefficient data of the plurality of prediction blocks formed by the prediction means, the coefficient data of the prediction block with the highest efficiency is determined, selected and output, and the indicator representing the selected prediction block is in the format of the instruction bit Determining means for transmitting to the image predictive decoding device,
First addition means for outputting coefficient data of prediction error of the subtraction result by subtracting coefficient data of the prediction block selected by the determination means from coefficient data of the current block at the present time;
Quantization means for quantizing prediction error coefficient data output from the first addition means;
Encoding means for entropy encoding the prediction error coefficient data from the quantization means, and transmitting the encoded prediction error coefficient data to the image predictive decoding device;
Dequantizing the coefficient data of the prediction error from the quantizing means, and outputting the restored block coefficient data; and
By adding the coefficient data of the prediction block output from the determination unit to the coefficient data of the prediction error output from the inverse quantization unit, the coefficient data of the restored block is output and also to the block memory A second adding means for storing;
And inverse transform means for generating image data of the restored block by inversely transforming the coefficient data of the block output from the second adding means.
Accordingly, it is possible to provide a new image predictive coding apparatus and image predictive decoding apparatus that increase the current coding efficiency. In this apparatus, no complicated means is required to increase the coding efficiency, and the circuit configuration can be formed very simply and easily.
Further, according to the image predictive coding apparatus according to the present invention, sampling means for sampling the input image signal into a plurality of blocks of image data each including a two-dimensional array of pixel values;
Conversion means for converting the image data of the block sampled by the sampling means into coefficient data of a predetermined conversion area;
A block memory for storing the coefficient data of the restored block;
Prediction means for forming coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion means, based on the coefficient data of the block reconstructed before stored in the block memory;
An instruction for determining and selecting the coefficient data and scanning method of the most efficient prediction block among the coefficient data of the plurality of prediction blocks formed by the prediction means, selecting and outputting the data, and indicating the selected prediction block and scanning method Determining means for transmitting the child to the image predictive decoding apparatus in the form of instruction bits;
First addition means for outputting coefficient data of prediction error of the subtraction result by subtracting coefficient data of the prediction block selected by the determination means from coefficient data of the current block at the present time;
Quantization means for quantizing prediction error coefficient data output from the first addition means;
A scanning unit that performs a scanning process on the coefficient data of the prediction error from the quantization unit by the scanning method determined by the determination unit, and outputs coefficient data of the prediction error after the scanning process;
Encoding means for entropy encoding the prediction error coefficient data output from the scanning means, and transmitting the encoded prediction error coefficient data to the image predictive decoding device;
Dequantizing the coefficient data of the prediction error from the quantizing means, and outputting the restored block coefficient data; and
By adding the coefficient data of the prediction block output from the determination unit to the coefficient data of the prediction error output from the inverse quantization unit, the coefficient data of the restored block is output and also to the block memory A second adding means for storing;
And inverse transform means for generating image data of the restored block by inversely transforming the coefficient data of the block output from the second adding means.
Therefore, it is very effective in reducing or eliminating redundancy in the transform domain beyond adjacent blocks, reducing the number of bits used and, as a result, greatly improving the coding efficiency. be able to. This is also useful as a tool in new video compression algorithms.
以下、本発明に係る好ましい実施形態について、添付の図面を参照して説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
<第1の実施形態グループ>
第1の実施形態グループは、第1の乃至第4の実施形態を含む。
<First embodiment group>
The first embodiment group includes first to fourth embodiments.
<第1の実施形態>
図1は、本発明に係る第1の実施形態である画像予測符号化装置の構成を示すブロック図である。
<First Embodiment>
FIG. 1 is a block diagram showing the configuration of an image predictive coding apparatus according to the first embodiment of the present invention.
図1において、101は入力端子、102は第1の加算器、103は符号化器、106は出力端子、107は復号化器、110は第2の加算器、111はラインメモリ、112は予測信号発生器である。 In FIG. 1, 101 is an input terminal, 102 is a first adder, 103 is an encoder, 106 is an output terminal, 107 is a decoder, 110 is a second adder, 111 is a line memory, and 112 is a prediction. It is a signal generator.
以下、画像予測符号化装置の構成及び動作について説明する。入力端子101に、符号化の処理対象となる画像データが入力される。ここで、入力された画像データは複数の隣接する小領域に分割される。 Hereinafter, the configuration and operation of the image predictive coding apparatus will be described. Image data to be encoded is input to the input terminal 101. Here, the input image data is divided into a plurality of adjacent small areas.
図2において、8×8の小領域に分割された場合の入力された画像データの画像を示し、図3において、三角形小領域に分割された場合の入力された画像データの画像を示す。複数の小領域の画像データを順次に符号化するが、処理対象の小領域の画像データは、入力端子101及びライン113を介して加算器102に入力される。一方、予測信号発生器112は、画面内予測小領域の画像データを発生し、発生された画像データを最適予測小領域の画像データとして、ライン121を介して加算器102に出力する。 2 shows an image of input image data when divided into 8 × 8 small areas, and FIG. 3 shows an image of input image data when divided into triangular small areas. The image data of a plurality of small areas are sequentially encoded. The image data of the small area to be processed is input to the adder 102 via the input terminal 101 and the line 113. On the other hand, the prediction signal generator 112 generates image data of the intra prediction small region, and outputs the generated image data to the adder 102 via the line 121 as image data of the optimal prediction small region.
加算器102は、処理対象の小領域における入力された画像データの画素値から、予測信号発生器112からの最適予測小領域の対応する画素値を減算し、減算結果の差分小領域の画像データを生成して符号化器103に出力して、圧縮符号化処理を実行する。本実施形態では、符号化器103はDCT変換器104と量子化器(Q)105を備え、差分小領域の画像データは、DCT変換器104によって周波数領域の画像信号に変換され、DCT変換係数を得る。次いで、DCT変換係数は、量子化器105によって量子化される。量子化された小領域の画像データはライン116を介して出力端子106に出力され、さらに可変長又は固定長の符号に変換された後、例えば光ディスクなどの記録媒体に記憶され又は通信回線を介して伝送される(図示せず。)。 The adder 102 subtracts the corresponding pixel value of the optimal prediction small region from the prediction signal generator 112 from the pixel value of the input image data in the small region to be processed, and the difference small region image data of the subtraction result Is output to the encoder 103 and the compression encoding process is executed. In the present embodiment, the encoder 103 includes a DCT converter 104 and a quantizer (Q) 105, and the image data in the small difference area is converted into an image signal in the frequency domain by the DCT converter 104, and a DCT conversion coefficient is obtained. Get. Next, the DCT transform coefficient is quantized by the quantizer 105. The quantized image data of the small area is output to the output terminal 106 via the line 116, and further converted into a variable length or fixed length code, and then stored in a recording medium such as an optical disk or via a communication line. (Not shown).
同時に、量子化された小領域の画像データは復号化器107に入力され、ここで、当該復号化器107は、逆量子化器108と逆DCT変換器109とを備え、入力された小領域の画像データを、伸長差分小領域の画像データに復元する。本実施形態では、入力された小領域の画像データは、逆量子化器108によって逆量子化された後、逆量子化された画像データは、逆離散コサイン変換器(以下、逆DCT変換器という。)109によって空間領域の画像信号に変換される。このように得られた伸長差分小領域の画像データは加算器110に出力され、加算器110は、伸長差分小領域の画像データに、予測信号発生器112からライン121とライン122を介して出力される最適予測画像信号を加算して、再生小領域の画像データを生成し、再生小領域の画像データの中から、画面内予測画像信号を生成するための再生画素値をラインメモリ111に格納する。予測信号発生器112は以下のように、画面内予測小領域の画像データを発生する。すなわち、予測信号発生器112は、処理対象の小領域の画像データに隣接する再生された画像データの画素値を、画面内予測小領域の画像データの画素値として発生する。 At the same time, the quantized image data of the small region is input to the decoder 107, where the decoder 107 includes an inverse quantizer 108 and an inverse DCT converter 109, and the input small region Is restored to the image data of the expansion difference small area. In the present embodiment, the input small-area image data is inversely quantized by the inverse quantizer 108, and the inversely quantized image data is referred to as an inverse discrete cosine transformer (hereinafter referred to as an inverse DCT transformer). .) 109 is converted into an image signal in the spatial domain. The image data of the expanded difference small area obtained in this way is output to the adder 110, and the adder 110 outputs the image data of the expanded difference small area from the prediction signal generator 112 via the line 121 and the line 122. The optimal prediction image signal to be added is added to generate image data of the reproduction small area, and the reproduction pixel value for generating the prediction image signal in the screen is stored in the line memory 111 from the image data of the reproduction small area To do. The prediction signal generator 112 generates image data of the intra prediction small area as follows. That is, the prediction signal generator 112 generates the pixel value of the reproduced image data adjacent to the image data of the small region to be processed as the pixel value of the image data of the intra prediction small region.
図2において、ブロック200を処理対象の小領域とすると、隣接する再生された画像データの画素値はa0、a1、a2、…、a6、a7、b0、b1、b2、…、b6、b7である。図3において、三角形301を処理対象の小領域とすると、隣接する再生された画像データの画素値はg0、g1、…、g4、f0、f1、f2、…、f7、f8である。また、図3の三角形300を処理対象の小領域とすると、隣接する再生された画像データの画素値はe0、h0、h1、…、h4である。これらの画素値をラインメモリ111に格納する。予測信号発生器112はラインメモリ111をアクセスし隣接する画像データの画素値を画面内予測小領域の画像データの画素値として読み出す。 In FIG. 2, if the block 200 is a small area to be processed, the pixel values of the adjacent reproduced image data are a 0 , a 1 , a 2 ,..., A 6 , a 7 , b 0 , b 1 , b 2, ..., it is a b 6, b 7. 3, when the triangle 301 and the objective small region to be processed, the pixel values of the adjacent reconstructed image data g 0, g 1, ..., g 4, f 0, f 1, f 2, ..., f 7 , it is a f 8. Also, if the objective small region to be processed triangle 300 of FIG. 3, the pixel values of the adjacent reconstructed image data e 0, h 0, h 1 , ..., a h 4. These pixel values are stored in the line memory 111. The prediction signal generator 112 accesses the line memory 111 and reads the pixel value of the adjacent image data as the pixel value of the image data of the intra prediction small area.
図4及び図5はそれぞれ、図1の画像予測符号化装置に用いられる予測信号発生器の第1及び第2の実施例の構成を示すブロック図である。 4 and 5 are block diagrams showing the configurations of the first and second embodiments of the prediction signal generator used in the image predictive coding apparatus of FIG. 1, respectively.
図4において、処理対象の小領域に対して水平方向に隣接する画素値a0、a1、a2、…、a6、a7はラインメモリ111から予測信号発生器112に入力され、予測信号発生器112内の発生器401は、水平方向に同一の画素を例えば8回繰り返して出力することにより、画面内予測小領域の画像データ403を生成する。ここで、画面内予測小領域の画像データ403は処理対象の小領域に対して垂直方向に隣接する画素が存在しない場合に用いられる。 In FIG. 4, pixel values a 0 , a 1 , a 2 ,..., A 6 , a 7 that are adjacent to the small area to be processed in the horizontal direction are input from the line memory 111 to the prediction signal generator 112 to be predicted. The generator 401 in the signal generator 112 generates the image data 403 of the predicted small area in the screen by repeatedly outputting the same pixel in the horizontal direction, for example, eight times. Here, the image data 403 of the intra prediction small region is used when there is no pixel adjacent in the vertical direction to the small region to be processed.
図5において、処理対象の小領域に対して垂直方向に隣接する画素値b0、b1、b2、…、b6、b7がラインメモリ111から予測信号発生器112に入力され、予測信号発生器112内の発生器402は、垂直方向に画素を例えば8回繰り返して出力することにより、画面内予測小領域の画像データ404を生成する。ここで、画面内予測小領域の画像データ404は、処理対象の小領域に対して水平方向に隣接する画素がない場合に用いられる。水平方向及び垂直方向共に隣接する画素値が存在する場合、図6に示す第3の実施例のように画面内予測小領域の画像データを生成する。 In FIG. 5, pixel values b 0 , b 1 , b 2 ,..., B 6 , b 7 that are adjacent in the vertical direction with respect to the small region to be processed are input from the line memory 111 to the prediction signal generator 112 to be predicted. The generator 402 in the signal generator 112 generates image data 404 of the predicted small area in the screen by repeatedly outputting the pixels in the vertical direction, for example, eight times. Here, the image data 404 of the intra prediction small area is used when there is no pixel adjacent in the horizontal direction to the small area to be processed. When there are adjacent pixel values in both the horizontal direction and the vertical direction, the image data of the intra prediction small area is generated as in the third embodiment shown in FIG.
図6は、図1の画像予測符号化装置に用いられる予測信号発生器の第3の実施例の構成を示すブロック図である。 FIG. 6 is a block diagram showing the configuration of a third embodiment of the prediction signal generator used in the image predictive coding apparatus of FIG.
図6において、発生器401によって発生された画面内予測小領域の画像データ403(図5参照。)と、発生器402によって発生された画面内予測小領域の画像データ404とは加算器500に入力され、加算器500は、入力された2つの画像データの和を2で除算することにより、これら2つの画像データを平均化する。このように、発生器401,402により隣接する再生された画素を繰り返して出力し、加算器500により平均化演算を行うだけなので、画面内予測小領域の画像データを高速に生成することができる。なお、隣接する2つの画像データの画素値を線形補間することにより画面内予測小領域の画像データを生成してもよい。 In FIG. 6, the image data 403 (see FIG. 5) of the intra prediction small area generated by the generator 401 and the image data 404 of the intra prediction small area generated by the generator 402 are sent to the adder 500. The inputted adder 500 divides the sum of the inputted two image data by 2, and averages these two image data. As described above, since the regenerated pixels adjacent to each other are repeatedly output by the generators 401 and 402 and only the averaging operation is performed by the adder 500, the image data of the intra prediction small area can be generated at high speed. . Note that the image data of the intra prediction small area may be generated by linearly interpolating the pixel values of two adjacent image data.
図7は、図1の画像予測符号化装置に用いられる予測信号発生器の第4の実施例の構成を示すブロック図である。 FIG. 7 is a block diagram showing the configuration of the fourth embodiment of the prediction signal generator used in the image predictive coding apparatus of FIG.
図7において、処理対象の小領域に対して水平方向に隣接する画像データの画素値a0、a1、a2、…、a6、a7は、ラインメモリ111から発生器401に入力され、発生器401は、水平方向に画素を繰り返して出力することにより第1の画面内予測小領域の画像データを生成する。一方、処理対象の小領域に対して垂直方向に隣接する画素値b0、b1、b2、…、b6、b7は、ラインメモリ111から発生器402に入力され、発生器402は、垂直方向に画素を繰り返して出力することにより第2の画面内予測小領域の画像データを生成する。第1の画面内予測小領域の画像データと、第2の画面内予測小領域の画像データは加算器500に入力され、これら2つの画像データを平均化することにより第3の画面内予測小領域の画像データを生成する。 In FIG. 7, pixel values a 0 , a 1 , a 2 ,..., A 6 , a 7 of image data adjacent to the small area to be processed in the horizontal direction are input from the line memory 111 to the generator 401. The generator 401 generates image data of the first intra prediction small area by repeatedly outputting pixels in the horizontal direction. On the other hand, pixel values b 0 , b 1 , b 2 ,..., B 6 , b 7 that are adjacent to the small area to be processed in the vertical direction are input from the line memory 111 to the generator 402, and the generator 402 Then, the image data of the second intra prediction small area is generated by repeatedly outputting the pixels in the vertical direction. The image data of the first intra-screen prediction small region and the image data of the second intra-screen prediction small region are input to the adder 500, and by averaging these two image data, the third intra-screen prediction small region is obtained. Generate image data for the region.
一方、処理対象の小領域の画像データは、ライン616を介して誤差計算器601,602,603に入力される。ここで、上記第1の画面内予測小領域の画像データと、処理対象の小領域の画像データは、誤差計算器601に入力され、誤差計算器601はそれら2つの画像データの誤差の絶対値である第1の絶対誤差を計算して比較器604に出力する。また、上記第2の画面内予測小領域の画像データと、処理対象の小領域の画像データは誤差計算器602に入力され、誤差計算器602はこれら2つの画像データの誤差の絶対値である第2の絶対誤差を計算して比較器604に出力する。さらに、上記第3の画面内予測小領域の画像データと、処理対象の小領域の画像データは、誤差計算器603に入力され、誤差計算器603はこれら2つの画像データの誤差の絶対値である第3の絶対誤差を計算して比較器604に出力する。 On the other hand, the image data of the small area to be processed is input to the error calculators 601, 602, and 603 via the line 616. Here, the image data of the first predicted small area in the screen and the image data of the small area to be processed are input to the error calculator 601, and the error calculator 601 calculates the absolute value of the error between the two image data. The first absolute error is calculated and output to the comparator 604. Further, the image data of the second intra-screen prediction small region and the image data of the small region to be processed are input to the error calculator 602, and the error calculator 602 is the absolute value of the error between these two image data. The second absolute error is calculated and output to the comparator 604. Further, the image data of the third predicted small area in the screen and the image data of the small area to be processed are input to the error calculator 603, which calculates the absolute value of the error between these two image data. A third absolute error is calculated and output to the comparator 604.
比較器604は、入力される3つの絶対誤差を互いに比較して、絶対誤差の最も小さいものを決定し、それに対応する画面内予測小領域の画像データをライン121に出力するようにスイッチ605を制御する。比較器604は、同時に、第1、第2及び第3の画面内予測小領域の画像データを識別するための識別子をライン615を介して受信側又は再生側の装置に出力する。この識別子により、受信側又は再生側では画面内予測小領域の画像データが一意に決まる。このように誤差の最も小さい画面内予測小領域の画像データを用いることによって、符号化時の差分信号を抑圧することができ、発生ビット数を削減することができる。 The comparator 604 compares the input three absolute errors with each other, determines the one with the smallest absolute error, and switches the switch 605 so as to output the image data of the predicted intra-screen small region to the line 121 corresponding thereto. Control. At the same time, the comparator 604 outputs an identifier for identifying the image data of the first, second, and third intra-screen prediction small regions to the reception side or reproduction side device via the line 615. By this identifier, the image data of the intra prediction small area is uniquely determined on the reception side or the reproduction side. By using the image data of the intra prediction small area with the smallest error in this way, the differential signal at the time of encoding can be suppressed and the number of generated bits can be reduced.
<第2の実施形態>
図8は、本発明に係る第2の実施形態である画像予測符号化装置の構成を示すブロック図であり、図1と同様のものは同一の符号を付している。 図8の画像予測符号化装置は、図1の画像予測符号化装置に比較して、動き検出器700、動き補償器701、最適モード選択器703とフレームメモリ702を追加して備えたことを特徴とする。
<Second Embodiment>
FIG. 8 is a block diagram showing a configuration of an image predictive coding apparatus according to the second embodiment of the present invention, and the same components as those in FIG. 1 are denoted by the same reference numerals. The image predictive coding apparatus in FIG. 8 includes a motion detector 700, a motion compensator 701, an optimum mode selector 703, and a frame memory 702, as compared with the image predictive coding apparatus in FIG. Features.
以下、図8の画像予測符号化装置の構成及び動作について説明する。 Hereinafter, the configuration and operation of the image predictive coding apparatus in FIG. 8 will be described.
入力端子101を介して、第1の実施形態と同様に、入力された処理対象の小領域の画像データが加算器102に入力され、加算器102は、処理対象の小領域の画像データを、最適モード選択器703からライン121を介して入力される最適予測小領域の画像データから減算した後、減算結果の画像データを符号化器103に出力する。符号化器103は、入力される減算結果の画像データを圧縮符号化して出力端子106を介して出力すると同時に、圧縮符号化された小領域の画像データを復号化器107に出力して伸長復号化させた後、加算器110に出力して、伸長復号化された画像データを最適予測小領域の画像データと加算する。 As in the first embodiment, the input image data of the small area to be processed is input to the adder 102 via the input terminal 101, and the adder 102 converts the image data of the small area to be processed to After subtraction from the image data of the optimal prediction small region input from the optimal mode selector 703 via the line 121, the image data of the subtraction result is output to the encoder 103. The encoder 103 compresses and encodes the input subtraction image data and outputs it via the output terminal 106. At the same time, the encoder 103 outputs the compression-encoded image data of the small area to the decoder 107 for decompression decoding. Then, the image data is output to the adder 110, and the decompressed and decoded image data is added to the image data of the optimal prediction small area.
次いで、第1の実施形態と同様に、画面内予測小領域の画像データを生成するために用いられる画像データの画素値のみをラインメモリ111に格納する一方、再生された画像の画素値をすべてフレームメモリ702に格納する。 Next, as in the first embodiment, only the pixel values of the image data used for generating the image data of the intra prediction small area are stored in the line memory 111, while all the pixel values of the reproduced image are stored. Store in the frame memory 702.
次の画像の画像データが入力端子101を介して入力されるときに、動き検出器700には、処理対象の小領域の画像データと、フレームメモリ702に格納された再生画像データとが入力され、動き検出器700は、ブロックマッチングなどの方法で画像の動きを検出し、動きベクトルをライン705を介して出力する。出力された動きベクトルは、例えば可変長符号化して記憶又は伝送される(図示せず。)と同時に動き補償器701に送られる。動き補償器701は、動きベクトルに基づいてフレームメモリ702の再生画像から時間予測小領域の画像データを生成して、最適モード選択器703に出力する。動き検出処理及び動き補償処理においては、前方予測と、後方予測と、両方向予測とがあり、これらの方法は、例えば米国特許第5,193,004号明細書に開示されている。 When the image data of the next image is input via the input terminal 101, the motion detector 700 is input with the image data of the small area to be processed and the reproduced image data stored in the frame memory 702. The motion detector 700 detects the motion of the image by a method such as block matching and outputs a motion vector via the line 705. The output motion vector is, for example, variable-length encoded and stored or transmitted (not shown) and sent to the motion compensator 701 at the same time. The motion compensator 701 generates temporal prediction small region image data from the reproduced image in the frame memory 702 based on the motion vector, and outputs the image data to the optimum mode selector 703. The motion detection process and the motion compensation process include forward prediction, backward prediction, and bidirectional prediction, and these methods are disclosed in, for example, US Pat. No. 5,193,004.
一方、予測信号発生器112は、第1の実施形態と同様に、画面内予測小領域の画像データを発生して最適モード選択器703に出力すると同時に、処理対象の小領域の画像データを最適モード選択器703に出力する。最適モード選択器703は、画面内予測小領域の画像データと、時間予測小領域の画像データとから、処理対象の小領域の画像データに最も誤差(例えば、画素毎の差の絶対値の和)の小さい画像データを選択し、選択された画像データを最適予測小領域の画像データとして加算器102に出力する。また、どの予測小領域の画像データが選択されたかを示す識別子をライン709を介して受信側又は再生側に出力して伝送する。 On the other hand, as in the first embodiment, the prediction signal generator 112 generates image data of an intra-screen prediction small region and outputs it to the optimum mode selector 703, and at the same time, optimizes the image data of the small region to be processed. Output to the mode selector 703. The optimum mode selector 703 obtains the most error (for example, the sum of absolute values of differences for each pixel) from the image data of the intra prediction small area and the image data of the temporal prediction small area to the image data of the small area to be processed. ) Is selected, and the selected image data is output to the adder 102 as image data of the optimal prediction small region. Further, an identifier indicating which predicted small region of image data has been selected is output and transmitted to the reception side or the reproduction side via the line 709.
このようにフレーム間動き補償符号化の画像データに、画面内予測を導入することによりフレーム間の動きベクトルを伝送する必要がないため、ビット数をさらに削減できる。 In this way, it is not necessary to transmit an inter-frame motion vector by introducing intra-picture prediction into inter-frame motion compensation encoded image data, and therefore the number of bits can be further reduced.
第1と第2の実施形態では、画面全体に有意な画素が存在する場合である。画面内に有意であるとそうでない画素が存在する場合がある。例えば、クロマキーで撮影された画像では、被写体を表す画素は有意なもので、背景となるブルーなど領域を現す画素は有意でない画素である。有意な物体のテキスチャー及びその形状を符号化して伝送することにより、物体単位の再生表示が可能である。このような入力画像に対して、予測信号発生器112で画面内予測小領域の画像データを生成する場合、有意でない画素値を用いることができない。 In the first and second embodiments, there is a case where significant pixels exist in the entire screen. There may be pixels that are not so significant in the screen. For example, in an image photographed with a chroma key, pixels representing a subject are significant and pixels representing a region such as blue as a background are insignificant pixels. By encoding and transmitting a significant object texture and its shape, it is possible to reproduce and display object units. For such an input image, when the prediction signal generator 112 generates image data of an intra prediction small area, an insignificant pixel value cannot be used.
図9乃至図11は有意な画素と有意でない画素をもつ入力画像の模式図を示す。本実施形態においては、画素が有意であるかどうかを示すには形状信号を用いる。形状信号を所定の方法で圧縮符号化して受信側又は再生側に伝送する。形状を符号化する方法としては、チェーン符号化などの方法がある。圧縮された形状信号をまた伸長再生し、再生された形状信号を用いて以下に述べるように画面内予測信号を生成する。 9 to 11 are schematic diagrams of input images having significant pixels and non-significant pixels. In this embodiment, a shape signal is used to indicate whether a pixel is significant. The shape signal is compression-coded by a predetermined method and transmitted to the receiving side or the reproducing side. As a method of coding the shape, there is a method such as chain coding. The compressed shape signal is expanded and reproduced again, and an intra-screen prediction signal is generated using the reproduced shape signal as described below.
図9においては、形状曲線800が境界線で、矢印の示す方向が物体の内部であって、物体の内部の画像データは有意な画素から構成される。処理対象の小領域802に隣接する再生された画素の中で、b4、b5、b6、b7が有意な画素で、これらの画素値のみを繰り返して処理対象の小領域802の画面内予測小領域の画素値とする。 In FIG. 9, the shape curve 800 is a boundary line, the direction indicated by the arrow is inside the object, and the image data inside the object is composed of significant pixels. Among the reproduced pixels adjacent to the processing target small area 802, b 4 , b 5 , b 6 , and b 7 are significant pixels, and only these pixel values are repeated to display the screen of the processing target small area 802. The pixel value of the inner prediction small area is used.
また、図10においては、形状曲線804が境界線で、矢印の示す方向が物体の内部であって、物体の内部の画像データは有意な画素から構成される。処理対象の小領域805に隣接する再生された画素の中で、a4、a5、a6、a7が有意な画素であって、これらの画素値のみを繰り返して処理対象の小領域805の画面内予測小領域の画素値とする。 In FIG. 10, the shape curve 804 is a boundary, the direction indicated by the arrow is inside the object, and the image data inside the object is composed of significant pixels. Among the reconstructed pixels adjacent to the small area 805 to be processed, a 4 , a 5 , a 6 and a 7 are significant pixels, and only these pixel values are repeated to repeat the small area 805 to be processed. The pixel value of the predicted small area in the screen.
さらに、図11においては、曲線808が境界線で、矢印の示す方向が物体の内部であって、物体の内部の画像データは有意な画素から構成される。処理対象の小領域810に隣接する再生された画素の中で、a5、a6、a7、b4、b5、b6、b7が有意な画素であって、これらの画素値のみを繰り返して出力し、2つの画素値が重なるところでは、それらの画素値を平均化した値を処理対象の小領域810の画面内予測小領域の画素値とする。 Further, in FIG. 11, a curve 808 is a boundary line, the direction indicated by the arrow is inside the object, and image data inside the object is composed of significant pixels. Among the reproduced pixels adjacent to the small area 810 to be processed, a 5 , a 6 , a 7 , b 4 , b 5 , b 6 , b 7 are significant pixels, and only these pixel values Are repeatedly output, and where two pixel values overlap, a value obtained by averaging the pixel values is set as a pixel value of the intra prediction small area of the small area 810 to be processed.
図11において、例えば、処理対象の小領域810の画素z77の値はa7とb7の平均値とする。また、画素値が1つもないところでは、水平方向及び垂直方向に隣接する2つの画素値の平均値をとる。例えば、画素z14の値はa5とb4の平均値とする。このように、任意の形状をもつ画像の画面予測小領域の画像データを生成する。 In FIG. 11, for example, the value of the pixel z 77 of the small area 810 to be processed is an average value of a 7 and b 7 . Where there are no pixel values, an average value of two pixel values adjacent in the horizontal direction and the vertical direction is taken. For example, the value of the pixel z 14 is an average value of a 5 and b 4 . In this way, image data of a screen prediction small area of an image having an arbitrary shape is generated.
以上の実施形態においては、正方形状に分割された小領域について説明したが、本発明はこれに限らず、図3と同様に、画面を三角形の小領域に分割してもよい。この場合においても、画像処理が同様に実行される。 In the above embodiment, the small area divided into squares has been described. However, the present invention is not limited to this, and the screen may be divided into triangular small areas as in FIG. Even in this case, the image processing is executed in the same manner.
また、別の実施形態として、有意な画素値だけを用いて平均値を求めて、その平均値を画面内予測小領域の画素値としてもよい。具体的には、図9では、画素b4、b5、b6、b7の平均値を計算し、計算された平均値を画面内予測小領域の画素値とする。図10では、画素a4、a5、a6、a7の平均値を計算し、計算された平均値を画面内予測小領域の画素値とする。図11では、画素a5、a6、a7、b4、b5、b6、b7の平均値を計算し、画面内予測小領域の画素値とする。 As another embodiment, an average value may be obtained using only significant pixel values, and the average value may be used as the pixel value of the intra prediction small area. Specifically, in FIG. 9, the average value of the pixels b 4 , b 5 , b 6 , and b 7 is calculated, and the calculated average value is set as the pixel value of the intra prediction small area. In FIG. 10, the average value of the pixels a 4 , a 5 , a 6 , and a 7 is calculated, and the calculated average value is set as the pixel value of the intra prediction small area. In FIG. 11, the average value of the pixels a 5 , a 6 , a 7 , b 4 , b 5 , b 6 , b 7 is calculated and set as the pixel value of the intra prediction small area.
<第3の実施形態>
図12は、本発明に係る第3の実施形態である画像予測復号化装置の構成を示すブロック図である。
<Third Embodiment>
FIG. 12 is a block diagram showing a configuration of an image predictive decoding apparatus according to the third embodiment of the present invention.
図12において、901は入力端子、902はデータ解析器、903は復号化器、906は加算器、907は出力端子、908はコントローラ、909は動き補償器、910は予測信号発生器、911はラインメモリ、912はフレームメモリである。 In FIG. 12, 901 is an input terminal, 902 is a data analyzer, 903 is a decoder, 906 is an adder, 907 is an output terminal, 908 is a controller, 909 is a motion compensator, 910 is a prediction signal generator, and 911 is A line memory 912 is a frame memory.
以下、図12の画像予測復号化装置の構成及び動作について説明する。図12において、圧縮符号化された画像データはデータ解析器902に入力され、データ解析器902は入力された画像データを解析して、圧縮差分小領域の画像データをライン915を介して復号化器903に出力し、また、制御信号をライン926を介してコントローラ908に出力し、さらには、上述の動きベクトル(存在する場合のみ)を動き補償器909に出力する。復号化器903は、逆量子化器904と、逆DCT変換器905を備え、圧縮された差分小領域の画像データを伸長して、伸長差分小領域の画像データに復元する。 Hereinafter, the configuration and operation of the image predictive decoding apparatus in FIG. 12 will be described. In FIG. 12, the compression-encoded image data is input to the data analyzer 902, which analyzes the input image data and decodes the image data of the small area of the compression difference via the line 915. The control signal is output to the controller 908 via the line 926, and the above-described motion vector (only when present) is output to the motion compensator 909. The decoder 903 includes an inverse quantizer 904 and an inverse DCT converter 905. The decoder 903 decompresses the compressed image data of the small difference region and restores the image data of the decompressed difference small region.
本実施形態では、圧縮された差分小領域の画像データは、逆量子化器904により逆量子化された後、逆量子化後の周波数領域の画像データは、逆DCT変換器905により空間領域の画像データに変換される。変換後の伸長差分小領域の画像データは加算器906に入力され、加算器906は、入力される伸長差分小領域の画像データを、動き補償器923又は予測信号発生器922からスイッチ913及びライン924を介して送られる最適予測小領域の画像データに加算し、加算結果の再生小領域の画像データを生成する。加算器906は、再生された画像データをライン917を介して出力端子907に出力すると同時に、フレームメモリ912に格納する。また、画面内予測小領域の画像を生成するために用いられる画像データの画素値をラインメモリ911に格納する。 In the present embodiment, the compressed image data of the small difference area is inversely quantized by the inverse quantizer 904, and the frequency domain image data after inverse quantization is converted to the spatial domain image by the inverse DCT transformer 905. Converted to image data. The converted image data of the expanded difference small region is input to the adder 906, and the adder 906 converts the input image data of the expanded difference small region from the motion compensator 923 or the prediction signal generator 922 to the switch 913 and the line. It adds to the image data of the optimal prediction small area sent via 924, and generates the image data of the reproduction small area as the addition result. The adder 906 outputs the reproduced image data to the output terminal 907 via the line 917 and simultaneously stores it in the frame memory 912. Further, the pixel value of the image data used for generating the image of the intra prediction small area is stored in the line memory 911.
最適予測小領域の画像データは、データ解析器902からの制御信号に基づいてコントローラ908によって決定されてスイッチ913の切り換えが制御される。画面内予測小領域の画像データがコントローラ908によって選択される場合、スイッチ913はライン924をライン922に接続し、コントローラ908からの制御信号に応答して、予測信号発生器910はラインメモリ911をアクセスして、隣接する再生画素値を画面内予測小領域の画素値として出力する。予測信号発生器910の動作の詳細については、図4、図5及び図6を参照して詳細上述している。また、時間予測小領域の画像データがコントローラ908によって選択される場合、スイッチ913はライン924をライン923に接続し、コントローラ908からの制御信号に応答して、動き補償器909はデータ解析器902からライン925を介して送られる動きベクトルに基づいて、フレームメモリ912からの画像データに対して動き補償処理を実行することにより、時間予測小領域の画像データを発生して、スイッチ913及びライン924を介して加算器906に出力する。 The image data of the optimal prediction small region is determined by the controller 908 based on the control signal from the data analyzer 902, and the switching of the switch 913 is controlled. When the image data of the predicted small area in the screen is selected by the controller 908, the switch 913 connects the line 924 to the line 922, and in response to the control signal from the controller 908, the prediction signal generator 910 sets the line memory 911. Access is performed, and the adjacent reproduction pixel value is output as the pixel value of the intra prediction small area. Details of the operation of the prediction signal generator 910 have been described in detail above with reference to FIGS. In addition, when image data of the time prediction small region is selected by the controller 908, the switch 913 connects the line 924 to the line 923, and the motion compensator 909 is responsive to the control signal from the controller 908 in response to the data analyzer 902. Based on the motion vector sent from the line 925 to the image data from the frame memory 912, the motion compensation processing is executed on the image data from the frame memory 912 to generate the image data of the temporal prediction small region, and the switch 913 and the line 924 Is output to the adder 906.
<第4の実施形態>
図13は、本発明に係る第4の実施形態である画像予測復号化装置の構成を示すブロック図であり、図13において図12と同様のものについては同一の符号を付している。図13の画像予測復号化装置は、図12の画像予測復号化装置の基本構成に加えて、形状復号化器990を追加して備えたことを特徴とする。図13の画像予測復号化装置の基本動作も図12と同じであるため、異なる動作だけについて以下に詳細に説明する。
<Fourth Embodiment>
FIG. 13 is a block diagram showing a configuration of an image predictive decoding apparatus according to the fourth embodiment of the present invention. In FIG. 13, the same components as those in FIG. 12 are denoted by the same reference numerals. The image predictive decoding apparatus of FIG. 13 is characterized in that a shape decoder 990 is additionally provided in addition to the basic configuration of the image predictive decoding apparatus of FIG. Since the basic operation of the image predictive decoding apparatus in FIG. 13 is also the same as that in FIG. 12, only different operations will be described in detail below.
本実施形態においては、圧縮符号化された画像データには、圧縮符号化された形状データが含まれる。データ解析器902は、この形状データを抽出して形状復号化器990に出力し、これに応答して形状復号化器990は形状信号を伸長再生する。再生された形状信号は受信側又は再生側に伝送される同時に、予測信号発生器910に入力される。予測信号発生器910は、この再生された形状信号に基づいて、図9乃至図11を参照して説明したように、画面内予測小領域の画像データを生成する。このようにして、任意の形状をもつ画像の画面内予測小領域の画像データを生成し、受信側又は再生側において、画像データを復号化し、再生することができる。 In the present embodiment, the compression-encoded image data includes compression-encoded shape data. The data analyzer 902 extracts the shape data and outputs it to the shape decoder 990. In response to this, the shape decoder 990 decompresses and reproduces the shape signal. The reproduced shape signal is transmitted to the receiving side or the reproducing side and simultaneously input to the prediction signal generator 910. Based on the reproduced shape signal, the prediction signal generator 910 generates image data of an intra-screen prediction small region as described with reference to FIGS. 9 to 11. In this manner, it is possible to generate image data of an intra-screen prediction small region of an image having an arbitrary shape, and decode and reproduce the image data on the reception side or the reproduction side.
第3と第4の実施形態の特徴は、ラインメモリ911を備えた事である。ラインメモリ911がなければ、画面内予測小領域の画像データを生成するための画素をフレームメモリ912からアクセスしなければならない。隣接する小領域の画素で予測信号を生成するために、高速にフレームメモリを書き込み、読み出しすることが必要である。専用のラインメモリやバッファを設けることにより高速なフレームメモリを用いないで高速に画面内予測小領域の画像データを生成することが可能になる。 A feature of the third and fourth embodiments is that a line memory 911 is provided. Without the line memory 911, the pixel for generating the image data of the intra prediction small area must be accessed from the frame memory 912. In order to generate a prediction signal with pixels in adjacent small regions, it is necessary to write and read the frame memory at high speed. By providing a dedicated line memory and buffer, it is possible to generate image data of the predicted small area in the screen at high speed without using a high-speed frame memory.
以上の実施形態において、複数の画素値の平均値は、所定の重み付け平均値であってもよい。 In the above embodiment, the average value of the plurality of pixel values may be a predetermined weighted average value.
以上説明したように、本発明の第1の実施形態グループによれば、処理対象の小領域の画像データに隣接する再生された画素値を画面内予測信号の画素値とするだけで、従来技術に比較して低い演算量で簡単に高精度な予測信号を生成することができ、フレーム内符号化のビット数を削減することができるという特有の効果が得られる。また、画面内予測信号を生成するために用いられる再生された画素値を格納するために、ラインメモリ911を設けているので、画素値を高速にアクセスすることができ、画面内予測信号を高速に生成することができる。 As described above, according to the first exemplary embodiment group of the present invention, the reproduced pixel value adjacent to the image data of the small area to be processed is simply used as the pixel value of the in-screen prediction signal. Compared to the above, it is possible to easily generate a highly accurate prediction signal with a small amount of computation, and to obtain a specific effect that the number of bits of intra-frame coding can be reduced. Further, since the line memory 911 is provided to store the regenerated pixel value used for generating the intra prediction signal, the pixel value can be accessed at high speed, and the intra prediction signal can be processed at high speed. Can be generated.
<第2の実施形態グループ>
第2の実施形態グループは、第5乃至第7の実施形態を含む。
<Second Embodiment Group>
The second embodiment group includes fifth to seventh embodiments.
本発明者は、従来技術の問題点に鑑みて、画像符号化能率が、2つの画像間又は1つの画像内の2つのブロックの内部の間のみならず、1つの画像内の2つのブロック間の冗長性を除去することにより、画像符号化能率をさらに改善することを見いだした。 In view of the problems of the prior art, the present inventor considered that the image coding efficiency is not only between two images or between two blocks in one image, but also between two blocks in one image. It has been found that the image coding efficiency is further improved by removing the redundancy.
本発明者は隣接するブロックの、同じ位置のDCT変換係数は多くの場合非常に近似していることを発見した。特に、2つのブロックに対する原画像の組織がよく似ている場合、又は同じ画像パターン、例えば直線、角、その他を含んでいる場合には近似が高いことを発見した。同一の情報は情報理論により冗長を意味する。 The inventor has found that the DCT transform coefficients at the same position of adjacent blocks are often very close. In particular, it has been found that the approximation is high if the texture of the original image for the two blocks is very similar, or if it contains the same image pattern, eg straight lines, corners, etc. The same information means redundancy by information theory.
ブロックを越えてDCT変換領域の中に存在するこの種の冗長は、以前のブロックからの適応的イントラ予測(フレーム内予測)により除去されるか、又は大幅に減少させることができる。そして、次のVLCエントロピー符号化処理は、予測の小さいエントロピーによりさらに高い符号化能率を達成することができる。このDCT変換領域の予測の結果として、VLCエントロピー符号化回路への冗長データの入力は、大幅に減少されうる。そのために多くのビットの節約が期待できる。従って、符号化された画図データの画質は明確に改善される。 This type of redundancy that exists beyond the block and in the DCT transform domain can be removed or greatly reduced by adaptive intra prediction (intraframe prediction) from the previous block. Then, the next VLC entropy encoding process can achieve a higher encoding efficiency due to a small prediction entropy. As a result of this DCT transform domain prediction, the redundant data input to the VLC entropy coding circuit can be greatly reduced. Therefore, a lot of bit savings can be expected. Therefore, the image quality of the encoded drawing data is clearly improved.
本発明に係る本実施形態は、他のブロックからのDCT変換係数を適格に予測する方式を提供する。この方式により隣接するブロックを越えて存在する冗長性を除去し、量子化されたDCT変換係数のエントロピーをより小さくし、その結果、DCT変換係数を符号化するための必要なビット数を減少することができる。 The present embodiment according to the present invention provides a method for appropriately predicting DCT transform coefficients from other blocks. This scheme eliminates redundancy that exists beyond adjacent blocks and reduces the entropy of the quantized DCT transform coefficients, thereby reducing the number of bits required to encode the DCT transform coefficients. be able to.
処理対象である現時点のカレントブロック(以下、カレントブロックという。)のDCT変換係数は以前の隣接するブロックの中の同じ位置のDCT変換係数から予測できる。隣接するブロックは、処理時に既に復号化されている。すなわち、以前に復号化された隣接するブロックの1つの中の第1のDC係数により第1のDC係数は予測される。また、第2の係数AC1は、同じ復号化されたブロックの中の第2の係数AC1から予測される。以下同様に実行される。この方法を用いることにより、数個の予測されるブロックを、現時点に符号化されているDCT変換ブロックに対して上向き左側に、斜めに左側に、上向きに斜めに右側に、及び上向きにある隣接する復号化されたブロックから求めることができる。これらの予測されたブロックに対して、実際のエントロピー符号化が実行されることによりチェックされる。そして、より少ないビット数を持つ予測ブロックが選択された後、エントロピー符号化されて、付加的指示ビットとともに受信側又は再生側の画像予測復号化装置に伝送される。画像予測復号化装置には、どの隣接するブロックからカレントブロックが予測したかを報告する。 The DCT transform coefficient of the current block to be processed (hereinafter referred to as the current block) can be predicted from the DCT transform coefficient at the same position in the previous adjacent block. Adjacent blocks have already been decoded during processing. That is, the first DC coefficient is predicted by the first DC coefficient in one of the neighboring blocks previously decoded. Also, the second coefficient AC1 is predicted from the second coefficient AC1 in the same decoded block. Thereafter, the same processing is performed. By using this method, several predicted blocks are adjacent to the currently encoded DCT transform block on the left side upward, diagonally left side, upward diagonally right side, and upward. Can be obtained from the decoded block. These predicted blocks are checked by performing the actual entropy coding. Then, after a prediction block having a smaller number of bits is selected, it is entropy-coded and transmitted to an image predictive decoding apparatus on the reception side or reproduction side together with additional instruction bits. The image predictive decoding apparatus reports from which adjacent block the current block is predicted.
本発明に係る本実施形態の方法は、カレントブロックのDCT変換係数を予測することができる。そのDCT変換係数は他の隣接するブロックのDCT変換係数と良好な相互関係を一般に保有している。その理由はDCT変換は、同様のブロック画像に対しては、DCT変換係数の同一の値又は同一の分布を与える傾向にあるからである。 The method of the present embodiment according to the present invention can predict the DCT transform coefficient of the current block. The DCT transform coefficient generally has good correlation with the DCT transform coefficients of other adjacent blocks. The reason is that the DCT transform tends to give the same value or the same distribution of DCT transform coefficients to the same block image.
イントラフレームか、又は一時的に予測されたフレームである、入力された画像データに対して通常、まずブロックに基づいたDCT変換処理が実行される。カレントブロックのDCT変換係数が得られた後に、DCT変換領域の予測処理を量子化前に、また量子化の後に実行することができる。 In general, first, a block-based DCT conversion process is performed on input image data that is an intra frame or a temporarily predicted frame. After the DCT transform coefficients of the current block are obtained, the DCT transform region prediction process can be executed before quantization and after quantization.
カレントブロックのDCT変換係数は、図15に示されるように、既に復号化されたブロックであって、隣接するブロック、すなわち、左上のブロックB1、上のブロックB2、右上のブロックB3、左のブロックB4から予測することができる。予測されたブロックは、カレントブロックのDCT変換係数の全てを、同じ位置にある以前の隣接するブロックのDCT変換係数の全てから減算することにより得られる。また全てのDCT変換係数の代わりに、部分的にDCT変換係数を減算することにより得ることができる。 As shown in FIG. 15, the DCT transform coefficients of the current block are blocks that have already been decoded and are adjacent blocks, that is, the upper left block B1, the upper block B2, the upper right block B3, and the left block. It can be predicted from B4. The predicted block is obtained by subtracting all of the DCT transform coefficients of the current block from all of the DCT transform coefficients of the previous neighboring block at the same position. Moreover, it can obtain by subtracting a DCT conversion coefficient partially instead of all the DCT conversion coefficients.
異なる予測されたブロックにおける予測されたDCT変換係数は、量子化の前に予測が実行されるならば、量子化される。次いで、DCT変換係数に対して、エントロピー符号化処理が実行される。そのエントロピー符号化処理は、画像予測符号化装置のそれと同一であり、どの予測されたブロックが下位ビットとして使用するかチェックされる。 Predicted DCT transform coefficients in different predicted blocks are quantized if prediction is performed prior to quantization. Next, an entropy encoding process is performed on the DCT transform coefficients. The entropy coding process is the same as that of the image predictive coding apparatus, and it is checked which predicted block is used as the lower bit.
下位ビットを使用する予測ブロックが選択され、選択された予測ブロックは、予測決定について画像予測復号化装置に知らせる指示ビットとともにエントロピー符号化される。 A prediction block using lower bits is selected, and the selected prediction block is entropy encoded with an instruction bit that informs the image predictive decoding device about the prediction decision.
画像予測復号化装置においては、指示ビットを用いて予測されたブロックが復号化される。すなわち、1つのブロックに対して予測されたDCT変換係数を逆エントロピー復号化した後に、当該ブロックに対するDCT変換係数は、指示ビットによって表される前に復号化された隣接するブロックの基準DCT変換係数を上記復号化されたDCT変換係数に加算することによって得られる。最終的に、逆DCT変換処理が各々のブロックに対する復元されたDCT変換係数に適用され、復号化された画像データが得られる。 In the image predictive decoding apparatus, a block predicted using the instruction bits is decoded. That is, after inverse entropy decoding of a predicted DCT transform coefficient for one block, the DCT transform coefficient for that block is the reference DCT transform coefficient of the adjacent block decoded before being represented by the indicator bit Is added to the decoded DCT transform coefficient. Finally, an inverse DCT transform process is applied to the restored DCT transform coefficients for each block to obtain decoded image data.
本発明に係る本実施形態は、通常DCT変換のような変換によって除去される空間的な冗長性、動き検出及び補償によってフレーム間で除去される冗長性及びブロック内の量子化変換係数の中でエントロピー符号化によって除去される統計的冗長性以外に、隣接するブロックを越えてDCT変換領域に存在する他の種類の冗長性を減少させることができる画像符号化装置を提供するものである。 The present embodiment according to the present invention is among spatial redundancy usually removed by transformation such as DCT transformation, redundancy removed between frames by motion detection and compensation, and quantized transform coefficients in a block. In addition to the statistical redundancy removed by entropy coding, an image coding apparatus capable of reducing other types of redundancy existing in a DCT transform region beyond adjacent blocks is provided.
従来技術の画像予測符号化装置を示す図14からわかるように、従来の画像符号化(例えば、MPEGにおいて)に一般的に使用されている画像予測符号化装置は、ブロックサンプリングユニット1001、DCT変換ユニット1004、量子化器1005及びエントロピー符号化器1006を備える。 As can be seen from FIG. 14 showing a prior art image predictive coding apparatus, an image predictive coding apparatus generally used for conventional image coding (for example, in MPEG) includes a block sampling unit 1001, a DCT transform. A unit 1004, a quantizer 1005 and an entropy encoder 1006 are provided.
イントラフレーム符号化(フレーム内符号化)においては、入力された画像信号に対してまず、ブロックサンプリング処理が実行される。次に直接にDCT変換処理が実行される。それに続いて、量子化処理及びエントロピー符号化処理が実行される。一方、インターフレーム符号化(予測フレーム符号化)においては、ブロックサンプリング処理の後に、処理対象の現時点のフレームのが画像データに対して、動き検出ユニット1002及び動き補償ユニット1003の処理が実行され、さらに、DCT変換処理が実行される。さらに、量子化処理及びエントロピー符号化処理が実行される。 In intra-frame coding (intra-frame coding), block sampling processing is first performed on an input image signal. Next, the DCT conversion process is directly executed. Subsequently, a quantization process and an entropy encoding process are performed. On the other hand, in the inter-frame coding (predictive frame coding), after the block sampling process, the process of the motion detection unit 1002 and the motion compensation unit 1003 is performed on the image data of the current frame to be processed, Further, a DCT conversion process is executed. Further, a quantization process and an entropy encoding process are executed.
ここで、エントロピー符号化ユニット1006において、量子化値はエントロピー符号化されて符号データが出力される。エントロピー符号化とは、よく発生する値には短い符号語を、あまり発生しない値には長い符号語を割り当てることにより、平均情報量であるエントロピーに近づくように符号化して、全体としての符号量を大幅に削減する方式である。これは、可逆符号化である。エントロピー符号化として種々の方式が提案されているが、ベースラインシステムでは、ハフマン符号化を用いる。量子化されたDC係数値とAC係数値では、ハフマン符号化の方法が異なり、すなわち、DC係数は8×8画素ブロックの平均値を示すが、一般の画像では隣のブロックとの平均値は似通った値を持つことが多い。そこで、前のブロックとの差分をとった後にエントロピー符号化を行う。こうすると、0付近に値が集中するので、エントロピー符号化が効果的となる。また、AC係数については、例えばジグザグスキャンを行い2次元データを1次元データに変換する。さらに、特に高周波成分を含むAC係数は0が多く発生するので、0以外の値を持つAC係数の値とその前に0がいくつあるか(ランレングス)を組としてエントロピー符号化する。 Here, in the entropy coding unit 1006, the quantized value is entropy-coded and code data is output. Entropy coding is performed by assigning short codewords to frequently occurring values and long codewords to values that do not occur frequently, so that encoding approaches the entropy that is the average information amount, and the total code amount This is a method that greatly reduces This is lossless encoding. Various schemes have been proposed for entropy coding, but the baseline system uses Huffman coding. The quantized DC coefficient value and the AC coefficient value have different Huffman coding methods, that is, the DC coefficient indicates an average value of an 8 × 8 pixel block, but in an ordinary image, the average value with an adjacent block is Often they have similar values. Therefore, entropy coding is performed after taking the difference from the previous block. In this way, since the values are concentrated near 0, entropy coding is effective. For the AC coefficient, for example, zigzag scanning is performed to convert two-dimensional data into one-dimensional data. Further, since many AC coefficients including high-frequency components are generated in many cases, entropy coding is performed with a set of AC coefficient values having a value other than 0 and the number of 0s before that (run length) as a set.
レートコントローラ1007は前に符号化されたブロックに用いられたビットをフィードバックし、量子化ユニット1005の処理を制御しかつコードビットレートを調整する。ここで、レートコントローラ1007は、符号化された単位の性質や利用可能なビットに基づいて各符号化されたオブジェクトデータ、各フレーム及び各符号化されたブロックに対して異なるビット量を割り当てるようにコードビットレートを制御する。また、逆量子化処理及び逆DCT変換処理はローカルデコーダの一部としてのユニット1008及び1009において実行される。ローカルデコーダで復号化された画像データはローカル復号化フレームメモリ1010に記憶され、動き検出処理ために利用される。1011は動き検出のために、前の原フレームを保存する基準フレームメモリである。そして、最後にビットストリームがエントロピー符号化ユニット1006から出力されて、受信側又は再生側の画像予測復号化装置に送られる。 The rate controller 1007 feeds back the bits used in the previously encoded block, controls the processing of the quantization unit 1005 and adjusts the code bit rate. Here, the rate controller 1007 allocates different bit amounts to each encoded object data, each frame, and each encoded block based on the characteristics of the encoded unit and the available bits. Control the code bit rate. Further, the inverse quantization process and the inverse DCT transform process are executed in units 1008 and 1009 as part of the local decoder. Image data decoded by the local decoder is stored in the local decoded frame memory 1010 and used for motion detection processing. Reference numeral 1011 denotes a reference frame memory for storing a previous original frame for motion detection. Finally, the bit stream is output from the entropy encoding unit 1006 and sent to the image predictive decoding apparatus on the reception side or the reproduction side.
図15は、画面内予測のための適応的DCT変換領域を説明するための画像の模式図である。 FIG. 15 is a schematic diagram of an image for explaining an adaptive DCT transform region for intra prediction.
図15において、DCT変換領域において、8×8の4個のDCT変換ブロックがマクロブロックを構成していることが示されている。ここで、B0は8×8のDCT変換係数を有する現時点のカレントブロックを示す。B2は既に復号化された上側に隣接するブロックを示す。B1及びB3は既に復号化された斜め上の隣接する2つのブロックを示す。B4は、左側に隣接する直前のブロックを示す。DCT変換係数を持つブロックは、8×8のDCT変換係数を有する、復号化された隣接する複数のブロックから予測できることが図15からわかる。 FIG. 15 shows that in the DCT transform region, four 8 × 8 DCT transform blocks constitute a macro block. Here, B0 indicates the current block having a DCT transform coefficient of 8 × 8. B2 indicates the upper adjacent block that has already been decoded. B1 and B3 represent two adjacent blocks on the diagonal that have already been decoded. B4 indicates the immediately preceding block adjacent to the left side. It can be seen from FIG. 15 that a block having DCT transform coefficients can be predicted from a plurality of adjacent decoded blocks having 8 × 8 DCT transform coefficients.
どのブロックからカレントブロックが予測されたかが常に違っていることに注意すべきである。従って、最小ビット使用規則に基づく決定が実行され、その決定は画像予測復号化装置側の異なるブロックに適応的に与えられる。その決定は、指示ビットにより画像予測復号化装置に報知される。ここで、最小ビット使用規則は、異なる複数の予測方法の中で予測方法を決定するために用いられ、各予測方法が適用された後に、ブロックを符号化するために用いられるビット量が計数される。結果として、使用される最小のビット量をもたらす方法が、使用すべき予測方法として、選択される。 Note that it is always different from which block the current block was predicted. Accordingly, a determination based on the minimum bit usage rule is performed, and the determination is adaptively given to different blocks on the image predictive decoding apparatus side. The determination is notified to the image predictive decoding apparatus by the instruction bit. Here, the minimum bit usage rule is used to determine a prediction method among different prediction methods, and after each prediction method is applied, the amount of bits used to encode a block is counted. The As a result, the method that results in the smallest amount of bits used is selected as the prediction method to use.
なお、DCT変換領域予測は量子化の後及びまた前に実施されることができる。 Note that DCT transform domain prediction can be performed after and also before quantization.
<第5の実施形態>
図16は、本発明に係る第5の実施形態である画像予測符号化装置の構成を示すブロック図である。図16の画像予測符号化装置は、DCT変換領域予測処理は、量子化処理の後に実行されることを特徴としている。
<Fifth Embodiment>
FIG. 16 is a block diagram showing a configuration of an image predictive coding apparatus according to the fifth embodiment of the present invention. The image predictive coding apparatus in FIG. 16 is characterized in that the DCT transform region prediction process is executed after the quantization process.
図16において、入力された画像信号に対してまず、ブロックサンプリングユニット1012によってブロックサンプリングが実行される。そして、イントラフレーム符号化においては、サンプルされたブロック画像データは加算器1013の処理が実行されずに、加算器1013を通過してDCT変換ユニット1014に入力される。一方、予測フレーム符号化においては、加算器1013は、サンプルされたブロック画像データから動き検出及び補償ユニット1025から出力される動き検出画像データを減算して、減算結果の画像データをDCT変換ユニット1014に出力する。そして、DCT変換処理がユニット1014で実行された後、量子化処理がユニット1015で実行される。 In FIG. 16, first, block sampling is executed by the block sampling unit 1012 on the input image signal. In intra-frame coding, the sampled block image data is input to the DCT transform unit 1014 through the adder 1013 without being processed by the adder 1013. On the other hand, in the prediction frame coding, the adder 1013 subtracts the motion detection image data output from the motion detection and compensation unit 1025 from the sampled block image data, and the subtraction result image data is converted into the DCT conversion unit 1014. Output to. Then, after the DCT transform process is executed in the unit 1014, the quantization process is executed in the unit 1015.
DCT変換領域予測処理はユニット1017で実行され、1018は予測のために前に復号化されたブロックを格納するためのブロックメモリである。加算器1016は、量子化ユニット1015から出力される現時点のDCT変換ブロックから、DCT変換領域予測ユニット1017から出力される復号化された隣接するブロックを減算する。この符号化された隣接するブロックの決定はDCT変換領域予測ユニット1017において行われる。最後に、予測されたDCT変換ブロックに対して、ユニット1020によってエントロピーVLC符号化処理が実行され、符号化されたビットはビットストリームに書きこまれる。 DCT transform domain prediction processing is performed in unit 1017, where 1018 is a block memory for storing previously decoded blocks for prediction. The adder 1016 subtracts the decoded adjacent block output from the DCT transform domain prediction unit 1017 from the current DCT transform block output from the quantization unit 1015. The determination of the encoded adjacent block is performed in the DCT transform domain prediction unit 1017. Finally, an entropy VLC encoding process is performed by the unit 1020 on the predicted DCT transform block, and the encoded bits are written into the bitstream.
加算器1019は、予測のために用いられる前の隣接するブロックを、予測ブロックに加算することにより、現時点のDCT変換ブロックを復元する。次いで、復元されたDCT変換ブロックに対して、逆量子化処理及び逆DCT変換処理はそれぞれユニット1021及び1022において実行される。局所的に復号化されて逆DCT変換ユニット1022から出力されるブロックの画像データは加算器1023に入力される。加算器1023は、復元されたブロックの画像データに前のフレームの画像データを加算することによって、再構築された画像データを得てフレームメモリ1024に記憶される。動き検出及び補償処理はユニット1025で実行される。動き検出及び補償処理のための前のフレームを格納するためにフレームメモリ1024が用いられる。 The adder 1019 restores the current DCT transform block by adding the previous adjacent block used for prediction to the prediction block. Next, the inverse quantization process and the inverse DCT transform process are performed on the restored DCT transform block in units 1021 and 1022, respectively. The block image data that is locally decoded and output from the inverse DCT transform unit 1022 is input to the adder 1023. The adder 1023 obtains reconstructed image data by adding the image data of the previous frame to the image data of the restored block, and stores it in the frame memory 1024. Motion detection and compensation processing is performed in unit 1025. A frame memory 1024 is used to store previous frames for motion detection and compensation processing.
<第6の実施形態>
図17は、本発明に係る第6の実施形態である画像予測符号化装置の構成を示すブロック図である。図17の画像予測符号化装置は、量子化処理の前に、DCT変換領域予測処理が実行されたことを特徴としている。入力された画像信号に対して、ユニット1026においてブロックサンプリング処理が実行される。次いで、加算器1027は予測フレーム符号化のために減算を行い、減算結果の画像データは、DCT変換ユニット1028、加算器1029及び量子化ユニット1030を介して、エントロピーVLC符号化ユニット1034及び逆量子化ユニット1033に出力される。
<Sixth Embodiment>
FIG. 17 is a block diagram showing a configuration of an image predictive coding apparatus according to the sixth embodiment of the present invention. The image predictive coding apparatus in FIG. 17 is characterized in that the DCT transform region prediction process is executed before the quantization process. Block sampling processing is performed in the unit 1026 on the input image signal. Next, the adder 1027 performs subtraction for predictive frame encoding, and the image data as the subtraction result is passed through the DCT transform unit 1028, the adder 1029, and the quantization unit 1030, and the entropy VLC encoding unit 1034 and the inverse quantum. Is output to the conversion unit 1033.
ブロックメモリ1032は、ユニット1031のDCT変換領域予測処理のために前のブロックの画像データを格納している。DCT変換ユニット1028から出力される現時点のDCT変換ブロックの画像データは、加算器1029によって、最小ビット使用規則に従ってDCT変換領域予測ユニット1031で選択された前のDCT変換ブロックから減算される。減算結果のDCT変換ブロックの画像データは、量子化ユニット1030によって量子化された後、逆量子化ユニット1033及びエントロピーVLC符号化ユニット1034に出力される。逆量子化ユニット1033は、入力される量子化されたDCT変換ブロックの画像データを逆量子化することにより復元して加算器1035に出力する。加算器1035は、復元されたDCT変換ブロックの画像データを、DCT変換領域予測ユニット1031からの前のDCT変換ブロックの画像データを加算して、加算結果の前のブロックの画像データをブロックメモリ1032に格納するとともに、逆DCT変換ユニット1036に出力する。 The block memory 1032 stores the image data of the previous block for the DCT transform region prediction process of the unit 1031. The image data of the current DCT transform block output from the DCT transform unit 1028 is subtracted by the adder 1029 from the previous DCT transform block selected by the DCT transform domain prediction unit 1031 according to the minimum bit usage rule. The image data of the DCT transform block as a subtraction result is quantized by the quantization unit 1030 and then output to the inverse quantization unit 1033 and the entropy VLC encoding unit 1034. The inverse quantization unit 1033 restores the input quantized DCT transform block image data by inverse quantization and outputs the restored image data to the adder 1035. The adder 1035 adds the image data of the previous DCT transform block from the DCT transform region prediction unit 1031 to the restored image data of the DCT transform block, and the image data of the block before the addition result is added to the block memory 1032. And output to the inverse DCT transform unit 1036.
逆DCT変換ユニット1036は、加算器1035から入力される前のブロックの画像データに対して逆DCT変換処理を実行して、変換処理後の復元された画像データを加算器1037に出力する。加算器1037は、逆DCT変換ユニット1036から出力される復元された画像データに動き検出及び補償ユニット1025から出力される前のフレームの画像データを加算して、加算結果の画像データをフレームメモリ1038に一時的に記憶した後、動き検出及び補償ユニット1025に出力される。 The inverse DCT conversion unit 1036 performs an inverse DCT conversion process on the image data of the block before being input from the adder 1035, and outputs the restored image data after the conversion process to the adder 1037. The adder 1037 adds the image data of the previous frame output from the motion detection and compensation unit 1025 to the restored image data output from the inverse DCT transform unit 1036, and the image data of the addition result is added to the frame memory 1038. And temporarily output to the motion detection and compensation unit 1025.
<B1.モード決定の一般的な説明>
図18は、図16及び図17のDCT変換領域予測回路1017,1031の構成を示すブロック図である。
<B1. General description of mode decision>
FIG. 18 is a block diagram illustrating the configuration of the DCT transform region prediction circuits 1017 and 1031 in FIGS. 16 and 17.
図18において、1040は予測のために前の隣接するブロックの画像データを格納するブロックメモリである。処理対象の現時点のカレントブロックはユニット1041に入力され、ユニット1041は、ブロックメモリ1040で格納されている前の隣接するDCT変換ブロックから入力されたカレントブロックの画像データを減算して、次の4種類の予測DCT変換ブロックの画像データが得られる。
(a)1042で示されるNo−Predブロック、
(b)1043で示されるUp−Predブロック、
(c)1044で示されるLeft−Predブロック、
(d)1045で示されるOther−Predブロック。
In FIG. 18, reference numeral 1040 denotes a block memory for storing image data of a previous adjacent block for prediction. The current block to be processed is input to the unit 1041, and the unit 1041 subtracts the image data of the current block input from the previous adjacent DCT transform block stored in the block memory 1040 to obtain the next 4 blocks. Image data of a type of predicted DCT transform block is obtained.
(A) No-Pred block indicated by 1042;
(B) Up-Pred block indicated by 1043;
(C) a Left-Pred block indicated by 1044;
(D) An Other-Pred block indicated by 1045.
ここで、2ビットを用いて上記4つの種類のブロックを示す。すなわち、例えば“00”はNo−Predブロックを示し、“01”はUp−Predブロックを示し、“10”はLeft−Predを示し、“11”はOther−Predブロックを示す。 Here, the above four types of blocks are shown using 2 bits. That is, for example, “00” indicates a No-Pred block, “01” indicates an Up-Pred block, “10” indicates a Left-Pred, and “11” indicates an Other-Pred block.
No−Predブロックは、予測無しのときの、現時点のDCT変換ブロックの画像データ自身である。Up−Predブロックは、予測に用いられたブロックが上方に隣接するDCT変換ブロックB2である場合に得られた予測ブロックの画像データを示す。Left−Predブロックは予測に用いられたブロックが左側に隣接するDCT変換ブロックB4である場合に得られた予測ブロックの画像データを示す。Other−Predブロックは予測がDC係数に対してのみ行われたときの予測ブロックの画像データを示す。Other−Predの場合において、2種類の予測方法が存在する。すなわち、Up−DC−Pred(1046)は上方に隣接するDCT変換ブロックB2に基づいてDC係数のみに対して予測が行われた場合に得られた予測ブロックの画像データを示す。Left−DC−Pred(1047)は左側に隣接するDCT変換ブロックB4に基づいてDC係数のみに対して予測が行われた場合に得られた予測ブロックの画像データを示す。この2つのケースに対して、もう1つビットが指示のために必要となる。例えば“0”はUp−DC−Pred(1046)を示し、“1”はLeft−DC−Pred(1047)を示すように使用される。 The No-Pred block is the image data itself of the current DCT transform block when there is no prediction. The Up-Pred block indicates image data of a prediction block obtained when the block used for prediction is the DCT transform block B2 adjacent above. The Left-Pred block indicates image data of a prediction block obtained when the block used for prediction is a DCT transform block B4 adjacent on the left side. The Other-Pred block indicates the image data of the prediction block when the prediction is performed only on the DC coefficient. In the case of Other-Pred, there are two types of prediction methods. That is, Up-DC-Pred (1046) indicates the image data of the prediction block obtained when the prediction is performed only on the DC coefficient based on the DCT transform block B2 adjacent above. Left-DC-Pred (1047) indicates image data of a prediction block obtained when prediction is performed on only the DC coefficient based on the DCT transform block B4 adjacent on the left side. For these two cases, one more bit is needed for indication. For example, “0” indicates Up-DC-Pred (1046), and “1” indicates Left-DC-Pred (1047).
斜め方向に隣接するブロックB1、B3に基づいた予測は可能ではあるがその予測結果は上方や左側のブロックに予測によるもののようによくないので、本実施形態では用いていない。 Although prediction based on diagonally adjacent blocks B1 and B3 is possible, the prediction result is not as good as the result of prediction in the upper and left blocks, so it is not used in this embodiment.
全ての予測されたブロックに対して、ユニット1048によって実際のエントロピー符号化処理が実行されることにより検査され、チェックされる。異なる予測されたブロックに使用されたビットはユニット1049において比較される。最後に、ユニット1050は最小ビット使用規則に基づいて予測されたDCT変換ブロックを決定し、指示ビットとともに予測されたDCT変換ブロックを出力する。すなわち、ビット数が最小の予測されたDCT変換ブロックを選択する。 All predicted blocks are examined and checked by the actual entropy encoding process performed by unit 1048. The bits used for the different predicted blocks are compared in unit 1049. Finally, unit 1050 determines the predicted DCT transform block based on the minimum bit usage rule, and outputs the predicted DCT transform block along with the indicator bit. That is, the predicted DCT transform block having the smallest number of bits is selected.
<B2.モード決定の実施>
図19は、図18のDCT変換領域予測回路におけるDC/AC予測の符号化方法の一例を示す画像の模式図である。
<B2. Implementation of mode determination>
FIG. 19 is a schematic diagram of an image showing an example of an encoding method of DC / AC prediction in the DCT transform domain prediction circuit of FIG.
図19において、先に定義されたDC/AC予測された画像データの部分集合が実際の使用に対して図示されている。カレントブロック1101はカレントマクロブロックの上部左側の8×8ブロックであり、カレントブロック1102はカレントマクロブロックの上部右側の8×8ブロックである。A及びBは、カレントブロック1101に隣接する8×8ブロックである。カレントブロック1101の強調された上部行及び左列はそれぞれ、隣接ブロックであるA及びBの同一場所から予測される。つまり、カレントブロック1101の最上行はその上のブロックAの最上行から予測され、カレントブロック1101の左列はその左のブロックBの左列から予測される。同様の手順で、カレントブロック1102はその上のブロックD及びその左のカレントブロック1から予測される。 In FIG. 19, a subset of the previously defined DC / AC predicted image data is illustrated for actual use. The current block 1101 is an 8 × 8 block on the upper left side of the current macro block, and the current block 1102 is an 8 × 8 block on the upper right side of the current macro block. A and B are 8 × 8 blocks adjacent to the current block 1101. The highlighted upper row and left column of the current block 1101 are predicted from the same location of adjacent blocks A and B, respectively. That is, the top row of the current block 1101 is predicted from the top row of the block A above it, and the left column of the current block 1101 is predicted from the left column of the left block B. In the same procedure, the current block 1102 is predicted from the block D above and the current block 1 on the left.
C(u,v)を符号化すべきブロックとし、Ei(u,v)をモードiの場合の予測誤差であって、A(u,v)及び/又はB(u,v)の各ブロックから予測値を減算して求めたものであるとする。実際の実施においては、節B1において前述した最も頻度が多い次の3つのモードのみが使用される。 C (u, v) is a block to be encoded, E i (u, v) is a prediction error in mode i, and each block of A (u, v) and / or B (u, v) It is assumed that it is obtained by subtracting the predicted value from. In actual implementation, only the next three most frequent modes described above in Section B1 are used.
(a)モード0:DC予測のみ (A) Mode 0: DC prediction only
[数1]
E0(0,0)=C(0,0)−(A(0,0)+B(0,0))/2,
E0(u,v)=C(u,v),
u≠0;v≠0;u=0,…,7;v=0,…,7
[Equation 1]
E 0 (0,0) = C (0,0) − (A (0,0) + B (0,0)) / 2
E 0 (u, v) = C (u, v),
u ≠ 0; v ≠ 0; u = 0,..., 7; v = 0,.
(b)モード1:上側ブロックからのDC/AC予測 (B) Mode 1: DC / AC prediction from the upper block
[数2]
E1(0,v)=C(0,v)−A(0,v),v=0,…,7,
E1(u,v)=C(u,v),
u=1,…,7;v=0,…,7
[Equation 2]
E 1 (0, v) = C (0, v) −A (0, v), v = 0,.
E 1 (u, v) = C (u, v),
u = 1,..., 7; v = 0,.
(c)モード2:左側ブロックからのDC/AC予測
[数3]
E2(u,0)=C(u,0)−B(u,0),u=0,…,7,
E2(u,v)=C(u,v),
u=0,…,7;v=1,…,7.
(C) Mode 2: DC / AC prediction from the left block [Equation 3]
E 2 (u, 0) = C (u, 0) −B (u, 0), u = 0,.
E 2 (u, v) = C (u, v),
u = 0,..., 7; v = 1,.
モードの選択は、マクロブロックにおける4つの輝度信号のブロックに対して予測された誤差の絶対値の和、SADmodeiを計算して、そのうちの最小値を有するモードを選択することにより行われる。 The mode is selected by calculating the sum of the absolute values of errors predicted for the four luminance signal blocks in the macroblock, SAD modei , and selecting the mode having the minimum value.
[数4]
SADmodei
=Σ[Ei(0,0)+32・ΣEi(u,0)+32・ΣEi(0,v)],
b u v
i=0,…,2;b=0,…,3;u,v=1,…,7
[Equation 4]
SAD modei
= Σ [E i (0,0) + 32 · ΣE i (u, 0) + 32 · ΣE i (0, v)],
b u v
i = 0, ..., 2; b = 0, ..., 3; u, v = 1, ..., 7
モードの決定は、異なる符号化ビットレートを目標とするアプリケーションの違いに依存して、ブロックベース及びマクロブロックベースの両方で実行することができる。モードは、次の表1の可変長コードを使用して符号化される。 Mode determination can be performed both on a block basis and on a macroblock basis, depending on the difference in applications targeting different coding bit rates. The mode is encoded using the variable length code in Table 1 below.
量子化後にDC/AC予測を実行する場合、先行する水平方向の隣接ブロック又は垂直方向の隣接ブロックでは通常、使用する量子化のステップが異なるため、DC/AC予測を正確に行うためには、量子化されたDCT変換係数をスケーリングするために幾つかの種類の重み係数が必要とされる。 When performing DC / AC prediction after quantization, the preceding horizontal adjacent block or vertical adjacent block usually uses different quantization steps, so in order to perform DC / AC prediction accurately, Several types of weighting factors are required to scale the quantized DCT transform coefficients.
QacAをブロックA(図19参照。)の量子化されたDCT変換係数とし、QacBをブロックB(図19参照。)の量子化されたDCT変換係数とする。QstepAをブロックAの量子化に使用される量子化ステップとすると、QstepBはブロックAの量子化に使用する量子化ステップであり、QstepCはカレントブロックCの量子化に使用すべき量子化ステップであり、従ってスケーリング方程式は以下の通りである。 Let QacA be the quantized DCT transform coefficient of block A (see FIG. 19) and QacB be the quantized DCT transform coefficient of block B (see FIG. 19). If QstepA is a quantization step used for quantization of block A, QstepB is a quantization step used for quantization of block A, and QstepC is a quantization step to be used for quantization of current block C. Thus, the scaling equation is:
[数5]
Q’acA=(QacA×QstepA)/QstepC
[数6]
Q’acB=(QacB×QstepB)/QstepC
[Equation 5]
Q'acA = (QacA × QstepA) / QstepC
[Equation 6]
Q′acB = (QacB × QstepB) / QstepC
ここで、Q’acAはブロックAからのDCT変換係数であり、カレントブロックCの最上行の予測に使用される。また、Q’acBはブロックBからのDCT変換係数であり、カレントブロックCの左列の予測に使用される。 Here, Q′acA is a DCT transform coefficient from block A, and is used for prediction of the top row of current block C. Q'acB is a DCT transform coefficient from the block B and is used for prediction of the left column of the current block C.
<第7の実施形態>
図20は、本発明に係る第7の実施形態である画像予測復号化装置の構成を示すブロック図である。
<Seventh Embodiment>
FIG. 20 is a block diagram showing a configuration of an image predictive decoding apparatus according to the seventh embodiment of the present invention.
図20において、画像予測符号化装置からのビットストリームは、エントロピーVLD復号化ユニット1051に入力され、可変長復号化される。復号化された画像データは、加算器1052によって、DCT変換領域予測ユニット1053からの前の隣接するDCT変換ブロックの画像データと加算することにより、DCT変換ブロックの画像データが復元される。前に隣接するDCT変換ブロックは、どのブロックであるかは、ビットストリームからとり出された指示ビットによって知らされ、ユニット1053において予測のために使用される。1054は、予測のために用いる隣接するDCT変換ブロックを格納するためのブロックメモリである。加算器1052から得られる復元されたDCT変換ブロックは逆DCT変換ユニット1055に出力される。逆DCT変換ユニット1055は入力されたDCT変換ブロックに対して逆DCT変換処理を実行することにより復元されたDCT変換係数の画像データを生成して、加算器1056に出力する。加算器1056は、逆DCT変換ユニット1055からの復元された画像データを、動き検出及び補償ユニット1057からの前のフレームの画像データと加算することにより、動き検出及び補償されかつ復号化された画像データを生成して出力する。当該復号化された画像データは、動き検出及び補償のために前のフレームの画像データを格納するフレームメモリに一時的に格納した後、動き検出及び補償ユニット1057に出力される。動き検出及び補償ユニット1057は、入力される画像データに対して、動き検出及び補償処理が実行される。 In FIG. 20, the bitstream from the image predictive coding apparatus is input to the entropy VLD decoding unit 1051 and subjected to variable length decoding. The decoded image data is added to the image data of the previous adjacent DCT transform block from the DCT transform region prediction unit 1053 by the adder 1052, so that the image data of the DCT transform block is restored. Which block is a previously adjacent DCT transform block is informed by an indication bit taken from the bitstream and used in unit 1053 for prediction. Reference numeral 1054 denotes a block memory for storing adjacent DCT transform blocks used for prediction. The restored DCT transform block obtained from the adder 1052 is output to the inverse DCT transform unit 1055. The inverse DCT transform unit 1055 generates image data of the DCT transform coefficient restored by executing the inverse DCT transform process on the input DCT transform block, and outputs the image data to the adder 1056. The adder 1056 adds the restored image data from the inverse DCT transform unit 1055 with the image data of the previous frame from the motion detection and compensation unit 1057, thereby detecting the motion detected and compensated and decoded image. Generate and output data. The decoded image data is temporarily stored in a frame memory that stores image data of the previous frame for motion detection and compensation, and then output to the motion detection and compensation unit 1057. The motion detection and compensation unit 1057 performs motion detection and compensation processing on input image data.
さらに、加算器1056から出力される復号化された画像データは、図16及び図17のブロックサンプリングユニット1012,1026の処理に対応する逆の復元処理により、元の画像データが復元される。 Further, the decoded image data output from the adder 1056 is restored to the original image data by an inverse restoration process corresponding to the process of the block sampling units 1012 and 1026 of FIGS.
さらに、1059は逆量子化ユニットであり、図17に示すように量子化処理の前にDCT変換領域予測処理が行われる場合は、当該逆量子化ユニット1059は図20における1059aの位置に挿入される一方、図16に示すように量子化処理の後にDCT変換領域予測処理が行われる場合は、当該逆量子化ユニット1059は図20における1059bの位置に挿入される。 Further, reference numeral 1059 denotes an inverse quantization unit. When the DCT transform region prediction process is performed before the quantization process as shown in FIG. 17, the inverse quantization unit 1059 is inserted at the position 1059a in FIG. On the other hand, when the DCT transform region prediction process is performed after the quantization process as shown in FIG. 16, the inverse quantization unit 1059 is inserted at the position 1059b in FIG.
図21は、図20の画像予測復号化装置におけるDC/AC予測の復号化方法を示すフローチャートである。すなわち、図21では、DC/AC予測モードを取得し、隣接するDC/AC予測値からDCT変換係数を再構成するためのビットストリームの復号化の詳細が図示されている。 FIG. 21 is a flowchart showing a DC / AC prediction decoding method in the image predictive decoding apparatus of FIG. That is, FIG. 21 illustrates details of decoding of a bitstream for acquiring a DC / AC prediction mode and reconstructing a DCT transform coefficient from adjacent DC / AC prediction values.
まず、ステップ1059において、入力されるビットストリームから指示ビットを復号化し、ステップ1060で、指示ビットのフラグがチェックされ、それが「0」であれば、ステップ1061で上側ブロック及び左側ブロックの画像データの平均値からDC値を計算してステップ1063に進む。ステップ1060でNOであればステップ1062に進み、ステップ1062でチェックされた指示フラグが「10」であれば、ステップ1063で左側ブロックの左列の画像データが抽出され、ステップ1065に進む。ステップ1062でNOであればステップ1064に進み、ステップ1064でチェックされた表示フラグが「11」であれば、ステップ1065で上側ブロックの最上行の画像データが抽出され、ステップ1066に進む。最後に、ステップ1066では、ステップ1061、1063、又は1065で取得又は抽出されたDCT変換係数がカレントブロックの対応するDCT変換係数に加算される。 First, in step 1059, the instruction bit is decoded from the input bit stream. In step 1060, the flag of the instruction bit is checked. If it is “0”, the image data of the upper block and the left block in step 1061. Then, the DC value is calculated from the average value and the process proceeds to step 1063. If “NO” in the step 1060, the process proceeds to a step 1062, and if the instruction flag checked in the step 1062 is “10”, the image data of the left column of the left block is extracted in a step 1063, and the process proceeds to the step 1065. If “NO” in the step 1062, the process proceeds to a step 1064, and if the display flag checked in the step 1064 is “11”, the image data of the uppermost row of the upper block is extracted in a step 1065, and the process proceeds to the step 1066. Finally, in step 1066, the DCT transform coefficient acquired or extracted in step 1061, 1063, or 1065 is added to the corresponding DCT transform coefficient of the current block.
さらに、以下、本実施形態グループの変形例について説明する。 Further, modifications of the present embodiment group will be described below.
(a)上記ブロックサンプリングユニット1012,1026は、4つのブロックのグループの中の二次元配列の画素は、第1のブロックでは奇数番目の行にある奇数番目の画素から成り、第2のブロックでは奇数番目の行にある偶数番目の画素から成り、第3ブロックでは偶数番目の行にある奇数場番目の画素から成り、第4ブロックでは偶数番目の行にある偶数番目の画素から成るように、画素を交互に差し挟むインターリーブ処理を含んでもよい。
(b)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックに隣接するように位置されたブロックから選択され、ブロック中の全ての変換係数が選択されてもよい。
(c)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックに隣接するように位置されたブロックから選択され、あらかじめ定められたサブセットがブロックの変換係数として選択されてもよい。
(A) In the block sampling units 1012 and 1026, the pixels of the two-dimensional array in the group of four blocks are composed of odd-numbered pixels in odd-numbered rows in the first block, and in the second block Consisting of even-numbered pixels in odd-numbered rows, consisting of odd-numbered fields in even-numbered rows in the third block, and even-numbered pixels in even-numbered rows in the fourth block, An interleaving process in which pixels are alternately inserted may be included.
(B) the prediction block is a block that has been stored in the block memory and has been previously restored, and is selected from blocks positioned adjacent to the encoded current block, and all the transforms in the block; A coefficient may be selected.
(C) The prediction block is a block that is stored in the block memory and has been previously restored, and is selected from blocks positioned adjacent to the encoded current block. It may be selected as a transform coefficient for the block.
(d)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの上方及び左側に隣接するよう位置されたブロックから選択され、当該ブロックの最上行、及び当該ブロックの最左列の変換係数のみが使用され、残りの変換係数はゼロにセットされてもよい。
(e)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの近傍に位置されたブロックから選択され、各ブロックの変換係数は異なる重み付け関数で重み付けされてもよい。
(f)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの近傍に位置されたブロックから選択され、各ブロックの変換係数に対して変換演算が実行されてもよい。
(D) The prediction block is a block that is stored in the block memory and has been previously restored, and is selected from blocks positioned adjacent to the upper and left sides of the encoded current block. Only the transform coefficients in the top row and the leftmost column of the block may be used, and the remaining transform coefficients may be set to zero.
(E) The prediction block is a block that is stored in the block memory and has been previously restored, and is selected from blocks that are located in the vicinity of the encoded current block. It may be weighted with a function.
(F) The prediction block is a block that is stored in the block memory and has been previously restored, and is selected from blocks that are located in the vicinity of the encoded current block. A conversion operation may be performed.
(g)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの近傍に位置された複数のブロックの重み付け平均化されてもよい。
(h)復号化された画像データに基づいて、インターリーブされた4個のブロックからなる複数のグループから二次元配列の画素を形成して元の画像データを復元するときに、奇数番目の行にある奇数番目の画素は全て第1のブロックから求め、奇数番目の行にある偶数番目の画素は第2のブロックから求め、偶数番目の行にある奇数番目の画素は第3ブロックから求め、偶数番目の行にある偶数番目の画素は第4ブロックから求めるように、上記復号化された画像データに対して逆インターリーブ処理を実行してもよい。
(G) The prediction block may be a weighted average of a plurality of blocks that are stored in the block memory and previously restored and positioned near the encoded current block.
(H) When the original image data is restored by forming a two-dimensional array of pixels from a plurality of groups of four interleaved blocks based on the decoded image data, All odd-numbered pixels are determined from the first block, even-numbered pixels in the odd-numbered rows are determined from the second block, odd-numbered pixels in the even-numbered rows are determined from the third block, and even numbers The deinterleave process may be performed on the decoded image data so that the even-numbered pixels in the th row are obtained from the fourth block.
以上説明したように、本発明に係る本実施形態グループによれば、隣接するブロック間におけるDCT変換領域の冗長性を除去又は減少するために大いに効果があり、その結果、使用ビット数を減少させ、最終的に符号化効率を大いに改善することができる。詳細な画像予測符号化装置の例として図18を参照すると、予測処理は、好ましくは、上側又は左側の隣接するブロックを使用することによってのみ実行される。 As described above, according to this embodiment group according to the present invention, there is a great effect in removing or reducing the redundancy of the DCT transform region between adjacent blocks, and as a result, the number of used bits is reduced. Finally, the coding efficiency can be greatly improved. Referring to FIG. 18 as an example of a detailed image predictive encoder, the prediction process is preferably performed only by using the upper or left adjacent block.
QCIFを含むシーケンスに対しては、上位ビットレート符号化に対して6.4%のビットを節約することができ、下位ビットレート符号化に対して20%のビットを節約することができる。また、例えば、アキヨ(Akiyo)、マザー(Mother)、及びドウター(Daughter)などのテストシーケンスなどの他のQCIFシーケンスに対して、約10%のビットを節約することができる。さらにCIF及びCCIRのシーケンスに対しては、より多くのビット節約が可能である。 For sequences containing QCIF, 6.4% bits can be saved for higher bit rate coding and 20% bits can be saved for lower bit rate coding. Also, for example, about 10% of bits can be saved over other QCIF sequences such as test sequences such as Akiyo, Mother, and Daughter. In addition, more bit savings are possible for CIF and CCIR sequences.
以上説明したように本発明に係る第2の実施形態グループによれば、現時点の符号化効率を増大させる新しい画像予測符号化装置及び画像予測復号化装置を提供することができる。当該装置では、符号化効率を上げるためには複雑な手段は必要とせず、その回路構成は、非常に簡単で容易に形成できる。 As described above, according to the second embodiment group of the present invention, it is possible to provide a new image predictive coding apparatus and image predictive decoding apparatus that increase the current coding efficiency. In this apparatus, no complicated means is required to increase the coding efficiency, and the circuit configuration can be formed very simply and easily.
<第3の実施形態グループ>
第3の実施形態グループは、第8の実施形態を含む。
<Third embodiment group>
The third embodiment group includes the eighth embodiment.
本発明者は、従来技術の問題点に鑑みて、画像符号化効率は、2つの画像間又は1つの画像内のブロックの内部における冗長性ばかりでなく、画像内のブロック間の冗長性を削減するとともに、ブロックのスキャンパターンを適切にすることによりさらに冗長性を改善することを考えた。 In view of the problems of the prior art, the present inventor reduced image coding efficiency not only between two images or within blocks within one image, but also between blocks within an image. At the same time, it was considered to further improve the redundancy by making the scan pattern of the block appropriate.
同じ位置にあっても隣接するブロックの中のDCT変換係数は多くの場合非常によく似ていることが見出されている。この2つのブロックに対する原画像の特質が非常によく似ている場合、もしくは水平又は垂直ライン、対角線その他の画像パターンが同じものを含んでいる場合、上記のことは正しいといえる。情報理論の観点から同じ情報は冗長性を意味することになる。 It has been found that the DCT transform coefficients in adjacent blocks even in the same location are often very similar. The above is true if the characteristics of the original image for the two blocks are very similar, or if the horizontal or vertical lines, diagonals and other image patterns contain the same. From the information theory perspective, the same information implies redundancy.
ブロックを越えてDCT変換領域の中に存在する冗長性は、以前のブロックの適応性予測により除去されるか又は削減されることができる。このことはVLCエントロピー符号化は予測誤差信号のより小さいエントロピーのためのより高い符号化効率を達成できるという結果になる。 Redundancy that exists across the block and in the DCT transform domain can be removed or reduced by the adaptive prediction of the previous block. This results in VLC entropy coding that can achieve higher coding efficiency for smaller entropy of the prediction error signal.
同時に、水平及び垂直の構造は、最左側の列及び最上行の変換ブロックに、重要なDCT変換係数が集中するという結果になることは公知である。従って、本発明に係る実施形態は、予測モードに基づいて、スキャンを適応化することにより係数のスキャンにおける上述の問題点を解決することができる。 At the same time, horizontal and vertical structures are known to result in significant DCT transform coefficients concentrating on the leftmost column and top row transform block. Therefore, the embodiment according to the present invention can solve the above-described problems in the coefficient scan by adapting the scan based on the prediction mode.
本発明に係る実施形態は、他のブロックからカレントブロックのDCT変換係数を適応的に予測し、その結果隣接するブロック間の冗長性を除去する方法を提供する。予測誤差の情報は量子化DCT変換係数のエントロピーをより小さくする予測モードにスキャン方法を適応化することによりさらに縮少される。その結果、DCT変換係数を符号化するためのビットの数を削減できる。 Embodiments according to the present invention provide a method for adaptively predicting the DCT transform coefficient of a current block from other blocks, thereby removing redundancy between adjacent blocks. Prediction error information is further reduced by adapting the scan method to a prediction mode that reduces the entropy of the quantized DCT transform coefficients. As a result, the number of bits for encoding the DCT transform coefficient can be reduced.
この問題点を解決するために、予測モードの決定を実行する方法が各予測及びスキャン方法により発生される実際のビットレートに基づいて得られる。 In order to solve this problem, a method for determining the prediction mode is obtained based on the actual bit rate generated by each prediction and scanning method.
本発明に係る実施形態は、現在のカレントブロックのDCT変換係数を予測する方法を提供するものである。DCT変換は同じ値、又は同じDCT変換係数の分布を同じブロックの画像データに与える傾向があるので、カレントブロックは通常他の隣接するブロックの中のDCT変換係数と良好な相互関係を保持している。 The embodiment according to the present invention provides a method for predicting the DCT transform coefficient of the current current block. Since the DCT transform tends to give the same value or the same DCT transform coefficient distribution to the image data of the same block, the current block usually retains a good correlation with the DCT transform coefficients in other adjacent blocks. Yes.
入力された画像データは、イントラフレームであるか又は一時的に予測されたフレームであるかのいずれかであり、まず、入力された画像データに対して、通常ブロックを基礎とするDCT変換処理が実行される。カレントブロックのDCT変換係数が得られた後に、DCT変換領域の予測は量子化の前、又は後に実行することができる。 The input image data is either an intra frame or a temporarily predicted frame. First, a DCT conversion process based on a normal block is performed on the input image data. Executed. After the DCT transform coefficients of the current block are obtained, the DCT transform domain prediction can be performed before or after quantization.
カレントブロックの中のDCT変換係数は上方の左側に対角線方向(斜め方向)に位置した以前の隣接するブロックから予測することができる。それらは、図23に示すように、その時刻において既に復号化されている。予測されたブロックは、カレントブロックにおける同じ位置のDCT係数から前の隣接するブロックの1つ又はそれ以上のDCT係数を減算することによって、予測された誤差信号を発生する。 The DCT transform coefficient in the current block can be predicted from the previous adjacent block located diagonally (diagonally) on the upper left side. They have already been decoded at that time, as shown in FIG. The predicted block generates a predicted error signal by subtracting one or more DCT coefficients of the previous adjacent block from the DCT coefficients at the same position in the current block.
異なる予測モードからの予測誤差信号が、予測が量子化処理の前になされるならば量子化される。量子化された予測誤差信号は、エントロピー符号化が実行される前にシーケンスの(一連の)画像データに対してスキャンされる。最小ビット使用規則に基づいて予測されたブロック、すなわち最小のビットを有する予測ブロックが選択される。このブロックの符号化データは使用する予測モードとともに画像予測復号化装置に送られる。 Prediction error signals from different prediction modes are quantized if the prediction is made before the quantization process. The quantized prediction error signal is scanned against a (sequence) of image data before entropy coding is performed. The block predicted based on the minimum bit usage rule, i.e., the prediction block with the least bit, is selected. The encoded data of this block is sent to the image predictive decoding apparatus together with the prediction mode to be used.
画像予測復号化装置は、使用した予測モード及びブロックの符号化されたデータを用いて、予測されたブロックを復号化する。ブロックに対する符号化されたデータに対する逆のエントロピー復号化の後に、量子化された予測誤差は用いられるスキャンモードに従って逆にスキャンされる。もし量子化処理が予測処理の後の実行されるならば、ブロックは逆量子化されることになる。再構築されたブロックは、予測モードによって指示された、前に復号化された隣接するブロックの中のDCT変換係数を現在のDCT変換係数に加算することにより得ることができる。一方、量子化処理が予測処理の前に実行されるならば、再構築された係数は逆量子化される。最後に、逆DCT変換処理が各ブロックに対して再構築されたDCT変換係数に適用され、復号化された画像を得ることができる。 The image predictive decoding apparatus decodes the predicted block using the used prediction mode and the encoded data of the block. After inverse entropy decoding for the encoded data for the block, the quantized prediction error is scanned inversely according to the scan mode used. If the quantization process is performed after the prediction process, the block will be dequantized. The reconstructed block can be obtained by adding the DCT transform coefficient in the previously decoded neighboring block indicated by the prediction mode to the current DCT transform coefficient. On the other hand, if the quantization process is performed before the prediction process, the reconstructed coefficient is inversely quantized. Finally, an inverse DCT transform process is applied to the reconstructed DCT transform coefficients for each block to obtain a decoded image.
本発明に係る実施形態は、隣接するブロックを越えてDCT変換領域の中に存在する冗長性を減少させる画像予測符号化装置及び画像予測復号化装置を提供するものである。 Embodiments according to the present invention provide an image predictive coding apparatus and an image predictive decoding apparatus that reduce redundancy existing in a DCT transform region beyond adjacent blocks.
<第8の実施形態>
図24は、本発明に係る第8の実施形態である画像予測符号化装置の構成を示すブロック図である。図24の画像予測符号化装置は、図22の従来技術の画像予測符号化装置と比較して、
(a)加算器2035、
(b)H/V/Zスキャンユニット2036、
(c)加算器2038、
(d)ブロックメモリ2039、及び
(e)量子化スケーリングを有するDCT変換領域予測ユニット2040を備えたことを特徴としている。
<Eighth Embodiment>
FIG. 24 is a block diagram showing a configuration of an image predictive encoding device according to the eighth embodiment of the present invention. The image predictive coding apparatus of FIG. 24 is compared with the image predictive coding apparatus of the prior art of FIG.
(A) Adder 2035,
(B) H / V / Z scan unit 2036,
(C) Adder 2038,
It is characterized by comprising (d) a block memory 2039 and (e) a DCT transform domain prediction unit 2040 having quantization scaling.
イントラフレーム符号化(フレーム内符号化)においては、入力された画像信号に対して、ユニット2031でブロックサンプリング処理が実行された後に、直接にユニット2033でDCT変換処理が実行される。次いで、ユニット2034で、DCT変換ユニット2033から出力されるDCT変換係数に対して量子化処理が実行される。一方、インターフレーム符号化又はフレーム間符号化(予測フレーム符号化)においては、ユニット2031のブロックサンプリング処理の後に、加算器2032は、ブロックサンプリング処理後の画像データから、動き検出及び補償ユニット2045から出力された画像データを減算して、予測誤差データを得る。次いで、この予測誤差データは、DCT変換処理を実行するDCT変換ユニット2033及び量子化処理を実行する量子化ユニット2034を介して加算器2035に出力される。DCT変換係数は、ユニット2040のDCT変換領域処理によって予測され、予測されたDCT変換係数は加算器2035に入力される。加算器2035は、量子化ユニット2034からのDCT変換係数から、DCT変換領域予測ユニット2040からの予測されたDCT変換係数を減算して、減算結果の予測誤差のDCT変換係数を、H/V/Zスキャンユニット2036及び加算器2038に出力する。H/V/Zスキャンユニット2036は、選択された予測モードに依存して、入力されたDCT変換係数に対して適応的に、水平スキャン、垂直スキャン又はジグザグスキャンを実行して、スキャン処理後のDCT変換係数をエントロピーVLC符号化ユニット2037に出力する。次いで、エントロピーVLC符号化ユニット2037は、入力されたDCT変換係数をエントロピーVLC符号化処理を実行して、符号化されたビットストリームを受信側又は再生側の画像予測復号化装置に伝送する。 In intra-frame coding (intra-frame coding), a block sampling process is performed on the input image signal by the unit 2031 and then a DCT conversion process is directly performed by the unit 2033. Next, a quantization process is performed on the DCT transform coefficient output from the DCT transform unit 2033 in the unit 2034. On the other hand, in inter-frame coding or inter-frame coding (predictive frame coding), after the block sampling process of the unit 2031, the adder 2032 starts from the image data after the block sampling process, from the motion detection and compensation unit 2045. The output image data is subtracted to obtain prediction error data. Next, the prediction error data is output to the adder 2035 via the DCT transform unit 2033 that performs DCT transform processing and the quantization unit 2034 that performs quantization processing. The DCT transform coefficients are predicted by the DCT transform domain processing of the unit 2040, and the predicted DCT transform coefficients are input to the adder 2035. The adder 2035 subtracts the predicted DCT transform coefficient from the DCT transform domain prediction unit 2040 from the DCT transform coefficient from the quantization unit 2034, and obtains the DCT transform coefficient of the prediction error of the subtraction result as H / V / The data is output to the Z scan unit 2036 and the adder 2038. The H / V / Z scan unit 2036 performs a horizontal scan, a vertical scan, or a zigzag scan adaptively on the input DCT transform coefficient depending on the selected prediction mode. The DCT transform coefficients are output to the entropy VLC encoding unit 2037. Next, the entropy VLC encoding unit 2037 performs entropy VLC encoding processing on the input DCT transform coefficient, and transmits the encoded bitstream to the image predictive decoding apparatus on the reception side or the reproduction side.
加算器2038は、加算器2035から出力される量子化されたDCT変換係数と、DCT変換領域予測ユニット2040からの予測されたDCT変換係数とを加算することにより、復元された量子化DCT変換係数データを得る。当該量子化DCT変換係数データは、ブロックメモリ2039及び逆量子化ユニット2041に出力される。 The adder 2038 adds the quantized DCT transform coefficient output from the adder 2035 and the predicted DCT transform coefficient from the DCT transform domain prediction unit 2040 to restore the restored quantized DCT transform coefficient. Get the data. The quantized DCT transform coefficient data is output to the block memory 2039 and the inverse quantization unit 2041.
当該画像予測符号化装置に設けられるローカルデコーダにおいて、加算器2038からの復元されたDCT変換係数データは、次の予測を行うために1つのブロックのデータを格納するブロックメモリ2039に一時的に記憶された後、DCT変換領域予測ユニット2040に出力される。逆量子化ユニット2041は、入力される量子化DCT変換係数を逆量子化して逆DCT変換ユニット2042に出力し、次いで、逆DCT変換ユニット2042は、入力される復元されたDCT変換係数を逆DCT変換処理を実行して、現時点のブロックの画像データを復元して加算器2043に出力する。 In the local decoder provided in the image predictive coding apparatus, the restored DCT transform coefficient data from the adder 2038 is temporarily stored in a block memory 2039 for storing data of one block for the next prediction. Is output to the DCT transform domain prediction unit 2040. The inverse quantization unit 2041 inversely quantizes the input quantized DCT transform coefficient and outputs it to the inverse DCT transform unit 2042, and then the inverse DCT transform unit 2042 converts the input restored DCT transform coefficient into the inverse DCT. A conversion process is executed to restore the image data of the current block and output it to the adder 2043.
フレーム間符号化においては、ローカル復号化された画像データを生成するために、加算器2043は、動き検出及び補償ユニット2045によって動き検出及び補償された画像データと、逆DCT変換ユニット2042からの復元された画像データとを加算して、ローカル復号化された画像データを得て、ローカルデコーダのフレームメモリ2044に記憶される。なお、加算器2043とフレームメモリ2044と動き検出及び補償ユニット2045の構成及び処理は、図22の従来技術のユニット2009、2010及び2011と同様である。 In interframe coding, an adder 2043 performs the motion detection and compensation by the motion detection and compensation unit 2045 and the reconstruction from the inverse DCT transform unit 2042 in order to generate locally decoded image data. The decoded image data is added to obtain locally decoded image data, which is stored in the frame memory 2044 of the local decoder. The configuration and processing of the adder 2043, the frame memory 2044, and the motion detection and compensation unit 2045 are the same as those of the prior art units 2009, 2010, and 2011 in FIG.
最終的には、ビットストリームはエントロピー符号化ユニット2037から出力されて画像予測符号化装置に送られる。 Finally, the bit stream is output from the entropy coding unit 2037 and sent to the image predictive coding apparatus.
図25は、本発明に係る第8の実施形態である画像予測復号化装置の構成を示すブロック図である。図25の画像予測復号化装置は、図23の従来技術の画像予測復号化装置に比較して、
(a)H/V/Zスキャンユニット2052、
(b)加算器2053、
(c)DCT変換領域予測ユニット2055、及び
(d)ブロックメモリ2054、
を備えたことを特徴とする。
FIG. 25 is a block diagram showing a configuration of an image predictive decoding apparatus according to the eighth embodiment of the present invention. The image predictive decoding apparatus of FIG. 25 is compared with the image predictive decoding apparatus of the prior art of FIG.
(A) H / V / Z scan unit 2052,
(B) Adder 2053,
(C) DCT transform domain prediction unit 2055, and (d) block memory 2054,
It is provided with.
図25において、画像予測符号化装置からのビットストリームは、可変長デコーダユニット2051において復号化される。復号化されたデータは、H/V/Z逆スキャンユニット2052に入力され、スキャンモードに依存して、水平に逆方向で、垂直に逆方向で、又はジグザグに逆方向でスキャンされる。スキャン処理後のデータは加算器2053に入力され、加算器2053は、逆スキャン処理後のデータと、DCT変換予測ユニット2055からの予測誤差データとを加算することにより、復号化されたDCT変換係数データを得て、これを逆量子化ユニット2056に出力するとともに、ブロックメモリ2054に記憶される。次いで、逆量子化ユニット2056は、入力される符号化されたDCT変換係数データを逆量子化して逆量子化されたDCT変換係数データを得て、逆DCT変換ユニット2057に出力する。逆DCT変換ユニット2057は、入力されるDCT変換係数データに対して逆DCT変換処理を実行して、元の画像データを復元して、加算器2058に出力する。フレーム間符号化においては、加算器2058は、動き検出及び補償ユニット2060からの予測誤差データに、逆DCT変換ユニット2057からの画像データを加算して、局所的に復号化された画像データを得て、外部装置に出力するとともに、フレームメモリ2059に記憶する。 In FIG. 25, the bit stream from the image predictive coding apparatus is decoded by the variable length decoder unit 2051. The decoded data is input to the H / V / Z reverse scan unit 2052 and scanned horizontally in the reverse direction, vertically in the reverse direction, or zigzag in the reverse direction depending on the scan mode. The data after the scan process is input to the adder 2053, and the adder 2053 adds the data after the inverse scan process and the prediction error data from the DCT conversion prediction unit 2055, thereby decoding the DCT transform coefficient decoded. Data is obtained and output to the inverse quantization unit 2056 and stored in the block memory 2054. Next, the inverse quantization unit 2056 performs inverse quantization on the input encoded DCT transform coefficient data to obtain inversely quantized DCT transform coefficient data, and outputs the obtained data to the inverse DCT transform unit 2057. The inverse DCT transform unit 2057 performs inverse DCT transform processing on the input DCT transform coefficient data, restores the original image data, and outputs it to the adder 2058. In interframe coding, an adder 2058 adds the image data from the inverse DCT transform unit 2057 to the prediction error data from the motion detection and compensation unit 2060 to obtain locally decoded image data. And output to an external device and stored in the frame memory 2059.
さらに、加算器2058から出力される復号化された画像データは、図24のブロックサンプリングユニット2031の処理に対応する逆の復元処理により、元の画像データが復元される。 Further, the decoded image data output from the adder 2058 is restored to the original image data by a reverse restoration process corresponding to the process of the block sampling unit 2031 in FIG.
以上の実施形態においては、量子化処理が予測処理に先だって行われる。変形例においては、予測処理の後に量子化処理を行ってもよい。この場合、ローカルデコーダ及び画像予測復号化装置では、予測値が加算される前に逆量子化処理が実行される。他の詳細は全て、上述の実施形態と同様である。 In the above embodiment, the quantization process is performed prior to the prediction process. In a modified example, the quantization process may be performed after the prediction process. In this case, in the local decoder and the image predictive decoding apparatus, the inverse quantization process is executed before the predicted value is added. All other details are the same as in the embodiment described above.
図26は、第8の実施形態において、ブロック分割から得られた、フレームのマクロブロックとブロックの構造を示し、かつブロック予測方法を示す画像の模式図である。図26の拡大図は、カレントブロックに対する予測データがどのように符号化されるかを示す。ここで、ブロックC(u,v)は、上側に隣接するブロックA(u,v)と、左方向に隣接するブロックB(u,v)とから得られる。次に、本発明にこの実施形態を更に詳しく説明する。 FIG. 26 is a schematic diagram of an image showing a macroblock of a frame and a structure of the block obtained from block division and showing a block prediction method in the eighth embodiment. The enlarged view of FIG. 26 shows how the prediction data for the current block is encoded. Here, the block C (u, v) is obtained from the block A (u, v) adjacent on the upper side and the block B (u, v) adjacent in the left direction. Next, this embodiment will be described in more detail in the present invention.
<C1.予測に使用される係数の番号>
予測に使用される係数のナンバーは画像データのシーケンスに依存している。フラグAC_Coeffは、各画像に使用される係数の最適の数を適応的に選択するために使用される。フラグは下の表2に示され、サイド情報の一部として画像予測符号化装置から画像予測復号化装置に送られる。フラグAC_Coeffに対する固定長コード及びFLCを表2に示す。ここで、FLC(Fixed Length Coding;固定長符号化)は、すべての可能なイベントを表すために、固定長のコードワードを割り当てる可逆符号化である。
<C1. Coefficient number used for prediction>
The number of coefficients used for prediction depends on the sequence of image data. The flag AC_Coeff is used to adaptively select the optimal number of coefficients used for each image. The flags are shown in Table 2 below, and are sent from the image predictive coding apparatus to the image predictive decoding apparatus as part of the side information. Table 2 shows the fixed length code and FLC for the flag AC_Coeff. Here, FLC (Fixed Length Coding) is a lossless encoding that assigns a fixed-length code word to represent all possible events.
ここで、ACnは、用いられるモードに依存して、A(0,n)又はB(n,0)である。 Here, ACn is A (0, n) or B (n, 0) depending on the mode used.
この実施形態の特別なケースでは、最上行及び最左列のすべてのAC係数が予測のために使用される。このケースでは、画像予測符号化装置と画像予測復号化装置との両方が、このデフォルト値を同意しているとき、フラグを必要としない。 In the special case of this embodiment, all AC coefficients in the top row and leftmost column are used for prediction. In this case, when both the image predictive encoding device and the image predictive decoding device agree with this default value, no flag is required.
<C2.量子化ステップのスケーリング>
隣接するブロックがカレントブロックからの異なる量子化ステップサイズを用いて量子化されるときは、AC係数の予測はそんなに能率的ではない。従って、当該予測方法は、予測データが、現在のカレントブロックの量子化ステップサイズの比と、予測データのブロックの量子化ステップの比とによってスケーリングされるように変形される。この定義は次の節C3.における方程式を用いて与えられる。
<C2. Quantization step scaling>
When adjacent blocks are quantized using different quantization step sizes from the current block, the prediction of AC coefficients is not that efficient. Accordingly, the prediction method is modified so that the prediction data is scaled by the quantization step size ratio of the current current block and the quantization step ratio of the prediction data block. This definition is given in section C3. Is given using the equation in
<C3.予測モード>
設定される複数のモードは次の通りである。
<C3. Prediction mode>
The plurality of modes to be set are as follows.
(a)モード0:処理ブロックから上側のブロックからのDC予測(「上のDCモード」と略す。) (A) Mode 0: DC prediction from the upper block from the processing block (abbreviated as “upper DC mode”)
[数7]
E0(0,0)=C(0,0)−A(0,0),
E0(u,v)=C(u,v)
[Equation 7]
E 0 (0,0) = C (0,0) −A (0,0),
E 0 (u, v) = C (u, v)
(b)モード1:処理ブロックから左側のブロックからのDC予測(「左のDCモード」と略す。) (B) Mode 1: DC prediction from the left block from the processing block (abbreviated as “left DC mode”).
[数8]
E1(0,0)=C(0,0)−B(0,0),
E1(u,v)=C(u,v)
[Equation 8]
E 1 (0,0) = C (0,0) −B (0,0),
E 1 (u, v) = C (u, v)
(c)モード2;処理ブロックから上側のブロックからのDC/AC予測(「上のDC/ACモード」と略す。) (C) Mode 2; DC / AC prediction from the block above the processing block (abbreviated as “upper DC / AC mode”)
[数9]
E2(0,0)=C(0,0)−A(0,0),
E2(0,v)=C(0,v)−A(0,v)・QA/QC,
v=1,2,…,AC_Coeff,
E2(u,v)=C(u,v)
[Equation 9]
E 2 (0,0) = C (0,0) −A (0,0),
E 2 (0, v) = C (0, v) −A (0, v) · Q A / Q C ,
v = 1, 2,..., AC_Coeff,
E 2 (u, v) = C (u, v)
(d)モード3:処理ブロックから左側のブロックからのDC/AC予測(「左のDC/ACモード」と略す。) (D) Mode 3: DC / AC prediction from the left block from the processing block (abbreviated as “left DC / AC mode”)
[数10]
E3(0,0)=C(0,0)−B(0,0),
E3(u,0)=C(u,0)−B(u,0)・QB/QC
u=1,2,…,AC_Coeff,
E3(u,v)=C(u,v)
[Equation 10]
E 3 (0,0) = C (0,0) −B (0,0),
E 3 (u, 0) = C (u, 0) −B (u, 0) · Q B / Q C
u = 1, 2,..., AC_Coeff,
E 3 (u, v) = C (u, v)
<C4.適応的水平/垂直/ジグザグスキャン>
上のような4個の予測モードが与えられるならば、フレーム内符号化の効率は係数のスキャンを採用することによりさらに改善させることができる。
<C4. Adaptive Horizontal / Vertical / Zigzag Scan>
Given the four prediction modes as above, the efficiency of intraframe coding can be further improved by employing coefficient scanning.
図27、図28及び図29はそれぞれ、第8の実施形態における係数スキャンに用いられる水平スキャン、垂直スキャン及び水平スキャンの順序を説明するための画像の模式図である。ここで、これらのスキャンは集合的にH/V/Zスキャンとして参照される。 27, 28, and 29 are schematic diagrams of images for explaining the order of the horizontal scan, the vertical scan, and the horizontal scan used for the coefficient scan in the eighth embodiment, respectively. Here, these scans are collectively referred to as H / V / Z scans.
<C5.明示的モードの決定>
明示的(explicit)モードの決定においては、予測モードの決定が画像予測符号化装置において実行され、その決定情報が、ビットストリームにおける幾つかの符号化されたビット情報を用いて画像予測符号化装置から画像予測復号化装置に明示的に送られる。
<C5. Determination of explicit mode>
In the determination of the explicit mode, the prediction mode is determined in the image predictive encoding device, and the determination information is obtained by using some encoded bit information in the bitstream. To the image predictive decoding apparatus.
図30は、第8の実施形態に使用されているモード決定処理を示すフローチャートである。 FIG. 30 is a flowchart showing the mode determination process used in the eighth embodiment.
図30において、カレントブロックのDCT変換係数データはユニット2062に入力され、ユニット2062は、ブロックメモリ2061からの隣接するブロックのDCT変換係数データから入力されたカレントブロックのDCT変換係数データを減算することにより、DCT変換予測処理が実行される。ユニット2062では、節C3.で説明された4つのモードで、DCT変換予測処理が実行される。次いで、H/V/Zスキャンユニット2063では、係数のスキャン処理が実行され、ここでは、図30に示すように、節C4.で説明したそれぞれ対応するスキャン処理が実行される。さらに、スキャン処理後のDCT変換係数データは、エントロピー符号化ユニット2064に送られ、ここで可変長符号化処理が実行される。次いで、ユニット2065では、異なるモードで発生されたすべてのビットが比較されて、ユニット2066では、最少のビットを発生する予測モードのDCT変換係数のブロックが選択される。これらのDCT変換係数データのビットは予測モードの値とともにユニット2066からビットストリームとして画像予測復号化装置に送られる。なお、予測モードは、次の表3の固定長コードを用いて符号化される。 In FIG. 30, the DCT transform coefficient data of the current block is input to the unit 2062, and the unit 2062 subtracts the input DCT transform coefficient data of the current block from the DCT transform coefficient data of the adjacent block from the block memory 2061. Thus, the DCT conversion prediction process is executed. In unit 2062, section C3. The DCT transform prediction process is executed in the four modes described in the above. Next, in the H / V / Z scan unit 2063, a coefficient scan process is executed. Here, as shown in FIG. The corresponding scan processes described in the above are executed. Further, the DCT transform coefficient data after the scan processing is sent to the entropy encoding unit 2064, where variable length encoding processing is executed. Then, in unit 2065, all bits generated in the different modes are compared, and in unit 2066, the block of prediction mode DCT transform coefficients that produces the least number of bits is selected. The bits of these DCT transform coefficient data are sent as a bit stream from the unit 2066 to the image predictive decoding apparatus together with the value of the prediction mode. Note that the prediction mode is encoded using the fixed-length code shown in Table 3 below.
<C6.暗黙的モードの決定>
モード決定の第2の実施例では、画像予測符号化装置と画像予測復号化装置とが同一の予測モード決定機能を共有している。画像予測符号化装置と画像予測復号化装置は共に、カレントブロックに隣接する復号化されたブロックのDC係数値に基づいて、予測モードの決定に関する方向性を決定する。すなわち、暗黙的(implicit)モードの決定においては、暗黙的モードの決定が幾つかの規則を用いて画像予測符号化装置と画像予測復号化装置において実行される。そして、モード決定を示す付加的な情報データは画像予測符号化装置から画像予測復号化装置に対して送られない。
<C6. Implicit mode determination>
In the second embodiment of mode determination, the image predictive coding apparatus and the image predictive decoding apparatus share the same prediction mode determining function. Both the image predictive encoding device and the image predictive decoding device determine the directionality related to the determination of the prediction mode based on the DC coefficient value of the decoded block adjacent to the current block. That is, in the determination of the implicit mode, the determination of the implicit mode is performed in the image predictive coding apparatus and the image predictive decoding apparatus using some rules. Further, additional information data indicating mode determination is not sent from the image predictive coding apparatus to the image predictive decoding apparatus.
図31は、第8の実施形態の暗黙モード決定におけるブロックの関係を示す画像の模式図である。すなわち、図31は、各ブロックと予測対象であるカレントブロックとの位置関係を示している。 FIG. 31 is a schematic diagram of an image showing the relationship of blocks in the implicit mode determination of the eighth embodiment. That is, FIG. 31 shows the positional relationship between each block and the current block that is the prediction target.
図31において、ブロックCは現在予測中の処理対象のカレントブロックである。ブロックAは、予測中のカレントブロックCの上側のブロックである。ブロックCは、カレントブロックCから左側に位置するブロックである。ブロックC’は、カレントブロックCとは対角位置にあるブロックAとブロックBの間のブロックである。 In FIG. 31, block C is the current block to be processed that is currently predicted. Block A is a block above the current block C being predicted. Block C is a block located on the left side of current block C. The block C ′ is a block between the block A and the block B that are diagonal to the current block C.
まず、DCの方向が決定される。個別の決定方法を使用して、AC係数も同様に予測中であるか否かが決定される。これを行うには、予測係数の絶対値の差の合計を非予測係数の絶対値と比較し、何れが小さいかを判断する。画像予測復号化装置へのこの指示には、1ビットが使用される。DC予測の方向性、及びAC係数が予測されているか否かの決定には、以下の式が使用される。表3は、可能性のある4つの結論を要約したものである。 First, the direction of DC is determined. Using a separate determination method, it is determined whether the AC coefficient is also being predicted. To do this, the sum of the absolute differences of the prediction coefficients is compared with the absolute value of the non-prediction coefficients to determine which is smaller. One bit is used for this instruction to the image predictive decoding apparatus. The following formula is used to determine the directionality of DC prediction and whether or not the AC coefficient is predicted. Table 3 summarizes the four possible conclusions.
(A1)もし
[数11]
(B(0,0)−C’(0,0)<C’(0,0)−A(0,0))
のとき、
[数12]
E(0,0)=C(0,0)−A(0,0)
であり、
(a1)もし
(A1) If [Equation 11]
(B (0,0) −C ′ (0,0) <C ′ (0,0) −A (0,0))
When,
[Equation 12]
E (0,0) = C (0,0) -A (0,0)
And
(A1) If
[数13]
7 7
( Σ C(0,v)≧ Σ C(0,v)−A(0,v))
v=1 v=1
[Equation 13]
7 7
(ΣC (0, v) ≧ ΣC (0, v) −A (0, v))
v = 1 v = 1
のとき、 When,
[数14]
E(0,v)
=C(0,v)−A(0,v)・QA/QC,v=1,…,7,
[Formula 14]
E (0, v)
= C (0, v) -A (0, v) · Q A / Q C , v = 1,.
(a2)上記数13が成立しなければ、
[数15]
E(0,v)=C(0,v)
である。
(A2) If the above equation 13 is not satisfied,
[Equation 15]
E (0, v) = C (0, v)
It is.
(A2)上記数11が成立しなければ、
[数16]
E(0,0)=C(0,0)−B(0,0)
であり、
(b1)もし
(A2) If the above equation 11 does not hold,
[Equation 16]
E (0,0) = C (0,0) -B (0,0)
And
(B1) If
[数17]
7 7
( Σ C(u,0)≧ Σ C(u,0)−B(u,0))
v=1 v=1
[Equation 17]
7 7
(ΣC (u, 0) ≧ ΣC (u, 0) −B (u, 0))
v = 1 v = 1
のとき、 When,
[数18]
E(u,0)
=C(u,0)−B(u,0)・QB/QC,v=1,…,7,
[Equation 18]
E (u, 0)
= C (u, 0) −B (u, 0) · Q B / Q C , v = 1,.
(b2)上記数17が成立しなければ、
[数19]
E(u,0)=C(u,0)
である。
(B2) If Equation 17 is not satisfied,
[Equation 19]
E (u, 0) = C (u, 0)
It is.
さらに、他の全ての係数に対して、
[数20]
E(u,v)=C(u,v)
である。
In addition, for all other coefficients,
[Equation 20]
E (u, v) = C (u, v)
It is.
以上の第8の実施形態において、DCT変換係数予測処理はユニット2040によって、量子化された変換係数データについて行っているが、本発明はこれに限らず、図17の第6の実施形態と同様に、量子化されない変換係数データについて行ってもよい。この場合、対応する画像予測復号化装置においては、図25において、逆量子化ユニット2056は、逆スキャンユニット2052と、加算器2053に移動されて挿入される。 In the above eighth embodiment, the DCT transform coefficient prediction process is performed on the quantized transform coefficient data by the unit 2040, but the present invention is not limited to this, and is the same as the sixth embodiment of FIG. Alternatively, it may be performed on transform coefficient data that is not quantized. In this case, in the corresponding image predictive decoding apparatus, in FIG. 25, the inverse quantization unit 2056 is moved to the inverse scan unit 2052 and the adder 2053 and inserted.
以下、第8の実施形態の変形例について述べる。 Hereinafter, modifications of the eighth embodiment will be described.
(a)ブロックサンプリングユニット2031は、4つのブロックのグループの中の二次元配列の画素は、第1のブロックでは奇数番目の行にある奇数番目の画素から成り、第2のブロックでは奇数番目の行にある偶数番目の画素から成り、第3ブロックでは偶数番目の行にある奇数場番目の画素から成り、第4ブロックでは偶数番目の行にある偶数番目の画素から成るように、画素を交互に差し挟むインターリーブ処理を含んでもよい。
(b)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックに隣接するように位置されたブロックから選択され、ブロック中の全ての係数データが選択されてもよい。
(c)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックに隣接するように位置されたブロックから選択され、あらかじめ定められたサブセットがブロックの係数データとして選択されてもよい。
(A) The block sampling unit 2031 is configured such that the pixels of the two-dimensional array in the group of four blocks are composed of odd-numbered pixels in odd-numbered rows in the first block and odd-numbered pixels in the second block. The pixels are alternated to consist of even-numbered pixels in the row, consisting of odd-numbered pixels in the even-numbered rows in the third block, and even-numbered pixels in the even-numbered rows in the fourth block. Interleaving processing may be included.
(B) the prediction block is a previously restored block stored in the block memory, selected from blocks that are located adjacent to the encoded current block, and all coefficients in the block; Data may be selected.
(C) The prediction block is a block that is stored in the block memory and has been previously restored, and is selected from blocks positioned adjacent to the encoded current block. It may be selected as the coefficient data of the block.
(d)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの上方及び左側に隣接するよう位置されたブロックから選択され、当該ブロックの最上行、及び当該ブロックの最左列の係数データのみが使用され、残りの係数データはゼロにセットされてもよい。
(e)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
当該ブロックの最上行又は最左列からの1つ又はそれ以上の係数データを含むサブセットのみを使用することを、画像予測符号化装置と画像予測復号化装置とが通信を行うことにより決定してもよい。
(f)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
当該ブロックの最上行又は最左列からの1つ又はそれ以上の係数データを含むサブセットのみを使用することを、画像予測符号化装置が決定して、決定されたサブセット及び係数データの数を示すフラグを、画像予測復号化装置に送信されるデータに周期的に挿入することにより、画像予測復号化装置に通知してもよい。
(D) The prediction block is a block that is stored in the block memory and has been previously restored, and is selected from blocks positioned adjacent to the upper and left sides of the encoded current block. Only the coefficient data in the top row and the leftmost column of the block may be used, and the remaining coefficient data may be set to zero.
(E) the prediction block is stored in the block memory and selected according to the above criteria from previously restored blocks;
The image predictive coding apparatus and the image predictive decoding apparatus determine to use only a subset including one or more coefficient data from the top row or the leftmost column of the block by performing communication. Also good.
(F) the predicted block is selected according to the above criteria from previously restored blocks stored in the block memory;
The image predictive coding apparatus determines to use only the subset including one or more coefficient data from the top row or the leftmost column of the block, and indicates the determined subset and the number of coefficient data You may notify an image predictive decoding apparatus by inserting a flag into the data transmitted to an image predictive decoding apparatus periodically.
(g)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
各ブロックの係数データは、符号化されるカレントブロックの量子化ステップサイズと予測ブロックの量子化ステップサイズの比に等しい比で乗算されてもよい。
(h)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
各ブロックの係数データは、異なる重み付け関数で重み付けされてもよい。
(i)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
各ブロックの係数データに対して所定の変換演算が実行されてもよい。(j)上記予測ブロックは、符号化されるカレントブロックに隣接して位置する、上記ブロックメモリに格納され、前に復元されたブロックの重み付け平均値として得てもよい。
(G) the predicted block is selected according to the above criteria from previously restored blocks stored in the block memory;
The coefficient data of each block may be multiplied by a ratio equal to the ratio between the quantization step size of the current block to be encoded and the quantization step size of the prediction block.
(H) the predicted block is selected according to the above criteria from previously restored blocks stored in the block memory;
The coefficient data for each block may be weighted with a different weighting function.
(I) the predicted block is selected according to the above criteria from previously restored blocks stored in the block memory;
A predetermined conversion operation may be performed on the coefficient data of each block. (J) The predicted block may be obtained as a weighted average value of previously restored blocks stored in the block memory located adjacent to the current block to be encoded.
(k)スキャン方法は、
(i)係数データが、左から右に向かって、行毎に、最上行で始まり、最下行で終わるようにスキャンされる水平スキャンと、
(ii)係数データが、最上行から最下行に向かって、列毎に、最左列から始まり、最右列で終るようにスキャンされる垂直スキャンと、
(iii)係数データが、最上行の最左の係数データから最下行の最右の係数データに向かって、対角線方向にスキャンされるジグザグスキャンとのうちの少なくとも1つのスキャン方法を含んでもよい。
(K) The scanning method is
(I) a horizontal scan in which coefficient data is scanned from left to right, starting from the top row and ending at the bottom row, row by row;
(Ii) a vertical scan in which coefficient data is scanned from the top row to the bottom row, starting from the leftmost column and ending at the rightmost column, column by column;
(Iii) The coefficient data may include at least one scanning method of zigzag scanning that is scanned in a diagonal direction from the leftmost coefficient data in the uppermost row to the rightmost coefficient data in the lowermost row.
(l)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
上記予測ブロックの予測モードは、
(i)処理対象のカレントブロックから上側に位置するブロックからの、DC係数として呼ばれる当該ブロックの平均値を表す最上及び最左の係数データのみを予測のために使用する第1のモードと、
(ii)処理対象のカレントブロックから左側に位置するブロックからの、DC係数のみを予測のために使用する第2のモードと、
(iii)処理対象のカレントブロックから上側に位置するブロックの最上行からの、DC係数及び、高周波成分を含む0個又はそれ以上のAC係数を予測のために使用する第3のモードと、
(iv)処理対象のカレントブロックから左側に位置するブロックの最左列からの、DC係数及び、高周波成分を含む0個又はそれ以上のAC係数を予測のために使用する第4のモードと、
の少なくとも1つの予測モードを含み、
上記予測誤差の係数データはジグザグスキャンのスキャン方法でスキャンされてもよい。
(L) The prediction block is selected according to the above criteria from previously restored blocks stored in the block memory,
The prediction mode of the prediction block is
(I) a first mode in which only the uppermost and leftmost coefficient data representing the average value of the block, which is called a DC coefficient, from a block located above the current block to be processed is used for prediction;
(Ii) a second mode in which only DC coefficients from a block located on the left side of the current block to be processed are used for prediction;
(Iii) a third mode in which DC coefficients and zero or more AC coefficients including high-frequency components from the top row of the block located above the current block to be processed are used for prediction;
(Iv) a fourth mode in which a DC coefficient and zero or more AC coefficients including high-frequency components from the leftmost column of the block located on the left side of the current block to be processed are used for prediction;
Including at least one prediction mode of
The prediction error coefficient data may be scanned by a zigzag scanning method.
(m)上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
上記予測誤差の係数データは、上述のスキャン方法の1つに従ってスキャンされ、
上記予測誤差の係数データを予測する予測モードは、
(i)処理対象のカレントブロックから上側に位置するブロックにおけるDC係数のみが予測のために使用され、上記予測誤差の係数データに対して、ジグザグスキャンでスキャン処理が実行される第1のモードと、
(ii)処理対象のカレントブロックから左側に位置するブロックにおけるDC係数のみが予測のために使用され、上記予測誤差の係数データに対して、ジグザグスキャンでスキャン処理が実行される第2のモードと、
(iii)処理対象のカレントブロックから上側に位置するブロックの最上行におけるDC係数及び、高周波成分を含む0個又はそれ以上のAC係数が予測のために使用され、上記予測誤差の係数データに対して、水平スキャンでスキャン処理が実行される第3のモードと、
(iv)処理対象のカレントブロックから左側に位置するブロックの最左列におけるDC係数及び、高周波成分を含む0個又はそれ以上のAC係数が予測のために使用され、上記予測誤差の係数データに対して、垂直スキャンでスキャン処理が実行される第4のモードと、
の少なくとも1つを含んでもよい。
(M) the predicted block is selected according to the above criteria from previously restored blocks stored in the block memory;
The prediction error coefficient data is scanned according to one of the scanning methods described above,
The prediction mode for predicting the coefficient data of the prediction error is
(I) a first mode in which only DC coefficients in a block located above the current block to be processed are used for prediction, and the coefficient data of the prediction error is scanned by zigzag scanning; ,
(Ii) a second mode in which only DC coefficients in a block located on the left side of the current block to be processed are used for prediction, and the coefficient data of the prediction error is scanned by zigzag scanning; ,
(Iii) The DC coefficient in the top row of the block located on the upper side of the current block to be processed and zero or more AC coefficients including high frequency components are used for prediction, and the coefficient data of the prediction error is A third mode in which scan processing is executed in horizontal scan,
(Iv) The DC coefficient in the leftmost column of the block located on the left side of the current block to be processed and zero or more AC coefficients including high frequency components are used for prediction, and the coefficient data of the prediction error is On the other hand, a fourth mode in which scanning processing is executed in vertical scanning;
May be included.
(n)上記復号化された画像データに基づいて、インターリーブされた4個のブロックからなる複数のグループから二次元配列の画素を形成して元の画像データを復元するときに、奇数番目の行にある奇数番目の画素は全て第1のブロックから求め、奇数番目の行にある偶数番目の画素は第2のブロックから求め、偶数番目の行にある奇数番目の画素は第3ブロックから求め、偶数番目の行にある偶数番目の画素は第4ブロックから求めるように、上記復号化された画像データに対して逆インターリーブ処理を実行してもよい。
(o)画像予測符号化装置と画像予測復号化装置は、予め決められた同一のルールを用いて、上記予測モードを決定してもよい。
(p)画像予測符号化装置と画像予測復号化装置は、予め決められた同一のルールを用いて、上記スキャン方法を決定してもよい。
(N) When the original image data is restored by forming a two-dimensional array of pixels from a plurality of groups of four interleaved blocks based on the decoded image data, the odd-numbered rows All the odd-numbered pixels in the odd-numbered row are obtained from the first block, the even-numbered pixels in the odd-numbered row are obtained from the second block, the odd-numbered pixels in the even-numbered row are obtained from the third block, The deinterleaving process may be performed on the decoded image data so that the even-numbered pixels in the even-numbered rows are obtained from the fourth block.
(O) The image predictive encoding device and the image predictive decoding device may determine the prediction mode using the same predetermined rule.
(P) The image predictive coding apparatus and the image predictive decoding apparatus may determine the scan method using the same predetermined rule.
以上説明したように、本発明に係る第3の実施形態グループによれば、隣接するブロックを越えてDCT変換領域の中の冗長性を削減又は除去するのに非常に効果的であり、使用ビットのビット数を削減し、その結果、符号化の効率を大幅に改善することができる。これは新しいビデオ圧縮アルゴリズムにおけるツールとしても有用である。 As described above, according to the third embodiment group of the present invention, it is very effective to reduce or eliminate redundancy in the DCT transform region beyond adjacent blocks. As a result, the coding efficiency can be greatly improved. This is also useful as a tool in new video compression algorithms.
以上の実施形態において、画像予測符号化装置及び画像予測復号化装置について述べているが、本発明はこれに限らず、上記画像予測符号化装置における各手段、各ユニットなどの構成要素をそれぞれ各ステップに置き換えたステップを含む画像予測符号化方法であってもよいし、上記画像予測復号化装置における各手段、各ユニットなどの構成要素をそれぞれ各ステップに置き換えたステップを含む画像予測復号化方法であってもよい。この場合、例えば、上記画像予測符号化方法及び/又は上記画像予測復号化方法の各ステップがプログラムとして記憶装置に記憶され、マイクロプロセッサユニット(MPU)、中央演算処理装置(CPU)などのコントローラは当該プログラムを実行することにより、画像予測符号化処理及び/又は上記画像予測復号化処理を実行する。 In the above embodiment, the image predictive encoding device and the image predictive decoding device have been described. However, the present invention is not limited to this, and each unit, each unit, and other components in the image predictive encoding device are each An image predictive encoding method including a step replaced with a step, or an image predictive decoding method including a step in which components such as each unit and each unit in the image predictive decoding apparatus are replaced with each step, respectively. It may be. In this case, for example, each step of the image predictive encoding method and / or the image predictive decode method is stored as a program in a storage device, and a controller such as a microprocessor unit (MPU) or a central processing unit (CPU) By executing the program, the image predictive encoding process and / or the image predictive decoding process is executed.
また、本発明は、上記画像予測符号化方法及び/又は上記画像予測復号化方法における各ステップを含むプログラムを記録した記録媒体であってもよい。当該記録媒体は、例えば記録領域がセクタ形状に分割され、又は記録領域が渦巻き形状で各ブロックに分割された円盤形状を有し、例えば、CD−ROM、DVDなどの光ディスク又は光磁気ディスク、もしくは、フロッピーディスクなどの磁気記録ディスクである。 Further, the present invention may be a recording medium on which a program including each step in the image predictive encoding method and / or the image predictive decoding method is recorded. The recording medium has a disk shape in which the recording area is divided into sector shapes, or the recording area is spirally divided into blocks, for example, an optical disk such as a CD-ROM or DVD, or a magneto-optical disk, or A magnetic recording disk such as a floppy disk.
101…入力端子、
102…第1の加算器、
103…符号化器、
104…DCT変換器、
105…量子化器、
106…出力端子、
107…復号化器、
108…逆量子化器、
109…逆DCT変換器、
110…第2の加算器、
111…ラインメモリ、
112…予測信号発生器、
200…ブロック、
300,301…三角形、
401,402…発生器、
403,404…画像データ、
500…加算器、
601,602,603…誤差計算器、
604…比較器、
605…スイッチ、
700…動き検出器、
701…動き補償器、
702…フレームメモリ、
703…最適モード選択器、
800,804…形状曲線、
802,805,810…処理対象の小領域、
808…曲線、
901…入力端子、
902…データ解析器、
903…復号化器、
904…逆量子化器、
905…逆DCT変換器、
906…加算器、
907…出力端子、
908…コントローラ、
909…動き補償器、
910…予測信号発生器、
911…ラインメモリ、
912…フレームメモリ、
913…スイッチ、
922…予測信号発生器、
923…動き補償器、
990…形状復号化器、
1001…ブロックサンプリングユニット、
1002…動き検出ユニット、
1003…補償ユニット、
1004…DCT変換器、
1005…量子化ユニット、
1006…エントロピー符号化ユニット、
1007…レートコントローラ、
1008,1009…ユニット、
1010…ローカル復号化フレームメモリ、
1011…基準フレームメモリ、
1012…ブロックサンプリングユニット、
1013…加算器、
1014…DCT変換ユニット、
1015…量子化ユニット、
1016…加算器、
1017…DCT変換領域予測ユニット、
1018…ブロックメモリ、
1019…加算器、
1020…エントロピーVLC符号化ユニット、
1021…逆量子化ユニット、
1022…逆DCT変換ユニット、
1023…加算器、
1024…フレームメモリ、
1025…動き検出及び補償ユニット、
1026…ブロックサンプリングユニット、
1027…加算器、
1028…DCT変換ユニット、
1029…加算器、
1030…量子化ユニット、
1031…DCT変換領域予測ユニット、
1032…ブロックメモリ、
1033…逆量子化ユニット、
1034…エントロピーVLC符号化ユニット、
1035…加算器、
1036…逆DCT変換ユニット、
1037…加算器、
1038…フレームメモリ、
1040…ブロックメモリ、
1041…ユニット、
1042…No−Predブロック、
1043…Up−Predブロック、
1044…Left−Predブロック、
1045…Other−Predブロック、
1048,1049,1050…ユニット、
1051…エントロピーVLD復号化ユニット、
1052…加算器、
1053…DCT変換領域予測ユニット、
1054…ブロックメモリ、
1055…逆DCT変換ユニット、
1056…加算器、
1057…動き検出及び補償ユニット、
1059…逆量子化ユニット、
1101,1102…カレントブロック、
2031…ブロックサンプリングユニット、
2032…加算器、
2033…DCT変換ユニット、
2034…量子化ユニット、
2035…加算器、
2036…H/V/Zスキャンユニット、
2037…エントロピーVLC符号化ユニット、
2038…加算器、
2039…ブロックメモリ、
2040…DCT変換領域予測ユニット、
2041…逆量子化ユニット、
2042…逆DCT変換ユニット、
2043…加算器、
2044…フレーメモリ、
2045…動き検出及び補償ユニット、
2051…可変長デコーダユニット、
2052…H/V/Zスキャンユニット、
2053…加算器、
2054…ブロックメモリ、
2055…DCT変換領域予測ユニット、
2056…逆量子化ユニット、
2057…逆DCT変換ユニット、
2058…加算器、
2059…フレームメモリ、
2060…動き検出及び補償ユニット、
2061…ブロックメモリ、
2062…減算ユニット、
2063…H/V/Zスキャンユニット、
2064…エントロピー符号化ユニット、
2065…比較ユニット、
2066…選択ユニット、
B0…カレントブロック、
B1…左上のブロック、
B2…上のブロック、
B3…右上のブロック、
B4…左のブロック。
101: Input terminal,
102 ... the first adder,
103 ... Encoder,
104 ... DCT converter,
105 ... Quantizer,
106 ... output terminal,
107: Decoder,
108: Inverse quantizer,
109 ... Inverse DCT converter,
110 ... second adder,
111 ... Line memory,
112 ... Predictive signal generator,
200 ... Block,
300, 301 ... triangle,
401, 402 ... generator,
403, 404 ... image data,
500 ... adder,
601 602 603... Error calculator,
604 ... comparator,
605 ... switch,
700 ... a motion detector,
701: Motion compensator,
702: Frame memory,
703 ... Optimal mode selector,
800, 804 ... shape curve,
802, 805, 810 ... small areas to be processed,
808 ... curve,
901 ... Input terminal,
902 ... Data analyzer,
903 ... Decoder,
904 ... Inverse quantizer,
905 ... Inverse DCT converter,
906 ... adder,
907 ... output terminal,
908 ... Controller,
909 ... motion compensator,
910 ... Predictive signal generator,
911 ... line memory,
912 ... Frame memory,
913 ... Switch,
922 ... Predictive signal generator,
923 ... a motion compensator,
990 ... Shape decoder,
1001 ... Block sampling unit,
1002 ... Motion detection unit,
1003 ... Compensation unit,
1004 ... DCT converter,
1005 ... Quantization unit,
1006 ... entropy coding unit,
1007 ... Rate controller,
1008, 1009 ... unit,
1010 ... Local decoding frame memory,
1011 ... Reference frame memory,
1012: Block sampling unit,
1013: Adder,
1014 ... DCT conversion unit,
1015: Quantization unit,
1016: Adder,
1017 ... DCT transform domain prediction unit,
1018 Block memory,
1019: Adder,
1020 ... Entropy VLC encoding unit,
1021 ... Inverse quantization unit,
1022 ... Inverse DCT conversion unit,
1023 ... adder,
1024 ... frame memory,
1025 ... Motion detection and compensation unit,
1026: Block sampling unit,
1027 ... Adder,
1028 ... DCT conversion unit,
1029: Adder,
1030: Quantization unit,
1031 ... DCT transform domain prediction unit,
1032: Block memory,
1033: Inverse quantization unit,
1034 ... Entropy VLC encoding unit,
1035: Adder,
1036: Inverse DCT conversion unit,
1037 ... adder,
1038: Frame memory,
1040: Block memory,
1041 ... Unit,
1042 ... No-Pred block,
1043 ... Up-Pred block,
1044 ... Left-Pred block,
1045 ... Other-Pred block,
1048, 1049, 1050 ... unit,
1051 ... Entropy VLD decoding unit,
1052 ... Adder,
1053 ... DCT transform domain prediction unit,
1054 ... block memory,
1055 ... Inverse DCT conversion unit,
1056 ... adder,
1057 ... Motion detection and compensation unit,
1059 ... Inverse quantization unit,
1101, 1102 ... current block,
2031 ... Block sampling unit,
2032 ... adder,
2033 ... DCT conversion unit,
2034 ... Quantization unit,
2035 ... adder,
2036 ... H / V / Z scan unit,
2037 ... Entropy VLC encoding unit,
2038 ... adder,
2039: Block memory,
2040 ... DCT transform domain prediction unit,
2041 ... Inverse quantization unit,
2042 ... Inverse DCT conversion unit,
2043 ... adder,
2044 ... Frame memory,
2045 ... Motion detection and compensation unit,
2051 ... Variable length decoder unit,
2052 ... H / V / Z scan unit,
2053 ... adder,
2054: Block memory,
2055 ... DCT transform domain prediction unit,
2056 ... Inverse quantization unit,
2057 ... Inverse DCT conversion unit,
2058 ... adder,
2059 ... frame memory,
2060 ... Motion detection and compensation unit,
2061 ... Block memory,
2062 ... Subtraction unit,
2063 ... H / V / Z scan unit,
2064 ... entropy coding unit,
2065 ... comparison unit,
2066 ... selection unit,
B0: Current block,
B1 ... upper left block,
B2 ... the upper block,
B3 ... upper right block,
B4 ... Left block.
Claims (6)
上記変換された2次元列の変換係数を量子化して、量子化された変換係数を得る量子化ステップと、
カレントブロックの上側に位置する上ブロック、上記カレントブロックの左側に位置する左ブロック及び上記上ブロックと上記左ブロックの間に位置する対角ブロックについて、上記左ブロックと上記対角ブロックとのDC係数の差及び上記対角ブロックと上記上ブロックとのDC係数の差を求め、これらの差の比較に基づいて上記カレントブロックに隣接する上記上ブロック又は上記左ブロックのいずれかから適応的に予測ブロックを選択する予測ブロック選択ステップと、
上記上ブロック又は上記左ブロックのいずれかから適応的に選択された上記予測ブロックのDC係数から、上記カレントブロックのDC係数を予測するDC係数予測ステップと、
上記DC係数予測のために選択された上記予測ブロックのAC係数から上記カレントブロックのAC係数を予測するAC係数予測ステップとを含み、
上記AC係数予測ステップでは、上記予測ブロックのAC係数について、上記カレントブロックの量子化ステップサイズと上記予測ブロックの量子化ステップサイズの比によりスケーリングを行い、上記スケーリングされた上記予測ブロックのAC係数から、上記カレントブロックのAC係数を予測する
ことを特徴とする画像予測符号化方法。 A conversion step of converting the blocked image data into a conversion coefficient of a two-dimensional sequence;
A quantization step of quantizing the transformed two-dimensional sequence of transform coefficients to obtain a quantized transform coefficient;
DC coefficient of the left block and the diagonal block for the upper block located above the current block, the left block located on the left side of the current block, and the diagonal block located between the upper block and the left block difference and determines the difference between DC coefficients of the diagonal blocks and the upper block, adaptively prediction block from one of the upper block or the left block adjacent to the current block based on a comparison of these differences in A predictive block selection step of selecting
From the DC coefficient adaptively selected the prediction block from one of the upper block or the left block, the DC coefficient prediction step for predicting the DC coefficient of the current block,
And a AC coefficient prediction step of predicting the AC coefficients from the AC coefficients the current block selected the prediction block for the DC coefficient prediction,
In the AC coefficient prediction step, the AC coefficient of the prediction block is scaled by the ratio of the quantization step size of the current block and the quantization step size of the prediction block, and the AC coefficient of the scaled prediction block is calculated. An image predictive coding method characterized by predicting the AC coefficient of the current block .
上記カレントブロックのDC係数予測の際に、予測ブロックとして左ブロックを選択する場合には、左ブロックの第1列にある量子化されたAC係数を予測値としてAC係数予測を行い、
上記カレントブロックのDC係数予測の際に、予測ブロックとして上ブロックを選択する場合には、上ブロックの第1行にある量子化されたAC係数を予測値としてAC係数予測を行うものであることを特徴とする請求項1記載の画像予測符号化方法。 The AC coefficient prediction of the current block is
When the left block is selected as the prediction block in the DC coefficient prediction of the current block, AC coefficient prediction is performed using the quantized AC coefficient in the first column of the left block as a prediction value,
When the upper block is selected as the prediction block in the DC coefficient prediction of the current block, AC coefficient prediction is performed using the quantized AC coefficient in the first row of the upper block as a predicted value. The image predictive encoding method according to claim 1.
ブロック化された画像データを2次元列の変換係数に変換する変換器と、
上記2次元列の変換係数を量子化して、量子化された変換係数を得る量子化器と、
カレントブロックの上側に位置する上ブロック、上記カレントブロックの左側に位置する左ブロック及び上記上ブロックと上記左ブロックの間に位置する対角ブロックについて、上記左ブロックと上記対角ブロックとのDC係数の差及び上記対角ブロックと上記上ブロックとのDC係数の差を求め、これらの差の比較に基づいて上記カレントブロックに隣接する上記上ブロック又は上記左ブロックのいずれかから適応的に予測ブロックを選択する予測ブロック選択手段と、
上記上ブロック又は上記左ブロックのいずれかから適応的に選択された上記予測ブロックのDC係数から、上記カレントブロックのDC係数を予測するDC係数予測手段と、
上記DC係数予測のために選択された上記予測ブロックのAC係数から上記カレントブロックのAC係数を予測するAC係数予測手段とを備え、
上記AC係数予測手段は、上記予測ブロックのAC係数について、上記カレントブロックの量子化ステップサイズと上記予測ブロックの量子化ステップサイズの比によりスケーリングを行い、上記スケーリングされた上記予測ブロックのAC係数から、上記カレントブロックのAC係数を予測することを特徴とする画像予測符号化装置。 An image predictive encoding device that encodes image data,
A converter for converting the blocked image data into a conversion coefficient of a two-dimensional sequence;
A quantizer that quantizes the transform coefficients of the two-dimensional sequence to obtain quantized transform coefficients;
DC coefficient of the left block and the diagonal block for the upper block located above the current block, the left block located on the left side of the current block, and the diagonal block located between the upper block and the left block difference and determines the difference between DC coefficients of the diagonal blocks and the upper block, adaptively prediction block from one of the upper block or the left block adjacent to the current block based on a comparison of these differences in prediction block selecting means for selecting,
From the DC coefficient adaptively selected the prediction block from one of the upper block or the left block, the DC coefficient prediction means for predicting a DC coefficient of the current block,
And a AC coefficient predicting means for predicting AC coefficients of the current block from the AC coefficients of the selected the prediction block for the DC coefficient prediction,
The AC coefficient prediction means performs scaling on the AC coefficient of the prediction block according to a ratio of the quantization step size of the current block and the quantization step size of the prediction block, and calculates the AC coefficient of the scaled prediction block. An image predictive coding apparatus for predicting an AC coefficient of the current block .
上記カレントブロックのDC係数予測の際に、予測ブロックとして左ブロックを選択する場合には、左ブロックの第1列にある量子化されたAC係数を予測値としてAC係数予測を行い、
上記カレントブロックのDC係数予測の際に、予測ブロックとして上ブロックを選択する場合には、上ブロックの第1行にある量子化されたAC係数を予測値としてAC係数予測を行うものであることを特徴とする請求項4記載の画像予測符号化装置。
The AC coefficient prediction of the current block is
When the left block is selected as the prediction block in the DC coefficient prediction of the current block, AC coefficient prediction is performed using the quantized AC coefficient in the first column of the left block as a prediction value,
When the upper block is selected as a prediction block in the DC coefficient prediction of the current block, AC coefficient prediction is performed using the quantized AC coefficient in the first row of the upper block as a predicted value. The image predictive coding apparatus according to claim 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004049378A JP3851317B2 (en) | 1996-05-28 | 2004-02-25 | Image predictive coding method and apparatus |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13297096 | 1996-05-28 | ||
JP17642696 | 1996-07-05 | ||
JP25467796 | 1996-09-26 | ||
JP2004049378A JP3851317B2 (en) | 1996-05-28 | 2004-02-25 | Image predictive coding method and apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000186294A Division JP3851063B2 (en) | 1996-05-28 | 2000-06-21 | Image predictive decoding method and apparatus |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005366257A Division JP3857297B2 (en) | 1996-05-28 | 2005-12-20 | Image predictive coding method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004215296A JP2004215296A (en) | 2004-07-29 |
JP3851317B2 true JP3851317B2 (en) | 2006-11-29 |
Family
ID=32830958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004049378A Expired - Lifetime JP3851317B2 (en) | 1996-05-28 | 2004-02-25 | Image predictive coding method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3851317B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6846134B2 (en) * | 2016-08-22 | 2021-03-24 | 日本放送協会 | Video coding device and video decoding device |
US11025937B2 (en) * | 2019-03-16 | 2021-06-01 | Tencent America LLC | Method and apparatus for video coding |
-
2004
- 2004-02-25 JP JP2004049378A patent/JP3851317B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004215296A (en) | 2004-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3851063B2 (en) | Image predictive decoding method and apparatus | |
JP3857298B2 (en) | Image predictive coding apparatus and method, and image predictive decoding apparatus and method | |
JP3851317B2 (en) | Image predictive coding method and apparatus | |
JP3343554B1 (en) | Image prediction decoding method and image prediction encoding device | |
JP3857297B2 (en) | Image predictive coding method and apparatus | |
JP3157144B1 (en) | Picture prediction decoding method | |
JP2002359852A (en) | Device and method for predictive decoding of image | |
JP3343553B1 (en) | Image prediction coding apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060831 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313133 |
|
SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |