[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2005062622A1 - 画像復号装置及び画像復号方法並びに画像復号プログラム - Google Patents

画像復号装置及び画像復号方法並びに画像復号プログラム Download PDF

Info

Publication number
WO2005062622A1
WO2005062622A1 PCT/JP2004/017804 JP2004017804W WO2005062622A1 WO 2005062622 A1 WO2005062622 A1 WO 2005062622A1 JP 2004017804 W JP2004017804 W JP 2004017804W WO 2005062622 A1 WO2005062622 A1 WO 2005062622A1
Authority
WO
WIPO (PCT)
Prior art keywords
inverse
transform
image
image decoding
decoding
Prior art date
Application number
PCT/JP2004/017804
Other languages
English (en)
French (fr)
Inventor
Shinji Watanabe
Nobuaki Izumi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/545,678 priority Critical patent/US8249147B2/en
Priority to EP20040820650 priority patent/EP1696677B1/en
Publication of WO2005062622A1 publication Critical patent/WO2005062622A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image decoding apparatus, an image decoding method, and an image decoding program.
  • the present invention relates to an image decoding device, an image decoding method, and an image decoding program, and more particularly, to discrete cosine transform or Karhunen's decoding, such as MPEG (Moving Picture Experts Group), H. 26x, etc.
  • MPEG Motion Picture Experts Group
  • H. 26x High Speed Video Experts Group
  • the present invention relates to an image decoding device, an image decoding method, and an image decoding program used when processing is performed on a storage medium such as a magnetic disk or a flash memory.
  • image information is handled as digital data! At that time, for the purpose of high efficiency !, information transmission and storage, and utilizing the inherent redundancy of image information, such as discrete cosine transform, etc.
  • MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding method, and is a standard that covers both interlaced and progressive scan images, as well as standard-resolution images and high-definition images, and is a professional and It is currently widely used in a wide range of applications for consumer and consumer applications.
  • MPEG2 compression method for example, a code amount of 418 Mbps for a standard resolution interlaced scan image having 720 x 480 pixels and 18 to 22 Mbps for a high resolution interlaced scan image having 1920 x 1088 pixels.
  • bit rate By assigning (bit rate), a high compression ratio and good image quality can be realized.
  • MPEG2 is intended mainly for high-quality encoding suitable for broadcasting!
  • H.264 ITU-T Q6 / 16 VCEG
  • SJVT Joint Video Team
  • FIG. 1 is a block diagram of an image information encoding apparatus that realizes image compression by orthogonal transformation such as discrete cosine transformation or Karhunen-Loeve transformation and motion compensation. As shown in FIG.
  • the image information encoding device 100 includes an AZD (Analogue / Digital) converter 101, an image rearrangement buffer 102, an adder 103, an orthogonal transformer 104, a quantizer 105, A lossless encoder 106, a storage buffer 107, an inverse quantizer 108, an inverse orthogonal transformer 109, a deblock filter 110, a frame memory 111, a motion prediction 'compensator 112, and an intra predictor 113. , And a rate controller 114.
  • AZD Analogue / Digital
  • an AZD translator 101 converts an input image signal into a digital signal.
  • the image rearrangement buffer 102 rearranges frames according to the GOP (Group of Pictures) structure of the image compression information output from the image information encoding device 100.
  • the image rearrangement buffer 102 supplies the image information of the entire frame to the orthogonal transformer 104 for an image on which intra (intra-image) encoding is performed.
  • the orthogonal transformer 104 performs orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform on image information. And supplies the transform coefficients to the quantizer 105.
  • the quantizer 105 performs a quantization process on the transform coefficient supplied from the orthogonal transformation l04.
  • the lossless encoder 106 performs lossless encoding such as variable-length encoding and arithmetic encoding on the quantized transform coefficients, and supplies the encoded transform coefficients to the accumulation buffer 107 for accumulation. .
  • the encoded transform coefficients are output as image compression information.
  • the behavior of the quantizer 105 is controlled by a rate controller 114. Further, the quantizer 105 supplies the quantized transform coefficient to the inverse quantization unit 108, and the inverse quantizer 108 inversely quantizes the transform coefficient.
  • the inverse orthogonal transformer 109 performs an inverse orthogonal transform process on the inversely quantized transform coefficient to generate decoded image information.
  • the deblocking filter 110 removes block distortion from the decoded image information and supplies the block image to the frame memory 111 for storage.
  • the image rearrangement buffer 102 supplies the image information to the motion prediction / compensator 112 for an image on which inter (inter-image) encoding is performed.
  • the motion prediction 'compensator 112 extracts the image information to be referred to at the same time from the frame memory 111, and performs a motion prediction / compensation process to generate reference image information.
  • the motion prediction / compensation unit 112 supplies the reference image information to the adder 103, and the adder 103 converts the reference image information into a difference signal from the image information. Also, the motion compensation / prediction unit 112 supplies the motion vector information to the lossless encoder 106 at the same time.
  • the lossless encoder 106 performs a lossless encoding process such as variable-length encoding or arithmetic encoding on the motion vector information to form information to be inserted into a header portion of the image compression information.
  • the other processing is the same as that of the image compression information to be subjected to intra coding, and thus the description is omitted.
  • JVT Codec when performing intra coding, a predicted image is generated from pixels around a block and the prediction image is generated.
  • Intra prediction coding in which the difference is encoded, is employed. That is, for an image on which intra-coding is performed, a pixel-value-force prediction image in the vicinity of a pixel block to be coded, which has already been coded, is generated, and the difference from the prediction image is coded.
  • the inverse quantizer 108 and the inverse orthogonal transform 109 perform inverse quantization and inverse orthogonal transform on the intra-coded pixel, respectively, and the adder 103 outputs the output of the inverse orthogonal transformer 109 and the corresponding pixel block.
  • the prediction image used when encoding the frame is added, and the added value is supplied to the frame memory 111 to be accumulated.
  • the intra predictor 113 reads out neighboring pixels that have already been encoded and stored in the frame memory 111 to generate a predicted image.
  • the reversible encoder 106 also performs a reversible encoding process on the intra prediction mode used for generating the predicted image, and outputs the intra prediction mode together with the image compression information.
  • FIG. 2 shows a schematic configuration of an image information decoding device corresponding to the above-described image information encoding device 100.
  • the image information decoding device 120 includes an accumulation buffer 121, a lossless decoder 122, an inverse quantizer 123, an inverse orthogonal transformer 124, an adder 125, and an image rearrangement buffer 126.
  • a DZA (Digital / Analogue) translator 127 a motion prediction / compensator 128, a frame memory 129, and an intra predictor 130.
  • DZA Digital / Analogue
  • the storage buffer 121 transfers the information to the lossless decoder 122.
  • the lossless decoder 122 performs processing such as variable-length decoding or arithmetic decoding on the image compression information based on the determined format of the image compression information, and sends the quantized transform coefficients to the inverse quantizer 123. Supply. Further, when the lossless decoder 122 performs the S-inter coding, the lossless decoder 122 also decodes the motion level information stored in the header portion of the image compression information and performs motion estimation on the motion level information. ⁇ Supply to compensator 128.
  • the inverse quantizer 123 inversely quantizes the quantized transform coefficient supplied from the lossless decoder 122, and supplies the transform coefficient to the inverse orthogonal transformer 124.
  • the inverse orthogonal transformer 124 performs an inverse orthogonal transform such as an inverse discrete cosine transform or an inverse Karhunen-Loeve transform on the transform coefficients based on the determined format of the image compression information.
  • the image information subjected to the inverse orthogonal transform processing is stored in the image rearrangement buffer 126, and the DZA conversion processing in the DZA converter 127 is performed. Output later.
  • the motion predictor 'compensator 128 is based on the motion vector information subjected to the lossless decoding process and the image information stored in the frame memory 129. To generate a reference image and supply it to the adder 125. Adder 125 Combines the reference image with the output of the inverse orthogonal transform 24. Note that the other processing is the same as that of the frame subjected to the intra coding, and thus the description is omitted.
  • the intra predictor 130 reads the image from the frame memory 129, and A predicted image is generated according to the intra prediction mode subjected to the lossless decoding process in the decoder 122.
  • the adder 125 adds the output of the inverse orthogonal transform 124 and the predicted image.
  • the image information encoding device 100 and the image information decoding device 120 described above are described in JP-A-2001-199818 and JP-A-2002-20953.
  • the inverse orthogonal transformer 124 shown in FIG. 2 performs an 8 ⁇ 8/4 ⁇ 4 matrix calculation twice vertically and horizontally in units of 8 ⁇ 8Z4 ⁇ 4 pixels on the transform coefficients. Then, an inverse orthogonal transformation process is performed.
  • the calculation amount becomes enormous. For blocks where there are no coefficients (all pixel values are zero), the values do not change after this matrix processing (the values after conversion are all zero), so useless calculations are performed. Further, even when only the DC component of the block or a coefficient bias exists in the block, it may not be efficient to perform two matrix calculations of 8 ⁇ 8/4 ⁇ 4.
  • An image decoding apparatus provides an image decoding apparatus that blocks an input image signal, performs inverse transform on a block-by-block basis, inversely quantizes the quantized image compression information, and performs inverse orthogonal transform to perform decoding.
  • an inverse quantizer indicating the presence of the transform coefficients as a flag for each inverse quantization processing program and an inverse quantizer indicate And inverse transformation for changing the inverse transformation processing performed on the inverse quantization transformation coefficient in the processing block using the flag.
  • the inverse transformation ⁇ changes the inverse transformation performed on the inverse quantization transform coefficients in the processing block using the flag indicated by the inverse quantization means, so that the matrix in the vertical and horizontal directions is applied to all the blocks. There is no need to perform calculations.
  • An image decoding method is an image decoding method for dividing an input image signal into blocks, performing orthogonal transformation in block units, inversely quantizing the quantized image compression information, and performing inverse orthogonal transformation to perform decoding.
  • the decoding step of decoding the quantized and coded transform coefficients and when the transform coefficients decoded in the decoding step are dequantized the presence of the transform coefficients is flagged for each dequantization processing block.
  • an inverse transformation step of changing the inverse transformation performed on the inversely quantized transform coefficient in the processing block using the flag indicated by the inverse quantization step.
  • the inverse transformation processing performed on the inverse quantization transformation coefficient in the processing block is changed using the flag indicated by the inverse quantization step, so that the vertical and horizontal directions are applied to all the blocks. There is no need to perform matrix calculations.
  • An image decoding program provides an image decoding method for dividing an input image signal into blocks, performing an orthogonal transform in units of the blocks, inversely quantizing the quantized image compression information, and performing an inverse orthogonal transform to perform decoding.
  • the decoding step of decoding the quantized and encoded transform coefficients and the inverse quantization of the transform coefficients decoded in the decoding step are performed for each inverse quantization processing block.
  • the inverse transformation step the inverse transformation performed on the inverse quantization transformation coefficient in the processing block is changed using the flag indicated by the inverse quantization step, so that the vertical and horizontal directions are applied to all the blocks. There is no need to perform matrix calculations.
  • the image decoding device converts the transform coefficient decoded by the decoding unit into an inverse quantum
  • the quantizer performs inverse quantization
  • the presence of a transform coefficient is indicated by a flag for each inverse quantization processing block, and the inverse change ⁇ is calculated using the flag indicated by the inverse quantization means. Since the inverse transform processing applied to the quantized transform coefficients is changed, it is not necessary to perform the matrix calculation in the vertical and horizontal directions for all the blocks, so that the decoding processing can be performed at high speed.
  • the transform coefficient decoded in the decoding step is inversely quantized in the inverse quantization step
  • the presence of the transform coefficient is indicated by a flag for each inverse quantization processing block, and the inverse transform is performed. Since the process changes the inverse transform process applied to the inverse quantized transform coefficient in the processing block using the flag indicated by the inverse quantization process, the matrix calculation in the vertical and horizontal directions is performed for all the blocks. There is no need to perform this, and high-speed decoding can be performed.
  • the image decoding program according to the present invention is configured such that, when the transform coefficient decoded in the decoding step is inversely quantized in the inverse quantization step, the presence of the transform coefficient is indicated by a flag for each inverse quantization processing block, and the inverse transform
  • the process uses the flag indicated by the inverse quantization process to change the inverse transform processing applied to the inverse quantized transform coefficients in the block, so it is necessary to perform vertical and horizontal matrix calculations for all blocks. Therefore, the decoding process can be performed at high speed.
  • FIG. 1 is a block diagram showing a conventional image encoding device.
  • FIG. 2 is a block diagram showing an image decoding device.
  • FIG. 3 is a block diagram showing an image decoding device according to the present invention.
  • FIG. 4A is a diagram for describing an inverse quantization process by zigzag scanning by an inverse quantizer
  • FIG. 4B is a diagram for explaining coefficient flag management.
  • FIG. 5 is a diagram showing an expression of a transformation matrix of an inverse transformation in AVC.
  • FIG. 6 is a flowchart showing a flow of an inverse transformation process performed by an inverse transformer.
  • FIG. 7 is a flowchart showing a flow of an inverse transformation process performed by an inverse transformer.
  • FIG. 8A to FIG. 8C are diagrams provided for explanation of step S12 to step S14 shown in FIG.
  • the image decoding device 10 has a configuration as shown in FIG.
  • the image decoding apparatus 10 includes a lossless decoder 12 that receives a compressed image signal (bit stream) temporarily stored in a storage buffer (not shown) from an input terminal 11 and decodes a transform coefficient.
  • a lossless decoder 12 receives a compressed image signal (bit stream) temporarily stored in a storage buffer (not shown) from an input terminal 11 and decodes a transform coefficient.
  • an inverse quantizer 13 indicating the presence of a transform coefficient as a flag for each inverse quantization processing block and a flag indicated by the inverse quantizer 13 are used.
  • An inverse transform 14 for changing the inverse transform performed on the inverse quantized transform coefficient in the above processing block is provided.
  • the image decoding apparatus 10 performs an adder 15 for adding the output of the inverse transformation 14 and the output of the motion prediction compensator 'intra predictor 19 described later, An output terminal 17 and a deblocking filter 16 for supplying a corrected output obtained by correcting block distortion to a frame memory 20 described later are provided.
  • the image decoding apparatus 10 includes a motion vector decoder 18 that decodes a motion vector from a decoded output of the lossless decoder 12, an intra prediction image based on an image from the frame memory 20, and a motion vector decoder 18.
  • the apparatus includes a motion prediction compensation 'intra predictor 19' for generating an inter prediction image based on a motion vector and an image from the frame memory 20.
  • the compressed image signal is also supplied to the lossless decoder 12 via the input terminal 11 through the input terminal 11.
  • the compressed image signal is divided into blocks by the image encoding device, and is quantized by performing orthogonal transform in block units. It becomes.
  • the lossless decoder 12 performs processing such as variable-length decoding or arithmetic decoding on the image compression information based on the determined format of the image compression information, and supplies the quantized transform coefficients to the inverse quantizer 13. .
  • the lossless decoder 12 supplies the image compression information to the motion vector decoder 18 when the frame power is S inter-coded.
  • the motion vector decoder 18 decodes the motion vector information stored in the header of the image compression information, and uses the information as a motion prediction compensator Supplied to SOKKI 19.
  • the inverse quantizer 13 inversely quantizes the quantized transform coefficient supplied from the lossless decoder 12, and supplies the transform coefficient to the inverse-linear transformer 14.
  • the inverse transformer 14 performs an inverse orthogonal transform such as an inverse discrete cosine transform or an inverse Karhunen-Loeve transform on the transform coefficients based on the format of the determined image compression information.
  • the motion prediction compensation intra predictor 19 reads the image from the frame memory 20 and performs the intra lossy decoding process in the lossless decoder 12.
  • a predicted image is generated according to the prediction mode.
  • the adder 15 adds the output of the inverse transformation 14 and the predicted image.
  • the motion prediction compensation intra predictor 19 calculates the motion vector information subjected to the lossless decoding process and the image information stored in the frame memory 20.
  • a reference image is generated on the basis of, and is supplied to the adder 15.
  • the adder 15 combines the reference image and the output of the inverse orthogonal transform 14.
  • One of the added outputs from the adder 15 is subjected to DZA conversion from an output terminal 17 after the block distortion is removed by a deblocking filter 16, subjected to DZA conversion processing, and output.
  • the inverse quantizer 13 When the transform coefficient decoded by the lossless decoder 12 is inversely quantized, the inverse quantizer 13 indicates the presence of the transform coefficient as a flag for each inverse quantization processing block. For example, in AVC, the inverse quantizer 13 performs inverse quantization on the transform coefficients decoded by the lossless decoder 12 for each 4 ⁇ 4 block as shown in FIG. Inverse quantization is performed while performing zigzag scanning as shown. At this time, the inverse quantizer 13 manages a coefficient generation position in the 4 ⁇ 4 block with a flag as shown in FIG. 4B. The position of the coefficient appearing in the 4 ⁇ 4 block shown in FIG. 4A is indicated by using the 0 and 1 flags as shown in FIG. 4B, and is retained.
  • the inverse transform of AVC which is performed by the inverse transformer 14 employs a special transform method that is an improvement of the 4 ⁇ 4 inverse discrete cosine transform (IDCT), and the formula of the transform matrix is shown in FIG. Become like
  • the inverse transform processing applied to the inverse quantized transform coefficients in the 4 ⁇ 4 processing block is changed.
  • the inverse transformation is determined to be the coefficient flag power ⁇ at the time of the inverse transformation (YES in step S1)
  • the inverse transformation is not performed, and the coefficient flag is set.
  • an inverse conversion process is performed (step S2). Therefore, as shown by the all-zeros flag, this block is not subjected to this inverse transformation. That is, the inverse transform processing to be performed on the inverse quantization coefficient in the processing block is skipped.
  • the inverse transformer 14 simplifies the inverse transformation processing depending on where the coefficients are generated.
  • the location where the coefficient is generated is determined based on the flag generation pattern. For example, in the processing procedure shown in FIG. 7, the flag pattern is checked in step S11, and when it is determined that the DC component has a coefficient in only the upper left pixel in the 4 ⁇ 4 block, for example, in step S12, Change the inverse transformation process. Further, the flag pattern is checked in step S11, and when it is determined that the horizontal pattern has a coefficient only in the uppermost pixel in the block, the inverse transformation processing is changed in step S13. Also, the flag pattern is checked in step S11, and if it is determined that the vertical pattern has coefficients only in the pixels in the leftmost column in the block, the inverse conversion is performed in step S14. Change processing.
  • the inverse transformer 14 calculates the DC component value a in step S12 as shown in FIG. 8A. Copied to all pixel values and used as converted coefficients.
  • the coefficients a, b, c, and d exist only in the uppermost pixel in the above block and the rest are horizontal patterns in which all the flags are 0, the inverse change is performed in step S13 as shown in FIG. Then, the horizontal conversion is performed to obtain a, b, c, d '. The pixel values are then copied in the vertical direction to obtain the converted coefficients.
  • the inverse transformer 14 proceeds to step S14.
  • vertical conversion is performed, and a ', b', c ', and d' are copied as pixel values in the horizontal direction to obtain converted coefficients.
  • the image decoding device 10 can achieve high-speed decoding processing.
  • an image for decoding a compressed image signal encoded by a coding method standardized by JVT (hereinafter, JVT Codec or H.264
  • the configuration is the same as that of the image information decoding device 120 shown in FIG. 2 described above.
  • the image decoding apparatus according to the second embodiment performs the inverse quantization when the inverse quantizer 123 shown in FIG. 2 inversely quantizes the transform coefficient decoded by the lossless decoder 122.
  • the presence of a conversion coefficient is indicated by a flag for each processing block.
  • the processing block consists of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, or 16 ⁇ 16 pixels.
  • the inverse orthogonal transformer 124 performs an inverse transform on the inverse quantized transform coefficient in the 4 ⁇ 4 processing block based on the flag value shown in FIG. 4B held by the inverse quantizer 123. Change the dangling process.
  • the inverse orthogonal transformer 124 changes the inverse transform processing according to the processing procedure already described with reference to FIGS. 6, 7, 8A to 8C. Details are omitted. Therefore, in the second embodiment, it is not necessary to perform the matrix calculation in the vertical and horizontal directions for all the blocks having 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, or 16 ⁇ 16 pixels. High-speed decoding can be achieved.
  • the third embodiment is a local decoder in the image information coding apparatus 100 as shown in FIG. 1 described above.
  • the local decoder comprises an inverse quantizer 108 and an inverse orthogonal transformer l09.
  • the inverse quantizer 123 performs an inverse quantization process on the transform coefficient quantized by the quantizer 105, the presence of the transform coefficient is indicated by a flag for each inverse quantization processing block.
  • the processing block consists of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, or 16 ⁇ 16 pixels.
  • the inverse orthogonal transform 109 changes the inverse transform process performed on the inverse quantized transform coefficient in the processing block based on the value of the flag shown in FIG. 4B held by the inverse quantizer.
  • the inverse orthogonal transformation 109 changes the inverse transformation process according to the processing procedure already described with reference to FIGS. 6, 7, 8A to 8C. Details are omitted.
  • the image decoding apparatus can achieve high-speed decoding processing.
  • the image decoding apparatus, the image decoding method, and the image decoding program according to the present invention include an orthogonal transform and a motion such as a discrete cosine transform or a power-runen-Loeve transform, such as MPEG (Moving Picture Experts Group), H.
  • a motion such as a discrete cosine transform or a power-runen-Loeve transform, such as MPEG (Moving Picture Experts Group), H.
  • MPEG Motion Picture Experts Group
  • image compression information bit stream
  • a network medium such as satellite broadcasting, cable TV or the Internet
  • a storage medium such as an optical disk, a magnetic disk, or a flash memory. Used when processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　本発明は、入力画像信号をブロック化し、ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像復号装置であり、量子化され符号化された変換係数を復号する可逆復号器（１２）と、可逆復号器（１２）によって復号された変換係数を逆量子化する際に、逆量子化の処理ブロック毎に変換係数の存在をフラグにして示す逆量子化器（１３）と、逆量子化器（１３）によって示されたフラグを用いて処理ブロック内の逆量子化変換係数に施す逆変換化処理を変更する逆変換器（１４）とを備える。

Description

画像復号装置及び画像復号方法並びに画像復号プログラム 技術分野
[0001] 本発明は、画像復号装置及び画像復号方法並びに画像復号プログラムに関し、さ らに詳しくは、 MPEG (Moving Picture Experts Group)、 H. 26x等のように、離散コ サイン変換又はカルーネン 'レーべ変換等の直交変換と動き予測'補償とによって圧 縮された画像圧縮情報 (ビットストリーム）を、衛星放送、ケーブル TV若しくはインタ 一ネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディス ク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像復号装 置及び画像復号方法並びに画像復号プログラムに関する。
本出願は、日本国において 2003年 12月 15日に出願された日本特許出願番号 20 03-417336を基礎として優先権を主張するものであり、この出願は参照することに より、本出願に援用される。
背景技術
[0002] 従来、画像情報をデジタルデータとして取り扱!/、、その際、効率の高!、情報の伝送 、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交 変換と動き予測 *補償とにより圧縮する MPEGなどの方式に準拠した装置が、放送 局などの情報配信、及び一般家庭における情報受信の双方にぉ 、て用いられて ヽ る。
特に、 MPEG2 (ISO/IEC 13818- 2)は、汎用画像符号化方式として定義されており 、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精 細画像を網羅する標準で、プロフェッショナル用途及びコンシユーマ用途の広範なァ プリケーシヨンに現在広く用いられている。 MPEG2圧縮方式を用いることにより、例 えば 720 X 480画素を持つ標準解像度の飛び越し走査画像であれば 4一 8Mbps、 1920 X 1088画素を持つ高解像度の飛び越し走査画像であれば 18— 22Mbpsの 符号量 (ビットレート)を割り当てることで、高 、圧縮率と良好な画質の実現が可能で ある。 MPEG2は主として放送用に適合する高画質符号化を対象として!/ヽたが、 MPEG 1より低 、符号量 (ビットレート）、つまりより高 、圧縮率の符号化方式には対応して ヽ なかった。しかし、携帯端末の普及により、今後そのような符号ィ匕方式のニーズは高 まると思われ、これに対応して MPEG4符号化方式の標準化が行われた。画像符号 化方式に関しては、 1998年 12月に ISO/IEC 14496-2としてその規格が国際標準に 承認された。
さらに、近年、テレビ会議用の画像符号ィ匕を当初の目的として、 H.264 (ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。 H. 264は、 MPEG2や MPEG4 といった従来の符号ィ匕方式に比べ、その符号化、復号により多くの演算量が要求さ れるものの、より高い符号ィ匕効率が実現されることが知られている。また、現在、 MPE G4の活動の一環として、この H. 264をベースに、 H. 264ではサポートされない機 能をも取り入れ、より高い符号ィ匕効率を実現する標準化力 SJVT (Joint Video Team)に よって行われている。
JVTで標準化が行われている符号ィ匕方式（以下、 JVT Codec又は H. 264 | MP EG— 4 AVC)の具体例の画像情報符号ィ匕装置について説明する。図 1は離散コサ イン変換若しくはカルーネン 'レーべ変換等の直交変換と動き補償により画像圧縮を 実現する画像情報符号化装置のブロック図である。図 1に示すように、画像情報符号 化装置 100は、 AZD (Analogue/Digital)変換器 101と、画像並び替えバッファ 102 と、加算器 103と、直交変換器 104と、量子化器 105と、可逆符号化器 106と、蓄積 バッファ 107と、逆量子化器 108と、逆直交変換器 109と、デブロックフィルタ 110と、 フレームメモリ 111と、動き予測'補償器 112と、イントラ予測器 113と、レート制御器 1 14とにより構成されている。
図 1において、 AZD変翻101は、入力された画像信号をデジタル信号に変換 する。画像並び替えバッファ 102は、当該画像情報符号ィ匕装置 100から出力される 画像圧縮情報の GOP (Group of Pictures)構造に応じて、フレームの並べ替えを行う 。ここで、画像並び替えバッファ 102は、イントラ (画像内）符号ィ匕が行われる画像に 関しては、フレーム全体の画像情報を直交変換器 104に供給する。直交変換器 104 は、画像情報に対して離散コサイン変換又はカルーネン 'レーべ変換等の直交変換 を施し、変換係数を量子化器 105に供給する。量子化器 105は、直交変 l04か ら供給された変換係数に対して量子化処理を施す。
可逆符号化器 106は、量子化された変換係数に対して可変長符号化、算術符号 化等の可逆符号ィ匕を施し、符号化された変換係数を蓄積バッファ 107に供給して蓄 積させる。この符号化された変換係数は、画像圧縮情報として出力される。
量子化器 105の挙動は、レート制御器 114によって制御される。また、量子化器 10 5は、量子化後の変換係数を逆量子化部 108に供給し、逆量子化器 108は、その変 換係数を逆量子化する。逆直交変換器 109は、逆量子化された変換係数に対して 逆直交変換処理を施して復号画像情報を生成する。デブロックフィルタ 110は、復号 画像情報からブロック歪みを除去し、フレームメモリ 111に供給して蓄積させる。 一方、画像並び替えバッファ 102は、インター（画像間）符号化が行われる画像に 関しては、画像情報を動き予測'補償器 112に供給する。動き予測'補償器 112は、 同時に参照される画像情報をフレームメモリ 111より取り出し、動き予測 ·補償処理を 施して参照画像情報を生成する。動き予測'補償部 112は、この参照画像情報を加 算器 103に供給し、加算器 103は、参照画像情報を当該画像情報との差分信号に 変換する。また、動き補償 ·予測器 112は、同時に動きベクトル情報を可逆符号化器 106に供給する。
可逆符号化器 106は、その動きベクトル情報に対して可変長符号化又は算術符号 化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成 する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同 様であるため、説明を省略する。
ここで、上述し^ JVTで標準化が行われている符号ィ匕方式 (以下、 JVT Codecという 。）では、イントラ符号ィ匕を行う際に、ブロック周辺の画素から予測画像を生成してそ の差分を符号ィ匕するというイントラ予測符号ィ匕が採用されている。すなわち、イントラ 符号ィ匕が行われる画像に関しては、符号化する画素ブロックの近傍の既に符号化が 終了した画素値力 予測画像を生成し、その予測画像との差分が符号化される。逆 量子化器 108及び逆直交変翻 109は、イントラ符号化された画素をそれぞれ逆量 子化及び逆直交変換し、加算器 103は、逆直交変換器 109の出力と当該画素ブロッ クを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ 11 1に供給して蓄積させる。イントラ予測器 113は、イントラ符号化される画素ブロックの 場合には、既に符号ィ匕が終了しフレームメモリ 111に蓄積されて 、る近傍画素を読 み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モー ドについても可逆符号化器 106において可逆符号ィ匕処理を施し、画像圧縮情報に 含めて出力する。
続、て、上述した画像情報符号化装置 100に対応する画像情報復号装置の概略 構成を図 2に示す。画像情報復号装置 120は、図 2に示すように、蓄積バッファ 121 と、可逆復号器 122と、逆量子化器 123と、逆直交変換器 124と、加算器 125と、画 像並び替えバッファ 126と、 DZA (Digital/Analogue)変翻 127と、動き予測'補償 器 128と、フレームメモリ 129と、イントラ予測器 130とにより構成されている。
図 2において、蓄積バッファ 121は、入力された画像圧縮情報を一時的に格納した 後、可逆復号器 122に転送する。可逆復号器 122は、定められた画像圧縮情報のフ ォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施 し、量子化された変換係数を逆量子化器 123に供給する。また、可逆復号器 122は 、当該フレーム力 Sインター符号ィ匕されたものである場合には、画像圧縮情報のヘッダ 部に格納された動きべ外ル情報についても復号し、その情報を動き予測 ·補償器 12 8に供給する。
逆量子化器 123は、可逆復号器 122から供給された量子化後の変換係数を逆量 子化し、変換係数を逆直交変換器 124に供給する。逆直交変換器 124は、定められ た画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換又 は逆カルーネン ·レーべ変換等の逆直交変換を施す。
ここで、当該フレーム力 Sイントラ符号ィ匕されたものである場合には、逆直交変換処理 が施された画像情報は、画像並び替えバッファ 126に格納され、 DZA変換器 127 における DZA変換処理の後に出力される。
一方、当該フレーム力 Sインター符号化されたものである場合には、動き予測'補償 器 128は、可逆復号処理が施された動きベクトル情報とフレームメモリ 129に格納さ れた画像情報とに基づいて参照画像を生成し、加算器 125に供給する。加算器 125 は、この参照画像と逆直交変 24の出力とを合成する。なお、その他の処理に ついては、イントラ符号ィ匕されたフレームと同様であるため、説明を省略する。
なお、 JVT Codecではイントラ予測符号ィ匕が採用されているため、当該フレームがィ ントラ符号ィ匕されたものである場合には、イントラ予測器 130は、フレームメモリ 129か ら画像を読み出し、可逆復号器 122において可逆復号処理が施されたイントラ予測 モードに従って予測画像を生成する。加算器 125は、逆直交変翻124の出力とこ の予測画像とを加算する。
以上説明した画像情報符号化装置 100及び画像情報復号装置 120については、 特開 2001— 199818号公報、特開 2002—20953号公報に記載されている。
ところで、図 2に示す逆直交変換器 124では、変換係数に対して例えば 8 X 8Z4 X 4画素のブロックの単位で縦'横方向で 2回の 8 X 8/4 X 4のマトリックス計算を行 つて逆直交変換処理を施す。しかし、復号処理において、画像を 8 X 8Z4 X 4画素 に分割したブロック全てを逆変換処理するには、計算量が膨大になってしまう。係数 が全く存在しないブロック（画素値が全てゼロ）に対しては、このマトリックス処理後も 値の変動はない (変換後の値が全てゼロ)ため無駄な計算をすることになる。また、ブ ロックの DC成分のみ或いは、ブロック中に係数の偏りが存在する場合にも、 8 X 8/ 4 X 4の 2回のマトリックス計算を行うには効率がよくな 、場合がある。
発明の開示
発明が解決しょうとする課題
本発明の目的は、上述したような従来の技術が有する問題点を解消することができ る新規な画像復号装置及び画像復号方法並びに画像復号プログラムすることにある 本発明の他の目的は、逆変換手段による逆変換処理の効率化と計算コストの削減 を図り、復号処理の高速化を達成できる画像復号装置及び画像復号方法、並びに 画像復号プログラムの提供することにある。
本発明に係る画像復号装置は、入力画像信号をブロック化し、ブロック単位で直交 変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号 する画像復号装置にぉ ヽて、量子化され符号化された変換係数を復号する復号器 と、復号器によって復号された変換係数を逆量子化する際に、逆量子化の処理プロ ック毎に変換係数の存在をフラグにして示す逆量子化器と、逆量子化器によって示 されたフラグを用いて処理ブロック内の逆量子化変換係数に施す逆変換化処理を変 更する逆変翻とを備える。
逆変 ^^は、逆量子化手段によって示されたフラグを用いて処理ブロック内の逆量 子化変換係数に施す逆変換ィ匕処理を変更するので、全てのブロックにおいて縦'横 方向のマトリックス計算を行う必要がなくなる。
本発明に係る画像復号方法は、入力画像信号をブロック化し、ブロック単位で直交 変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号 する画像復号方法にぉ ヽて、量子化され符号化された変換係数を復号する復号ェ 程と、復号工程によって復号された変換係数を逆量子化する際に、逆量子化の処理 ブロック毎に変換係数の存在をフラグにして示す逆量子化工程と、逆量子化工程に よって示されたフラグを用いて処理ブロック内の逆量子化変換係数に施す逆変換ィ匕 処理を変更する逆変換工程とを備える。
逆変換工程は、逆量子化工程によって示されたフラグを用いて処理ブロック内の逆 量子化変換係数に施す逆変換ィ匕処理を変更するので、全てのブロックにお 、て縦 · 横方向のマトリックス計算を行う必要がなくなる。
本発明に係る画像復号プログラムは、入力画像信号をブロック化し、該ブロック単 位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施 して復号する画像復号方法を実行する画像復号プログラムにおいて、量子化され符 号化された変換係数を復号する復号工程と、復号工程によって復号された変換係数 を逆量子化する際に、逆量子化の処理ブロック毎に変換係数の存在をフラグにして 示す逆量子化工程と、逆量子化工程によって示されたフラグを用いて処理ブロック内 の逆量子化変換係数に施す逆変換ィ匕処理を変更する逆変換工程とを備える。 逆変換工程は、逆量子化工程によって示されたフラグを用いて処理ブロック内の逆 量子化変換係数に施す逆変換ィ匕処理を変更するので、全てのブロックにお 、て縦 · 横方向のマトリックス計算を行う必要がなくなる。
本発明に係る画像復号装置は、復号手段によって復号された変換係数を逆量子 化手段が逆量子化する際に、逆量子化の処理ブロック毎に変換係数の存在をフラグ にして示し、逆変 ^^は逆量子化手段によって示されたフラグを用いて処理ブロック 内の逆量子化変換係数に施す逆変換ィヒ処理を変更するので、全てのブロックにお いて縦'横方向のマトリックス計算を行う必要がなくなり、よって復号処理の高速ィ匕を 図ることができる。
本発明に係る画像復号方法は、復号工程によって復号された変換係数を逆量子 化工程が逆量子化する際に、逆量子化の処理ブロック毎に変換係数の存在をフラグ にして示し、逆変換工程は逆量子化工程によって示されたフラグを用いて処理ブロッ ク内の逆量子化変換係数に施す逆変換ィ匕処理を変更するので、全てのブロックにお いて縦'横方向のマトリックス計算を行う必要がなくなり、よって復号処理の高速ィ匕を 図ることができる。
本発明に係る画像復号プログラムは、復号工程によって復号された変換係数を逆 量子化工程が逆量子化する際に、逆量子化の処理ブロック毎に変換係数の存在を フラグにして示し、逆変換工程は逆量子化工程によって示されたフラグを用いて処理 ブロック内の逆量子化変換係数に施す逆変換ィヒ処理を変更するので、全てのブロッ クにおいて縦'横方向のマトリックス計算を行う必要がなくなり、よって復号処理の高 速ィ匕を図ることができる。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下において 図面を参照して説明される実施の形態の説明力 一層明らかにされるであろう。 図面の簡単な説明
[図 1]図 1は、従来の画像符号化装置を示すブロック図である。
[図 2]図 2は、画像復号装置を示すブロック図である。
[図 3]図 3は、本発明に係る画像復号装置を示すブロック図である。
[図 4]図 4Aは逆量子化器によるジグザグスキャンによる逆量子化処理の説明に供す る図であり、図 4Bは係数のフラグ管理を説明するための図である。
[図 5]図 5は、 AVCにおける逆変換の変換マトリックスの式を示す図である。
[図 6]図 6は、逆変換器の逆変換ィ匕処理の流れを示すフローチャートである。
[図 7]図 7は、逆変換器の逆変換ィ匕処理の流れを示すフローチャートである。 [図 8]図 8A—図 8Cは、図 5に示すステップ S12—ステップ S14の説明に供する図で ある。
発明を実施するための最良の形態
以下、本発明を実施するための幾つかの最良の形態を説明する。
まず、第 1の実施の形態を説明する。第 1の実施の形態に係る画像復号装置 10は 、図 3に示すような構成を備える。この画像復号装置 10は、図示しない蓄積バッファ に一時的に格納された画像圧縮信号 (ビットストリーム）が入力端子 11から供給され て変換係数を復号する可逆復号器 12と、可逆復号器 12によって復号された変換係 数を逆量子化する際に、逆量子化の処理ブロック毎に変換係数の存在をフラグにし て示す逆量子化器 13と、逆量子化器 13によって示されたフラグを用いて上記処理 ブロック内の逆量子化変換係数に施す逆変換ィ匕処理を変更する逆変 14を備え ている。
また、画像復号装置 10は、逆変翻14の出力と後述する動き予測補償器'イントラ 予測器 19の出力とを加算する加算器 15と、加算器 15の加算出力にデブロック処理 を施してブロックの歪みを補正した補正出力を出力端子 17及び後述するフレームメ モリ 20に供給するデブロックフィルタ 16を備えている。さらに、画像復号装置 10は、 可逆復号器 12による復号出力から動きベクトルをデコードする動きベクトルデコーダ 18と、フレームメモリ 20からの画像に基づいてイントラ予測画像を生成するとともに動 きベクトルデコーダ 18からの動きベクトルとフレームメモリ 20からの画像に基づいてィ ンター予測画像を生成する動き予測補償'イントラ予測器 19を備えている。
図 3において、蓄積バッファ力も入力端子 11を介して可逆復号器 12に供給される 圧縮画像信号は、画像符号化装置にて入力画像信号をブロック化し、ブロック単位 で直交変換を施して量子化されてなる。可逆復号器 12は、定められた画像圧縮情報 のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理 を施し、量子化された変換係数を逆量子化器 13に供給する。また、可逆復号器 12 は、当該フレーム力 Sインター符号ィ匕されたものである場合には、画像圧縮情報を動き ベクトルデコーダ 18に供給する。動きベクトルデコーダ 18は、画像圧縮情報のヘッダ 部に格納された動きべ外ル情報を復号し、その情報を動き予測補償器'イントラ予 測器 19に供給する。
逆量子化器 13は、可逆復号器 12から供給された量子化後の変換係数を逆量子化 し、変換係数を逆直変換器 14に供給する。逆変換器 14は、定められた画像圧縮情 報のフォーマットに基づき、変換係数に対して逆離散コサイン変換又は逆カルーネン •レーべ変換等の逆直交変換を施す。
ここで、当該フレーム力イントラ符号化されたものである場合には、動き予測補償'ィ ントラ予測器 19は、フレームメモリ 20から画像を読み出し、可逆復号器 12において 可逆復号処理が施されたイントラ予測モードに従って予測画像を生成する。加算器 1 5は、逆変翻14の出力とこの予測画像とを加算する。
一方、当該フレーム力 Sインター符号化されたものである場合には、動き予測補償'ィ ントラ予測器 19は、可逆復号処理が施された動きベクトル情報とフレームメモリ 20に 格納された画像情報とに基づいて参照画像を生成し、加算器 15に供給する。加算 器 15は、この参照画像と逆直交変翻14の出力とを合成する。
加算器 15からのいずれかの加算出力は、デブロックフィルタ 16によってブロック歪 みが除去されたのち出力端子 17から DZA変^^に供給され DZA変換処理が施 されて出力される。
逆量子化器 13は、可逆復号器 12によって復号された変換係数を逆量子化する際 に、逆量子化の処理ブロック毎に変換係数の存在をフラグにして示す。例えば、 AV Cにおいて、逆量子化器 13は、可逆復号器 12によって復号された変換係数を逆量 子化する際に図 4Aに示すような 4 X 4のブロック毎に、図中矢印 Zで示すようなジグ ザグスキャンをしながら逆量子化する。このとき、逆量子化器 13は、図 4Bに示すよう に 4 X 4ブロック内の係数発生位置をフラグで管理する。図 4Aに示す 4 X 4ブロックに 現れた係数の位置を、図 4Bに示すように、 0, 1のフラグを用いることによって示し、こ れを保持する。
逆変換器 14で行われる、例えば AVCの逆変換は、 4 X 4の逆離散コサイン変換 (I DCT)を改良した特殊な変換方式が採られており、その変換マトリックスの式は図 5に 示すようになる。
この逆変換器 14では、逆量子化器 13が保持している 4Bに示すフラグの値を基に 、 4 X 4の処理ブロック内の逆量子化変換係数に施す逆変換ィ匕処理を変更する。図 6 に処理手順を示すように、逆変 は、逆変換の際に、係数フラグ力^であると判 断したとき (ステップ S1にて YES)には逆変換処理を施さず、係数フラグが 0でないと 判断したとき (ステップ S1にて NO)に逆変換処理を施す (ステップ S 2)。したがって、 全て 0フラグにて示されるように係数が全く存在しないブロックに対してはこの逆変換 の処理を行わない。つまり、上記処理ブロック内の逆量子化係数に施すべき逆変換 処理をスキップする。
また、この逆変換器 14では、係数の発生場所によって逆変換処理を簡略化する。 係数の発生場所は、フラグの発生パターンによって判断する。例えば、図 7に示す処 理手順において、ステップ S11にてフラグパターンをチェックし、 4 X 4ブロック内の例 えば左上の画素にのみ係数が表れる DC成分であると判断したときにはステップ S 12 にて逆変換化処理を変更する。また、ステップ S 11にてフラグパターンをチェックし、 ブロック内の最上段の画素にのみ係数が存在する水平パターンであると判断したとき にはステップ S 13にて逆変換ィ匕処理を変更する。また、ステップ S 11にてフラグパタ ーンをチェックし、上記ブロック内の左端の列の画素にのみ係数が存在する垂直パタ ーンであると判断したきにはステップ S 14にて逆変換ィ匕処理を変更する。
DC成分 (4 X 4ブロックの左上の画素）にのみ係数 aが現れ、残りが全てフラグ 0で あるとき逆変換器 14は、ステップ S12にて、図 8Aに示すように DC成分の値 aを全て の画素値に複写して変換後の係数とする。上記ブロック内の最上段の画素にのみ係 数 a, b, c, dが存在し、残りが全てフラグ 0である水平パターンであるとき逆変 は、ステップ S13にて、図 8Bに示すように、横方向の変換を行って a，， b，， c，， d'と してあとは縦方向に画素値を複写して変換後の係数とする。また、上記ブロック内の 左端の列の画素にのみ係数 a, b, c, dが存在し、残りが全てフラグ 0である垂直パタ ーンであるとき逆変換器 14はステップ S14にて、図 8Cに示すように、縦方向の変換 を行って a' , b' , c' , d'としてあとは横方向に画素値を複写して変換後の係数とする このように逆変 14は、全てのブロックにおいて縦'横方向のマトリックス計算を 行う必要がなくなり、よって画像復号装置 10では復号処理の高速ィ匕を図ることができ る。
次に、本発明の第 2の実施の形態について説明する。この第 2の実施の形態は、 J VTで標準化が行われている符号化方式（以下、 JVT Codec又は H. 264 | MPE G— 4 AVC)にて符号化された圧縮画像信号を復号する画像復号装置である。その 構成は、前述した図 2に示す画像情報復号装置 120と同様である。ただし、第 2の実 施の形態の画像復号装置は、図 2で示す逆量子化器 123にて、可逆復号器 122に よって復号された変換係数を逆量子化する際に、逆量子化の処理ブロック毎に変換 係数の存在をフラグにして示す。処理ブロックは、 4 X 4画素、 8 X 8画素、或いは 16 X 16画素からなる。
また、逆直交変換器 124は、逆量子化器 123が保持している上述した図 4Bに示す フラグの値を基に、 4 X 4の処理ブロック内の逆量子化変換係数に施す逆変換ィ匕処 理を変更する。逆直交変換器 124は、図 6、図 7、図 8A—図 8Cを参照して既に説明 したような処理手順により逆変換化処理を変更する。詳細にっ ヽては省略する。 したがって、この第 2の実施の形態も、 4 X 4画素、 8 X 8画素、或いは 16 X 16画素 力もなる全てのブロックにおいて縦'横方向のマトリックス計算を行う必要がなくなり、 よって画像復号装置では復号処理の高速ィ匕を図ることができる。
次に、第 3の実施の形態について説明する。この第 3の実施の形態は、前述した図 1に示したような画像情報符号ィ匕装置 100内のローカルデコーダである。ローカルデ コーダは、逆量子化器 108と逆直交変 l09からなる。量子化器 105で量子化さ れた変換係数に逆量子化器 123にて逆量子化処理を施す際に、逆量子化の処理ブ ロック毎に変換係数の存在をフラグにして示す。処理ブロックは、 4 X 4画素、 8 X 8画 素、或いは 16 X 16画素からなる。
逆直交変翻109は、逆量子化器 108が保持している図 4Bに示すフラグの値を 基に、処理ブロック内の逆量子化変換係数に施す逆変換ィ匕処理を変更する。逆直 交変翻109は、図 6、図 7、図 8A—図 8Cを参照して既に説明したような処理手順 により逆変換ィ匕処理を変更する。詳細については省略する。
したがって、この第 3の実施の形態も、 4 X 4画素、 8 X 8画素、或いは 16 X 16画素 力もなる全てのブロックにおいて縦'横方向のマトリックス計算を行う必要がなくなり、 よって画像復号装置では復号処理の高速ィ匕を図ることができる。
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく
、添付の請求の範囲及びその主旨を逸脱することなぐ様々な変更、置換又はその 同等のものを行うことができることは当業者にとって明らかである。 産業上の利用可能性
本発明に係る画像復号装置及び画像復号方法並びに画像復号プログラムは、 MP EG (Moving Picture Experts Group)、 H. 26x等のように、離散コサイン変換又は力 ルーネン 'レーべ変換等の直交変換と動き予測'補償とによって圧縮された画像圧縮 情報 (ビットストリーム）を、衛星放送、ケーブル TV若しくはインターネット等のネットヮ ークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュ メモリ等の記憶メディア上で処理する際に用いられる。

Claims

請求の範囲
[1] 1.入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された 画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像復号装置にお!ヽて 量子化され符号化された変換係数を復号する復号手段と、
上記復号手段によって復号された上記変換係数を逆量子化する際に、逆量子化 の処理ブロック毎に変換係数の存在をフラグにして示す逆量子化手段と、
上記逆量子化手段によって示されたフラグを用いて上記処理ブロック内の逆量子 化変換係数に施す逆変換化処理を変更する逆変換手段と
を備えることを特徴とする画像復号装置。
[2] 2.上記逆変換手段は、上記逆量子化手段によって示されたフラグを用いて上記処 理ブロック内の逆量子化変換係数に施すべき逆変換処理をスキップすることを特徴と する請求の範囲第 1項記載の画像復号装置。
[3] 3.上記逆変換手段は、上記逆量子化手段によって示されたフラグを用いて上記処 理ブロック内の逆量子化変換係数に施すべき逆変換処理を簡略ィ匕することを特徴と する請求の範囲第 1項記載の画像復号装置。
[4] 4.上記逆変換手段は、上記逆量子化手段によって示されたフラグにより逆量子化変 換係数が DC成分のみであることを判断したときには上記 DC成分の値を上記処理ブ ロック内の残りの全ての画素値に複写して逆変換ィ匕処理を行うことを特徴とする請求 の範囲第 1項記載の画像復号装置。
[5] 5.上記逆変換手段は、上記逆量子化手段によって示されたフラグにより逆量子化変 換係数が上記処理ブロック内の水平方向にのみ存在することを判断したときには横 方向の変換を行って力ゝら縦方向に画素値を複写して逆変換ィ匕処理を行うことを特徴 とする請求の範囲第 1項記載の画像復号装置。
[6] 6.上記逆変換手段は、上記逆量子化手段によって示されたフラグにより逆量子化変 換係数が上記処理ブロック内の垂直方向にのみ存在することを判断したときには縦 方向の変換を行って力 横方向に画素値を複写して逆変換ィ匕処理を行うことを特徴 とする請求の範囲第 1項記載の画像復号装置。
[7] 7.入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された 画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像復号方法にお！、て 量子化され符号化された変換係数を復号する復号工程と、
上記復号工程によって復号された上記変換係数を逆量子化する際に、逆量子化 の処理ブロック毎に変換係数の存在をフラグにして示す逆量子化工程と、
上記逆量子化工程によって示されたフラグを用いて上記処理ブロック内の逆量子 化変換係数に施す逆変換化処理を変更する逆変換工程と
を備えることを特徴とする画像復号方法。
[8] 8.上記逆変換工程は、上記逆量子化工程によって示されたフラグを用いて上記処 理ブロック内の逆量子化変換係数に施すべき逆変換処理をスキップすることを特徴と する請求の範囲第 7項記載の画像復号方法。
[9] 9.上記逆変換工程は、上記逆量子化工程によって示されたフラグを用いて上記処 理ブロック内の逆量子化変換係数に施すべき逆変換処理を簡略ィ匕することを特徴と する請求の範囲第 7項記載の画像復号方法。
[10] 10.上記逆変換工程は、上記逆量子化工程によって示されたフラグにより逆量子化 変換係数が DC成分のみであることを判断したときには上記 DC成分の値を上記処理 ブロック内の残りの全ての画素値に複写して逆変換ィ匕処理を行うことを特徴とする請 求の範囲第 7項記載の画像復号方法。
[11] 11.上記逆変換工程は、上記逆量子化工程によって示されたフラグにより逆量子化 変換係数が上記処理ブロック内の水平方向にのみ存在することを判断したときには 横方向の変換を行って力 縦方向に画素値を複写して逆変換ィ匕処理を行うことを特 徴とする請求の範囲第 7項記載の画像復号方法。
[12] 12.上記逆変換工程は、上記逆量子化工程によって示されたフラグにより逆量子化 変換係数が上記処理ブロック内の垂直方向にのみ存在することを判断したときには 縦方向の変換を行って力 横方向に画素値を複写して逆変換ィ匕処理を行うことを特 徴とする請求の範囲第 7項記載の画像復号方法。
[13] 13.入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された 画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像復号方法を実行す る画像復号プログラムにお 、て、
量子化され符号化された変換係数を復号する復号工程と、
上記復号工程によって復号された上記変換係数を逆量子化する際に、逆量子化 の処理ブロック毎に変換係数の存在をフラグにして示す逆量子化工程と、
上記逆量子化工程によって示されたフラグを用いて上記処理ブロック内の逆量子 化変換係数に施す逆変換化処理を変更する逆変換工程と
を備えることを特徴とする画像復号プログラム。
PCT/JP2004/017804 2003-12-15 2004-11-30 画像復号装置及び画像復号方法並びに画像復号プログラム WO2005062622A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/545,678 US8249147B2 (en) 2003-12-15 2004-11-30 Image decoding device, image decoding method, and image decoding program
EP20040820650 EP1696677B1 (en) 2003-12-15 2004-11-30 Image decoding device, image decoding method, and image decoding program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-417336 2003-12-15
JP2003417336A JP2005184042A (ja) 2003-12-15 2003-12-15 画像復号装置及び画像復号方法並びに画像復号プログラム

Publications (1)

Publication Number Publication Date
WO2005062622A1 true WO2005062622A1 (ja) 2005-07-07

Family

ID=34708688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/017804 WO2005062622A1 (ja) 2003-12-15 2004-11-30 画像復号装置及び画像復号方法並びに画像復号プログラム

Country Status (7)

Country Link
US (1) US8249147B2 (ja)
EP (1) EP1696677B1 (ja)
JP (1) JP2005184042A (ja)
KR (1) KR20060109290A (ja)
CN (1) CN1751521A (ja)
TW (1) TW200531450A (ja)
WO (1) WO2005062622A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100681944B1 (ko) 2005-11-15 2007-02-12 학교법인 포항공과대학교 병렬 데이터 전송을 위한 분할된 집합 반전 인코딩 방법
JP4888224B2 (ja) * 2007-05-18 2012-02-29 ソニー株式会社 画像処理装置およびその方法、並びにプログラム
KR101517100B1 (ko) * 2008-08-21 2015-05-15 삼성전자주식회사 동영상의 부호화 및 복호화를 위한 장치 및 방법
US9100646B2 (en) * 2008-09-03 2015-08-04 Sk Telecom Co., Ltd. Device and method for image encoding/decoding using prediction direction conversion and selective encoding
KR101377660B1 (ko) * 2008-09-30 2014-03-26 에스케이텔레콤 주식회사 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
KR20110015356A (ko) * 2009-08-07 2011-02-15 한국전자통신연구원 차분 신호의 특성에 기반한 적응적인 변환 부호화/양자화 영역을 이용한 동영상 부호화/복호화 장치 및 그 방법
KR20120009618A (ko) 2010-07-19 2012-02-02 에스케이 텔레콤주식회사 주파수변환단위 분할부호화 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
PL3937497T3 (pl) 2011-03-21 2023-07-17 Lg Electronics, Inc. Wybieranie predyktora wektora ruchu
PL3136727T3 (pl) 2011-04-12 2018-11-30 Sun Patent Trust Sposób kodowania ruchomych obrazów i urządzenie do kodowania ruchomych obrazów
TR201808770T4 (tr) 2011-05-24 2018-07-23 Velos Media Int Ltd Görüntü kodlama metodu, görüntü kodlama aparatı, görüntü kod çözme metodu, görüntü kod çözme aparatı ve görüntü kodlama/kod çözme aparatı.
PL4007276T3 (pl) 2011-05-27 2023-12-11 Sun Patent Trust Sposób kodowania obrazów, urządzenie do kodowania obrazów, sposób dekodowania obrazów, urządzenie do dekodowania obrazów, i urządzenie do kodowania i dekodowania obrazów
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
ES2779226T3 (es) 2011-05-31 2020-08-14 Sun Patent Trust Procedimiento de descodificación de vídeo y dispositivo de descodificación de vídeo
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP5386657B2 (ja) 2011-06-13 2014-01-15 パナソニック株式会社 画像復号方法および画像復号装置
KR102008030B1 (ko) 2011-06-23 2019-08-06 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
BR112013027186B1 (pt) 2011-06-24 2022-05-03 Sun Patent Trust Método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem e aparelho de codificação e deco dificação de imagem
KR102067683B1 (ko) 2011-06-24 2020-01-17 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
AU2012277214B2 (en) 2011-06-27 2016-05-05 Sun Patent Trust Decoding method, coding method, decoding apparatus, coding apparatus, and coding and decoding apparatus
EP4300956A1 (en) 2011-06-28 2024-01-03 Sun Patent Trust Decoding apparatus and encoding apparatus
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR102007047B1 (ko) 2011-06-30 2019-08-02 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
MX2013013029A (es) 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
US8929455B2 (en) * 2011-07-01 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Method for selecting transform types from mapping table for prediction modes
AU2012281918C1 (en) 2011-07-11 2016-11-17 Sun Patent Trust Decoding Method, Coding Method, Decoding Apparatus, Coding Apparatus, And Coding and Decoding Apparatus
CA2843560C (en) 2011-08-03 2020-09-22 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus
CN104094597B (zh) 2011-10-17 2018-04-20 株式会社Kt 基于帧内预测的自适应变换方法及使用该方法的装置
CN104378637B (zh) * 2011-10-18 2017-11-21 株式会社Kt 视频信号解码方法
JP6308495B2 (ja) 2011-10-19 2018-04-11 サン パテント トラスト 画像復号方法、および、画像復号装置
CN107257456B (zh) 2011-10-19 2020-03-06 株式会社Kt 解码视频信号的方法
JP5379933B2 (ja) * 2011-10-28 2013-12-25 パナソニック株式会社 動きベクトル導出方法および動きベクトル導出装置
MX2013012223A (es) 2011-10-28 2013-11-01 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen y aparato de decodificacion de imagen.
WO2014007520A1 (ko) * 2012-07-02 2014-01-09 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
CN115052156A (zh) 2012-07-02 2022-09-13 韩国电子通信研究院 视频编码/解码方法和非暂时性计算机可读记录介质
MY183347A (en) * 2013-09-30 2021-02-18 Japan Broadcasting Corp Image encoding device, image decoding device, and the programs thereof
CA3210247A1 (en) * 2017-12-15 2019-06-20 Lg Electronics Inc. Image coding method on basis of transformation and device therefor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04220081A (ja) * 1990-12-20 1992-08-11 Fujitsu Ltd 画像データ復元方法及び装置
JPH1141601A (ja) * 1997-07-24 1999-02-12 Nec Corp ２次元逆離散コサイン変換（ｉｄｃｔ）装置
US5875266A (en) 1990-07-31 1999-02-23 Fujitsu Limited Image data processing a method and apparatus
JPH1196138A (ja) * 1997-09-18 1999-04-09 Sony Corp 逆コサイン変換方法及び逆コサイン変換器
EP1292152A1 (en) 2000-06-02 2003-03-12 Matsushita Electric Industrial Co., Ltd. Image processing apparatus, and image processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3752371A (en) * 1970-07-24 1973-08-14 Lion Fat Oil Co Ltd Container cap capable of being resiliently held open and closed
US4158902A (en) * 1977-09-30 1979-06-26 Chernack Milton P Integral snap action hinge
JP3068361B2 (ja) 1993-03-31 2000-07-24 株式会社東芝 高能率復号化装置
DE4419116C2 (de) * 1994-06-01 1996-03-28 Riegler Fritz A Gmbh & Co Behälterverschluß
BR9702224B1 (pt) * 1996-05-28 2010-08-10 aparelho de decodificação de previsão de imagem.
EP1401106A4 (en) * 2001-06-06 2004-07-21 Seiko Epson Corp DECODING APPARATUS AND METHOD, CONVERSION TABLE, AND DECODING PROGRAM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5875266A (en) 1990-07-31 1999-02-23 Fujitsu Limited Image data processing a method and apparatus
JPH04220081A (ja) * 1990-12-20 1992-08-11 Fujitsu Ltd 画像データ復元方法及び装置
JPH1141601A (ja) * 1997-07-24 1999-02-12 Nec Corp ２次元逆離散コサイン変換（ｉｄｃｔ）装置
JPH1196138A (ja) * 1997-09-18 1999-04-09 Sony Corp 逆コサイン変換方法及び逆コサイン変換器
EP1292152A1 (en) 2000-06-02 2003-03-12 Matsushita Electric Industrial Co., Ltd. Image processing apparatus, and image processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1696677A4

Also Published As

Publication number Publication date
KR20060109290A (ko) 2006-10-19
CN1751521A (zh) 2006-03-22
EP1696677A4 (en) 2011-05-18
US8249147B2 (en) 2012-08-21
TWI328357B (ja) 2010-08-01
US20060291556A1 (en) 2006-12-28
JP2005184042A (ja) 2005-07-07
TW200531450A (en) 2005-09-16
EP1696677A1 (en) 2006-08-30
EP1696677B1 (en) 2013-05-22

Similar Documents

Publication Publication Date Title
WO2005062622A1 (ja) 画像復号装置及び画像復号方法並びに画像復号プログラム
US7277587B2 (en) System and method for lossless video coding
KR100323489B1 (ko) 비디오데이타를가지는비트스트림의트랜스코딩방법및장치
JP4440640B2 (ja) 画像ブロックの復号方法
JP4617644B2 (ja) 符号化装置及び方法
JP3861698B2 (ja) 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
JP2004140473A (ja) 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
JP2009089332A (ja) 動き予測方法及び動き予測装置
KR100945826B1 (ko) 화상 정보 복호 방법 및 장치
JP2003116104A (ja) 情報処理装置及び情報処理方法
US20050135486A1 (en) Transcoding method, medium, and apparatus
JP4254147B2 (ja) 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
JP5375938B2 (ja) 復号装置及び方法
JP2008219205A (ja) 画像情報符号化装置及び画像情報符号化方法
EP1125439A1 (en) Drift-free transcoder and related method
JP4209134B2 (ja) 圧縮ビットストリームをアップサンプリングする方法および装置
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
JP4318019B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2000312362A (ja) 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体
JP4924708B2 (ja) 復号装置及び方法
JP2006279272A (ja) 動画像符号化装置およびその符号化制御方法
JP5375935B2 (ja) 符号化装置及び方法
JP5375936B2 (ja) 復号装置及び方法
JP4983907B2 (ja) 符号化装置及び方法
KR20030006641A (ko) 트랜스코더 및 그의 트랜스 코딩 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2004820650

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020057014882

Country of ref document: KR

Ref document number: 20048041595

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006291556

Country of ref document: US

Ref document number: 10545678

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 2004820650

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057014882

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 10545678

Country of ref document: US